JP2017174030A - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP2017174030A
JP2017174030A JP2016057781A JP2016057781A JP2017174030A JP 2017174030 A JP2017174030 A JP 2017174030A JP 2016057781 A JP2016057781 A JP 2016057781A JP 2016057781 A JP2016057781 A JP 2016057781A JP 2017174030 A JP2017174030 A JP 2017174030A
Authority
JP
Japan
Prior art keywords
value
image
images
similarity
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016057781A
Other languages
English (en)
Inventor
洋 御厨
Hiroshi Mikuriya
洋 御厨
森 太郎
Taro Mori
太郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016057781A priority Critical patent/JP2017174030A/ja
Priority to US15/237,062 priority patent/US9830531B2/en
Publication of JP2017174030A publication Critical patent/JP2017174030A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

【課題】類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止するようにした画像処理装置を提供する。【解決手段】画像処理装置の分割手段は、2つの画像をそれぞれ複数の領域に分割し、抽出手段は、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出し、制御手段は、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する。【選択図】図1

Description

本発明は、画像処理装置及び画像処理プログラムに関する。
特許文献1には、タイミングマークが不要で、かつ、中間色で印刷された帳票原稿も安定して位置合わせを行える画像処理装置の実現を課題とし、2つの同種の濃淡画像の位置を相互に対応させて合わせる画像処理を行う画像処理装置において、2つの濃淡画像のそれぞれから位置合わせの目印となる部分を抽出する目印抽出手段と、この目印抽出手段で抽出した目印の中から各画像の対応する目印を選択する対応目印選択手段と、この対応目印選択手段で対応づけられた目印同士の位置関係を基に一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を演繹する変換式算出手段とを備えることが開示されている。
特開2000−251075号公報
2つの画像の位置合わせを行うにあたって、特許文献1に記載の技術のように、相関係数を算出することが行われている。
しかし、白紙画像同士のような場合の相関係数は、一致する位置が複数発生してしまうため、位置合わせに利用するには好ましくない。
そこで、本発明は、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、2つの画像をそれぞれ複数の領域に分割する分割手段と、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段を有する画像処理装置である。
請求項2の発明は、前記予め定められた値として、類似度を示す値としての最低値以下の値又は前記配列内での最低値以下の値を用いる、請求項1に記載の画像処理装置である。
請求項3の発明は、前記分割手段は、一方の画像内の第1の分割画像は他方の画像内の第2の分割画像よりも小さくし、前記類似度を示す値の配列は、第2の分割画像内で第1の分割画像をずらしながら、類似度を示す値を算出した結果の配列である、請求項1又は2に記載の画像処理装置である。
請求項4の発明は、コンピュータを、2つの画像をそれぞれ複数の領域に分割する分割手段と、前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段として機能させるための画像処理プログラムである。
請求項1の画像処理装置によれば、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止することができる。
請求項2の画像処理装置によれば、予め定められた値として、類似度を示す値としての最低値以下の値又は配列内での最低値以下の値を用いることができる。
請求項3の画像処理装置によれば、第2の領域内で第1の領域をずらしながら、類似度を示す値を算出した結果の配列を用いることができる。
請求項4の画像処理プログラムによれば、類似度を示す値の上位の値である第1の値と第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を用いて、2つの画像の位置合わせをしてしまうことを防止することができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による一方の画像の例を示す説明図である。 本実施の形態による他方の画像の例を示す説明図である。 2つの画像を単純に重ね合わせた場合の例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である画像処理装置100は、2つの画像の位置合わせを行うものであって、図1の例に示すように、画像受付モジュール110、画像分割モジュール120、テンプレートマッチング処理モジュール130、画像補正モジュール170を有している。
画像受付モジュール110は、画像分割モジュール120と接続されている。画像受付モジュール110は、複数の画像を受け付けて、その画像を画像分割モジュール120へ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。画像は、2値画像、多値画像(カラー画像を含む)であってもよい。受け付ける画像は、複数枚である。また、画像の内容として、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
画像受付モジュール110が受け付ける複数の画像は、位置合わせ対象の画像である。例えば、同じテンプレート(型、雛型、フォーム等)を用いた文書画像である。位置合わせは、例えば、操作者の操作によって、ある画像(一般的には1枚目の画像)に対して行われた領域指定を、他の画像(2枚目以降の画像)に対しても適用するためのものである。例えば、図5、図6に示す画像のように、両者は納品書というテンプレートに記載された文書であって、内容(記載されている文字等)は異なるが、その元のテンプレート部分(矩形で囲まれた表等)は同じである。したがって、本来ならば、図5の画像に対して行われた領域指定を、そのままの座標で、図6の画像に対して行うことができるはずである。
しかし、画像を読み込んだスキャナ等の性能によって、位置ずれが発生するのが一般的である。図7の例に示す画像は、図5の画像と図6の画像とを単純に重ね合わせたものである。表の罫線等がずれているのがわかる。このように、同じテンプレートを用いた画像であっても、両者にはずれが発生している。したがって、ある画像に対して行われた領域指定を、同じテンプレートを用いた他の画像に対しても適用するためには、位置合わせ(位置ずれの補正)が必要である。
画像分割モジュール120は、画像受付モジュール110、テンプレートマッチング処理モジュール130と接続されている。画像分割モジュール120は、画像受付モジュール110が受け付けた2つの画像をそれぞれ複数の領域に分割する。
「2つの画像をそれぞれ複数の領域に分割する」とは、具体的には、2つの画像に対して縦方向及び横方向に同じ数だけの領域に分割することであって、2つの画像で同じ数の分割画像を生成することである。また、分割画像は矩形画像(長方形、正方形を含む)となる。
また、一方の画像内の第1の分割画像は他方の画像内の第2の分割画像よりも小さい画像とする。
図8(a)に示す例は、図5に示す画像を領域分割したものである。図8(b)に示す例は、図6に示す画像を領域分割したものである。この例は、横方向に10個の領域、縦方向に15個の領域に、両者の画像を分割したものである。図8(b)に示す分割画像は、図8(a)に示す分割画像よりも小さくしている。具体的には、分割画像を、上方向、下方向、左方向、右方向にそれぞれ予め定められた画素数だけ小さくすればよい。なお、各方向における画素数は、同じであってもよいし、異なっていてもよい。例えば、上下方向に5画素ずつ、左右方向に10画素ずつ小さくしたものであってもよい。
なお、図8の例では、1枚の画像内の分割画像は全て同じ大きさとしているが、異なる大きさの分割画像に分割してもよい。ただし、2枚の画像間で、対応している分割画像が存在している必要がある。
テンプレートマッチング処理モジュール130は、相関係数算出モジュール140、除外モジュール150、ずれ算出モジュール160を有しており、画像分割モジュール120、画像補正モジュール170と接続されている。
相関係数算出モジュール140は、画像分割モジュール120によって生成された、2つの画像間で対応する分割画像間の類似度を示す値を算出する。「2つの画像間で対応する分割画像」とは、2つの画像内での分割画像の位置が同じことをいう。具体的には、一方の画像の左上に位置する分割画像(A)と他方の画像の左上に位置する分割画像(a)は対応しており、分割画像(A)の右隣に位置する一方の画像の分割画像(B)と分割画像(a)の右隣に位置する他方の画像の分割画像(b)は対応しており、以下同様に、一方の画像内の全ての分割画像に対して、他方の画像内で対応する分割画像が存在する。類似度を示す値として、画像間の類似度を示す値であればよく、具体な例として、相関係数、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)等がある。以下、相関係数を例示して示すが、もちろんのことながら、他の値を用いてもよい。
相関係数の算出は、既存の技術を用いればよい。例えば、式(1)を用いて算出すればよい。つまり、2組の画素値のデータ列{(x,y)}(i=1,2,…,n)から、相関係数rを式(1)を用いて算出する。xは第1の分割画像の画素値、yは第2の分割画像の画素値である。
第2の分割画像内で第1の分割画像をずらしながら、相関係数を算出する。なお、第1の分割画像は、第2の分割画像よりも小さい。そして、第2の分割画像と第1の分割画像との位置関係に合わせて、その相関係数の配列を生成する。
図9(a1)の例に示す分割画像A:900Aは、図8(a)の例に示した1つの分割画像を示している。図9(a2)の例に示す分割画像B:910Bは、図8(b)の例に示した1つの分割画像を示している。つまり、図8(a)の分割画像A:900Aの位置に対応する図8(b)の領域B:900B内から分割画像B:910Bを抽出したものである。図9(a1)に示すように一方の分割画像A:900Aがあり、それに対応した位置に図9(a2)に示す他方の分割画像B:910Bがある。なお、分割画像B:910Bは、領域B:900B(分割画像A:900Aと同じ大きさ)を小さくしたものである。なお、説明を簡略化するために、分割画像A:900Aを縦5画素、横5画素の矩形とし、分割画像B:910Bを縦3画素、横3画素の矩形としている。この例では、領域B:900Bを上下左右に1画素ずつ小さい領域の画像を分割画像B:910Bとしているが、上側をV(Vは1以上の整数)画素、右側をW(Wは1以上の整数)画素、下側をX(Xは1以上の整数)画素、左側をY(Yは1以上の整数)画素小さくしたものであってもよい。なお、V、W、X、Yはそれぞれ異なる数値であってもよいし、同じ数値が含まれていてもよいし、全てが同じ数値であってもよい。
「ずらしながら」とは、画像走査と同じであり、具体的に示すと、図9(b1)から図9(b9)の例に示すように、分割画像A:900Aの左上端の位置に分割画像B:910Bを配置させ(図9(b1))、その位置から1画素(この例では1画素としているが、1画素に限る必要はない)毎に、右方向に分割画像B:910Bを移動させ(図9(b2))、右端に到達(図9(b3))したならば、1画素下の行の左端に移動させ(図9(b4))、右下端に移動させる(図9(b9))ことである。そして、各位置で相関係数を算出する。図9(b1)から図9(b9)の例では、9つの相関係数を算出することになる。そして、この相関係数を、図9(c)の例に示す3×3の配列である相関係数配列990に格納する。つまり、図9(b1)における相関係数を相関係数配列990の(1,1)の位置に、図9(b2)における相関係数を相関係数配列990の(1,2)の位置に、図9(b3)における相関係数を相関係数配列990の(1,3)の位置に、図9(b4)における相関係数を相関係数配列990の(2,1)の位置に、図9(b5)における相関係数を相関係数配列990の(2,2)の位置に、図9(b6)における相関係数を相関係数配列990の(2,3)の位置に、図9(b7)における相関係数を相関係数配列990の(3,1)の位置に、図9(b8)における相関係数を相関係数配列990の(3,2)の位置に、図9(b9)における相関係数を相関係数配列990の(3,3)の位置に格納する。したがって、図9(c)の例に示す相関係数配列990は、分割画像A:900A内で分割画像B:910Bをずらしながら、相関係数を算出した結果の配列となる。
次に、2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、その第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する。ここで、第2の値を抽出するにあたって、第1の値の近傍を対象としないで抽出すればよい。それを実現する方法として、例えば、(1)第1の値の位置の近傍を 類似度が低い値(いわゆる悪いスコア)で塗りつぶす。(2)第1の値の位置の近傍を除外するような最高値抽出の繰り返し処理によって、第2の値を抽出する、等の方法がある。以下に、この(1)の方法を採用した除外モジュール150による処理例を説明する。もちろんのことながら、(2)の方法等を採用してもよい。
除外モジュール150は、2つの画像間で対応する分割画像間の相関係数を配置した配列内で、最上位の相関係数である第1の値(配列内で最も類似していることを示す値、いわゆるピーク値)の位置を含むエリア内の相関係数の値を予め定められた値に変換する。ここで、「予め定められた値」として、相関係数の値としての最低値以下の値又はその配列内での最低値以下の値を用いるようにしてもよい。つまり、そのエリア内の値が、第2の値として抽出されることがないようにすればよい。なお、ここで「第1の値の位置を含むエリア」とは、第1の値の位置のいわゆる近傍を意味している。エリアとして、例えば、第1の値の位置を中心として予め定められた大きさの矩形(正方形を含む長方形)内のエリアとしてもよいし、第1の値の位置を中心として予め定められた半径で描かれる円内のエリア等としてもよい。
次に、除外モジュール150は、変換後の配列内での最上位の相関係数である第2の値(いわゆる悪いスコアで塗りつぶした後の配列内でのいわゆるピーク値)を抽出する。
そして、除外モジュール150は、各分割画像の相関係数のうち、第1の値と第2の値の差分が、予め定められた閾値未満又は以下である相関係数を除外して、2つの画像の位置合わせを行うように制御する。つまり、除外した相関係数以外の相関係数を、ずれ算出モジュール160に渡す。
図10〜12の例は、相関係数の配列と元の分割画像を対比して示したものである。各図(b)に示す例は、元の分割画像の一方を示したものである。各図(a)に示す例は、その分割画像の(2つの画像内の対応する分割画像間の)相関係数の配列を示しており、相関係数が高い「1」に近い値を白色で示しており、相関係数が低い「0」に近い値を黒色で示している。
図10では、相関係数の高い位置(白い位置)は、左側中央に位置していることを示している。
図11では、相関係数の高い位置は、全体に位置していることを示している。なお、図11(a)に示す例では、黒くなっている。その理由は2つある。
ひとつは、ゼロ除算になっている場合である。全ての画素が同じ値だと相関係数の計算の分母が0になり、計算不能なため黒にしている。ゼロ除算であるので、全画素の値が一致していたとしても、相関係数としては「計算不能」である。計算不能を「相関が高い」とみなすわけではない。図11(a)の例では、最大値の計算や様子を出力する都合上、「計算不能」をある実数にマッピングする必要がある。この場合、相関がないことを示す「0又は−1」にマッピングするのが妥当である。1にしてしまうと、「計算不能」が最大値として採用されてしまう恐れがある。
もうひとつは、紙の表面の微細な凹凸が画像としてとらえられている場合である。肉眼では真っ白に見えるが、画素値の上では完全な真っ白ではなく、ノイズ等があると考えられる。この場合は、異なる紙の表面の凹凸が高い相関をもつことはまれであるので、どの場所も0に非常に近い値となり、図11(a)の例では黒となる。
図12では、相関係数の高い位置は、横中央に位置していることを示している。つまり、左右にずらしても2つの分割画像は一致していることを示している。
図13〜15の例は、配列内で最上位の相関係数である第1の値の位置を含むエリア内の相関係数の値を予め定められた値に変換したことを示すものである。「配列内で最上位」であるので、相関係数が「1」に近い値とは限らず、その配列内で最上位であればよい。また、エリアは、第1の値の位置を含むものであれば、どのような形状でもよい。そして、エリアのサイズは予め定められた大きさである。ただし、エリアとして、第1の値の位置を中心とした円が好ましく、半径は予め定められた大きさである。また、ここで変換する「予め定められた値」として、相関係数の値としての最低値(−1)を用いている。
図13では、配列内で最上位の相関係数は左側中央に位置しているので、エリア1300はその位置を含む位置に配置している。
図14では、配列内で最上位の相関係数は、例えば、中央に位置しているので、エリア1400はその位置を含む位置に配置している。
図15では、配列内で最上位の相関係数は中央に位置していることを示しているので、エリア1500はその位置を含む位置に配置している。
そして、エリア1300、エリア1400、エリア1500内を最低値(−1)にする。図では、そのエリア内を黒く塗りつぶしている。
次に、図13〜15の配列内で、第2の値(ピーク値)を抽出する。第2の値は第1の値以下の値になる。
そして、第1の値と第2の値の差分が、予め定められた閾値未満又は以下である場合、相関係数がピークとなった座標を位置合わせのために用いる座標のリストから除外する。図14、図15の例は除外されることとなる。したがって、図13の例が位置合わせのために用いられることとなる。つまり、相関係数のピークが1点に定まっているものを採用する。
なお、最低値とする対象を、点ではなく範囲のあるエリアとした理由は、ピークの周辺はそのピークに近い値の相関係数である可能性が高いためである。
図16に示す例は、ずれの算出に用いられる分割画像の中心位置をドット(黒点)で表示したものである。図16(a)に示す例は図5の例に示した画像上にプロットしたものであり、図16(b)に示す例は図6の例に示した画像上にプロットしたものである。背景部分、横線のみ(又は縦線のみ)である分割画像は、除外されていることがわかる。逆に、文字、線の交点等がある分割画像が採用されている。ずれ算出モジュール160は、このドットの位置にある分割画像の相関係数を用いて、2つの画像間のずれを算出する。
ずれ算出モジュール160は、除外した相関係数以外の相関係数を用いて、2つの画像間のずれを算出する。図16に示す例では、ずれ算出モジュール160は、ドットが付された分割画像における相関係数を用いて、ずれを算出する。第1の値の位置が配列内の中央にあれば、ずれはないことになる。第1の値の位置と配列内の中央の位置関係が、ずれ(2点間の距離、方向)になる。
画像補正モジュール170は、テンプレートマッチング処理モジュール130と接続されている。画像補正モジュール170は、ずれ算出モジュール160によって算出されたずれを用いて、画像を補正する。具体的には、ずれている分だけ逆方向にアフィン変換(主に、平行移動)すればよい。つまり、第1の値の位置が配列内の中央になるように、アフィン変換を施せばよい。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)に示す例は、画像処理装置100に文字認識装置210を接続したものである。前述したように、画像処理装置100は、テンプレートを用いて作成された複数枚の文書画像を読み込んで、位置合わせを行う。そして、操作者の操作によって、そのうちの1枚(一般的には、最初の文書画像)に対して、認識領域を設定する。文字認識装置210は、その認識領域内の文字を認識する。位置合わせが行われているので、操作者は、それ以外の文書画像に対して認識領域を設定する必要はない。なお、画像処理装置100による位置合わせが行われていないと、ずれが発生しているので、全ての文書画像で、認識領域を設定する必要が生じる。又は、1枚目の文書画像に対して行った認識領域の設定をそのまま流用した場合は、ずれがあるので認識率が低くなってしまう。
図2(b)に示す例は、画像読取装置220が、画像処理装置100、文字認識装置210を有しているシステム構成である。画像読取装置220が読み込んだ複数の文書画像に対して、図2(a)に示す例と同様の処理を行うことができる。
図2(c)に示す例は、画像処理装置100A、文字認識装置210A、画像読取装置220、画像読取装置230、画像形成装置240が、通信回線290を介してそれぞれ接続されているシステム構成である。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、画像処理装置100による機能は、クラウドサービスとして実現してもよい。
画像読取装置230、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)である画像形成装置240で読み込んだ文書画像を、通信回線290を介して画像処理装置100A(又は画像読取装置220内の画像処理装置100B)に送信し、位置合わせした画像を、通信回線290を介して文字認識装置210A(又は画像読取装置220内の文字認識装置210B)に送信し、文字認識結果を得るようにしてもよい。
図3、図4は、本実施の形態による処理例を示すフローチャートである。
ステップS302では、画像受付モジュール110は、画像Aを受け付ける。
ステップS304では、画像受付モジュール110は、画像Bを受け付ける。
ステップS306では、画像分割モジュール120は、画像Aを分割することによって、分割画像Aを生成する。
ステップS308では、画像分割モジュール120は、画像Bを分割することによって、分割画像Bを生成する。ただし、分割画像Bは、分割画像Aよりも小さいものとする。
ステップS310では、相関係数算出モジュール140は、分割画像Aと分割画像Bとの相関係数を算出する。
ステップS312では、相関係数算出モジュール140は、分割画像A内で分割画像Bを移動する。
ステップS314では、相関係数算出モジュール140は、走査が終了したか否かを判断し、終了した場合はステップS316へ進み、それ以外の場合はステップS310に戻る。
ステップS316では、除外モジュール150は、相関係数のピークAを抽出する。
ステップS318では、除外モジュール150は、相関係数の分布において、ピークAを含む部分領域内を相関係数の低い値(例えば、最も低い値)に変更する。
ステップS320では、除外モジュール150は、ステップS318の処理後の相関係数の分布において、相関係数のピークBを抽出する。
ステップS322では、除外モジュール150は、「ピークAとピークBの差分<閾値T」であるか否かを判断し、「ピークAとピークBの差分<閾値T」である場合はステップS324へ進み、それ以外の場合はステップS326へ進む。
ステップS324では、除外モジュール150は、その分割画像における相関係数は除外する。
ステップS326では、ずれ算出モジュール160は、その分割画像におけるずれ量を算出する。
ステップS328では、相関係数算出モジュール140は、相関係数を算出していない分割画像はあるか否かを判断し、ある場合はステップS310に戻り、それ以外の場合はステップS330へ進む。
ステップS330では、画像補正モジュール170は、画像Bを画像Aに合わせる補正をする。
ステップS332では、画像補正モジュール170は、補正後の画像Bを出力する。
図17を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図17に示す構成は、例えばパーソナルコンピュータ(PC)等によって構成されるものであり、スキャナ等のデータ読み取り部1717と、プリンタ等のデータ出力部1718を備えたハードウェア構成例を示している。
CPU(Central Processing Unit)1701は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール110、画像分割モジュール120、テンプレートマッチング処理モジュール130、相関係数算出モジュール140、除外モジュール150、ずれ算出モジュール160、画像補正モジュール170等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ROM(Read Only Memory)1702は、CPU1701が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1703は、CPU1701の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバス等から構成されるホストバス1704により相互に接続されている。
ホストバス1704は、ブリッジ1705を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス1706に接続されている。
キーボード1708、マウス等のポインティングデバイス1709は、操作者により操作されるデバイスである。ディスプレイ1710は、液晶表示装置又はCRT(Cathode Ray Tube)等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイス1709とディスプレイ1710の両方の機能を備えているタッチスクリーン等であってもよい。
HDD(Hard Disk Drive)1711は、ハードディスク(フラッシュ・メモリ等であってもよい)を内蔵し、ハードディスクを駆動し、CPU1701によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像受付モジュール110が受け付けた画像、算出した相関係数、画像補正モジュール170による処理結果等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。
ドライブ1712は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1713に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1707、外部バス1706、ブリッジ1705、及びホストバス1704を介して接続されているRAM1703に供給する。なお、リムーバブル記録媒体1713も、データ記録領域として利用可能である。
接続ポート1714は、外部接続機器1715を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1714は、インタフェース1707、及び外部バス1706、ブリッジ1705、ホストバス1704等を介してCPU1701等に接続されている。通信部1716は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部1717は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1718は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図17に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図17に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図17に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機などに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分又は全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…画像処理装置
110…画像受付モジュール
120…画像分割モジュール
130…テンプレートマッチング処理モジュール
140…相関係数算出モジュール
150…除外モジュール
160…ずれ算出モジュール
170…画像補正モジュール
210…文字認識装置
220…画像読取装置
230…画像読取装置
240…画像形成装置
290…通信回線

Claims (4)

  1. 2つの画像をそれぞれ複数の領域に分割する分割手段と、
    前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、
    前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段
    を有する画像処理装置。
  2. 前記予め定められた値として、類似度を示す値としての最低値以下の値又は前記配列内での最低値以下の値を用いる、
    請求項1に記載の画像処理装置。
  3. 前記分割手段は、一方の画像内の第1の分割画像は他方の画像内の第2の分割画像よりも小さくし、
    前記類似度を示す値の配列は、第2の分割画像内で第1の分割画像をずらしながら、類似度を示す値を算出した結果の配列である、
    請求項1又は2に記載の画像処理装置。
  4. コンピュータを、
    2つの画像をそれぞれ複数の領域に分割する分割手段と、
    前記2つの画像間で対応する分割画像間の類似度を示す値を配置した配列内で、最も類似していることを示す第1の値を抽出し、該第1の値の位置を含むエリア内の類似度を対象から除外して、最も類似していることを示す第2の値を抽出する抽出手段と、
    前記各分割画像の類似度を示す値のうち、前記第1の値と前記第2の値の差分が、予め定められた閾値未満又は以下である類似度を示す値を除外して、前記2つの画像の位置合わせを行うように制御する制御手段
    として機能させるための画像処理プログラム。
JP2016057781A 2016-03-23 2016-03-23 画像処理装置及び画像処理プログラム Pending JP2017174030A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016057781A JP2017174030A (ja) 2016-03-23 2016-03-23 画像処理装置及び画像処理プログラム
US15/237,062 US9830531B2 (en) 2016-03-23 2016-08-15 Image processing apparatus, image processing method and non-transitory computer readable medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016057781A JP2017174030A (ja) 2016-03-23 2016-03-23 画像処理装置及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2017174030A true JP2017174030A (ja) 2017-09-28

Family

ID=59897974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016057781A Pending JP2017174030A (ja) 2016-03-23 2016-03-23 画像処理装置及び画像処理プログラム

Country Status (2)

Country Link
US (1) US9830531B2 (ja)
JP (1) JP2017174030A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898643A (zh) * 2018-06-15 2018-11-27 广东数相智能科技有限公司 图像生成方法、装置与计算机可读存储介质
DE112018005032T5 (de) 2017-09-11 2020-07-02 Denso Corporation Schaltbereichssteuervorrichtung
CN111476753A (zh) * 2019-01-22 2020-07-31 柯尼卡美能达株式会社 图像检查装置、图像形成系统、图像检查方法以及计算机可读取的记录介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2921989A1 (en) * 2014-03-17 2015-09-23 Université de Genève Method for object recognition and/or verification on portable devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4116179B2 (ja) 1999-03-03 2008-07-09 株式会社リコー 画像処理方法、画像処理装置および記録媒体
JP2008102907A (ja) * 2006-09-19 2008-05-01 Sharp Corp 画像処理方法、画像処理装置、原稿読取装置、画像形成装置、コンピュータプログラム及び記録媒体
EP2921989A1 (en) * 2014-03-17 2015-09-23 Université de Genève Method for object recognition and/or verification on portable devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018005032T5 (de) 2017-09-11 2020-07-02 Denso Corporation Schaltbereichssteuervorrichtung
DE112018005032B4 (de) 2017-09-11 2022-09-08 Denso Corporation Schaltbereichssteuervorrichtung
CN108898643A (zh) * 2018-06-15 2018-11-27 广东数相智能科技有限公司 图像生成方法、装置与计算机可读存储介质
CN108898643B (zh) * 2018-06-15 2022-03-11 广东数相智能科技有限公司 图像生成方法、装置与计算机可读存储介质
CN111476753A (zh) * 2019-01-22 2020-07-31 柯尼卡美能达株式会社 图像检查装置、图像形成系统、图像检查方法以及计算机可读取的记录介质

Also Published As

Publication number Publication date
US9830531B2 (en) 2017-11-28
US20170277971A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
JP2017174030A (ja) 画像処理装置及び画像処理プログラム
JP2014225932A (ja) 文字の形状特徴を使用した文字比較による文書改変検知方法
US20130136360A1 (en) Image processing apparatus, image processing method, and computer readable medium
JP6665595B2 (ja) 文字認識装置、方法およびプログラム
US20180225541A1 (en) Image processing apparatuses and non-transitory computer readable medium
JP6780271B2 (ja) 画像処理装置及び画像処理プログラム
JP6413542B2 (ja) 画像処理装置及び画像処理プログラム
US20180343350A1 (en) Reading method guidance apparatus, non-transitory computer readable medium, and image processing system
US20100074517A1 (en) Image processing apparatus, image processing method, and computer readable medium
JP2018045359A (ja) 画像処理装置及び画像処理プログラム
JP5742283B2 (ja) 画像処理装置及び画像処理プログラム
US20120249573A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP4910635B2 (ja) 画像処理装置及び画像処理プログラム
JP4840388B2 (ja) 画像処理装置及び画像処理プログラム
JP2018137509A (ja) 画像処理装置、画像読み取り装置、および、プログラム
JP6323009B2 (ja) 画像処理装置及び画像処理プログラム
JP4803001B2 (ja) 画像処理装置及び画像処理プログラム
JP6606885B2 (ja) 画像処理装置及び画像処理プログラム
US9325872B2 (en) Image processing apparatus
US20130236101A1 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
JP2010211699A (ja) 画像処理装置及び画像処理プログラム
JP5434273B2 (ja) 画像処理装置及び画像処理プログラム
JP2008206037A (ja) 画像処理装置及び画像処理プログラム
JP6252091B2 (ja) 画像処理装置及び画像処理プログラム
JP2013161158A (ja) 画像処理装置及び画像処理プログラム