JP2007088830A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 画像同士が傾いていても、画像間の相対的な傾きに十分対応して画像同士を精度良く合成することが可能な画像処理装置及び画像処理方法を提供する。
【解決手段】 原稿の画像を読み取り、画像データとして出力する読取部３と、読取部３にて分割して読み取らせた一つの原稿に対する複数の画像を合成する制御部１とを備える。制御部１が、一の画像を参照画像、他の画像を探索画像とする入力画像準備処理と、参照画像における複数の特徴点を抽出する特徴点抽出処理と、特徴点間の幾何情報を算出し、この特徴点の幾何情報と類似する幾何情報を有する複数の対応点を探索画像から抽出する対応点選択処理と、特徴点と対応点とを重ね合わせて参照画像に対して探索画像を合成する画像合成処理とを行う。
【選択図】 図１

Description

本発明は、１枚の原稿を複数回に分けて読み取り、それにより得た複数の画像データを合成するための技術に関する。

例えば設計図面などの文書をスキャナで読み取る場合、この種の文書は一般にスキャナの読取面よりも大きいので、読取面に置く文書の位置をずらしながら複数回に分けて読み取らせ、この結果得られた複数の画像データを１枚の文書となるように合成する、といった手法がとられている。特許文献１には、複数の画像データを合成する技術として、基本となる画像データに含まれる直線的な参照パターンに対して、合成する他の画像の対応点を相関演算により割り出し、さらに、これら対応点群から直線を求めて参照パターンと比較し、複数の画像データの相対的な傾きを求めることにより、これらの画像データを合成することが提案されている。また、特許文献２には、複数の画像データのそれぞれの傾きを補正し、これら画像データ同士の重なり部分を見つけて接合処理を行うことが提案されている。
特開平１１−１５９５１号公報 特開２００３−２５９１１０号公報

ところで、特許文献１の技術では、直線的な参照パターンが存在することを前提としていることから、読み取った画像に直線的な参照パターンが存在しない場合には、複数の画像データをマッチングさせることができない場合がある。しかも、この技術では対応点を直線状に配するので、画像密度が大きい場合には適しているが、例えば図面の画像のように、線図を基調とした空白が多くて特徴の少ない画像には適用が困難である。
また、特許文献２の技術は、画像の傾き補正処理と接合処理とを個別に行うようになっていることから、処理が煩雑となり相当の時間を要してしまうという問題がある。
しかも、上記の技術は、いずれも単純なテンプレートマッチングをベースとした接合処理のため、特に画像データ間の傾きが大きいと、これらの画像データを精密に接合することが困難であるばかりか、画像データ間において正しい対応点が見つからず、間違った点を対応点としてしまう可能性が高いので、画像のマッチングミスを生じる傾向が強い。さらに、図面や表などを対象とした場合、それらの画像同士で類似する特徴点が多いために、テンプレートマッチングのみでは正しく画像を接合することが難しい。

本発明は、上記事情に鑑みてなされたもので、複数回に分けて読み取った画像どうしの傾きが比較的大きい場合であっても、それらの複数の画像を精度良く合成することが可能な技術を提供することを目的としている。

上記目的を達成するために、本発明は、読取手段によって読み取られた画像を表す複数の画像データのうち、一方の画像データが表す画像を参照画像とし、当該参照画像において複数の特徴点を抽出する特徴点抽出手段と、前記読取手段によって読み取られた画像を表す複数の画像データのうち、他方の画像データが表す画像を探索画像とし、当該探索画像において、前記複数の特徴点にそれぞれ対応する複数の対応点の候補を抽出する対応点候補抽出手段と、前記複数の特徴点を結んだ図形の特徴量と前記複数の対応点候補を結んで得られる複数の図形の特徴量とをそれぞれ算出する特徴量算出手段と、前記複数の対応点候補を結んで得られる複数の図形の特徴量のうち、前記複数の特徴点を結んだ図形の特徴量に近いものを特定する比較手段と、前記比較手段によって特定された特徴量を有する前記図形を構成する対応点候補を、前記特徴点に対応する対応点として特定し、当該対応点と、対応する前記特徴点とを重ね合わせるようにして前記探索画像と前記参照画像とを合成する画像合成手段とを備えることを特徴とする画像処理装置を提供する。本発明によれば、参照画像において複数の特徴点を結んだ図形の特徴量と、探索画像において複数の対応点候補を結んで得られる図形の特徴量とを比較し、その比較結果から、探索画像において参照画像側の特徴点に一致する対応点を特定することができる。よって、読取手段による読み取り時に参照画像と探索画像との間に相対的な傾きが生じたとしても、これらの分割画像を確実かつ精度良く合成することができる。

前記特徴点抽出手段は、前記参照画像と前記探索画像との間で重複しやすい位置を基準とし、当該参照画像において前記位置に近い複数の特徴点を抽出することが望ましい。前記参照画像と前記探索画像との間で重複しやすい位置は、例えば前記参照画像と前記探索画像とが接合する辺の中心点であったり、参照画像と探索画像とが重複すると予測される領域の中心点であったり、前記参照画像において余白でない領域の重心である。このように参照画像と探索画像とにおいて重複しやすい位置に近い特徴点から優先的に対応点を求めていくようにすれば、探索画像において参照画像側の特徴点に一致する対応点をより特定しやすくなる。

また、本発明は、読取手段によって読み取られた画像を表す複数の画像データのうち、一方の画像データが表す画像を参照画像とし、当該参照画像において複数の特徴点を抽出するステップと、前記読取手段によって読み取られた画像を表す複数の画像データのうち、他方の画像データが表す画像を探索画像とし、当該探索画像において、前記複数の特徴点にそれぞれ対応する複数の対応点の候補を抽出するステップと、前記複数の特徴点を結んだ図形の特徴量と前記複数の対応点候補を結んで得られる複数の図形の特徴量の特徴量とをそれぞれ算出するステップと、前記複数の対応点候補を結んで得られる複数の図形の特徴量のうち、前記複数の特徴点を結んだ図形の特徴量に近いものを特定するステップと、特定された特徴量を有する前記図形を構成する対応点候補を、前記特徴点に対応する対応点として特定し、当該対応点と、対応する前記特徴点とを重ね合わせるようにして前記探索画像と前記参照画像とを合成するステップとを備えることを特徴とする画像処理方法を提供する。

また、本発明は、コンピュータに、読取手段によって読み取られた画像を表す複数の画像データのうち、一方の画像データが表す画像を参照画像とし、当該参照画像において複数の特徴点を抽出する特徴点抽出機能と、前記読取手段によって読み取られた画像を表す複数の画像データのうち、他方の画像データが表す画像を探索画像とし、当該探索画像において、前記複数の特徴点にそれぞれ対応する複数の対応点の候補を抽出する対応点候補抽出機能と、前記複数の特徴点を結んだ図形の特徴量と前記複数の対応点候補を結んで得られる複数の図形の特徴量とをそれぞれ算出する特徴量算出機能と、前記複数の対応点候補を結んで得られる複数の図形の特徴量のうち、前記複数の特徴点を結んだ図形の特徴量に近いものを特定する比較機能と、前記比較機能によって特定された特徴量を有する前記図形を構成する対応点候補を、前記特徴点に対応する対応点として特定し、当該対応点と、対応する前記特徴点とを重ね合わせるようにして前記探索画像と前記参照画像とを合成する画像合成機能とを実現させるプログラムを提供する。

以下、本発明の最良の実施の形態について説明する。
（１）第１実施形態
図１は、本発明の第１実施形態に係る画像処理装置１１の構成を示すブロック図である。この画像処理装置１１は例えばスキャナ装置であり、図１に示すように制御部１と、操作部２と、読取部３と、表示部４と、記憶部５とを備えている。操作部２は各種のキーによって構成されたものであり、操作者による操作が可能とされている。読取部３は、図示せぬ読取面に配置された原稿の画像をスキャンし、画像データとして出力する。表示部４は、例えば、液晶ディスプレイ等からなるもので、読取部３から出力される画像データや、記録媒体や記憶部５などから制御部１によって読み出された画像データや、操作部２を構成するキーによって入力されたデータなどに従って画像を表示する。記憶部５には、制御部１によって実行される画像処理プログラムが格納されている。この制御部１は、画像処理プログラムを実行するこ とにより、設計図面などの大きな原稿を読み取る場合に、読取部３で複数回に分けて読み取らせ、これによって得た複数の画像データ（分割画像データ）を一つの画像になるように合成する。

この画像処理装置１１の制御部１による画像合成処理についてフローチャートに沿って説明する。ここで、図２は画像合成処理を説明するフローチャートであり、図３〜図１４は画像合成処理の様子を説明する模式図である。ユーザは、読取部３の読取面に入りきらない大きな原稿を読み取らせる場合、この原稿を読取部３にて分割して読み取らせる。具体的には、ユーザは原稿の一部分（例えば原稿の左半分）を読取面に配置し、操作部２を操作してその原稿の一部分を読取部３に読み取らせる。次いで、原稿の残りの部分（例えば原稿の右半分）を、最初に読み取らせた部分と少しオーバーラップするようにして読取面に配置し、その残りの部分を読取部３に読み取らせる。これにより、読取部３から制御部１へ順次読み取られた各画像データが出力される。制御部１は、最初に読み取った一方の画像データの画像を「参照画像」とし、次に読み取った他方の画像データの画像を「探索画像」として定義する。これが図２のステップＳ０１の入力画像準備処理である。

ここで、ユーザが、図３に示すように、読取部３の読取面３ａに対して図形Ｚが描かれた原稿Ｇ１の左側の一部を読み取らせ、さらに、読取面３ａに対して原稿Ｇ１の残りの右側の部分を読み取らせたと仮定する。この場合、図４（ａ）に示すように、最初に読み取られた原稿Ｇ１の左部分の画像が、画像合成の基準となる画像（参照画像ＳＧ）となる。一方、図４（ｂ）に示すように、次に読み取られた原稿Ｇ１の右部分の画像が、参照画像ＳＧに対して合成させられる画像（探索画像ＴＧ）となる。

次に、制御部１は、参照画像ＳＧ及び探索画像ＴＧについて、それぞれの画像のおおよその重複領域ＣＡ１、ＣＡ２を割り出す重複領域設定処理を行う（ステップＳ０２）。原稿のどの部分をどの順番で読み取るかをルールとして決めておけば、制御部１はそのルールに従って、参照画像ＳＧと探索画像ＴＧとが重複しやすい重複領域ＣＡ１、ＣＡ２を割り出すことができる。また、ユーザが手動で参照画像ＳＧと探索画像ＴＧとが重複するであろうと思われる重複領域ＣＡ１、ＣＡ２を設定することもできる。

次に、制御部１は、参照画像ＳＧ側の重複領域ＣＡ１において、図５に示すように、図形Ｚの複数の特徴点Ａ〜Ｇを抽出し、記憶部５に登録する特徴点抽出処理を行う（ステップＳ０３）。特徴点とは、図形Ｚにおける特徴的な画像片であり、図形Ｚを構成する線画の交差点、分岐点、角部あるいは端点などを用いればよい。なお、この特徴点の抽出時には、いったん抽出した特徴点を相互に比較し、互いに似通っていて位置的に近い特徴点があれば、これらを適宜削除することが望ましい。このようにすると、特徴点と、後述する探索画像ＴＧの対応点候補とを対応させる場合に、混同しなくて済む。

次に、制御部１は、探索画像ＴＧ側の重複領域ＣＡ２から、図６に示すように、参照画像ＳＧの特徴点Ａ〜Ｇと類似する複数の対応点候補Ａ１，Ａ２，Ｂ１，Ｂ２，Ｃ１，Ｃ２，Ｃ３，Ｄ１，Ｄ２，Ｅ１，Ｇ１を抽出し、これらを対応点候補群ＡＧ〜ＧＧにグルーピングして記憶部５に保存する対応点候補抽出処理を行う（ステップＳ０４）。より具体的には、制御部１は、まず、探索画像ＴＧの図形Ｚにおける特徴的な画像片（つまり、図形Ｚを構成する線画の交差点、分岐点、角部あるいは端点）を抽出し、参照画像ＳＧの各特徴点と、探索画像ＴＧの各特徴点との差を演算し、その差分が閾値以下となるような探索画像ＴＧの各特徴点を対応点候補とする。差分が閾値以下であれば、参照画像ＳＧの１つの特徴点に対する、探索画像ＴＧの対応点候補は複数であってもよい。例えば参照画像ＳＧの特徴点Ａと類似する対応点は、対応点Ａ１，Ａ２であり、これらは対応点候補群ＡＧを構成している。また、特徴点Ｂと類似する対応点は、対応点Ｂ１，Ｂ２であり、これらは対応点候補群ＢＧを構成している。また、特徴点Ｃと類似する対応点は、対応点Ｃ１，Ｃ２，Ｃ３であり、これらは対応点候補群ＣＧを構成している。この時点では、例えば対応点候補Ｂ１は、特徴点Ｂに対応するのか又は特徴点Ｃに対応するのかが不明であるため、対応点候補Ｂ１であるとともに、対応点候補Ｃ１にも相当している。対応点候補が一つも見つからない特徴点（図６中の特徴点Ｆ）は削除するか、予備特徴点として保存する。なお、参照画像ＳＧの特徴点の位置に基づいて、ある程度探索画像ＴＧ側の探索位置を絞って対応点候補を抽出してもよい。このようにすれば、対応点候補の抽出の迅速化が図れる。

その後、制御部１は、参照画像ＳＧの特徴点Ａ〜Ｇ及び探索画像ＴＧの対応点候補群ＡＧ〜ＧＧを用いて、初期接続線選択処理を行う（ステップＳ０５）。具体的には、制御部１は、図７に示すように、参照画像ＳＧの特徴点Ａ〜Ｇから、互いに近傍にある３点の特徴点Ａ、Ｂ、Ｃを選択し、これら選択した特徴点同士を線分で接続した初期接続線Ａ−Ｂ−Ｃを割り出し、その初期接続線Ａ−Ｂ−Ｃの幾何情報を算出する。この幾何情報とは、表１に示すように、初期接続線Ａ−Ｂ−ＣにおけるＡ−Ｂ間の距離（線分Ａ−Ｂの長さ）と、Ｂ−Ｃ間の距離（線分Ｂ−Ｃ長さ）と、互いに隣り合う線分Ａ−Ｂ及び線分Ｂ−Ｃが成す角度である。要するに、この幾何情報は、特徴点を結ぶことによって得られた図形である初期接続線の特徴量を表す情報である。この幾何情報は記憶部５に記憶される。なお、初期接続線を割り出す際に用いる特徴点は、探索画像ＴＧにおける対応点候補の抽出時において、この対応点候補との類似度が高かった特徴点であることが望ましい。

次に、制御部１は、図８に示すように、特徴点Ａ、Ｂ、Ｃに対応する対応点候補群ＡＧ、ＢＧ、ＣＧを呼び出し、対応点候補群ＡＧを構成する対応点候補Ａ１、Ａ２、対応点候補群ＢＧを構成する対応点候補Ｂ１、Ｂ２、対応点候補群ＣＧを構成する対応点候補Ｃ１、Ｃ２、Ｃ３をそれぞれ線分で接続し、これらの接続線（以下、対応接続線候補という）の幾何情報を算出する。この幾何情報は、対応点候補を結ぶことによって得られた図形である、対応接続線候補の特徴量を表す情報である。表２に、これら対応接続線候補の幾何情報を示す。このように１２通りの幾何情報が得られることになり、これらの幾何情報は記憶部５に記憶される。

次に、制御部１は、特徴点Ａ、Ｂ、Ｃの３点間の幾何情報と、対応接続線候補の幾何情報とを比較して両者の一致度を計算し、一致度が閾値未満の対応接続線候補の幾何情報を記憶部５から削除する。これにより、図９に示すように、初期接続線との一致度が高いと判定された対応接続線候補Ａ１−Ｂ１−Ｃ３、Ａ２−Ｂ２−Ｃ２の幾何情報のみが残される。なお、対応接続線候補の幾何情報が一つも残らなかった場合は、制御部１は、上記の特徴点Ａ，Ｂ，Ｃ以外の３つの特徴点を選択し直し、上記と同様の処理を、対応接続線候補が抽出されるまで繰り返し行う。

次に、制御部１は、初期接続線及び対応接続線候補に基づいて、対応接続線構築処理を行う（ステップＳ０６）。より具体的には、制御部１は、まず特徴点Ａ〜Ｇのうち、まだ選択されていない一つの特徴点（ここでは特徴点Ｄとする）を選択する。次に、制御部１は、図１０に示すように、新たに選択した特徴点Ｄと、対応接続線候補Ａ１−Ｂ１−Ｃ３及び対応接続線候補Ａ２−Ｂ２−Ｃ２の端点Ｃ３、Ｃ２に対応する特徴点Ｃと、更にもう１つの特徴点（ここでは特徴点Ｂとする）とを繋いだ接続線Ｂ−Ｃ−Ｄを割り出し、この接続線Ｂ−Ｃ−Ｄの幾何情報を算出する。次に、制御部１は、図１０に示すように、対応接続線候補Ａ１−Ｂ１−Ｃ３及び対応接続線候補Ａ２−Ｂ２−Ｃ２の端点Ｃ３、Ｃ２と、選択された特徴点Ｄの対応点候補群ＤＧの対応点候補Ｄ１、Ｄ２とを含む３点の対応接続線候補を割り出し、その幾何情報を算出する。そして、制御部１は、特徴点Ｂ、Ｃ，Ｄの３点間の幾何情報と、図１０に示すようにして算出した対応接続線候補の幾何情報とを比較し、両者の一致度を計算する。そして、制御部１は、一致度が閾値未満の対応接続線候補の幾何情報を記憶部５から削除する。なお、対応接続線候補の幾何情報が一つも残らなかった場合は、制御部１は、追加した特徴点Ｄを削除するか、予備特徴点として保存し、再度特徴点の選択を行って上記の処理を繰り返す。

ここで、図１１に示すように、構築途中の対応接続線候補の端点が、異なる特徴点Ｄ、Ｃの対応点候補Ｄ２、Ｃ２であったとしても、制御部１は、対応する特徴点の接続線の幾何情報を求めることで、特徴点側の幾何情報と接続線対応接続線候補の幾何情報との比較を個別に行うことができる。具体的には、接続線Ｃ−Ｄ−Ｅと、対応接続線候補Ｃ３−Ｄ２−Ｅ１とを比較し、接続線Ｂ−Ｃ−Ｅと対応接続線候補Ｂ２−Ｃ２−Ｅ１とをそれぞれ比較すればよい。

制御部１は、上記のステップＳ０６の対応接続線構築処理を全ての特徴点が選択されるまで繰り返し行う。これにより、例えば、図１２に示すように、特徴点Ａ〜Ｇが全て接続され、これら特徴点Ａ〜Ｇの接続線Ａ−Ｂ−Ｃ−Ｄ−Ｅ−Ｇに対応する対応接続線候補として、最終的に、対応接続線候補Ａ１−Ｂ１−Ｃ３−Ｄ２と、対応接続線候補Ａ２−Ｂ２−Ｃ２−Ｅ１−Ｇ１とが構築されたとする。

次に、制御部１は、接続線と対応接続線候補とに基づいて、対応点選択処理を行う（ステップＳ０７）。具体的には、制御部１は、まず、複数の対応接続線候補のうち、対応点候補を接続している線分の本数の多い方を選択する。例えば図１２に示す例の場合、対応接続線候補Ａ１−Ｂ１−Ｃ３−Ｄ２と、対応接続線候補Ａ２−Ｂ２−Ｃ２−Ｅ１−Ｇ１とを比較すると、対応接続線候補Ａ２−Ｂ２−Ｃ２−Ｅ１−Ｇ１の方が線分の本数が多いから、制御部１は、図１３に示すように、対応接続線候補Ａ１−Ｂ１−Ｃ３−Ｄ２を削除して、対応接続線候補Ａ２−Ｂ２−Ｃ２−Ｅ１−Ｇ１を選択する。つまり、接続線の特徴量に近い対応接続線候補が選択されることになる。そして、制御部１は、この対応接続線候補Ａ２−Ｂ２−Ｃ２−Ｅ１−Ｇ１を構成する対応点候補対応点Ａ２、Ｂ２、Ｃ２、Ｅ１、Ｇ１を、特徴点Ａ，Ｂ，Ｃ，Ｅ，Ｇに対応するものとして特定する。このような処理により、制御部１は、参照画像ＳＧ側の特徴点に正しく一致する探索画像側の対応点を特定することができる。

なお、複数の対応接続線候補において、対応点候補を接続されている本数が同じであった場合は、制御部１は、これらの対応接続線候補に含まれる対応点候補と特徴点との相関値（類似度）を基に、例えば相関値の和が最も高い対応接続線候補を選択する。

また、制御部１は、参照画像ＳＧと探索画像ＴＧとの相対的な傾きを計算して修正し、再び、対応点候補抽出処理から画像合成処理を行ってもよい。ここで、画像の傾きの計算方法としては、接続線に含まれるすべての特徴点とその対応点候補の組から、傾きパラメータの平均を求める方法がある。このとき、前述した対応点候補抽出処理や対応接続線構築処理の過程にて削除した特徴点を、再び、対応点候補の抽出のための特徴点として用いてもよい。

最後に、制御部１は、図１４に示すように、参照画像ＳＧの特徴点Ａ、Ｂ、Ｃ、Ｅ、Ｇと、探索画像ＴＧにて特定した対応点Ａ２、Ｂ２、Ｃ２、Ｅ１、Ｇ１とが互いに重なるようにして、参照画像ＳＧと探索画像ＴＧとを合成する（ステップＳ０８）。これにより、参照画像ＳＧと探索画像ＴＧとを正確にマッチングすることができ、原稿Ｇ１と同一の合成画像Ｇ２が得られることになる。

以上、説明したように、上記第１実施形態によれば、一方の分割画像（参照画像）における特徴点同士を繋いだ接続線（線分図形）の幾何情報と、他方の分割画像（探索画像）における対応点候補同士を繋いだ接続線（線分図形）の幾何情報とを比較し、その比較結果から、他方の分割画像（探索画像）において一方の分割画像（参照画像）側の特徴点に一致する対応点を特定することができる。よって、一方の分割画像と他方の分割画像との間に相対的な傾きがあったとしても、これらの分割画像を確実かつ精度良く合成することができる。

（２）第２実施形態
次の第２実施形態について説明する。この第２実施形態に係る画像処理装置の構成が、第１実施形態の画像処理装置の構成と異なるのは、画像処理プログラムに記述された手順だけである。よって、以下では、第２実施形態に係る画像処理装置の制御部による画像合成処理について説明する。

図１５は、画像合成処理を説明するフローチャートであり、図１６〜図２２は、画像合成処理を説明する模式図である。
まず、ユーザは、第１実施形態と同様に、原稿の一部分（例えば原稿の左半分）を読取面に配置し、操作部２を操作してその原稿の一部分を読取部３に読み取らせる。次いで、原稿の残りの部分（例えば原稿の右半分）を、最初に読み取らせた部分と少しオーバーラップするようにして読取面に配置し、その残りの部分を読取部３に読み取らせる。これにより、読取部３から制御部１へ順次読み取られた各画像データが出力されるから、制御部１は、最初に読み取った画像データの画像を参照画像ＳＧとし、次に読み取った画像データの画像を探索画像ＴＧとする（ステップＳ１１）。

次に、制御部１は、参照画像ＳＧについて、図１６に示すように、参照画像ＳＧの図形Ｚ全体から、図形Ｚを構成する線の交差点、分岐点、角部あるいは端点などの特徴的な画像片を特徴点Ａ〜Ｐとして抽出して登録する特徴点抽出処理を行う（ステップＳ１２）。そして、制御部１は、探索画像ＴＧとの接合側の辺Ｈ（以下、接合辺Ｈという）の中央を接合中心点Ｈｏとし、この接合中心点Ｈｏから各特徴点Ａ〜Ｐまでの距離と、参照画像ＳＧにおける各特徴点Ａ〜Ｐの位置（図中左上を原点とした場合のＸＹ座標）を演算して記憶部５に保存する。ここで、一般的には、参照画像と探索画像とがずれた状態で読み取られるとしても、これらは画像接合辺Ｈに平行な方向へはずれにくい。よって、接合辺Ｈ方向のずれは、接合辺Ｈと直交する方向のずれよりも小さいと仮定し、接合辺Ｈと平行な方向に１以下の係数（例えば０．５）を掛けて、接合中心点Ｈｏから各特徴点Ａ〜Ｐまでの距離を演算する。

ここで、表３は、各特徴点Ａ〜Ｐの位置と、接合中心点Ｈｏからの距離を示すものである。図示のように、それぞれの特徴点Ａ〜ＰのＸＹ座標と、接合中心点ＨｏとのＸＹ方向の実距離と、接合辺Ｈと平行な方向への修正を経た接合中心点Ｈｏと特徴点Ａ〜Ｐとの距離が演算されて保存されている。

次いで、制御部１は、参照画像ＳＧの特徴点Ａ〜Ｐ及び接合中心点Ｈｏに基づいて、初期接続線選択処理を行う（ステップＳ１３）。具体的には、制御部１は、まず図１７に示すように、参照画像ＳＧの特徴点Ａ〜Ｐから、接合中心点Ｈｏからの距離が最も小さい３点を選択する。後は前述したステップＳ０４と同様に、これら選択した特徴点Ｂ、Ｃ、Ｄ同士を直線にて接続した初期接続線Ｂ−Ｃ−Ｄを割り出し、その初期接続線Ｂ−Ｃ−Ｄの幾何情報を算出する（表１参照）。
次に、制御部１は、探索画像ＴＧから、特徴点Ｂ，Ｃ，Ｄと類似する複数の対応点候補Ｂ１，Ｂ２，Ｃ１，Ｃ２，Ｃ３，Ｄ１，Ｄ２を抽出し、これらを対応点候補群ＢＧ，ＣＧ，ＤＧにグルーピングして記憶部５に保存する対応点候補抽出処理を行う。

次に、制御部１は、第１実施形態と同様に、その特徴点Ｂ、Ｃ、Ｄに対応する対応点候補群ＢＧ、ＣＧ、ＤＧ（図６参照）を呼び出し、これら対応点候補群ＢＧを構成する対応点候補Ｂ１，Ｂ２と、対応点候補群ＣＧを構成する対応点候補Ｃ１、Ｃ２、Ｃ３と、対応点候補群ＤＧを構成する対応点候補Ｄ１、Ｄ２とを線分で接続した対応接続線候補の幾何情報を算出する（表２参照）。さらに、制御部１は、特徴点Ｂ、Ｃ、Ｄ側の３点間の幾何情報を指標として、対応接続線候補の幾何情報の一致度を計算する。そして、制御部１は、一致度が低い対応接続線候補の幾何情報を削除して、図１８に示すように、一致度が閾値よりも高い対応接続線候補Ｂ１−Ｃ１−Ｄ１及び対応接続線候補Ｂ２−Ｃ２−Ｄ２の幾何情報のみを残す。なお、対応接続線候補の幾何情報が一つも残らなかった場合は、制御部１は、接合中心点Ｈｏからの距離が近い別の３つの特徴点を選択し、一致度が高い対応接続線候補が抽出されるまで、上記の初期接続線選択処理を繰り返し行う。

次に、制御部１は、第１実施形態と同様に、初期接続線及び対応接続線候補に基づいて、対応接続線構築処理を行う（ステップＳ１４）。具体的には、制御部１は、まず、特徴点Ａ〜Ｐのうち、まだ選択されてない接続中心点Ｈｏから最も近い一つの特徴点Ｅを選択する。そして、制御部１は、図１９に示すように、特徴点Ｅと、対応接続線候補Ｂ１−Ｃ１−Ｄ１及び対応接続線候補Ｂ２−Ｃ２−Ｄ２の端点Ｄ１、Ｄ２に対応する特徴点Ｄを含む３つの特徴点Ｃ、Ｄ、Ｅを繋いだ接続線Ｃ−Ｄ−Ｅを割り出し、この接続線Ｃ−Ｄ−Ｅの幾何情報を算出する。
次に、制御部１は、探索画像ＴＧから、特徴点Ｅと類似する複数の対応点候補Ｅ１を抽出し、これらを対応点候補群ＥＧにグルーピングして記憶部５に保存する対応点候補抽出処理を行う。

次に、制御部１は、対応接続線候補Ｂ１−Ｃ１−Ｄ１、Ｂ２−Ｃ２−Ｄ２の端点Ｄ１、Ｄ２と、選択された特徴点Ｅの対応点候補Ｅ１とを含む３点の対応接続線候補を割り出し、その幾何情報を算出する。さらに、制御部１は、特徴点Ｃ−Ｄ−Ｅ側の３点間の幾何情報を指標として、対応接続線候補の幾何情報の一致度を計算する。そして、制御部１は、一致度が低い対応接続線候補の幾何情報を削除し、一致度が閾値よりも高い対応接続線候補の幾何情報のみを残す。なお、対応接続線候補の幾何情報が一つも残らなかった場合は、追加した特徴点Ｅを削除するか、予備特徴点として保存し、再度特徴点の選択を行う。なお、特徴点を削除しなければならないような事態がある程度（所定回数以上）続いたら、制御部１は、参照画像ＳＧと探索画像ＴＧとの重複領域を外れたと判断し、対応接続線構築処理を終了してもよい。

制御部１は、上記の対応接続線構築処理を全ての特徴点が選択されるまで繰り返し行う。これにより、例えば、図２０に示すように、削除された特徴点Ｍ〜Ｐを除く特徴点Ａ〜Ｌが全て接続され、これら特徴点Ａ〜Ｌの接続線Ｃ−Ｄ−Ｂ−Ｅ−Ａ−Ｆ−Ｇ−Ｊ−Ｋ−Ｉ−Ｌ−Ｈに対応する対応接続線候補Ｃ１−Ｄ１−Ｂ１−Ａ１と、対応接続線候補Ｃ２−Ｄ２−Ｂ２−Ｅ１−Ａ２−Ｆ１−Ｇ１−Ｊ１−Ｋ１−Ｉ１−Ｌ１−Ｈ１とが構築されたら、対応接続線構築処理を終了する。

次に、制御部１は、第１実施形態と同じように、接続線と対応接続線候補とに基づいて、対応点選択処理を行う（ステップＳ１５）。具体的には、対応接続線候補のうち対応点候補を接続している線分の本数の多いものを選択する。この場合、図２０に示す例の場合、対応接続線候補Ｃ１−Ｄ１−Ｂ１−Ａ１と、対応接続線候補Ｃ２−Ｄ２−Ｂ２−Ｅ１−Ａ２−Ｆ１−Ｇ１−Ｊ１−Ｋ１−Ｉ１−Ｌ１−Ｈ１とが比較され、図２１に示すように、対応点候補間を接続している線分の本数が多い対応接続線候補Ｃ２−Ｄ２−Ｂ２−Ｅ１−Ａ２−Ｆ１−Ｇ１−Ｊ１−Ｋ１−Ｉ１−Ｌ１−Ｈ１が選択されることになる。

そして、制御部１は、この対応接続線候補Ｃ２−Ｄ２−Ｂ２−Ｅ１−Ａ２−Ｆ１−Ｇ１−Ｊ１−Ｋ１−Ｉ１−Ｌ１−Ｈ１を構成する対応点候補を、対応点Ｃ２、Ｄ２、Ｂ２、Ｅ１、Ａ２、Ｆ１、Ｇ１、Ｊ１、Ｋ１、Ｉ１、Ｌ１、Ｈ１として選択する。なお、複数の対応接続線候補において、対応点候補を接続されている本数が同じであった場合は、制御部１は、これらの対応接続線候補に含まれる対応点候補と特徴点との相関値（類似度）を基に、例えば相関値の和が最も高い対応接続線候補を選択する。また、対応接続線候補に含まれる対応点候補の接合中心点Ｈｏからの距離を基に、対応接続線候補を選択してもよい。

また、制御部１は、参照画像ＳＧと探索画像ＴＧとの相対的な傾きを計算して修正し、再び、対応点候補抽出処理から画像合成処理を行ってもよい。ここで、画像の傾きの計算方法としては、対応接続線候補に含まれるすべての特徴点とその対応点候補の組から、傾きパラメータの平均を求める方法がある。このとき、前述した対応点候補抽出処理や対応接続線構築処理の過程にて削除した特徴点を、再び、対応点候補の抽出のための特徴点として用いてもよい。

最後に、制御部１は、図２２に示すように、参照画像ＳＧの特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌと、探索画像ＴＧにて選択された対応点Ａ２、Ｂ２、Ｃ２、Ｄ２、Ｅ１、Ｆ１、Ｇ１、Ｈ１、Ｉ１、Ｊ１、Ｋ１、Ｌ１とが互いに重なるように、これら参照画像ＳＧと探索画像ＴＧとを合成する（ステップＳ１６）。このとき、接合中心点Ｈｏからの距離に応じて、例えば、接合中心点Ｈｏから遠いほど合成パラメータ計算時の重み付けを低くするなどのように、それぞれの特徴点に対して重み付けを変えることにより、より高い精度にて画像の合成を行うこともできる。
以上の処理により、参照画像ＳＧと探索画像ＴＧとを正しくマッチングして、原稿Ｇ１と同一の合成画像Ｇ２を得ることが可能となる。

以上の第２実施形態によれば、第１実施形態と同様に、一方の分割画像（参照画像）における特徴点同士を繋いだ接続線（線分図形）の幾何情報と、他方の分割画像（探索画像）における対応点候補同士を繋いだ接続線（線分図形）の幾何情報とを比較し、その比較結果から、他方の分割画像（探索画像）において一方の分割画像（参照画像）側の特徴点に一致する対応点を特定することができる。よって、一方の分割画像と他方の分割画像との間に相対的な傾きがあったとしても、これらの分割画像を確実かつ精度良く合成することができる。
また、接合中心点Ｈｏは、参照画像と探索画像とで最も重複しやすい点である。よって、このように両者の画像において重複しやすい接合中心点Ｈｏに近い特徴点から優先的に対応点を求めていくようにすれば、探索画像において参照画像側の特徴点に一致する対応点をより特定しやすくなる。
また、接合中心点Ｈｏからの距離に応じて特徴点の重要度を変えることにより、画像の合成に使用可能な特徴点を有効に用いることができる。
なお、この第２実施形態で用いた接合中心点Ｈｏに代えて、参照画像と探索画像との重複領域の中央点や、参照画像において空白でない画像領域、つまり図形Ｚの中央点（重心）を用いてもよい。

なお、第１及び第２実施形態では、原稿Ｇ１を２分割して読取部３に読み取らせたが、原稿Ｇ１を読み取らせる際の分割数は２分割に限定されないことはもちろんである。また、特徴点同士を繋いで得られる図形及び対応点候補同士を繋いで得られる図形は任意の図形であってもよい。

本実施形態に係る画像処理装置の構成を示すブロック図である。 第１実施形態における画像合成処理を説明するフローチャートである。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 第２実施形態における画像合成処理を説明するフローチャートである。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。 画像合成処理を説明する模式図である。

符号の説明

１…制御部、３…読取部、１１…画像処理装置、ＣＡ１，ＣＡ２…重複領域、Ｇ１…原稿、Ｇ２…合成画像、Ｈｏ…接合中心点（中心点）、ＳＧ…参照画像、ＴＧ…探索画像。

Claims (8)

1. 読取手段によって読み取られた画像を表す複数の画像データのうち、一方の画像データが表す画像を参照画像とし、当該参照画像において複数の特徴点を抽出する特徴点抽出手段と、
   前記読取手段によって読み取られた画像を表す複数の画像データのうち、他方の画像データが表す画像を探索画像とし、当該探索画像において、前記複数の特徴点にそれぞれ対応する複数の対応点の候補を抽出する対応点候補抽出手段と、
   前記複数の特徴点を結んだ図形の特徴量と、前記複数の対応点候補を結んで得られる複数の図形の特徴量とをそれぞれ算出する特徴量算出手段と、
   前記複数の対応点候補を結んで得られる複数の図形の特徴量のうち、前記複数の特徴点を結んだ図形の特徴量に近いものを特定する比較手段と、
   前記比較手段によって特定された特徴量を有する前記図形を構成する対応点候補を、前記特徴点に対応する対応点として特定し、当該対応点と、対応する前記特徴点とを重ね合わせるようにして前記探索画像と前記参照画像とを合成する画像合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記特徴点抽出手段は、前記参照画像と前記探索画像との間で重複しやすい位置を基準とし、当該参照画像において前記位置に近い複数の特徴点を抽出することを特徴とする請求項１記載の画像処理装置。
3. 前記参照画像と前記探索画像との間で重複しやすい位置は、前記参照画像と前記探索画像とが接合する辺の中心点であることを特徴とする請求項２に記載の画像処理装置。
4. 前記参照画像と前記探索画像との間で重複しやすい位置は、前記参照画像と前記探索画像とが重複すると予測される領域の中心点であることを特徴とする請求項２に記載の画像処理装置。
5. 前記参照画像と前記探索画像との間で重複しやすい位置は、前記参照画像において余白でない領域の重心であることを特徴とする請求項２に記載の画像処理装置。
6. 前記複数の特徴点を結んだ図形は、少なくとも３つの前記特徴点を結んだ線分図形であり、
   前記複数の対応点候補を結んで得られる図形は、少なくとも３つの前記対応点候補を結んだ線分図形であり、
   前記図形の特徴量は、前記特徴点同士あるいは前記対応点同士を結んだ線分の長さと、隣り合う２本の線分が成す角度とからなることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 読取手段によって読み取られた画像を表す複数の画像データのうち、一方の画像データが表す画像を参照画像とし、当該参照画像において複数の特徴点を抽出するステップと、
   前記読取手段によって読み取られた画像を表す複数の画像データのうち、他方の画像データが表す画像を探索画像とし、当該探索画像において、前記複数の特徴点にそれぞれ対応する複数の対応点の候補を抽出するステップと、
   前記複数の特徴点を結んだ図形の特徴量と前記複数の対応点候補を結んで得られる複数の図形の特徴量とをそれぞれ算出するステップと、
   前記複数の対応点候補を結んで得られる複数の図形の特徴量のうち、前記複数の特徴点を結んだ図形の特徴量に近いものを特定するステップと、
   特定された特徴量を有する前記図形を構成する対応点候補を、前記特徴点に対応する対応点として特定し、当該対応点と、対応する前記特徴点とを重ね合わせるようにして前記探索画像と前記参照画像とを合成するステップと
   を備えることを特徴とする画像処理方法。
8. コンピュータに、
   読取手段によって読み取られた画像を表す複数の画像データのうち、一方の画像データが表す画像を参照画像とし、当該参照画像において複数の特徴点を抽出する特徴点抽出機能と、
   前記読取手段によって読み取られた画像を表す複数の画像データのうち、他方の画像データが表す画像を探索画像とし、当該探索画像において、前記複数の特徴点にそれぞれ対応する複数の対応点の候補を抽出する対応点候補抽出機能と、
   前記複数の特徴点を結んだ図形の特徴量と前記複数の対応点候補を結んで得られる複数の図形の特徴量とをそれぞれ算出する特徴量算出機能と、
   前記複数の対応点候補を結んで得られる複数の図形の特徴量のうち、前記複数の特徴点を結んだ図形の特徴量に近いものを特定する比較機能と、
   前記比較機能によって特定された特徴量を有する前記図形を構成する対応点候補を、前記特徴点に対応する対応点として特定し、当該対応点と、対応する前記特徴点とを重ね合わせるようにして前記探索画像と前記参照画像とを合成する画像合成機能と
   を実現させるプログラム。

Images