JP2004272859A - Image collating device, image collating method and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image collating device, an image collating method and a program that can collate images with high precision. <P>SOLUTION: The image collating device has a candidate specification part 241 for specifying a plurality of candidates of two-dimensional positional relations between a registered image AIM and a collated image RIM, a similarity generation part 242 for comparing the registered image AIM and the collated image RIM to generate a similarity Sim in each of the plurality of different two-dimensional positional relations between the registered image AIM and the collated image RIM, an integration part 243 for integrating the similarities Sim generated by the similarity generation part 242, and a collating part 2454 for executing collating based on the similarities Sim integrated by the integration part 243. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【００２１】
【数２】

【００２２】
対数変換部２１１２１，２１１２２は、フーリエ変換部２１１１１，２１１１２で生成された、フーリエ画像データＦ１（ｍ，ｎ），Ｆ２（ｍ，ｎ）の振幅成分に基いて対数処理を行う。この振幅成分の対数処理は、画像データの詳細な特徴情報を含む高周波成分を強調する。
【００２３】
詳細には、対数変換部２１１２１は数式（３）に示すように振幅成分Ａ（ｕ，ｖ）に基いて対数処理を行いＡ’（ｕ，ｖ）を生成し対数−極座標変換部２１１３１に出力する。対数変換部２１１２２は数式（４）に示すように振幅成分Ｂ（ｕ，ｖ）に基いて対数処理を行いＢ’（ｕ，ｖ）を生成し対数−極座標変換部２１１３２に出力する。
【００２４】
【数３】

【００２５】
【数４】

【００２６】
対数−極座標変換部２１１３１，２１１３２は、対数変換部２１１２１，２１１２２から出力された信号に基いて、対数−極座標系（例えばｌｏｇ−ｒ，Θ）に変換する。
一般的に例えば点（ｘ，ｙ）に対して数式（５），（６）に示すように定義すると、ｒ＝ｅ^μの場合にはμ＝ｌｏｇ（ｒ）であり、任意の点（ｘ，ｙ）に対応する一義的な（ｌｏｇ（ｒ），Θ）が存在する。この性質により対数−極座標変換部２１１３１，２１１３２は座標変換を行う。
【００２７】
【数５】

【００２８】
【数６】

【００２９】
詳細には、対数−極座標変換部２１１３１，２１１３２は、数式（７）に示す集合（ｒ_ｉ、θ_ｊ）、および数式（８）に示す関数ｆ（ｒ_ｉ、θ_ｊ）を定義する。
【００３０】
【数７】

【００３１】
【数８】

【００３２】
対数−極座標変換部２１１３１，２１１３２は、数式（７），（８）で定義した集合（ｒ_ｉ、θ_ｊ），関数ｆ（ｒ_ｉ、θ_ｊ）を用いて、画像データＡ’（ｕ，ｖ），Ｂ’（ｕ，ｖ）それぞれを、数式（９），（１０）に示すように対数−極座標変換を行い、ｐＡ（ｒ_ｉ、θ_ｊ）、ｐＢ（ｒ_ｉ、θ_ｊ）を生成し、それぞれ信号ＳＡ２１１、信号ＳＲ２１１として、位相限定相関部２１２に出力する。
【００３３】
【数９】

【００３４】
【数１０】

【００３５】
図３は、図２に示したフーリエ・メリン変換部２１１の動作を説明するための図である。
画像ｆ１（ｍ，ｎ），画像ｆ２（ｍ，ｎ）は、例えばｘ，ｙ軸に対して異なる所定角度を持った矩形領域Ｗ１，Ｗ２を含む。
フーリエ・メリン変換部２１１において、例えば図３に示すように、画像ｆ１（ｍ，ｎ）が、フーリエ変換部２１１１１によりフーリエ変換されて、フーリエ画像データＡ’（ｕ，ｖ）が生成され、対数変換部２１１２１および対数−極座標変換部２１１３１により、画像データｐＡ（ｒ，θ）が生成される。
【００３６】
同様に、画像ｆ２（ｍ，ｎ）が、フーリエ変換部２１１１２によりフーリエ変換されて、フーリエ画像データＢ’（ｕ，ｖ）が生成され、対数変換部２１１２２および対数−極座標変換部２１１３２により、画像データｐＢ（ｒ，θ）が生成される。
【００３７】
上述したように、画像ｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）は、フーリエ変換および対数−極座標変換により、デカルト座標から対数−極座標系（フーリエ・メリン空間とも言う）上に変換される。
フーリエ・メリン空間では、画像のスケーリングに応じて、成分がｌｏｇ−ｒの軸に沿って移動し、画像の回転角度に応じてθ軸に沿って移動する性質がある。
この性質を用いて、画像ｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）のスケーリング（倍率情報）および回転角度を、フーリエ・メリン空間上のｌｏｇ−ｒの軸に沿った移動量、およびθ軸に沿った移動量に基いて、求めることができる。
【００３８】
位相限定相関部２１２は、例えば位相限定フィルタ（ＳＰＯＭＦ：Ｓｙｍｍｅｔｒｉｃｐｈａｓｅ−ｏｎｌｙ ｍａｔｃｈｅｄ ｆｉｌｔｅｒ）を用いた位相限定相関法により、フーリエ・メリン変換部２１１から出力されたパターンデータを示す信号ＳＡ２１１およびＳＲ２１１に基いて、それぞれの平行移動量を求める。
位相限定相関部２１２は、例えば図１に示すように、フーリエ変換部２１２０，２１２１、合成部２１２２、位相抽出部２１２３、および逆フーリエ変換部２１２４を有する。
【００３９】
フーリエ変換部２１２０，２１２１は、対数−極座標変換部２１１３１，２１１３２から出力された信号ＳＡ２１１（ｐＡ（ｍ，ｎ）），ＳＲ２１１（ｐＢ（ｍ，ｎ））に基いて数式（１１），（１２）により、フーリエ変換を行う。ここで、Ｘ（ｕ，ｖ），Ｙ（ｕ，ｖ）は、フーリエ係数である。フーリエ係数Ｘ（ｕ，ｖ）は数式（１１）に示すように振幅スペクトルＣ（ｕ，ｖ）および位相スペクトルθ（ｕ，ｖ）により構成される。フーリエ係数Ｙ（ｕ，ｖ）は数式（１２）に示すように振幅スペクトルＤ（ｕ，ｖ）および位相スペクトルφ（ｕ，ｖ）により構成される。
【００４０】
【数１１】

【００４１】
【数１２】

【００４２】
合成部２１２２は、フーリエ変換部２１２０，２１２１で生成されたＸ（ｕ，ｖ），Ｙ（ｕ，ｖ）を合成して相関をとる。例えば合成部２１２２は、Ｘ（ｕ，ｖ）・Ｙ^＊（ｕ，ｖ）を生成し、位相抽出部２１２３に出力する。ここで、Ｙ^＊（ｕ，ｖ）は、Ｙ（ｕ，ｖ）の複素共役である。
【００４３】
位相抽出部２１２３は、合成部２１２２から出力された合成信号に基いて振幅成分を除去して位相情報を抽出する。
例えば位相抽出部２１２３は、例えばＸ（ｕ，ｖ）Ｙ^＊（ｕ，ｖ）に基いて、その位相成分Ｚ（ｕ，ｖ）＝ｅ^{ｊ（θ（ｕ，ｖ）−φ（ｕ，ｖ））}を抽出する。
【００４４】
位相情報の抽出は、上述した形態に限られるものではない。例えば、フーリエ変換部２１２０，２１２１の出力、数式（１３），（１４）に基いて位相情報を抽出した後、数式（１５）に示すように位相成分のみ合成を行い、Ｚ（ｕ，ｖ）を生成してもよい。
【００４５】
【数１３】

【００４６】
【数１４】

【００４７】
【数１５】

【００４８】
逆フーリエ変換部２１２４は、位相抽出部２１２３から出力された、位相情報のみの信号Ｚ（ｕ，ｖ）に基いて、逆フーリエ変換処理を行い、相関強度画像を生成する。
詳細には、逆フーリエ変換部２１２４は、数式（１６）に示すように、信号Ｚ（ｕ，ｖ）に基いて逆フーリエ変換処理を行い、相関強度画像Ｇ（ｐ，ｑ）を生成する。
【００４９】
【数１６】

【００５０】
倍率情報−回転情報生成部２１３は、逆フーリエ変換部２１２４により生成された相関強度画像Ｇ（ｐ、ｑ）におけるピーク位置の画像中心からのずれ量が、すなわち登録画像ＡＩＭと、照合画像ＲＩＭに対してフーリエ・メリン変換を行った結果得られたパターンデータ間の平行移動量と等価であるので、このずれ量を検出することにより、登録画像ＡＩＭに対する照合画像ＲＩＭの倍率情報（拡大／縮小率）および回転角度情報を示すデータを含む補正情報Ｓ２１を生成する。
【００５１】
補正部２２は、倍率情報−回転情報部２１の倍率情報−回転情報生成部２１３から出力された補正情報Ｓ２１に基いて、照合画像ＲＩＭの補正を行う。詳細には、補正部２２は、補正情報Ｓ２１に含まれる倍率情報および回転角度情報に基づいて、照合画像ＲＩＭを拡大／縮小処理し、回転処理を行い、位相限定相関部２３に出力する。補正部２２の補正処理により、登録画像ＡＩＭと照合画像ＲＩＭ間のスケーリングおよび回転成分の差異が除去される。
このため、登録画像ＡＩＭと、補正処理された照合画像ＲＩＭとの間には、平行移動成分のみが差異として残っている。
【００５２】
位相限定相関部２３は、上述した登録画像ＡＩＭと、補正処理された照合画像ＲＩＭとの間の平行移動成分、およびその相関値を検出する。この検出は、例えば上述した位相限定フィルタを用いた位相限定相関法により求める。
詳細には、位相限定相関部２３は、フーリエ変換部２３１１，２３１２、合成部２３２、位相抽出部２３３、および逆フーリエ変換部２３４を有する。
【００５３】
フーリエ変換部２３１１，２３１２、合成部２３２、位相抽出部２３３、および逆フーリエ変換部２３４それぞれは、上述した位相限定相関部２１２のフーリエ変換部２１２０，２１２１、合成部２１２２、位相抽出部２１２３、および逆フーリエ変換部２１２４それぞれと同じ機能を有するので簡単に説明する。
【００５４】
フーリエ変換部２３１１は、登録画像ＡＩＭをフーリエ変換し合成部２３２に出力する。この際、予めフーリエ変換部２１１１１でフーリエ変換処理した登録画像ＡＩＭをメモリ１２に記憶しておき、それを合成部２３２に出力してもよい。こうすることにより２重にフーリエ変換処理を行うことがないために、処理が軽減される。
フーリエ変換部２３１２は、補正部２２により、補正された画像Ｓ２２をフーリエ変換を行い、処理結果のフーリエ画像を合成部２３２に出力する。
【００５５】
合成部２３２は、フーリエ変換部２３１１，２３１２から出力されたフーリエ画像Ｓ２３１１，Ｓ２３１２を合成し、合成画像Ｓ２３２を位相抽出部２３３に出力する。
位相抽出部２３３は，合成画像Ｓ２３２に基づいて上述したように位相情報を抽出して信号Ｓ２３３を逆フーリエ変換部２３４に出力する。
逆フーリエ変換部２３４は、信号Ｓ２３３に基づいて逆フーリエ変換を行い相関強度画像（相関画像データ）を生成し、信号Ｓ２３として判別部２４に出力する。
【００５６】
上述の位相限定相関法における平行移動量の検出処理の詳細な説明を行う。
例えば、原画像ｆ１（ｍ，ｎ）、原画像ｆ２（ｍ，ｎ）、および画像ｆ２（ｍ，ｎ）を平行移動した画像ｆ３（ｍ，ｎ）＝ｆ２（ｍ＋α，ｎ＋β）それぞれをフーリエ変換処理し、数式（１７）〜（１９）に示すように、フーリエ係数Ｆ１（ｕ，ｖ），Ｆ２（ｕ，ｖ），Ｆ３（ｕ，ｖ）を生成する。
【００５７】
【数１７】

【００５８】
【数１８】

【００５９】
【数１９】

【００６０】
フーリエ係数Ｆ１（ｕ，ｖ）〜Ｆ３（ｕ，ｖ）に基づいて、数式（２０）〜（２２）に示すように、位相情報のみの位相画像Ｆ’１（ｕ，ｖ）〜Ｆ’３（ｕ，ｖ）を生成する。
【００６１】
【数２０】

【００６２】
【数２１】

【００６３】
【数２２】

【００６４】
位相画像Ｆ’１（ｕ，ｖ）と位相画像Ｆ’２（ｕ，ｖ）の相関の位相画像の相関Ｚ１２（ｕ，ｖ）を数式（２３）に示すように計算し、位相画像Ｆ’１（ｕ，ｖ）と位相画像Ｆ’３（ｕ，ｖ）の相関の位相画像の相関Ｚ１３（ｕ，ｖ）を数式（２４）に示すように計算する。
【００６５】
【数２３】

【００６６】
【数２４】

【００６７】
相関Ｚ１２（ｕ，ｖ）の相関強度画像Ｇ１２（ｒ，ｓ）、および相関Ｚ１３（ｕ，ｖ）の相関強度画像Ｇ１３（ｒ，ｓ）を数式（２５），（２６）に示すように計算する。
【００６８】
【数２５】

【００６９】
【数２６】

【００７０】
数式（２５），（２６）に示すように、画像ｆ３（ｍ，ｎ）が、画像２（ｍ，ｎ）に比べて（＋α、＋β）だけずれている場合には、位相限定相関法では、相関強画像において、（−α，−β）だけずれた位置に相関強度のピークが生成される。この相関強度位置の位置により、２つの画像間の平行移動量を求めることができる。
また、上述したフーリエ・メリン空間上で、この位相限定相関法を用いることにより、フーリエ・メリン空間上の平行移動量が検出できる。この平行移動量は、上述したように実空間では倍率情報および回転角度情報に相当する。
【００７１】
図４は、自己相関法と位相限定相関法の相違点を説明するための図である。
自己相関法では、例えば図４（ａ），（ｂ）に示すように、画像ＩＭ１、および画像ＩＭ１と同じ画像ＩＭ２をフーリエ変換を行い自己相関関数ＳＧ１を生成すると、図４（ｃ）に示すように、相関強度が高いピークと、その周辺部に小さい相関強度を有する相関強度分布が得られる。図４（ｃ）において縦軸は相関強度を示す。
【００７２】
一方、上述した位相限定相関法では、図４（ｄ），（ｅ）に示すように、画像ＩＭ１、および画像ＩＭ１と同じ画像ＩＭ２をフーリエ変換を行い、位相情報のみを相関すると図４（ｆ）に示すように、相関強度が高く鋭いピークのみを有する相関強度分布が得られる。このように位相限定法では自己相関法に比べて相関に関して明確な情報を得ることができる。図４（ｆ）において、縦軸（ｚ軸）は相関強度を示し、ｘ軸，ｙ軸はずれ量を示す。
【００７３】
図５は、位相限定相関法において、２つの画像間で平行移動ずれがある場合の相関強度分布を説明するための図である。
例えば図５（ａ），（ｂ）に示すような画像ＩＭ１、および画像ＩＭ１より数画素平行移動している画像ＩＭ３の画像の位相限定法における相関強度分布は、例えば図５（ｃ）に示すように、相関強度が高く鋭いピークが、図４（ｆ）に示した相関画像データの内のピーク位置から、平行移動量に応じた距離だけずれた位置に分布している。しかし、図５（ｃ）に示すピーク強度は、図４（ｆ）に示したピーク強度に比べて小さい。これは画像ＩＭ１，ＩＭ２に比べて、画像ＩＭ１，ＩＭ３の一致している画素領域が小さいためである。
【００７４】
図６は、位相限定法において、２つの画像間で回転ずれがある場合の相関強度分布を説明するための図である。
図６（ａ），（ｂ）に示すような画像ＩＭ１、および画像ＩＭ１より数度回転している画像４の位相限定法における相関強度分布は、例えば図６に示すように、弱い相関強度の相関強度分布が得られる。単純に位相限定相関法を用いた場合には回転ずれにより、相関を検出することが困難である。
【００７５】
このため、本実施形態に係る画像照合装置１では、登録画像ＡＩＭおよび照合画像ＲＩＭを、フーリエ・メリン変換を行い、フーリエ・メリン空間上で、位相限定相関法を用いることにより、平行移動量を検出し、登録画像ＡＩＭおよび照合画像ＲＩＭの倍率情報、および回転角度情報を検出する。その情報に基づいて、照合画像の倍率および回転角度を補正する。
補正した照合画像ＲＩＭおよび登録画像ＡＩＭ間の平行移動ずれを、位相限定相関法により検出し、同時に相関ピークに基づいて画像間の照合を行う。
【００７６】
図７は、位相限定相関部２３が出力する相関画像データを説明するための図である。図７（ａ）は登録画像ＡＩＭ、図７（ｂ）は照合画像ＲＩＭ、図７（ｃ）は相関画像データの一具体例を示す図である。図８は図７（ｃ）に示した相関画像データを説明するための図である。
【００７７】
登録画像ＡＩＭ，照合画像ＲＩＭとして、例えば手書き文字や血管パターン等の２値化および線形状のパターンを含む場合、例えば図７（ａ），（ｂ）に示すような登録画像ＡＩＭ，照合画像ＲＩＭの場合、位相限定相関部２３は信号Ｓ２３として図７（ｃ）に示すような相関画像データを出力する。
【００７８】
図７（ｃ）において、ｚ軸方向は相関画像データにおける相関ピーク強度を示し、相関ピーク強度は登録画像ＡＩＭと照合画像ＲＩＭ間の相関度に相当する。図７（ｃ）および図８に示すように、ｘ軸方向，ｙ軸方向での相関ピーク位置は、例えば画像中心からのずれ量が登録画像ＡＩＭと照合画像ＲＩＭ間の平行移動量に相当する。
【００７９】
判別部２４は、位相限定相関部２３から出力された信号Ｓ２３に基づいて、登録画像ＡＩＭと照合画像ＲＩＭの照合を行う。
照合部２４は、例えば図１に示すように、候補特定部２４１、類似度生成部２４２、積算部２４３、および照合部２４４を有する。
候補特定部２４１は本発明に係る候補特定手段に相当し、類似度生成部２４２は本発明に係る類似度生成手段に相当し、積算部２４３は本発明に係る積算手段に相当し、照合部２４４は本発明に係る照合手段に相当する。
【００８０】
候補特定部２４１は、位相限定相関部２３から出力された信号Ｓ２３に基づいて、登録画像ＡＩＭと照合画像ＲＩＭと２次元上の位置関係の複数の候補を特定し、信号Ｓ２４１として類似度生成部２４２に出力する。
【００８１】
図９は、図１に示した候補特定部２４１の候補特定処理を説明するための図である。数値は、相関画像データのＸ−Ｙ面上での相関画像データの相関ピーク強度を示す。
例えば図７（ａ），（ｂ）に示すような２値化および線形状のパターンを含む登録画像ＡＩＭ，照合画像ＲＩＭの場合、相関の大きい画像同士でも、相関ピーク強度（相関強度とも言う）が図９に示すように値が小さい。
候補特定部２４１は、例えば図９に示すように、信号Ｓ２３に基づいて相関強度の上位Ｎ個、本実施形態では８個を、登録画像ＡＩＭと照合画像ＲＩＭと２次元上の位置関係の候補として特定し、信号Ｓ２４１として類似度生成部２４２に出力する。
【００８２】
類似度生成部２４２は、候補特定部２４２で特定された複数の位置関係の候補を示す信号Ｓ２４２に基づいて、登録画像ＡＩＭと、補正部２２で補正された照合画像ＲＩＭとの間の２次元上の異なる複数の位置関係それぞれにおいて、画素毎に、登録画像ＡＩＭと、補正部２２で補正された照合画像ＲＩＭを比較して類似度を生成する。
【００８３】
詳細には、類似度生成部２４２は、例えば図７（ａ），（ｂ）に示すように、登録画像ＡＩＭをｆ１（ｍ，ｎ）、補正部２２で補正された照合画像ＲＩＭをｆ２（ｍ，ｎ）のｍ×ｎ画素の２値化および線形状のパターンを含む画像とすると、例えば類似度Ｓｉｍを数式（２７）により算出し、算出結果を積算部２４３および照合部２４４に出力する。
【００８４】
【数２７】

【００８５】
積算部２４３は、類似度生成部２４２が生成した類似度Ｓｉｍを積算し、積算結果を信号Ｓ２４３として照合部２４４に出力する。
【００８６】
照合部２４４は、積算部２４３が積算した類似度Ｓｉｍを基に登録画像ＡＩＭと照合画像ＲＩＭの照合を行う。詳細には、例えば照合部２４４は、積算した類似度Ｓｉｍが所定値よりも大きい場合には、登録画像ＡＩＭと照合画像ＲＩＭが一致していると判別する。
【００８７】
また、照合部２４４は、類似度生成部２４２から出力された類似度Ｓｉｍを基に登録画像ＡＩＭと照合画像ＲＩＭの照合を行う。詳細には、例えば照合部２４４は、類似度Ｓｉｍが所定値よりも大きい場合には、登録画像ＡＩＭと照合画像ＲＩＭが一致していると判別する。
また、照合部２４４は、照合処理の結果を示す信号Ｓ２４を出力する。
【００８８】
図１０は、図１に示した画像照合装置１の動作を説明するためのフローチャートである。以上説明した構成の画像照合装置１の動作を図８を参照しながら簡単に説明する。
例えば画像入力部１１により、登録画像ＡＩＭおよび照合画像ＲＩＭが入力され、メモリにそれぞれの画像データが格納される（ＳＴ１）。
ここで、登録画像ＡＩＭに対する照合画像ＲＩＭの倍率（拡大／縮小率）および回転角度情報を求めるために、登録画像ＡＩＭがメモリ１２から読み出され（ＳＴ２）、倍率情報−回転情報部２１のフーリエ変換部２１１１１により、フーリエ変換処理され（ＳＴ３）、フーリエ画像データＳ２１１１１がメモリ１２に格納、記憶される（ＳＴ４）。
フーリエ画像データＳ２１１１１の内の振幅成分は、対数変換部２１１２１により対数処理が行われ、対数−極座標変換部２１１３１により、対数−極座標系に変換される（ＳＴ５）。
【００８９】
照合画像ＲＩＭが、メモリ１２から読み出され（ＳＴ６）、同様にフーリエ変換部２１１１２によりフーリエ変換処理され（ＳＴ７）、フーリエ画像データＳ２１１１２の内の振幅成分が、対数変換部２１１２２により対数処理が行われ、対数−極座標変換部２１１３２により、対数−極座標系に変換される（ＳＴ８）。
【００９０】
上述した登録画像ＡＩＭおよび照合画像ＲＩＭにフーリエ・メリン変換を行った結果得られた、画像信号（パターンデータとも言う）ＳＡ２１１、ＳＲ２１１それぞれは、位相限定相関部２１２のフーリエ変換部２１２０，２１２１によりフーリエ変換処理され（ＳＴ９）、合成部２１２２により合成され（ＳＴ１０）、位相抽出部２１２３により合成信号から振幅成分が除去され（ＳＴ１１）、残りの位相成分が、逆フーリエ変換部２１２４により逆フーリエ変換処理され（ＳＴ１２）、得られた相関画像データのピーク位置の画像中心からのずれ量に基づいて、倍率情報−回転情報生成部２１３により倍率情報および回転情報を含む補正情報が生成される（ＳＴ１３）。
【００９１】
補正部２２では、補正情報に基づいて照合画像の拡大／縮小および回転処理の補正処理が行われ、画像間のスケーリング成分、および回転成分が除去される（ＳＴ１４）。残る差異は平行移動成分のみであり、位相限定相関法を用いて検出される。
【００９２】
補正処理が行われた照合画像ＲＩＭは、位相限定相関部２３のフーリエ変換部２３１２によりフーリエ変換されて（ＳＴ１５）フーリエ画像データＳ２３１２が生成され、メモリ１２に格納されたフーリエ変換された登録画像ＡＩＭが読み出され（ＳＴ１６）、合成部２３２により合成データＳ２３２が生成される（ＳＴ１７）。
【００９３】
この際、登録画像ＡＩＭがフーリエ変換部２３１１によりフーリエ変換されてフーリエ画像データＳ２３１１が生成されて合部部２３２に入力されてもよい。
合成データＳ２３２の内の振幅情報が位相抽出部２３３により除去され（ＳＴ１８）、残りの位相情報が逆フーリエ変換部２３４に入力され、相関画像データとして信号Ｓ２３が出力される（ＳＴ１９）。
【００９４】
上述した処理により生成された相関画像データＳ２３に基づいて、候補特定部２４１により相関画像データＳ２３における相関ピーク強度の上位側から、例えばＮ個の候補Ｐ_ｉ（Ｐ_０，Ｐ_１，Ｐ_２，…，Ｐ_ｎ−１）が抽出され、信号Ｓ２４１として類似度生成部２４２に出力される（ＳＴ２０）。
【００９５】
積算部２４３は、積算のための変数を初期化する（ＳＴ２１）。例えば変数ｉを０、積算値Ｓを０に初期化する。
類似度生成部２４２では、各候補（座標）Ｐ_ｉについて、相関画像データの中心からのずれ量をそれぞれ検出することで、登録画像ＡＩＭ，照合画像ＲＩＭの位置合わせを行った後に類似度Ｓｉｍ（ｉ）を算出し信号Ｓ２４２として積算部２４３および判別部２４４に出力する（ＳＴ２２）。
【００９６】
ステップＳＴ２３において、照合部２４４では、類似度Ｓｉｍ（ｉ）と、予め設定した第１の閾値ｔｈ１とを比較し、類似度Ｓｉｍ（ｉ）が第１の閾値より小さい場合には、積算部２４３では、類似度Ｓｉｍ（ｉ）を積算し、詳細には数式Ｓ＝Ｓ＋Ｓｉｍ（ｉ）により積算し照合部２４４に出力する（ＳＴ２４）。
ステップＳＴ２５において、照合部２４４では、積算値Ｓと予め設定した第２の閾値ｔｈ２とを比較し、積算値Ｓが第２の閾値ｔｈ２よりも小さい場合には、変数ｉと値Ｎ−１とが比較され（ＳＴ２６）、変数ｉがＮ−１と一致していない場合には、変数ｉに１加算し（ＳＴ２７）、ステップＳＴ２２の処理に戻る。ステップＳＴ２５において、変数ｉがＮ−１と一致した場合には、画像が不一致であるとする（ＳＴ２８）。
【００９７】
一方、ステップＳＴ２３の比較処理において、照合部２４４では、類似度Ｓｉｍ（ｉ）が第１の閾値以上の場合には、画像が一致していると判別し、また、ステップＳＴ２５の比較処理において、照合部２４４では、積算値Ｓが第２の閾値ｔｈ２以上の場合には、画像が一致しているとし（ＳＴ２９）、例えばセキュリティ分野における静脈パターン照合装置に、本実施形態に係る画像照合装置を適用した場合には、電子錠を解除するといった処理を動作処理部１６が行う。
【００９８】
以上説明したように、登録画像ＡＩＭと照合画像ＲＩＭとの２次元上の位置関係の複数の候補を特定する候補特定部２４１と、登録画像ＡＩＭと照合画像ＲＩＭとの間の２次元上の異なる複数の位置関係それぞれにおいて、登録画像ＡＩＭと照合画像ＲＩＭとを比較して類似度Ｓｉｍを生成する類似度生成部２４２と、類似度生成部２４２が生成した類似度Ｓｉｍを積算する積算部２４３と、積算部２４３が積算した類似度Ｓｉｍを基に照合を行う照合部２４４とを設けたので、例えば、比較対照を行う２枚の画像データ間おの相関が小さい場合であっても、複数の各候補の位置関係それぞれについて算出される類似度を加算することにより、類似度単独で照合を行う場合に比べて、高精度に照合を行うことができる。
また、類似度Ｓｉｍが第１の閾値ｔｈ１よりも大きい場合には一致していると判別するので、高速に照合処理を行うことができる。
【００９９】
また、登録画像ＡＩＭと照合画像ＲＩＭとの回転角度補正処理または拡大率補正処理、およびフーリエ変換処理の結果の位相成分に基づいて相関を検出する倍率情報−回転情報部２１、補正部２２、および位相限定相関部２３を設けたので、登録画像ＡＩＭと照合画像ＲＩＭとが回転角度や拡大率が異なる場合であっても、照合処理を行うことができる。
【０１００】
図１１は、本発明に係る画像照合装置の第２実施形態のソフトウェア的な機能ブロック図である。
本実施形態に係る画像照合装置１ａのハード的な機能ブロックは、第１実施形態とほぼ同じであるので説明を省略する。
画像照合装置１ａのＣＰＵ１５ａは、例えば図１１に示すように、倍率情報−回転情報部２１、補正部２２、位相限定相関部２３、および判別部２４ａを有する。
判別部２４ａは、例えば図１１に示すように、候補特定部２４１、類似度生成部２４２、類似度補正部２４２１、積算部２４３、および照合部２４４を有する。
第１実施形態と同様な機能については説明を省略し、相違点のみ説明する。
【０１０１】
類似度補正部２４２１は、類似度生成部２４２が、登録画像ＡＩＭと照合画像ＲＩＭとの２次元上の異なる複数の位置関係それぞれにおいて、登録画像ＡＩＭと照合画像ＲＩＭの画素毎に比較して生成した類似度Ｓｉｍを、当該画素の周囲の画像特性に応じて補正し類似度Ｓｉｍ’を生成し、信号Ｓ２４２１として積算部２４３および照合部２４４に出力する。
積算部２４３および照合部２４４は、類似度Ｓｉｍ’に基づいて第１実施形態と同様な処理を行う。
【０１０２】
図１２は、図１に示した類似度補正部２４２１の機能を説明するための図である。図１２（ａ）は登録画像ＡＩＭの画像パターン、図１２（ｂ）は照合画像ＲＩＭの画像パターン、図１２（ｃ）は類似度生成部２４２が生成する類似度Ｓｉｍの一具体例を説明するための図である。図１３は、図１に示した類似度補正部２４２１の機能を説明するための図である。
【０１０３】
例えば類似度生成部２４２が生成する類似度Ｓｉｍは、例えば図１２（ａ）に示す登録画像ＡＩＭの画像パターンと、図１２（ｂ）示す照合画像ＲＩＭの画像パターンの類似度Ｓｉｍを生成する場合には、図１２（ｃ）に示すように、両画像の線形状のパターンの交点ＣＰに基づいて算出する。
【０１０４】
類似度生成部２４２は、例えば図１３（ａ）に示すように、登録画像ＡＩＭのパターンＰＴ１１と、照合画像ＲＩＭのパターンＰＴ２１との相関パターンＰＴ３１の場合に、線形状のパターンの方向が異なり相関がないにもかかわらず、交点のみにより類似度Ｓｉｍを算出するために、類似度が上昇してしまう。
本実施形態に係る類似度補正部２４２１は、例えば交点ＣＰを検出し、例えばその画素の周囲の９画素において中心部以外にも交点ＣＰがある場合には中心部の交点ＣＰを相関のある点と判別し、中心部以外に交点ＣＰのない場合には中心部の交点ＣＰを相関のない交点として判別する。
【０１０５】
例えば類似度補正部２４２１は、図１３（ａ）に示すように登録画像ＡＩＭのパターンＰＴ１１と、照合画像ＲＩＭのパターンＰＴ２１との相関パターンＰＴ３１の場合に、中心部以外に交点ＣＰがないので、中心部の交点を相関のない交点として判別する。
類似度補正部２４２１は、図１３（ｂ）に示すように登録画像ＡＩＭのパターンＰＴ１２と、照合画像ＲＩＭのパターンＰＴ２２との相関パターンＰＴ３２の場合に、中心部以外に交点ＣＰがないので、中心部の交点を相関のない交点として判別する。
【０１０６】
類似度補正部２４２１は、図１３（ｃ）に示すように登録画像ＡＩＭのパターンＰＴ１２と、照合画像ＲＩＭのパターンＰＴ２２との相関パターンＰＴ３２の場合に、中心部以外に交点ＣＰがあるので、中心部の交点ＣＰを相関のある交点として判別する。
【０１０７】
類似度補正部２４２１は、画像全体について求めた相関のある交点数を、全交点数で割った値を有効率ｅｆｆとし、数式（２８）に示すように、類似度生成部２４２が生成した類似度Ｓｉｍに乗算して補正処理を行い、補正した類似度Ｓｉｍ’を生成し、信号Ｓ２４２１として出力する。
【０１０８】
【数２８】

【０１０９】
例えば、図１２に示したような場合には、有効率ｅｆｆが０であり、その結果補正した類似度Ｓｉｍ’は０である。
【０１１０】
図１４は、図１１に示した画像照合装置１ａの動作を説明するためのフローチャートである。以上説明した構成の画像照合装置１の動作を図１４を参照しながら、第１実施形態との相違点のみ説明する。ステップＳＴ１〜ステップＳＴ２０の処理は第１実施形態と同様であり説明を省略する。
【０１１１】
積算部２４３は、積算のための変数を初期化する（ＳＴ２１）。例えば変数ｉを０、積算値Ｓを０に初期化する。
類似度生成部２４２では、各候補（座標）Ｐ_ｉについて、相関画像データの中心からのずれ量をそれぞれ検出することで、登録画像ＡＩＭ，照合画像ＲＩＭの位置合わせを行った後に類似度Ｓｉｍ（ｉ）を算出し信号Ｓ２４２として、類似度補正部２４２１に出力する（ＳＴ２２）。
【０１１２】
ステップＳＴ２２１において、類似度補正部２４２１は、類似度生成部２４２から出力された類似度Ｓｉｍとしての補正信号Ｓ２４２に基づいて、画像全体について求めた相関のある交点数を、全交点数で割った値を有効率ｅｆｆとし、数式（２８）に示すように、類似度生成部２４２が生成した類似度Ｓｉｍに乗算して補正処理を行い、補正した類似度Ｓｉｍ’を生成し、信号Ｓ２４２１として、照合部２４４および積算部２４３に出力する。
【０１１３】
ステップＳＴ２３において、照合部２４４では、類似度Ｓｉｍ’（ｉ）と、予め設定した第１の閾値ｔｈ１とを比較し、類似度Ｓｉｍ’（ｉ）が第１の閾値より小さい場合には、積算部２４３では、類似度Ｓｉｍ’（ｉ）を積算し、詳細には数式Ｓ＝Ｓ＋Ｓｉｍ’（ｉ）により積算し照合部２４４に出力する（ＳＴ２４）。
【０１１４】
ステップＳＴ２５において、照合部２４４では、積算値Ｓと予め設定した第２の閾値ｔｈ２とを比較し、積算値Ｓが第２の閾値ｔｈ２よりも小さい場合には、変数ｉと値Ｎ−１とが比較され（ＳＴ２６）、変数ｉがＮ−１と一致していない場合には、変数ｉに１加算し（ＳＴ２７）、ステップＳＴ２２の処理に戻る。ステップＳＴ２５において、変数ｉがＮ−１と一致した場合には、画像が不一致であるとする（ＳＴ２８）。
【０１１５】
一方、ステップＳＴ２３の比較処理において、照合部２４４では、類似度Ｓｉｍ’（ｉ）が第１の閾値以上の場合には、画像が一致していると判別し、また、ステップＳＴ２５の比較処理において、照合部２４４では、積算値Ｓが第２の閾値ｔｈ２以上の場合には、画像が一致しているとし（ＳＴ２９）、例えばセキュリティ分野における静脈パターン照合装置に、本実施形態に係る画像照合装置を適用した場合には、電子錠を解除するといった処理を動作処理部１６が行う。
【０１１６】
以上、説明したように、本実施形態では、類似度生成部２４２が、登録画像ＡＩＭと照合画像ＲＩＭとの２次元上の異なる複数の位置関係それぞれにおいて、登録画像ＡＩＭと照合画像ＲＩＭの画素毎に比較して生成した類似度Ｓｉｍを、当該画素の周囲の画像特性に応じて補正し類似度Ｓｉｍ’を生成する類似度補正部２４２１を設け、照合部２４４は、補正した類似度Ｓｉｍ’に基づいて照合を行うので、第１実施形態に比べて、より高精度の照合処理を行うことができる。
【０１１７】
また、角度ずれの大きい、つまり相関の小さい線分同士の交点がある場合であっても、補正処理により類似度を低くするので、その結果、相関の大きい画像同士から求めた相関と、小さい画像同士から求めた相関度との差異が大きくなり、より高精度の照合処理を行うことができる。
【０１１８】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
例えば、本実施形態では、類似度生成部は、数式（２７）により類似度を算出したが、この形態に限られるものではない。例えば類似度生成部は、線形状のパターンの相関に適した類似度を算出する処理を行えればよい。
【０１１９】
本実施形態では、フーリエ変換処理、対数変換処理、および対数−局座標変換を行い、フーリエ・メリン空間上での平行移動量を算出することにより、倍率情報および回転角度情報を生成したが、この形態に限られるものではない。例えば、倍率情報および回転角度情報が検出可能な空間に、座標変換を行ってもよい。
【０１２０】
また、第１の閾値ｔｈ１と、第２の閾値ｔｈ２を固定値にしたが、この形態に限られるものではない。例えば閾値それぞれを、画像パターンにより可変にすることで、より高精度の照合を行うことができる。
【０１２１】
【発明の効果】
本発明によれば、画像間の照合を高精度に行うことができる画像照合装置、画像照合方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明に係る画像照合装置の第１実施形態の機能ブロック図である。
【図２】図２は、図１に示した画像照合装置のソフトウェア的な機能ブロック図である。
【図３】図３は、図２に示したフーリエ・メリン変換部の動作を説明するための図である。
【図４】図４は、自己相関法と位相限定相関法の相違点を説明するための図である。
【図５】図５は、位相限定相関法において、２つの画像間で平行移動ずれがある場合の相関強度分布を説明するための図である。
【図６】図６は、位相限定法において、２つの画像間で回転ずれがある場合の相関強度分布を説明するための図である。
【図７】図７は、位相限定相関部２３が出力する相関画像データを説明するための図である。（ａ）は登録画像ＡＩＭ、（ｂ）は照合画像ＲＩＭ、（ｃ）は相関画像データの一具体例を示す図である。
【図８】図８は図７（ｃ）に示した相関画像データを説明するための図である。
【図９】図９は、図１に示した候補特定部２４１の候補特定処理を説明するための図である。
【図１０】図１０は、図１に示した画像照合装置１の動作を説明するためのフローチャートである。
【図１１】図１１は、本発明に係る画像照合装置の第２実施形態のソフトウェア的な機能ブロック図である。
【図１２】図１２は、図１に示した類似度補正部２４２１の機能を説明するための図である。
【図１３】図１３は、図１に示した類似度補正部の機能を説明するための図である。
【図１４】図１４は、図１１に示した画像照合装置１ａの動作を説明するためのフローチャートである。
【符号の説明】
１，１ａ…画像照合装置、１１…画像入力部、１２…メモリ、１３…ＦＦＴ処理部、１４…座標変換部、１５…ＣＰＵ、１６…動作処理部、２１…倍率情報−回転情報部、２２…補正部、２３…平行移動部、２４…判別部、２１１…フーリエ・メリン変換部、２１２…位相限定相関部、２１３…倍率情報−回転情報生成部、２３２…合成部、２３３…位相抽出部、２３４…逆フーリエ変換部、２４１…候補特定部、２４２…類似度生成部、２４３…積算部、２４４…照合部、２１２０，２１２１…フーリエ変換部、２１２２…合成部、２１２３…位相抽出部、２１２４…逆フーリエ変換部、２３１１，２３１２…フーリエ変換部、２４２１…類似度補正部、２１１１１，２１１１２…フーリエ変換部、２１１２１，２１１２２…対数変換部、２１１３１，２１１３２…対数−極座標変換部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image matching device, an image matching method, and a program for performing matching based on image information such as a fingerprint image, a still image, and a moving image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various pattern matching devices have been known as a method of performing matching based on image information. For example, the pattern matching device compares a registered image and a matching image to be compared only in a predetermined positional relationship, calculates a correlation value, and performs matching between the registered image and the matching image based on the correlation value.
[0003]
[Problems to be solved by the invention]
However, in the conventional pattern matching device, depending on the type of the pattern of the image, even if the images are almost the same, the correlation value may not be high, and matching may not be performed with high accuracy by using only the peak. Improvement is desired.
[0004]
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image matching device, an image matching method, and a program that can perform matching between images with high accuracy.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a first aspect of the present invention provides a method according to the first aspect, wherein the first image and the second image are provided in a plurality of different two-dimensional positional relationships between a first image and a second image. A similarity generating unit that generates a similarity by comparing the two images, an integrating unit that integrates the similarity generated by the similarity generating unit, and a similarity that is integrated by the integrating unit. A matching unit that matches the first image with the second image.
[0006]
According to the first aspect of the present invention, in the similarity generation means, in each of a plurality of different two-dimensional positional relationships between the first image and the second image, the first image and the second A similarity is generated by comparing with an image.
The matching unit compares the first image and the second image based on the integrating unit that integrates the similarity generated by the similarity generating unit and the similarity that is integrated by the integrating unit.
[0007]
Furthermore, in order to achieve the above object, a second aspect of the present invention provides a method for controlling the first image and the second image in different two-dimensional positional relationships between a first image and a second image. A first step of comparing the second image to generate a similarity, a second step of integrating the similarity generated in the first step, and the second step of integrating in the second step. A third step of collating the first image with the second image based on the similarity.
[0008]
Further, in order to achieve the above object, a third aspect of the present invention is a program for causing an information processing apparatus to execute, the two-dimensionally different program between a first image and a second image. A first procedure of comparing the first image and the second image to generate a similarity in each of the plurality of positional relationships, and a second procedure of integrating the similarity generated in the first procedure And a third procedure of collating the first image with the second image based on the similarity calculated in the second procedure.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
The image matching device according to the first embodiment of the present invention performs a rotation angle correction process or an enlargement ratio correction process between a registered image and a matching image, and performs a plurality of different two-dimensional positional relationships with the registered image. A similarity is generated by comparing with the collation image, the similarity is integrated, and collation is performed based on the integrated similarity.
This will be described below with reference to the drawings.
[0010]
FIG. 1 is a functional block diagram of a first embodiment of the image matching device according to the present invention.
The image matching apparatus 1 according to the present embodiment includes, for example, an image input unit 11, a memory 12, an FFT processing unit 13, a coordinate conversion unit 14, a CPU 15, and an operation processing unit 16, as shown in FIG.
The image input unit 11, the memory 12, the FFT processing unit 13, the coordinate conversion unit 14, and the CPU 15 are connected by a bus BS. The operation processing section 16 is connected to the CPU 15.
[0011]
The image input unit 11 is an input unit for inputting an external image. For example, the registered image AIM and an image to be compared with the registered image AIM (referred to as a collation image RIM) are input to the image input unit 11.
The memory 12 stores an image and the like input from the image input unit. For example, the memory 12 stores a registered image AIM, a collation image RIM, and a program P.
The program P includes, for example, procedures related to the correlation processing, the correction processing, the similarity generation processing, the integration processing, the collation processing, and the like according to the present invention that are executed by the CPU 15.
The FFT processing unit 13 performs a two-dimensional Fourier transform process based on the image stored in the memory 12 under the control of the CPU 15, for example, and outputs a processing result to the coordinate transforming unit 14 and the CPU 15.
[0012]
For example, the coordinate transformation unit 14 transforms the coordinates into log-polar coordinates based on the result of the two-dimensional Fourier transform processing performed by the FFT processing unit 13 under the control of the CPU 15, and outputs the coordinate transformation result to the CPU 15.
The operation processing unit 16 performs a predetermined process such as releasing the electronic key, for example, when the two images match, based on the result of the collation process of the CPU 15 described later.
[0013]
The CPU 15 performs the matching process according to the embodiment of the present invention based on, for example, the program P, the registered image AIM, and the matching image RIM stored in the memory 12.
In addition, the CPU 15 controls the image input unit 11, the memory 12, the FFT processing unit 13, the coordinate conversion unit 14, the operation processing unit 16, and the like, and executes processing according to the present embodiment.
[0014]
FIG. 2 is a software functional block diagram of the image matching apparatus shown in FIG. The CPU 15 controls the FFT processing unit 13, the coordinate transformation unit 14, and the like, and performs processing based on, for example, functional blocks as shown in FIG.
As shown in FIG. 2, the CPU 15 has a magnification information / rotation information unit 21, a correction unit 22, a phase-only correlation unit 23, and a determination unit 24.
The magnification information / rotation information unit 21, the correction unit 22, and the phase-only correlation unit 23 correspond to a correlation detection unit according to the present invention.
[0015]
The magnification information-rotation information unit 21 and the correction unit 22 perform a rotation angle correction process or an enlargement ratio correction process with the registered image AIM and the collation image RIM.
The magnification information / rotation information unit 21 generates magnification information and / or rotation information based on the registered image AIM and the collation image RIM, and outputs the information to the correction unit 22.
The magnification information includes information indicating the enlargement / reduction ratio of the registered image AIM and the collation image RIM. The rotation information includes information indicating the rotation angles of the registered image AIM and the collation image RIM.
[0016]
Specifically, for example, the magnification information-rotation information unit 21 includes a Fourier-Mellin conversion unit 211, a phase-only correlation unit 212, and a magnification information-rotation information generation unit 213.
The Fourier-Mellin transform unit 211 performs a Fourier-Mellin transform described later based on each image information, and outputs signals SA211 and SR211 indicating the respective transform results to the phase-only correlation unit 212.
[0017]
More specifically, the Fourier-Mellin transform unit 211 has Fourier transform units 21111 and 11112, logarithmic transform units 21112 and 1122, and log-polar coordinate transform units 211131 and 11132.
[0018]
For example, when the registered image AIM is an N × N image and the registered image AIM is f1 (m, n), the Fourier transform unit 21111 performs the Fourier transform as shown in Expression (1), The data F1 (m, n) is generated and output to the logarithmic converter 21121. For example, when the collation image RIM is an N × N image and the collation image RIM is f2 (m, n), the Fourier transform unit 21112 performs the Fourier transform as shown in Expression (2). The data F2 (m, n) is generated and output to the logarithmic converter 21122.
[0019]
The Fourier image data F1 (m, n) is composed of an amplitude spectrum A (u, v) and a phase spectrum Θ (u, v) as shown in Expression (1), and the Fourier image data F2 (m, n) is , (2), the amplitude spectrum B (u, v) and the phase spectrum Φ (u, v).
[0020]
(Equation 1)

[0021]
(Equation 2)

[0022]
The logarithmic converters 2111 and 11212 perform logarithmic processing based on the amplitude components of the Fourier image data F1 (m, n) and F2 (m, n) generated by the Fourier transformers 21111 and 21112. The logarithmic processing of the amplitude component emphasizes a high-frequency component including detailed characteristic information of the image data.
[0023]
Specifically, the logarithmic conversion unit 21121 performs logarithmic processing based on the amplitude component A (u, v) as shown in Expression (3), generates A ′ (u, v), and outputs it to the logarithmic-polar coordinate conversion unit 21131. I do. The logarithmic converter 21122 performs logarithmic processing based on the amplitude component B (u, v) as shown in Expression (4), generates B ′ (u, v), and outputs it to the logarithmic-polar coordinate converter 21132.
[0024]
[Equation 3]

[0025]
(Equation 4)

[0026]
The logarithmic-polar coordinate converters 211311, 21132 convert the signals output from the logarithmic converters 21121, 11212 into a log-polar coordinate system (for example, log-r, Θ).
Generally, for example, when the point (x, y) is defined as shown in Expressions (5) and (6), r = e ^μ In the case of, μ = log (r), and there is a unique (log (r), Θ) corresponding to an arbitrary point (x, y). Due to this property, the logarithmic-polar coordinate converters 211311, 21132 perform coordinate conversion.
[0027]
(Equation 5)

[0028]
(Equation 6)

[0029]
Specifically, the logarithm-polar coordinate conversion units 21131 and 11132 determine the set (r _i , Θ _j ) And a function f (r _i , Θ _j ) Is defined.
[0030]
(Equation 7)

[0031]
(Equation 8)

[0032]
The logarithm-polar coordinate conversion units 21131 and 21132 calculate the set (r) defined by Expressions (7) and (8) _i , Θ _j ), Function f (r _i , Θ _j ), The image data A ′ (u, v) and B ′ (u, v) are subjected to log-polar conversion as shown in equations (9) and (10), and pA (r _i , Θ _j ), PB (r _i , Θ _j ) Is generated and output to the phase-only correlation unit 212 as a signal SA211 and a signal SR211.
[0033]
(Equation 9)

[0034]
(Equation 10)

[0035]
FIG. 3 is a diagram for explaining the operation of the Fourier-Mellin transform unit 211 shown in FIG.
The image f1 (m, n) and the image f2 (m, n) include, for example, rectangular regions W1 and W2 having different predetermined angles with respect to the x and y axes.
In the Fourier-Mellin transform unit 211, for example, as shown in FIG. 3, the image f1 (m, n) is Fourier-transformed by the Fourier transform unit 21111, and Fourier image data A ′ (u, v) is generated. The image data pA (r, θ) is generated by the conversion unit 21121 and the log-polar coordinate conversion unit 21131.
[0036]
Similarly, the image f2 (m, n) is Fourier-transformed by the Fourier transform unit 21112 to generate Fourier image data B ′ (u, v). Data pB (r, θ) is generated.
[0037]
As described above, the images f1 (m, n) and f2 (m, n) are transformed from Cartesian coordinates to a log-polar coordinate system (also called Fourier-Mellin space) by Fourier transform and log-polar coordinate transform. .
In the Fourier-Mellin space, the components move along the log-r axis in accordance with the scaling of the image, and move along the θ axis in accordance with the rotation angle of the image.
By using this property, the scaling (magnification information) and the rotation angle of the images f1 (m, n) and f2 (m, n) are determined by the amount of movement along the log-r axis on the Fourier-Mellin space, and θ It can be determined based on the amount of movement along the axis.
[0038]
The phase-only correlation unit 212 is based on the signals SA211 and SR211 indicating the pattern data output from the Fourier-Mellin conversion unit 211, for example, by a phase-only correlation method using a phase-only filter (SPOMF: Symmetric Phase-Only Matched Filter). , And the amount of each translation.
The phase-only correlation unit 212 includes, for example, Fourier transform units 2120 and 2121, a synthesis unit 2122, a phase extraction unit 2123, and an inverse Fourier transform unit 2124, as shown in FIG.
[0039]
The Fourier transform units 2120 and 2121 calculate the mathematical expressions (11) and (12) based on the signals SA211 (pA (m, n)) and SR211 (pB (m, n)) output from the logarithmic-polar coordinate transform units 21113 and 11132. ) Performs a Fourier transform. Here, X (u, v) and Y (u, v) are Fourier coefficients. The Fourier coefficient X (u, v) is composed of an amplitude spectrum C (u, v) and a phase spectrum θ (u, v) as shown in Expression (11). The Fourier coefficient Y (u, v) is composed of an amplitude spectrum D (u, v) and a phase spectrum φ (u, v) as shown in Expression (12).
[0040]
[Equation 11]

[0041]
(Equation 12)

[0042]
The combining unit 2122 combines the X (u, v) and Y (u, v) generated by the Fourier transform units 2120 and 2121 to obtain a correlation. For example, the synthesizing unit 2122 calculates X (u, v) · Y ^* (U, v) is generated and output to the phase extraction unit 2123. Where Y ^* (U, v) is the complex conjugate of Y (u, v).
[0043]
The phase extracting unit 2123 removes an amplitude component based on the combined signal output from the combining unit 2122 to extract phase information.
For example, the phase extraction unit 2123 outputs X (u, v) Y ^* Based on (u, v), its phase component Z (u, v) = e ^{j (θ (u, v) -φ (u, v))} Is extracted.
[0044]
The extraction of the phase information is not limited to the above-described embodiment. For example, after extracting the phase information based on the outputs of the Fourier transform units 2120 and 2121 and Expressions (13) and (14), only the phase components are synthesized as shown in Expression (15), and Z (u, v) May be generated.
[0045]
(Equation 13)

[0046]
[Equation 14]

[0047]
(Equation 15)

[0048]
The inverse Fourier transform unit 2124 performs an inverse Fourier transform process based on the signal Z (u, v) including only the phase information output from the phase extracting unit 2123, and generates a correlation strength image.
More specifically, the inverse Fourier transform unit 2124 performs an inverse Fourier transform process based on the signal Z (u, v) to generate a correlation strength image G (p, q), as shown in Expression (16).
[0049]
(Equation 16)

[0050]
The magnification information-rotation information generation unit 213 determines whether the amount of deviation of the peak position in the correlation intensity image G (p, q) generated by the inverse Fourier transform unit 2124 from the image center is equal to the registered image AIM and the collation image RIM. On the other hand, since the amount of translation is equivalent to the amount of parallel movement between pattern data obtained as a result of performing the Fourier-Mellin transform, by detecting the amount of displacement, magnification information (enlargement / reduction ratio) of the collation image RIM with respect to the registered image AIM is obtained. ) And correction information S21 including data indicating rotation angle information.
[0051]
The correction unit 22 corrects the collation image RIM based on the correction information S21 output from the magnification information-rotation information generation unit 213 of the magnification information-rotation information unit 21. More specifically, the correction unit 22 performs enlargement / reduction processing on the collation image RIM, performs rotation processing, and outputs the result to the phase-only correlation unit 23 based on the magnification information and the rotation angle information included in the correction information S21. By the correction processing of the correction unit 22, differences in the scaling and rotation components between the registered image AIM and the collation image RIM are removed.
Therefore, only the translation component remains as a difference between the registered image AIM and the corrected collation image RIM.
[0052]
The phase only correlation unit 23 detects a translation component between the above-described registered image AIM and the corrected matching image RIM, and a correlation value thereof. This detection is obtained by, for example, a phase-only correlation method using the above-described phase-only filter.
Specifically, the phase-only correlation unit 23 has Fourier transform units 2311 and 2312, a synthesis unit 232, a phase extraction unit 233, and an inverse Fourier transform unit 234.
[0053]
The Fourier transform units 2311 and 2312, the combining unit 232, the phase extracting unit 233, and the inverse Fourier transform unit 234 respectively include the Fourier transform units 2120 and 2121, the combining unit 2122, and the phase extracting unit 2123 of the above-described phase only correlation unit 212. Since it has the same function as each of the inverse Fourier transform units 2124, it will be briefly described.
[0054]
The Fourier transform unit 2311 performs Fourier transform on the registered image AIM and outputs the result to the synthesizing unit 232. At this time, the registered image AIM subjected to Fourier transform processing by the Fourier transform unit 21111 may be stored in the memory 12 and output to the synthesizing unit 232. By doing so, the processing is reduced because the Fourier transform processing is not performed twice.
The Fourier transform unit 2312 performs a Fourier transform on the image S22 corrected by the correcting unit 22, and outputs a Fourier image as a processing result to the synthesizing unit 232.
[0055]
The combining unit 232 combines the Fourier images S2311, S2312 output from the Fourier transform units 2311, 2312, and outputs the combined image S232 to the phase extracting unit 233.
The phase extracting unit 233 extracts the phase information based on the composite image S232 as described above, and outputs the signal S233 to the inverse Fourier transform unit 234.
The inverse Fourier transform unit 234 performs an inverse Fourier transform based on the signal S233, generates a correlation intensity image (correlation image data), and outputs it as a signal S23 to the determination unit 24.
[0056]
A detailed description will be given of the process of detecting the amount of translation in the above-described phase only correlation method.
For example, each of the original image f1 (m, n), the original image f2 (m, n), and the image f3 (m, n) = f2 (m + α, n + β) obtained by translating the image f2 (m, n) is Fourier-transformed. The processing is performed to generate Fourier coefficients F1 (u, v), F2 (u, v), F3 (u, v) as shown in equations (17) to (19).
[0057]
[Equation 17]

[0058]
(Equation 18)

[0059]
[Equation 19]

[0060]
Based on the Fourier coefficients F1 (u, v) to F3 (u, v), as shown in equations (20) to (22), phase images F′1 (u, v) to F′3 including only phase information Generate (u, v).
[0061]
(Equation 20)

[0062]
(Equation 21)

[0063]
(Equation 22)

[0064]
The correlation Z12 (u, v) of the phase image F′1 (u, v) and the phase image F′2 (u, v) is calculated as shown in Expression (23), and the phase image F ′ is calculated. The correlation Z13 (u, v) of the phase image of the correlation between 1 (u, v) and the phase image F′3 (u, v) is calculated as shown in Expression (24).
[0065]
[Equation 23]

[0066]
(Equation 24)

[0067]
The correlation intensity image G12 (r, s) of the correlation Z12 (u, v) and the correlation intensity image G13 (r, s) of the correlation Z13 (u, v) are calculated as shown in Expressions (25) and (26). I do.
[0068]
(Equation 25)

[0069]
(Equation 26)

[0070]
As shown in Expressions (25) and (26), when the image f3 (m, n) is shifted by (+ α, + β) compared to the image 2 (m, n), the phase-only correlation method In the strong correlation image, a peak of the correlation strength is generated at a position shifted by (−α, −β). The amount of parallel movement between the two images can be obtained from the position of the correlation strength position.
Also, by using this phase-only correlation method on the above-described Fourier-Mellin space, the amount of parallel movement on the Fourier-Mellin space can be detected. This translation amount corresponds to the magnification information and the rotation angle information in the real space as described above.
[0071]
FIG. 4 is a diagram for explaining a difference between the autocorrelation method and the phase-only correlation method.
In the autocorrelation method, for example, as shown in FIGS. 4A and 4B, when an image IM1 and an image IM2 which is the same as the image IM1 are subjected to Fourier transform to generate an autocorrelation function SG1, FIG. Thus, a peak having a high correlation intensity and a correlation intensity distribution having a small correlation intensity around the peak are obtained. In FIG. 4C, the vertical axis indicates the correlation strength.
[0072]
On the other hand, in the above-described phase-only correlation method, as shown in FIGS. 4D and 4E, the image IM1 and the image IM2 which is the same as the image IM1 are subjected to Fourier transform, and only the phase information is correlated. As shown in ()), a correlation intensity distribution having only a sharp peak with a high correlation intensity is obtained. As described above, in the phase only method, clear information on the correlation can be obtained as compared with the autocorrelation method. In FIG. 4F, the vertical axis (z-axis) indicates the correlation strength, and the x-axis and the y-axis indicate the shift amount.
[0073]
FIG. 5 is a diagram for explaining a correlation intensity distribution in the case where there is a translation shift between two images in the phase only correlation method.
For example, the correlation intensity distribution of the image IM1 as shown in FIGS. 5A and 5B and the image IM3 shifted by several pixels from the image IM1 in the phase only method is shown in FIG. 5C, for example. As described above, sharp peaks having a high correlation intensity are distributed at positions shifted from the peak positions in the correlation image data shown in FIG. 4F by a distance corresponding to the amount of parallel movement. However, the peak intensity shown in FIG. 5C is smaller than the peak intensity shown in FIG. This is because the matching pixel area of the images IM1 and IM3 is smaller than the images IM1 and IM2.
[0074]
FIG. 6 is a diagram for explaining a correlation intensity distribution in a case where there is a rotational shift between two images in the phase only method.
As shown in FIG. 6, for example, the correlation intensity distribution of the image IM1 as shown in FIGS. 6A and 6B and the image 4 rotated several degrees from the image IM1 has a weak correlation intensity. A correlation strength distribution is obtained. When the phase-only correlation method is simply used, it is difficult to detect a correlation due to a rotational shift.
[0075]
Therefore, in the image matching device 1 according to the present embodiment, the registered image AIM and the matched image RIM are subjected to Fourier-Mellin transformation, and the amount of parallel movement is calculated by using the phase-only correlation method in Fourier-Mellin space. Then, magnification information and rotation angle information of the registered image AIM and the collation image RIM are detected. The magnification and rotation angle of the collation image are corrected based on the information.
The parallel displacement between the corrected collation image RIM and the registered image AIM is detected by the phase-only correlation method, and at the same time, collation between the images is performed based on the correlation peak.
[0076]
FIG. 7 is a diagram for explaining the correlation image data output by the phase-only correlation unit 23. FIG. 7A is a diagram illustrating a registered image AIM, FIG. 7B is a diagram illustrating a collation image RIM, and FIG. 7C is a diagram illustrating a specific example of correlation image data. FIG. 8 is a diagram for explaining the correlation image data shown in FIG.
[0077]
When the registered image AIM and the collation image RIM include, for example, binarized and linear patterns such as handwritten characters and blood vessel patterns, for example, the registered image AIM and the collation image RIM as shown in FIGS. In this case, the phase-only correlation unit 23 outputs correlation image data as shown in FIG. 7C as the signal S23.
[0078]
In FIG. 7C, the z-axis direction indicates the correlation peak intensity in the correlation image data, and the correlation peak intensity corresponds to the degree of correlation between the registered image AIM and the collation image RIM. As shown in FIGS. 7C and 8, the correlation peak position in the x-axis direction and the y-axis direction is such that, for example, the amount of deviation from the image center corresponds to the amount of translation between the registered image AIM and the collation image RIM. .
[0079]
The determination unit 24 compares the registered image AIM with the comparison image RIM based on the signal S23 output from the phase only correlation unit 23.
For example, as illustrated in FIG. 1, the matching unit 24 includes a candidate specifying unit 241, a similarity generating unit 242, an integrating unit 243, and a matching unit 244.
The candidate specifying unit 241 corresponds to the candidate specifying unit according to the present invention, the similarity generating unit 242 corresponds to the similarity generating unit according to the present invention, the integrating unit 243 corresponds to the integrating unit according to the present invention, and the matching unit 244 corresponds to the matching means according to the present invention.
[0080]
The candidate specifying unit 241 specifies a plurality of candidates of a two-dimensional positional relationship between the registered image AIM and the collation image RIM based on the signal S23 output from the phase-only correlation unit 23, and as a signal S241, a similarity generation unit 242.
[0081]
FIG. 9 is a diagram for explaining the candidate specifying process of the candidate specifying unit 241 shown in FIG. The numerical value indicates the correlation peak intensity of the correlation image data on the XY plane of the correlation image data.
For example, in the case of a registered image AIM and a collation image RIM that include a binarized and linear pattern as shown in FIGS. 7A and 7B, a correlation peak intensity (also referred to as a correlation intensity) even between images having a large correlation. Has a small value as shown in FIG.
As shown in FIG. 9, for example, as shown in FIG. 9, the candidate specifying unit 241 determines the top N pieces of correlation strength based on the signal S23, eight pieces in the present embodiment, and the candidates of the two-dimensional positional relationship between the registered image AIM and the collation image RIM. And outputs it to the similarity generation unit 242 as a signal S241.
[0082]
The similarity generation unit 242 performs a two-dimensional process between the registered image AIM and the collation image RIM corrected by the correction unit 22, based on the signal S242 indicating the plurality of positional relationship candidates specified by the candidate specification unit 242. In each of the above plurality of different positional relationships, the similarity is generated by comparing the registered image AIM and the collation image RIM corrected by the correction unit 22 for each pixel.
[0083]
More specifically, the similarity generation unit 242, for example, as shown in FIGS. 7A and 7B, stores the registered image AIM at f1 (m, n), and outputs the collation image RIM corrected by the correction unit 22 at f2 ( Assuming that the image includes a binarized and linear pattern of m × n pixels of (m, n), for example, the similarity Sim is calculated by Expression (27), and the calculation result is output to the integrating unit 243 and the matching unit 244. .
[0084]
[Equation 27]

[0085]
The integration unit 243 integrates the similarity Sim generated by the similarity generation unit 242, and outputs the integration result to the matching unit 244 as a signal S243.
[0086]
The collation unit 244 performs collation between the registered image AIM and the collation image RIM based on the similarity Sim accumulated by the accumulation unit 243. Specifically, for example, when the integrated similarity Sim is larger than a predetermined value, the matching unit 244 determines that the registered image AIM matches the matching image RIM.
[0087]
Further, the matching unit 244 performs matching between the registered image AIM and the matching image RIM based on the similarity Sim output from the similarity generating unit 242. Specifically, for example, when the similarity Sim is larger than a predetermined value, the matching unit 244 determines that the registered image AIM matches the matching image RIM.
In addition, the matching unit 244 outputs a signal S24 indicating the result of the matching process.
[0088]
FIG. 10 is a flowchart for explaining the operation of the image matching apparatus 1 shown in FIG. The operation of the image matching device 1 having the above-described configuration will be briefly described with reference to FIG.
For example, the registered image AIM and the collation image RIM are input by the image input unit 11, and the respective image data is stored in the memory (ST1).
Here, in order to obtain the magnification (enlargement / reduction ratio) and rotation angle information of the collation image RIM with respect to the registered image AIM, the registered image AIM is read from the memory 12 (ST2), and the Fourier of the magnification information-rotation information unit 21 is read. The transform unit 21111 performs Fourier transform processing (ST3), and Fourier image data S21111 is stored and stored in the memory 12 (ST4).
The amplitude component of the Fourier image data S21111 is subjected to logarithmic processing by the logarithmic converter 21121, and is converted to a logarithmic-polar coordinate system by the logarithmic-polar coordinate converter 21131 (ST5).
[0089]
The collation image RIM is read from the memory 12 (ST6), similarly Fourier transformed by the Fourier transform unit 21112 (ST7), and the amplitude component of the Fourier image data S21112 is subjected to logarithmic processing by the logarithmic transform unit 21122. Then, the logarithmic-polar coordinate conversion unit 21132 converts the data into a logarithmic-polar coordinate system (ST8).
[0090]
Image signals (also referred to as pattern data) SA211 and SR211 obtained as a result of performing the Fourier-Mellin transform on the registered image AIM and the collation image RIM described above are Fourier-transformed by the Fourier transform units 2120 and 2121 of the phase-only correlation unit 212. It is converted (ST9), synthesized by the synthesizing unit 2122 (ST10), the amplitude component is removed from the synthesized signal by the phase extracting unit 2123 (ST11), and the remaining phase components are inverse Fourier transformed by the inverse Fourier transform unit 2124. Then, based on the amount of deviation of the peak position of the obtained correlation image data from the image center, the magnification information / rotation information generation unit 213 generates correction information including magnification information and rotation information (ST13). .
[0091]
The correction unit 22 performs the correction processing of the enlargement / reduction and rotation of the collation image based on the correction information, and removes the scaling component and the rotation component between the images (ST14). The only difference that remains is the translation component, which is detected using the phase-only correlation method.
[0092]
The corrected image RIM subjected to the correction processing is Fourier-transformed by the Fourier transform unit 2312 of the phase-only correlation unit 23 (ST15) to generate Fourier image data S2312, and the Fourier-transformed registered image AIM stored in the memory 12 Is read out (ST16), and the combining unit 232 generates combined data S232 (ST17).
[0093]
At this time, the registered image AIM may be Fourier transformed by the Fourier transform unit 2311 to generate Fourier image data S2311 and input to the joining unit 232.
The amplitude information in the combined data S232 is removed by the phase extraction unit 233 (ST18), the remaining phase information is input to the inverse Fourier transform unit 234, and the signal S23 is output as correlation image data (ST19).
[0094]
On the basis of the correlation image data S23 generated by the above-described processing, the candidate specifying unit 241 selects, for example, N candidates P from the upper side of the correlation peak intensity in the correlation image data S23. _i (P ₀ , P ₁ , P ₂ , ..., P _n-1 ) Is extracted and output to the similarity generation unit 242 as a signal S241 (ST20).
[0095]
The integrating unit 243 initializes a variable for integration (ST21). For example, the variable i is initialized to 0 and the integrated value S is initialized to 0.
In the similarity generation unit 242, each candidate (coordinate) P _i , By detecting the amount of deviation from the center of the correlation image data, the registration image AIM and the collation image RIM are aligned, and then the similarity Sim (i) is calculated. 244 (ST22).
[0096]
In step ST23, the matching unit 244 compares the similarity Sim (i) with a preset first threshold th1, and when the similarity Sim (i) is smaller than the first threshold, the integrating unit 243. Then, the similarity Sim (i) is integrated, and more specifically, is integrated using the formula S = S + Sim (i) and output to the matching unit 244 (ST24).
In step ST25, the collating unit 244 compares the integrated value S with a second threshold value th2 set in advance. If the integrated value S is smaller than the second threshold value th2, the variable i and the value N-1 are compared. Are compared (ST26), and when the variable i does not match N-1, 1 is added to the variable i (ST27), and the process returns to the step ST22. If the variable i matches N−1 in step ST25, it is determined that the images do not match (ST28).
[0097]
On the other hand, when the similarity Sim (i) is equal to or greater than the first threshold in the comparison process of step ST23, the matching unit 244 determines that the images match, and in the comparison process of step ST25, When the integrated value S is equal to or larger than the second threshold th2, the matching unit 244 determines that the images match (ST29). For example, the image matching device according to the present embodiment is used as a vein pattern matching device in the security field. When applied, the operation processing unit 16 performs a process of releasing the electronic lock.
[0098]
As described above, the two-dimensional difference between the registered image AIM and the collation image RIM differs from the candidate identification unit 241 that identifies a plurality of candidates of the two-dimensional positional relationship between the registered image AIM and the collation image RIM. In each of the plurality of positional relationships, a similarity generating unit 242 that compares the registered image AIM and the collation image RIM to generate a similarity Sim, and an integrating unit 243 that integrates the similarity Sim generated by the similarity generating unit 242. Since the matching unit 244 that performs matching based on the similarity Sim accumulated by the integrating unit 243 is provided, for example, even when the correlation between two pieces of image data to be compared is small, a plurality of By adding the similarities calculated for each of the positional relationships of the candidates, the matching can be performed with higher accuracy than when matching is performed using the similarity alone.
When the similarity Sim is larger than the first threshold th1, it is determined that they match, so that the matching process can be performed at high speed.
[0099]
Further, a magnification information-rotation information unit 21, a correction unit 22, and a rotation angle correction process or a magnification correction process between the registered image AIM and the collation image RIM that detect a correlation based on a phase component as a result of the Fourier transform process. Since the phase-only correlation unit 23 is provided, the collation processing can be performed even when the registered image AIM and the collation image RIM have different rotation angles and magnifications.
[0100]
FIG. 11 is a software functional block diagram of the second embodiment of the image matching apparatus according to the present invention.
The hardware functional blocks of the image matching device 1a according to the present embodiment are substantially the same as those of the first embodiment, and thus description thereof is omitted.
The CPU 15a of the image matching device 1a includes, for example, a magnification information / rotation information unit 21, a correction unit 22, a phase-only correlation unit 23, and a determination unit 24a, as shown in FIG.
For example, as illustrated in FIG. 11, the determination unit 24a includes a candidate identification unit 241, a similarity generation unit 242, a similarity correction unit 2421, an accumulation unit 243, and a collation unit 244.
A description of the same functions as in the first embodiment will be omitted, and only different points will be described.
[0101]
The similarity correction unit 2421 generates the similarity generation unit 242 by comparing the registered image AIM and the collation image RIM for each pixel in each of a plurality of different two-dimensional positional relationships between the registered image AIM and the collation image RIM. The calculated similarity Sim is corrected according to the image characteristics around the pixel to generate a similarity Sim ′, and is output as the signal S2421 to the integrating unit 243 and the matching unit 244.
The integrating unit 243 and the matching unit 244 perform the same processing as in the first embodiment based on the similarity Sim ′.
[0102]
FIG. 12 is a diagram for explaining the function of the similarity correction unit 2421 shown in FIG. 12A illustrates an image pattern of the registered image AIM, FIG. 12B illustrates an image pattern of the collation image RIM, and FIG. 12C illustrates a specific example of the similarity Sim generated by the similarity generation unit 242. FIG. FIG. 13 is a diagram for explaining the function of the similarity correction unit 2421 shown in FIG.
[0103]
For example, the similarity Sim generated by the similarity generation unit 242 is, for example, a case where the similarity Sim between the image pattern of the registered image AIM illustrated in FIG. 12A and the image pattern of the collation image RIM illustrated in FIG. Is calculated based on the intersection CP of the linear patterns of the two images, as shown in FIG.
[0104]
For example, as illustrated in FIG. 13A, the similarity generation unit 242 determines the correlation pattern PT31 between the pattern PT11 of the registered image AIM and the pattern PT21 of the collation image RIM in a different direction of the linear pattern. Despite the absence, there is an increase in the similarity because the similarity Sim is calculated only from the intersection.
The similarity correction unit 2421 according to the present embodiment detects, for example, the intersection CP, and, for example, when there are intersections CP other than the center in nine pixels around the pixel, the similarity correction unit 2421 determines the intersection CP of the center with a point having a correlation. If there is no intersection CP other than the center, the intersection CP at the center is determined as an uncorrelated intersection.
[0105]
For example, as shown in FIG. 13A, the similarity correction unit 2421 has no intersection CP other than the center in the case of the correlation pattern PT31 between the pattern PT11 of the registered image AIM and the pattern PT21 of the collation image RIM, The intersection at the center is determined as an uncorrelated intersection.
As shown in FIG. 13B, the similarity correction unit 2421 determines the center of the pattern PT12 of the registered image AIM and the correlation pattern PT32 of the collation image RIM since there is no intersection CP except for the center. The intersection of the parts is determined as an intersection having no correlation.
[0106]
As shown in FIG. 13 (c), the similarity correction unit 2421 has the intersection CP other than the center in the case of the correlation pattern PT32 between the pattern PT12 of the registered image AIM and the pattern PT22 of the collation image RIM. The intersection CP of the part is determined as an intersection having a correlation.
[0107]
The similarity correction unit 2421 sets the value obtained by dividing the number of intersecting intersections obtained for the entire image by the total number of intersections as an effective rate eff, and calculates the similarity generated by the similarity generating unit 242 as shown in Expression (28). The degree of Sim is multiplied to perform a correction process to generate a corrected similarity degree Sim ′, which is output as a signal S2421.
[0108]
[Equation 28]

[0109]
For example, in the case as shown in FIG. 12, the effective rate eff is 0, and as a result, the corrected similarity Sim ′ is 0.
[0110]
FIG. 14 is a flowchart for explaining the operation of the image matching apparatus 1a shown in FIG. The operation of the image matching apparatus 1 having the above-described configuration will be described with reference to FIG. 14 only for differences from the first embodiment. The processes in steps ST1 to ST20 are the same as those in the first embodiment, and a description thereof will be omitted.
[0111]
The integrating unit 243 initializes a variable for integration (ST21). For example, the variable i is initialized to 0 and the integrated value S is initialized to 0.
In the similarity generation unit 242, each candidate (coordinate) P _i , By detecting the amount of deviation from the center of the correlation image data, the similarity Sim (i) is calculated after the registration of the registered image AIM and the matching image RIM, and the similarity corrector 2421 is calculated as a signal S242. (ST22).
[0112]
In step ST221, based on the correction signal S242 as the similarity Sim output from the similarity generation unit 242, the similarity correction unit 2421 divides the number of correlated intersections obtained for the entire image by the total number of intersections. The value is defined as the effective rate eff, and as shown in Expression (28), the similarity Sim generated by the similarity generation unit 242 is multiplied to perform a correction process, and a corrected similarity Sim ′ is generated. The data is output to the matching unit 244 and the integrating unit 243.
[0113]
In step ST23, the matching unit 244 compares the similarity Sim ′ (i) with a preset first threshold th1, and when the similarity Sim ′ (i) is smaller than the first threshold, adds The unit 243 integrates the similarity Sim '(i), and more specifically, integrates the expression S = S + Sim' (i) and outputs the result to the matching unit 244 (ST24).
[0114]
In step ST25, the collating unit 244 compares the integrated value S with a second threshold value th2 set in advance. If the integrated value S is smaller than the second threshold value th2, the variable i and the value N−1 are compared. Are compared (ST26), and when the variable i does not match N-1, 1 is added to the variable i (ST27), and the process returns to the step ST22. If the variable i matches N−1 in step ST25, it is determined that the images do not match (ST28).
[0115]
On the other hand, in the comparison process of step ST23, the collation unit 244 determines that the images match when the similarity Sim ′ (i) is equal to or more than the first threshold, and in the comparison process of step ST25. When the integrated value S is equal to or greater than the second threshold value th2, the matching unit 244 determines that the images match (ST29). For example, the image matching device according to the present embodiment is applied to a vein pattern matching device in the security field. Is applied, the operation processing unit 16 performs a process of releasing the electronic lock.
[0116]
As described above, in the present embodiment, in each of the plurality of two-dimensionally different positional relationships between the registered image AIM and the collation image RIM, the similarity generation unit 242 The similarity correction unit 2421 that corrects the similarity Sim generated in comparison with the pixel value according to the image characteristics around the pixel to generate the similarity Sim ′ is provided. The collation unit 244 sets the corrected similarity Sim ′ to the similarity Sim ′. Since the matching is performed based on the first embodiment, the matching process can be performed with higher accuracy than in the first embodiment.
[0117]
Further, even when there is an intersection between line segments having a large angle shift, that is, a line segment having a small correlation, the similarity is reduced by the correction processing. As a result, the correlation obtained from the images having a large correlation and the small image The difference from the degree of correlation obtained from each other becomes large, and a more accurate matching process can be performed.
[0118]
Note that the present invention is not limited to the present embodiment, and various suitable modifications are possible.
For example, in the present embodiment, the similarity generation unit calculates the similarity using Expression (27), but the present invention is not limited to this. For example, the similarity generation unit only needs to be able to perform a process of calculating a similarity suitable for correlation between linear patterns.
[0119]
In the present embodiment, the magnification information and the rotation angle information are generated by performing a Fourier transform process, a logarithmic transform process, and a logarithmic-to-stationary coordinate transform, and calculating a translation amount in a Fourier-Mellin space. It is not limited to the form. For example, coordinate conversion may be performed on a space in which magnification information and rotation angle information can be detected.
[0120]
Further, the first threshold value th1 and the second threshold value th2 are fixed values, but are not limited to this mode. For example, by making each of the thresholds variable according to the image pattern, more accurate matching can be performed.
[0121]
【The invention's effect】
According to the present invention, it is possible to provide an image matching device, an image matching method, and a program that can perform matching between images with high accuracy.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a first embodiment of an image matching device according to the present invention.
FIG. 2 is a software functional block diagram of the image matching apparatus shown in FIG. 1;
FIG. 3 is a diagram for explaining an operation of the Fourier-Mellin transform unit shown in FIG. 2;
FIG. 4 is a diagram for explaining a difference between an autocorrelation method and a phase-only correlation method.
FIG. 5 is a diagram for explaining a correlation intensity distribution when there is a translation shift between two images in the phase only correlation method.
FIG. 6 is a diagram for explaining a correlation intensity distribution in a case where there is a rotational shift between two images in the phase only method.
FIG. 7 is a diagram for explaining correlation image data output by a phase-only correlation unit 23; (A) is a diagram showing a registered image AIM, (b) is a collation image RIM, (c) is a diagram showing a specific example of correlation image data.
FIG. 8 is a diagram for explaining the correlation image data shown in FIG. 7 (c).
FIG. 9 is a diagram for explaining a candidate specifying process of a candidate specifying unit 241 illustrated in FIG. 1;
FIG. 10 is a flowchart for explaining the operation of the image matching apparatus 1 shown in FIG. 1;
FIG. 11 is a software functional block diagram of a second embodiment of the image matching apparatus according to the present invention.
FIG. 12 is a diagram for explaining a function of a similarity correction unit 2421 shown in FIG. 1;
FIG. 13 is a diagram for explaining a function of a similarity correction unit illustrated in FIG. 1;
FIG. 14 is a flowchart for explaining the operation of the image matching apparatus 1a shown in FIG. 11;
[Explanation of symbols]
1, 1a: Image collating device, 11: Image input unit, 12: Memory, 13: FFT processing unit, 14: Coordinate conversion unit, 15: CPU, 16: Operation processing unit, 21: Magnification information-rotation information unit, 22 ... Correction unit, 23... Parallel translation unit, 24... Discrimination unit, 211... Fourier-Mellin conversion unit, 212... Phase-only correlation unit, 213, magnification information-rotation information generation unit, 232. 234: inverse Fourier transform unit; 241, candidate specifying unit; 242: similarity generating unit; 243: integrating unit; 244: collating unit; 2120, 2121: Fourier transform unit; 2122: combining unit; 2123: phase extracting unit; 2124: inverse Fourier transform unit, 2311, 2312: Fourier transform unit, 2421: similarity correction unit, 21111, 21112: Fourier transform unit, 211211, 1122 ... logarithmic transform unit, 1131,21132 ... the log - polar coordinate conversion unit.

Claims (12)

Similarity generating means for comparing the first image and the second image to generate a similarity in each of a plurality of different two-dimensional positional relationships between the first image and the second image When,
Integrating means for integrating the similarity generated by the similarity generating means,
An image matching device, comprising: matching means for matching the first image and the second image based on the similarity integrated by the integrating means. Correlation detection means for detecting a correlation between the first image and the second image;
Based on the correlation detected by the correlation detecting means, further comprising candidate specifying means for specifying a plurality of candidates of the two-dimensional positional relationship between the first image and the second image,
The image matching device according to claim 1, wherein the similarity generating unit generates the similarity based on a positional relationship of each of the plurality of candidates specified by the candidate specifying unit. The similarity generation means compares each pixel of the first image and the second image in each of a plurality of different two-dimensional positional relationships between the first image and the second image. The image matching device according to claim 1, wherein the similarity is generated by performing the following. The similarity generation unit compares, for each of a plurality of two-dimensionally different positional relationships between the first image and the second image, each pixel of the first image and the second image, 4. The image matching device according to claim 3, wherein the similarity is generated by correcting a result of the comparison according to image characteristics around the pixel. The method according to claim 2, wherein the correlation detection unit detects the correlation based on a phase component as a result of a rotation angle correction process or a magnification correction process between the first image and the second image, and a Fourier transform process. Image collating device as described in the above. A first step of comparing the first image and the second image to generate a similarity in each of a plurality of different two-dimensional positional relationships between the first image and the second image; When,
A second step of integrating the similarity generated in the first step;
A third step of comparing the first image and the second image based on the degree of similarity integrated in the second step. A detecting step of detecting a correlation between the first image and the second image before the first step;
A candidate identification step of identifying a plurality of candidates of the two-dimensional positional relationship between the first image and the second image based on the correlation detected in the detection step,
The image matching method according to claim 6, wherein the first step generates the similarity based on a positional relationship of each of the plurality of candidates specified in the candidate specifying step. In the first step, in each of a plurality of two-dimensionally different positional relationships between the first image and the second image, a comparison is made for each pixel of the first image and the second image. The image matching method according to claim 6, wherein the similarity is generated by using the same. In the first step, in each of a plurality of different two-dimensional positional relationship between the first image and the second image, by comparing each pixel of the first image and the second image, The image matching method according to claim 8, wherein the similarity is generated by correcting a result of the comparison according to image characteristics around the pixel. The said detection process detects the said correlation based on the phase component of the result of a rotation angle correction process or a magnification correction process of the said 1st image and the said 2nd image, and a Fourier-transform process. Image matching method. A program to be executed by an information processing device,
A first procedure of comparing the first image and the second image to generate a similarity in each of a plurality of different two-dimensional positional relationships between the first image and the second image When,
A second procedure for integrating the similarity generated in the first procedure,
A program for executing a third procedure of collating the first image with the second image based on the similarity calculated in the second procedure. A detecting step of detecting a correlation between the first image and the second image before the first step;
Based on the correlation detected in the detection step, further comprising a candidate specification step of specifying a plurality of candidates of the two-dimensional positional relationship between the first image and the second image,
12. The program according to claim 11, wherein the first procedure generates the similarity based on a positional relationship of each of the plurality of candidates specified in the candidate specifying procedure.

Images