JP2004240931A - 画像照合装置、画像照合方法、およびプログラム - Google Patents

Abstract

【課題】画像間に平行移動量、回転角度、拡大／縮小の差異があっても照合を行うことができる画像照合装置、画像照合方法、およびプログラムを提供する。
【解決手段】登録画像ＡＩＭおよび照合画像ＲＩＭをフーリエ変換および対数−極座標変換を行うフーリエ・メリン変換部２１１と、その変換結果に基づいて位相情報の相関強度に基づいて倍率情報および回転情報を含む補正情報を生成する位相限定相関部２１２および倍率情報−回転情報生成部２１３と、補正情報に基づいて画像情報に応じて、照合画像ＲＩＭを補正する補正部２２と、補正処理の結果の画像および登録画像に基づいて位相限定処理を行う平行移動部２３と、位相限定処理により生成された、相関画像データに基づいて相関値を生成する相関値生成部２４１と、相関値に基づいて照合に関する判別処理を行う判別部２４２とを設ける。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、指紋画像、静止画像、動画像等の画像情報に基づいて照合を行う画像照合装置、画像照合方法、およびプログラムに関するものである。
【０００２】
【従来の技術】
従来、画像情報に基づいて照合を行う方法として、種々のパターン照合手法が知られている。例えば、登録画像と、比較対象となる照合画像との平行移動量、および回転角度を検出して、検出結果に基づいて両者の位置合わせを行なう手法が提案されている。
また、登録画像および照合画像それぞれについて離散的フーリエ変換を行い、得られたパターンデータそれぞれの位相情報に基づいて相関度を算出し、相関結果に基づいて照合を行うパターン照合手法が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１０−５５４３９号公報
【０００４】
【発明が解決しようとする課題】
しかし、上述した平行移動量および回転角度を検出するパターン照合装置では、例えば登録画像と照合画像のスケーリングが異なる場合には、それぞれの画像の対応を取ることができず、照合を適切に行うことができない。
また、離散フーリエ変換を行い、得られたパターンデータそれぞれの振幅成分に基づいて照合を行うパターン照合装置では、その振幅成分に基づいて登録画像または照合画像を拡大／縮小処理を行い、その処理結果に基づいて照合するが、回転角度を検出することができない。
このため、画像間に、平行移動量、回転角度、および拡大／縮小の差異がある場合であっても、２つの画像の照合を行う画像照合装置が望まれている。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像間に平行移動量、回転角度、および拡大／縮小の差異がある場合であっても、照合を行うことができる画像照合装置、画像照合方法、およびプログラムを提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明の第１の観点は、第１画像と第２画像の照合処理を行う画像照合装置であって、前記第１画像および前記第２画像をフーリエ変換および対数−極座標変換を行い、前記フーリエ変換および対数−極座標変換の結果に基づいて前記第１画像の補正情報を生成する補正情報生成手段と、前記補正情報生成手段が生成した前記補正情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像と、前記第２画像との相関処理を行い、前記相関処理の結果に基づいて照合処理を行う照合手段を有する。
【０００７】
本発明の第１の観点によれば、補正情報生成手段では、第１画像および第２画像をフーリエ変換および対数−極座標変換を行い、フーリエ変換および対数−極座標変換の結果に基づいて第１画像の補正情報が生成される。
照合手段では、補正情報生成手段が生成した補正情報に基づいて第１画像を補正処理し、補正処理された第１画像と第２画像との相関処理を行い、相関処理の結果に基づいて照合処理を行う。
【０００８】
さらに、前記目的を達成するために本発明の第２の観点は、第１画像と第２画像の照合処理を行う画像照合処理方法であって、前記第１画像および前記第２画像をフーリエ変換および対数−極座標変換を行い、前記フーリエ変換および対数−極座標変換の結果に基づいて前記第１画像の補正情報を生成する第１の工程と、前記第１の工程で生成した前記補正情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像と、前記第２画像との相関処理を行い、前記相関処理の結果に基づいて照合処理を行う第２の工程とを有する。
【０００９】
さらに、前記目的を達成するために、本発明の第３の観点は、第１画像と第２画像の照合処理を行う情報処理装置に実行させるためのプログラムであって、前記第１画像および前記第２画像をフーリエ変換および対数−極座標変換を行い、前記フーリエ変換および対数−極座標変換の結果に基づいて前記第１画像の補正情報を生成する第１の手順と、前記第１の手段で生成した前記補正情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像と、前記第２画像との相関処理を行い、前記相関処理の結果に基づいて照合処理を行う第２の手順とを有する。
【００１０】
【発明の実施の形態】
図１は、本発明に係る画像照合装置の第１実施形態の機能ブロック図である。
本実施形態に係る画像照合装置１は、例えば図１に示すように、画像入力部１１、メモリ１２、ＦＦＴ処理部１３、座標変換部１４、ＣＰＵ１５、および動作処理部１６を有する。
画像入力部１１、メモリ１２、ＦＦＴ処理部１３、座標変換部１４、およびＣＰＵ１５は、バスＢＳにより接続されている。動作処理部１６はＣＰＵ１５に接続されている。
【００１１】
画像入力部１１は、外部からの画像を入力するための入力部である。例えば、画像入力部１１には、登録画像ＡＩＭ、および登録画像ＡＩＭの比較対象である画像（照合画像ＲＩＭという）が入力される。
メモリ１２は、画像入力部から入力された画像等が記憶される。例えば、メモリ１２には、登録画像ＡＩＭ、照合画像ＲＩＭ、およびプログラムＰが記憶されている。
プログラムＰは、例えばＣＰＵ１５に実行させる、本発明に係る相関処理、補正処理、および照合処理等に関する手順を含む。
ＦＦＴ処理部１３は、例えばＣＰＵ１５の制御により、メモリ１２に記憶された画像に基づいて２次元フーリエ変換処理を行い、処理結果を座標変換部１４およびＣＰＵ１５に出力する。
【００１２】
座標変換部１４は、例えば、ＣＰＵ１５の制御により、ＦＦＴ処理部１３が処理した２次元フーリエ変換処理の結果に基づいて対数−極座標に変換し、座標変換結果をＣＰＵ１５に出力する。
動作処理部１６は、後述するＣＰＵ１５の照合処理の結果に基づいて、例えば２つの画像が一致した場合には、電子鍵を解除する等の所定処理を行う。
ＣＰＵ１５は、例えばメモリ１２に記憶されているプログラムＰ、登録画像ＡＩＭ、および照合画像ＲＩＭに基づいて、本発明の実施形態に係る照合処理を行う。
また、ＣＰＵ１５は、画像入力部１１、メモリ１２、ＦＦＴ処理部１３、座標変換部１４、および動作処理部１６等の制御を行い、本実施形態に係る処理を実行する。
【００１３】
図２は、図１に示した画像照合装置のソフトウェア的な機能ブロック図である。ＣＰＵ１５は、ＦＦＴ処理部１３および座標変換部１４等を制御し、例えば図２に示すような機能ブロックに基づいて処理を行う。
ＣＰＵ１５は、図２に示すように、倍率情報−回転情報部２１、補正部２２、平行移動部２３、および照合部２４を有する。
【００１４】
倍率情報−回転情報部２１は、登録画像ＡＩＭおよび照合画像ＲＩＭに基づいて倍率情報および／または回転情報を生成し、補正部２２に出力する。
倍率情報は、登録画像ＡＩＭおよび照合画像ＲＩＭの拡大・縮小率を示す情報を含む。回転情報は、登録画像ＡＩＭおよび照合画像ＲＩＭの回転角度を示す情報を含む。
【００１５】
詳細には例えば倍率情報−回転情報部２１は、フーリエ・メリン変換部２１１、位相限定相関部２１２、および倍率情報−回転情報生成部２１３を有する。
フーリエ・メリン変換部２１１は、それぞれの画像情報に基いて後述するフーリエ・メリン変換を行い、それぞれの変換結果を示す信号ＳＡ２１１，ＳＲ２１１を位相限定相関部２１２に出力する。
【００１６】
詳細には、フーリエ・メリン変換部２１１は、フーリエ変換部２１１１１，２１１１２、対数変換部２１１２１，２１１２２、および対数−極座標変換部２１１３１，２１１３２を有する。
【００１７】
フーリエ変換部２１１１１は、例えば、登録画像ＡＩＭがＮ×Ｎ画像の画像の場合に、登録画像ＡＩＭをｆ１（ｍ，ｎ）とすると、数式（１）に示すようにフーリエ変換を行い、フーリエ画像データＦ１（ｍ，ｎ）を生成し、対数変換部２１１２１に出力する。フーリエ変換部２１１１２は、例えば、照合画像ＲＩＭがＮ×Ｎ画像の画像の場合に、照合画像ＲＩＭをｆ２（ｍ，ｎ）とすると、数式（２）に示すようにフーリエ変換を行い、フーリエ画像データＦ２（ｍ，ｎ）を生成し、対数変換部２１１２２に出力する。
【００１８】
フーリエ画像データＦ１（ｍ，ｎ）は、数式（１）に示すように振幅スペクトルＡ（ｕ，ｖ）および位相スペクトルΘ（ｕ，ｖ）で構成され、フーリエ画像データＦ２（ｍ，ｎ）は、数式（２）に示すように振幅スペクトルＢ（ｕ，ｖ）および位相スペクトルΦ（ｕ，ｖ）で構成される。
【００１９】
【数１】

【００２０】
【数２】

【００２１】
対数変換部２１１２１，２１１２２は、フーリエ変換部２１１１１，２１１１２で生成された、フーリエ画像データＦ１（ｍ，ｎ），Ｆ２（ｍ，ｎ）の振幅成分に基いて対数処理を行う。この振幅成分の対数処理は、画像データの詳細な特徴情報を含む高周波成分を強調する。
【００２２】
詳細には、対数変換部２１１２１は数式（３）に示すように振幅成分Ａ（ｕ，ｖ）に基いて対数処理を行いＡ’（ｕ，ｖ）を生成し対数−極座標変換部２１１３１に出力する。対数変換部２１１２２は数式（４）に示すように振幅成分Ｂ（ｕ，ｖ）に基いて対数処理を行いＢ’（ｕ，ｖ）を生成し対数−極座標変換部２１１３２に出力する。
【００２３】
【数３】

【００２４】
【数４】

【００２５】
対数−極座標変換部２１１３１，２１１３２は、対数変換部２１１２１，２１１２２から出力された信号に基いて、対数−極座標系（例えばｌｏｇ−ｒ，Θ）に変換する。
一般的に例えば点（ｘ，ｙ）に対して数式（５），（６）に示すように定義すると、ｒ＝ｅ^μの場合にはμ＝ｌｏｇ（ｒ）であり、任意の点（ｘ，ｙ）に対応する一義的な（ｌｏｇ（ｒ），Θ）が存在する。この性質により対数−極座標変換部２１１３１，２１１３２は座標変換を行う。
【００２６】
【数５】

【００２７】
【数６】

【００２８】
詳細には、対数−極座標変換部２１１３１，２１１３２は、数式（７）に示す集合（ｒ_ｉ、θ_ｊ）、および数式（８）に示す関数ｆ（ｒ_ｉ、θ_ｊ）を定義する。
【００２９】
【数７】

【００３０】
【数８】

【００３１】
対数−極座標変換部２１１３１，２１１３２は、数式（７），（８）で定義した集合（ｒ_ｉ、θ_ｊ），関数ｆ（ｒ_ｉ、θ_ｊ）を用いて、画像データＡ’（ｕ，ｖ），Ｂ’（ｕ，ｖ）それぞれを、数式（９），（１０）に示すように対数−極座標変換を行い、ｐＡ（ｒ_ｉ、θ_ｊ）、ｐＢ（ｒ_ｉ、θ_ｊ）を生成し、それぞれ信号ＳＡ２１１、信号ＳＲ２１１として、位相限定相関部２１２に出力する。
【００３２】
【数９】

【００３３】
【数１０】

【００３４】
図３は、図２に示したフーリエ・メリン変換部２１１の動作を説明するための図である。
画像ｆ１（ｍ，ｎ），画像ｆ２（ｍ，ｎ）は、例えばｘ，ｙ軸に対して異なる所定角度を持った矩形領域Ｗ１，Ｗ２を含む。
フーリエ・メリン変換部２１１において、例えば図３に示すように、画像ｆ１（ｍ，ｎ）が、フーリエ変換部２１１１１によりフーリエ変換されて、フーリエ画像データＡ’（ｕ，ｖ）が生成され、対数変換部２１１２１および対数−極座標変換部２１１３１により、画像データｐＡ（ｒ，θ）が生成される。
同様に、画像ｆ２（ｍ，ｎ）が、フーリエ変換部２１１１２によりフーリエ変換されて、フーリエ画像データＢ’（ｕ，ｖ）が生成され、対数変換部２１１２２および対数−極座標変換部２１１３２により、画像データｐＢ（ｒ，θ）が生成される。
【００３５】
上述したように、画像ｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）は、フーリエ変換および対数−極座標変換により、デカルト座標から対数−極座標系（フーリエ・メリン空間とも言う）上に変換される。
フーリエ・メリン空間では、画像のスケーリングに応じて、成分がｌｏｇ−ｒの軸に沿って移動し、画像の回転角度に応じてθ軸に沿って移動する性質がある。
この性質を用いて、画像ｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）のスケーリング（倍率情報）および回転角度を、フーリエ・メリン空間上のｌｏｇ−ｒの軸に沿った移動量、およびθ軸に沿った移動量に基いて、求めることができる。
【００３６】
位相限定相関部２１２は、例えば位相限定フィルタ（ＳＰＯＭＦ：Ｓｙｍｍｅｔｒｉｃ ｐｈａｓｅ−ｏｎｌｙ ｍａｔｃｈｅｄ ｆｉｌｔｅｒ）を用いた位相限定相関法により、フーリエ・メリン変換部２１１から出力されたパターンデータを示す信号ＳＡ２１２およびＳＲ２１２に基いて、それぞれの平行移動量を求める。
位相限定相関部２１２は、例えば図１に示すように、フーリエ変換部２１２０，２１２１、合成部２１２２、位相抽出部２１２３、および逆フーリエ変換部２１２４を有する。
【００３７】
フーリエ変換部２１２０，２１２１は、対数−極座標変換部２１１３１，２１１３２から出力された信号ＳＡ２１１（ｐＡ（ｍ，ｎ）），ＳＲ２１１（ｐＢ（ｍ，ｎ））に基いて数式（１１），（１２）により、フーリエ変換を行う。ここで、Ｘ（ｕ，ｖ），Ｙ（ｕ，ｖ）は、フーリエ係数である。フーリエ係数Ｘ（ｕ，ｖ）は数式（１１）に示すように振幅スペクトルＣ（ｕ，ｖ）および位相スペクトルθ（ｕ，ｖ）により構成される。フーリエ係数Ｙ（ｕ，ｖ）は数式（１２）に示すように振幅スペクトルＤ（ｕ，ｖ）および位相スペクトルφ（ｕ，ｖ）により構成される。
【００３８】
【数１１】

【００３９】
【数１２】

【００４０】
合成部２１２２は、フーリエ変換部２１２０，２１２１で生成されたＸ（ｕ，ｖ），Ｙ（ｕ，ｖ）を合成して相関をとる。例えば合成部２１２２は、Ｘ（ｕ，ｖ）・Ｙ^＊（ｕ，ｖ）を生成し、位相抽出部２１２３に出力する。ここで、Ｙ^＊（ｕ，ｖ）は、Ｙ（ｕ，ｖ）の複素共役である。
【００４１】
位相抽出部２１２３は、合成部２１２２から出力された合成信号に基いて振幅成分を除去して位相情報を抽出する。
例えば位相抽出部２１２３は、例えばＸ（ｕ，ｖ）Ｙ^＊（ｕ，ｖ）に基いて、その位相成分Ｚ（ｕ，ｖ）＝ｅ^{ｊ（θ（ｕ，ｖ）−φ（ｕ，ｖ））}を抽出する。
【００４２】
位相情報の抽出は、上述した形態に限られるものではない。例えば、フーリエ変換部２１２０，２１２１の出力、数式（１３），（１４）に基いて位相情報を抽出した後、数式（１５）に示すように位相成分のみ合成を行い、Ｚ（ｕ，ｖ）を生成してもよい。
【００４３】
【数１３】

【００４４】
【数１４】

【００４５】
【数１５】

【００４６】
逆フーリエ変換部２１２４は、位相抽出部２１２３から出力された、位相情報のみの信号Ｚ（ｕ，ｖ）に基いて、逆フーリエ変換処理を行い、相関強度画像を生成する。
詳細には、逆フーリエ変換部２１２４は、数式（１６）に示すように、信号Ｚ（ｕ，ｖ）に基いて逆フーリエ変換処理を行い、相関強度画像Ｇ（ｐ，ｑ）を生成する。
【００４７】
【数１６】

【００４８】
倍率情報−回転情報生成部２１３は、逆フーリエ変換部２１２４により生成された相関強度画像Ｇ（ｐ、ｑ）におけるピーク位置の画像中心からのずれ量が、すなわち登録画像ＡＩＭと、照合画像ＲＩＭに対してフーリエ・メリン変換を行った結果得られたパターンデータ間の平行移動量と等価であるので、このずれ量を検出することにより、登録画像ＡＩＭに対する照合画像ＲＩＭの倍率情報（拡大／縮小率）および回転角度情報を示すデータを含む補正情報Ｓ２１を生成する。
【００４９】
補正部２２は、倍率情報−回転情報部２１の倍率情報−回転情報生成部２１３から出力された補正情報Ｓ２１に基いて、照合画像ＲＩＭの補正を行う。詳細には、補正部２２は、補正情報Ｓ２１に含まれる倍率情報および回転角度情報に基づいて、照合画像ＲＩＭを拡大／縮小処理し、回転処理を行い、平行移動部２３に出力する。補正部２２の補正処理により、登録画像ＡＩＭと照合画像ＲＩＭ間のスケーリングおよび回転成分の差異が除去される。
このため、登録画像ＡＩＭと、補正処理された照合画像ＲＩＭとの間には、平行移動成分のみが差異として残っている。
【００５０】
平行移動部２３は、上述した登録画像ＡＩＭと、補正処理された照合画像ＲＩＭとの間の平行移動成分、およびその相関値を検出する。この検出は、例えば上述した位相限定フィルタを用いた位相限定相関法により求める。
詳細には、平行移動部２３は、フーリエ変換部２３１１，２３１２、合成部２３２、位相抽出部２３３、および逆フーリエ変換部２３４を有する。
【００５１】
フーリエ変換部２３１１，２３１２、合成部２３２、位相抽出部２３３、および逆フーリエ変換部２３４それぞれは、上述した位相限定相関部２１２のフーリエ変換部２１２０，２１２１、合成部２１２２、位相抽出部２１２３、および逆フーリエ変換部２１２４それぞれと同じ機能を有するので簡単に説明する。
【００５２】
フーリエ変換部２３１１は、登録画像ＡＩＭをフーリエ変換し合成部２３２に出力する。この際、あらかじめフーリエ変換部２１１１１でフーリエ変換処理した登録画像ＡＩＭをメモリ１２に記憶しておき、それを合成部２３２に出力してもよい。こうすることにより２重にフーリエ変換処理を行うことがないために、処理が軽減される。
フーリエ変換部２３１２は、補正部２２により、補正された画像Ｓ２２をフーリエ変換を行い、処理結果のフーリエ画像を合成部２３２に出力する。
【００５３】
合成部２３２は、フーリエ変換部２３１１，２３１２から出力されたフーリエ画像Ｓ２３１１，Ｓ２３１２を合成し、合成画像Ｓ２３２を位相抽出部２３３に出力する。
位相抽出部２３３は，合成画像Ｓ２３２に基づいて上述したように位相情報を抽出して信号Ｓ２３３を逆フーリエ変換部２３４に出力する。
逆フーリエ変換部２３４は、信号Ｓ２３３に基づいて逆フーリエ変換を行い相関強度画像（相関画像データ）を生成し、信号Ｓ２３として照合部２４に出力する。
【００５４】
照合部２４は、平行移動部２３から出力された信号Ｓ２３に基づいて、登録画像ＡＩＭと照合画像ＲＩＭの照合を行う。
例えば照合部２４は、相関値生成部２４１、および判別部２４２を有する。
相関値生成部２４１は、平行移動部２３から出力された信号Ｓ２３の内の、相関強度分布に基づいて相関値を生成する。
【００５５】
図４は、相関値生成部２４１の相関値生成処理を説明するための図である。
平行移動部２３から出力された信号Ｓ２３としての相関値画像データは、例えば図４に示すように中央部に、鋭い相関ピークＰＰを有する。
相関ピークの高さは、フーリエ変換前の登録画像ＡＩＭ、照合画像ＲＩＭ間の類似度を示している。このため相関ピークＰＰを画像のマッチングの判定基準として用いる。
【００５６】
詳細には、相関値生成部２４１は、例えばピーク位置の周辺部を相関エリアＲとし、相関エリアＲ内の相関値の総和値、および全エリアＡＲの相関値の総和値に基づいて相関値Ｓ２４１を生成する。例えば相関エリアＲは図４に示すように、ピーク位置ＰＰの周辺部の５×５画素の領域である。
【００５７】
判別部２４２は、相関値生成部２４１により生成された相関値Ｓ２４１に基づいて画像の照合を判別し、判別の結果を示すデータＳ２４２を出力する。例えば判別部２４２は、あらかじめ定められたしきい値と比較し、相関値Ｓ２４１がしきい値よりも大きい場合には、登録画像ＡＩＭと照合画像ＲＩＭが一致しているものとして判別し、しきい値より小さい場合には一致しないとする。
【００５８】
上述の位相限定相関法における平行移動量の検出処理の詳細な説明を行う。
例えば、原画像ｆ１（ｍ，ｎ）、原画像ｆ２（ｍ，ｎ）、および画像ｆ２（ｍ，ｎ）を平行移動した画像ｆ３（ｍ，ｎ）＝ｆ２（ｍ＋α，ｎ＋β）それぞれをフーリエ変換処理し、数式（１７）〜（１９）に示すように、フーリエ係数Ｆ１（ｕ，ｖ），Ｆ２（ｕ，ｖ），Ｆ３（ｕ，ｖ）を生成する。
【００５９】
【数１７】

【００６０】
【数１８】

【００６１】
【数１９】

【００６２】
フーリエ係数Ｆ１（ｕ，ｖ）〜Ｆ３（ｕ，ｖ）に基づいて、数式（２０）〜（２２）に示すように、位相情報のみの位相画像Ｆ’１（ｕ，ｖ）〜Ｆ’３（ｕ，ｖ）を生成する。
【００６３】
【数２０】

【００６４】
【数２１】

【００６５】
【数２２】

【００６６】
位相画像Ｆ’１（ｕ，ｖ）と位相画像Ｆ’２（ｕ，ｖ）の相関の位相画像の相関Ｚ１２（ｕ，ｖ）を数式（２３）に示すように計算し、位相画像Ｆ’１（ｕ，ｖ）と位相画像Ｆ’３（ｕ，ｖ）の相関の位相画像の相関Ｚ１３（ｕ，ｖ）を数式（２４）に示すように計算する。
【００６７】
【数２３】

【００６８】
【数２４】

【００６９】
相関Ｚ１２（ｕ，ｖ）の相関強度画像Ｇ１２（ｒ，ｓ）、および相関Ｚ１３（ｕ，ｖ）の相関強度画像Ｇ１３（ｒ，ｓ）を数式（２５），（２６）に示すように計算する。
【００７０】
【数２５】

【００７１】
【数２６】

【００７２】
数式（２５），（２６）に示すように、画像ｆ３（ｍ，ｎ）が、画像２（ｍ，ｎ）に比べて（＋α、＋β）だけずれている場合には、位相限定相関法では、相関強画像において、（−α，−β）だけずれた位置に相関強度のピークが生成される。この相関強度位置の位置により、２つの画像間の平行移動量を求めることができる。
また、上述したフーリエ・メリン空間上で、この位相限定相関法を用いることにより、フーリエ・メリン空間上の平行移動量が検出できる。この平行移動量は、上述したように実空間では倍率情報および回転角度情報に相当する。
【００７３】
図５は、自己相関法と位相限定相関法の相違点を説明するための図である。
自己相関法では、例えば図５（ａ），（ｂ）に示すように、画像ＩＭ１、および画像ＩＭ１と同じ画像ＩＭ２をフーリエ変換を行い／自己相関関数ＳＧ１を生成すると、図５（ｃ）に示すように、相関強度が高いピークと、その周辺部に小さい相関強度を有する相関強度分布が得られる。図５（ｃ）において縦軸は相関強度を示す。
【００７４】
一方、上述した位相限定相関法では、図５（ｄ），（ｅ）に示すように、画像ＩＭ１、および画像ＩＭ１と同じ画像ＩＭ２をフーリエ変換を行い、位相情報のみを相関すると図５（ｆ）に示すように、相関強度が高く鋭いピークのみを有する相関強度分布が得られる。このように位相限定法では自己相関法に比べて相関に関して明確な情報を得ることができる。図５（ｆ）において、縦軸（ｚ軸）は相関強度を示し、ｘ軸，ｙ軸はずれ量を示す。
【００７５】
図６は、位相限定相関法において、２つの画像間で平行移動ずれがある場合の相関強度分布を説明するための図である。
例えば図６（ａ），（ｂ）に示すような画像ＩＭ１、および画像ＩＭ１より数画素平行移動している画像ＩＭ３の画像の位相限定法における相関強度分布は、例えば図６（ｃ）に示すように、相関強度が高く鋭いピークが、図５（ｆ）に示した相関画像データの内のピーク位置から、平行移動量に応じた距離だけずれた位置に分布している。しかし、図６（ｃ）に示すピーク強度は、図５（ｆ）に示したピーク強度に比べて小さい。これは画像ＩＭ１，ＩＭ２に比べて、画像ＩＭ１，ＩＭ３の一致している画素領域が小さいためである。
【００７６】
図７は、位相限定法において、２つの画像間で回転ずれがある場合の相関強度分布を説明するための図である。
図７（ａ），（ｂ）に示すような画像ＩＭ１、および画像ＩＭ１より数度回転している画像４の位相限定法における相関強度分布は、例えば図７に示すように、弱い相関強度の相関強度分布が得られる。単純に位相限定相関法を用いた場合には回転ずれにより、相関を検出することが困難である。
【００７７】
このため、本実施形態に係る画像照合装置１では、登録画像ＡＩＭおよび照合画像ＲＩＭを、フーリエ・メリン変換を行い、フーリエ・メリン空間上で、位相限定相関法を用いることにより、平行移動量を検出し、登録画像ＡＩＭおよび照合画像ＲＩＭの倍率情報、および回転角度情報を検出する。その情報に基づいて、照合画像の倍率および回転角度を補正する。
補正した照合画像ＲＩＭおよび登録画像ＡＩＭ間の平行移動ずれを、位相限定相関法により検出し、同時に相関値ピークに基づいて画像間の照合を行う。
【００７８】
図８は、図１に示した画像照合装置１の動作を説明するためのフローチャートである。以上説明した構成の画像照合装置１の動作を図８を参照しながら簡単に説明する。
例えば画像入力部１１により、登録画像ＡＩＭおよび照合画像ＲＩＭが入力され、メモリにそれぞれの画像データが格納される（ＳＴ１）。
ここで、登録画像ＡＩＭに対する照合画像ＲＩＭの倍率（拡大／縮小率）および回転角度情報を求めるために、登録画像ＡＩＭがメモリ１２から読み出され（ＳＴ２）、倍率情報−回転情報部２１のフーリエ変換部２１１１１により、フーリエ変換処理され（ＳＴ３）、フーリエ画像データＳ２１１１１がメモリ１２に格納、記憶される（ＳＴ４）。
フーリエ画像データＳ２１１１１の内の振幅成分は、対数変換部２１１２１により対数処理が行われ、対数−極座標変換部２１１３１により、対数−極座標系に変換される（ＳＴ５）。
【００７９】
照合画像ＲＩＭが、メモリ１２から読み出され（ＳＴ６）、同様にフーリエ変換部２１１１２によりフーリエ変換処理され（ＳＴ７）、フーリエ画像データＳ２１１１２の内の振幅成分が、対数変換部２１１２２により対数処理が行われ、対数−極座標変換部２１１３２により、対数−極座標系に変換される（ＳＴ８）。
【００８０】
上述した登録画像ＡＩＭおよび照合画像ＲＩＭにフーリエ・メリン変換を行った結果得られた、画像信号（パターンデータとも言う）ＳＡ２１１、ＳＲ２１１それぞれは、位相限定相関部２１２のフーリエ変換部２１２０，２１２１によりフーリエ変換処理され（ＳＴ９）、合成部２１２２により合成され（ＳＴ１０）、位相抽出部２１２３により合成信号から振幅成分が除去され（ＳＴ１１）、残りの位相成分が、逆フーリエ変換部２１２４により逆フーリエ変換処理され（ＳＴ１２）、得られた相関画像データのピーク位置の画像中心からのずれ量に基づいて、倍率情報−回転情報生成部２１３により倍率情報および回転情報を含む補正情報が生成される（ＳＴ１３）。
【００８１】
補正部２２では、補正情報に基づいて照合画像の拡大／縮小および回転処理の補正処理が行われ、画像間のスケーリング成分、および回転成分が除去される（ＳＴ１４）。残る差異は平行移動成分のみであり、位相限定相関法を用いて検出される。
【００８２】
補正処理が行われた照合画像ＲＩＭは、平行移動部２３のフーリエ変換部２３１２によりフーリエ変換されて（ＳＴ１５）フーリエ画像データＳ２３１２が生成され、メモリ１２に格納されたフーリエ変換された登録画像ＡＩＭが読み出され（ＳＴ１６）、合成部２３２により合成データＳ２３２が生成される（ＳＴ１７）。
この際、登録画像ＡＩＭがフーリエ変換部２３１１によりフーリエ変換されてフーリエ画像データＳ２３１１が生成されて合部部２３２に入力されてもよい。
合成データＳ２３２の内の振幅情報が位相抽出部２３３により除去され（ＳＴ１８）、残りの位相情報が逆フーリエ変換部２３４に入力される（ＳＴ１９）。
【００８３】
上述した処理により生成された、相関画像データＳ２３に基づいて、相関値生成部２４１により例えばピーク位置近傍の５×５画素の相関値の総和値を、全相関値の総和値で割った値が相関値Ｓ２４１として生成される（ＳＴ２０）。
判別部２４２では、相関値Ｓ２４１が、所定のしきい値以上か否かが判別され（ＳＴ２１）、しきい値以上の場合には登録画像ＡＩＭと照合画像ＲＩＭが一致したものと判別して（ＳＴ２２）、動作処理部１６により所定の処理を行う。例えばセキュリティ分野における指紋照合装置に本実施の形態に係る画像照合装置１を用いた場合には、電子錠を解除するといった処理を行う。
【００８４】
一方、ステップＳＴ２１において、判別部２４２では、相関値Ｓ２４１がしきい値より小さいと判別された場合には（ＳＴ２３）、登録画像ＡＩＭと登録画像ＲＩＭが一致しないものとし、一連の処理を終了する。
【００８５】
以上説明したように、本実施形態では、登録画像ＡＩＭおよび照合画像ＲＩＭをフーリエ変換および対数−極座標変換を行うフーリエ・メリン変換部２１１と、その変換結果に基づいて位相情報の相関強度に基づいて倍率情報および回転情報を含む補正情報を生成する位相限定相関部２１２および倍率情報−回転情報生成部２１３と、補正情報に基づいて画像情報に応じて、照合画像ＲＩＭを補正する補正部２２と、補正処理の結果の画像および登録画像に基づいて位相限定処理を行う平行移動部２３と、位相限定処理により生成された相関画像データに基づいて相関値を生成する相関値生成部２４１と、相関値に基づいて照合に関する判別処理を行う判別部２４２とを設けたので、画像間に平行移動量、回転角度、および拡大／縮小の差異がある場合であっても、照合を行うことができる。
【００８６】
つまり、フーリエ画像に対数変換処理を行い、対数−極座標変換を行い、フーリエ・メリン座標系で、位相限定相関処理を行うことにより、画像間に平行移動量、回転角度、および拡大／縮小の差異がある場合であっても、照合を行うことができる。
【００８７】
図９は、登録画像および照合画像として指紋画像を利用した場合の一般的な極座標変換を説明するための図である。
例えば図９（ａ）に示すような指紋登録画像ＡＩＭ、および図９（ｂ）に示すような指紋登録画像ＡＩＭより小さく、回転角度ずれが存在する指紋照合画像ＲＩＭそれぞれは、フーリエ変換処理により図９（ｃ），（ｄ）に示すフーリエ画像ＩＭ１１，１２が生成される。
対数変換を行わずに、単純に極座標変換を行うと、例えば図９（ｅ），（ｆ）に示すように、画像ＩＭ１１１，ＩＭ１２１が生成される。
しかし、画像ＩＭ１１１，ＩＭ１２１において動径方向ｒに関しては判別ができない。
【００８８】
図１０は、登録画像および照合画像として指紋画像の場合のフーリエ・メリン変換を説明するための図である。
例えば図１０（ａ）に示すような指紋登録画像ＡＩＭ、および図１０（ｂ）に示すような指紋登録画像ＡＩＭより小さく、回転角度ずれが存在する指紋照合画像ＲＩＭそれぞれは、フーリエ変換処理により図１０（ｃ），（ｄ）に示すフーリエ画像ＩＭ１１，１２が生成される。
対数変換を行い、対数−極座標変換を行うと、例えば図１０（ｅ），（ｆ）に示すように、画像ＩＭ１１２，ＩＭ１２２生成される。
画像ＩＭ１１２，ＩＭ１２２において、ｌｏｇ−ｒ方向に関しては高周波成分が強調されるため画像間の相関がとりやすい。
【００８９】
図１１は、本発明に係る画像照合装置の第２実施形態の機能ブロック図である。
本実施形態に係る画像照合装置１ａは、登録画像ＡＩＭと照合画像ＲＩＭの位置ずれ検出し、検出結果に基づいて位置ずれを補正した後、両画像の共通部分領域を抽出し、抽出した共通部分領域それぞれの相関をとり、相関結果に基づいて照合を行う。
【００９０】
画像照合装置１ａは、ハードウェア的には第１実施形態に係る画像照合装置１と同じ構成である。画像照合装置１ａと第１実施形態に係る画像照合装置１とのソフトウェア的な相違点としては、図１１に示すように、平行移動量検出部２５１、共通部分領域抽出部２５２、および位相限定相関部２５３を設けている点である。その他の構成要素については、同一の符号を付して説明を省略する。
【００９１】
平行移動量検出部２５１は、図１１に平行移動部２３から出力された、相関強度画像を示す信号Ｓ２３に基づいて平行移動量を検出し部分抽出部２５２２に出力する。平行移動量は相関強度画像におけるピーク位置の画像中心からのずれ量を検出する。このずれ量は、登録画像ＡＩＭおよび照合画像ＲＩＭ間の平行移動に関するずれ量と等価である。
【００９２】
共通部分領域抽出部２５２は、部分抽出部２５２１および部分抽出部２５２２を有する。
部分抽出部２５２１は、図１１に示すように、登録画像ＡＩＭの内から、あらかじめ設定された部分画素領域を抽出し信号Ｓ２５２１としてフーリエ変換部２５３１に出力する。
【００９３】
部分抽出部２５２２は、平行移動量検出部２５１から出力された信号Ｓ２５１に基づいて、照合画像ＲＩＭの内から、上記登録画像ＡＩＭの部分画素領域に対応する、共通の部分画素領域を抽出し信号Ｓ２５２２として、フーリエ変換部２５３２に出力する。
【００９４】
位相限定相関部２５３は、位相限定相関法により相関を行い、共通部分領域における相関画像データＳ２５３が生成され、照合部２４に出力される。
詳細には例えば位相限定相関部２５３は、フーリエ変換部２５３１，２５３２、合成部２５３４、位相抽出部２５３５、および逆フーリエ変換部２５３６を有する。構成要素それぞれは、上述した位相限定相関部２１２と同様な機能を有するので説明を省略する。
【００９５】
図１２は、図１１に示した第２実施形態に係る画像照合装置の動作を説明するためのフローチャートである。図１２を参照しながら画像照合装置１ａの動作を簡単に相違点のみ説明する。
ステップＳＴ１〜ＳＴ１９までの処理は、第１実施形態に係る画像照合装置１の動作と同様である。
ステップＳＴ１２０において、ステップＳＴ１９により逆フーリエ変換部２３４で生成された相関強度画像を示す信号Ｓ２３は、平行移動量検出部２５１により、平行移動量Ｓ２５１が検出される。
【００９６】
ステップＳＴ１２１において、部分抽出部２５２１により、登録画像ＡＩＭからあらかじめ設定された部分領域が抽出され、この部分領域がフーリエ変換部２５３１によりフーリエ変換される（ＳＴ１２２）。部分抽出部２５２２では、平行移動量Ｓ２５１に基づいて照合画像ＲＩＭから、上記登録画像ＡＩＭの部分領域と対応する、共通の部分領域が抽出され（ＳＴ１２３）、フーリエ変換部２５３２によりフーリエ変換処理が行われる（ＳＴ１２４）。
【００９７】
フーリエ変換された部分領域それぞれの画像は、合成部２５３４により合成されて、合成フーリエ画像データが生成され（ＳＴ１２５）、位相抽出部２５３５により、振幅成分が除去された後、残りの位相成分が抽出され（ＳＴ１２６）、逆フーリエ変換部２５３６により逆フーリエ変換処理が行われ（ＳＴ１２７）、相関画像データＳ２５３が生成される。
【００９８】
ステップＳＴ１２８において、相関値生成部２４１では、相関画像データＳ２５３に応じて相関値が生成される。判別部２４２では、相関値Ｓ２４１が、所定のしきい値以上か否かが判別され（ＳＴ１２９）、しきい値以上の場合には登録画像ＡＩＭと照合画像ＲＩＭが一致したものと判別して（ＳＴ１３０）、動作処理部１６により所定の処理を行う。
一方、ステップＳＴ１２９において、判別部２４２では、相関値Ｓ２４１がしきい値より小さいと判別された場合には（ＳＴ１３１）、登録画像ＡＩＭと登録画像ＲＩＭが一致しないものとし、一連の処理を終了する。
【００９９】
上述したように、本実施形態では、登録画像ＡＩＭと照合画像ＲＩＭの位置ずれを検出して、それぞれの共通画素領域を抽出し、その共通画素領域間の相関を行うので、例えば第１実施形態において画像全体の画素領域間で相関を行う場合と比べて、両画像の非共通部分が相関ピーク強度を下げることを回避することができ、照合精度を高めることができる。
【０１００】
また、本実施形態では、共通領域を抽出する際にあらかじめ設定された部分画素領域を抽出したが、この形態に限られるものではない。例えば登録画像ＡＩＭおよび照合画像ＲＩＭ間の位置ずれ量に基づいて両画像の共通領域が最大になるような領域をそれぞれ選択し、その抽出された領域それぞれの相関強度を求めてもよい。こうすることで、より相関ピーク強度を高くすることができ照合の精度を高めることができる。
【０１０１】
図１３は、本発明に係る画像照合装置の第３実施形態の機能ブロック図である。
本実施形態に係る画像照合装置１ｂは、登録画像ＡＩＭと照合画像ＲＩＭの拡大／縮小および回転等の補正処理を行った後、両画像の平行移動ずれ量が、あらかじめ設定された範囲内にある場合には相関値生成処理を実行し、範囲外である場合には相関値を生成しない。
画像照合装置１ｂと、第１実施形態に係る画像照合装置１との相違点は、照合部２４ｂである。その他の構成要素については同様なので説明を省略する。
照合部２４ｂは、図１３に示すように、平行移動量検出部２４１１、平行移動量判別部２４１２、相関値生成部２４１、および判別部２４２を有する。
【０１０２】
図１４は、平行移動量検出部の平行移動量を検出する動作を説明するための図である。
平行移動量検出部２４１１は、平行移動部２３から出力された、相関画像データを示す信号Ｓ２３に基づいて、平行移動量Ｓ２４１１を検出する。
平行移動量検出部２４１１は、例えば図１４に示すように、相関画像データＳ２３に基づいて、相関ピーク位置ＰＰの、中心位置ｃｎｔからのずれ量を検出する。図１４において、ピーク位置ＰＰを黒四角、中心位置ｃｎｔを白四角で示す。この中心位置ｃｎｔからのずれ量は、登録画像ＡＩＭおよび照合画像ＲＩＭの平行移動量と等価である。
【０１０３】
平行移動量判別部２４１２は、平行移動量検出部２４１１が検出したずれ量（平行移動量）Ｓ２４１１に基づいて、あらかじめ設定されたしきい値より大きい場合には、登録画像ＡＩＭと照合画像ＲＩＭが一致しないものとする。
詳細には、平行移動量判別部２４１２は、図１４に示すように、相関画像データＳ２３において、ピーク位置ＰＰが、あらかじめ中心位置ｃｎｔを囲むウィンドウＷＤ内に、位置するか否かを判別する。このウィンドウＷＤは、上述の平行移動量に関するしきい値に対応する。
【０１０４】
相関値生成部２４１は、平行移動量判別部２４１２により、このウィンドウＷＤ内に相関ピーク位置ＰＰがあると判別された場合に、相関ピーク強度に基づいて、相関値Ｓ２４１を生成する。
判別部２４２は、相関値生成部２４１により生成された相関値Ｓ２４１に基づいて画像の照合を判別し、判別の結果を示すデータＳ２４２を出力する。例えば判別部２４２は、あらかじめ定められたしきい値と比較し、相関値Ｓ２４１がしきい値よりも大きい場合には、登録画像ＡＩＭと照合画像ＲＩＭが一致しているものとして判別し、しきい値より小さい場合には一致しないとする。
【０１０５】
図１５は、図１４に示した画像照合装置の動作を説明するためのフローチャートである。図１５を参照しながら、画像照合装置１ｂの動作を簡単に説明する。
【０１０６】
ステップＳＴ１９までは、第１実施形態に係る画像照合装置１の動作と同様なので説明を省略する。
ステップＳＴ２２０において、ステップＳＴ１９により逆フーリエ変換部２３４で生成された相関強度画像を示す信号Ｓ２３は、平行移動量検出部２４１１により、平行移動量Ｓ２４１１が検出される。
ステップＳＴ２２１において、平行移動量判別部２４１２では、平行移動量Ｓ２４１１に基づいて、ピーク位置ＰＰが、あらかじめ設定された中心位置ｃｎｔを囲むウィンドウＷＤ内に位置するか否かを判別する。
【０１０７】
平行移動量検出部２４１１により、ピーク位置ＰＰがウィンドウＷＤ内に位置していると判別された場合には、相関値生成部２４１では相関強度画像Ｓ２３に基づいて、上述したように、例えばピーク位置近傍の５×５画素で構成される相関エリア内における相関値の総和値を、全領域の相関値の総和値で割った値を、両画像の相関値として生成する（ＳＴ２２２）。
【０１０８】
ステップＳＴ２２３において、判別部２４２は、相関値生成部２４１により生成された、相関値Ｓ２４１が所定のしきい値以上か否かが判別され、しきい値以上である場合には登録画像ＡＩＭと照合画像ＲＩＭが一致していると判別する（ＳＴ２２４）。
一方、ステップＳＴ２２３において相関値Ｓ２４１がしきい値より小さい場合、およびステップＳＴ２２１において平行移動量検出部２４１１により、ピーク位置ＰＰがウィンドウＷＤ内に位置していないと判別された場合には、両画像が一致しないものとし（ＳＴ２２５）、一連の処理を終了する。
【０１０９】
以上説明したように、本実施形態では、相関画像データＳ２３に基づいて平行移動量を検出する平行移動量検出部２４１１と、検出された平行移動量に基づいて平行移動量が所定のしきい値以内か否かを判別する平行移動量判別部２４１２と、平行移動量がしきい値以内の場合に相関ピーク強度に基づいて相関値を生成する相関値生成部２４１と、相関値に基づいて両画像の照合を行う判別部２４２とを設けたので、画像間に全く相関がない場合には、相関画像データの相関ピークＰＰが画像中心付近に位置することが少ないために、相関画像データに基づいて相関ピーク位置ＰＰが所定のウィンドウＷＤ外の場合には、その後の相関値生成処理等の処理を行わないので、処理負担を軽減することができる。
【０１１０】
また、画像照合装置１ｂは、相関画像データにおいて、相関強度ピークが中心位置ｃｎｔを含む所定領域内部に位置し、且つ、ピーク強度が所定のしきい値よりも大きい場合に両画像が一致していると照合を行うので、第１実施形態の画像照合装置と比べてより照合精度を高くすることができる。
【０１１１】
図１６は、本発明に係る画像照合装置の第４実施形態の機能ブロックの一部を示す図である。
本実施形態に係る画像照合装置１ｃは、第３実施形態に係る画像照合装置１ｂの平行移動量が所定のしきい値以内の場合に処理を行う機能と、第２実施形態の画像照合装置１ａの共通部分領域を抽出する機能とを有する。
【０１１２】
本実施形態に係るＣＰＵ１５ｃは、倍率情報−回転情報部２１、補正部２２、および平行移動部２３、平行移動量検出部２５１、平行移動量判別部２５１２、共通部分領域抽出部２５２、位相限定相関部２５３、および照合部２４を有する。
倍率情報−回転情報部２１、補正部２２、および平行移動部２３は、第１実施形態に係る画像照合装置１と同様な機能を有するので図示しない。
【０１１３】
図１６において、平行移動量検出部２５１および平行移動量判別部２５１２は、第３実施形態に係る画像照合装置１ｂの平行移動量検出部２４１１および平行移動量判別部２４１２と同様な機能を有する。
【０１１４】
平行移動量検出部２５１では、平行移動部２３から出力された相関強度画像データＳ２３の内の相関ピーク位置に基づいて平行移動量を検出する。
平行移動量判別部２５１２では、平行移動部２３で検出された平行移動量に基づいて平行移動量が所定のしきい値内か否か、詳細には相関ピーク位置が、所定のウィンドウＷＤ内に位置するか否が判別され、所定のしきい値より大きい場合には、両画像が一致しないと判別する。
【０１１５】
また図１６において、共通部分領域抽出部２５２および位相限定相関部２５３は、第２実施形態に係る画像照合装置１ａの共通部分領域抽出部および位相限定相関部とほぼ同様な機能を有する。相違点としては、共通部分領域抽出部２５２は平行移動量判別部２５１２で、平行移動量が所定のしきい値内であると判別された場合に、登録画像ＡＩＭおよび照合画像ＲＩＭから共通の部分画素領域を抽出する点である。
【０１１６】
照合部２４は、図１６に示すように、平行移動量検出部２４１１、平行移動量判別部２４１２、相関値生成部２４１、および判別部２４２を有する。
照合部２４は、第３実施形態に係る画像照合装置１ｃの照合部２４とほぼ同様である。相違点としては共通部分領域についての照合に関する処理を行う点である。
【０１１７】
図１７は、第４実施形態に係る画像照合装置１ｃの動作を説明するためのフローチャートである。図１７を参照しながら画像照合装置１ｃの動作を、第３実施形態に係る画像照合装置１ｂとの相違点のみ説明する。
【０１１８】
ステップＳＴ１〜ＳＴ１９、およびＳＴ２２０までの処理は、図１５に示した第３実施形態に係る画像照合装置１ｂの動作と同様であるので説明を省略する。
ステップＳＴ２２０において、ステップＳＴ１９により逆フーリエ変換部２３４で生成された相関強度画像を示す信号Ｓ２３は、平行移動量検出部２５１により、平行移動量Ｓ２５１が検出される。
ステップＳＴ２３１において、平行移動量判別部２５１２では、平行移動量Ｓ２５１に基づいて、ピーク位置ＰＰが、あらかじめ設定された中心位置ｃｎｔを囲むウィンドウＷＤ内に位置するか否かを判別する（ＳＴ２３１）。
【０１１９】
ステップＳＴ２３１において、平行移動量判別部２５１により、ピーク位置ＰＰがウィンドウＷＤ内に位置していると判別された場合には、部分抽出部２５２１により、登録画像ＡＩＭからあらかじめ設定された部分領域が抽出され（ＳＴ２３２）、この部分領域がフーリエ変換部２５３１によりフーリエ変換される（ＳＴ２３３）。部分抽出部２５２２では、平行移動量Ｓ２５１に基づいて照合画像ＲＩＭから、上記登録画像ＡＩＭの部分領域と対応する、共通の部分領域が抽出され（ＳＴ２３４）、フーリエ変換部２５３２によりフーリエ変換処理が行われる（ＳＴ２３５）。
【０１２０】
フーリエ変換された部分領域それぞれの画像は、合成部２５３４により合成されて、合成フーリエ画像データが生成され（ＳＴ２３６）、位相抽出部２５３５により、振幅成分が除去された後、残りの位相成分が抽出され（ＳＴ２３７）、逆フーリエ変換部２５３６により逆フーリエ変換処理が行われて相関画像データＳ２５３が生成される（ＳＴ２３８）。
【０１２１】
ステップＳＴ２３９において、平行移動量検出部２４１１により、共通の部分画素領域の平行移動量Ｓ２４１１が検出される。
平行移動量判別部２４１２では、平行移動量Ｓ２４１１に基づいて、ピーク位置ＰＰが、あらかじめ設定された中心位置ｃｎｔを囲むウィンドウＷＤ内に位置するか否かを判別する（ＳＴ２４０）。
ピーク位置ＰＰがウィンドウＷＤ内に位置していると判別された場合には、相関値生成部２４１では相関強度画像Ｓ２５に基づいて、上述したように、例えばピーク位置近傍の５×５画素で構成される相関エリア内の相関値の総和値を、共通な部分領域の相関値の総和値で割った値を、相関値として生成する（ＳＴ２４１）。
【０１２２】
判別部２４２では、相関値Ｓ２４１が、所定のしきい値以上か否かが判別され（ＳＴ２４２）、しきい値以上の場合には登録画像ＡＩＭと照合画像ＲＩＭが一致したものと判別して（ＳＴ２４３）、動作処理部１６により所定の処理を行う。
一方、ステップＳＴ２４２において、判別部２４２では、相関値Ｓ２４１がしきい値より小さいと判別された場合、およびステップＳＴ２４０において、ピーク位置ＰＰがあらかじめ設定された中心位置ｃｎｔを囲むウィンドウＷＤ内に位置していないと判別された場合には、（ＳＴ２４４）、登録画像ＡＩＭと登録画像ＲＩＭが一致しないものとし、一連の処理を終了する。
【０１２３】
以上説明したように、画像照合装置１ｃは、第３実施形態に係る画像照合装置１ｂの平行移動量が所定のしきい値以下の場合に処理を行う機能と、第２実施形態の画像照合装置１ａの共通部分領域を抽出する機能とを設けたので、より精度の高い照合を行うことができる。
【０１２４】
第４実施形態に係る画像照合装置１ｃは、全領域に関する平行移動量が所定のしきい値以下であるという第１の制限と、さらに、共通の部分画素領域に関する平行移動量が所定のしきい値以下であるという第２の制限とを設けたので、より精度の高い照合を行うことができる。
【０１２５】
また、平行移動量がしきい値以下の場合にのみ、後段の処理を行うように平行移動量検出部および平行移動量検出部を設けたので、処理負担が軽減される。また、処理時間が短縮される。
また、毎回必ず相関値を算出する場合と比べて、例えば全く相関のない画像間の相関値がしきい値を超えることにより生じる誤判別率を大幅に減少することができる。
【０１２６】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
第１実施形態では、フーリエ変換処理、対数変換処理、および対数−局座標変換を行い、フーリエ・メリン空間上での平行移動量を算出することにより、倍率情報および回転角度情報を生成したが、この形態に限られるものではない。例えば、倍率情報および回転角度情報が検出可能な空間に、座標変換を行ってもよい。
【０１２７】
第４実施形態では、上述の第１の制限の所定のしきい値と、第２の制限の所定のしきい値とを同じ、詳細には同じウィンドウＷＤで行うが、この形態に限られるものではない。例えば全領域に係る第１の制限に関するしきい値を大きくして制限をゆるめ、部分領域に係る第２の制限に関するしきい値を小さくすることで、相関値を算出する候補を絞り込むようにしてもよい。
【０１２８】
【発明の効果】
本発明によれば、画像間に平行移動量、回転角度、および拡大／縮小の差異がある場合であっても、照合を行うことができる画像照合装置、画像照合方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像照合装置の第１実施形態の機能ブロック図である。
【図２】図１に示した画像照合装置のソフトウェア的な機能ブロック図である。
【図３】図２に示したフーリエ・メリン変換部の動作を説明するための図である。
【図４】相関値生成部の相関値生成処理を説明するための図である。
【図５】自己相関法と位相限定相関法の相違点を説明するための図である。
【図６】位相限定相関法において、２つの画像間で平行移動ずれがある場合の相関強度分布を説明するための図である。
【図７】位相限定法において、２つの画像間で回転ずれがある場合の相関強度分布を説明するための図である。
【図８】図１に示した画像照合装置１の動作を説明するためのフローチャートである。
【図９】登録画像および照合画像として指紋画像の場合の一般的な極座標変換を説明するための図である。
【図１０】登録画像および照合画像として指紋画像の場合のフーリエ・メリン変換を説明するための図である。
【図１１】本発明に係る画像照合装置の第２実施形態の機能ブロック図である。
【図１２】図１１に示した第２実施形態に係る画像照合装置の動作を説明するためのフローチャートである。
【図１３】本発明に係る画像照合装置の第３実施形態の機能ブロック図である。
【図１４】平行移動量検出部の平行移動量を検出する動作を説明するための図である。
【図１５】図１４に示した画像照合装置の動作を説明するためのフローチャートである。
【図１６】本発明に係る画像照合装置の第４実施形態の機能ブロックの一部を示す図である。
【図１７】第４実施形態に係る画像照合装置の動作を説明するためのフローチャートである。
【符号の説明】
１ａ，１ｂ，１ｃ…画像照合装置、１１…画像入力部、１２…メモリ、１３…ＦＦＴ処理部、１４…座標変換部、１５…ＣＰＵ、１６…動作処理部、２１…倍率情報−回転情報部、２２…補正部、２３…平行移動部、２４…照合部、２１１…フーリエ・メリン変換部、２１２…位相限定相関部、２１３…倍率情報−回転情報生成部、２３２…合成部、２３３…位相抽出部、２３４…逆フーリエ変換部、２４１…相関値生成部、２４２…判別部、２５１…平行移動量検出部、２５２…共通部分領域抽出部、２５３…位相限定相関部、２１２０，２１２１…フーリエ変換部、２１２２…合成部、２１２３…位相抽出部、２１２４…逆フーリエ変換部、２３１１，２３１２…フーリエ変換部、２４１１…平行移動量検出部、２４１２…平行移動量判別部、２５１…平行移動量検出部、２５１２…平行移動量判別部、２５２１，２５２２…部分抽出部、２１１１１，２１１１２…フーリエ変換部、２１１２１，２１１２２…対数変換部、２１１３１，２１１３２…対数−極座標変換部。

Claims (24)

1. 第１画像と第２画像の照合処理を行う画像照合装置であって、
   前記第１画像および前記第２画像をフーリエ変換および対数−極座標変換を行い、前記フーリエ変換および対数−極座標変換の結果に基づいて前記第１画像の補正情報を生成する補正情報生成手段と、
   前記補正情報生成手段が生成した前記補正情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像と、前記第２画像との相関処理を行い、前記相関処理の結果に基づいて照合処理を行う照合手段を有する
   画像照合装置。
2. 前記補正情報生成手段は、前記第１画像および前記第２画像の前記対数−極座標変換の結果に基づいてさらにフーリエ変換を行い、前記フーリエ変換された前記第１画像および前記第２画像の相関強度に基づいて前記補正情報として、倍率情報および／または回転情報を生成し、
   前記照合手段は、前記補正情報生成手段が生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像の補正処理を行う
   請求項１に記載の画像照合装置。
3. 前記補正情報生成手段は、前記フーリエ変換された前記第１画像および前記第２画像の位相情報の相関強度に基づいて前記補正情報として、前記倍率情報および／または前記回転情報を生成する
   請求項２に記載の画像照合装置。
4. 前記補正情報生成手段は、前記第１画像および前記第２画像に基づいてフーリエ・メリン変換を行い、前記フーリエ・メリン変換された前記第１画像と前記第２画像との相関処理を行い、前記倍率情報および／または前記回転情報を前記補正情報として生成する
   請求項１に記載の画像照合装置。
5. 前記照合手段は、前記補正情報生成手段が生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像および前記第２画像をフーリエ変換処理を行い、前記フーリエ変換処理された前記第１画像および前記第２画像に基づいて相関処理を行う
   請求項２に記載の画像照合装置。
6. 前記照合手段は、前記補正情報生成手段が生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像および前記第２画像をフーリエ変換処理を行い、前記フーリエ変換処理された前記第１画像および前記第２画像の位相情報に基づいて相関処理を行う
   請求項２に記載の画像照合装置。
7. 前記照合手段は、前記補正処理された第１画像、および前記第２画像の位相情報の相関強度のピーク位置に基づいて、前記補正処理された第１画像および前記第２画像の平行移動量情報を生成し、前記平行移動量情報に基づいて前記第１画像および前記２画像の共通領域を抽出し、前記抽出した共通領域の相関処理を行い、前記相関処理の結果に基づいて前記第１画像と前記第２画像との照合処理を行う
   請求項１に記載の画像照合装置。
8. 前記照合手段は、前記補正処理された第１画像、および前記第２画像の位相情報の相関強度のピーク位置に基づいて、前記補正処理された第１画像および前記第２画像の平行移動量情報を生成し、前記平行移動量情報が所定平行移動量より小さい場合に、前記第１画像と前記第２画像との照合処理を行う
   請求項１に記載の画像照合装置。
9. 第１画像と第２画像の照合処理を行う画像照合処理方法であって、
   前記第１画像および前記第２画像をフーリエ変換および対数−極座標変換を行い、前記フーリエ変換および対数−極座標変換の結果に基づいて前記第１画像の補正情報を生成する第１の工程と、
   前記第１の工程で生成した前記補正情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像と、前記第２画像との相関処理を行い、前記相関処理の結果に基づいて照合処理を行う第２の工程とを有する
   画像照合方法。
10. 前記第１の工程は、前記第１画像および前記第２画像の前記対数−極座標変換の結果に基づいてさらにフーリエ変換を行い、前記フーリエ変換された前記第１画像および前記第２画像の相関強度に基づいて前記補正情報として、倍率情報および／または回転情報を生成し、
    前記第２の工程は、前記第１の工程で生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像の補正処理を行う
    請求項９に記載の画像照合方法。
11. 前記第１の工程は、前記フーリエ変換された前記第１画像および前記第２画像の位相情報の相関強度に基づいて前記補正情報として、前記倍率情報および／または前記回転情報を生成する
    請求項１０に記載の画像照合方法。
12. 前記第１の工程は、前記第１画像および前記第２画像に基づいてフーリエ・メリン変換を行い、前記フーリエ・メリン変換された前記第１画像と前記第２画像との相関処理を行い、前記倍率情報および／または前記回転情報を前記補正情報として生成する
    請求項９に記載の画像照合方法。
13. 前記第２の工程は、前記第１の工程で生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像および前記第２画像をフーリエ変換処理を行い、前記フーリエ変換処理された前記第１画像および前記第２画像に基づいて相関処理を行う
    請求項１０に記載の画像照合方法。
14. 前記第２の工程は、前記第１の工程が生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像および前記第２画像をフーリエ変換処理を行い、前記フーリエ変換処理された前記第１画像および前記第２画像の位相情報に基づいて相関処理を行う
    請求項１０に記載の画像照合方法。
15. 前記第２の工程は、前記補正処理された第１画像、および前記第２画像の位相情報の相関強度のピーク位置に基づいて、前記補正処理された第１画像および前記第２画像の平行移動量情報を生成し、前記平行移動量情報に基づいて前記第１画像および前記２画像の共通領域を抽出し、前記抽出した共通領域の相関処理を行い、前記相関処理の結果に基づいて前記第１画像と前記第２画像との照合処理を行う
    請求項９に記載の画像照合方法。
16. 前記第２の工程は、前記補正処理された第１画像、および前記第２画像の位相情報の相関強度のピーク位置に基づいて、前記補正処理された第１画像および前記第２画像の平行移動量情報を生成し、前記平行移動量情報が所定平行移動量より小さい場合に、前記第１画像と前記第２画像との照合処理を行う
    請求項９に記載の記載の画像照合方法。
17. 第１画像と第２画像の照合処理を行う情報処理装置に実行させるためのプログラムであって、
    前記第１画像および前記第２画像をフーリエ変換および対数−極座標変換を行い、前記フーリエ変換および対数−極座標変換の結果に基づいて前記第１画像の補正情報を生成する第１の手順と、
    前記第１の手段で生成した前記補正情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像と、前記第２画像との相関処理を行い、前記相関処理の結果に基づいて照合処理を行う第２の手順とを有する
    プログラム。
18. 前記第１の手順は、前記第１画像および前記第２画像の前記対数−極座標変換の結果に基づいてさらにフーリエ変換を行い、前記フーリエ変換された前記第１画像および前記第２画像の相関強度に基づいて前記補正情報として、倍率情報および／または回転情報を生成し、
    前記第２の手順は、前記第１の手順で生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像の補正処理を行う
    請求項１７に記載のプログラム。
19. 前記第１の手順は、前記フーリエ変換された前記第１画像および前記第２画像の位相情報の相関強度に基づいて前記補正情報として、前記倍率情報および／または前記回転情報を生成する
    請求項１８に記載のプログラム。
20. 前記第１の手順は、前記第１画像および前記第２画像に基づいてフーリエ・メリン変換を行い、前記フーリエ・メリン変換された前記第１画像と前記第２画像との相関処理を行い、前記倍率情報および／または前記回転情報を前記補正情報として生成する
    請求項１７に記載のプログラム。
21. 前記第２の手順は、前記第１の手順で生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像および前記第２画像をフーリエ変換処理を行い、前記フーリエ変換処理された前記第１画像および前記第２画像に基づいて相関処理を行う
    請求項１８に記載のプログラム。
22. 前記第２の手順は、前記第１の手順が生成した、前記倍率情報および／または前記回転情報に基づいて前記第１画像を補正処理し、前記補正処理された前記第１画像および前記第２画像をフーリエ変換処理を行い、前記フーリエ変換処理された前記第１画像および前記第２画像の位相情報に基づいて相関処理を行う
    請求項１８に記載のプログラム。
23. 前記第２の手順は、前記補正処理された第１画像、および前記第２画像の位相情報の相関強度のピーク位置に基づいて、前記補正処理された第１画像および前記第２画像の平行移動量情報を生成し、前記平行移動量情報に基づいて前記第１画像および前記２画像の共通領域を抽出し、前記抽出した共通領域の相関処理を行い、前記相関処理の結果に基づいて前記第１画像と前記第２画像との照合処理を行う
    請求項１７に記載のプログラム。
24. 前記第２の手順は、前記補正処理された第１画像、および前記第２画像の位相情報の相関強度のピーク位置に基づいて、前記補正処理された第１画像および前記第２画像の平行移動量情報を生成し、前記平行移動量情報が所定平行移動量より小さい場合に、前記第１画像と前記第２画像との照合処理を行う
    請求項１７に記載の記載のプログラム。

Images