JP3567259B2 - Image data collation method, image data collation device, and storage medium storing image data collation program - Google Patents

Description

【００１２】
及び、その矩形領域に含まれる画素についての信号強度の２乗平均値を示す下記の式
【００１３】
【数２】

【００１４】
（Ｎはその矩形領域に含まれる画素の総数、Σはその矩形領域に含まれる画素の全てについての総和をそれぞれ示す）
で定義される＜Ｚ＞、＜Ｚ^２ ＞によって示される次式
【００１５】
【数３】

【００１６】
の値を計算することにより、矩形領域Ａと矩形領域Ｂとの間の相関係数Ｃ_ＡＢを算出する。
Ｓ２００３では、Ｂデータが示す画像内で、前ステップで算出した矩形領域Ａ_ｉ との相関係数が最大となる矩形領域を特定し、矩形領域Ｂ_ｉ とする。
【００１７】
Ｓ２００４では、Ａデータが示す画像内に定義した全ての矩形領域Ａ_ｉ に対応する矩形領域Ｂ_ｉ をＢデータが示す画像内で取得したか否かを判定し、判定結果がＹｅｓあればＳ２００５に進み、ＮｏであればＳ２００２へ戻って未取得のＢ_ｉ を求める処理を行なう。図１１（ｂ）示すＢデータの例では、同図（ａ）に示した矩形領域Ａ_ｉ の定義例に対応する５つの矩形領域Ｂ_ｉ が取得された状態を示している。
【００１８】
Ｓ２００５では、Ａデータが示す画像内における矩形領域Ａ_ｉ の配置の分布とＢデータが示す画像内における矩形領域Ｂ_ｉ の配置の分布とを比較することにより、Ａデータ（登録指紋データ）とＢデータ（照合指紋データ）の同一性を評価する。
【００１９】
前述した先願の明細書に記載されている方法は、上記した手順によって指紋照合を行なうものであった。
【００２０】
【発明が解決しようとする課題】
図１２は、従来技術の抱える問題点を説明する図であり、同図（ａ）、（ｂ）はそれぞれ同一人の登録指紋データ（Ａデータ）及び照合指紋データ（Ｂデータ）の画像の例を示している。
【００２１】
同図に示すＡデータに対してのＢデータのように、照合指紋データの取得作業が不適切であったこと等に起因し、照合指紋データが登録指紋データに対して一方（同図では右方）に大きく偏って取得されてしまった場合を想定する。前述した先願の方法では、Ａデータ内に定義して配置した同図（ａ）に示す矩形領域Ａ_ｉ に対してＢデータ内での相関係数が最大となる矩形領域Ｂ_ｉ が例えば同図（ｂ）に示すように特定される。この場合、同図からも明らかなように、同一人の指紋の画像であるにも関わらず、Ａデータが示す画像内における矩形領域Ａ_ｉ の配置の分布とＢデータが示す画像内における矩形領域Ｂ_ｉ の配置の分布とが大きく異なってしまう。そのため、前述した先願の方法を実施しても、両指紋画像は同一人のものではないと誤判定してしまう可能性が高く、照合誤りの率として０．１％程度が一般的に要求される指紋照合の精度を大きく悪化させる一因となっていた。
【００２２】
以上の問題を鑑み、照合の対象としては必ずしも良好ではない画像データの照合を行なっても、一定の照合精度を維持できるようにすることが本発明が解決しようとする課題である。
【００２３】
【課題を解決するための手段】
本発明は、第１の画像を構成する画像データと第２の画像を構成する画像データとを照合して両者の画像の類似の程度を判定するときに、第１の領域と、該第１の領域との間に所定の位置関係を有する１以上の第２の領域と、を前記第１の画像上に定義し、前記第２の画像上に、前記第１の領域と最大の相関関係を有する領域である第１最大相関領域を決定し、前記第１最大相関領域の前記第２の画像上における位置関係に基づいて、前記第２の領域を前記第１の画像上で再定義し、前記第２の画像上に、再定義した前記第２の領域と最大の相関関係を有する領域である第２最大相関領域を決定し、前記第１の領域と再定義した前記第２の領域との相互間の位置関係と、前記第１最大相関領域と前記第２最大相関領域との相互間の位置関係との相違、もしくは、再定義した該第２の領域相互間の位置関係と該第２最大相関領域相互間の位置関係との相違、に基づいて前記類似の程度を判定する、ことで前述した課題を解決する。
【００２４】
図１は、本発明の原理構成を示す図である。同図は、第１の画像データ１ａと第２の画像データ１ｂとを照合して両者の構成する画像の類似の程度を判定し、その結果を判定結果２として出力するものである。
【００２５】
第１の画像データ１ａは、例えば、データベース等に予め登録されている画像データであり、前述した指紋照合装置の例に当てはめれば、例えば登録指紋データに相当するものである。
【００２６】
第２の画像データ１ｂは、例えば、イメージセンサなどを用いて取得する画像データであり、前述した指紋照合装置の例に当てはめれば、例えば照合指紋データに相当するものである。
【００２７】
なお、この第１及び第２の画像データ（１ａ、１ｂ）と登録指紋データ及び照合指紋データとの関係は、入れ替えてもよい。
定義部３は、第１の画像データ１ａで構成される第１の画像上に、第１の領域と、その第１の領域との間で所定の位置関係を有する１以上の第２の領域とを定義するものである。これらの領域の定義は任意であり、各領域が同一でなければ、例えば領域間で重なり合う部分を含んでいてもよい。
【００２８】
第１決定部４は、第２の画像データ１ｂで構成される第２の画像上に、定義部３で定義された第１の領域と最大の相関関係を有する領域である第１最大相関領域を決定するものである。
【００２９】
再定義部５は、第１決定部４で決定された第１最大相関領域の第２の画像上における位置関係に基づいて、定義部３で定義された第２の領域を第１の画像上で再定義するものである。再定義部５による再定義は、例えば第１最大相関領域の第２の画像上における位置関係と第１の領域の第１の画像上における位置関係との違いに基づいて決定する。
【００３０】
第２決定部６は、第２の画像データ１ｂで構成される第２の画像上に、再定義部５により再定義された第２の領域と最大の相関関係を有する領域である第２最大相関領域を決定するものである。
【００３１】
判定部７は、定義部３で定義した第１の領域と再定義部５で再定義した第２の領域との相互間の位置関係と、第１決定部４で決定した第１最大相関領域と第２決定部６で決定した第２最大相関領域との相互間の位置関係との相違、もしくは、再定義部５で再定義した第２の領域相互間の位置関係と第２決定部６で決定した第２最大相関領域相互間の位置関係との相違、に基づいて、第１の画像データ１ａと第２の画像データ１ｂとの両者の画像の類似の程度を判定し、判定結果２を出力するものである。
【００３２】
図１に示す構成によれば、判定部７による第１の画像データ１ａと第２の画像データ１ｂとの類似の程度の判定において、定義部３で定義された第１の領域の第１の画像上における位置関係と、第１決定部４で決定された、第１の領域と最大の相関関係を有する領域である第１最大相関領域の第２の画像上における位置関係と、の違いを反映させて判定を行なうことができる。このことを前述の指紋照合装置の例に当てはめれば、照合指紋データの画像が登録指紋データの画像に対して一方に大きく偏って取得された場合であっても、そのような偏りがデータ間に存在していることを前提として指紋照合を行なうことができる。再定義部５と第２決定部６は、このような不適切な画像データに対して判定部７により行われる照合判定を予め補償するために設けられるものである。以上の構成により、画像照合の照合精度の低下が軽減され、一定の照合精度を維持することが可能となる。
【００３３】
なお、第２の領域の再定義では、第１最大相関領域の第２の画像上における位置関係が所定の関係を満たす場合には、第２の領域の元の定義をそのまま用いるようにすると、第２の領域の再定義のための処理に要する時間が不要となり、画像照合に要する時間が短縮できる。また、第２の領域を定義する際に複数の領域を定義した場合には、第２の領域の再定義では、第１最大相関領域の第２の画像上における位置関係が所定の関係を満たす場合に、複数定義されている第２の領域の一部について元の定義をそのまま用いるようにしても、第２の領域の再定義のための処理に要する時間が短縮され、画像照合に要する時間が短縮できる。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。なお、ここでは、指紋照合装置において本発明を実施する形態について説明する。
【００３５】
図２は、本発明を実施する指紋照合装置の構成を示す図である。この装置は、ＣＰＵ１１、記憶装置１２、ＲＡＭ１３、イメージ読み取り装置１４、表示部１５、入力部１６、より構成され、バス１７を介して相互に接続されている。
【００３６】
ＣＰＵ１１は、記憶装置１２に格納されている制御プログラムに従って、ＲＡＭ１３をワークエリアとして使用しながら、この指紋照合装置（以下、「本装置」という）全体の動作を制御する中央演算処理装置である。ＣＰＵ１１は、制御プログラムを実行することにより、後述の指紋照合処理を行なう。
【００３７】
記憶装置１２は、ＲＯＭやハードディスク装置等で構成し、本装置の電源投入直後にＣＰＵ１１により読み出される前述の制御プログラムを予め格納している他に、図１に示した第１の画像データ１ａに相当する被験者の登録指紋を予め格納している。
【００３８】
ＲＡＭ１３は、前述の制御プログラムを実行する際にＣＰＵ１１が使用するワークメモリである。
イメージ読み取り装置１４は、図１に示した第２の画像データ１ｂに相当する被験者の照合指紋を取得するための装置であり、例えば、イメージスキャナ装置やＣＣＤ（電荷結合素子）などのイメージセンサである。
【００３９】
表示部１５は、図１に示した判定結果２に相当する照合の判定結果を表示する、例えばＣＲＴや液晶などといったディスプレイ装置である。
入力部１６は、本装置の使用者が照合指紋の取得指示や後述の指紋照合処理の開始をＣＰＵ１１に指示するための、例えばキーボード装置などの入力装置である。
【００４０】
なお、本装置の構成は標準的なコンピュータが備えている構成と大差なく、従って、このような標準的なコンピュータで本装置の機能を実現することも可能である。そのためには、例えば、後述する指紋照合処理に相当する処理をコンピュータに行なわせる指紋照合処理プログラムを記憶した記憶媒体から、その指紋照合処理プログラムをその記憶媒体に応じたコンピュータの有する読取装置で読み取らせて例えば主記憶に一時記憶させ、そしてそのコンピュータに備えられている中央処理装置に実行させればよい。
【００４１】
図３に指紋照合処理プログラムを記憶するコンピュータ読み取り可能な記憶媒体の例を示す。同図に示すように、記憶媒体としては、例えば、コンピュータ２１に内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置２２、フロッピーディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能な記憶媒体２３、あるいは、コンピュータ２１とネットワーク２４を介して接続されるコンピュータであるプログラムサーバ２５に付属する記憶装置２６、等が利用できる。
【００４２】
次に、図２に示したＣＰＵ１１が行なう制御について説明する。
図４は、ＣＰＵ１１が前述の制御プログラムを実行することにより実現される本装置全体の制御処理のうち、本発明に特に関係する指紋照合処理の処理内容を示すフローチャートである。図５及び図６は、指紋照合処理の説明に用いる指紋画像の例である。図５及び図６はいずれも図１２に示したものと同一の指紋画像であり、（ａ−ｉ ）〜（ａ−ｉｖ）は記憶装置１２に予め格納されている被験者の登録指紋データ（Ａデータ）を示し、（ｂ−ｉ ）〜（ｂ−ｉｖ）はイメージ読み取り装置１４により取得された被験者の照合指紋データ（Ｂデータ）を示している。また、両図の各画像は、いずれも多階調画像である。
【００４３】
以下、ＣＰＵ１１により行われる指紋照合処理を、図４に沿って、図５及び図６を参照しながら、説明する。
指紋照合処理の開始指示が入力部１６になされると、まずＳ１０１において、図５の（ａ−ｉ ）に示すように、矩形領域のひとつであるメインテンプレートｍｔをＡデータの画像に定義する。このメインテンプレートｍｔの大きさは、要求される指紋照合の照合精度が得られる限り任意でよい。ここで定義したメインテンプレートｍｔのＡデータの画像上における位置を特定する座標、ここでは長方形であるメインテンプレートｍｔの重心の座標を（ｘ_０ ，ｙ_０ ）とする。
【００４４】
続いてＳ１０２において、図５の（ａ−ｉ ）に示すように、Ａデータの画像にメインプレートｍｔとは異なる複数の矩形領域であるサブテンプレートｓｔ_ｉ （ｉ≧１）を定義する。図５の（ａ−ｉ ）に示す例においてはｉ＝４とし、メインテンプレートｍｔを囲むように４つの長方形であるサブテンプレートｓｔ_１ 〜ｓｔ_４ を同図に示す位置関係で定義している。このサブテンプレートｓｔ_ｉ の大きさも、要求される指紋照合の照合精度が得られる限り任意でよい。ここで定義したサブテンプレートｓｔ_ｉ のＡデータの画像上における位置を特定する座標、ここでは長方形であるサブテンプレートｓｔ_ｉ の重心の座標を（ｘ_ｉ ，ｙ_ｉ ）とする。
【００４５】
次に、Ｓ１０３において、メインテンプレートｍｔと同一の形状・大きさの矩形領域をＢデータの画像上に設定し、その矩形領域をその画像上で走査させつつ、その矩形領域とメインテンプレートｍｔとの間の相関係数を逐次算出する。相関係数の算出法としては、ここでは前述した先願に示されていた指紋照合方法において用いられていたものをそのまま使用するが、他の相関係数の算出法を採用してもよい。
【００４６】
Ｓ１０４では、相関係数を逐次算出した結果、メインテンプレートｍｔとの間の相関係数が最大となった前述の矩形領域を求め、領域ＭＴとする。この領域ＭＴのＢデータの画像上における位置を特定する座標であって、メインテンプレートｍｔにおいての座標（ｘ_０ ，ｙ_０ ）に対応する領域ＭＴの座標を（Ｘ_０ ，Ｙ_０ ）とする。
【００４７】
続いて、Ｓ１０５において、領域ＭＴがＢデータの画像上に設定される有効領域Ｅに属するか否か、具体的には領域ＭＴの位置を特定する座標（Ｘ_０ ，Ｙ_０ ）が有効領域Ｅを示す範囲Ｅ_ｘ，ｙ に含まれるか否かを判定する。この判定結果がＹｅｓならばＳ１０７に進み、ＮｏならばＳ１０６に進む。
【００４８】
ここで、有効領域Ｅとは、Ｂデータの画像上において、領域ＭＴと、サブテンプレートｓｔ_ｉ との間の相関係数が最大であって、且つ、サブテンプレートｓｔ_ｉ と同一の形状・大きさである矩形領域と、の間でのＢデータの画像上での相対的な配置関係が、Ａデータの画像上でのメインテンプレートｍｔとサブテンプレートｓｔ_ｉ との相対的な配置関係を保持している場合における、領域ＭＴが存在し得るＢデータの画像上での範囲を示すものである。本実施の形態においては次式により示される範囲Ｅ_ｘ，ｙ をＢデータの画像上に設定する。
【００４９】
【数４】

【００５０】
図５の（ｂ−ｉ ）は、同図の（ａ−ｉ ）に示すようにＡデータの画像上にメインテンプレートｍｔとサブテンプレートｓｔ_ｉ とを定義した場合に、Ｂデータの画像上に有効領域Ｅの範囲Ｅ_ｘ，ｙ が設定された様子を示している。なお、上式において、Ｗ_ｉ 、Ｈ_ｉ はサブテンプレートｓｔ_ｉ の幅（ｘ方向の長さ）、高さ（ｙ方向の長さ）を各々示しており、ＷＩＤＴＨ、ＨＥＩＧＨＴは、同一の大きさであるＡデータ及びＢデータそれぞれの画像の幅（ｘ方向の長さ）、高さ（ｙ方向の長さ）を示している。また、ｘ_ｉ Ｓｅａｒｃｈ、ｙ_ｉ Ｓｅａｒｃｈは、同一人の指紋画像において、ＡデータとＢデータとの取得作業のばらつき等の原因により、Ａデータ上のサブテンプレートｓｔ_Ｉ に対応するＢデータ上の矩形領域がズレて存在する可能性を有する範囲であり、画像データの画素の単位で４〜６画素程度に相当する値を例えば用いる。また、Ｍａｘ［ｐ，ｑ］は、ｐとｑとのうちの大きい方（等しい場合にはそのどちらか）の値を得る関数である。
【００５１】
上式を更に説明する。図７は、有効領域Ｅの設定手法を説明する図である。同図は、前述の式のうちのα_ｘ 、β_ｘ を説明するものであり、Ａデータの上側部分のみを示している。なお、ここでは、説明を簡単にするために、サブテンプレートｓｔ_３ 及びｓｔ_４ は考えないようにする。
【００５２】
前述の式と図７とを参照すれば、α_ｘ ＝Ｌ_１ 、β_ｘ ＝ＷＩＤＴＨ−Ｌ_２ であることは容易に理解できる。ｘ方向における有効領域Ｅの範囲を前述の式により求まるα_ｘ 、β_ｘ の値で設定することにより、サブテンプレートｓｔ_１ 及びｓｔ_２ がｘ方向に広がって配置するように定義されていた場合には有効領域Ｅの範囲、すなわち前述した位置関係を保持する場合における領域ＭＴの存在し得る範囲が狭まり、サブテンプレートｓｔ_１ 及びｓｔ_２ がｘ方向に狭い間隔で配置するように定義されていた場合には有効領域Ｅの範囲が広がる。
【００５３】
図４の説明に戻る。前述したＳ１０５において、領域ＭＴが有効領域Ｅに属さないと判定された場合、つまり、図５の（ａ−ｉｉ）と（ｂ−ｉｉ）との関係のように、Ａデータの画像上のメインテンプレートｍｔに対応するＢデータの画像上の領域ＭＴが有効領域Ｅの範囲Ｅ_ｘ，ｙ を外れてしまっている場合には、Ｓ１０６において、サブテンプレートｓｔ_ｉ の配置位置を補正してＡデータの画像上に再配置する。サブテンプレートｓｔ_ｉ の再配置は図８に示す手順で行なう。
【００５４】
図８は、サブテンプレート再配置処理の処理内容を示すフローチャートである。この処理は、座標（ｘ_ｉ ，ｙ_ｉ ）で位置が特定されているサブテンプレートｓｔ_ｉ を座標（ｘｒ_ｉ ，ｙｒ_ｉ ）で特定される位置に再配置する処理である。
【００５５】
同図について説明する。
まず、ｘ方向に関し、領域ＭＴが有効領域Ｅの範囲に位置しているか否かを判定する（Ｓ２０１及びＳ２０３）。
【００５６】
判定の結果、領域ＭＴの位置を特定するｘ座標Ｘ_０ が有効領域Ｅのｘ方向の範囲を示すα_ｘ よりも小さければ、再配置後のサブテンプレートｓｔ_ｉ の配置位置を特定するｘ座標をｘｒ_ｉ ＝ｘ_ｉ ＋（α_ｘ −Ｘ_０ ）とし （Ｓ２０２）、Ｓ２０６に進む。また、Ｘ_０ が有効領域Ｅのｘ方向の範囲を示すβ_ｘ よりも大きければ、再配置後のサブテンプレートｓｔ_ｉ の配置位置を特定するｘ座標をｘｒ_ｉ ＝ｘ_ｉ −（Ｘ_０ −β_ｘ ）とし（Ｓ２０４）、Ｓ２０６に進む。
【００５７】
ここで、上記した両者のいずれにも当てはまらない場合、すなわち、Ｘ_０ の値がα_ｘ 以上であってβ_ｘ 以下であるならば、ｘｒ_ｉ ＝ｘ_ｉ 、すなわち、そのままの値とし（Ｓ２０５）、Ｓ２０６に進む。
【００５８】
続いて、領域ＭＴが有効領域Ｅの範囲に位置しているか否かをｙ方向に関して同様に判定する（Ｓ２０６及びＳ２０８）。
この判定の結果により行なう処理も、前述したｘ方向に関して行なった処理と同様であり、領域ＭＴの位置を特定するｙ座標Ｙ_０ が有効領域Ｅのｙ方向の範囲を示すα_ｙ よりも小さければ、再配置後のサブテンプレートｓｔ_ｉ の配置位置を特定するｙ座標をｙｒ_ｉ ＝ｙ_ｉ ＋（α_ｙ −Ｙ_０ ）とし（Ｓ２０７）、Ｙ_０ が有効領域Ｅのｙ方向の範囲を示すβ_ｙ よりも大きければ、ｙ ｒ_ｉ ＝ｙ _ｉ −（Ｙ_０ −β_ｙ ）とする（Ｓ２０９）。また、これらの両者のいずれにも当てはまらない場合、すなわち、Ｙ_０ の値がα_ｙ 以上であってβ_ｙ 以下であるならば、ｙｒ_ｉ ＝ｙ_ｉ 、すなわち、そのままの値とする（Ｓ２１０）。
【００５９】
以上の手順により、Ａデータの画像上に定義していた全てのサブテンプレートｓｔ_ｉ の再配置を行なう。図６の（ａ−ｉｉｉ ）は、Ｂデータの画像上の領域ＭＴが図５の（ｂ−ｉｉ）に示すように有効領域Ｅの範囲Ｅ_ｘ，ｙ を外れてしまっていた場合に、図５の（ａ−ｉ ）に示すように定義されていたサブテンプレートｓｔ_１ 〜ｓｔ_４ の再配置を行なった結果を示している。また、図６の（ｂ−ｉｉｉ ）は、図６の（ａ−ｉｉｉ ）におけるメインテンプレートｍｔに対応する領域ＭＴを示すものであり、メインテンプレートｍｔの位置の移動は行なっていないので、その位置は図５の（ｂ−ｉｉ）における位置から移動していない。
【００６０】
図４の説明に再び戻る。Ｓ１０５の判定処理の結果がＹｅｓ、すなわちサブテンプレートｓｔ_ｉ の再配置が不要であったとき、あるいはＳ１０６の処理によりサブテンプレートｓｔ_ｉ の再配置を行なった後には、Ｓ１０７において、サブテンプレートｓｔ_ｉ と同一の形状・大きさの矩形領域をＢデータの画像上に設定し、その矩形領域をその画像上で走査させつつ、その矩形領域とサブテンプレートｓｔ_ｉ との間の相関係数を逐次算出する。相関係数の算出法は、ここでは前述したＳ１０３で用いたものを用いるが、他の相関係数の算出法を採用してもよい。
【００６１】
そして、Ｓ１０８において、相関係数を逐次算出した結果、サブテンプレートｓｔ_ｉ との間の相関係数が最大となった前述の矩形領域を求め、領域ＳＴ_ｉ とする。
【００６２】
続いて、Ｓ１０９において、全てのサブテンプレートｓｔ_ｉ に対して領域ＳＴ_ｉ を検出し終えたか否かを判定し、判定結果がＹｅｓならばＳ１１０に進む。一方、判定結果がＮｏならばＳ１０７へ戻り、前述した領域ＳＴ_ｉ を求めるための処理を繰り返す。図６の（ａ−ｉｖ）及び（ｂ−ｉｖ）は、図６の（ａ−ｉｉｉ ）に示すように再配置されたサブテンプレートｓｔ_１ 〜ｓｔ_４ の全てについて、対応する領域ＳＴ_１ 〜ＳＴ_４ を取得した結果を、メインテンプレートｍｔ及びその対応する領域ＭＴと共に示したものである。
【００６３】
そして、Ｓ１１０において、Ａデータが示す画像内におけるメインテンプレートｍｔ及びサブテンプレートｓｔ_ｉ の配置の分布と、Ｂデータが示す画像内における領域ＭＴ及び領域ＳＴ_ｉ の配置の分布とを比較することにより、Ａデータ（登録指紋データ）とＢデータ（照合指紋データ）の同一性を評価する。このステップで実行される同一性の評価は、従来技術として説明した図１０のＳ２００５で行われる処理と実質的には同様である。なお、同一性の評価においては、メインテンプレートｍｔ及び領域ＭＴを評価対象から除外し、サブテンプレートｓｔ_ｉ の配置の分布と領域ＳＴ_ｉ の配置の分布との比較のみにより評価を行なうことも可能である。
【００６４】
以上までに説明した指紋照合処理をＣＰＵ１１が実行することによって、本装置で指紋の照合が行われる。
なお、上述した本発明の実施の形態においては、メインテンプレートｍｔ、サブテンプレートｓｔ_ｉ 、領域ＭＴ、領域ＳＴ_ｉ をいずれも矩形領域としていたが、これらの領域の形状は矩形に限らず、任意でよい。また、メインテンプレートｍｔと領域ＭＴ、及びサブテンプレートｓｔ_ｉ と領域ＳＴ_ｉ の大きさ・形状は同一であることが望ましいが、多少の違いがあったとしても、要求される指紋照合の照合精度が得られる限り許容できる。
【００６５】
また、予め定義するメインテンプレートｍｔとサブテンプレートｓｔ_ｉ との配置の関係は、上述した本発明の実施の形態においては、図６の（ａ−ｉ ）に示すようにメインテンプレートｍｔとサブテンプレートｓｔ_ｉ とが接するような位置関係で定義していたが、メインテンプレートｍｔとサブテンプレートｓｔ_ｉ とが部分的に重なっているような位置関係の定義、あるいは全く離れている位置関係の定義を行なうこともできる。
【００６６】
更に、領域ＭＴが有効領域Ｅに属さないと判定された場合に実行される、図８に処理内容を示したサブテンプレート再配置処理では、サブテンプレートｓｔ_ｉ の各々について同一距離だけ移動させて再配置を行なったが、領域ＭＴが有効領域ＥのＢデータの画像上での上下左右どちらの方向に外れたかを考慮し、その方向に応じてサブテンプレートｓｔ_ｉ 各々の再配置位置までの移動距離に違いを持たせるようにしてもよい。このことを図５の（ａ−ｉ ）に示すように定義されていたサブテンプレートｓｔ_１ 〜ｓｔ_４ の各々について、再配置後の位置を特定する座標（ｘｒ_ｉ ，ｙｒ_ｉ ）を求める場合を例にして具体的に説明する。
【００６７】
まず、ｘ座標について、領域ＭＴの位置を特定するｘ座標Ｘ_０ と、有効領域Ｅのｘ方向の範囲を示す前述したα_ｘ 及びβ_ｘ との関係により、
Ｘ_０ ＜α_ｘ の場合には
ｘｒ_ｉ ＝ｘ_ｉ ＋（α_ｘ −Ｘ_０ ） ［ｉ＝２，３］
ｘｒ_ｉ ＝ｘ_ｉ ＋（α_ｘ −Ｘ_０ ）×ｕ ［ｉ＝１，４］
但し、ｕは０≦ｕ＜１の定数
α_ｘ ≦Ｘ_０ ≦β_ｘ の場合には
ｘｒ_ｉ ＝ｘ_ｉ
β_ｘ ＜Ｘ_０ の場合には
ｘｒ_ｉ ＝ｘ_ｉ −（Ｘ_０ −β_ｘ ） ［ｉ＝１，４］
ｘｒ_ｉ ＝ｘ_ｉ −（Ｘ_０ −β_ｘ ）×ｕ ［ｉ＝２，３］
但し、ｕは０≦ｕ＜１の定数
としてｘｒ_ｉ を求める。
【００６８】
次に、ｙ座標について、領域ＭＴの位置を特定するｙ座標Ｙ_０ と、有効領域Ｅのｙ方向の範囲を示す前述したα_ｙ 及びβ_ｙ との関係により、
Ｙ_０ ＜α_ｙ の場合には
ｙｒ_ｉ ＝ｙ_ｉ ＋（α_ｙ −Ｙ_０ ） ［ｉ＝１，２］
ｙｒ_ｉ ＝ｙ_ｉ ＋（α_ｙ −Ｙ_０ ）×ｖ ［ｉ＝３，４］
但し、ｖは０≦ｖ＜１の定数
α_ｙ ≦Ｙ_０ ≦β_ｙ の場合には
ｙｒ_ｉ ＝ｙ_ｉ
β_ｙ ＜Ｙ_０ の場合には
ｙｒ_ｉ ＝ｙ_ｉ −（Ｙ_０ −β_ｙ ） ［ｉ＝３，４］
ｙｒ_ｉ ＝ｙ_ｉ −（Ｙ_０ −β_ｙ ）×ｖ ［ｉ＝１，２］
但し、ｖは０≦ｖ＜１の定数
として、ｙｒ_ｉ を求める。
【００６９】
なお、上式に従ってサブテンプレートの再配置を行なう場合において、特にｕ＝ｖ＝０として再配置を行なうのであれば、たとえ領域ＭＴが有効領域Ｅに属していなくても、両領域の位置関係によっては一部のサブテンプレートについて再配置をせずに当初定義された配置のままで指紋照合が行なえるようになり、このような場合にはサブテンプレートの再配置処理に要する時間が短縮され、その結果、指紋照合処理の処理時間を短縮することができる。
【００７０】
【発明の効果】
本発明は、以上詳細に説明したように、画像の照合判定において、照合対象である２つの画像データ間で最大の相関関係を有する領域の、画像上の位置関係の違いを反映させた照合判定を行なうので、照合の対象としては必ずしも良好ではない、画像が偏って取得されているような画像データの照合を行なっても、画像照合の照合精度の低下が軽減され、一定の照合精度を維持することが可能となる効果を奏する。
【図面の簡単な説明】
【図１】本発明の原理構成を示す図である。
【図２】本発明を実施する指紋照合装置の構成を示す図である。
【図３】指紋照合処理プログラムを記憶するコンピュータ読み取り可能な記憶媒体の例を示す図である。
【図４】指紋照合処理の処理内容を示すフローチャートである。
【図５】指紋照合装置の説明に用いる指紋の画像の例（その１）である。
【図６】指紋照合装置の説明に用いる指紋の画像の例（その２）である。
【図７】有効領域Ｅの設定手法を説明する図である。
【図８】サブテンプレート再配置処理の処理内容を示すフローチャートである。
【図９】従来の指紋照合の方法の一例の手順を示すフローチャートである。
【図１０】先願明細書に記載の指紋照合の方法の手順を示すフローチャートである。
【図１１】先願明細書に記載の指紋照合の方法を説明する図である。
【図１２】従来技術の抱える問題点を説明する図である。
【符号の説明】
１ａ 第１の画像データ
１ｂ 第２の画像データ
２ 判定結果
３ 定義部
４ 第１決定部
５ 再定義部
６ 第２決定部
７ 判定部
１１ ＣＰＵ
１２ 記憶装置
１３ ＲＡＭ
１４ イメージ読み取り装置
１５ 表示部
１６ 入力部
１７ バス
２１ コンピュータ
２２ 記憶装置
２３ 携帯可能記憶媒体
２４ ネットワーク
２５ プログラムサーバ
２６ 記憶装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technology for collating image data, and more particularly, to a technology for maintaining a constant collation accuracy even when collating data of an image that is not always good as a collation target. It is suitable for collation and the like.
[0002]
[Prior art]
The fingerprint image data of the subject registered in advance in a database or the like (hereinafter referred to as “registered fingerprint data”) and the fingerprint image data of the subject obtained this time by an image sensor or the like (hereinafter referred to as “verification fingerprint data”) ) Is referred to as a fingerprint collation device for confirming the individual of the subject.
[0003]
An example of a fingerprint collation method performed by a conventional fingerprint collation device will be described with reference to the flowchart shown in FIG.
First, in step S <b> 1001, using an image sensor or the like, collation fingerprint data is acquired as data of a multi-gradation image for shading (hereinafter, referred to as “multi-gradation fingerprint data”).
[0004]
Subsequently, in step S1002, the image data (hereinafter, referred to as “binary matching fingerprint data”) that is simply binarized from the multi-tone matching fingerprint data without performing any secondary processing of data such as interpolation is used. obtain.
[0005]
After that, in S1003, feature points such as branch points and end points of wrinkles constituting the fingerprint (these feature points are called feature figures or Manusha) are extracted from the binarized collation fingerprint data. Then, position information indicating the positions of these characteristic figures on the image of the collation fingerprint data is obtained.
[0006]
In step S1004, the identity of the registered fingerprint data and the verification fingerprint data is evaluated by comparing the positional information acquired in the previous step with the positional information of the characteristic figure on the image of the registered fingerprint data.
[0007]
Some conventional fingerprint matching devices perform fingerprint matching according to the above-described procedure.
Also, the applicant of the present application has filed Japanese Patent Application No. 10-372205 prior to the present application, and the specification attached to the earlier application describes an example of a fingerprint collation method different from that described above. I have. This method can maintain a constant collation accuracy even for fingerprint image data that is not sufficiently clear, and the procedure will be briefly described with reference to FIGS.
[0008]
In the flowchart shown in FIG. 10, first, in S2001, a rectangular area A in a multi-tone image indicated by registered fingerprint data (this data is hereinafter referred to as “A data”)._I(I = 1 to N, where N is an integer of 2 or more). In the example of A data shown in FIG. 11A, the rectangular area A in the case of N = 5_iThe following shows an example of the definition.
[0009]
In S2002, the rectangular area A in the multi-tone image indicated by the verification fingerprint data (this data is hereinafter referred to as “B data”)_iScans a rectangular area having the same shape and size as_IAre sequentially calculated. The following calculation method is used to calculate the correlation coefficient.
[0010]
The pixels included in each of the rectangular area A and the rectangular area B are A (i, j) and B (m, n), respectively, and the total number of pixels included in each of the rectangular area A and the rectangular area B is made equal. The signal intensities, which are multi-tone values indicating the shading of each pixel in both regions, are represented by X_ij, Y_mnAnd these signal strengths are generalized to Z_pqThe following equation shows the average value of the signal intensity for the pixels included in the rectangular area when
[0011]
(Equation 1)

[0012]
And the following formula indicating the root mean square value of the signal intensity for the pixels included in the rectangular area:
[0013]
(Equation 2)

[0014]
(N indicates the total number of pixels included in the rectangular area, and Σ indicates the total sum of all the pixels included in the rectangular area.)
<Z>, <Z defined by²The following expression indicated by>
[0015]
(Equation 3)

[0016]
Is calculated to obtain the correlation coefficient C between the rectangular area A and the rectangular area B._ABIs calculated.
In S2003, the rectangular area A calculated in the previous step in the image indicated by the B data_iThe rectangular area having the maximum correlation coefficient with_iAnd
[0017]
In S2004, all the rectangular areas A defined in the image indicated by the A data_iRectangular area B corresponding to_iIs determined in the image indicated by the B data. If the determination result is Yes, the process proceeds to S2005. If the determination result is No, the process returns to S2002 to return to the unacquired B._iIs performed. In the example of the B data shown in FIG. 11B, the rectangular area A shown in FIG._iRectangular areas B corresponding to the definition example of_iIndicates the state in which is acquired.
[0018]
In S2005, the rectangular area A in the image indicated by the A data_iDistribution and the rectangular area B in the image indicated by the B data_iBy comparing with the distribution of the arrangement, the identity of the A data (registered fingerprint data) and the B data (verification fingerprint data) is evaluated.
[0019]
The method described in the specification of the above-mentioned prior application performs fingerprint collation by the above-described procedure.
[0020]
[Problems to be solved by the invention]
FIGS. 12A and 12B are diagrams for explaining the problems of the prior art. FIGS. 12A and 12B are examples of images of registered fingerprint data (A data) and collation fingerprint data (B data) of the same person, respectively. Is shown.
[0021]
Like the B data for the A data shown in the figure, the collation fingerprint data is one of the registered fingerprint data (right in FIG. It is assumed that the information is acquired with a large bias toward (i). According to the method of the prior application described above, the rectangular area A shown in FIG._iArea B where the correlation coefficient in B data is maximum_iAre specified, for example, as shown in FIG. In this case, as is apparent from the figure, the rectangular area A in the image indicated by the A data despite the fingerprint image of the same person_iDistribution and the rectangular area B in the image indicated by the B data_iIs significantly different from the distribution of the arrangement. Therefore, even if the method of the prior application described above is implemented, there is a high possibility that both fingerprint images are erroneously determined as not belonging to the same person, and a collation error rate of about 0.1% is generally required. This has been a factor that greatly deteriorates the accuracy of fingerprint collation performed.
[0022]
In view of the above problems, it is an object of the present invention to be able to maintain a certain level of collation accuracy even when collating image data that is not necessarily good as a collation target.
[0023]
[Means for Solving the Problems]
According to the present invention, when comparing the image data forming the first image with the image data forming the second image to determine the degree of similarity between the two images, the first region and the first region are compared. And one or more second regions having a predetermined positional relationship with the first region are defined on the first image, and a maximum correlation between the first region and the second region is defined on the second image. Determining a first maximum correlation area which is an area having the following formula, and redefining the second area on the first image based on a positional relationship of the first maximum correlation area on the second image. Determining, on the second image, a second maximum correlation area, which is an area having a maximum correlation with the redefined second area, and redefining the second area as the first area And the positional relationship between the first maximum correlation area and the second maximum correlation area. The above-described problem is solved by determining the degree of similarity based on a difference or a difference between a redefined positional relationship between the second regions and a positional relationship between the second maximum correlation regions. Resolve.
[0024]
FIG. 1 is a diagram showing the principle configuration of the present invention. In the figure, the first image data 1a and the second image data 1b are collated to determine the degree of similarity of the images constituting the two, and the result is output as the determination result 2.
[0025]
The first image data 1a is, for example, image data registered in advance in a database or the like, and corresponds to, for example, registered fingerprint data when applied to the above-described example of the fingerprint matching device.
[0026]
The second image data 1b is, for example, image data obtained using an image sensor or the like, and corresponds to, for example, collation fingerprint data when applied to the above-described example of the fingerprint collation device.
[0027]
The relationship between the first and second image data (1a, 1b), the registered fingerprint data, and the collated fingerprint data may be interchanged.
The definition unit 3 includes, on a first image composed of the first image data 1a, a first area and one or more second areas having a predetermined positional relationship between the first area and the first area. Is defined. The definition of these regions is arbitrary, and if each region is not the same, for example, it may include a portion overlapping between the regions.
[0028]
The first determination unit 4 is a first maximum correlation area which is an area having the maximum correlation with the first area defined by the definition unit 3 on the second image composed of the second image data 1b. Is determined.
[0029]
The redefinition unit 5 maps the second area defined by the definition unit 3 on the first image based on the positional relationship on the second image of the first maximum correlation area determined by the first determination unit 4. Is redefined. The redefinition by the redefinition unit 5 is determined based on, for example, a difference between a positional relationship of the first maximum correlation area on the second image and a positional relationship of the first area on the first image.
[0030]
The second determination unit 6 is a second maximum image, which is an area having the largest correlation with the second area redefined by the redefinition unit 5, on the second image composed of the second image data 1b. This is for determining the correlation area.
[0031]
The determination unit 7 determines a positional relationship between the first area defined by the definition unit 3 and the second area redefined by the redefinition unit 5 and a first maximum correlation area determined by the first determination unit 4. And the second maximum correlation area determined by the second determining unit 6, or the positional relationship between the second areas redefined by the redefining unit 5 and the second determining unit 6 The degree of similarity between the images of the first image data 1a and the second image data 1b is determined on the basis of the difference between the second maximum correlation areas and the positional relationship determined in the above. Is output.
[0032]
According to the configuration shown in FIG. 1, in the determination of the degree of similarity between the first image data 1 a and the second image data 1 b by the determination unit 7, the first area of the first area defined by the definition unit 3 is determined. The difference between the positional relationship on the image and the positional relationship on the second image of the first maximum correlation area, which is the area having the maximum correlation with the first area, determined by the first determination unit 4. The judgment can be made with the reflection. If this is applied to the above-described example of the fingerprint collation device, even when the image of the collation fingerprint data is largely deviated to one side with respect to the image of the registered fingerprint data, such an imbalance is generated between the data. The fingerprint collation can be performed on the assumption that the fingerprint is present. The redefinition unit 5 and the second determination unit 6 are provided to compensate in advance the collation determination performed by the determination unit 7 on such inappropriate image data. With the above configuration, a decrease in the collation accuracy of the image collation is reduced, and a constant collation accuracy can be maintained.
[0033]
In the redefinition of the second region, if the positional relationship of the first maximum correlation region on the second image satisfies a predetermined relationship, the original definition of the second region is used as it is. The time required for the process for redefining the second area is not required, and the time required for image comparison can be reduced. When a plurality of regions are defined when defining the second region, in the redefinition of the second region, the positional relationship of the first maximum correlation region on the second image satisfies a predetermined relationship. In this case, even if the original definition is used as it is for a part of the plurality of defined second areas, the time required for the process for redefining the second area is reduced, and the time required for image matching is reduced. Can be shortened.
[0034]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. Here, an embodiment in which the present invention is implemented in a fingerprint matching device will be described.
[0035]
FIG. 2 is a diagram showing a configuration of a fingerprint collation device embodying the present invention. This device includes a CPU 11, a storage device 12, a RAM 13, an image reading device 14, a display unit 15, and an input unit 16, and is interconnected via a bus 17.
[0036]
The CPU 11 is a central processing unit that controls the entire operation of the fingerprint matching device (hereinafter, referred to as “this device”) using the RAM 13 as a work area in accordance with a control program stored in the storage device 12. The CPU 11 performs a fingerprint collation process described later by executing the control program.
[0037]
The storage device 12 is configured by a ROM, a hard disk device, or the like. In addition to storing the above-described control program read out by the CPU 11 immediately after turning on the power of the device, the storage device 12 stores the first image data 1a shown in FIG. The registered fingerprint of the corresponding subject is stored in advance.
[0038]
The RAM 13 is a work memory used by the CPU 11 when executing the above-described control program.
The image reading device 14 is a device for acquiring a collation fingerprint of the subject corresponding to the second image data 1b shown in FIG. 1, and is, for example, an image scanner or an image sensor such as a CCD (charge coupled device). is there.
[0039]
The display unit 15 is a display device, such as a CRT or a liquid crystal, for displaying a collation determination result corresponding to the determination result 2 shown in FIG.
The input unit 16 is an input device, such as a keyboard device, for the user of the present apparatus to instruct the CPU 11 to obtain a verification fingerprint and to start a fingerprint verification process described later.
[0040]
Note that the configuration of the present apparatus is not much different from the configuration provided in a standard computer, and therefore, it is also possible to realize the functions of the present apparatus with such a standard computer. For this purpose, for example, the fingerprint collation processing program is read from a storage medium storing a fingerprint collation processing program for causing a computer to perform processing equivalent to a fingerprint collation processing described later, using a reading device of the computer corresponding to the storage medium. Then, for example, it may be temporarily stored in a main memory, and then executed by a central processing unit provided in the computer.
[0041]
FIG. 3 shows an example of a computer-readable storage medium for storing a fingerprint collation processing program. As shown in the figure, as the storage medium, for example, a storage device 22 such as a ROM or a hard disk device provided as a built-in or external accessory device in the computer 21, a floppy disk, an MO (magneto-optical disk), , A portable storage medium 23 such as a DVD-ROM, or a storage device 26 attached to a program server 25 which is a computer connected to the computer 21 via a network 24.
[0042]
Next, control performed by CPU 11 shown in FIG. 2 will be described.
FIG. 4 is a flowchart showing the details of fingerprint collation processing which is particularly related to the present invention, out of the control processing of the entire apparatus realized by the CPU 11 executing the above-described control program. FIG. 5 and FIG. 6 are examples of fingerprint images used for explaining the fingerprint collation processing. 5 and 6 are the same fingerprint images as those shown in FIG. 12, and (ai) to (a-iv) indicate the registered fingerprint data (A) of the subject stored in the storage device 12 in advance. (B-i) to (b-iv) show the fingerprint data (B data) of the subject obtained by the image reading device 14. Each image in both figures is a multi-tone image.
[0043]
Hereinafter, the fingerprint collation processing performed by the CPU 11 will be described with reference to FIGS. 4 and 5 and 6.
When an instruction to start the fingerprint collation processing is given to the input unit 16, first, in S101, as shown in (a-i) of FIG. 5, a main template mt, which is one of the rectangular areas, is defined in the A data image. The size of the main template mt may be arbitrarily set as long as required collation accuracy of fingerprint collation is obtained. The coordinates specifying the position of the A data of the main template mt defined here on the image, that is, the coordinates of the center of gravity of the main template mt, which is a rectangle here, are (x₀, Y₀).
[0044]
Subsequently, in S102, as shown in (a-i) of FIG. 5, the sub-template st which is a plurality of rectangular areas different from the main plate mt is added to the A data image._i(I ≧ 1) is defined. In the example shown in (a-i) of FIG. 5, i = 4, and four rectangular sub-templates st surround the main template mt.₁~ St₄Are defined by the positional relationship shown in FIG. This sub template st_iMay be arbitrarily determined as long as required fingerprint matching accuracy is obtained. Sub template st defined here_i, Which specifies the position of the A data on the image on the image, here a rectangular sub-template st_iCoordinates of the center of gravity of (x_i, Y_i).
[0045]
Next, in S103, a rectangular area having the same shape and size as the main template mt is set on the image of the B data, and the rectangular area is scanned on the image while the rectangular area and the main template mt are scanned. The correlation coefficient between them is sequentially calculated. As the method of calculating the correlation coefficient, the method used in the fingerprint matching method shown in the above-mentioned prior application is used as it is, but another method of calculating the correlation coefficient may be employed.
[0046]
In S104, as a result of sequentially calculating the correlation coefficient, the above-described rectangular area in which the correlation coefficient with the main template mt is maximized is determined as an area MT. Coordinates specifying the position of the B data in the area MT on the image, which are coordinates (x₀, Y₀), The coordinates of the area MT corresponding to (X)₀, Y₀).
[0047]
Subsequently, in S105, whether or not the area MT belongs to the effective area E set on the image of the B data, specifically, the coordinates (X₀, Y₀) Is the range E indicating the effective area E_{x, y}Is determined. If this determination result is Yes, the process proceeds to S107, and if No, the process proceeds to S106.
[0048]
Here, the effective area E is an area MT and a sub template st on the B data image._iIs the largest and the sub-template st_iThe relative arrangement relationship of the B data on the image between the rectangular area having the same shape and size as the main template mt and the sub template st on the A data image_iThis shows the range on the image of the B data in which the area MT can exist when the relative arrangement relationship with the above is held. In the present embodiment, a range E represented by the following equation_{x, y}Is set on the image of the B data.
[0049]
(Equation 4)

[0050]
(Bi) of FIG. 5 shows the main template mt and the sub template st on the image of the A data as shown in (ai) of FIG._iIs defined, the range E of the effective area E is displayed on the image of the B data._{x, y}Shows a state where is set. In the above equation, W_i, H_iIs the sub template st_i(Width in the x direction) and height (length in the y direction) are respectively shown, and WIDTH and HEIGHT are the widths of the images of the A data and the B data having the same size (in the x direction). Length) and height (length in the y direction). Also, x_iSearch, y_iSearch uses the sub-template st on the A data in the fingerprint image of the same person due to a variation in the acquisition work between the A data and the B data._IIs a range in which there is a possibility that a rectangular area on the B data corresponding to the image data is shifted, and a value corresponding to about 4 to 6 pixels in pixel units of image data is used, for example. Max [p, q] is a function that obtains the larger value of p and q (if equal, either of them).
[0051]
The above equation will be further described. FIG. 7 is a diagram illustrating a method for setting the effective area E. The figure shows that α in the above equation_x, Β_xAnd only the upper part of the A data is shown. Here, for the sake of simplicity, the sub template st₃And st₄Do not think.
[0052]
Referring to the above equation and FIG._x= L₁, Β_x= WIDTH-L₂Can be easily understood. The range of the effective area E in the x direction is determined by α_x, Β_xBy setting the value of the sub template st₁And st₂Is defined so as to spread in the x direction, the range of the effective area E, that is, the range where the area MT can exist when the above-described positional relationship is maintained, is reduced, and the sub-template st₁And st₂Are defined to be arranged at a small interval in the x direction, the range of the effective area E is widened.
[0053]
Returning to the description of FIG. In the above-described S105, when it is determined that the area MT does not belong to the effective area E, that is, as in the relationship between (a-ii) and (b-ii) in FIG. The area MT on the image of the B data corresponding to the template mt is the range E of the effective area E._{x, y}In step S106, the sub template st_iIs corrected and re-arranged on the A data image. Sub template st_iAre performed according to the procedure shown in FIG.
[0054]
FIG. 8 is a flowchart showing the contents of the sub-template relocation processing. This processing is performed for coordinates (x_i, Y_i) The sub-template st whose position is specified by_iTo the coordinates (xr_i, Yr_iThis is a process of relocating to the position specified by ()).
[0055]
FIG.
First, it is determined whether or not the area MT is located in the range of the effective area E in the x direction (S201 and S203).
[0056]
As a result of the determination, x coordinate X specifying the position of area MT₀Indicates the range of the effective area E in the x direction._xIf smaller than, the sub-template st after rearrangement_iXr is the x coordinate that specifies the placement position of_i= X_i+ (Α_x-X₀) (S202), and then proceeds to S206. Also, X₀Represents the range of the effective area E in the x direction._xIf it is larger than sub template st after rearrangement_iXr is the x coordinate that specifies the placement position of_i= X_i− (X₀−β_x) (S204), and proceeds to S206.
[0057]
Here, when neither of the above-mentioned cases applies, that is, X₀Is α_xAnd β_xXr if_i= X_iThat is, the value is left as it is (S205), and the process proceeds to S206.
[0058]
Subsequently, it is similarly determined whether or not the area MT is located within the range of the effective area E in the y direction (S206 and S208).
The processing performed based on the result of this determination is the same as the processing performed in the x direction described above, and the y coordinate Y specifying the position of the area MT is set.₀Represents the range of the effective area E in the y direction._yIf smaller than, the sub-template st after rearrangement_iYr is the y coordinate that specifies the arrangement position of_i= Y_i+ (Α_y-Y₀) (S207), and Y₀Denotes the range of the effective area E in the y direction._yYr_i= Y_i− (Y₀−β_y) (S209). If neither of these conditions applies, that is, Y₀Is α_yAnd β_yYr if_i= Y_iThat is, the value is used as it is (S210).
[0059]
By the above procedure, all the sub templates st defined on the image of the A data_iIs rearranged. (A-iii) of FIG. 6 shows that the area MT on the image of the B data is in the range E of the effective area E as shown in (b-ii) of FIG._{x, y}, The sub template st defined as shown in (a-i) of FIG.₁~ St₄Shows the result of the rearrangement. Also, (b-iii) of FIG. 6 shows the area MT corresponding to the main template mt in (a-iii) of FIG. 6, and since the position of the main template mt has not been moved, its position is shown. Does not move from the position in (b-ii) of FIG.
[0060]
Returning to the description of FIG. The result of the determination processing in S105 is Yes, that is, the sub-template st_iIs not necessary, or the sub template st_iAfter the rearrangement of the sub template st_iA rectangular area having the same shape and size as the above is set on the image of the B data, and the rectangular area is scanned on the image while the rectangular area and the sub template st are set._iAre sequentially calculated. Here, the calculation method of the correlation coefficient is the one used in S103 described above, but another calculation method of the correlation coefficient may be adopted.
[0061]
Then, in S108, as a result of sequentially calculating the correlation coefficient, the sub template st_iThe rectangular area where the correlation coefficient between_iAnd
[0062]
Subsequently, in S109, all sub-templates st_iRegion ST_iIt is determined whether or not has been detected, and if the determination result is Yes, the process proceeds to S110. On the other hand, if the determination result is No, the process returns to S107, and the above-described region ST_iIs repeated. (A-iv) and (b-iv) of FIG. 6 show the sub-templates st rearranged as shown in (a-iii) of FIG.₁~ St₄, The corresponding area ST₁~ ST₄Are shown together with the main template mt and its corresponding region MT.
[0063]
Then, in S110, the main template mt and the sub template st in the image indicated by the A data_i, And the regions MT and ST in the image indicated by the B data._iBy comparing with the distribution of the arrangement, the identity of the A data (registered fingerprint data) and the B data (verification fingerprint data) is evaluated. The evaluation of the identity performed in this step is substantially the same as the processing performed in S2005 of FIG. 10 described as the related art. In the evaluation of the identity, the main template mt and the area MT are excluded from the evaluation target, and the sub template st_iDistribution and area ST_iIt is also possible to make an evaluation only by comparison with the distribution of the arrangement.
[0064]
When the CPU 11 executes the fingerprint collation processing described above, fingerprint collation is performed by the present apparatus.
In the above-described embodiment of the present invention, the main template mt and the sub template st_i, Region MT, region ST_iAre rectangular areas, but the shapes of these areas are not limited to rectangles, and may be arbitrary. Also, the main template mt and the area MT, and the sub template st_iAnd region ST_iAlthough it is desirable that the sizes and shapes of are the same, it is acceptable even if there are some differences as long as the required matching accuracy of the fingerprint matching is obtained.
[0065]
In addition, a pre-defined main template mt and sub-template st_iIn the embodiment of the present invention described above, the relationship between the main template mt and the sub template st is shown in FIG. 6 (a-i)._iIs defined in such a way that the main template mt and the sub template st_iIt is also possible to define a positional relationship in which is partially overlapped, or a positional relationship in which they are completely separated.
[0066]
Further, in the sub-template rearrangement processing shown in FIG. 8 which is executed when it is determined that the area MT does not belong to the effective area E, the sub-template st_iWere moved by the same distance for each of the sub-templates, but considering whether the area MT deviated in the upper, lower, left, or right direction on the image of the B data of the effective area E, the sub template st_iThe moving distance to each relocation position may be made different. This is illustrated by the sub template st defined as shown in FIG.₁~ St₄For each of the coordinates (xr_i, Yr_i) Will be described in detail with reference to an example.
[0067]
First, with respect to the x coordinate, an x coordinate X specifying the position of the area MT₀And the aforementioned α indicating the range of the effective area E in the x direction_xAnd β_xDue to the relationship with
X₀<Α_xIn Case of
xr_i= X_i+ (Α_x-X₀) [I = 2,3]
xr_i= X_i+ (Α_x-X₀) × u [i = 1, 4]
Where u is a constant of 0 ≦ u <1
α_x≤X₀≤β_xIn Case of
xr_i= X_i
β_x<X₀In Case of
xr_i= X_i− (X₀−β_x) [I = 1,4]
xr_i= X_i− (X₀−β_x) × u [i = 2, 3]
Where u is a constant of 0 ≦ u <1
Xr_iAsk for.
[0068]
Next, for the y coordinate, the y coordinate Y specifying the position of the area MT₀And the above α indicating the range of the effective area E in the y direction_yAnd β_yDue to the relationship with
Y₀<Α_yIn Case of
yr_i= Y_i+ (Α_y-Y₀) [I = 1, 2]
yr_i= Y_i+ (Α_y-Y₀) × v [i = 3, 4]
Where v is a constant of 0 ≦ v <1
α_y≤Y₀≤β_yIn Case of
yr_i= Y_i
β_y<Y₀In Case of
yr_i= Y_i− (Y₀−β_y) [I = 3, 4]
yr_i= Y_i− (Y₀−β_y) × v [i = 1, 2]
Where v is a constant of 0 ≦ v <1
As yr_iAsk for.
[0069]
In the case where the sub-template is rearranged in accordance with the above equation, especially if the rearrangement is performed with u = v = 0, even if the area MT does not belong to the effective area E, the sub-template is determined by the positional relationship between the two areas. Can perform fingerprint matching with the originally defined arrangement without rearranging some sub-templates.In such a case, the time required for sub-template rearrangement processing is reduced, As a result, the processing time of the fingerprint collation processing can be reduced.
[0070]
【The invention's effect】
As described in detail above, in the present invention, in the image collation determination, the collation determination reflecting the difference in the positional relationship on the image of the region having the maximum correlation between the two image data to be collated is performed Therefore, even if image data that is not necessarily good as a target for comparison and image data is skewed is obtained, a decrease in the accuracy of image comparison is reduced and a certain level of accuracy is maintained. This has the effect that it becomes possible to perform
[Brief description of the drawings]
FIG. 1 is a diagram showing the principle configuration of the present invention.
FIG. 2 is a diagram illustrating a configuration of a fingerprint matching device that implements the present invention.
FIG. 3 is a diagram illustrating an example of a computer-readable storage medium that stores a fingerprint collation processing program.
FIG. 4 is a flowchart showing the details of a fingerprint collation process;
FIG. 5 is an example (part 1) of a fingerprint image used for describing the fingerprint collation device.
FIG. 6 is an example (part 2) of a fingerprint image used for explaining the fingerprint collation device.
FIG. 7 is a diagram illustrating a method for setting an effective area E.
FIG. 8 is a flowchart showing processing contents of a sub-template relocation processing.
FIG. 9 is a flowchart showing a procedure of an example of a conventional fingerprint matching method.
FIG. 10 is a flowchart showing a procedure of a fingerprint collation method described in the specification of the prior application.
FIG. 11 is a diagram illustrating a fingerprint collation method described in the specification of the prior application.
FIG. 12 is a diagram for explaining a problem of the related art.
[Explanation of symbols]
1a First image data
1b Second image data
2 Judgment results
3 Definition part
4 First decision part
5 Redefinition section
6 Second decision part
7 Judgment unit
11 CPU
12 Storage device
13 RAM
14 Image reading device
15 Display
16 Input section
17 Bus
21 Computer
22 Storage
23 Portable storage media
24 Network
25 Program Server
26 Storage device

Claims (7)

An image data matching method for comparing image data constituting a first image and image data constituting a second image to determine a degree of similarity between the two images,
Defining, on the first image, a first region and one or more second regions having a predetermined positional relationship with the first region;
Determining a first maximum correlation area, which is an area having a maximum correlation with the first area, on the second image;
Redefining the second area on the first image based on a positional relationship of the first maximum correlation area on the second image;
On the second image, determine a second maximum correlation area, which is an area having the maximum correlation with the redefined second area,
The difference between the positional relationship between the first region and the redefined second region and the positional relationship between the first maximum correlation region and the second maximum correlation region, or Determining the degree of similarity based on a difference between the defined positional relationship between the second regions and the positional relationship between the second maximum correlation regions,
An image data collation method characterized by the above-mentioned. The method of redefining the second region is based on a difference between a positional relationship of the first maximum correlation region on the second image and a positional relationship of the first region on the first image. The method according to claim 1, wherein the image data is collated. In the redefinition of the second region, when the positional relationship of the first maximum correlation region on the second image satisfies a predetermined relationship, the original definition of the second region is used as it is. The image data collation method according to claim 1, wherein: In the definition of the second area, a plurality of areas are defined, and in the redefinition of the second area, when the positional relationship of the first maximum correlation area on the second image satisfies a predetermined relationship. 2. The image data matching method according to claim 1, wherein the original definition is used as it is for a part of the plurality of defined second regions. Image data verification method according to any one of claims 1 to 4 wherein the first and second images, characterized in that an image of a fingerprint. An image data collating apparatus which collates image data constituting a first image with image data constituting a second image to determine a degree of similarity between the two images,
Definition means for defining a first area and one or more second areas having a predetermined positional relationship with the first area on the first image;
First determining means for determining, on the second image, a first maximum correlation area that is an area having a maximum correlation with the first area;
Redefining means for redefining the second area on the first image based on a positional relationship of the first maximum correlation area on the second image;
Second determining means for determining, on the second image, a second maximum correlation area that is an area having a maximum correlation with the redefined second area;
The difference between the positional relationship between the first region and the redefined second region and the positional relationship between the first maximum correlation region and the second maximum correlation region, or Determining means for determining the degree of similarity based on a defined positional relationship between the second regions and a positional relationship between the second maximum correlation regions,
An image data collation device comprising: An image data collation program for causing a computer to perform a control of collating image data constituting a first image with image data constituting a second image to determine the degree of similarity between the two images; A storage medium readable by:
A control for defining a first region and one or more second regions having a predetermined positional relationship with the first region on the first image;
Control for determining a first maximum correlation area, which is an area having a maximum correlation with the first area, on the second image;
Control for redefining the second area on the first image based on a positional relationship of the first maximum correlation area on the second image;
On the second image, control to determine a second maximum correlation area that is an area having the maximum correlation with the redefined second area;
The difference between the positional relationship between the first region and the redefined second region and the positional relationship between the first maximum correlation region and the second maximum correlation region, or Control for determining the degree of similarity based on the difference between the defined positional relationship between the second regions and the positional relationship between the second maximum correlation regions,
Storage medium storing an image data collation program for causing a computer to execute the program.

Images