JP2006048150A - 画像照合装置及び方法 - Google Patents

Abstract

【課題】 登録画像と照合画像が一致しているかどうかを判定する。
【解決手段】 登録画像と照合画像が一致しているかどうかを判断する画像照合装置において、データを読み取るデータ読取部と、データ読取部により読み取られたデータに基づいて登録画像及び照合画像を生成する画像生成部と、画像生成部により生成された登録画像の中心位置から所定量ずれた位置のデータをデータ読取部で読み取れるように指示を出す指示部と、指示部により出された指示にしたがって、データ読取部により読み取られたデータに基づき、登録画像の中心位置から所定量ずれた位置の周辺画像を生成する周辺画像生成部と、登録画像と照合画像、及び周辺画像と照合画像から照合スコアを生成する照合スコア生成部と、照合スコア生成部により生成された照合スコアに基づき、登録画像と照合画像が一致しているかどうかを判断する判断部を備える。
【選択図】 図１

Description

本発明は、指紋等の画像を比較照合し、一致するか否かを判定する画像照合装置及び方法に関する。

従来、指紋画像照合のための方式として、予め登録されている登録指紋画像から指紋の特徴をよく表している指紋の分岐、点、切れ等に基づき、複数の部分画像（テンプレート）を抽出し、これらと入力された照合画像との間でテンプレートマッチングを行い、各テンプレートに関して検出された一致度の高い点の位置関係により登録画像と照合画像が一致するかどうか判別を行なう手法が知られている（例えば、特許文献１参照）。

特開平１０−２１４３４３号公報

ところで、画像照合装置では、装置の小型化を図るために、登録画像及び照合画像を取り込むためのセンサとして半導体センサを用いている。また、テンプレートマッチングを行う場合には、取り込んだ登録画像及び照合画像の重複範囲が大きい方が有利なので、半導体センサの画像取り込み面は大きい方が良い。

しかしながら、半導体センサの画像の取り込み面が大きいと、使用時にクラック等が生じてしまい取り込み誤差が生じてしまう問題があり、また、装置自体が高価となってしまう問題もある。

そこで、本発明は、上述した課題を解決するために、画像取り込み面の小さな半導体センサを利用し、取り込んだ複数の登録画像と、照合画像との一致判定を行う画像照合装置を提供することを目的とする。

本発明に係る画像照合装置は、上述の課題を解決するために、登録画像と照合画像が一致しているかどうかを判断する画像照合装置において、データを読み取るデータ読取手段と、データ読取手段により読み取られたデータに基づいて登録画像及び照合画像を生成する画像生成手段と、画像生成手段により生成された登録画像の中心位置から所定量ずれた位置のデータをデータ読取手段で読み取れるように指示を出す指示手段と、指示手段により出された指示にしたがって、データ読取手段により読み取られたデータに基づき、登録画像の中心位置から所定量ずれた位置の周辺画像を生成する周辺画像生成手段と、登録画像と照合画像、及び周辺画像と照合画像から照合スコアを生成する照合スコア生成手段と、照合スコア生成手段により生成された照合スコアに基づき、登録画像と照合画像が一致しているかどうかを判断する判断手段を備える。

また、本発明に係る画像照合方法は、上述の課題を解決するために、登録画像と照合画像が一致しているかどうかを判断する画像照合方法において、データを読み取るデータ読取工程と、データ読取工程により読み取られたデータに基づいて登録画像及び照合画像を生成する画像生成工程と、画像生成工程により生成された登録画像の中心位置から所定量ずれた位置のデータをデータ読取工程で読み取れるように指示を出す指示工程と、指示工程により出された指示にしたがって、データ読取工程により読み取られたデータに基づき、登録画像の中心位置から所定量ずれた位置の周辺画像を生成する周辺画像生成工程と、登録画像と照合画像、及び周辺画像と照合画像から照合スコアを生成する照合スコア生成工程と、照合スコア生成工程により生成された照合スコアに基づき、登録画像と照合画像が一致しているかどうかを判断する判断工程を備える。

本発明は、予め決められた位置ずれ量を持つように複数の登録テンプレートセットを登録しておき、登録テンプレートセットごとに、照合画像との一致・不一致を判定するので、照合性能に優れ、かつ入力に用いるセンサ面積の小さい安価な照合装置が実現できる。

以下、本発明の実施の形態として、照合用に入力された照合画像が、登録された登録画像と一致するかどうかを判定する画像照合装置について説明する。

本発明に係る画像照合装置１は、図１に示すように、画像を取り入れる画像入力部１０と、画像入力部１０から供給された画像信号に対して、所定の信号処理を行う２値化部１１と、２値化部１１による信号処理後の登録画像が登録される不揮発性記憶部１２と、一時的にデータを格納する際及び所定の演算を行う際に用いられるワーキングＲＡＭ部１３と、画像間の一致度を検出する一致度検出部１４と、一致度検出部１４により検出された一致度の高い座標を用いて所定の演算を行って最大値およびその座標を求める最大値検出部１５と、装置全体を制御する制御部１６とを備え、画像入力部１０を介して入力された登録画像と照合画像とが一致するかどうかを判定する。

画像入力部１０は、画像を取り込む画像読取面を有するセンサ２０と、センサ２０を駆動するセンサ駆動部２１とを備えている。なお、本発明では、センサ２０として半導体センサを用いる。なお、本実施例では、センサ２０の画像読取面のサイズを数ｍｍ（縦）×数ｍｍ（横）とする。

画像入力部１０は、画像を取り込む画像読出面を有するセンサ２０と、センサ２０を駆動するセンサ駆動部２１とを有する。

２値化部１１は、画像入力部１０から供給された電圧値をデジタル信号に変換するＡＤ変換部２２と、ＡＤ変換部２２で変換されたデータを２値化処理する２値化処理部２３とを有する。

不揮発性記憶部１２は、例えば、ＥＥＰＲＯＭ又はフラッシュＲＯＭ等で構成されており、取り込まれた登録画像から生成された登録テンプレートを記憶保持し、制御部１６の制御に応じて記憶保持されている登録テンプレートが読み出される。なお、登録テンプレートの生成方法については後述する。

ワーキングＲＡＭ部１３は、２値化されたデータが一時記憶される２値化データエリアと、一致度検出部１４で検出された一致度の高い座標位置が記憶されるエリア（以下、一致度エリアという。）と、所定の足し合わせ演算を行う際に利用される足し合わせエリアとからなる。

一致度検出部１４は、制御部１６の制御に応じて、登録テンプレートと照合画像の一致度を検出する一致度検出部２４と、一致度の検出を行う際に不揮発性記憶部１２から読み出した所定の登録テンプレートと、当該登録テンプレートのオフセットアドレスを記憶するレジスタ２５とを備える。

最大値検出部１５は、ワーキングＲＡＭ部１３の一致度エリアに記憶されている座標値を用いて所定の演算を行う最大値・最大値座標検出部２６とその際に検出される最大値及び当該最大値の座標位置を記憶するレジスタ２７とを備える。

画像照合装置１では、２値化処理部２３で２値化処理された２値画像から所定の大きさの部分画像を登録テンプレートとして抽出し、該登録テンプレートを不揮発性記憶部１２に記録しておく。なお、登録テンプレートは、指紋の特徴を良く表している渦状部分等を対象として選択される。

ここで、登録テンプレートの生成方法について以下に説明する。

ユーザは、センサ２０の画像読取面に登録する指を載置し、所定の登録操作を行う。センサ駆動部２１は、ユーザにより行われた登録操作に応じて、センサ２０に対して所定の信号を供給する。センサ２０は、センサ駆動部２１から供給された信号に応じて、画像の取り込み処理を開始する。なお、センサ２０の画像読取面に指を接触させることにより、接触している指の指紋の凹凸と画像読取面間でコンデンサが形成され、該コンデンサの静電容量値に応じた電荷が蓄積される。

センサ２０は、指表面と画像読取面間で蓄積されている電荷を電圧値に変換する。この変換された電圧値の波形が、指紋画像を表している。そして、センサ２０は、変換した電圧値を２値化部１１のＡＤ変換部２２に供給する。

ＡＤ変換部２２は、供給された電圧値をセンサ２０の駆動クロックに同期した時間間隔で標本化し、例えば、９６画素×９６画素の大きさのディジタルデータに変換する。そして、ＡＤ変換部２２は、変換後のディジタルデータを２値化処理部２３に供給する。２値化処理部２３は、制御部１６の制御に応じて２値データをワーキングＲＡＭ部１３に供給する。

２値化処理部２３は、ＡＤ変換部２２から供給されたディジタルデータを所定の方式で２値化処理する。２値化処理されたディジタルデータは、各画素が０または１の値をもつ２値画像に変換される。また、２値化処理の方式には、画像全体の平均値と各画素の大小を比べる方式や、着目している画素の周囲適当な範囲の平均値との大小を比べる方式等がある。また、図２には、２値化処理により得られた２値画像の例を示す。なお、図２において、黒い部分は、指紋の谷部を示し、白い部分は指紋の隆起部を示している。２値化処理部２３は、制御部１６の登録制御に応じて、２値画像をワーキングＲＡＭ部１３に供給する。

制御部１６は、図３に示すように、ワーキングＲＡＭ部１３に記憶されている２値画像を２５個の部分に分割し、さらに、分割した各部分を、１６ビット長の４画素ずつ離れた４本の線分からなる６４ビットの２次元登録テンプレートにする。各登録テンプレートは、隣接する登録テンプレートと水平及び垂直方向に１６画素ずつ離れて配置されている。

したがって、２５個の登録テンプレートをすべて足し合わせた容量は、２００バイト（１６×４×２５／８）となり、大きさが８０画素（縦）×８０画素（横）となる。ゆえに、センサ２０の大きさが９６画素（縦）×９６画素（横）の場合には、図４に示すように、センサ２０の周辺８画素を除くほぼ全面が２５個の登録テンプレート（８０画素（縦）×８０画素（横））として登録されることになる。

制御部１６は、２５個の登録テンプレートをワーキングＲＡＭ部１３の２値化データエリアの相当する部分から読み出し、読み出した２５個の登録テンプレートを不揮発性記憶部１２に書き込む。

なお、不揮発性記憶部１２は、画像照合装置１から着脱可能となるように構成されていても良く、他の機器で生成された登録テンプレートが書き込まれていても良い。

また、本願発明では、上述のように生成した登録テンプレートをワンセットとし、複数の登録テンプレートのセットを生成する。具体的には、画像照合装置１は、最初の登録テンプレートセットを生成した後、ユーザに指の置く位置を変更するように指示し、登録テンプレートセットの生成を行う。

例えば、５つのテンプレートセット１〜５を生成する場合、テンプレートセット２〜５は、テンプレートセット１を基準として次のような位置から得られる画像から生成するものとする。テンプレートセット２は、テンプレートセット１を生成したときの画像位置を基準として、水平方向右に２０画素移動し、垂直方向下に２０画素移動した位置から得られる画像から生成し、テンプレートセット３は、テンプレートセット１を生成したときの画像位置を基準として、水平方向右に２０画素移動し、垂直方向上に２０画素移動した位置から得られる画像から生成し、テンプレートセット４は、テンプレートセット１を生成したときの画像位置を基準として、水平方向左に２０画素移動し、垂直方向下に２０画素移動した位置から得られる画像から生成し、テンプレートセット５は、テンプレートセット１を生成したときの画像位置を基準として、水平方向左に２０画素移動し、垂直方向上に２０画素移動した位置から得られる画像から生成するものとする。

また、画像照合装置１は、ユーザに指の移動位置を指示をするための表示部を有するものとし、例えば、表示部に「先ほど指を置いた位置から下方向および右方向に２ｍｍ程度ずらして指を置いてください」等の表示を行う。

また、基準となる登録テンプレート１から登録テンプレート２〜５がずれている量を検出しておく。

このようにいくつかのテンプレートセットを登録することによって、センサ２０の画像読取面の大きさを等価的に大きくして、センサ２０の大きさが小さいときにも登録テンプレートに対する指の位置ずれに強い指紋照合システムを実現することができる。

ここで、テンプレートセット２〜５の登録手順について図５に示すフローチャートにしたがって詳述する。

新たに入力した画像と、先に登録されているテンプレートセット１の画像とを照合し、当該入力画像が当該テンプレートセット１の画像から所定範囲のずれ量を示せば当該入力画像をテンプレートセット２として登録する。

ステップＳＴ１において、ユーザは、テンプレートセット１と照合する照合画像を入力する。ユーザは、指紋を入力するために指をセンサ２０の画像読取面に載置する。照合画像の取り込み作業は、上述した登録画像の取り込みと同様にして行われるので、詳細な説明は省略する。制御部１６は、２値化部１１に所定の制御信号を供給する。２値化部１１は、供給された制御信号に応じて、取り込んだ照合画像を２値化処理し、２値化処理後の２値データをワーキングＲＡＭ部１３の２値化データエリアに書き込む。

なお、制御部１６は、ワーキングＲＡＭ部１３及び最大値検出部１５のレジスタ２７に前回作業したときのデータが残っている場合には、登録テンプレートを読み出す前にデータのクリアを行う。

ステップＳＴ２において、制御部１６は、不揮発性記憶部１２に記憶されているテンプレートセット１の登録テンプレートを読み出す。不揮発性記憶部１２には、例えば、図３に示すように登録テンプレート＿０から登録テンプレート＿２４が登録されているものとする。制御部１６は、不揮発性記憶部１２から登録テンプレート＿０を読み出し、一致度検出部１４のテンプレートレジスタ２５に書き込む。

ステップＳＴ３において、一致度検出部１４は、照合画像とテンプレートレジスタ２５に書き込まれた登録テンプレートの一致度を検出する。

ここで、一致度検出部１４の検出動作について説明する。なお、一致度検出部１４では、登録テンプレートと照合画像の一致度を検出するためにパターンマッチング法を採用する。

一致度検出部１４は、パターンマッチング法により登録テンプレートと照合画像の類似度（一致度）を検出するため、登録テンプレートを照合画像上で順次１画素ずつ変位させ、照合画像上のすべての点で一致度を検出する。

制御部１６は、検出された一致度の高い座標の正規化を行うために、登録テンプレート＿０の基準座標からの距離を一致度検出部１４のオフセットアドレスレジスタ２５にセットしておく。ここで、各登録テンプレートのオフセット座標は、各登録テンプレートとアドレスを正規化するための基準となる登録テンプレートの間の距離（アドレス差分）に基づいて決定する。例えば、登録テンプレート＿１２を基準とすると、各登録テンプレートから見た基準テンプレートまでの距離は、登録テンプレート＿０の場合は、（水平、垂直）＝（３２、３２）であり、登録テンプレート＿１の場合は、（水平、垂直）＝（１６、３２）であり、テンプレート２４の場合は、（水平、垂直）＝（−３２、−３２）である。

したがって、制御部１６は、登録テンプレート＿０と照合画像の一致度を検出する際に、レジスタ２５に座標（３２、３２）をセットする。

一致度検出部１４は、図６中のＡに示すように、登録テンプレート＿０の中心が照合画像の原点に位置するように配置された状態で、６４ビットの登録テンプレート＿０のパターンと照合画像の対応画素６４ビットのうち何ビットが一致しているか（一致度）を検出するために、２つのパターンに対して排他的論理和（ＥＸＯＲ）演算を実行する。そして、一致度検出部１４は、排他的論理和演算により６４ビットパターン中の「０」（重なっている部分）の個数をカウントする。また、一致度検出部１４は、登録テンプレート＿０を照合画像上で水平右方向に１ビットシフトして、同様の検出を行う。

一致度検出部１４は、このような一致度検出を登録テンプレート＿０の中心が照合画像の右端下（図６中のＢ）に到達するまで繰り返し行う。

ステップＳＴ４において、一致度検出部１４は、ステップＳＴ３の工程により、所定の値（閾値）以上の一致度を検出した場合には、その一致度を検出した座標位置にオフセットアドレスレジスタ２５にセットされている値を水平、垂直方向毎に足し合わせてできた座標値をワーキングＲＡＭ部１３の一致度エリアに書き込む。なお、一致度エリアに記憶する作業は、所定の閾値以上の一致度が検出されるたびに行う。

例えば、一致度検出部１４は、閾値以上の一致度を検出したときの登録テンプレート＿０の中心座標が（２８、２８）であった場合には、レジスタ２５にセットされている座標（３２、３２）と足し合わせ、足し合わせ座標（６０、６０）をワーキングＲＡＭ部１３の一致度エリアに書き込む。

また、一致度検出部１４は、上述したように、ステップＳＴ３で検出した一致度の中から所定の閾値以上の一致度をもつ座標を検出する構成ではなく、照合画像全面での一致度を検出した後で、一致度の高い座標を上位から適当な個数だけ選択する構成であっても良い。このような構成の場合には、登録テンプレート＿０に関する照合画像全面での一致度をすべて検出した後、一致度に関するヒストグラムを作成し、該ヒストグラムから閾値を算出することになる。

また、閾値が高いと、少しの画像変化に対しても登録テンプレートと照合画像が不一致となってしまい、より厳密な一致性を必要とする。したがって、指紋画像のように指の変形による画像の乱れが予想されるときには、７０〜８０％程度の閾値が適当となる。

一致度検出部１４は、上述のようにして、レジスタ２５に登録されている登録テンプレートを照合画像上で順次移動させながら閾値以上の一致度の検出を行っていく。

ステップＳＴ５において、制御部１６は、登録テンプレート番号ｎをひとつインクリメントする。

ステップＳＴ６において、制御部１６は、ステップＳＴ５でインクリメントされた登録テンプレート番号ｎが２５よりも小さいかどうかを判断する。登録テンプレート番号ｎが２５と同数以上であった場合には、ステップＳＴ７に進み、登録テンプレート番号ｎが２５よりも小さい場合には、ステップＳＴ２に戻る。すなわち、登録テンプレート番号が２４になるまで、つまり登録テンプレート＿０から始まって、登録テンプレート＿２４になるまで、ステップＳＴ３からステップＳＴ６の各工程を繰り返し行う。

ステップＳＴ７において、最大値検出部１５は、最大値および最大値座標の検出を行う。

ここで、最大値検出部１５による最大値検出について説明する。例えば、深さ８ビット、大きさが９６×９６のＲＡＭ上で最大値検出を行う。なお、ＲＡＭとしてワーキングＲＡＭ部１３の足し合わせエリアを用いる。

また、最大値検出部１５は、最大値レジスタ及び最大値座標レジスタで構成されるレジスタ２７を有する。ここで、最大値レジスタは、後述するＲＡＭ上で行われる処理の最大値を保持するためのレジスタであり、最大値座標レジスタは、最大値が検出されたアドレスを保持するためのレジスタである。

最大値検出部１５は、ワーキングＲＡＭ部１３の一致度エリアに記憶されている座標位置を登録テンプレートごとに読み出す。また、このときの登録テンプレート番号ｎ（ｎ＝０、１、２・・・２４）に関する座標をＡ（ｎ、０）、Ａ（ｎ、１）・・・Ａ（ｎ、９）で表す。例えば、登録テンプレート＿５の座標群はＡ（５、０）、Ａ（５、１）・・・Ａ（５、９）で表される。

最大値検出部１５は、例えば、Ａ（０、０）の座標値が（６０、６０）であるとき、その座標値の周囲適当な範囲Ｒに属するワーキングＲＡＭ部１３の足し合わせエリアのＭＳＢを１にセットする。ここで、範囲Ｒは、大きさを５×５とすると、図７に示すように、座標（６０、６０）を中心に、座標（５８、５８）、座標（５８、６２）、座標（６２、６２）、座標（６２、５８）で囲まれる範囲となる。ここで、範囲Ｒの大きさは、センサ２０のピッチや、どの程度まで指の変形を許容するかによって決定される。最大値検出部１５は、範囲Ｒに対応するワーキングＲＡＭ部１３の足し合わせエリアのＭＳＢを１にセットする。

最大値検出部１５は、上述の作業をＡ（０、９）まで繰り返した後、再度Ａ（０、０）からＡ（０、９）の読み出しを行い、その点の周囲のワーキングＲＡＭ部１３の足し合わせエリアの内容を順に読み出し、そのＭＳＢに１がセットされているときには、ＭＳＢをクリアし、下位ビットに１を足し込む。なお、登録テンプレート＿０に関する処理では、下位ビットはすべてゼロとなっているから足し込まれた場合１となる。

また、最大値検出部１５は、これと同時に、最大値レジスタに１をセットし、最大値座標レジスタには最大値をはじめて更新したときの座標値をセットする。上述の場合には、最大値座標レジスタには、アドレスＡ（０、０）がセットされる。

最大値検出部１５は、次に登録テンプレート＿１に関する座標群Ａ（１、ｉ）（ｉ＝０〜９）を読み出し、上述した登録テンプレート＿０の場合と同様に、ＭＳＢに１をセットして最大値および最大値座標の検出作業を続ける。

このとき、最大値検出部１５は、座標群Ａ（１、ｉ）（ｉ＝０〜９）に関して、登録テンプレート＿０のときに処理されたワーキングＲＡＭ部１３の足し合わせエリアの内容を再び読み出した場合には、すでに下位ビットに１がセットされているので、下位ビットは２となる（２進数であれば、下位ビットは「１０」となる。）。また、最大値検出部１５は、これと同時に、最大値レジスタ及び最大値座標レジスタの更新も行う。

最大値検出部１５は、上述した最大値および最大値座標の検出処理をＡ（２４、ｉ）（ｉ＝０−９）までのすべての登録テンプレートに関して行う。このようにして検出された最大値は、各登録テンプレートと同様の位置関係を満たす座標群がいくつの登録テンプレートに関して検出されたかを、すなわち登録画像と照合画像の類似の度合い（照合スコア）を表す。

なお、最大値検出部１５は、検出された最大値が所定の値よりも小さいときには、ユーザに対して照合用の照合画像の再入力を促し、ステップＳＴ１からステップＳＴ７を繰り返すような構成であっても良い。

ステップＳＴ８において、制御部１６は、登録画像と照合画像のずれ量を算出する。制御部１６は、ステップＳＴ７で更新された最大値座標レジスタの内容と、登録テンプレートの座標を正規化する際に用いた座標（４８、４８）の差分を、登録画像に対する照合画像の位置ずれ量とする。例えば、図８に示すように、登録テンプレートの座標を正規化する際に用いた座標Ａが（４８、４８）であり（図８Ａ）、最大値座標Ｂが（４８、５９）であった場合（図８Ｂ）には、位置ずれ量は
（４８、５９）−（４８、４８）＝（０、１１）
となる。

ステップＳＴ９において、制御部１６は、レジスタ２７の最大値レジスタを読み出す。

ステップＳＴ１０において、制御部１６は、位置ずれ量が所定範囲内かどうかを判断する。レジスタ２７の最大値レジスタに基づき、位置ずれ量が所定範囲内であると判断した場合には、ステップＳＴ１１に進み、位置ずれ量が所定範囲内でないと判断した場合には、今回の指紋の採取は無効とし、ステップＳＴ１に戻る。

同一の指から取り込まれた指紋にもかかわらず、位置ずれ量が極端に大きい場合や指の置き方が不適切な場合には、最大値（照合スコア）が小さくなってしまうことがある。このような場合には、求められた位置ずれ量の信頼度が低いと考えられるので、このときには今回の指紋の採取は無効とする。

また、位置ずれ量が予め決められた範囲内に入っていないときには、範囲内にはいるようにユーザに指の置く位置を変えるよう、表示装置にメッセージを出力するような構成であっても良い。

ステップＳＴ１１において、制御部１６は、取り込んだ画像を新たなテンプレートセットとして登録する。

照合スコアが予め決められたしきい値よりも大きく、かつ位置ずれ量が予め決められた範囲にはいっているとき、例えば、垂直方向下に１６乃至３２画素の範囲であり、かつ、水平方向右左１６画素以内のときには、２値画像からテンプレートセット１を取り出したのと同様に、図３に示すような位置から２値データを順次読み出し、これらを２５個の登録テンプレートとして不揮発性メモリに書き込み、テンプレートセット２とする。

上述のようにして、テンプレートセット１の画像に対して上および下、右および左方向に指をずらした状態で指を置いてもらい、照合スコアが予め決められたしきい値よりも大きく、かつ、位置ずれ量が予め決められた範囲にはいっているときの２値データをテンプレート３、４及び５として登録する。なお、テンプレートセットをいくつ登録するかは、照合時に指の位置ずれ量としてどれだけ許容するかに応じて決定する。

つぎに、画像照合装置１により、上述のように登録したテンプレートセット１乃至５と、照合用の照合画像が一致するかどうかの照合処理について図９及び図１０に示すフローチャートにしたがって説明する。なお、本実施例では、以下に示すステップＳＴ２１乃至ステップＳＴ２８と、ステップＳＴ２９乃至ステップＳＴ３８の２段階で画像の照合処理を行う。

ステップＳＴ２０において、ユーザは、テンプレートセットＴのセット番号として「１」を選択する。

ステップＳＴ２１において、ユーザは、照合用の照合画像を入力する。ユーザは、指紋を照合するために指をセンサ２０の画像読取面に載置する。照合画像の取り込み作業は、上述した登録画像の取り込みと同様にして行われるので、詳細な説明は省略する。制御部１６は、２値化部１１に所定の制御信号を供給する。２値化部１１は、供給された制御信号に応じて、取り込んだ照合画像を２値化処理し、２値化処理後の２値データをワーキングＲＡＭ部１３の２値化データエリアに書き込む。

なお、制御部１６は、ワーキングＲＡＭ部１３及び最大値検出部１５のレジスタ２７に前回作業したときのデータが残っている場合には、登録テンプレートを読み出す前にデータのクリアを行う。

ステップＳＴ２２において、制御部１６は、不揮発性記憶部１２に記憶されている登録テンプレートセット１の登録テンプレートを読み出す。不揮発性記憶部１２には、例えば、登録テンプレートセット１から登録テンプレートセット５が登録されており、それぞれの登録テンプレートセットは、登録テンプレート＿０から登録テンプレート＿２４からなっているものとする。制御部１６は、不揮発性記憶部１２から登録テンプレート＿０を読み出し、一致度検出部１４のテンプレートレジスタ２５に書き込む。

ステップＳＴ２３において、一致度検出部１４は、照合画像とテンプレートレジスタ２５に書き込まれたテンプレートの一致度を検出する。一致度検出部１４の検出動作については、上述のステップＳＴ３において説明したので、ここでは、説明を省略する。

ステップＳＴ２４において、一致度検出部１４は、ステップＳＴ２３の工程により、所定の値（閾値）以上の一致度を検出した場合には、その一致度を検出した座標位置にオフセットアドレスレジスタ２５にセットされている値を水平、垂直方向毎に足し合わせてできた座標値をワーキングＲＡＭ部１３の一致度エリアに書き込む。なお、一致度エリアに記憶する作業は、所定の閾値以上の一致度が検出されるたびに行う。

例えば、一致度検出部１４は、閾値以上の一致度を検出したときの登録テンプレート＿０の中心座標が（２８、２８）であった場合には、レジスタ２５にセットされている座標（３２、３２）と足し合わせ、足し合わせ座標（６０、６０）をワーキングＲＡＭ部１３の一致度エリアに書き込む。

また、一致度検出部１４は、上述したように、ステップＳＴ２３で検出した一致度の中から所定の閾値以上の一致度をもつ座標を検出する構成ではなく、照合画像全面での一致度を検出した後で、一致度の高い座標を上位から適当な個数だけ選択する構成であっても良い。このような構成の場合には、登録テンプレート＿０に関する照合画像全面での一致度をすべて検出した後、一致度に関するヒストグラムを作成し、該ヒストグラムから閾値を算出することになる。

また、閾値が高いと、少しの画像変化に対しても登録テンプレートと照合画像が不一致となってしまい、より厳密な一致性を必要とする。したがって、指紋画像のように指の変形による画像の乱れが予想されるときには、７０〜８０％程度の閾値が適当となる。

一致度検出部１４は、上述のようにして、レジスタ２５に登録されている登録テンプレートを照合画像上で順次移動させながら閾値以上の一致度の検出を行っていく。

ステップＳＴ２５において、制御部１６は、登録テンプレート番号ｎをひとつインクリメントする。

ステップＳＴ２６において、制御部１６は、ステップＳＴ２５でインクリメントされた登録テンプレート番号ｎが２５よりも小さいかどうかを判断する。登録テンプレート番号ｎが２５と同数以上であった場合には、ステップＳＴ２７に進み、登録テンプレート番号ｎが２５よりも小さい場合には、ステップＳＴ２２に戻る。すなわち、登録テンプレート番号が２４になるまで、つまり登録テンプレート＿０から始まって、登録テンプレート＿２４になるまで、ステップＳＴ２３からステップＳＴ２６の各工程を繰り返し行う。

ステップＳＴ２７において、最大値検出部１５は、最大値および最大値座標の検出を行う。

ここで、最大値検出部１５による最大値検出について説明する。例えば、深さ８ビット、大きさが９６×９６のＲＡＭ上で最大値検出を行う。なお、ＲＡＭとしてワーキングＲＡＭ部１３の足し合わせエリアを用いる。

最大値検出部１５は、ワーキングＲＡＭ部１３の一致度エリアに記憶されている座標位置を登録テンプレートごとに読み出す。また、このときの登録テンプレート番号ｎ（ｎ＝０、１、２・・・２４）に関する座標をＡ（ｎ、０）、Ａ（ｎ、１）・・・Ａ（ｎ、９）で表す。例えば、登録テンプレート＿５の座標群はＡ（５、０）、Ａ（５、１）・・・Ａ（５、９）で表される。

最大値検出部１５は、例えば、Ａ（０、０）の座標値が（６０、６０）であるとき、その座標値の周囲適当な範囲Ｒに属するワーキングＲＡＭ部１３の足し合わせエリアのＭＳＢを１にセットする。ここで、範囲Ｒは、大きさを５×５とすると、座標（６０、６０）を中心に、座標（５８、５８）、座標（５８、６２）、座標（６２、６２）、座標（６２、５８）で囲まれる範囲となる。ここで、範囲Ｒの大きさは、センサ２０のピッチや、どの程度まで指の変形を許容するかによって決定される。最大値検出部１５は、範囲Ｒに対応するワーキングＲＡＭ部１３の足し合わせエリアのＭＳＢを１にセットする。

最大値検出部１５は、上述の作業をＡ（０、９）まで繰り返した後、再度Ａ（０、０）からＡ（０、９）の読み出しを行い、その点の周囲のワーキングＲＡＭ部１３の足し合わせエリアの内容を順に読み出し、そのＭＳＢに１がセットされているときには、ＭＳＢをクリアし、下位ビットに１を足し込む。なお、登録テンプレート＿０に関する処理では、下位ビットはすべてゼロとなっているから足し込まれた場合１となる。

また、最大値検出部１５は、これと同時に、最大値レジスタに１をセットし、最大値座標レジスタには最大値をはじめて更新したときの座標値をセットする。上述の場合には、最大値座標レジスタには、アドレスＡ（０、０）がセットされる。

最大値検出部１５は、次に登録テンプレート＿１に関する座標群Ａ（１、ｉ）（ｉ＝０〜９）を読み出し、上述した登録テンプレート＿０の場合と同様に、ＭＳＢに１をセットして最大値および最大値座標の検出作業を続ける。

このとき、最大値検出部１５は、座標群Ａ（１、ｉ）（ｉ＝０〜９）に関して、登録テンプレート＿０のときに処理されたワーキングＲＡＭ部１３の足し合わせエリアの内容を再び読み出した場合には、すでに下位ビットに１がセットされているので、下位ビットは２となる（２進数であれば、下位ビットは「１０」となる。）。また、最大値検出部１５は、これと同時に、最大値レジスタ及び最大値座標レジスタの更新も行う。

最大値検出部１５は、上述した最大値および最大値座標の検出処理をＡ（２４、ｉ）（ｉ＝０−９）までのすべての登録テンプレートに関して行う。このようにして検出された最大値は、各登録テンプレートと同様の位置関係を満たす座標群がいくつの登録テンプレートに関して検出されたかを、すなわち登録画像と照合画像の類似の度合い（照合スコア）を表す。

なお、最大値検出部１５は、検出された最大値が所定の値よりも小さいときには、ユーザに対して照合用の照合画像の再入力を促し、ステップＳＴ２１からステップＳＴ２７を繰り返すような構成であっても良い。

ステップＳＴ２８において、制御部１６は、登録画像と照合画像のずれ量を算出する。制御部１６は、ステップＳＴ２７で更新された最大値座標レジスタの内容と、登録テンプレートの座標を正規化する際に用いた座標（４８、４８）の差分を、登録画像に対する照合画像の位置ずれ量とする。例えば、登録テンプレートの座標を正規化する際に用いた座標Ａが（４８、４８）であり、最大値座標Ｂが（４８、５９）であった場合には、位置ずれ量は
（４８、５９）−（４８、４８）＝（０、１１）
となる。

ステップＳＴ２９において、制御部１６は、ステップＳＴ２８で算出したずれ量に基づき、不揮発性記憶部１２に書き込まれている登録テンプレートから所定の登録テンプレートを選択する。

制御部１６は、登録画像に対する照合画像の位置ずれ量に基づき、登録画像と照合画像の共通部分を検出し、検出された共通部分に対応する登録画像の登録テンプレートを選択する。

例えば、位置ずれ量がステップＳＴ２８で算出された（０、１１）のときには、登録テンプレート＿２０から登録テンプレート＿２４は、照合画像上には対応する部分がなく、残りの登録テンプレート、すなわち登録テンプレート＿０から登録テンプレート＿１９を用いて照合を行えば十分である。

このように対象とする登録テンプレートを制限することによって、本来同一画像ではない登録画像と照合画像の照合スコアが不必要に大きくなってしまうことを避けることができる。

また、制御部１６は、選択された登録テンプレートの数が所定値よりも少ない場合に、ユーザに対して照合用の照合画像の再入力を促し、ステップＳＴ２１からステップＳＴ２９を繰り返すような構成であっても良い。

ステップＳＴ３０において、制御部１６は、ワーキングＲＡＭ部１３の一致度エリアに記憶されているデータの中から、ステップＳＴ２９で選択された登録テンプレート＿０から登録テンプレート＿１９に対応するデータを読み出す。

ステップＳＴ３１において、最大値検出部１５は、最大値および最大値座標の検出を行う。

ステップＳＴ３２において、制御部１６は、レジスタ２７の最大値レジスタＮを読み込む。

ステップＳＴ３３において、制御部１６は、テンプレートセットＴがテンプレートセット１かどうかを判断する。テンプレートセットＴがテンプレートセット１である場合には、ステップＳＴ３５に進み、テンプレートセットＴがテンプレートセット１でない場合には、ステップＳＴ３４に進む。

ステップＳＴ３４において、制御部１６は、ステップＳＴ３２で読み込んだ最大値レジスタＮが最大照合スコアＭよりも大きいかどうかを判断する。最大照合スコアよりも大きい場合には、ステップＳＴ３５に進み、最大照合スコアよりも小さい場合には、ステップＳＴ３６に進む。

ステップＳＴ３５において、制御部１６は、最大照合スコアＭとして最大値レジスタＮを登録する。

ステップＳＴ３６において、制御部１６は、テンプレートセットＴのセット番号をひとつインクリメントする。

ステップＳＴ３７において、制御部１６は、ステップＳＴ３６でインクリメントされたテンプレートセットＴのセット番号が５よりも小さいかどうかを判断する。テンプレートセットＴのセット番号が５よりも小さいときには、ステップＳＴ２２に戻り、テンプレートセットＴのセット番号が５になったときには、ステップＳＴ３８に進む。

ステップＳＴ３８において、制御部１６は、最大照合スコアが照合閾値より大きいかどうかを判断する。制御部１６は、最大照合スコアが予め決められた閾値よりも大きいときに、登録画像と照合画像が照合「ＯＫ（一致）」と判断し、そうではないときに登録画像と照合画像が照合「ＮＧ（不一致）」と判断する。

また、制御部１３は、ステップＳＴ２９で選択された登録テンプレートの数に応じて、照合スコアと対比する予め決められている閾値を変更できるような構成であっても良い。

また、いずれかのテンプレートセットと照合画像とを照合して得られた照合スコアが、所定の閾値よりも大きいときに、照合「ＯＫ」と判断するような構成であっても良い。

このようにして本発明に係る画像照合装置１は、一の登録画像と当該一の登録画像から所定量ずれている他の複数の登録画像からなる複数のテンプレートセットを登録し、照合時に、テンプレートセットの登録時と同様に表示部に表示されたメッセージに応じてセンサ２０上に指を置くことを促されたユーザが指を置いた瞬間をセンサ出力画像全体の平均値の変化により検出し、その瞬間の画像を２値化した後、ワーキングＲＡＭ部１３の２値化データエリアに書き込み、２値画像と登録されている複数のテンプレートセットを順次変更しながら照合スコアを求め、得られた最大の照合スコアが予め決められたしきい値よりも大きいときに、照合一致と判断し、そうではないときに照合不一致と判定する。

したがって、本発明に係る画像照合装置１は、テンプレートマッチング法を用いた画像照合において、複数のテンプレートセットに関する一致度の高い点の位置関係を調べることにより画像の一致、不一致を行なう場合に、登録時に予め決められた位置ずれ量をもつようなテンプレートセットを複数登録することにより、照合性能に優れ、かつ入力に用いるセンサ面積を小さくすることができる。これは、画像照合装置の価格を決める支配的要因であるセンサのサイズの小型化に対して有利である。

また、本発明に係る画像照合装置１は、本来、画像照合処理に用いるべきではない、すなわち、照合画像と登録画像とのずれにより生じる不一致部分を登録テンプレートから除いて照合を行うとともに、登録画像と照合画像の一致、不一致を決定する照合スコアを判定する際の閾値に関しても、登録テンプレートの大きさ（個数）に応じて決めることができるので、照合性能を向上させることができる。

また、本発明に係る画像照合装置１は、予め決められた位置ずれ量を持つように複数の登録テンプレートセットを登録しておき、登録テンプレートセットごとに、照合画像との一致・不一致を判定するので、照合性能に優れ、かつ入力に用いるセンサ面積の小さい安価な照合装置が実現できる。

また、登録テンプレートを適応的に選択する方法としては、上述した本実施例以外に、登録テンプレートの大きさおよび形を、例えば、大きさ６４×６４、個数１６個のように決定しておき、位置ずれ量に応じて登録テンプレートの場所を移動させる方法を採用しても良い。

本願発明に係る画像照合装置の構成を示すブロック図である。 本願発明に係る画像照合装置で取り込んだ指紋を示す図である。 登録画像を分割して得られる各登録テンプレートを示す図である。 センサに対する登録テンプレートの範囲を示す図である。 テンプレートセットの登録手順についての説明に供するフローチャートである。 登録テンプレートを照合画像上で変位させる様子を示す図である。 最大値検出の説明に供する図である。 登録画像と照合画像とのずれ量を示す図である。 画像照合装置により画像照合する際の様子を示す第１のフローチャートである。 画像照合装置により画像照合する際の様子を示す第２のフローチャートである。

符号の説明

１ 画像照合装置、１０ 画像入力部、１１ ２値化部、１２ 不揮発性記憶部、１３ ワーキングＲＡＭ部、１４ 一致度検出部、１５ 最大値検出部、１６ 制御部、２０ センサ、２１ センサ駆動部、２２ ＡＤ変換部、２３ ２値化処理部、２４ 一致度検出部、２５，２７ レジスタ、２６ 最大値・最大値座標検出部

Claims (14)

1. 登録画像と照合画像が一致しているかどうかを判断する画像照合装置において、
   データを読み取るデータ読取手段と、
   上記データ読取手段により読み取られたデータに基づいて登録画像及び照合画像を生成する画像生成手段と、
   上記画像生成手段により生成された上記登録画像の中心位置から所定量ずれた位置のデータを上記データ読取手段で読み取れるように指示を出す指示手段と、
   上記指示手段により出された指示にしたがって、上記データ読取手段により読み取られたデータに基づき、上記登録画像の中心位置から所定量ずれた位置の周辺画像を生成する周辺画像生成手段と、
   上記登録画像と上記照合画像、及び上記周辺画像と上記照合画像から照合スコアを生成する照合スコア生成手段と、
   上記照合スコア生成手段により生成された照合スコアに基づき、上記登録画像と上記照合画像が一致しているかどうかを判断する判断手段を備えることを特徴とする画像照合装置。
2. 上記照合スコア生成手段は、
   上記登録画像及び上記周辺画像を所定の大きさのエリアごとに分け、当該エリアごとの登録テンプレートを生成する登録テンプレート生成手段と、
   上記登録テンプレート生成手段により生成された登録テンプレートを記憶する第１の記憶手段と、
   上記第１の記憶手段に記憶されている複数の登録テンプレートの中から所定の登録テンプレートを読み出す登録テンプレート読出手段と、
   上記登録テンプレート読出手段で読み出された登録テンプレートを、上記照合画像上で順次変位させ、各位置における一致度を検出する一致度検出手段と、
   上記一致度検出手段で検出された一致度が所定の閾値以上である場合には、当該一致度が検出された上記照合画像上での座標位置と、使用した登録テンプレートを関連付けて記憶する第２の記憶手段と、
   上記第２の記憶手段に記憶されている情報に基づいて所定の演算を行い、当該演算結果から登録画像と照合画像とのずれ量を算出するずれ量算出手段と、
   上記ずれ量算出手段により算出されたずれ量に基づき、上記登録画像から所定の範囲を選択する範囲選択手段と、
   上記範囲選択手段で選択された範囲に対応する登録テンプレートと、照合画像とに基づいて所定の照合処理を行い、照合スコアを生成するスコア生成手段を備え、
   上記登録テンプレート読出手段は、上記判断手段の判断結果に応じて、上記第１の記憶手段に記憶されている他の登録画像を選択し、当該他の登録画像の複数の登録テンプレートの中から所定の登録テンプレートを読み出し、
   上記判断手段は、照合手段により得られた照合スコアが所定の閾値以上かどうかを判断することを特徴とする請求項１記載の画像照合装置。
3. 上記登録テンプレート生成手段は、上記登録画像及び上記周辺画像を所定の大きさのエリアごとに分け、当該エリアごとに一次元又は二次元の登録テンプレートを生成することを特徴とする請求項２記載の画像照合装置。
4. 上記範囲選択手段により選択された範囲に対応する登録テンプレートの数に応じて、上記判断手段で上記照合スコアと対比する所定の閾値を変更する閾値変更手段を備えることを特徴とする請求項２記載の画像照合装置。
5. 上記指示手段は、上記範囲選択手段により選択された範囲に対応する登録テンプレートの数が所定値よりも少ない場合に、上記照合画像を再入力することを指示することを特徴とする請求項２記載の画像照合装置。
6. 上記登録画像と上記周辺画像の相対的な位置関係を求める位置関係検出手段を備えることを特徴とする請求項１記載の画像照合装置。
7. 上記指示手段は、上記周辺画像が上記登録画像と所定の位置関係で生成されるように、所定の指示を行うことを特徴とする請求項１記載の画像照合装置。
8. 登録画像と照合画像が一致しているかどうかを判断する画像照合方法において、
   データを読み取るデータ読取工程と、
   上記データ読取工程により読み取られたデータに基づいて登録画像及び照合画像を生成する画像生成工程と、
   上記画像生成工程により生成された上記登録画像の中心位置から所定量ずれた位置のデータを上記データ読取工程で読み取れるように指示を出す指示工程と、
   上記指示工程により出された指示にしたがって、上記データ読取工程により読み取られたデータに基づき、上記登録画像の中心位置から所定量ずれた位置の周辺画像を生成する周辺画像生成工程と、
   上記登録画像と上記照合画像、及び上記周辺画像と上記照合画像から照合スコアを生成する照合スコア生成工程と、
   上記照合スコア生成工程により生成された照合スコアに基づき、上記登録画像と上記照合画像が一致しているかどうかを判断する判断工程を備えることを特徴とする画像照合方法。
9. 上記照合スコア生成工程は、
   上記登録画像及び上記周辺画像を所定の大きさのエリアごとに分け、当該エリアごとの登録テンプレートを生成する登録テンプレート生成工程と、
   上記登録テンプレート生成工程により生成された登録テンプレートを第１のメモリに記憶する第１の記憶工程と、
   上記第１の記憶工程により第１のメモリに記憶されている複数の登録テンプレートの中から所定の登録テンプレートを読み出す登録テンプレート読出工程と、
   上記登録テンプレート読出工程で読み出された登録テンプレートを、上記照合画像上で順次変位させ、各位置における一致度を検出する一致度検出工程と、
   上記一致度検出工程で検出された一致度が所定の閾値以上である場合には、当該一致度が検出された上記照合画像上での座標位置と、使用した登録テンプレートを関連付けて第２のメモリに記憶する第２の記憶工程と、
   上記第２の記憶工程により第２のメモリに記憶されてた情報に基づいて所定の演算を行い、当該演算結果から登録画像と照合画像とのずれ量を算出するずれ量算出工程と、
   上記ずれ量算出工程により算出されたずれ量に基づき、上記登録画像から所定の範囲を選択する範囲選択工程と、
   上記範囲選択工程で選択された範囲に対応する登録テンプレートと、照合画像とに基づいて所定の照合処理を行い、照合スコアを生成するスコア生成工程を備え、
   上記登録テンプレート読出工程は、上記判断工程の判断結果に応じて、上記第１の記憶手段に記憶されている他の登録画像を選択し、当該他の登録画像の複数の登録テンプレートの中から所定の登録テンプレートを読み出すことを特徴とする請求項８記載の画像照合方法。
10. 上記登録テンプレート生成工程は、上記登録画像及び上記周辺画像を所定の大きさのエリアごとに分け、当該エリアごとに一次元又は二次元の登録テンプレートを生成することを特徴とする請求項９記載の画像照合方法。
11. 上記範囲選択工程により選択された範囲に対応する登録テンプレートの数に応じて、上記判断工程で上記照合スコアと対比する所定の閾値を変更する閾値変更工程を備えることを特徴とする請求項９記載の画像照合方法。
12. 上記指示工程は、上記範囲選択工程により選択された範囲に対応する登録テンプレートの数が所定値よりも少ない場合に、上記照合画像を再入力することを指示することを特徴とする請求項９記載の画像照合方法。
13. 上記登録画像と上記周辺画像の相対的な位置関係を求める位置関係検出工程を備えることを特徴とする請求項８記載の画像照合方法。
14. 上記指示工程は、上記周辺画像が上記登録画像と所定の位置関係で生成されるように、所定の指示を行うことを特徴とする請求項８記載の画像照合方法。
    

Images