JP2009211171A - 画像照合装置、画像照合方法および本人認証装置 - Google Patents

Abstract

【課題】照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うこと。
【解決手段】入力画像について対応点を探索する第１の対応付け部と、第１の対応付け部によって探索された対応点に基づいて入力画像を射影変換する射影変換補正部と、射影変換補正部によって射影変換された入力画像について対応点を探索する第２の対応付け部と、第２の対応付け部によって探索された対応点に基づいて射影変換補正部によって射影変換された入力画像に含まれるひずみを補正するひずみ補正部とを備えるように画像照合装置を構成する。
【選択図】 図２

Description

この発明は、登録画像内の所定の点に対応する対応点を入力画像内で探索して画像照合を行う画像照合装置および画像照合方法に関し、特に、照合対象に非線形な変形がある場合であっても高精度な照合を行うことができる画像照合装置、画像照合方法および本人認証装置に関するものである。

ＣＣＤ（Charge Coupled Devices）カメラ等のカメラで照合対象を撮像した入力画像と、予め登録された登録画像を照合する画像照合装置が知られている。このような画像照合装置は、近年では、セキュリティ性の向上および利便性の観点から、顔、指紋、掌紋といった生体認証（バイオメトリクス認証）にも用いられている。

たとえば、特許文献１には、検出面などに押し付けた指紋や掌紋の変形を補正する技術が開示されているが、利用者の負担や心理面を考慮すると、照合対象が顔や掌である場合、固定具を用いて照合対象の位置決めを行うことは好ましくない。

しかし、固定具を用いずに入力画像を取得する場合、カメラと照合対象との距離や、カメラに対する照合対象の回転およびカメラに対する照合対象の平行移動によって入力画像が登録画像とずれてしまうので、たとえ本人であっても照合に失敗することが懸念される。

このため、位相限定相関法を用いて入力画像／登録画像間の相似変換を行い、カメラとの距離、回転および平行移動に起因する入力画像と登録画像とのずれを補正する手法が提案されている。具体的には、位相限定相関法によって入力画像／登録画像間の相似変換（スケール、回転および平行移動）パラメータを求め、求めたパラメータに基づいて入力画像を相似変換する。

また、位相限定相関法を用いずに、入力画像と登録画像とのずれを補正する手法も提案されている。たとえば、特許文献２には、入力画像と登録画像との対応点を探索し、探索した対応点に基づいて入力画像を補正する技術が開示されている。

特開２００２−２９８１４１号公報 特開２００６−１０７０２８号公報

しかしながら、上記した位相限定相関法を用いて相似変換を行う手法は、登録画像／入力画像間の変形が相似変換にのみ起因する場合には有効であるものの、顔の表情の差あるいは掌の開き具合の差に起因する変形や、顔や掌を斜め方向から撮像した場合における台形ひずみといった非線形な変形には対応することができないという問題がある。

また、特許文献２の技術は、表情や掌の開き具合の差や台形ひずみに起因する非線形な変形に対応することができるものの、大きな補正量を許容すると照合精度が低下してしまうという問題がある。たとえば、カメラに対する掌の傾きが大きい場合、すなわち、掌を斜め方向から撮像した場合には、上記した台形ひずみが大きくなるが、このような大きな変形に対する補正を許容することは、すなわち、他人の入力画像についても大きな補正量を許容することを意味するので、他人の入力画像を誤って本人の入力画像と判定することも起こりうる。

これらのことから、照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うことができる画像照合装置あるいは画像照合方法をいかにして実現するかが大きな課題となっている。また、かかる課題は、画像照合装置の処理結果に基づいて本人認証を行う本人認証装置についても同様に発生する課題である。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うことができる画像照合装置、画像照合方法および本人認証装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため本発明は、登録画像内の所定の点に対応する対応点を入力画像内で探索して画像照合を行う画像照合装置であって、前記入力画像について前記対応点を探索する第１の対応点探索手段と、前記第１の対応点探索手段によって探索された前記対応点に基づいて前記入力画像を射影変換する射影変換手段と、前記射影変換手段によって射影変換された入力画像について前記対応点を探索する第２の対応点探索手段と、前記第２の対応点探索手段によって探索された前記対応点に基づいて前記射影変換手段によって射影変換された入力画像に残存するひずみを補正するひずみ補正手段とを備えたことを特徴とする。

また、本発明は、上記の発明において、前記第１の対応点探索手段が前記対応点を探索する際に前記登録画像上に設定する前記所定の点の数は、前記第２の対応点探索手段が前記対応点を探索する際に前記登録画像上に設定する前記所定の点の数よりも少ないことを特徴とする。

また、本発明は、上記の発明において、前記第２の対応点探索手段が前記対応点を探索する際の対応点探索範囲は、前記第１の対応点探索手段が前記対応点を探索する際の対応点探索範囲よりも狭いことを特徴とする。

また、本発明は、上記の発明において、前記登録画像と前記ひずみ補正手段によってひずみを補正された入力画像との類似度を算出する画像照合手段をさらに備えたことを特徴とする。

また、本発明は、上記の発明において、前記射影変換手段によって射影変換された入力画像に残存するひずみが前記ひずみ補正手段によって補正される際の補正量を算出する画像照合手段をさらに備えたことを特徴とする。

また、本発明は、上記の発明において、画像照合装置による処理結果に基づいて照合対象者が本人であるか否かを認証する本人認証装置であることを特徴とする。

また、本発明は、登録画像内の所定の点に対応する対応点を入力画像内で探索して画像照合を行う画像照合方法であって、前記入力画像について前記対応点を探索する第１の対応点探索工程と、前記第１の対応点探索工程によって探索された前記対応点に基づいて前記入力画像を射影変換する射影変換工程と、前記射影変換工程によって射影変換された入力画像について前記対応点を探索する第２の対応点探索工程と、前記第２の対応点探索工程によって探索された前記対応点に基づいて前記射影変換工程によって射影変換された入力画像に残存するひずみを補正するひずみ補正工程とを含んだことを特徴とする。

本発明によれば、入力画像について対応点を探索する第１の対応点探索手段と、第１の対応点探索手段によって探索された対応点に基づいて入力画像を射影変換する射影変換手段と、射影変換手段によって射影変換された入力画像について対応点を探索する第２の対応点探索手段と、第２の対応点探索手段によって探索された対応点に基づいて射影変換手段によって射影変換された入力画像に残存するひずみを補正するひずみ補正手段とを備えることとしたので、入力画像を射影変換したうえで、射影変換済の入力画像に含まれるひずみを補正することで、照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うことができるという効果を奏する。

また、本発明によれば、第１の対応点探索手段が前記対応点を探索する際に登録画像上に設定する所定の点の数を、第２の対応点探索手段が対応点を探索する際に登録画像上に設定する所定の点の数よりも少なくしたので、変形量の大きい台形ひずみの補正についても少ない対応点の探索で足りるので処理を高速に行うことができるという効果を奏する。

また、本発明によれば、第２の対応点探索手段が対応点を探索する際の対応点探索範囲を、第１の対応点探索手段が対応点を探索する際の対応点探索範囲よりも狭くしたので、射影変換によって線形変形が除去されたことを前提として第２の対応点探索手段が対応点を探索する際の対応点探索範囲を狭くすることで、対応点探索において許容する変形量を抑えることが可能となり、他人の入力画像を過補正することを防止することができるという効果を奏する。

また、本発明によれば、登録画像とひずみ補正手段によってひずみを補正された入力画像との類似度を算出することとしたので、射影変換手段によって線形変形および台形ひずみが除去され、さらに、ひずみ補正手段によってその他の非線形ひずみが除去された入力画像を画像照合に用いることで、高精度な画像照合を行うことができるという効果を奏する。

また、本発明によれば、射影変換された入力画像に残存するひずみが補正される際の補正量を算出することとしたので、対応点探索範囲を制限することなく画像照合を行うことができるという効果を奏する。

また、本発明によれば、本発明に係る画像照合装置による処理結果に基づいて照合対象者が本人であるか否かを認証する本人認証装置を構成することとしたので、高精度な本人認証を行うことができるという効果を奏する。

また、本発明によれば、入力画像について対応点を探索する第１の対応点探索工程と、第１の対応点探索工程によって探索された対応点に基づいて入力画像を射影変換する射影変換工程と、射影変換工程によって射影変換された入力画像について対応点を探索する第２の対応点探索工程と、第２の対応点探索工程によって探索された対応点に基づいて射影変換工程によって射影変換された入力画像に残存するひずみを補正するひずみ補正工程とを含むこととしたので、入力画像を射影変換したうえで、射影変換済の入力画像に含まれるひずみを補正することで、照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うことができるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像照合手法の好適な実施例を詳細に説明する。なお、以下では、本発明に係る画像照合手法を適用した画像照合装置が、掌の掌紋を照合する場合について説明するが、照合対象は掌紋に限らず、顔や目の虹彩といった生体の特徴全般とすることができる。また、以下では、本発明に係る画像照合手法の概要について図１および図２４を用いて説明した後に、画像照合装置についての実施例を図２〜図２３を用いて説明することとする。

図１は、本発明に係る画像照合手法の概要を示す図である。なお、本発明では、登録画像と入力画像との照合を、上記した特許文献２（特開２００６−１０７０２８号公報）の対応点探索手法を用いて行う。

同図に示すように、対応点探索手法では、登録画像に所定の格子点を設定し、各格子点に対応する対応点を入力画像上で探索する。そして、探索された対応点は、同図の入力画像に示したように、変形を含んだものとなる。

かかる変形は、平面射影変換に関する変形と、その他の変形（平面射影変換に関する変形以外の変形）とを含んでいる。ここで、登録画像と入力画像との差（変形）が生じる原因について図２４を用いて説明する。図２４は、変形の原因および変形補正のための補正手法を示す図である。なお、同図は、変形を「対象そのものの変形」、「撮影機材による変形」および「カメラと対象との位置関係による変形」の大項目に分類し、各大項目に含まれる小項目（同図の（１）〜（９）参照）に示した変形が線形変形／非線形変形のいずれに属するか、各変形を補正するための変換手法がどのように対応付けられるかをそれぞれ示したものである。また、同図に示すように、同図の（１）〜（６）は、非線形変形に属し、同図の（７）〜（９）は、線形変形に属する。

ここで、本発明に係る画像照合手法は、上記した特許文献１が相似変換によって補正していた「（７）平面内における対象物の移動」、「（８）平面内における対象物の回転」および「（９）対象物の遠近」に示した線形変形に加え、「（６）対象を斜めから撮像することによるひずみ（台形ひずみ）」に示した非線形変形を、対応点探索手法を用いつつ平面射影変換によって補正する（同図の（Ｂ）参照）。なお、同図の（Ｂ）については、後述する射影変換補正部１５が行う（図２参照）。

また、本発明に係る画像照合手法では、平面射影変換後の入力画像について再度対応点探索手法を用いることで、その他の非線形変形を補正する（同図の（Ａ）参照）。なお、同図の（Ａ）については、後述するひずみ補正部１７が行う（図２参照）。

図２４に示した「台形ひずみ」は、たとえば、掌をカメラに対して斜めにかざすと大きな変形量となるため、照合結果に悪影響を及ぼす。そこで、本発明に係る画像照合手法では、図１に示したように、１回目の対応付けによって得られた対応点に基づいて線形ひずみおよび台形ひずみを補正し、補正後の画像に対して２回目の対応付けを行うこととした。そして、２回目の対応付けによって得られた対応点に基づいて台形ひずみ以外の非線形な変形を補正することとした。

具体的には、１回目の対応付けによって得られた対応点を用いることによって、まず、平面射影変換に関する変形を射影変換補正し（図１の（１）参照）、登録画像と射影変換補正後の画像とを対応付け（２回目の対応付け）を行い（図１の（２）参照）、２回目の対応付けによって得られた対応点に基づいてその他の変形、すなわち、平面射影変換に関する変形以外の変形を補正することとした（図１の（３）参照）。そして、段階的に補正処理が施された入力画像と登録画像とを照合することとした（図１の（４）参照）。

このように、平面射影変換に関する変形を補正しておき、射影変換後の入力画像についてその他の変形に対する補正を行うことで、照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うことができる。以下では、図１で説明した本発明に係る画像照合手法を適用した画像照合装置についての実施例を説明する。

図２は、本実施例に係る画像照合装置１０の構成を示すブロック図である。なお、本実施例では、カメラ１１で撮像された入力画像と、登録画像記憶部１９に登録されている登録画像とを照合する場合について説明するが、入力画像および登録画像に対して所定の加工を行ったデータ、たとえば、入力画像および登録画像を照合用の特徴量へそれぞれ変換したデータを入力画像および登録画像としてそれぞれ用いることとしてもよい。

同図に示すように、画像照合装置１０は、カメラ１１と、掌紋画像取得部１２と、第１の対応付け部１３と、射影変換パラメータ推定部１４と、射影変換補正部１５と、第２の対応付け部１６と、ひずみ補正部１７と、画像照合部１８と、登録画像記憶部１９と、対応点探索部２０とを備えている。

カメラ１１は、ＣＣＤ（Charge Coupled Devices）カメラ等のカメラであり、カメラ１１の前にかざされた掌の掌紋を撮像する。そして、このカメラ１１は、撮像した画像データを掌紋画像取得部１２に対して出力する。また、掌紋画像取得部１２は、カメラ１１から受け取った画像データから掌紋部分を切り出すなどして入力画像として第１の対応付け部１３に対して出力する処理を行う処理部である。

第１の対応付け部１３は、登録画像記憶部１９に登録されている登録画像と掌紋画像取得部１２から受け取った入力画像との対応付けを行う処理部である。この第１の対応付け部１３は、登録画像に設定する格子点の数（登録画像の分割数）および対応点を探索する範囲（対応点探索手法における部分画像をずらす範囲）を対応点探索部２０へ通知し、対応点探索部２０から対応点の探索結果を受け取る。なお、第１の対応付け部１３は、対応点探索済の入力画像を射影変換パラメータ推定部１４へ出力する。

ここで、この第１の対応付け部１３が対応点探索部２０へ通知する格子点の数は、第２の対応付け部１６が対応点探索部２０へ通知する格子点の数よりも少ない数とすることができる。これは、第１の対応付け部１３によって行われる対応付けは、入力画像に含まれる平面射影変換に係る変形を補正することを目的として行われるためである。

射影変換パラメータ推定部１４は、第１の対応付け部１３から受け取った対応点探索済の入力画像に基づいて射影変換パラメータを推定し、推定した射影変換パラメータを射影変換補正部１５へ渡す処理を行う処理部である。具体的には、掌を平面と仮定すると、登録画像上の点Ｐ（ｘ_０，ｙ_０）と、入力画像上の対応点Ｑ（ｘ_１，ｙ_１）との関係は平面射影変換の関係となり、

となる。すなわち、ｘ_０と、対応点Ｑとの関係は式（１）で、ｙ_０と対応点Ｑとの関係は、式（２）で、それぞれ表される。

ここで、ｈ_０〜ｈ_８は、射影変換パラメータである。射影変換パラメータ推定部１４は、登録画像上の各格子点Ｐおよび入力画像上の対応点Ｑを、式（１）および式（２）にそれぞれ代入し、最小自乗法を用いて各射影変換パラメータ（ｈ_０〜ｈ_８）を求める。

射影変換補正部１５は、射影変換パラメータ推定部１４から受け取った射影変換パラメータ（ｈ_０〜ｈ_８）を代入した式（１）および式（２）を用い、入力画像上の全画素（ｘ_１，ｙ_１）を（ｘ_０，ｙ_０）へ変換する処理を行う処理部である。すなわち、射影変換補正部１５は、図２４に示した「（６）対象を斜めから撮像することによるひずみ、すなわち、台形ひずみ」、「（７）平面内における対象物の移動」、「（８）平面内における対象物の回転」、「（９）対象物の遠近」に関するずれ量（変形）を補正する。そして、この射影変換補正部１５は、射影変換補正済の入力画像を第２の対応付け部１６へ出力する。

ここで、第１の対応付け部１３、射影変換パラメータ推定部１４および射影変換補正部１５が行う処理の流れについて図３を用いて説明する。図３は、第１の対応付けおよび射影変換補正の概要を示す図である。同図に示すように、第１の対応付け部１３は、登録画像３１上に設定する格子点３１ａの数（登録画像の分割数）および対応点を探索する範囲（対応点探索手法における部分画像をずらす範囲）を対応点探索部２０へ通知する。

対応点探索部２０は、第１の対応付け部１３から指定された条件で入力画像３２上の対応点を探索する。そして、第１の対応付け部１３が対応点探索部２０から受け取った対応点探索済の入力画像には、同図に示すように対応点３２ａが含まれる。射影変換パラメータ推定部１４は、格子点３１ａおよび対応点３２ａを式（１）および式（２）へ代入して射影変換パラメータ（ｈ_０〜ｈ_８）を求める。

そして、射影変換補正部１５は、射影変換パラメータ（ｈ_０〜ｈ_８）を用いて入力画像を射影変換し、同図の３３に示す射影変換補正済画像を得る。なお、同図の３３ａに示した対応点は、第２の対応付け部１６によって探索されることになる。また、同図の３４に参考のために示した相似変換補正のみを行った画像の場合、台形ひずみに起因する大きなずれ量（変形）が残存してしまう。

ここで、同図の３３に示した射影変換補正済画像は、平面射影変換に関する変形を補正した画像であり、図２４に示した台形ひずみ以外の非線形ひずみが残存している。なお、この非線形な変形については、後述する第２の対応付け部１６およびひずみ補正部１７によって補正される。

第２の対応付け部１６は、登録画像記憶部１９に登録されている登録画像と射影変換補正部１５から受け取った射影変換補正済画像との対応付けを行う処理部である。この第２の対応付け部１６は、登録画像に設定する格子点の数（登録画像の分割数）および対応点を探索する範囲（対応点探索手法における部分画像をずらす範囲）を対応点探索部２０へ通知し、対応点探索部２０から対応点の探索結果を受け取る。なお、第２の対応付け部１６は、対応点探索済の入力画像をひずみ補正部１７へ出力する。

ここで、この第２の対応付け部１６が対応点探索部２０へ通知する格子点の数は、第１の対応付け部１３が対応点探索部２０へ通知する格子点の数よりも大きい数とすることができる。これは、第２の対応付け部１３によって行われる対応付けは、射影変換補正済画像に残存する非線形な変形を補正することを目的として行われるためである。なお、格子点を増やした場合であっても、射影変換補正済画像に残存する変形は射影変換補正前の入力画像に含まれる変形よりも小さいため、対応点探索部２０が対応点を探索する範囲（対応点探索手法における部分画像をずらす範囲）を小さくできるので、対応点探索処理を高速に行うことができる。

ひずみ補正部１７は、第２の対応付け部１６から受け取った対応点探索済の射影変換補正済画像に残存する変形を補正する処理を行い、補正済みの入力画像をひずみ補正済画像として画像照合部１８へ出力する処理を行う処理部である。ここで、第２の対応付け部１６およびひずみ補正部１７が行う処理の流れについて図４を用いて説明する。図４は、第２の対応付けおよびひずみ補正の概要を示す図である。

同図に示すように、第２の対応付け部１６は、登録画像４１上に設定する格子点４１ａの数（登録画像の分割数）および対応点を探索する範囲（対応点探索手法における部分画像をずらす範囲）を対応点探索部２０へ通知する。

対応点探索部２０は、第２の対応付け部１６から指定された条件で射影変換補正済画像４２上の対応点を探索する。そして、第２の対応付け部１６が、対応点探索部２０から受け取った対応点探索済の入力画像には、同図に示すように対応点４２ａが含まれる。ひずみ補正部１７は、射影変換補正済画像４２上の対応点４２ａを、登録画像４１上の格子点４１ａへ変換する補正を射影変換補正済画像４２の全画素について行うことで、同図の４３に示すひずみ補正済画像を得る。

画像照合部１８は、ひずみ補正部１７から受け取ったひずみ補正済画像（図４の４３参照）と、登録画像との間で類似度を算出する処理を行う処理部である。ここで、類似度の算出には、正規化相関係数等を用いることができる。また、この画像照合部１８は、図示しない認証処理部へ処理結果を出力する。そして、この認証処理部は、所定の閾値以上の類似度が得られたならば、認証対象者が本人であると判定し、それ以外の場合に他人であると判定することになる。なお、かかる認証処理部は、画像照合装置１０を含んだ本人認証装置が備えることとしてもよいし、画像照合装置１０自身が備えることとしてもよい。

登録画像記憶部１９は、ＲＡＭ（Random Access Memory）やハードディスク装置といった記憶デバイスで構成される記憶部であり、入力画像と照合する登録画像を記憶する。

対応点探索部２０は、第１の対応付け部１３あるいは第２の対応付け部１６から受け取った登録画像に設定する格子点の数（登録画像の分割数）および対応点を探索する範囲（対応点探索手法における部分画像をずらす範囲）に従い、登録画像上の格子点に対応する対応点を指示された画像内で探索する処理を行う処理部である。なお、この対応点探索部２０の詳細については、図６〜図２３を用いて後述することとする。

次に、画像照合装置１０が実行する処理手順について図５を用いて説明する。図５は、画像照合装置の処理手順を示すフローチャートである。同図に示すように、掌紋画像取得部１２は、掌紋画像を入力画像として取得し（ステップＳ１０１）、第１の対応付け部１３から指示された対応点探索部２０は、登録画像と入力画像との対応付けを行う（ステップＳ１０２）。

つづいて、射影変換パラメータ推定部１４は、射影変換パラメータを推定し（ステップＳ１０３）、射影変換補正部１５は、推定された射影変換パラメータを用いて入力画像に対する射影変換補正を実行する（ステップＳ１０４）。そして、第２の対応付け部１６から指示された対応点探索部２０は、登録画像と射影変換補正済画像との対応付けを行い（ステップＳ１０５）、ひずみ補正部１７は、射影変換補正済画像に対するひずみ補正を実行する（ステップＳ１０６）。

つづいて、画像照合部１８は、登録画像とひずみ補正済画像との類似度を算出し（ステップＳ１０７）、類似度が所定値以上であるか否かを判定する（ステップＳ１０８）。そして、図示しない認証処理部は、類似度が所定値以上である場合には（ステップＳ１０８，Ｙｅｓ）、本人と判定して（ステップＳ１０９）処理を終了する。一方、類似度が所定値未満である場合には（ステップＳ１０８，Ｎｏ）、他人と判定して（ステップＳ１１０）処理を終了する。

なお、本実施例では、第２の対応付け部１６は、対応点探索部２０が対応点を探索する範囲を、第１の対応付け部１３の場合よりも小さく制限したうえで照合および認証を行う場合について説明したが、対応点を探索する範囲を制限せずに照合および認証を行うこととしてもよい。この場合、探索する範囲を制限することなく求められた対応点に基づいてひずみ補正部１７が補正を実行し、実行された補正における補正量の大きさを画像照合部１８が算出することとなる。

この場合、上記した図示しない認証処理部は、補正量が所定値以下であれば本人と判定し、所定値よりも大きければ他人と判定する。一般的に、補正量が大きくなると局所解に陥りやすい傾向がみられるが、本発明では、台形ひずみについての補正が済んでいるため、補正量が従来に比べて小さくなり局所解に陥りにくくなる。

次に、対応点探索部２０の構成およびその動作について、さらに詳細に説明する。図６は、対応点探索部２０の構成を示すブロック図である。同図に示す対応点探索部２０は、（１）入力画像（すなわち、入力掌紋画像）を分割した入力部分画像と参照画像（すなわち、登録掌紋画像）を分割した参照部分画像との間の類似度を示す類似度画像を作成する類似度画像作成段階と、（２）複数の類似度画像を累積加算した結果に基づいて最適な対応点を決定する対応点決定段階とからなる。

具体的には、（１）類似度画像作成段階では、たとえば、７×７画素のサイズからなる参照部分画像を２１×２１画素のサイズからなる入力部分画像内を移動させつつ両画像間の相関値を順次求め、求めた相関値を画素値としてもつ類似度画像を作成する。このため、作成した類似度画像は、参照部分画像上の中心点が入力部分画像上の点にどの程度類似しているかを示すことになる。

次に、（２）対応点決定段階では、各類似度画像の画素値を垂直方向および水平方向について再帰的な累積加算を繰り返しながら各類似度画像を更新し、各類似度画像を形成する画素のうち最大の画素値をもつ画素の位置を求め、求めた位置を入力部分画像上での対応点として決定する。

このように、この対応点探索部２０によれば、従来よりも大局的な最適化を行っているためローカルミニマム（局所解）に陥り難くなり、また、累積加算を繰り返す最適化の微調整によって対応付けの精度が高くなり、さらに、並列分散処理が可能になるのでハードウェア化が容易となる。

次に、対応点探索部２０の構成について説明する。なお、ここでは参照画像、入力画像の順に画像を入力する場合を示すこととする。図６に示すように、対応点探索部２０は、画像入力部２０ａと、分割処理部２０ｂと、参照部分画像一時記憶部２０ｃと、類似度画像作成部２０ｄと、累積加算処理部２０ｅと、対応点決定部２０ｆとを備えている。

画像入力部２０ａは、縦横のサイズＩ、Ｊからなる参照画像Ｉ_０（ｉ，ｊ）（０≦ｉ≦Ｉ−１，０≦ｊ≦Ｊ−１）の入力を登録画像記憶部１９から、入力画像Ｉ_１（ｉ，ｊ）の入力を第１の対応付け部１３あるいは第２の対応付け部１６から、それぞれ受け付ける。

図７には参照画像２１を示しており、図８には入力画像２２を示している。ここでは、説明を簡単にするために、参照画像２１および入力画像２２としてアルファベット「ａ」の３２×３２画素からなる文字画像を用いて説明する。

分割処理部２０ｂは、画像入力部２０ａによって入力された入力画像および参照画像を入力部分画像および参照部分画像にそれぞれ分割する処理部である。ただし、入力画像の分割手順と参照画像の分割手順とはそれぞれ異なる。

参照画像を分割する場合には、参照画像上で縦方向にＭ個、横方向にＮ個サンプリングした点（ｐ_ｍ，ｑ_ｎ）（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１）を中心とした参照部分画像を作成する。図９は、図７に示した参照画像２１の分割結果の一例を示す図であり、同図に示すように、ここでは３２×３２画素の参照画像２１を７×７画素からなる２５個の参照部分画像に分割している。具体的には、ｐ_ｍ＝ｒｏｕｎｄ（１／Ｍ）、ｑ_ｎ＝ｒｏｕｎｄ（Ｊ／Ｎ）としている。ただし、ｒｏｕｎｄ（）は四捨五入を示している。

入力画像を分割する場合には、参照画像を分割する場合とは異なり、各入力部分画像の一部が重なり合う重複したデータをもつように分割する。図１０は、図８に示した入力画像２２の分割結果の一例を示す図であり、同図に示すように、ここでは３２×３２画素の入力画像２２を２１×２１画素からなる２５個の入力部分画像に分割している。

参照部分画像一時記憶部２０ｃは、分割処理部２０ｂで分割した各参照部分画像を一時記憶する記憶部であり、類似度画像作成部２０ｄが類似度画像を作成する際に、該当する参照部分画像が取り出される。

類似度画像作成部２０ｄは、入力部分画像／参照部分画像間の変形を考慮した類似度を算定し、算定した類似度を画素値としてもつ類似度画像Ｃ_ｍｎ（ｕ，ｖ）（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１，０≦ｕ≦Ｕ−１，０≦ｖ≦Ｖ−１）を作成する処理部である。ただし、Ｕ、Ｖは、それぞれ類似度画像の縦横のサイズであるものとする。この類似度としては、たとえば、正規化相関係数（σ_ｆｇ／（σ_ｆ・σ_ｇ））を用いることができる。

図１１は、参照部分画像および入力部分画像から類似度画像を作成する概念を示す図である。なお、ここでは、図９および図１０の２行２列に位置する入力部分画像および参照部分画像を用いることとする。

同図に示す入力部分画像５１／参照部分画像５２間の類似度を求める場合には、参照部分画像５２の中心画素を入力部分画像５１の左上部の画素に対応付けて正規化相関係数を計算し、計算結果を類似度画像５３の左上部の画素の画素値とする。その後、参照部分画像５２を右へずらし、同様の処理を行う。上記処理を参照部分画像５２をずらしながら入力部分画像５１の全画素について行うことによって類似度画像５３が求められる。

かかる類似度画像の作成処理を入力部分画像ごとに行うと、図１２に示すような複数の類似度画像が得られる。なお、参照部分画像の全ての画素の画素値が一定値である場合には、正規化相関係数の分母がゼロとなるため、この場合の類似度画像の画素値もゼロとなる。

累積加算処理部２０ｅは、図１３に示すように、各類似度画像をｊ方向、−ｊ方向、ｉ方向、−ｉ方向の順序で再帰的に累積加算する処理部である。具体的には、ｊ方向に累積加算する場合には、ｎ＝１〜Ｎ−１の類似度画像について、
Ｃ_ｍｎ（ｕ，ｖ）＝Ｃ_ｍｎ（ｕ，ｖ）＋α・Ｍａｘ（Ｃ_ｍｎ-1（ｐ，ｑ））
を順次再帰的に計算する。ただし、Ｍａｘ（）は最大値を示し、αは定数であり、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。

すなわち、ｊ方向に累積加算する場合には、図１４に示すように、Ｃ_ｍｎ−１（ｐ，ｑ）を中心とする３×３画素のうちの最大の画素値を求め、求めた最大の画素値をα倍してＣ_ｍｎ（ｐ，ｑ）の画素値に加算する処理を再帰的に繰り返すことになる。

また、−ｊ方向に累積加算する場合には、ｎ＝Ｎ−２〜０の類似度画像について、
Ｃ_ｍｎ（ｕ，ｖ）＝Ｃ_ｍｎ(ｕ，ｖ)＋α・Ｍａｘ（Ｃ_ｍｎ＋１（ｐ，ｑ））
を順次再帰的に計算する。ただし、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−２とする。すなわち、−ｊ方向に累積加算する場合には、図１５に示すように、Ｃ_ｍｎ＋１（ｐ，ｑ）を中心とする３×３画素のうちの最大の画素値を求め、求めた最大の画素値をα倍してＣ_ｍｎ（ｐ，ｑ）の画素値に加算する処理を再帰的に繰り返すことになる。

また、ｉ方向に累積加算する場合には、ｍ＝１〜Ｍ−１の類似度画像について、
Ｃ_ｍｎ（ｕ，ｖ）＝Ｃ_ｍｎ（ｕ，ｖ）＋α・Ｍａｘ（Ｃ_ｍ−１ｎ（ｐ，ｑ））
を順次再帰的に計算する。ただし、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１とする。すなわち、ｉ方向に累積加算する場合には、図１６に示すように、Ｃ_ｍ−１ｎ（ｐ，ｑ）を中心とする３×３画素のうちの最大の画素値を求め、求めた最大の画素値をα倍してＣ_ｍｎ（ｐ，ｑ）の画素値に加算する処理を再帰的に繰り返すことになる。

また、−ｉ方向に累積加算する場合には、ｍ＝Ｍ−２〜０の類似度画像について、
Ｃ_ｍｎ（ｕ，ｖ）＝Ｃ_ｍｎ(ｕ，ｖ)＋α・Ｍａｘ（Ｃ_ｍ＋１ｎ（ｐ，ｑ））
を順次再帰的に計算する。ただし、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−２、０≦ｎ≦Ｎ−１とする。すなわち、−ｉ方向に累積加算する場合には、図１７に示すように、Ｃ_ｍ＋１ｎ（ｐ，ｑ）を中心とする３×３画素のうちの最大の画素値を求め、求めた最大の画素値をα倍してＣ_ｍｎ（ｐ，ｑ）の画素値に加算する処理を再帰的に繰り返すことになる。

対応点決定部２０ｆは、累積加算処理部２０ｅと連携しながら累積加算後の類似度画像に基づいて対応点を決定する処理部である。具体的には、各方向についての累積加算処理を行った時点で各類似度画像の最大値の位置を検出し、それらの位置と前回の累積加算処理時における最大値の位置との変化が所定の範囲内でなければ累積加算処理をフィードバックして繰り返し、所定の範囲内となった時点で繰り返しを終了する。そして、繰り返し終了時における各類似度画像の最大値の位置を対応点として決定する。

たとえば、累積加算処理の繰り返しによって図１８に示す各類似度画像が得られた場合には、各類似度画像の最大値の位置の変化分を調べ、調べた変化分が所定の範囲内となった場合には、図１９に示すように各類似度画像の最大値の位置を求めてこれを対応点とする。そして、この対応点に基づいて入力画像のひずみを図示すると図２０あるいは図２１のようになる。

次に、図６に示した対応点探索部２０の処理手順について説明する。なお、上記説明と一部重複するが、図７〜図２１を用いて処理の流れを例示しつつ処理手順について説明することとする。

図２２は、図６に示した対応点探索部２０の処理手順を示すフローチャートである。同図に示すように、この対応点探索部２０が参照画像および入力画像を取得したならば、取得した参照画像を参照部分画像に分割する（ステップＳ２０１）。たとえば、図７に示した３２×３２画素の参照画像２１を図９に示した７×７画素からなる２５個の参照部分画像に分割して記憶する。この参照部分画像は、参照したい画像毎に予め記憶しておいてもよいし、また、参照部分画像ではなく、参照画像のみを予め別途記憶しておき、後述する入力画像と参照画像との類似度の計算の際に、記憶された参照画像から参照部分画像に分割してもよい。

つづいて、入力画像を入力部分画像に分割する（ステップＳ２０２）。たとえば、図８に示した３２×３２画素の入力画像２２を図１０に示した２１×２１画素からなる２５個の入力部分画像に分割する。

そして、この参照部分画像と入力部分画像との間の類似度画像を作成する（ステップＳ２０３）。たとえば、図１１に示すようにして入力部分画像５１と参照部分画像５２との類似度を画素値とする類似度画像５３の作成を入力部分画像毎に行って図１２に示したような複数の類似度画像を作成する。

つづいて、ｊ方向の累積加算処理（ステップＳ２０４）、−ｊ方向の累積加算処理（ステップＳ２０５）、ｉ方向の累積加算処理（ステップＳ２０６）、−ｉ方向の累積加算処理（ステップＳ２０７）を行い、類似度画像の最大値の位置を検出する（ステップＳ２０８）。具体的には、図１４〜図１７に示した加算処理を図１３に示すように再帰的に繰り返すことによって図１８に示したような類似度画像を作成し、図１９に示すように各類似度画像の最大値の位置を検出する。

そして、最大値の位置の変動が一定値以内であるか否かを判定し（ステップＳ２０９）、一定値以内でなければ（ステップＳ２０９，Ｎｏ）、ステップＳ２０４へ移行して同様の処理を繰り返す。一方、一定値以内であれば（ステップＳ２０９，Ｙｅｓ）、この位置を対応点として処理を終了する。

次に、図６に示した累積加算処理部２０ｅによるｊ方向の累積加算処理手順について説明する。図２３は、図６に示した累積加算処理部２０ｅによるｊ方向の累積加算処理手順を示すフローチャートである。なお、−ｊ方向、ｉ方向、−ｉ方向の累積加算処理についても同様である。

同図に示すように、まず、変数ｍ、ｕおよびｖを０にするとともに、変数ｎを１とする初期化を行う（ステップＳ３０１〜ステップＳ３０４）。ここで、変数ｍは、ｉ方向のインデックスとして用いる変数であり、変数ｎは、ｊ方向のインデックスとして用いる変数である。また、変数ｕ、ｖは探索範囲を示すｉ方向およびｊ方向の変数である。

そして、この初期化を終えたならば、
Ｃ_ｍｎ（ｕ，ｖ）＝Ｃ_ｍｎ（ｕ，ｖ）＋α・Ｍａｘ（Ｃ_ｍｎ-1（ｐ，ｑ））
の算定式による計算を行う（ステップＳ３０５）。

つづいて、変数ｖをインクリメントし（ステップＳ３０６）、インクリメントした変数ｖがＶよりも小さければ（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０５へ移行して加算処理を繰り返す。つまり、探索方位をｊ方向へずらす。

これに対して、変数ｖがＶ以上であれば（ステップＳ３０７，Ｎｏ）、変数ｕをインクリメントし（ステップＳ３０８）、インクリメントした変数ｕがＵよりも小さければ（ステップＳ３０９，Ｙｅｓ）、ステップＳ３０４へ移行して加算処理を繰り返す。つまり、探索範囲をｉ方向へずらす。

そして、変数ｕがＵ以上であれば（ステップＳ３０９，Ｎｏ）、ある画素についての計算を終了し、次の画素へ移行する。具体的には、変数ｎをインクリメントして注目画素をｊ方向へ移行させた後に（ステップＳ３１０）、この変数ｎをＮと比較し（ステップＳ３１１）、変数ｎがＮよりも小さければ（ステップＳ３１１，Ｙｅｓ）、ステップＳ３０３へ移行して加算処理を繰り返す。

これに対して、変数ｎがＮ以上であれば（ステップＳ３１１，Ｎｏ）、変数ｍをインクリメントして注目画素をｉ方向へ移行させた後に（ステップＳ３１２）、この変数ｍがＭよりも小さければ（ステップＳ３１３，Ｙｅｓ）、ステップＳ３０２ヘ移行して加算処理を繰り返し、変数ｍがＭ以上であれば（ステップＳ３１３，Ｎｏ）、処理を終了する。上記した一連の処理を行うことによって各類似度画像の全画素についてｊ方向の累積加算結果が得られることになる。

なお、図２３に示したフローチャートでは、変数ｕ、ｖのインクリメントを行いながら最大値を算出する場合について示した。しかしながら、これに限らず、あらかじめＣ_ｍｎ−１（ｕ，ｖ）に最大値フィルターを掛けた最大値フィルター画像Ｃ’_ｍｎ−１（ｕ，ｖ）を作成しておき、α倍してからＣ_ｍｎ（ｕ，ｖ）に対して加算することとしてもよい。

上述してきたように、本実施例では、入力画像について対応点を探索する第１の対応付け部と、第１の対応付け部によって探索された対応点に基づいて入力画像を射影変換する射影変換補正部と、射影変換補正部によって射影変換された入力画像について対応点を探索する第２の対応付け部と、第２の対応付け部によって探索された対応点に基づいて射影変換補正部によって射影変換された入力画像に含まれるひずみを補正するひずみ補正部とを備えるように画像照合装置を構成したので、入力画像を射影変換したうえで、射影変換済の入力画像に含まれるひずみを補正することで、照合対象に非線形な変形がある場合であっても固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行うことができる。

以上のように、本発明に係る画像照合装置および画像照合方法は、照合対象に非線形な変形がある場合の画像照合に有用であり、特に、固定具などの物理的な機構によって照合対象を位置決めすることなく高精度な照合を行いたい場合に適している。そして、本発明に係る本人認証装置は、高精度な本人認証を行いたい場合に適している。

本発明に係る画像照合手法の概要を示す図である。 本実施例に係る画像照合装置の構成を示すブロック図である。 第１の対応付けおよび射影変換補正の概要を示す図である。 第２の対応付けおよびひずみ補正の概要を示す図である。 画像照合装置の処理手順を示すフローチャートである。 対応点探索部の構成を示すブロック図である。 参照画像の一例を示す図である。 入力画像の一例を示す図である。 参照部分画像の一例を示す図である。 入力部分画像の一例を示す図である。 類似度画像の作成概念を示す図である。 各入力部分画像に対応する類似度画像を示す図である。 累積加算手順を示す図である。 ｊ方向の累積加算処理を示す図である。 −ｊ方向の累積加算処理を示す図である。 ｉ方向の累積加算処理を示す図である。 −ｉ方向の累積加算処理を示す図である。 累積加算後の類似度画像を示す図である。 図１８に示した類似度画像の最大値の位置を示す図である。 対応点に基づいて再構成した入力画像のひずみの一例を示す図である。 対応点に基づいて再構成した入力画像のひずみの一例を示す図である。 図６に示した対応点探索部の処理手順を示すフローチャートである。 累積加算手順の一例を示すフローチャートである。 変形の原因および変形補正のための補正手法を示す図である。

符号の説明

１０ 画像照合装置
１１ カメラ
１２ 掌紋画像取得部
１３ 第１の対応付け部
１４ 射影変換パラメータ推定部
１５ 射影変換補正部
１６ 第２の対応付け部
１７ ひずみ補正部
１８ 画像照合部
１９ 登録画像記憶部
２０ 対応点探索部
２０ａ 画像入力部
２０ｂ 分割処理部
２０ｃ 参照部分画像一時記憶部
２０ｄ 類似度画像作成部
２０ｅ 累積加算処理部
２０ｆ 対応点決定部
２１ 参照画像
２２ 入力画像
５１ 入力部分画像
５２ 参照部分画像
５３ 類似度画像

Claims (7)

1. 登録画像内の所定の点に対応する対応点を入力画像内で探索して画像照合を行う画像照合装置であって、
   前記入力画像について前記対応点を探索する第１の対応点探索手段と、
   前記第１の対応点探索手段によって探索された前記対応点に基づいて前記入力画像を射影変換する射影変換手段と、
   前記射影変換手段によって射影変換された入力画像について前記対応点を探索する第２の対応点探索手段と、
   前記第２の対応点探索手段によって探索された前記対応点に基づいて前記射影変換手段によって射影変換された入力画像に残存するひずみを補正するひずみ補正手段と
   を備えたことを特徴とする画像照合装置。
2. 前記第１の対応点探索手段が前記対応点を探索する際に前記登録画像上に設定する前記所定の点の数は、前記第２の対応点探索手段が前記対応点を探索する際に前記登録画像上に設定する前記所定の点の数よりも少ないことを特徴とする請求項１に記載の画像照合装置。
3. 前記第２の対応点探索手段が前記対応点を探索する際の対応点探索範囲は、前記第１の対応点探索手段が前記対応点を探索する際の対応点探索範囲よりも狭いことを特徴とする請求項１または２に記載の画像照合装置。
4. 前記登録画像と前記ひずみ補正手段によってひずみを補正された入力画像との類似度を算出する画像照合手段
   をさらに備えたことを特徴とする請求項１、２または３に記載の画像照合装置。
5. 前記射影変換手段によって射影変換された入力画像に残存するひずみが前記ひずみ補正手段によって補正される際の補正量を算出する画像照合手段
   をさらに備えたことを特徴とする請求項１または２に記載の画像照合装置。
6. 請求項１〜５のいずれか一つに記載された画像照合装置と、
   当該画像照合装置による処理結果に基づいて照合対象者が本人であるか否かを認証する認証手段と
   を備えたことを特徴とする本人認証装置。
7. 登録画像内の所定の点に対応する対応点を入力画像内で探索して画像照合を行う画像照合方法であって、
   前記入力画像について前記対応点を探索する第１の対応点探索工程と、
   前記第１の対応点探索工程によって探索された前記対応点に基づいて前記入力画像を射影変換する射影変換工程と、
   前記射影変換工程によって射影変換された入力画像について前記対応点を探索する第２の対応点探索工程と、
   前記第２の対応点探索工程によって探索された前記対応点に基づいて前記射影変換工程によって射影変換された入力画像に残存するひずみを補正するひずみ補正工程と
   を含んだことを特徴とする画像照合方法。

Images