JP2005235067A - 画像認識装置及び画像認識方法 - Google Patents

Abstract

【課題】読み取る画像の位置がずれていても、従来より正確に認証が行えるようにする。
【解決手段】画像比較部１４１の重なり評価部１４４は、まず照合画像と登録画像が重なっている領域の面積を算出する。また、重なり領域の面積を登録画像の面積で除算する。重なり評価部１４４は、算出（除算）した数値を重なり状態を表す指標（重なり指標）として出力する。画像認識部１４２の指標補正部１４５は、例えば、重なり指標が小さい場合に、重なり指標の減少に伴ってしきい値を下げる補正を行う。
【選択図】 図１

Description

本発明は、パターンマッチングを用いた画像認識に関し、特に、指紋や虹彩などの生体から得られる画像データを用いて個人認証を行うために用いる画像認識装置及び画像認識方法に関する。

一般に、パターンマッチングを用いた指紋認証技術では、一方の指紋画像の一部を切り出した部分的な画像を、他方の指紋画像の上で走査して重ね合わせ、２つを比較して類似性を表す指標を算出している（特許文献１，２、非特許文献１参照）。上記指紋認証技術を用いた装置では、算出した指標が、設定されているしきい値を越えていれば、２つの画像は同じであると判定し、２つの指紋画像は同じ人物の指のものであるという認証結果を出力する。上記しきい値は、所望とする保証の程度に対応し、予め固定された値が設定されている。

従来よりある指紋認証装置では、指紋の紋様を、光学式や静電容量式などのセンサにより読み取り、読み取ることで得られた二次元の画像データと、予め記録されている指紋画像データ（登録画像データ）とを比較して認証を行うようにしている。ここで、センサが検出する指紋の紋様の領域がずれると、読み取られた画像データが本人のものであっても、読み取られた画像データと登録画像データとを単純に重ね合わせて比較すると、２つのデータは一致しない。このような場合、２つの画像データの位置をずらして重ね、比較を行うようにしている（非特許文献２参照）。

なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
特開平６−３１９０２５号公報 特開平８−２８７２５９号公報 小林 哲二他、「細線化画像パターンマッチングによる指紋照合」、電子情報通信学会論文誌、Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．３， ｐｐ３３０−３４０，１９９６． Ａ．Ｍ．Ｂａｚｅｎ， ｅｔｃ．"Ａ Ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ Ｆｉｎｇｅｒｐｒｉｎｔ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ"，Ｐｒｏｃ． Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｉｒｃｕｉｔｓ Ｓｙｓｔｅｍ ａｎｄ Ｓｉｎｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ｐｐ．２０５−２１３，２０００．

ところで、一方の指紋画像に対して他方の指紋画像のはみ出しを許容しない場合には、２つの指紋画像のうち領域の広い方の領域内で、領域の小さい方をずらすことになる。この場合、２つの指紋画像は、２つの画像の領域の差の範囲内のみ、相対的にずらすことが可能となり、これを越えてずらすことはできない。ここで、より大きく位置をずらせるようにするため、領域の小さい方の領域をより小さくすることで、ずらす量を大きくすることができる。しかしながら、これでは、比較対象の画像の範囲が小さくなり、比較対象の指紋形状が単調になり、例えば、異なる人物の指紋であっても合致するという誤認証が発生しやすくなる。

また、はみ出すことを許容して２つの指紋画像の相対的な位置をずらすと、２つの画像の重なる領域が減少するため、正確な位置で重ね合わせができたとしても、得られる類似性を表す指標が低くなり、不一致という誤認証が発生しやすくなる。
以上に説明したように、パターンマッチングによる認証では、読み取る画像の位置がずれると、正確な認証が困難になるという問題があった。

本発明は、以上のような問題点を解消するためになされたものであり、読み取る画像の位置がずれていても、従来より正確に２つの画像データの比較が行えるようにすることを目的とする。

本発明に係る画像認識装置は、入力された第１画像データと第２画像データとの位置関係を相対的にずらしながら重ね合わせて比較し、第１画像データと第２画像データとの関係を示す指標を算出する画像比較部と、この画像比較部から出力された指標と予め設定されているしきい値とを比較することで第１画像に対する第２画像の同一性を判定する画像認識部とを備えるものである。

上記画像認識装置において、画像比較部は、第１画像データと第２画像データとの類似性を表す類似性指標と、第１画像データと第２画像データとの重なりの状態を表す重なり指標とを算出する。
従って、画像認識部は、２つの画像データの類似性に加え、２つの画像データの重なりの状態も指標として用い、２つの画像データの類似性を判定する。

上記画像認識装置において、画像認識部は、重なり指標に応じてしきい値を補正して補正しきい値を生成し、類似性指標と補正しきい値とを比較することで第１画像に対する第２画像の同一性を判定する。また、画像認識部は、重なり指標に応じて類似性指標を補正した補正類似性指標を生成し、補正類似性指標としきい値とを比較することで第１画像に対する第２画像の同一性を判定する。

上記画像認識装置において、画像認識部は、重なり指標に応じてしきい値を補正して補正しきい値を生成し、重なり指標に応じて類似性指標を補正した補正類似性指標を生成し、補正類似性指標と補正しきい値とを比較することで第１画像に対する第２画像の同一性を判定する。

また、上記画像認識装置において、画像比較部は、第１画像と第２画像との比較において、重なった画素同士の輝度値を比較することで類似性指標を算出する。また、画像比較部は、第１画像と第２画像との比較において、第１画像と第２画像とが重なっている領域の割合より重なり指標を算出する。また、画像比較部は、第１画像と第２画像とが重なっている領域に存在する第１画像の画素の数の割合より重なり指標を算出する。なお、画像認識部は、重なり指標の一次関数として補正を行うようにしてもよい。

本発明に係る画像認識方法は、入力された第１画像データと第２画像データとの位置関係を相対的にずらしながら重ね合わせて比較し、第１画像データと第２画像データとの関係を示す指標を算出する第１ステップと、指標と予め設定されているしきい値とを比較することで第１画像に対する第２画像の同一性を判定する第２ステップとを備える。
上記画像認識方法において、第１ステップでは、第１画像データと第２画像データとの類似性を表す類似性指標と、第１画像データと第２画像データとの重なりの状態を表す重なり指標とを算出する。従って、２つの画像データの類似性に加え、２つの画像データの重なりの状態も指標として用いられ、２つの画像データの類似性が判定される。

上記画像認識方法において、第２ステップでは、重なり指標に応じてしきい値を補正して補正しきい値を生成し、類似性指標と補正しきい値とを比較することで第１画像に対する第２画像の同一性を判定する。また、第２ステップでは、重なり指標に応じて類似性指標を補正した補正類似性指標を生成し、補正類似性指標としきい値とを比較することで第１画像に対する第２画像の同一性を判定する。

また、上記画像認識方法において、第２ステップでは、重なり指標に応じてしきい値を補正して補正しきい値を生成し、重なり指標に応じて類似性指標を補正した補正類似性指標を生成し、補正類似性指標と補正しきい値とを比較することで第１画像に対する第２画像の同一性を判定する。

また、上記画像認識方法において、第１ステップでは、第１画像と第２画像との比較において、重なった画素同士の輝度値を比較することで類似性指標を算出しても良く、第１ステップでは、第１画像と第２画像との比較において、第１画像と第２画像とが重なっている領域の割合より重なり指標を算出するようにしてもよい。また、第１ステップでは、第１画像と第２画像とが重なっている領域に存在する第１画像の画素の数の割合より重なり指標を算出するようにしてもよい。なお、第２ステップでは、重なり指標の一次関数として補正を行うようにしてもよい。

以上説明したように、本発明では、第１画像データと第２画像データとの同一性を、例えば、第１画像データと第２画像データとの類似性を表す類似性指標と、第１画像データと第２画像データとの重なりの状態を表す重なり指標などの、第１画像データと第２画像データとの関係を示す指標により、判定するようにした。この結果、本発明によれば、読み取る画像の位置がずれていても、従来より正確に２つの画像データの比較が行えるようになり、例えばより正確な認証が行えるようになるという優れた効果が得られる。

以下、本発明の実施の形態について図を参照して説明する。
図１は、本発明の実施の形態における画像認識装置の構成例を示す構成図である。本画像認識装置は、例えば、生体情報である指紋の照合を行う指紋認証装置である。なお、本発明の画像認識装置は、指紋認証に限らず、例えば、画像読み取り装置で読み取った掌形や虹彩などの生体情報，また筆跡などの部分的な画像データ同士を比較するなど、形状が類似した２つ画像データ同士を比較する全ての場合に適用可能である。

図１の装置は、例えば指紋の紋様を画像データとして読み取る画像読み取り部１０１と、読み取った画像データに二値化処理などの画像処理を加える画像処理部１０２とを備えている。また、図１の装置は、読み取られて画像処理部１０２により画像処理された照合対象の照合画像と記憶部１０３に記憶されている登録画像とを比較照合する画像照合部１０４を備えている。

登録画像は、例えば、予め用意してある利用者本人の指紋を画像読み取り部１０１で読み取り、画像処理部１０２で画像処理をし、記憶部１０３に記録した指紋の画像データである。また、例えば、生体情報である虹彩を用いた照合に図１の装置を適用する場合、よく知られているＣＣＤなどのイメージセンサにより画像読み取り部１０１を構成し、記憶部１０３には、画像読み取り部１０１により予め読み取っておいた利用者本人の虹彩の画像データを記録し、登録画像としておけばよい。また、同様の構成で、筆跡などの照合を行うことも可能である。

以降では、指紋の認証に本発明を適用した場合を例に説明し、認証のための新たに読み取られた画像データを「照合画像」とし、新たに読み取られた画像データの比較対象となる予め用意されている画像データを「登録画像」として説明する。

指紋認証に用いる場合、画像読み取り部１０１は、例えば、静電容量式の指紋センサであり、上部に配置された物体までの距離を検出する検出セルが、２次元方向に正方配列されたものである。検出セルは、例えば静電容量を検出するものである。検出セルは、例えば、上部の物体が接触している状態を「０」とし、上部の物体が検出不可能な距離まで離れた状態を「２５５」とし、上部に存在する物体までの距離に対応して２５６階調の多値信号を出力する。

画像読み取り部１０１の上に指の指紋部分が置かれる（接触する）と、各検出セルでは、上部の指紋の凹凸に対応し、凸部はより「０」に近い値を出力し、凹部はより「２５５」に近い値を出力する。画像処理部１０２は、検出セルのマトリクス配置の状態を反映させ、上述した各検出セルの出力値に濃淡を反映させて合成し、図２に示すような指紋の紋様に対応した画像データ（照合画像）とする。なお、以降では、画像は、画像データを示すものとする。

一方、記憶部１０３には、予め指紋の登録画像が記録されており、上述したように画像読み取り部１０１に検出されて画像処理部１０２により処理された照合画像と、記憶部１０３に記録されている登録画像とを、画像照合部１０４が照合する。
画像照合部１０４は、得られた照合画像と登録画像とを比較して指標を出力する画像比較部１４１と，画像比較部１４１から出力された指標により認証判定を行う画像認識部１４２とから構成されている。

画像比較部１４１は、類似性評価部１４３と重なり評価部１４４とを備えている。画像比較部１４１は、照合画像と登録画像とをずらしながら重ね合わせて比較し、指標を生成して出力する。指標を生成するにあたって、画像比較部１４１では、類似性評価部１４３が、照合画像と登録画像の重ね合わせにより重なった２つの画素の輝度値を比較して類似性を示す指標を算出する。また、画像比較部１４１では、重なり評価部１４４が、照合画像と登録画像の重なりの状態を評価し、評価の結果を示す指標を算出する。

画像認識部１４２は、画像比較部１４１から出力された類似性を示す指標と重なりの状態を示す指標と、予め設定されているしきい値とを用い、照合画像と登録画像との同一性を判定（認証判定）する。画像認識部１４２では、指標補正部１４５が、重なり状態を表す指標を用いて設定されているしきい値を補正し、補正しきい値を出力する。また、画像認識部１４２では、認証判定部１４６が、類似性を表す指標と補正しきい値とを比較することで認証判定を行い、判定の結果（認証結果）を出力する。なお、認証判定部１４６は、２つの画像に同一性がないと判定した後、画像比較部１４１で全ての比較が終わっていなければ、画像比較部１４１へ処理を戻す。

以下、図３のフローチャートを用い、図１に示す指紋認証装置の動作例について説明する。まず、ステップＳ３０１で、画像比較部１４１は、入力された照合画像と登録画像との位置関係をずらして重ね合わせる。画像のずらしは、照合画像と登録画像とを重ね合わせ、一方の画像に対して他方の画像を走査させることで行い、走査の範囲、刻み幅、順序は認証前に予め定めておく。

図１に示す指紋認証装置では、照合画像と登録画像と間での大きな位置ずれに対応するために、図４に示すように、画像を走査する範囲は、２つの画像各々の領域よりも広くし、照合画像と登録画像との双方に他方の画像と重ならないはみ出し領域が存在する程度に大きくずらした重ね合わせを行う。

次に、ステップＳ３０２で、画像比較部１４１の類似性評価部１４３は、図５に示すように、まず、２つの画像の重ね合わせにより重なった照合画像の画素Ｐ１と登録画像の画素Ｐ２の、各々の輝度値Ｂ_P1、とＢ_P2の積(Ｂ_P1*Ｂ_P2)の総和(ΣＢ_P1*Ｂ_P2)を算出する。

指紋パターンを黒画素（輝度値１）と白画素（輝度値０）で表す白黒二値画像の場合、上記総和は、照合画像と登録画像との重ね合わせにより一致した画素数となり、２つの画像の類似性が高いほど数値は大きくなる。また、上記総和は画素数が多いほど大きくなるため、２つの画像の類似性だけでなく照合画像に含まれる画素数にも依存する。

画素数の影響を相殺するために、一致した画素数を照合画像に含まれる画素数で除算した一致率を算出することも可能である。照合画像と登録画像との類似性が高いほど一致画素数が多くなり、一致率は大きくなる。ステップＳ３０２で、類似性評価部１４３は、類似の程度を表す指標（以下、類似性指標：Ｍ）としてこの一致率を出力する。

なお、輝度値の諧調は、白黒二値画像を表す二値に限るものではなく、濃淡画像を表す多値でもよい。多値の場合、先に輝度値を正規化すれば、算出する総和は元々の画素数の影響を受けなくなるため、改めて画素数で除算する必要はなく、総和をこのまま類似性指標として出力することもできる。

次に、ステップＳ３０３で、画像比較部１４１の重なり評価部１４４は、まず図４に示す照合画像の領域（Ａ１）と登録画像の領域（Ａ２）が重なっている領域（重なり領域:Ａo）の面積を算出する。また、重なり領域Ａoの面積を登録画像の領域Ａ２の面積で除算する。

算出（除算）した数値は、登録画像の領域Ａ２のうち、照合画像の領域Ａ１と重なっている面積の割合である。重なり評価部１４４は、算出した数値を重なり状態を表す指標（重なり指標：Ｎ）として出力する。
Ｎ=Ａo/Ａ２…（１）

次に、ステップＳ３０４で、画像認識部１４２の指標補正部１４５は、図６のポイントＢのように重なり指標Ｎが小さい場合に、重なり指標Ｎの減少に伴ってしきい値を下げる補正を行う。重なり指標が小さい場合、２つの画像を正確な位置で重ね合わせたとしても、重なり得る画素自体が少ないため、得られる類似性指標が小さくなる。このような状態では、以降の認証判定のステップで、認証判定を行うためのしきい値を超えずに誤認証となる。ステップＳ３０４の動作は、上述した誤認証の状態を防ぐために行う。

上記しきい値の補正量（しきい値補正量：ΔＴＨ）は、図６に示すように、重なり指標Ｎが最大値Ｎ_maxの時には補正を行わず０とし、重なり指標Ｎの減少に従ってしきい値をより大きく下げるために増加させる。補正しきい値を算出するステップＳ３０４では、下式により予め定めたしきい値（初期しきい値：ＴＨ_o）を補正したしきい値（補正しきい値：ＴＨｍ）として算出して出力する。
ＴＨｍ=ＴＨ_o−ΔＴＨ・・・（２）

しきい値は、上述した（２）式により、図６に示すように重なり指標Ｎに応じて補正される。
次に、ステップＳ３０５で、画像認識部１４２の認証判定部１４６は、類似性指標Ｍと補正しきいＴＨｍ値とを比較し、類似性指標Ｍが補正しきい値ＴＨｍを超えていた場合には２つの画像は同じであると判定し、超えていない場合には２つの画像は異なるものであると判定する。

ステップＳ３０５で、同じ画像と判定した場合、認証判定部１４６は、２つの画像は同じ指のものであるという認証結果（認証ＯＫ）を出力する。ステップＳ３０５で異なる画像と判定した場合、認証判定部１４６は、予め定めた登録画像に対する照合画像の全ての走査が終了した状態を確認する（ステップＳ３０６）。

全ての走査が終了していなければ、認証判定部１４６は、処理を画像比較部１４１に戻す。このことにより、ステップＳ３０１からの動作が再度開始される。一方、ステップＳ３０６で、全ての走査が終了していることが確認された場合、認証判定部１４６は、２つの画像は異なる指のものであるという認証結果（認証ＮＧ）を出力する。

上述した動作例において、重なり指標Ｎをパラメータとして変動するしきい値補正量ΔＴＨは、値が大きいほどしきい値が下がり、この補正量ΔＴＨを用いると同じ照合画像であると認証されやすくなる。しかしながら、しきい値が小さいほど、異なる指の照合画像であっても、登録画像と同じであると誤認証されやすくなる。

従って、予め照合実験を行って認証精度が最も良くなるように、指紋認証装置の特性の最適化を行うことも可能である。例えば、しきい値補正量ΔＴＨは、重なり指標Ｎの一次関数として、以下の（３）式で示すことができる。
ΔＴＨ＝Ｓ＊（Ｎmax−Ｎ）・・・（３）

この場合には、事前に照合実験を行い、認証精度が最も良くなる初期しきい値ＴＨ₀及び（３）式の傾きＳの組み合わせを探索し、設定してもよい。しきい値補正量ΔＴＨは、上記のように一次関数に限るものではない。しきい値補正量ΔＴＨは、重なり指標Ｎが最大値Ｎｍaxの時に０となり、重なり指標Ｎの減少に伴い増加するものであれば、重なり指標Ｎの減少に伴ってしきい値を下げる補正を行うことができるため、二次等のより高次の関数やステップ的に変化する関数で示すようにしてもよい。

上記関数は、認証処理全てにおいて共通であってもよく、また、指にあわせて個別に設定することも可能である。上記の例では、共通の初期しきい値ＴＨ₀及び傾きＳを用いてもよく、指にあわせて初期しきい値ＴＨ₀又は傾きＳを設定してもよい。また、上述した動作例において、照合画像と登録画像とを入れ替えて扱ってもよいことは、いうまでもない。

以上説明したように、図１に示す装置によれば、２つの画像の間のずれに対応して大きく画像をずらして重ね合わせて類似性を表す指標を算出し、かつ、２つの画像の重なりの状態を表す指標を算出してしきい値を補正し、補正したしきい値と類似性を表す指標とにより認証を行うようにした。従って、例えば、照合画像と登録画像とに読み取る際の指が置かれる位置のずれに起因した大きな位置ずれがある場合でも、大きなずらしにより照合画像と登録画像との重なりが小さくなることに起因する誤認証が防げ、正確な認証が行えるようになる。

次に、本発明に係る画像認識装置の他の例について説明する。
図１に示した装置では、画像照合部１０４が、認証判定で比較する２つの数値である類似性を表す指標としきい値のうち、しきい値の方を、照合画像と登録画像との重なりの状態を表す指標を用いて補正した。

これに対し、本実施の形態では、画像照合部を図７に示すように構成し、もう一方の類似性を表す指標の方を補正し、図１に示した画像照合部１０４と同様の効果を得るものである。図７に示す画像照合部では、画像認識部７４２が、指標補正部７４５と認証判定部７４６とを備える。
指標補正部７４５は、重なり評価部１４４から出力された重なり状態を表す指標を用い、画像比較部１４１から出力された類似性を表す指標を補正した類似性を表す指標を算出する。

また、認証判定部７４６は、指標補正部７４５から出力された類似性を表す指標（補正された指標）と、予め定められているしきい値とを比較し、認証判定を行い結果を出力する。
画像認識部７４２が２つの画像が違うと判定した場合、画像比較部１４１で全ての比較が終わってなければ、画像認識部７４２（認証判定部７４６）は、画像比較部１４１へ処理を戻す。

以下、図７に示す画像照合部の動作例について、図８のフローチャートを用いて説明する。以下では照合画像を基準にした場合を例として説明する。
まず、ステップＳ８０１で、画像比較部１４１は、入力された照合画像と登録画像との位置関係をずらして重ね合わせる。画像のずらしは、照合画像と登録画像とを重ね合わせ、一方の画像に対して他方の画像を走査させることで行い、走査の範囲、刻み幅、順序は認証前に予め定めておく。

図７に示す画像照合部でも、図１に示した画像照合部１０４と同様に、照合画像と登録画像と間での大きな位置ずれに対応するために、図４に示すように、画像を走査する範囲は、２つの画像各々の領域よりも広くし、照合画像と登録画像との双方に他方の画像と重ならないはみ出し領域が存在する程度に大きくずらした重ね合わせを行う。

次に、ステップＳ８０２で、画像比較部１４１の類似性評価部１４３は、図５に示すように、まず、２つの画像の重ね合わせにより重なった照合画像の画素Ｐ１と登録画像の画素Ｐ２の、各々の輝度値Ｂ_P1、とＢ_P2の積(Ｂ_P1*Ｂ_P2)の総和(ΣＢ_P1*Ｂ_P2)を算出する。

指紋パターンを黒画素（輝度値１）と白画素（輝度値０）で表す白黒二値画像の場合、上記総和は、照合画像と登録画像との重ね合わせにより一致した画素数となり、２つの画像の類似性が高いほど数値は大きくなる。また、上記総和は画素数が多いほど大きくなるため、２つの画像の類似性だけでなく照合画像に含まれる画素数にも依存する。

画素数の影響を相殺するために、一致した画素数を照合画像に含まれる画素数で除算した一致率を算出することも可能である。照合画像と登録画像との類似性が高いほど一致画素数が多くなり、一致率は大きくなる。ステップＳ８０２で、類似性評価部１４３は、類似の程度を表す指標（以下、類似性指標：Ｍ）としてこの一致率を出力する。

次に、ステップＳ８０３で、画像比較部１４１の重なり評価部１４４は、まず図４に示す照合画像の領域（Ａ１）と登録画像の領域（Ａ２）が重なっている領域（重なり領域:Ａo）の面積を算出する。また、重なり領域Ａoの面積を登録画像の領域Ａ２の面積で除算する。

算出（除算）した数値は、登録画像の領域Ａ２のうち、照合画像の領域Ａ１と重なっている面積の割合である。重なり評価部１４４は、算出した数値を重なり状態を表す指標（重なり指標：Ｎ）として出力する。
Ｎ=Ａo/Ａ２…（１）

次に、ステップＳ８０４で、指標補正部７４５は、以下に示す（４）式により、類似性評価部１４３が算出した類似性指標Ｍに対して補正を行った類似性指標（補正類似性指標：Ｍｍ）を算出して出力する。
Ｍｍ＝Ｍ＊（Ｍｍax/Ｍref）・・・（４）

次のステップＳ８０５で、画像認識部７４２の認証判定部７４６は、補正した類似性指標Ｍｍと予め定めたしきい値ＴＨを比較し、補正した類似性指標Ｍｍがしきい値ＴＨを超えていた場合には２つの画像は同じであると判定し、超えていない場合には２つの画像は異なるものであると判定する。

ここで、指標補正部７４５の動作について、より詳細に説明する。
登録画像に対して照合画像が完全に重なっている場合には、照合画像の全ての画素に関して登録画像の画素との比較を行えば、容易に類似性指標Ｍが算出できる。しかしながら、照合画像の一部分が登録画像と重なっていない場合には、重なっていない部分にある照合画像の画素は、登録画像の画素との比較が行えない。２つの画像が重なっていない場合、比較できない画素があるために、類似性指標Ｍは、重なっている場合に比較して小さくなる。

登録画像に対して照合画像が完全に重なり、重なり指標Ｎが最大値Ｎmaxとなる場合に得られる類似性指標Ｍの最大値が、照合画像と登録画像とを照合した場合に得られる最大の類似性指標Ｍmaxとなる。また、登録画像に対する照合画像の重なりが小さく、重なり指標ＮがＮmaxより小さくなるに従い、得られる類似性指標Ｍの最大値は、Ｍmaxより小さくなる。

一般に、認証判定を行うしきい値ＴＨは、例えば、指紋認証装置が運用されるセキュリティのレベルに応じ、類似性指標Ｍの最大値Ｍmaxを基準としてある割合で設定する。
重なり指標ＮがＮmaxより小さい場合には、得られる類似性指標Ｍの最大値はＭmaxより小さくなるため、Ｍmaxを基準として設定しているしきい値ＴＨは相対的に高くなる。

例えば、Ｍmaxの５０％にしきい値ＴＨが設定され、重なり指標Ｎが小さく類似性数値指標Ｍがとり得る最大値がＭmaxの４０％程度にしかならない場合には、全ての場合に得られる類似性指標Ｍは、しきい値ＴＨを超えることがない。これでは、たとえ同じ対象の照合画像と登録画像とを比較して照合したとしても、この重なりの状態の時の照合全ての場合に、照合画像は登録画像とは異なると誤認証されることになる。

このような誤認証は、認証判定において比較する２つの数値であるしきい値ＴＨ又は類似性指標Ｍのいずれか一方を、重なり指標Ｎの減少に伴って補正することで、防げるようになる。図１に示した画像認識部１４２の構成が、重なり指標Ｎの減少に伴って、しきい値ＴＨを補正する場合の例である。図７に示す画像認識部７４２は、重なり指標Ｎの減少に伴って、類似性指標Ｍを補正するようにしたものである。

上述したように、重なり指標Ｎの減少に伴い得られる類似性指標Ｍの最大値がしきい値設定の基準であるＭmaxから減少するために、相対的にしきい値ＴＨが高くなり誤認証が生じ易くなる。重なり指標Ｎによらずに得られる類似性指標Ｍの最大値がＭmaxになれば、上述した誤認証は、抑制できるようになる。

２つの画像を比較した時に得られると想定される類似性指標Ｍの最大値をＭref（想定最大類似性指標：Ｍref）とすると、ＭrefがＭmaxとなるように類似性指標Ｍを補正すれば、重なり指標Ｎによらずに得られる類似性指標Ｍの最大値をＭmaxにすることができる。この補正によれば、重なり指標Ｎが小さい場合でも、類似性指標Ｍがとり得る最大値を最大値Ｍmaxにすることができるため、しきい値ＴＨの相対的なレベルを変えずに認証を行うことが可能となる。

以上に詳述したように、補正類似性指標Ｍｍを算出し、算出したＭｍと予め定めたしきい値ＴＨを比較することで、認証判定部７４６は、判定を行う（ステップＳ８０５）。ステップＳ８０５の判定で、同じ画像との判定がされた場合、認証判定部７４６は、２つの画像は同じ指のものであるという認証結果（認証ＯＫ）を出力する。一方、ステップＳ８０５で、異なる画像と判定された場合、認証判定部７４６は、予め定めた登録画像に対する照合画像の全ての走査が終了した状態を確認する（ステップＳ８０６）。

全ての走査が終了していなければ、認証判定部７４６は、処理を画像比較部１４１に戻す。このことにより、ステップＳ８０１からの動作が再度開始される。一方、ステップＳ８０６で、全ての走査が終了していることが確認された場合、認証判定部７４６は、２つの画像は異なる指のものであるという認証結果（認証ＮＧ）を出力する。

図７に示す画像照合部において、想定最大類似性指標Ｍrefは、図９に示すように、重なり指標Ｎが最大値Ｎmaxの時に最大値Ｍmaxとなり、重なり指標Ｎの減少に伴って減少するものとすることができる。重なり指標Ｎをパラメータとして変動する想定最大類似性指標Ｍrefは、値が小さいほど類似性指標はより大きな数値に補正されて同じ照合画像であると認証されやすくなる。

しかしながら、同時に、異なる指の照合画像であっても同じ照合画像であると誤認証されやすくなる。このため、図１の画像照合部１０４の場合と同様に、予め照合実験を行って認証精度が最も良くなるように特性の最適化を行うこともできる。例えば、想定最大類似性指標Ｍrefを重なり指標Ｎの一次関数とした場合は、以下の（５）式で表すことができる。
Ｍref＝Ｍmax−Ｔ＊（Ｎmax−Ｎ）・・・（５）

この場合には、事前に照合実験を行い、認証精度が最も良くなるしきい値ＴＨ及び上式の傾きＴの組み合わせを探索し設定してもよい。想定最大類似性指標Ｍrefを算出する式は、上記のように一次関数に限るものではない。重なり指標Ｎが最大値Ｎmaxの時にＭmaxとなり重なり指標Ｎの減少に伴い減少するものであれば同様の補正効果が得られるため、二次等のより高次の関数やステップ的に変化する関数であってもよい。
また、想定最大類似性指標Ｍrefと重なり指標Ｎとの関係を示す関数は、認証処理の全てにおいて共通であってもよく、また、対象の指にあわせて個別に設定することも可能である。

上記例では、共通のしきい値ＴＨ及び傾きＴを用いてもよく、指にあわせてしきい値ＴＨ又は傾きＴを設定することも可能である。上述した動作例において、照合画像と登録画像とを入れ替えて扱ってもよいことは、いうまでもない。
以上説明したように、図７に示す画像照合部によれば、図１の画像照合部１０４と同様に、照合画像や登録画像を読み取る際の指が置かれる位置のずれに起因した大きな位置ずれがある場合でも、正確な認証を行うことが可能となる。

更に、図１０のフローチャートに示すように、指標の補正を行って認証を行うようにしてもよい。
まず、ステップＳ１００１で、画像比較部１４１は、入力された照合画像と登録画像との位置関係をずらして重ね合わせる。画像のずらしは、照合画像と登録画像とを重ね合わせ、一方の画像に対して他方の画像を走査させることで行い、走査の範囲、刻み幅、順序は認証前に予め定めておく。

次に、ステップＳ１００２で、画像比較部１４１の類似性評価部１４３が、まず、２つの画像の重ね合わせにより重なった照合画像の画素Ｐ１と登録画像の画素Ｐ２の、各々の輝度値Ｂ_P1、とＢ_P2の積(Ｂ_P1*Ｂ_P2)の総和(ΣＢ_P1*Ｂ_P2)を算出する。ついで、類似性評価部１４３は、類似の程度を表す指標（以下、類似性指標：Ｍ）としてこの一致率を出力する。

次に、ステップＳ１００３で、画像比較部１４１の重なり評価部１４４は、まず照合画像と登録画像とが重なっている領域の面積を算出する。また、重なり領域の面積を登録画像の面積で除算する。
算出（除算）した数値は、登録画像のうち、照合画像と重なっている面積の割合である。重なり評価部１４４は、算出した数値を重なり状態を表す指標として出力する。

次に、ステップＳ１００４で、指標補正部７４５は、類似性評価部１４３が算出した類似性指標Ｍに対して補正を行った補正類似性指標Ｍｍを算出する。
次のステップＳ１００５で、画像認識部７４２の認証判定部７４６は、補正類似性指標Ｍｍがすでに算出されている指標の中で最良かどうか判定をし、最良であった場合にはその数値を記録する（ステップＳ１００６）。

以上のステップＳ１００１〜Ｓ１００６を、予め設定した全走査において行う（ステップＳ１００７）。従って、ステップＳ１００７の段階で、全走査を行った中で、最も最良と判定された補正類似性指標が、記録される。
この後、ステップＳ１００８で、最終的に記録された補正類似性指標と予め定めてあるしきい値ＴＨを比較し、補正類似性指標がしきい値ＴＨを超えていた場合には２つの画像は同じであると判定し、超えていない場合には２つの画像は異なるものであると判定する。同じであると判定された場合、認証ＯＫが出力され、異なると判定された場合、認証ＮＧが出力される。

図１０に示すフローの動作により、認証判定のステップの実行回数を削減できるため、例えば認証判定の処理に時間がかかるような指紋認証装置に適用することで、認証の処理を高速化することができる。

次に、本発明に係る画像認識装置の他の例について説明する。
本実施の形態では、認証判定で比較する２つの数値である類似性を表す指標としきい値に関して、照合画像と登録画像との重なりの状態を表す指標を用い、しきい値の補正と類似性を表す指標の補正との双方を行うようにした。

図１１は、本実施の形態における画像認識装置の一部である画像照合部の構成例を示す構成図である。図１１の画像照合部では、画像認識部１１４２が、２つの指標補正部１１４５ａ，１１４５ｂと、認証判定部１１４６とを備える。

指標補正部１１４５ａは、重なり評価部１４４から出力された重なり状態を表す指標を用いて画像比較部１４１から出力された類似性を表す指標を補正した類似性を表す指標を算出する。指標補正部１１４５ｂは、重なり評価部１４４から出力された重なり状態を表す指標を用い、予め定められているしきい値を補正した補正しきい値を算出する。

また、認証判定部１１４６は、指標補正部１１４５ａから出力された補正した類似性を表す指標と、指標補正部１１４５ｂから出力された補正しきい値とを比較し、認証判定を行い結果を出力する。

以下、図１１に示す画像照合部の動作例について、図１２のフローチャートを用いて説明する。
まず、ステップＳ１２０１で、画像比較部１４１は、入力された照合画像と登録画像との位置関係をずらして重ね合わせる。画像のずらしは、照合画像と登録画像とを重ね合わせ、一方の画像に対して他方の画像を走査させることで行い、走査の範囲、刻み幅、順序は認証前に予め定めておく。

図１１に示す画像照合部でも、図１，１７に示した画像照合部１０４と同様に、照合画像と登録画像と間での大きな位置ずれに対応するために、図４に示すように、画像を走査する範囲は、２つの画像各々の領域よりも広くし、照合画像と登録画像との双方に他方の画像と重ならないはみ出し領域が存在する程度に大きくずらした重ね合わせを行う。

次に、ステップＳ１２０２で、画像比較部１４１の類似性評価部１４３は、図５に示すように、まず、２つの画像の重ね合わせにより重なった照合画像の画素Ｐ１と登録画像の画素Ｐ２の、各々の輝度値Ｂ_P1、とＢ_P2の積(Ｂ_P1*Ｂ_P2)の総和(ΣＢ_P1*Ｂ_P2)を算出する。類似性評価部１４３は、類似の程度を表す指標（類似性指標Ｍ）としてこの一致率を出力する。

次に、ステップＳ１２０３で、画像比較部１４１の重なり評価部１４４は、まず照合画像と登録画像とが重なっている領域の面積を算出する。また、重なっている領域の面積を登録画像の面積で除算する。除算した数値は、登録画像のうち、照合画像と重なっている面積の割合である。重なり評価部１４４は、算出した数値を重なり状態を表す指標（重なり指標Ｎ）として出力する。

次に、ステップＳ１２０４で、指標補正部１１４５ａは、前述した（４）式により、類似性評価部１４３が算出した類似性指標Ｍに対して補正を行った類似性指標（補正類似性指標Ｍｍ）を算出して出力する。
また、ステップＳ１２０５で、指標補正部１１４５ｂは、例えば、図６のポイントＢのように重なり指標Ｎが小さい場合に、重なり指標Ｎの減少に伴ってしきい値を下げるなど、しきい値の補正を行い、補正しきい値ＴＨｍを算出する。これは、図３に示したステップＳ３０４と同様の動作である。
なお、ステップＳ１２０４とステップＳ１２０５とは、どちらを先に行ってもよい。

次に、ステップＳ１２０６で、画像認識部１１４２の認証判定部１１４６は、補正した類似性指標Ｍｍと補正しきい値ＴＨｍを比較し、補正した類似性指標Ｍｍが補正しきい値ＴＨｍを超えていた場合には２つの画像は同じであると判定し、超えていない場合には２つの画像は異なるものであると判定する。

ステップＳ１２０６の判定で、同じ画像との判定がされた場合、認証判定部１２４６は、２つの画像は同じ指のものであるという認証結果（認証ＯＫ）を出力する。一方、ステップＳ１２０６で、異なる画像と判定された場合、認証判定部１２４６は、予め定めた登録画像に対する照合画像の全ての走査が終了した状態を確認する（ステップＳ１２０７）。

全ての走査が終了していなければ、認証判定部１２４６は、処理を画像比較部１４１に戻す。このことにより、ステップＳ１２０１からの動作が再度開始される。一方、ステップＳ１２０７で、全ての走査が終了していることが確認された場合、認証判定部１２４６は、２つの画像は異なる指のものであるという認証結果（認証ＮＧ）を出力する。

しきい値及び類似性指標の補正は、前述の実施の形態で説明したように、どちらも重なり指標Ｎが小さくなった場合の誤認証を防ぐために行うものであり、図１１に示す画像照合部は、これら２つの異なる補正を組み合わせて適用したものである。

２つの異なる補正を用いることで、照合画像と登録画像とで読み取る際の指が置かれる位置のずれに起因した大きな位置ずれがある場合でも、まず、ずれに対応して大きく照合画像をずらして重ね合わせて類似性を表す指標が算出される。また、同時に、照合画像と登録画像との重なりの状態が評価されて指標が算出される。これらの結果、重なりの状態を表す指標に応じ、認証判定で比較する２つの数値が補正されて認証が行われる。従って、大きなずらしにより照合画像と登録画像との重なりが小さくなることに起因する誤認証が防げ、正確な認証が行えるようになる。

なお、２つの画像を重ね合わせて行う認証を、次に示すように行ってもよい。以下に説明する実施の形態では、重なり指標に、面積の重なりの状態ではなく、画素レベルでの重なりの状態を評価した結果を用いるものである。

まず、重なり評価部１４４は、重なり指標算出のステップで、照合画像の領域（Ａ１）と登録画像の領域（Ａ２）の重なり領域Ａoに含まれる照合画像の画素数Ｃ_A0を計数し、画素数Ｃ_A0の登録画像の領域（Ａ２）に含まれる画素数Ｃ_A2に対する割合を、以下に示す（６）式により算出し、重なり指標Ｎとして出力する。
Ｎ＝Ｃ_A0/Ｃ_A2・・・（６）

上記重なり指標Ｎは、登録画像の画素のうち照合画像と重なっている画素の割合を表す。上記重なり指標Ｎは、類似性指標Ｍが画素の重なりに着目したものであるため、画素レベルでの重なりの状態を評価することができ、特に照合画像内の画素の分布に偏りがある場合に、より正確に重なりの状態を評価して補正を行うことができる。
なお、上記の例における照合画像と登録画像との照合画像、又は登録画像への割り当ては、どちらであってもよい。

本発明の実施の形態における画像認識装置の構成例を示す構成図である。 読み取った指紋の紋様に対応した画像データ（照合画像）の例を示す説明図である。 図１に示す指紋認証装置の動作例について説明するフローチャートである。 ２つの画像をずらして比較するときの走査について説明する説明図である。 ２つの画像をずらして比較するときの類似性の評価について説明する説明図である。 重なり指標の状態によるしきい値の補正について説明する説明図である。 本発明の実施の形態における他の画像認識装置における画像照合部の構成例を示す構成図である。 図７に示す画像照合部の動作例について説明するフローチャートである。 想定最大類似性指標Ｍrefと重なり指標Ｎとの関係を説明するための説明図である。 図７に示す画像照合部の他の動作例について説明するフローチャートである。 本発明の実施の形態における他の画像認識装置の一部である画像照合部の構成例を示す構成図である。 図１１に示す画像照合部の動作例について説明するフローチャートである。

符号の説明

１０１…画像読み取り部、１０２…画像処理部、１０３…記憶部、１０４…画像照合部、１４１…画像比較部、１４２…画像認識部、１４３…類似性評価部、１４４…重なり評価部、１４５…指標補正部、１４６…認証判定部。

Claims (18)

1. 入力された第１画像データと第２画像データとの位置関係を相対的にずらしながら重ね合わせて比較し、前記第１画像データと前記第２画像データとの関係を示す指標を算出する画像比較部と、
   この画像比較部から出力された指標と予め設定されているしきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する画像認識部と
   を備えたことを特徴とする画像認識装置。
2. 請求項１記載の画像認識装置において、
   前記画像比較部は、前記第１画像データと前記第２画像データとの類似性を表す類似性指標と、前記第１画像データと前記第２画像データとの重なりの状態を表す重なり指標とを算出する
   ことを特徴とする画像認識装置。
3. 請求項２記載の画像認識装置において、
   前記画像認識部は、
   前記重なり指標に応じて前記しきい値を補正して補正しきい値を生成し、
   前記類似性指標と前記補正しきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する
   ことを特徴とする画像認識装置。
4. 請求項２記載の画像認識装置において、
   前記画像認識部は、
   前記重なり指標に応じて前記類似性指標を補正した補正類似性指標を生成し、
   前記補正類似性指標と前記しきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する
   ことを特徴とする画像認識装置。
5. 請求項２記載の画像認識装置において、
   前記画像認識部は、
   前記重なり指標に応じて前記しきい値を補正して補正しきい値を生成し、
   前記重なり指標に応じて前記類似性指標を補正した補正類似性指標を生成し、
   前記補正類似性指標と前記補正しきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する
   ことを特徴とする画像認識装置。
6. 請求項２〜５のいずれか１項に記載の画像認識装置において、
   前記画像比較部は、前記第１画像と前記第２画像との比較において、重なった画素同士の輝度値を比較することで前記類似性指標を算出する
   ことを特徴とする画像認識装置。
7. 請求項２〜５のいずれか１項に記載の画像認識装置において、
   前記画像比較部は、前記第１画像と前記第２画像との比較において、前記第１画像と前記第２画像とが重なっている領域の割合より前記重なり指標を算出する
   ことを特徴とする画像認識装置。
8. 請求項２〜５のいずれか１項に記載の画像認識装置において、
   前記画像比較部は、前記第１画像と前記第２画像とが重なっている領域に存在する前記第１画像の画素の数の割合より前記重なり指標を算出する
   ことを特徴とする画像認識装置。
9. 請求項２〜８のいずれか１項に記載の画像認識装置において、
   前記画像認識部は、前記重なり指標の一次関数として補正を行う
   ことを特徴とする画像認識装置。
10. 入力された第１画像データと第２画像データとの位置関係を相対的にずらしながら重ね合わせて比較し、前記第１画像データと前記第２画像データとの関係を示す指標を算出する第１ステップと、
    前記指標と予め設定されているしきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する第２ステップと
    を備えたことを特徴とする画像認識方法。
11. 請求項１０記載の画像認識方法において、
    前記第１ステップでは、前記第１画像データと前記第２画像データとの類似性を表す類似性指標と、前記第１画像データと前記第２画像データとの重なりの状態を表す重なり指標とを算出する
    ことを特徴とする画像認識方法。
12. 請求項１１記載の画像認識方法において、
    前記第２ステップでは、
    前記重なり指標に応じて前記しきい値を補正して補正しきい値を生成し、
    前記類似性指標と前記補正しきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する
    ことを特徴とする画像認識方法。
13. 請求項２記載の画像認識方法において、
    前記第２ステップでは、
    前記重なり指標に応じて前記類似性指標を補正した補正類似性指標を生成し、
    前記補正類似性指標と前記しきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する
    ことを特徴とする画像認識方法。
14. 請求項１１記載の画像認識方法において、
    前記第２ステップでは、
    前記重なり指標に応じて前記しきい値を補正して補正しきい値を生成し、
    前記重なり指標に応じて前記類似性指標を補正した補正類似性指標を生成し、
    前記補正類似性指標と前記補正しきい値とを比較することで前記第１画像に対する前記第２画像の同一性を判定する
    ことを特徴とする画像認識方法。
15. 請求項１１〜１４のいずれか１項に記載の画像認識方法において、
    前記第１ステップでは、前記第１画像と前記第２画像との比較において、重なった画素同士の輝度値を比較することで前記類似性指標を算出する
    ことを特徴とする画像認識方法。
16. 請求項１１〜１４のいずれか１項に記載の画像認識方法において、
    前記第１ステップでは、前記第１画像と前記第２画像との比較において、前記第１画像と前記第２画像とが重なっている領域の割合より前記重なり指標を算出する
    ことを特徴とする画像認識方法。
17. 請求項１１〜１４のいずれか１項に記載の画像認識方法において、
    前記第１ステップでは、前記第１画像と前記第２画像とが重なっている領域に存在する前記第１画像の画素の数の割合より前記重なり指標を算出する
    ことを特徴とする画像認識方法。
18. 請求項１１〜１７のいずれか１項に記載の画像認識方法において、
    前記第２ステップでは、前記重なり指標の一次関数として補正を行う
    ことを特徴とする画像認識方法。
    

Images