JP7290198B2 - 縞模様画像照合装置、縞模様照合方法、及び、そのプログラム - Google Patents

Description

本発明は、縞模様画像照合装置、縞模様画像照合方法及びそのプログラムが格納されたコンピュータ可読媒体に関する。特に、本発明は、指紋や掌紋等の２つの縞模様画像を照合する縞模様画像照合装置、縞模様画像照合方法及びそのプログラムが格納されたコンピュータ可読媒体に関する。

曲線縞模様状の多数の隆線により構成される指紋、掌紋は、古くから人物確認の手段として利用されている。特に、犯行現場に残された遺留指紋を用いる照合は、効果的な捜査手段である。多くの警察機関等には、コンピュータを利用した指紋照合システム（Automated Fingerprint Identification System：ＡＦＩＳ）が導入されている。指紋照合システムでは、データベースに登録された指紋画像と犯罪現場等にて採取された遺留指紋それぞれの特徴点（Ｍｉｎｕｔｉａとも称される）を照合することで、遺留指紋に対応する人物の特定がなされる。

指紋照合に用いられる特徴点（指紋特徴点）には、指紋隆線の端点や分岐点が用いられることが多い。例えば、非特許文献１の「4.3 Minutiae-Based Methods」には、指紋隆線の端点や分岐点を用いた特徴点照合が開示されている。なお、隆線とは、指や掌の皮膚上に存在する線状の隆起、あるいは、該線状の隆起により印加された指紋又は掌紋における縞状の紋様である。

また、特徴点データに加えて、特徴抽出過程で生成される芯線データを用いて照合することで照合精度向上を図る方法も提案されている（特許文献１）。芯線データとは、隆線を二値化後に細線化して生成されたものである。

また、警察機関等における指紋照合システムの運用では、高品質な押捺指紋に対しては、芯線データや特徴点が自動的に抽出されデータベースに登録されるが、低品質な指紋画像が多い遺留指紋に対しては、鑑識官がマニュアルで芯線データや特徴点を入力（あるいは修正）することが多い。その上で、データベースに登録された指紋画像の芯線データや特徴点が被探索側（ファイル側）のデータ、鑑識官が入力した芯線データや特徴点が探索側（サーチ側）のデータとしてそれぞれ扱われ、両者のデータ間における照合スコアに基づき、指紋照合（人物特定）が行われる。

特許第４０３０８２９号公報 特許第４０３０８３０号公報 特許第４５８６７４６号公報 国際公開第２０１８／０７９６３０号公報

D.Maltoni、"Handbook of Fingerprint Recognition"、Springer、2009 ANSI/NIST-ITL 1-2000 Revision of ANSI/NIST-CSL1-1993 & ANSI/NIST-ITL 1a-1997、"NIST Special Publication 500-245"、［online］、July 27, 2000、［令和２年３月１６日検索］、インターネットURL＜https://www.nist.gov/sites/default/files/documents/itl/ansi/sp500-245-a16.pdf＞

例えば、押捺指紋のように高品質の指紋画像同士では、両方の指紋画像から、充分な数の特徴点を抽出することが可能なので、高い照合精度を保証できる。しかしながら、その片方が、小領域の遺留指紋の場合には、特徴点を抽出可能な領域が狭く、充分な数の特徴点を抽出することができない。その結果、高い精度で照合することができないという不都合がある。

また、遺留指紋に対して鑑識官が「対向特徴点対」を確認して入力しても、その遺留指紋の対となる押捺指紋に、その対向特徴点対が抽出されていない場合には、遺留指紋の特徴点が非対特徴点となり照合スコア劣化をもたらす不都合がある。

本開示の目的は、照合精度を向上させる縞模様画像照合装置、縞模様画像照合方法及びそのプログラムが格納されたコンピュータ可読媒体を提供することにある。

本開示に係る縞模様画像照合装置の一態様は、隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成する特徴抽出部と、前記第１縞模様画像及び前記第２縞模様画像からそれぞれ抽出された２組の前記特徴点データと前記芯線データを照合して、照合スコアを算出する芯線照合部と、前記第１縞模様画像の対向特徴点対が存在する領域に関して、前記第２縞模様画像を解析して画像解析スコアを算出し、前記照合スコアを補正する画像解析部とを備えるものである。

本開示に係る縞模様画像照合方法の一態様は、隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成し、前記第１縞模様画像及び前記第２縞模様画像からそれぞれ抽出された２組の前記特徴点データと前記芯線データを照合して、照合スコアを算出し、前記第１縞模様画像の対向特徴点対が存在する領域に関して、前記第２縞模様画像を解析して画像解析スコアを算出し、前記照合スコアを補正する。

本開示に係るプログラムが格納されたコンピュータ可読媒体の一態様は、隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成し、前記第１縞模様画像及び前記第２縞模様画像からそれぞれ抽出された２組の前記特徴点データと前記芯線データを照合して、照合スコアを算出し、前記第１縞模様画像の対向特徴点対が存在する領域に関して、前記第２縞模様画像を解析して画像解析スコアを算出し、前記照合スコアを補正する処理をコンピュータに実行させるものである。

本開示によれば、対向特徴点対という特徴量を有効に活用することで、照合精度を向上させることが可能となる。

実施の形態に係る縞模様画像照合装置の構成の一例を示すブロック図である。 実施の形態に係る縞模様画像照合装置の構成の一例を示すブロック図である。 実施の形態に係る縞模様画像照合装置を実現するハードウェア構成の一例を示すブロック図である。 実施の形態に係る縞模様画像照合装置が実行する指紋照合処理の一例を示すフローチャートである。 実施の形態に係る縞模様画像照合装置が実行する画像解析処理の一例を示すフローチャートである。 遺留指紋画像の一例である。 押捺指紋画像の一例である。 図６の遺留指紋画像の芯線データ（左側）と、該芯線データから抽出された特徴点（右側）を示す図である。 図７の押捺指紋画像の芯線データ（左側）と、該芯線データから抽出された特徴点（右側）を示す図である。 遺留指紋と押捺指紋の特徴点の対応関係を表す図である。 遺留指紋と押捺指紋の芯線の対応関係を示すリッジチャート図である。 押捺指紋画像を非線形変換した結果である。 芯線照合結果を示す図である。 図１０の左側の芯線データから抽出された２つの非対特徴点（対向特徴点対）の座標の中点座標を示す図である。 処理領域の範囲で切り出した押捺指紋画像である。 隆線方向データを指紋画像に重ねて表示した図である。 図１４Ａの芯線データから抽出された隆線間隔データを表す図である。 隆線のコントラストが強調された指紋画像である。 図１５Ａの二値化画像である。 遺留指紋の２本の外側芯線を示す図である。 押捺指紋の２本の外側芯線を示す図である。 押捺画像の挟み込み領域内の二値画像である。 挟み込み領域内の芯線と特徴点を示す図である。 対向特徴点対と仮想特徴点とを並べて表示した図である。 図７押捺指紋画像から、対向特徴点対に対応する隆線を消去した図である。 遺留指紋と押捺指紋の特徴点の対応関係を表す図である。 芯線照合結果を示す図である。 処理領域の範囲で切り出した押捺指紋画像である。 隆線のコントラストが強調された指紋画像である。 図２４Ａの二値化画像である。 挟み込み芯線によって限定された二値画像を示す。 仮想芯線と仮想特徴点を示す図である。 押捺指紋の対応芯線を示す図である。 押捺指紋の対応芯線を示す図である。 内側芯線を示す図である。 仮想芯線と内側芯線を並べて表示した図である。 対向特徴点対について説明する図である。

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図において同一構成要素には同一の符号を付し、その説明を適宜省略する。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。なお、以下の実施の形態に記載した先行技術文献の各内容は、本明細書の一部を構成するものとして援用される。

実施の形態は、指紋や掌紋等の２つの縞模様画像を照合する技術に関する。なお、縞模様画像とは、隆線により形成された曲線縞模様を含む画像である。例えば、指紋領域を含む指紋画像や掌紋領域を含む掌紋画像が縞模様画像に相当する。ただし、縞模様画像は端点や分岐点を含む縞の画像であればよく、指紋画像又は掌紋画像に限られるものではない。

実施の形態について具体的に説明する前に、本開示により解決しようとする課題について、より詳細に説明する。以下の分析は、本発明者らによってなされたものである。なお、以下の説明で参照する図面において、指紋照合に用いられる特徴点のうち、指紋隆線の端点を円形、分岐点を正方形にて表記する。また、端点及び分岐点のそれぞれから延伸する短い線が特徴点の方向を表している。

上述したように、遺留指紋に対して鑑識官が「対向特徴点対」を確認して入力する場合がある。ここで、対向特徴点対とは、図２９に例示されるように、特徴点方向が逆向き（対向）で、近傍に存在する２つの特徴点のことを指す。図２９の上段の５例は、特徴点が互いに外側に向かっているもの（Outgoing Pair）である。一方、図２９の下段の４例は、特徴点が互いに内側に向かっているもの（Oncoming Pair）である。

鑑識官が対向特徴点対を入力した場合において、その遺留指紋の対となる押捺指紋に、その対向特徴点対が抽出されていない場合には、遺留指紋の特徴点が非対特徴点となり照合スコア劣化をもたらす。ここで対特徴点と非対特徴点について説明する。対特徴点とは、照合される２つの指紋画像のうち、一方の指紋画像の特徴点に対して、他方の指紋画像に対と見做される特徴点が存在する場合に、その特徴点を対特徴点と呼ぶ。また、その両方の特徴点を合わせて対特徴点を呼ぶ場合もある。一方、非対特徴点とは、一方の指紋画像の特徴点の中で、他方の指紋画像に対特徴点が存在しない場合に、その特徴点のことを指す。

このような対向特徴点対は、皺やかすれ等の画像ノイズを誤抽出したときに出現しやすい。このため、自動特徴抽出処理では、非特許文献１の「3.8.1 Structural post-processing」にて開示されているように除去されることが多い。この結果、遺留指紋に対向特徴点対が存在しても、非対指紋となって照合精度劣化に繋がる恐れがある。このため、真の特徴点であっても、対向特徴点対を入力しない運用が推奨されることもある。この結果、特徴点数が少ない小領域の遺留指紋の場合には、対向特徴点対は相対的に重要な特徴量とはなるものの、照合に対向特徴点を活用することができない。

また、指や掌の表面は柔らかく変形しやすいため、同じ指や掌であっても、画像として採取される指紋や掌紋の形状は、画像ごとに異なるのが通常である。そのため、照合対象の２つの指紋画像あるいは掌紋画像が、同一の指紋あるいは掌紋によるものであっても、平行移動や回転により隆線を重ねようとしても重ならないことが多い。

遺留指紋で非対特徴点となった対向特徴点対に対して、ファイル側の押捺指紋画像を解析して、対向特徴点対の存否を判断して、照合スコアを加減する方式も考えられる。しかし、画像歪みあると、押捺指紋側における対向特徴点対の存否を解析する対象領域の限定が難しく、実現困難と考えられてきた。

そこで、本発明者らは、以下の縞模様画像照合装置を考案した。
図１は、実施の形態に係る縞模様画像照合装置１０の構成の一例を示すブロック図である。なお、以下の図面に付与した参照符号は、理解を助けるため各構成要素に便宜上付与したものであり、この記載はなんらの限定を意図するものではない。

実施の形態に係る縞模様画像照合装置１０は、特徴抽出部１１、芯線照合部１２、画像解析部１３を備える。特徴抽出部１１は、隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成する。芯線照合部１２は、第１縞模様画像及び第２縞模様画像からそれぞれ抽出された２組の特徴点データと芯線データを照合して、照合スコアを算出する。画像解析部１３は、第１縞模様画像の対向特徴点対が存在する領域に関して、第２縞模様画像を解析して画像解析スコアを算出し、照合スコアを補正する。これにより、対向特徴点対という特徴量を有効に活用することで、照合精度を向上させることが可能となる。

以下に具体的な実施の形態について、図２を参照してさらに詳しく説明する。ここでは、縞模様画像照合装置１０を指紋照合装置に適用した例について説明する。図２に示す指紋照合装置は、縞模様画像照合装置１０、表示装置２０、入力装置３０を含む。

縞模様画像照合装置１０は、特徴抽出部１１、芯線照合部１２、画像解析部１３、特徴修正部１４を含む。特徴抽出部１１は、２つの縞模様画像それぞれから、少なくとも芯線及び特徴点を抽出する。つまり、特徴抽出部１１は、縞模様画像照合装置１０に入力される画像から当該画像を特徴付ける特徴量（例えば、芯線、特徴点）を抽出する。

芯線や特徴点は、既存の任意の方法で縞模様画像から計算機等が自動的に抽出したものでもよく、鑑識官等が選択したものでもよい。２つの縞模様画像に含まれる特徴点や芯線の対応関係の算出方法は、特許文献２に開示されている。

例えば、特徴抽出部１１は、図２に示すように第１縞模様画像、第２縞模様画像からそれぞれ芯線、特徴点を抽出する。なお、特徴抽出部１１は、特徴点の抽出過程にて、隆線方向データや隆線領域（ゾーン）データも併せて抽出することができる。

また、後述するように、鑑識官がマニュアルで芯線や特徴点を修正入力した場合（例えば、芯線や特徴点を削除、又は、追加した場合）には、特徴抽出部１１は、マニュアル修正された芯線や特徴点の保持したうえで、芯線や特徴点を更新する。つまり、特徴抽出部１１はまた、鑑識官により修正された縞模様画像の特徴を保持し、芯線と特徴点を再抽出する。

芯線照合部１２は、２つの縞模様画像それぞれの特徴点と芯線の照合を行い、縞模様画像の間の対応芯線を算出する。つまり、芯線照合部１２は、２つの縞模様画像から抽出された特徴点と芯線を照合し、照合スコアと共に、対応する特徴点（対特徴点）と対応する芯線（対応芯線）を出力する。芯線照合部１２はまた、特徴抽出部１１により再抽出された芯線を用いて２つの縞模様画像から照合スコアと共に、特徴点対や対応芯線を再算出する。

画像解析部１３は、一方の縞模様画像（遺留指紋画像）において非対特徴点の対向特徴点対が存在すると想定される限定された領域の、他方の（押捺指紋画像）を解析して、画像解析スコアを算出し、そのスコアを用いて照合スコアを補正する。

特徴修正部１４は、２つの縞模様画像のうち少なくも一方の特徴を修正する。具体的には、特徴修正部１４は、鑑識官の操作により、芯線の追加や削除、特徴点の追加や削除、ゾーンの追加や削除等の特徴の修正を２つの縞模様画像それぞれにおいて独立に行う。

表示装置２０は、例えば、液晶ディスプレイ等であり、２つの縞模様画像の照合結果等を表示する。また、表示装置２０は、抽出した芯線や特徴点等を縞模様画像に重ねて表示してもよい。入力装置３０は、例えば、キーボードやマウス等の鑑識官（あるいはユーザ）操作を受け付ける装置である。

次に、図３を参照して、実施形態に係る縞模様画像照合装置１０のハードウェア構成について説明する。図３は、実施の形態に係る縞模様画像照合装置１０を実現するハードウェア構成の一例を示すブロック図である。

縞模様画像照合装置１０は、所謂、情報処理装置（コンピュータ）により実現され、図３に例示する構成を備える。図３に示すように、縞模様画像照合装置１０は、例えば、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、入出力インターフェイス１０３及び通信手段であるＮＩＣ（Network Interface Card）ＮＩＣ１０４を備える。

但し、図３に示す構成は、縞模様画像照合装置１０のハードウェア構成を限定する趣旨ではない。縞模様画像照合装置１０は、図示しないハードウェアを含んでもよいし、必要に応じてＮＩＣ１０４等を備えていなくともよい。また、縞模様画像照合装置１０に含まれるＣＰＵ等の数も図３の例示に限定する趣旨ではなく、例えば、複数のＣＰＵが縞模様画像照合装置１０に含まれていてもよい。

メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。入出力インターフェイス１０３は、図２に示した表示装置２０や入力装置３０のインターフェイスとなる手段である。また、入力装置３０には、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置も含まれ得る。

上述した縞模様画像照合装置１０の各構成要素の機能は、例えば、メモリ１０２に格納されたプログラムをＣＰＵ１０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。

実施の形態に係る縞模様画像照合装置１０のハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。なお、これらの構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。

本実施の形態に係るプログラムは、コンピュータに、以下に説明する処理を実行させるプログラムであれば良い。上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

次に、実施の形態に係る縞模様画像照合装置が実行する処理について、図４と図５に示すフローチャートと、指紋画像例を参照しつつ、説明する。ここでは、実施の形態に係る縞模様画像照合装置１０により、図６に示す遺留指紋と図７に示す押捺指紋（図６の遺留指紋の対となる押捺指紋）を照合する場合について説明する。

図４を参照すると、まず、縞模様画像照合装置１０の特徴抽出部１１には、２つの縞模様画像が入力される（ステップＳ１０）。なお、縞模様画像照合装置１０に入力される縞模様画像は、センサやスキャナなど画像入力装置から取得してもよく、あらかじめディジタル化され保存されている画像データを、ＵＳＢメモリ等により取得してもよい。

ここで、押捺指紋は、データベース等へ登録する目的で採取される指紋であり、隆線領域の面積は広く品質は良いという特徴を有する。対して、遺留指紋は、犯罪現場等に遺留された指紋であり、画像歪みが顕著であったり、明瞭な隆線領域の面積が狭かったりすることが多い。

図６や図７等に示す指紋画像例は、センサやスキャナで読み取った指紋画像をディジタル化したものである。このような指紋画像例は、米国のＮＩＳＴ（National Institute of Standards and Technology）で標準化された「ANSI/NIST-ITL 1-2000, Data Format for the Interchange of Fingerprint, Facial & Scar Mark & Tattoo(SMT) Information」に従って、５００ｄｐｉの解像度でディジタル化されたものである。なお、上記標準化ドキュメントは、非特許文献２に開示されている。

次に、特徴抽出部１１は、図６や図７の指紋画像から、指紋の特徴（特徴量）を抽出する（ステップＳ１１）。なお、指紋の特徴には、特徴点の他に、芯線やゾーン（隆線領域）が含まれる。特徴点の抽出は、通常、二値化した指紋画像に含まれる隆線を細線化（芯線化）し、隆線を細線化した芯線から端点及び分岐点を抽出することで行われる。芯線化を含む特徴点抽出は、非特許文献１の「3 Fingerprint Analysis and Representation」に開示された特徴抽出手法を用いることができる。そのため、特徴抽出に関する詳細な説明は省略するが、特徴抽出部１１は、概略以下の手順にて特徴量を生成する。

特徴抽出部１１は、初めに、指紋画像の隆線の方向を抽出する。その後、特徴抽出部１１は、当該隆線方向の直交方向に沿って各隆線のコントラストを強調し、二値画像を生成する。その後、特徴抽出部１１は、二値画像を芯線化することで芯線データを生成する。

なお、特徴抽出部１１は、芯線データ生成処理の過程において、「隆線方向データ」を生成し、メモリ１０２に格納する。より具体的には、特徴抽出部１１は、指紋画像の隆線上の各点における隆線方向を算出し、隆線方向の集合を「隆線方向データ」として作成する。例えば、特徴抽出部１１は、指紋画像の隆線方向データを算出する点（隆線上の画素）をＸＹ座標系の原点、指紋画像の指頭をＹ軸正方向とした場合に、Ｘ軸と隆線からなる角度を隆線方向として算出する。その後、特徴抽出部１１は、算出した角度を、ＸＹ座標系の象限を所定の数で分割した方向（例えば、１６分割）に変換（近似）し、各点における隆線方向を作成する。

指紋画像の隆線上における各点の隆線方向の集合が「隆線方向データ」となる。即ち、特徴抽出部１１は、芯線データの生成に加え、指紋画像をなす隆線上の各点における隆線方向に関する情報を含む隆線方向データを作成する。なお、隆線方向データ及びその活用方法は特許文献３に記載されており、特徴抽出部１１は、同文献に開示された手法を用いることができる。

特徴抽出部１１は、芯線データから特徴点を抽出する。より具体的には、特徴抽出部１１は、芯線データから、芯線の端点及び分岐点を抽出することで、特徴点を抽出する。なお、芯線データから特徴点を抽出する際の手順には、非特許文献１の「3 Fingerprint Analysis and Representation」に開示された特徴点抽出手法を用いることができる。

図８は、左側が図６の遺留指紋画像の芯線データを示し、右側が該芯線データから抽出された特徴点を示す。図９は、左側が図７の押捺指紋画像の芯線データを示し、右側が該芯線データから抽出された特徴点を示す。特徴抽出部１１は、各特徴点の位置及びその種別（端点、分岐点）や特徴点方向をメモリ１０２に登録する。

なお、上述したように、図８、図９において、端点は円形、分岐点は正方形で表記されている。また、特徴点方向は膨らみをもった直線にて表記されている。また、図８、９において、芯線や特徴点やゾーンは指紋画像に重畳されて表示されている。

なお、ゾーンに関して、隆線と認識できなかった領域は他の領域と区別可能となるように塗りつぶされて表示されている。また、特徴点は、隆線と認識できた領域から抽出される。さらに、芯線照合部１２による芯線照合の有効領域は、２つの指紋画像間で隆線領域が重なり合った領域となる。以降の説明において、当該領域を共通有効領域と表記する。

次に、芯線照合部１２は、芯線照合を実施する中で対応芯線を算出し、その情報を用いて押捺指紋側の画像変換をすることで遺留指紋側と同等の相対座標位置に変換された画像を生成する（ステップＳ１２）。具体的には、芯線照合部１２は、特徴抽出部１１により抽出された２つの縞模様画像の芯線、特徴点及びゾーンを用いて芯線の対応関係を求める。芯線照合部１２は、芯線の対応関係を求めることで、対応芯線を算出する。

例えば、芯線照合は、特許文献１に開示されている方法により実現できる。また、対応芯線の算出や表示方法は、特許文献３でリッジチャート表示機能として開示されている方法により実現できる。また、押捺指紋側の画像変換は、特許文献２に開示されている方法で実現できる。

特許文献１に開示されている方法では、初めに特徴点照合が実施され、特徴点の合致、非合致が判定される。図１０は、上記の特徴点照合方法を用いた、特徴点の合致関係（対応関係）を表している。図１０の左側が遺留指紋に対応関係を持つ特徴点を重畳して表示したものであり、右側が押捺指紋に対応関係を持つ特徴点を重畳して表示したものである。

通常、特徴点照合においては、特徴点種別（端点、分岐点）は区別しないので、２つの指紋で異なる特徴点種別であっても対応していると判定される。図１０を参照すると、遺留指紋において抽出された５つの特徴点の中で、３つの特徴点（図１０中、１～３の符号を付した特徴点）が押捺指紋の特徴点と対応関係を持つことが分かる。

また、特許文献３に開示されている方法を用いると、芯線照合部１２は、２つの縞模様画像に対応芯線（リッジチャート）を重畳して表示することができる。図１１は、遺留指紋と押捺指紋の芯線を照合し、芯線同士の対応関係を示すリッジチャート図（芯線照合結果）である。図１１の左側が遺留指紋に対応芯線を重畳したものであり、右側が押捺指紋に対応芯線を重畳したものである。

図１１では、指紋画像にリッジチャートが重畳されている。例えば、図１１を表示装置２０に表示させる場合、対応していると判断された芯線（対応芯線）と、共通有効領域内で対応していないと判定された芯線（非対応芯線）とを異なる色で表示することができる。また、共通有効領域外の芯線は、照合スコア計算時の対象外の芯線なので、例えば、より薄い色で目立たないように表示させることができる。

また、特許文献２に開示されている方法を用いると、対応芯線上の各画素の座標の対応関係を参照情報として、押捺指紋側の画像を非線形画像変換することで遺留指紋側と同等の相対座標位置に変換された画像を生成することができる。すなわち、芯線照合結果の対応芯線データを用いて、押捺指紋画像の歪修正を行うことができる。図１２の右側が、このようにして押捺指紋画像を非線形変換した結果である。図１２の左側は遺留指紋画像である。図１２に示すように、押捺指紋の各画素の相対位置が、遺留指紋画像と同等に変換されたことがわかる。

図１３では、芯線の対応関係を説明するために、図１２の２組の対応芯線を異なる符号（左側の遺留指紋画像においてはｌ１、ｌ２、右側の押捺指紋画像においてはＬ１、Ｌ２）で表示している。

次に、画像解析部１３は、芯線照合部１２から出力される対特徴点データを解析し、遺留指紋特徴点に関して、共通有効領域上の非対特徴点群（対特徴点ではないもの）の中に、対向特徴点対が存在するかを調べる（ステップＳ１３）。対向特徴点対がない場合（ステップＳ１３Ｎｏ）、ステップＳ１６に進んで、芯線照合部１２から出力された照合スコアを出力して処理を終了する。

対向特徴点対がある場合（ステップＳ１３Ｙｅｓ）、ステップＳ１４に進む。ステップＳ１４では、画像解析部１３は、抽出された遺留指紋の対向特徴点対に対して、押捺指紋の非線形変換画像を解析して、遺留指紋側の対向特徴点対に対応する特徴点が抽出されるか調べ、その結果で照合スコアを補正する（ステップＳ１４）。なお、解析を終えた対向特徴点対には処理済みのマークをつけることができる。

次に、画像解析部１３は、芯線照合部１２から出力される対特徴点データを解析し、遺留指紋特徴点の共通有効領域上の非対特徴点群（対特徴点ではないもの）の中に、未処理の対向特徴点対が存在するかを調べる（ステップＳ１５）。対向特徴点対が残っている場合（ステップＳ１５Ｙｅｓ）、ステップＳ１４に戻り、再度照合スコアの補正を行う。対向特徴点対が残っていない場合（ステップＳ１５のＮｏ）、ステップＳ１６に進んで、画像解析部１３から出力された、補正後の最新の照合スコアを出力して処理を終了する。

ここで、画像解析部１３の処理を、図５のフローチャート図を用いて詳述する。
画像解析部１３は、遺留指紋特徴点に関して、共通有効領域上の非対特徴点群の中に、対向特徴点対が存在するかを調べる。図１０の左側の遺留指紋画像を参照すると、１～３の符号が付された特徴点は対特徴点を指し、符号が付されていない特徴点が非対特徴点を指す。図１０の左側の画像に示される２つの非対特徴点は、対向特徴点対となっている。この対向特徴点対を例として説明を続ける。

図１４Ａは、この対向特徴点対の座標の中点座標を示す図である。この座標は、図１４ＡにおいてＸ印で示されている。中点座標を中心に隆線方向に沿って長辺６０画素程、短辺３０画素程度の長方形が処理領域として決定される（ステップＳ２０）。

なお、指紋の平均隆線間隔は１０画素程度なので、長辺は隆線６本分で短辺は隆線３本分の大きさである。処理領域は画像全体でも良いが、処理時間短縮のためには限定する方が望ましい。この処理領域は、遺留指紋側にも押捺指紋側にも適用される。このようにして決定された処理領域の範囲で切り出した押捺指紋画像が図１４Ｂに示される。

次に、画像解析部１３は、遺留指紋と押捺指紋の隆線方向データを抽出する（ステップＳ２１）。遺留指紋の隆線方向は、芯線データから抽出することができる。この手法では、芯線画素の各画素に対して接線方向をその画素の隆線方向とすることができる。この遺留指紋で抽出された隆線方向データは、非線形変換された押捺指紋側にも適用できる。このようにして抽出された隆線方向データが図１４Ｃに示される。図１４Ｃでは、隆線方向データが指紋画像に重ねて表示されている。

次に、画像解析部１３は、遺留指紋の芯線データから隆線間隔データを抽出する（ステップＳ２２）。芯線データからの隆線間隔の抽出は、非芯線画素の各画素に対して、隆線方向の直交方向に２方向に直線を伸ばし、最初にぶつかる芯線との２つの交点間の距離を隆線間隔とすることができる。芯線上の画素では、隆線間隔が抽出されていないので、隣接画素の隆線間隔の値と同じとすることができる。その後、異端値の除去や、近傍画素との平滑化処理が実施される。

図１４Ｄは、図１４Ａの芯線データから抽出された隆線間隔データを表している。図１４Ｄでは、隆線間隔が広い程、濃度が高く（濃く）表示されている。遺留指紋の芯線は、通常、鑑識官がマニュアル修正入力しているため正確であり、そのデータに基づいた隆線間隔データも精度が高いと考えられる。この遺留指紋で抽出された隆線間隔データは、非線形変換された押捺指紋側にも適用できる。

次に、画像解析部１３は、非線形変換された押捺指紋画像から二値画像を抽出する（ステップＳ２３）。指紋画像から二値画像を抽出する方法は、非特許文献１の「「3 Fingerprint Analysis and Representation」に記載されている。

この過程で、非特許文献１の「3.6.2 Contexutual Filtering」に記載されている方法で、隆線方向データや隆線間隔データを用いて隆線のコントラストを強調する。ここでは、正確な隆線方向データや隆線間隔データを用いることで、高品質の隆線強調画像を生成できる。図１５Ａは、このようにして隆線のコントラストが強調された指紋画像であり、図１５Ｂは、その二値化画像である。

次に、画像解析部１３は、遺留指紋の芯線から対向特徴点対の外側に存在する外側芯線を決定する（ステップＳ２４）。外側芯線は、対向特徴点対の中点から隆線方向の直交方向に２方向に直線を伸ばし、最初にぶつかる芯線とする。もし、その芯線が対向特徴点対のいずれかと繋がる場合には、更に、その外側の芯線とする。

このようにして決定された遺留指紋の２本の外側芯線が、図１６の左側に示される。次に、この２本の外側芯線が対応芯線であるか否かが調べられる。説明ため、図１６の右側には、図１３の左側と同じ図が示されている。図１６から、２本の外側芯線は、ｌ１、ｌ２で示された対応芯線であることがわかる。もし、２本の外側芯線のいずれかが対応芯線でない場合には、この対向特徴点対に対する処理を中断して、次の処理に進む。

遺留指紋の外側芯線が決定されれば、同時に押捺指紋の外側芯線も決定される。図１７の左側には、押捺指紋の外側芯線が示される。図１７の右側には、図１３の右側と同じ図が示されている。図１７に示されるように、この２本の外側芯線は、Ｌ１、Ｌ２で示された対応芯線でもある。

次に、画像解析部１３は、遺留指紋の外側芯線が挟み込み芯線であるか否かが決定される（ステップＳ２５）。例えば、２本の外側芯線が対向特徴点対の２つの特徴点の隆線方向外側に１０画素程度（隆線１本分）以上伸びていれば、この外側芯線は挟み込み芯線と判断する。図１６を参照すると、外側芯線が、対向特徴点対を含んで隆線方向（ほぼ垂直）に隆線１本分以上の長さに伸びているので、この外側芯線が挟み込み芯線であることがわかる。

次に、画像解析部１３は、ステップＳ２３で抽出された二値化画像を、挟み込み領域内に限定することで挟み込み領域内の二値化画像を抽出する（ステップＳ２６）。この過程で、外側芯線を形成する二値化画像の黒画素は除去する（白画素に変換する）。具体的には、各々の外側芯線画素に接続する黒画素は最大５画素程度の距離まで白画素に変換する。図１８は、このようにして抽出した押捺画像の挟み込み領域内の二値画像である。

次に、画像解析部１３は、ステップＳ２６で抽出された二値化画像から芯線と特徴点を抽出する（ステップＳ２７）。この方法は、非特許文献１の「「3 Fingerprint Analysis and Representation」に記載されている。図１９は、このようにして抽出した挟み込み領域内の芯線と特徴点である。ここでは、特徴点は濃い点で示されている。この芯線と特徴点をそれぞれ仮想芯線と仮想特徴点と呼ぶ。

次に、画像解析部１３は、対向特徴点対と、ステップＳ２７で抽出された仮想特徴点とを比較照合する（ステップＳ２８）。図２０は、対向特徴点対（図１０の左側の図を拡大した図）と、ステップＳ２７で抽出された仮想特徴点（図１９）とを並べて表示している。２つの図を見比べると、対向特徴点対の２つの特徴点に対して、同等な位置に仮想特徴点が存在するため、対特徴点と見做される（照合成功）。

対向特徴点対の２つ特徴点が仮想特徴点と対の関係を持つ場合、正値（プラス）の画像解析スコアが算出される。正値の画像解析スコアが算出された場合には、照合成功と判断して（ステップＳ２９Ｙｅｓ）、ステップＳ３１に進む。

ステップＳ２９において照合成功と判断されなかった場合には、ステップＳ３０に進み、画像解析部１３は、仮想芯線を解析して画像解析スコアを算出する。この説明は別のサンプルを用いて後述する。

次に、画像解析部１３は、該対向特徴点対に対する画像解析スコアを照合スコアに反映して処理を終了する（ステップＳ３１）。画像解析スコアの照合スコアへの反映は、単純に加算する方法で良い。

次に、図２１に示す２番目の押捺指紋サンプルを例にとり、非対指紋に対する画像解析処理について説明する。図２１の左側の図は、図７の押捺指紋画像から、対向特徴点対に対応する隆線を消去したもので、非対指紋と見做されるべき押捺指紋である。なお、図２１の右側は、押捺画像に該芯線データから抽出された特徴点を重ねて表示した図（図９右側と同一）である。

図２２の対特徴点は、対指紋に対する結果（図１０）と同一であることがわかる。また、対向特徴点対に対応する押捺指紋隆線がないので、照合スコアを低減すべきことがわかる。画像解析部１３が実施する処理で、ステップＳ２０からステップＳ２７までは、上述した対指紋対の例に対する処理と同一なので説明は省略する。

図２３の芯線照合結果を見ると、対指紋に対する結果（図１３）と同一あることがわかる。図２４Ａは非対指紋例の領域抽出結果で、図２４Ｂは、その隆線（コントラスト）強調画像で、図２４Ｃはその二値画像である。

図２５は、挟み込み芯線によって限定された二値画像を示す。なお、挟み込み芯線は、対指紋に対する結果と同一である。図２６は仮想芯線と仮想特徴点を示す。この例では仮想特徴点は抽出されていない。仮想特徴点がないので対向特徴点対の対特徴点は存在しない。従って、この場合、照合失敗となる。照合失敗の場合、次に、画像解析部１３は、仮想芯線を解析して画像解析スコアを算出する（ステップＳ３０）。仮想芯線の解析は、押捺指紋の特徴抽出結果の芯線（本来の芯線）との比較で実施する。照合対象となる押捺指紋の芯線は、挟み込み芯線の内側の芯線で内側芯線と呼ぶ。

図２７Ａと図２７Ｂは、押捺指紋の対応芯線を示す図である。ここで、Ｌ１とＬ２で表示した対応芯線が挟み込み芯線である。挟み込み芯線の内側の芯線が内側芯線である。この場合、図２７Ｃで示した１本の芯線である。

図２８は、仮想芯線と内側芯線を並べて表示している。仮想芯線上の各画素の近傍に内側芯線が存在するか否かを調べる。具体的には、仮想芯線上の各画素の近傍５画素程度（隆線間隔の半分程度）以内に、内側芯線がない画素をカウントし、その画素数の全体の芯線画素数に対する比率（これを差分比率）を計算する。この差分比率が小さければ（具体的には１０％程度以下）、対向特徴点対に対応する隆線成分がないと判断されるので、負値の画像解析スコアとする。

もし、照合対象の押捺指紋が真の対指紋で、遺留指紋の芯線由来の正確な隆線方向データと隆線間隔データを用いて隆線のコントラストが強調されれば、本来の芯線とは異なる仮想芯線が抽出され、差分比率も大きくなると想定されるからである。

しかし、真の対指紋であっても押捺指紋画像の品質が低い（ノイズが多い）と、正確な隆線方向データと隆線間隔データを用いて隆線のコントラストを強調しても、芯線が正確に抽出されないときには差分比率も大きくなる。このため、差分比率が大きい場合には画像解析スコアは０点とする。

コンピュータに、上述した処理を実行させるプログラムをインストールすることにより、該コンピュータを縞模様画像照合装置として機能させることができる。さらに、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより縞模様画像照合方法を実行することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、実行される工程の実行順序は、その記載の順番に制限されない。例えば、各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の実施形態は、内容が相反しない範囲で組み合わせることができる。

１０ 縞模様画像照合装置
１１ 特徴抽出部
１２ 芯線照合部
１３ 画像解析部
１４ 特徴修正部
２０ 表示装置
３０ 入力装置
１０１ ＣＰＵ
１０２ メモリ
１０３ 入出力インターフェイス
１０４ ＮＩＣ

Claims (10)

1. 隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成する特徴抽出部と、
   前記第１縞模様画像及び前記第２縞模様画像からそれぞれ抽出された２組の前記特徴点データと前記芯線データを照合して、照合スコアを算出する芯線照合部と、
   前記第１縞模様画像の対向特徴点対が存在する領域に関して、前記第２縞模様画像を解析して画像解析スコアを算出し、前記照合スコアを補正する画像解析部と、
   を備える、
   縞模様画像照合装置。
2. 前記画像解析部は、
   前記第１縞模様画像の前記芯線データから隆線方向データと隆線間隔データを抽出し、
   前記隆線方向データと前記隆線間隔データとを用いて、芯線照合結果の対応芯線データを用いて画像歪修正された前記第２縞模様画像の隆線コントラストを強調する、
   請求項１に記載の縞模様画像照合装置。
3. 前記画像解析部は、
   前記第１縞模様画像の前記対向特徴点対の外側に決定される外側芯線が対応芯線の場合、前記第２縞模様画像の対応芯線の内部を処理領域と限定し、
   前記処理領域内の前記隆線方向データと前記隆線間隔データを抽出する、
   請求項２に記載の縞模様画像照合装置。
4. 前記画像解析部は、
   前記第１縞模様画像の前記対向特徴点対の外側に決定される外側芯線が対応芯線の場合、前記第２縞模様画像の対応芯線の内部に限定した前記処理領域から芯線及び特徴点をそれぞれ仮想芯線、仮想特徴点として抽出し、
   前記仮想特徴点を前記対向特徴点対と照合することで前記画像解析スコアを算出する、
   請求項３に記載の縞模様画像照合装置。
5. 前記画像解析部は、
   前記仮想特徴点が前記対向特徴点対の対特徴点であると判断した場合、正値の前記画像解析スコアを算出する、
   請求項４に記載の縞模様画像照合装置。
6. 前記画像解析部は、
   前記仮想特徴点が前記対向特徴点対の対特徴点ではないと判断した場合、前記仮想芯線を解析して前記画像解析スコアを算出する、
   請求項４に記載の縞模様画像照合装置。
7. 前記仮想芯線の解析は、前記芯線照合部により抽出された前記第２縞模様画像の芯線との比較で実施される、
   請求項６に記載の縞模様画像照合装置。
8. 前記画像解析部は、
   前記第１縞模様画像の前記対向特徴点対の外側に決定される外側芯線が対応芯線の場合、前記第２縞模様画像の対応芯線の内側の内側芯線を照合対象とし、
   前記仮想芯線上の各画素から所定の範囲内に前記内側芯線が存在しない画素数の、前記仮想芯線全体の画素数に対する比率に応じて、前記画像解析スコアを算出する、
   請求項７に記載の縞模様画像照合装置。
9. 隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成し、
   前記第１縞模様画像及び前記第２縞模様画像からそれぞれ抽出された２組の前記特徴点データと前記芯線データを照合して、照合スコアを算出し、
   前記第１縞模様画像の対向特徴点対が存在する領域に関して、前記第２縞模様画像を解析して画像解析スコアを算出し、前記照合スコアを補正する、
   縞模様画像照合方法。
10. 隆線により縞模様が形成されている第１縞模様画像及び第２縞模様画像から特徴点と芯線を抽出して、特徴点データと芯線データを生成し、
    前記第１縞模様画像及び前記第２縞模様画像からそれぞれ抽出された２組の前記特徴点データと前記芯線データを照合して、照合スコアを算出し、
    前記第１縞模様画像の対向特徴点対が存在する領域に関して、前記第２縞模様画像を解析して画像解析スコアを算出し、前記照合スコアを補正する、
    処理をコンピュータに実行させる、
    プログラム。

Images