JP2019121187A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 指紋画像から背景領域と指紋領域とを高精度で分離することができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】 画像処理装置は、指紋画像に含まれる指紋パターンのエッジを強調することで、前記指紋画像の鮮鋭化画像を生成する生成部と、前記鮮鋭化画像に対して、局所的な輝度の変化に基づいてエッジ密度を算出する算出部と、前記エッジ密度に基づいて前記鮮鋭化画像の各画素が指紋領域か背景領域かを判定する判定部と、を備える。【選択図】 図２

Description

本件は、画像処理装置、画像処理方法および画像処理プログラムに関する。

個人の識別を行う際に指紋を用いる指紋認証技術では、利用者から取得した指紋画像から個人を識別する特徴情報が抽出される。例えば、特徴情報を抽出する際に、背景領域が除去され、指紋領域のみが扱われる。しかしながら、指紋画像の背景領域にノイズが含まれていると、指紋領域と背景領域の区別が曖昧になって誤特徴点の検出が増加し、認証精度の低下を引き起こす可能性がある。例えば、センサが経年劣化した場合や安価で低品質なセンサを用いた場合などでは、背景領域の広い範囲にわたってノイズが含まれるような低品質な指紋画像を用いて処理を行うことも考えられる。そこで、指紋領域と背景領域とを分離する技術が開示されている（例えば、特許文献１，２参照）。

特開２００３−４４８５６号公報 特開２００３−３３７９４９号公報

特許文献１の技術では、指紋領域と背景領域の輝度値の平均や分散に有意な差異があることを前提としている。しかしながら、ノイズが含まれる指紋画像では、指紋領域の隆線が曖昧になることで輝度値の分散が小さくなり、背景領域に様々な輝度値の画素が含まれることで輝度値の分散が大きくなり、両者の輝度値の分散の差が小さくなる。この結果、指紋領域と背景領域を正しく分離できなくなるおそれがある。特許文献２の技術では、背景のノイズ領域にコントラスト調整を行うことによって、ノイズ領域においてもコントラストが大きくなり、指紋領域とノイズ領域における輝度値や輝度勾配の分布が元画像よりも類似する場合がある。その結果、両者の区別が困難になって、背景領域のノイズを指紋特徴点と誤検出する可能性が増加するおそれがある。

１つの側面では、本発明は、指紋画像から背景領域と指紋領域とを高精度で分離することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

１つの態様では、画像処理装置は、指紋画像に含まれる指紋パターンのエッジを強調することで、前記指紋画像の鮮鋭化画像を生成する生成部と、前記鮮鋭化画像に対して、局所的な輝度の変化に基づいてエッジ密度を算出する算出部と、前記エッジ密度に基づいて前記鮮鋭化画像の各画素が指紋領域か背景領域かを判定する判定部と、を備えることを特徴とする。

指紋画像から背景領域と指紋領域とを高精度で分離することができる。

実施例１に係る画像処理装置のハードウェア構成を説明するためのブロック図である。 画像処理プログラムの実行によって実現される各機能のブロック図である。 登録処理の詳細を例示するフローチャートである。 （ａ）は指紋画像を例示する図であり、（ｂ）は背景領域にノイズが含まれる指紋画像を例示する図である。 （ａ）は指紋画像における指紋領域の輝度値を画像の水平方向に沿った１次元で例示する図であり、（ｂ）はノイズを含む背景領域の輝度値を画像の水平方向に沿った１次元で例示する図である。 （ａ）は図５（ａ）に対して鮮鋭化を行った場合の輝度値を例示する図であり、（ｂ）は図５（ｂ）に対して鮮鋭化を行った場合の輝度値を例示する図である。 （ａ）は図６（ａ）に対する二階微分フィルタの応答を例示する図であり、（ｂ）は図６（ｂ）に対する二階微分フィルタの応答を例示する図である。 指紋領域候補および背景領域候補を例示する図である。 指紋領域候補および背景領域候補を例示する図である。 認証処理の詳細を例示するフローチャートである。 変形例に係る画像処理システムについて例示する図である。

以下、図面を参照しつつ、実施例について説明する。

図１は、実施例１に係る画像処理装置１００のハードウェア構成を説明するためのブロック図である。図１で例示するように、画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、生体センサ１０５、通信部１０６、属性情報取得部１０７などを備える。これらの各機器は、バスなどによって接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。

記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る画像処理プログラムは、記憶装置１０３に記憶されている。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。

生体センサ１０５は、ユーザの指紋画像を取得するセンサである。生体センサ１０５は、例えば、光学式センサ、静電容量センサなどである。通信部１０６は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などへの接続インタフェースである。属性情報取得部１０７は、キーボード、マウスなどの入力機器であり、例えば、ユーザを識別するためのＩＤ、ユーザ名、パスワードなどの属性情報を入力するための装置である。

記憶装置１０３に記憶されている画像処理プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された画像処理プログラムを実行する。それにより、画像処理装置１００による各処理が実行される。画像処理プログラムが実行されることによって、登録処理、認証処理などが実行される。

登録処理は、各ユーザの属性情報に関連づけて、生体センサ１０５が取得した指紋画像から得られた生体特徴を登録生体特徴として登録する処理である。本実施例においては、指紋画像から抽出された指紋パターンなどが生体特徴として登録される。認証処理は、生体センサ１０５が取得した照合生体特徴と登録生体特徴とを照合する処理である。本実施例においては、一例として、認証処理時に取得された照合用生体特徴と予め登録された登録生体特徴との類似度がしきい値以上であれば、当該ユーザが登録されたユーザと同一人物であると判定される。登録処理および認証処理の詳細については後述する。

図２は、画像処理プログラムの実行によって実現される各機能のブロック図である。画像処理プログラムの実行によって、画像取得部１０、鮮鋭化部２０、エッジ密度算出部３０、領域判定部４０、分離部５０、ノイズ除去部６０、登録部７０、データベース８０、認証部９０などが実現される。なお、図１および図２の例では、スタンドアローンの端末で構成されているが、それに限られない。例えば、本実施例は、クライアントサーバのシステムにも適用可能である。本実施例では、説明の簡略化のために、スタンドアローンの端末における例について説明する。

（登録処理）
図３は、登録処理の詳細を例示するフローチャートである。以下、図１〜図３を参照しつつ、登録処理について説明する。まず、属性情報取得部１０７は、ユーザの属性情報を取得する（ステップＳ１）。次に、画像取得部１０は、生体センサ１０５から当該ユーザの指紋画像を取得する（ステップＳ２）。例えば、生体センサ１０５は、利用者がセンサ面に指を置いたりスライドさせたりすることで、ユーザの所定の指の指紋画像を取得する。

図４（ａ）は、指紋画像を例示する図である。図４（ａ）の例では、ノイズが含まれないため、指紋領域と背景領域とを明確に区別することができる。しかしながら、様々な要因により、指紋画像には様々なノイズが発生する可能性がある。例えば、生体センサ１０５の感度特性の異常のために、指が触れていない背景領域にノイズが現れる場合がある。図４（ｂ）は、背景領域にノイズが含まれる指紋画像を例示する図である。このようなノイズを含む指紋画像を用いると、背景領域に誤特徴点が検出され、本人拒否や他人受入の要因となって望ましくない。そこで、本実施例に係る画像処理装置１００は、ノイズを含む背景領域と指紋領域とを精確に分離してノイズを除去する。

鮮鋭化部２０は、ステップＳ２で取得した指紋画像に対して鮮鋭化フィルタを適用することで、鮮鋭化指紋画像を生成する（ステップＳ３）。例えば、鮮鋭化部２０は、指紋画像に対して、エッジを強調する処理を適用することで、鮮鋭化指紋画像を生成する。エッジを強調する方法としては、例えば下記式（１）のようなアンシャープマスクを畳み込む手法を用いることができる。

指紋領域では、所定方向に向かって隆線が規則的に並んで存在しているため、輝度値の変化が急峻な強いエッジとエッジでない平坦部分が隆線に沿って規則的に分布している。一方で、ノイズを含む背景領域では、輝度値の変化が緩やかな弱いエッジが不規則に分布し、平坦部分が少ない。図５（ａ）は、指紋画像における指紋領域の輝度値を画像の水平方向に沿った１次元で例示する図である。図５（ｂ）は、ノイズを含む背景領域の輝度値を画像の水平方向に沿った１次元で例示する図である。図５（ａ）および図５（ｂ）において、横軸は水平方向の位置を表す。図５（ａ）で例示するように、指紋隆線部では輝度値が０に近い値に、指紋谷線部や指紋が存在しない背景領域は２５５に近い値になる。図５（ｂ）で例示するように、ノイズを持つ場合は背景領域にも０に近い値が現れている。

図６（ａ）は、図５（ａ）に対して鮮鋭化を行った場合の輝度値を例示する図である。図６（ｂ）は、図５（ｂ）に対して鮮鋭化を行った場合の輝度値を例示する図である。元の指紋画像では、指表面の状態やセンサへの触れ方などの影響でエッジが曖昧になる箇所が現れることがあるが、鮮鋭化処理でエッジを強調することで、この影響を小さくし、二階微分フィルタでのエッジ検出精度を向上できる。一方で、ノイズを含む背景領域においても、鮮鋭化処理によってエッジが強調されることでノイズが増大するが、局所的な輝度の変化度がノイズを含む背景領域と指紋領域では異なるため、これらの領域を区別できる。

続いて、エッジ密度算出部３０は、鮮鋭化指紋画像を複数の小領域に分割し、当該複数の小領域のそれぞれについて、含まれる画素のうち、周辺画素に対する輝度値の変化度が閾値以上となる画素の割合をエッジ密度として算出する。具体的には、まず、エッジ密度算出部３０は、ステップＳ３で生成された鮮鋭化指紋画像に対して、ＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタなどの二階微分フィルタを適用する（ステップＳ４）。ＬｏＧフィルタは、下記式（２）などのように表すことができる。また、下記式（３）のように、鮮鋭化画像に対してＬｏＧフィルタを畳み込むことで、二階微分フィルタの応答を得ることができる。下記式（３）において、Ｉｘは、鮮鋭化指紋画像を表す。下記式（２）において、（ｘ，ｙ）は鮮鋭化指紋画像における座標を表し、σはウィンドウの大きさを表す。なお、輝度値の変化度が急峻なほど、二階微分フィルタの応答の絶対値が大きくなる。したがって、二階微分フィルタの応答の絶対値を算出することにより、急峻なエッジが存在するか否かの検出が可能である。図７（ａ）は、図６（ａ）に対する二階微分フィルタの応答を例示する図である。図７（ｂ）は、図６（ｂ）に対する二階微分フィルタの応答を例示する図である。図７（ａ）で例示するように、指紋領域では、絶対値が大きい値が周期的に現れている。図７（ｂ）で例示するように、ノイズを含む背景領域では、絶対値が大きい値が少なくなっている。なお、図７（ａ）および図７（ｂ）では、図６（ａ）および図６（ｂ）の変曲点がゼロとなる。

次に、エッジ密度算出部３０は、鮮鋭化指紋画像を小領域に分割し、各小領域について、二階微分フィルタの応答が所定値以上の画素の存在比率を算出することで、エッジ密度を算出する（ステップＳ５）。例えば、エッジ密度算出部３０は、８×８ピクセルの正方形の小領域を複数生成することで、鮮鋭化指紋画像を小領域に分割する。次に、エッジ密度算出部３０は、小領域ごとに、二階微分フィルタの応答の絶対値が所定の閾値Ｔｈ１以上となる画素数Ｎを算出し、Ｎを小領域に含まれる画素数で除した値をエッジ密度Ｄとする。

指紋領域ではエッジ密度Ｄの値が大きく、ノイズを含む背景領域ではエッジ密度Ｄの値が小さくなる。そこで、領域判定部４０は、エッジ密度Ｄが所定の閾値Ｔｈ２以上の小領域を指紋領域候補と判定し、それ以外の小領域を背景領域候補と判定することで、各小領域を指紋領域候補と背景領域候補とに分類する（ステップＳ６）。

ところで、算出された指紋領域候補および背景領域候補は、センサ面への異物の付着や指表面のキズなどの影響によって誤判定される場合がある。この場合、指紋領域候補の集合および背景領域候補の集合は、図８で例示するように、飛び地を持つような穴の開いた図形となる場合がある。なお、図８では、白地部が背景領域候補であり、網掛け部が指紋領域候補である。しかしながら、実際の指紋領域および背景領域には飛び地が存在せずそれぞれ穴の開いていない領域となる。そこで、分離部５０は、指紋領域候補の集合および背景領域候補の集合に対して、モルフォロジー演算の膨張処理および収縮処理を行うことで変形し、飛び地を持たない１つの指紋領域と１つの背景領域を生成する（ステップＳ７）。

膨張処理は、背景領域候補と判定された小領域に対して隣接（４近傍または８近傍）する小領域に指紋領域候補が１つ以上存在する場合、その背景領域候補と判定された小領域を新たに指紋領域候補と判定する操作をすべての背景領域候補と判定された小領域に対して行う。収縮処理は、指紋領域候補と判定された小領域に対して隣接（４近傍または８近傍）する小領域に背景領域候補が１つ以上存在する場合、その指紋領域候補と判定された小領域を新たに背景領域候補と判定する操作をすべての指紋領域候補と判定された小領域に対して行う。膨張処理ｉ回、収縮処理ｉ回の順に処理を行うことで指紋領域候補内に飛び地として存在する背景領域候補を除去できる。また、収縮処理ｊ回、膨張処理ｊ回の順に処理を行うことで背景領域候補内に飛び地として存在する指紋領域候補を除去できる。これらの処理によって、図９で例示するように、飛び地を持たない指紋領域候補および背景領域候補が生成され、それぞれを指紋領域、背景領域とする。

次に、ノイズ除去部６０は、背景領域に含まれる画素の輝度値を所定値以上の背景輝度値とすることで背景ノイズを除去した指紋画像を得る（ステップＳ８）。背景輝度値は、本実施離例においては、一例として２５５とする。

次に、登録部７０は、ステップＳ８で生成された指紋画像から生体特徴を抽出し、ステップＳ１で取得した属性情報と関連付けて、登録生体特徴としてデータベース８０に登録する（ステップＳ９）。以上の処理により、登録処理が終了する。

（認証処理）
図１０は、登録処理の後に、ユーザが認証を行う場合に実行される認証処理の詳細を例示するフローチャートである。図１０で例示するように、ステップＳ１〜ステップＳ８と同様の処理であるステップＳ１１〜ステップＳ１８が実行される。次に、認証部９０は、ノイズ除去後の指紋画像から指紋特徴を照合用生体特徴として抽出する。次に、認証部９０は、ステップＳ１１で取得した属性情報と関連付けられた登録生体特徴をデータベース８０から読み出し、照合用生体特徴と照合する（ステップＳ１９）。

例えば、認証部９０は、照合用生体特徴と登録生体特徴との類似度を算出する。類似度は、値が大きいほど生体特徴同士が類似していることを表し、例えば生体特徴が特徴ベクトルで表されていたときにこれらのユークリッド距離の逆数とする。例えば、認証部９０は、類似度の閾値処理により、本人判定を行う。具体的には、認証部９０は、類似度が所定の閾値以上の場合は、登録した人物と照合しようとしている人物が同一と判定し、照合スコアが所定の閾値未満の場合は異なる人物と判定する。なお、ステップＳ１１を実行せずに、不特定多数の登録生体特徴と照合用生体特徴とを照合し、最も大きい類似度の閾値処理により本人判定を行う１：Ｎ認証を行ってもよい。

本実施例によれば、指紋画像に含まれる指紋パターンのエッジを強調することで、指紋画像の鮮鋭化画像を生成することができる。それにより、指紋パターンのエッジを高精度に検出できるようになる。次に、鮮鋭化画像において、局所的な輝度の変化に基づいてエッジ密度を算出することができる。指紋領域ではエッジ密度が大きくなるため、エッジ密度を算出することで、各画素を指紋領域と背景領域とに高精度で分類することができる。

鮮鋭化画像を複数の小領域に分割し、小領域のそれぞれについて、含まれる画素のうち、周辺画素に対する輝度値の変化度が閾値以上となる画素の割合をエッジ密度として算出することが好ましい。この場合、エッジ密度の算出精度が向上する。

鮮鋭化画像に対して二階微分フィルタを適用し、鮮鋭化画像を複数の小領域に分割し、複数の小領域のそれぞれについて、含まれる画素のうち、二階微分フィルタの応答の絶対値が閾値以上となる画素の割合をエッジ密度として算出することがより好ましい。この場合、エッジ密度の算出精度がさらに向上する。

指紋領域候補の集合および背景領域候補の集合がそれぞれ穴の開いていない図形になるように鮮鋭化画像を変形することで、鮮鋭化画像を指紋領域と背景領域とに高精度に分離することができる。分離された背景領域の輝度値を所定値以上の輝度値とすることで、背景領域のノイズを除去することができる。

（変形例）
図１１は、変形例に係る画像処理システムについて例示する図である。上記各例においては、図２の各部が生体センサ１０５から生体画像を取得し、属性情報取得部１０７から属性情報を取得し、登録処理および認証処理を行っている。これに対して、図２の各部の機能を有するサーバ２０２が、インターネットなどの電気通信回線２０１を通じて生体センサ１０５から生体画像を取得し、属性情報取得部１０７から属性情報を取得してもよい。

上記例において、鮮鋭化部２０が、指紋画像に含まれる指紋パターンのエッジを強調することで、前記指紋画像の鮮鋭化画像を生成する生成部の一例として機能する。エッジ密度算出部３０が、前記鮮鋭化画像に対して、局所的な輝度の変化に基づいてエッジ密度を算出する算出部の一例として機能する。領域判定部４０および分離部５０が、前記エッジ密度に基づいて前記鮮鋭化画像の各画素が指紋領域か背景領域かを判定する判定部の一例として機能する。分離部５０が、前記指紋領域候補の集合および前記背景領域候補の集合がそれぞれ穴の開いていない図形になるように前記鮮鋭化画像を変形することで、前記鮮鋭化画像を指紋領域と背景領域とに分離する分離部の一例として機能する。ノイズ除去部６０が、前記分離部によって分離された前記背景領域の輝度値を所定値以上の輝度値とすることで、背景領域のノイズを除去するノイズ除去部の一例として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 画像取得部
２０ 鮮鋭化部
３０ エッジ密度算出部
４０ 領域判定部
５０ 分離部
６０ ノイズ除去部
７０ 登録部
８０ データベース
９０ 認証部
１００ 画像処理装置
１０５ 生体センサ
１０７ 属性情報取得部

Claims (10)

1. 指紋画像に含まれる指紋パターンのエッジを強調することで、前記指紋画像の鮮鋭化画像を生成する生成部と、
   前記鮮鋭化画像に対して、局所的な輝度の変化に基づいてエッジ密度を算出する算出部と、
   前記エッジ密度に基づいて前記鮮鋭化画像の各画素が指紋領域か背景領域かを判定する判定部と、を備えることを特徴とする画像処理装置。
2. 前記算出部は、前記鮮鋭化画像を複数の小領域に分割し、前記複数の小領域のそれぞれについて、含まれる画素のうち、周辺画素に対する輝度値の変化度が閾値以上となる画素の割合をエッジ密度として算出することを特徴とする請求項１記載の画像処理装置。
3. 前記算出部は、前記鮮鋭化画像に対して二階微分フィルタを適用し、前記鮮鋭化画像を複数の小領域に分割し、前記複数の小領域のそれぞれについて、含まれる画素のうち、前記二階微分フィルタの応答の絶対値が閾値以上となる画素の割合をエッジ密度として算出することを特徴とする請求項１記載の画像処理装置。
4. 前記二階微分フィルタは、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎフィルタであることを特徴とする請求項３記載の画像処理装置。
5. 前記判定部は、前記エッジ密度に応じて前記鮮鋭化画像の各画素を指紋領域候補と背景領域候補とに分類し、前記指紋領域候補の集合および前記背景領域候補の集合がそれぞれ穴の開いていない図形になるように前記鮮鋭化画像を変形することで、前記鮮鋭化画像を指紋領域と背景領域とに分離する分離部（５０）を備えることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記分離部は、前記指紋領域候補の集合および前記背景領域候補の集合に対して、モルフォロジー演算の膨張処理および収縮処理を適用することで、前記鮮鋭化画像において前記指紋領域および前記背景領域がそれぞれ１つの図形となるように、前記鮮鋭化画像を変形することを特徴とする請求項５記載の画像処理装置。
7. 前記判定部が判定した前記背景領域の輝度値を所定値以上の輝度値とすることで、背景領域のノイズを除去するノイズ除去部（６０）を備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記ノイズ除去部によってノイズが除去された画像から照合用生体特徴を抽出し、予め登録されている登録生体特徴と前記照合用生体特徴とを照合することで個人認証を行う認証部（９０）を備えることを特徴とする請求項７記載の画像処理装置。
9. 生成部が、指紋画像に含まれる指紋パターンのエッジを強調することで、前記指紋画像の鮮鋭化画像を生成し、
   算出部が、前記鮮鋭化画像に対して、局所的な輝度の変化に基づいてエッジ密度を算出し、
   判定部が、前記エッジ密度に基づいて前記鮮鋭化画像の各画素が指紋領域か背景領域かを判定する、ことを特徴とする画像処理方法。
10. コンピュータに、
    指紋画像に含まれる指紋パターンのエッジを強調することで、前記指紋画像の鮮鋭化画像を生成する処理と、
    前記鮮鋭化画像に対して、局所的な輝度の変化に基づいてエッジ密度を算出する処理と、
    前記エッジ密度に基づいて前記鮮鋭化画像の各画素が指紋領域か背景領域かを判定する処理と、を実行させることを特徴とする画像処理プログラム。

Images