JP2017211938A

JP2017211938A - 生体情報処理装置、生体情報処理方法および生体情報処理プログラム

Info

Publication number: JP2017211938A
Application number: JP2016106534A
Authority: JP
Inventors: 登樹安部; Toju Abe
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-05-27
Filing date: 2016-05-27
Publication date: 2017-11-30
Anticipated expiration: 2036-05-27
Also published as: JP6648639B2; US10430678B2; EP3249576A1; US20170344839A1

Abstract

【課題】部分認証に用いる生体情報の取得を高速化できる生体情報処理装置、生体情報処理方法および生体情報処理プログラムを提供する。
【解決手段】生体情報処理装置は、生体画像から生体の表面パターンおよび血管パターンを抽出するパターン抽出部と、前記表面パターンの特徴点を抽出する特徴点抽出部と、前記特徴点のそれぞれに対応する位置における前記血管パターンの特徴量を抽出する特徴量抽出部と、を有する。
【選択図】図２

Description

本件は、生体情報処理装置、生体情報処理方法および生体情報処理プログラムに関する。

静脈認証では、生体部位の姿勢をガイドで安定させることにより適切な静脈画像を採取しやすくなる。近年、携帯機器にも静脈認証機能が搭載されており、ガイドと併用することは携帯性を損なうことになり、自然に生体部位をかざす動作で認証を行うことが望まれている。しかしながら、生体部位のセンサに対する位置を安定させることは困難となり、撮影範囲や撮影箇所がばらつく。そのため、生体部位全体の静脈パターンを登録しておき、照合時には一部分を撮影し、当該一部分の照合（部分認証）をおこなう技術を用いることが考えられる（例えば、特許文献１参照）。

特開２０１２−２３４４４０号公報

静脈認証では、静脈パターンに位置の手掛かりとなる情報がないため、生体部位の輪郭などから静脈パターンの位置を推定することが考えられる。しかしながら、部分認証では輪郭情報を使用できないため、照合領域を直ちに決定できない。生体部位全体パターン上で部分パターンを走査して合致する位置を探して照合をおこなうことが考えられるが、全体を走査することにより処理時間は増大する。

１つの側面では、本発明は、部分認証に用いる生体情報の取得を高速化できる生体情報処理装置、生体情報処理方法および生体情報処理プログラムを提供することを目的とする。

１つの態様では、生体認証装置は、生体画像から生体の表面パターンおよび血管パターンを抽出するパターン抽出部と、前記表面パターンの特徴点を抽出する特徴点抽出部と、前記特徴点のそれぞれに対応する位置における前記血管パターンの特徴量を抽出する特徴量抽出部と、を有する。

部分認証に用いる生体情報の取得を高速化できる。

（ａ）は実施例１に係る生体認証装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は生体センサの模式図である。生体認証プログラムの実行によって実現される各機能のブロック図である。登録処理の詳細を表すフローチャートを例示する図である。図３のステップＳ３の詳細を表すフローチャートを例示する図である。手のひら画像から抽出される特徴点と局所領域を例示する図である。認証処理の詳細を表すフローチャートを例示する図である。指画像から抽出される特徴点と局所領域を例示する図である。顔画像から抽出される特徴点と局所領域を例示する図である。

以下、図面を参照しつつ、実施例について説明する。

図１（ａ）は、実施例１に係る生体認証装置１００のハードウェア構成を説明するためのブロック図である。図１（ｂ）は、後述する生体センサ１０５の模式図である。図１（ａ）を参照して、生体認証装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、生体センサ１０５、通信部１０６、属性情報取得部１０７などを備える。これらの各機器は、バスなどによって接続されている。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。

記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る生体認証プログラムは、記憶装置１０３に記憶されている。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。

生体センサ１０５は、ユーザの生体情報を取得するセンサであり、本実施例においては、ユーザの手のひらの画像を非接触で取得する。図１（ｂ）で例示するように、生体センサ１０５は、一例として、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどである。生体センサ１０５は、例えば、可視光や近赤外線の情報に基づいて、手のひらのしわ等の表面パターンを取得することができる。また、生体センサ１０５は、近赤外線を利用することによって、静脈パターンなどの血管パターンを取得することもできる。なお、手のひら画像は、指先までを含んだ手のひらの全体を含むことが好ましいが、指の途中までの範囲だけを含んでいてもよい。

通信部１０６は、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などへの接続インタフェースである。属性情報取得部１０７は、キーボード、マウスなどの入力機器であり、例えば、ユーザを識別するためのＩＤ、ユーザ名、パスワードなどを入力するための装置である。

記憶装置１０３に記憶されている生体認証プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された生体認証プログラムを実行する。それにより、生体認証装置１００による各処理が実行される。生体認証プログラムが実行されることによって、登録処理、認証処理などが実行される。

登録処理は、各ユーザに関連づけて、生体センサ１０５が取得した手のひら画像から得られた特徴量をデータベースに登録する処理である。本実施例においては、手のひら画像から抽出された血管パターンが特徴量としてデータベースに登録される。認証処理は、生体センサ１０５が取得した照合用特徴量とデータベースに登録された登録特徴量とを照合する処理である。本実施例においては、一例として、認証処理時に取得された静脈パターンとデータベースに登録された静脈パターンとの類似度がしきい値以上であれば当該ユーザが登録されたユーザと同一人物であると判定される。登録処理および認証処理の詳細については後述する。

図２は、生体認証プログラムの実行によって実現される各機能のブロック図である。生体認証プログラムの実行によって、抽出部１０、登録部２０、認証部３０、データベース４０などが実現される。抽出部１０は、生体情報処理装置としての機能を備える。したがって、生体認証プログラムのうち、抽出部１０を実現するプログラムが生体情報処理プログラムとしての機能を有する。抽出部１０は、血管パターン抽出部１１、表面パターン抽出部１２、特徴点抽出部１３、局所領域設定部１４、および特徴量抽出部１５を含む。なお、図１および図２の例では、スタンドアローンの端末で構成されているが、それに限られない。例えば、本実施例は、クライアントサーバのシステムにも適用可能である。本実施例では、説明の簡略化のために、スタンドアローンの端末における例について説明する。

（登録処理）
図３は、登録処理の詳細を表すフローチャートを例示する図である。以下、図２および図３を参照しつつ、登録処理について説明する。まず、属性情報取得部１０７は、ユーザの属性情報を取得する（ステップＳ１）。次に、生体センサ１０５は、生体センサ１０５に対して手をかざすユーザの手のひら画像を取得する（ステップＳ２）。次に、抽出部１０は、手のひら画像から特徴量として静脈パターンを抽出する（ステップＳ３）。次に、登録部２０は、ステップＳ１で取得した属性情報と、ステップＳ３で抽出した特徴量とを関連付けてデータベース４０に登録する（ステップＳ４）。ステップＳ４で登録される特徴量を登録特徴量と称する。以上の処理により、登録処理が完了する。

図４は、図３のステップＳ３の詳細を表すフローチャートを例示する図である。図４で例示するように、表面パターン抽出部１２は、ステップＳ２で取得された手のひら画像から表面で反射してきた情報を抽出することで手のひらの表面パターンを抽出する（ステップＳ１１）。図５は、ステップＳ２で取得された手のひら画像と、当該手のひら画像から抽出された表面パターンとを例示する。

次に、特徴点抽出部１３は、ステップＳ１１で抽出された表面パターンに含まれる特徴的な線分の交点や端点の位置を特徴点として抽出する（ステップＳ１２）。図５で例示するように、抽出された表面パターンは、表面の凹凸が２次元の画像として表現されている。したがって、当該２次元の画像において、生体センサ１０５から遠い箇所が黒く、近い場所が白く映っている。特徴点抽出部１３は、当該２次元の画像に対して、局所的に黒くなっている箇所（表面のしわ領域）を抽出するために２値化処理を行う。２値化処理に得られた画像に細線化を施して１ｐｘ（ピクセル）の幅の線画像を生成し、当該線の交点または端点の位置を特徴点として抽出する。なお、特徴点として抽出する点としては、交点や端点だけでなく、抽出した細線の曲率が大きい特異点なども採用してもよい。さらに、特徴点の情報としては当該点の位置だけでなく、種別や方向情報を保持してもよい。

次に、局所領域設定部１４は、ステップＳ１２で抽出された特徴点に基づいて特徴量を抽出するための局所領域を設定する。例えば、局所領域設定部１４は、抽出された特徴点を中心位置とした一辺の長さがＷの矩形領域を、局所領域として設定する。Ｗの大きさは、例えば、手のひら画像サイズの１０％〜２０％程度とする。当該局所領域は静脈パターンから特徴量を抽出する際の領域を設定するためのものであるが、静脈パターンに基づいた領域ではない。したがって、当該局所領域内に十分な情報量を持つ静脈パターンが存在しない場合もある。この場合、抽出される特徴量が少なく、認証に十分な弁別性能を期待できなくなるおそれがある。そこで、局所領域設定部１４は、特徴点を中心位置として決定した矩形領域に対応する静脈パターンを表現する画像内に含まれる静脈パターンの画素をカウントして、当該局所領域内の静脈存在割合を算出する。局所領域設定部１４は、当該静脈存在割合が閾値以上であれば、特徴量を抽出するための局所領域として採用し、閾値未満であれば局所領域として採用しない。局所領域設定部１４は、各局所領域の識別子として、特徴点ＩＤを割り振る。

一方、血管パターン抽出部１１は、ステップＳ２で取得された手のひら画像から、静脈パターンを抽出する（ステップＳ２１）。図５において、抽出された静脈パターンが例示されている。特徴量抽出部１５は、ステップＳ１３で設定された局所領域に相当する静脈パターンの局所画像から特徴量を抽出する（ステップＳ２２）。特徴量は、一般的な画像認識技術を利用して抽出することができる。例えば、静脈パターンの局所画像内の統計的な特徴量（画素値の平均値や分散など）、ＬｏｃａｌＢｉｎａｒｙＰａｔｔｅｒｎ（ＬＢＰ）、ＳＩＦＴ／ＳＵＲＦ，ＯＲＢ，ＢＲＩＳＫ，Ｄ−Ｎｅｔｓ，ＫＡＺＥもしくはそれらを組み合わせた手法などを利用できる。特徴量抽出部１５は、図５で例示するように、特徴点座標と特徴量（ベクトル）とを特徴点ＩＤに関連付ける。

（認証処理）
次に、認証処理について説明する。図６は、認証処理の詳細を表すフローチャートを例示する図である。図６で例示するように、ステップＳ３１〜ステップＳ３３は、図３のステップＳ１〜ステップＳ３と同様である。ステップＳ３３で得られた特徴量を、照合用特徴量と称する。ステップＳ３３の実行後、認証部３０は、ステップＳ３１で取得された属性情報と一致する登録特徴量をデータベース４０から読み出す（ステップＳ３４）。

次に、認証部３０は、ステップＳ３４で読み出した登録特徴量と、照合用特徴量との類似度を比較スコアとして算出する（ステップＳ３５）。例えば、認証部３０は、照合用特徴量に含まれる特徴量と、登録特徴量に含まれる各特徴量との類似度を順次算出し、最大の類似度を当該特徴量に係る類似度として算出する。認証部３０は、照合用特徴量に含まれる他の特徴量についても同様に類似度を算出する。認証部３０は、得られた類似度の平均値を比較スコアとして算出する。または、認証部３０は、特徴点群が持つ幾何学的情報を用いてもよい。具体的には、認証部３０は、特徴点の座標を用いて各特徴点の相対的な位置関係を算出する。照合用特徴量の各特徴点の相対的な位置関係と、登録特徴量の各特徴点の相対的な位置関係とを比較することで、特徴点同士の対応関係を得ることができる。照合用特徴量の特徴点の特徴量と、登録特徴量の対応する特徴点の特徴量とを照合することで、演算量を低減することができる。

認証部３０は、比較スコアが閾値Ｔｈを上回るか否かを判定する（ステップＳ３６）。ステップＳ３６で「Ｙｅｓ」と判定された場合、認証部３０は、認証成功に係る信号を出力する（ステップＳ３７）。ステップＳ３６で「Ｎｏ」と判定された場合、認証部３０は、認証失敗に係る信号を出力する（ステップＳ３８）。ステップＳ３７およびステップＳ３８の実行後、フローチャートの実行が終了する。

本実施例によれば、手のひら画像よりも小さい局所領域を設定するための情報として、表面パターンの特徴点が用いられる。血管パターンには特徴的な線分の交点、端点などの特徴点が少ないため、位置の手掛かりとなる特徴点を抽出しにくい。これに対して、表面パターンには特徴的な線分の交点や端点が多く含まれる。したがって、表面パターンを用いることで、局所領域の設定が容易となる。血管パターンからは、局所領域ごとに特徴量が抽出される。登録処理時に登録された各局所領域の特徴量と、認証処理時に抽出された各局所領域の特徴量とが照合される。この手法では、手のひら画像全体から、照合対象の部分パターンを走査しなくてもよいため、照合に用いる領域を決定するための時間が短縮化される。以上のことから、本実施例によれば、部分認証に用いる生体情報の取得を高速化することができる。

本実施例においては、認証処理の際に属性情報を取得することによって照合対象の登録特徴量を特定する１：１認証について説明しているが、それに限られない。認証処理の際に属性情報を取得せずに照合用特徴量と複数の登録特徴量とを照合する１：Ｎ認証にも本実施例を適用することができる。以下の例についても同様である。

（変形例１）
手のひらの血管パターン以外に、例えば、指の血管パターンから特徴量を抽出することができる。図７は、生体センサ１０５によって取得されたいずれかの指の指画像を例示する図である。表面パターン抽出部１２は、取得された指画像から表面で反射してきた情報を抽出することで、指の表面パターンを抽出する。また、図７では、抽出された表面パターンが例示されている。表面パターンは、指の関節のしわ等である。

特徴点抽出部１３は、抽出された表面パターンに含まれる特徴的な線分の交点や端点の位置を特徴点として抽出する。図７で例示するように、抽出された表面パターンは、表面の凹凸が２次元の画像として表現されている。したがって、当該２次元の画像において、生体センサ１０５から遠い箇所が黒く、近い場所が白く映っている。特徴点抽出部１３は、当該２次元の画像に対して、局所的に黒くなっている箇所（表面のしわ領域）を抽出するために２値化処理を行う。２値化処理に得られた画像に細線化を施して１ｐｘ（ピクセル）の幅の線画像を生成し、当該線の交点または端点の位置を特徴点として抽出する。なお、特徴点として抽出する点としては、交点や端点だけでなく、抽出した細線の曲率が大きい特異点も採用してもよい。さらに、特徴点の情報としては当該点の位置だけでなく、種別や方向情報を保持してもよい。

局所領域設定部１４は、抽出された特徴点に基づいて特徴量を抽出するための局所領域を設定する。例えば、局所領域設定部１４は、抽出された特徴点を中心位置とした一辺の長さがＷの矩形領域を、局所領域として設定する。Ｗの大きさは、例えば、画像サイズの１０％〜２０％程度とする。局所領域設定部１４は、特徴点を中心位置として決定した矩形領域に対応する血管パターンを表現する画像内に含まれる血管パターンの画素をカウントして、当該局所領域内の血管存在割合を算出する。局所領域設定部１４は、当該血管存在割合が閾値以上であれば、特徴量を抽出するための局所領域として採用し、閾値未満であれば局所領域として採用しない。局所領域設定部１４は、各局所領域の識別子として、特徴点ＩＤを割り振る。

血管パターン抽出部１１は、指画像から、血管パターンを抽出する。図７では、血管パターンとして静脈パターンが例示されている。特徴量抽出部１５は、図７で例示するように、設定された局所領域に相当する血管パターンの局所画像から特徴量を抽出する。特徴量抽出部１５は、図７で例示するように、特徴点座標と特徴量（ベクトル）とを特徴点ＩＤに関連付ける。

（変形例２）
あるいは、顔の血管パターンから特徴量を抽出することができる。図８は、生体センサ１０５によって取得された顔画像を例示する図である。表面パターン抽出部１２は、取得された顔画像から表面で反射してきた情報を抽出することで、顔の表面パターンを抽出する。また、図８は、抽出された表面パターンを例示する。表面パターンは、目、鼻、口などの輪郭線である。

特徴点抽出部１３は、抽出された表面パターンに含まれる特徴的な点の位置を特徴点として抽出する。例えば、特徴点抽出部１３は、図８で例示するように、目、鼻、口などの輪郭線において、曲率が閾値以上となる箇所を特徴点として抽出することができる。目、鼻、口などの輪郭性を抽出する手法として、Ｌａｐｌａｃｉａｎフィルタ、Ｃａｎｎｙエッジ検出などを利用することができる。例えば、顔の特徴点については、予め当該位置の局所画像を機械学習して検出することができる。例えば、Yi Sun et al., “Deep Convolutional Network Cascade for Facial Point Detection”, In Proceedings of the 2013 IEEE Conference on Computer Vision and Pattenr Recognition (CVPR), pp. 3476-3483, 2013.に記載された手法を用いることができる。

血管パターン抽出部１１は、指画像から、血管パターンを抽出する。図８では、血管パターンとして抽出された静脈パターンが例示されている。特徴量抽出部１５は、図８で例示するように、設定された局所領域に相当する血管パターンの局所画像から特徴量を抽出する。特徴量は、一般的な画像認識技術を利用して抽出することができる。特徴量抽出部１５は、図８で例示するように、特徴点座標と特徴量（ベクトル）とを特徴点ＩＤに関連付ける。

（変形例３）
上記各例においては、血管パターンから特徴量を抽出しているが、併せて表面パターンから特徴量を抽出してもよい。例えば、特徴量抽出部１５は、局所領域において、表面パターンから特徴量を抽出する。特徴量として、手のひらのしわ、指の関節のしわなどの端点や分岐点の座標や方向、２個の分岐点の連結情報などを抽出することができる。登録部２０は、ユーザの属性情報と、血管パターンから抽出された特徴量と、表面パターンから抽出された特徴量とを関連付けてデータベース４０に登録する。認証部３０は、認証時に血管パターンから抽出された特徴量および表面パターンから抽出された特徴量と、データベース４０に登録された各特徴量とを照合する。本変形例によれば、血管パターンの特徴量および表面パターンの特徴量の両方を用いることから、認証精度が向上する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０抽出部
１１血管パターン抽出部
１２表面パターン抽出部
１３特徴点抽出部
１４局所領域設定部
１５特徴量抽出部
２０登録部
３０認証部
４０データベース
１００生体認証装置

Claims

生体画像から生体の表面パターンおよび血管パターンを抽出するパターン抽出部と、
前記表面パターンの特徴点を抽出する特徴点抽出部と、
前記特徴点のそれぞれに対応する位置における前記血管パターンの特徴量を抽出する特徴量抽出部と、を有することを特徴とする生体情報処理装置。
前記特徴点抽出部は、前記表面パターンから線を抽出し、当該線の線分の端点、交点、および曲率が閾値以上となる点の少なくともいずれかを特徴点として抽出することを特徴とする請求項１記載の生体情報処理装置。
前記特徴量抽出部は、前記特徴点を含み前記生体画像よりも小さい領域において、前記血管パターンの画素が占める比率が閾値以上となる場合に、前記領域から前記血管パターンの特徴量を抽出することを特徴とする請求項１または２記載の生体情報処理装置。
前記特徴量抽出部は、前記特徴点のそれぞれに対応する位置における前記表面パターンの特徴量を抽出することを特徴とする請求項１〜３のいずれか一項に記載の生体情報処理装置。
前記特徴量抽出部が抽出した特徴量と、予め登録されている特徴量とを照合する照合部を備えることを特徴とする請求項１〜４のいずれか一項に記載の生体情報処理装置。
生体画像から生体の表面パターンおよび血管パターンをパターン抽出部が抽出し、
前記表面パターンの特徴点を特徴抽出部が抽出し、
前記特徴点のそれぞれに対応する位置における前記血管パターンの特徴量を特徴量抽出部が抽出する、を有することを特徴とする生体情報処理方法。
コンピュータに、
生体画像から生体の表面パターンおよび血管パターンを抽出する処理と、
前記表面パターンの特徴点を抽出する処理と、
前記特徴点のそれぞれに対応する位置における前記血管パターンの特徴量を抽出する処理と、を実行させることを特徴とする生体情報処理プログラム。