JP2020057275A - 生体認証システム、生体認証方法およびプログラム - Google Patents

Abstract

【課題】一度の撮影で得られた画像から互いに相関の低い複数の生体特徴量を抽出し照合することで、安定かつ高精度の認証を実現する。【解決手段】生体を撮影した画像を取得する画像入力部と、各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部と、画像入力部によって取得された画像の生体領域を処理して登録情報に基づく生体認証を行う認証処理部と、を有する生体認証システムであって、各人物の生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴であり、認証処理部は、画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて生体認証を行う。【選択図】図１Ａ

Description

本発明は、生体を用いて個人を認証する技術に関する。

従来、入退室コントロール、勤怠打刻及びコンピュータへのログインなどのアクセス管理のための個人認証手段として、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及びＰＷ（Ｐａｓｓｗｏｒｄ）などの記憶認証、並びに、物理錠又はＩＣカードなどの物体認証などが広く利用されてきた。しかし、これらの認証方式は忘失や紛失のリスクがある。これに対し、近年ではこれらのリスクのない生体認証が利用されている。生体認証では、生体情報を読み取るためのセンサを搭載した装置を利用し、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、銀行ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、部屋の入口、又はロッカーなどのあらゆるアクセス管理に利用されている。特に最近では、スマートフォンやタブレットなどの携帯端末の普及に伴い、携帯端末上で生体認証を実施する例が増加している。携帯端末といったあらゆる人々が利用する生体認証では、メガネやマスクの着用や肌荒れ、血行不良などの生体変動によって認証が困難となる場合がある。そこで、マスクの着用時は顔認証ではなく指紋認証を利用する、肌荒れが発生している時は顔認証を利用するなど、重畳していない複数の生体を利用して認証できることが求められている。このとき、利用する生体に応じて必要となるセンサを増やすことなく、例えば可視光のカメラなどの単一の汎用的なセンサで複数の組織の生体特徴を同時に抽出できることが望ましい。また、認証装置を利用する度に生じる生体の位置や姿勢の変動による認証精度低下を抑制すること、または位置や姿勢の変動自体を抑制することが重要である。

特許文献１では、指を撮影して得られた画像から重畳する複数の特徴量を抽出し、生体の位置や姿勢の変動にロバストに認証する技術が開示されている。

特許文献２では、指を最適な提示位置・姿勢を誘導することでその変動を抑制しつつ、撮影画像から特徴量を抽出し認証する技術が開示されている。

特開２０１６−９６９８７号公報 特開２０１７−９１１８６号公報

使い勝手が良く高精度な生体認証装置を実現するためには、センサの取得データから重畳していない複数の生体特徴を抽出し認証に利用できることが重要となる。

特許文献１では、光源を指に照明し、その反射光を撮影して得られた画像から、指の内部に重畳する複数の生体特徴に関する色素濃度の分布の情報から特徴量を抽出することで高精度に認証する技術が提案されている。しかしながら、光源及びセンサの制約によって撮影画像から複数の生体特徴を抽出することが困難になるという課題に関する記述がない。

特許文献２では、指を最適な提示位置に誘導しつつ、波長の異なる複数の光源を指に照明し、その反射光を撮影して得られた画像から、特徴量を抽出し認証する技術が提案されている。しかしながら、指だけでなく顔などの重畳していない複数の生体を、互いに遮蔽することなく最適な提示位置に誘導して撮影する方法に関する記述がない。

そこで、本発明は重畳していない複数の生体を互いに遮蔽することなく最適な提示位置に誘導して撮影し、撮影画像から複数の生体特徴量を獲得し照合することで、安定かつ高精度に認証できる生体認証装置を実現する技術を提供することを目的とする。

上記の課題の少なくとも一つを解決するため、本発明の一態様は、生体を撮影した画像を取得する画像入力部と、各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部と、前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う認証処理部と、を有する生体認証システムであって、前記各人物の前記生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴であり、前記認証処理部は、前記画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて前記生体認証を行うことを特徴とする。

本発明の一態様によれば、生体認証システムにおいて、一度の撮影で得られた画像から互いに相関の低い複数の生体特徴量を抽出し照合することで、安定かつ高精度に認証することができる。

上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

第１の実施の形態の指と顔を用いた生体認証システムの全体の構成を示すブロック図である。 第１の実施の形態の認証処理部の機能ブロック図である。 第１の実施の形態の生体認証システムを用いた認証の様子の一例を説明する図である。 第１の実施の形態の生体認証システムによる登録時の処理を示すフローチャートである。 第１の実施の形態の生体認証システムによる認証時の処理を示すフローチャートである。 第１の実施の形態の生体認証システムによって表示されるガイド画像の例を説明する図である。 第１の実施の形態の生体認証システムによって表示されるガイド画像の例を説明する図である。 本実施の形態の生体認証システムのディスプレイを光源として利用した生体領域の検出の処理の様子を示す図である。 本実施の形態の生体認証システムのディスプレイを光源として利用した生体領域の検出の処理を示すフローチャートである。 本実施の形態の生体認証システムによる登録データとの類似度の算出の詳細な処理の例を示すフローチャートである。 本実施の形態の生体認証システムによる類似度の算出の詳細な処理の例を示すフローチャートである。 本実施の形態の生体認証システムによる相関の低い複数の特徴量を抽出する処理を示すフローチャートである。 本実施の形態の生体認証システムによる相関の低い複数の特徴量を抽出する処理を示すフローチャートである。 本実施の形態の生体認証システムによる特徴量の抽出の処理の例を説明する図である。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図において共通の構成については同一の参照番号が付されている。

図１Ａは、第１の実施の形態の指と顔を用いた生体認証システムの全体の構成を示すブロック図である。

尚、本発明はシステムとして構成されるだけでなく、図１Ａに示した構成要素のすべてまたは一部を筐体に搭載した装置として構成されてもよいことは言うまでも無い。その場合、本発明の装置は、認証処理を含めた個人認証装置であっても良い。あるいは、認証処理は装置外部で行い、本発明の装置は生体画像の取得に特化した生体画像取得装置であってもよい。

第１の実施の形態の認証システムは、画像入力部１、認証処理部２、記憶部３、表示部４及び入力部５を含む。

画像入力部１は、例えばカラーカメラであり、被認証者の生体から生体特徴を含む画像を取得し、取得した画像を認証処理部２へ入力する。以下の説明において、画像入力部１を、カメラ１と記載する場合がある。

認証処理部２は画像入力部１から入力された画像に対して画像処理し、認証処理を実行する。なお、認証処理部２の画像処理機能に画像入力部１を含めて画像処理部を構成する場合がある。いずれにしても認証処理部２は画像処理機能を備える。

図１Ａは、さらに、認証処理部２の構成図を示す。認証処理部２は、中央処理部（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ７及び種々のインターフェイス８（ＩＦ：Ｉｎｔｅｒｆａｃｅ）を含む。

ＣＰＵ６は、メモリ７に記憶されているプログラムを実行することによって各種処理を行う。後述するように、本実施形態の生体認証システムが認証部９又は登録部１０（図１Ｂ）の機能によって実行する処理は、実際にはＣＰＵ６がメモリ７に記憶されているプログラムに従って実行する。メモリ７は、ＣＰＵ６によって実行されるプログラムを記憶する。また、メモリ７は画像入力部１から入力された画像を一時的に記憶する。

インターフェイス８は、認証処理部２と外部の装置とを接続する。具体的には、インターフェイス８は、画像入力部１、記憶部３、表示部４及び入力部５などと接続される。

図１Ｂは、第１の実施の形態の認証処理部２の機能ブロック図である。

認証処理部２は、認証部９と、登録部１０とを備える。認証部９は、画像入力部１から入力された入力データと、記憶部３に登録されている登録データとを照合し、利用者の認証を行う。登録部１０は、画像入力部１によって取得された画像から登録データを作成し、記憶部３内に格納する。例えば後述する図３の処理を登録部１０が、図４の処理を認証部９が、必要に応じて画像入力部１、記憶部３、表示部４及び入力部５を制御して実行してもよい。

記憶部３は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管（指静脈）を暗い影のパターンとして撮像した画像である。

表示部４は、例えば、ディスプレイ装置であり、認証処理部２から受信した情報を表示する出力装置である。以下の説明において、表示部４をディスプレイ４と記載する場合がある。入力部５は、例えば、キーボードであり、利用者から入力された情報を認証処理部２に送信する。

図２は、第１の実施の形態の生体認証システムを用いた認証の様子の一例を説明する図である。

具体的には、図２には、生体認証システムを搭載したタブレットＰＣを用いた認証の様子を示す。本実施例では、タブレットＰＣのディスプレイなどの表示部４に表示されるガイド画像及びメッセージに基づき、被認証者（すなわち利用者）は顔１１及び手１２などの生体を提示する。その様子をタブレットＰＣのインカメラなどの画像入力部１で撮影し、認証処理を実施する。

図３は、第１の実施の形態の生体認証システムによる登録時の処理を示すフローチャートである。

まず、システムは、適切な品質の画像を取得するため、フォーカス、ホワイトバランス、露出及びゲインなどの、画像入力部１を制御するためのパラメータ（カメラ制御パラメータ）を設定する（Ｓ１００）。本パラメータにはあらかじめ決められた固定値を利用してもよいし、以前の撮影時に最適であった値を利用してもよいし、動画の撮影を行っている場合であれば以前のフレームでの取得画像およびカメラ制御パラメータから何らかのルールによって決められた値を利用してもよい。

次に、システムは、カメラで指及び顔などの生体を撮影し、画像を取得する（Ｓ１０１）。次に、システムは、被認証者が適切な位置及び姿勢で生体を提示するため、提示の見本となる生体の形状をしたガイド画像、及び、生体の提示方法を教示するガイドメッセージを生成する（Ｓ１０２）。ガイド画像は、生体の外形の一部又は全部を示すものでもよい。あるいは、提示された生体を検出し、その生体の外形又はそれを包含する矩形などの図形などをガイド画像として表示してもよい。

次に、システムは、ガイド画像及びメッセージをディスプレイに表示する（Ｓ１０３）。例えば図２は、生体として顔及び手指を提示するために、頭部及び手指の輪郭を示す点線のガイド画像と、「枠に合わせてください」というメッセージとを表示する例を示している。このとき、ガイド画像をカメラで取得した生体の画像に重畳して表示することで、被認証者は自身の生体の提示方法と適切な提示方法との違いを認識でき、より適切に生体を提示することができるようになる。

次に、認証処理部２は、撮影によって得られた画像及びカメラ制御パラメータなどから撮影の品質値を算出する（Ｓ１０４）。この品質値とは、例えば、フォーカス、露出の制御値及び取得画像の輝度値等の少なくともいずれかから何らかのルールによって算出される値である。例えば、取得画像におけるガイド画像と同一位置の領域及び取得画像から生体を検出した領域などの輝度のコントラストをフォーカスの品質値としてもよい。また、例えば、以前のフレームでの露出制御値と今回のフレームでの露出制御値との変動量を露出の品質値としてもよい。また、例えば、取得画像におけるガイド画像と同一位置の領域又は取得画像から生体を検出した領域などの輝度の平均値を取得画像の輝度に関する品質値としてもよい。

次に、認証処理部２は、上記の品質値とそれらに対応する適正値との差などから品質値の適正度を評価する（Ｓ１０５）。品質値が適正でない場合、カメラ制御パラメータの設定（Ｓ１００）に移行する。品質値が適正である場合、認証処理部２は、取得画像から生体領域の検出を実施する（Ｓ１０６）。

生体領域の検出は、例えば、取得画像の各画素を生体領域かその他の領域に分類するＳｅｍａｎｔｅｃ Ｓｅｇｍｅｎｔａｔｉｏｎ手法を適用し、検出した生体領域から顔及び手の指などの特徴量抽出を適用する領域を抽出することによって実行されてもよい。あるいは、取得画像から生体領域を包含する矩形領域を抽出するＯｂｊｅｃｔ Ｌｏｃａｌｉｚａｔｉｏｎ手法を適用してもよい。また、その他の手法によって生体領域を抽出してもよい。

次に、認証処理部２は、抽出した生体領域から例えば検出した指の長さ、幅、角度などの姿勢情報を計算し、それらの適正値との差を品質値として算出する（Ｓ１０７）。次に、認証処理部２は、算出された姿勢の品質値が適正かどうかを判定する（Ｓ１０８）。姿勢の品質値が適正でない場合、カメラ制御パラメータの設定（Ｓ１００）に移行する。姿勢の品質値が適正である場合、認証処理部２は、生体姿勢の正規化を実施する（Ｓ１０９）。

姿勢の正規化とは、例えば指の長さが一定となるように検出した指領域の一部を切り取りによって短縮又は補間によって延長したり、指の幅が一定となるように検出した指領域を拡大又は縮小したり、指の角度が一定となるように検出した指領域を回転させたりすることである。

次に、認証処理部２は、姿勢を正規化した生体領域から照合のための特徴量を抽出する（Ｓ１１０）。特徴量抽出は、例えば、指紋又は顔の特徴点、又は静脈の線パターンなどを生体領域から抽出することによって実行されてもよい。あるいは、深層畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習手法によって生体領域からの特徴量抽出を自動的に設計してもよい。

次に、認証処理部２は、抽出した特徴量が適正かどうかを判定する（Ｓ１１１）。例えば、認証処理部２は、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ又はＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの機械学習手法を用い、抽出した特徴量が本物の生体から抽出されたものか写真又は印刷物などの偽物の生体から抽出されたものかどうかを判定してもよい。

次に、認証処理部２は、抽出した特徴量を登録候補として一時的に保持する（Ｓ１１２）。次に、認証処理部２は、保存済みの登録候補の数を事前に設定した数と比較する（Ｓ１１３）。保存済みの登録候補の数が事前に設定した数を下回っている場合、保存済みの登録候補の数が十分ではないため、カメラ制御のパラメータ（Ｓ１００）に移行する。保存済みの登録候補の数が事前に設定した数を満たしている場合、保存済みの登録候補の数が十分であるため、認証処理部２は、登録候補となる特徴量同士で類似度を算出する（Ｓ１１４）。

次に、認証処理部２は、算出した類似度を事前に設定した閾値と比較する（Ｓ１１５）。算出した類似度が事前に設定した閾値を下回っている場合、認証処理部２は、登録を拒否すると判定してメモリ７に保存された登録候補データを削除し、カメラ制御パラメータの設定（Ｓ１００）に移行する。算出した類似度が閾値を上回っている場合、認証処理部２は、登録を許可すると判定して（Ｓ１１６）、登録候補データをメモリ７に保存する。以上の処理によって生体情報の登録を完了する。

図４は、第１の実施の形態の生体認証システムによる認証時の処理を示すフローチャートである。

図４に示した認証時の処理フローのうち、カメラ制御パラメータの設定（Ｓ１００）、撮影ガイドの生成（Ｓ１０１）、カメラ画像の取得（Ｓ１０２）、撮影ガイド・カメラ画像の表示（Ｓ１０３）、撮影品質の算出（Ｓ１０４）、撮影品質の適正度判定（Ｓ１０５）、生体領域の検出（Ｓ１０６）、姿勢品質の算出（Ｓ１０７）、姿勢品質の適正度判定（Ｓ１０８）、生体姿勢の正規化（Ｓ１０９）、特徴量の抽出（Ｓ１１０）、及び特徴量の適正度判定（Ｓ１１１）は登録時の処理フローと同一である。

特徴量の適正度判定（Ｓ１１１）ののち、認証処理部２は、Ｓ１１０で抽出した特徴量と事前に登録してある生体特徴量データとの類似度を算出する（Ｓ１１７）。次に、認証処理部２は、算出した類似度を事前に設定した閾値と比較する（Ｓ１１８）。算出した類似度が事前に設定した閾値を上回っている場合、認証を許可すると判定して（Ｓ１１９）、認証処理を終了する。算出した類似度が閾値を上回っている場合、認証を拒否すると判定してカメラ制御パラメータの設定（Ｓ１００）に移行する。

登録および認証処理のうち、ガイド画像・メッセージ等の表示（Ｓ１０３）では、図２に示すように顔と手の形を模した画像及び顔と手の提示を促すメッセージなどの撮影ガイドと、撮影されたカメラ画像とを同時にディスプレイに表示する。ディスプレイが横長である場合、顔と手のガイド画像をそれぞれ横に並べて表示することで、被認証者に無理なく顔と手を互いに並べて提示するように誘導することができる。これによって、カメラ画像に対し顔と手が互いに遮蔽することなく映すことができ、単一のカメラから顔と手の画像を取得することが可能となる。

図５Ａ及び図５Ｂは、第１の実施の形態の生体認証システムによって表示されるガイド画像の例を説明する図である。

例えば、提示された手から１本以上の指の領域を検出し認証に利用する場合、図５Ａのように手を開いた状態の輪郭形状のガイド画像１３を表示し、それに従って提示された手を撮影することで、隣接する指同士の接触による指の指紋、静脈及び表面しわなどの生体組織の歪みを回避し、生体姿勢の正規化（Ｓ１０９）及び特徴量の抽出（Ｓ１１０）などにおける誤差を低減することができる。

また、図５Ｂに示すように、手の輪郭のうち指の股部分の輪郭を除いたガイド画像１３を表示することで、ガイド画像１３の手よりも指が長い又は短い被認証者でもガイド画像１３に自らの手を合わせやすくなり、利便性の向上につながる。

登録および認証処理のうち、生体領域の検出（Ｓ１０６）においてディスプレイ４を光源とみなすと、カメラ１は光源から照射された光が顔１１及び手１２などの生体表面を反射した反射光を撮影しているといえる。ここで、一般にディスプレイ４から前景である顔１１及び手１２までの距離よりも、ディスプレイ４から背景である部屋の壁までの距離のほうが遠い。光の強度が距離の２乗に比例して減衰することを考慮すると、ディスプレイ４を光源として照射される光が背景で反射してカメラ１で取得できる光量は、前景で反射して取得できる光量よりも十分小さい。

よって、ディスプレイ４で表示する映像の輝度又は色を種々に変更しながらカメラ１で撮影して得られる画像では、前景である生体領域でのみ輝度又は色が変化し、背景であるその他の領域では輝度又は色が大きく変化しない。この違いを利用し、生体領域を抽出することができる。

図６は、本実施の形態の生体認証システムのディスプレイ４を光源として利用した生体領域の検出（Ｓ１０６）の処理の様子を示す図である。また、図７は、その処理を示すフローチャートである。

本処理では、システムは、カメラ画像から生体領域ではない領域である背景を分離するためＮ回の撮影を実施し（Ｓ１０６０１）、手ぶれ及び被写体の移動を吸収するため取得画像間の位置補正（Ｓ１０６０５）を行い、位置補正後の取得画像間の各画素の色差を算出する（Ｓ１０６０６）。

Ｎ回の撮影（Ｓ１０６０１）では、システムは、照明となるディスプレイ４に表示する画像を生成（Ｓ１０６０２）および表示し（Ｓ１０６０３）、カメラ画像を取得する（Ｓ１０６０４）。ここで、Ｎ＝２の例を示すと、システムは、例えばディスプレイ４を用いて照明となる画像を表示しつつ、ディスプレイ４と同じ面に配置されているカラーカメラ１を用いて被写体を撮影し、得られる２枚の画像を参照して被写体を前景及び背景に分離してもよい。

カラーカメラ１は、例えばそれぞれ青（Ｂ）、緑（Ｇ）、赤（Ｒ）に感度を持つ三種類の受光素子を有し、これらが画素ごとに格子状に配置されている。各受光素子の分光感度は、例えば青で４８０ｎｍ付近、緑で５５０ｎｍ付近、赤で６２０ｎｍ付近に感度のピークを持つ。カラーカメラを用いた撮影によって、異なる三つの波長にそれぞれ感度のピークを持つ光の空間的な輝度分布を得ることができる。

また、ディスプレイ４は、例えば光源となるバックライド、輝度を制御する偏向フィルタ、及び、色を制御するカラーフィルタから構成される。カラーフィルタはそれぞれ青（Ｂ）、緑（Ｇ）、赤（Ｒ）を透過する三種類のフィルタを有し、これらが画素ごとに格子状に配置されており、輝度は０から２５５までの２５６階調で制御可能とする。

精度良く前景・背景を分離する（Ｓ１０６０７）ためには、色差の算出（Ｓ１０６０６）にて前景と背景とで色差が最大化するように照明用画像を生成する（Ｓ１０６０２）必要がある。簡単のため上記カラーカメラの青（Ｂ）と赤（Ｒ）の受光素子の感度の積がほぼ０となり（すなわち一方の素子が感度を持つ波長においてもう一方の素子が感度を持たない）、カラーカメラのＲＧＢの各受光素子の分光感度がゼロとなる波長と、ディスプレイのＲＧＢのカラーフィルタの透過率がゼロとなる波長とがほぼ一致すると仮定する。１回目の撮影で得られた画像１４のＢＧＲ各チャネルを（Ｂ，Ｇ，Ｒ）＝（ｇＢ１、ｇＧ１，ｇＲ１）とし、２回目の撮影で得られた画像１５のＢＧＲ各チャネルを（Ｂ，Ｇ，Ｒ）＝（ｇＢ２，ｇＧ２，ｇＲ２）とする。色差画像１６はｅ＝（ｇＢ１−ｇＢ２）＋（ｇＲ２−ｇＲ１）という数式で表される。

色差画像１６の各画素はディスプレイに近接していない背景の画素ではほぼ０に等しくなるが、ディスプレイに近接している生体領域などの前景の画素では照明として表示するディスプレイの画像の輝度又は色によって変化する。このとき、１回目の撮影ではディスプレイに（Ｂ，Ｇ，Ｒ）＝（２５５，０，０）の画像を表示し、２回目の撮影ではディスプレイに（Ｂ，Ｇ，Ｒ）＝（０，０，２５５）の画像を表示することで、上記色差画像１６の前景における輝度が最大化する（１回目と２回目の撮影は順不同）。

この例では認証処理部２が青（Ｂ）及び赤（Ｒ）の輝度を変更するようにディスプレイ（すなわち表示部４）を制御し、これによって生体に照射される光の青（Ｂ）及び赤（Ｒ）の強度が変更されるが、これは一例であり、少なくとも一つの色の強度が変更されるように光源を制御すればよい。また、ディスプレイ以外の光源を用いてもよい。

上記は、ディスプレイ表示を照明とした前景・背景分離において、色差画像１６における前景と背景の輝度差が最大化する計算方法の一例である。上記のカラーカメラ１の受光素子及びディスプレイ４のカラーフィルタに関する制約を満たさない場合、並びに、異なる色差画像１６の算出方法を適用した場合には、それらに応じて前景と背景の輝度差が最大となるディスプレイ表示や色差画像の算出方法を適用すればよい。

特徴量の抽出（Ｓ１１０）では、認証処理部２は、例えば指の静脈、表皮若しくは真皮などのパターン、又は、指紋の隆線の端点若しくは分岐点などを特徴量として抽出してもよい。例えば顔の眉と目の端点及び鼻と口の周囲の輪郭などを特徴量として抽出してもよい。あるいは、ＣＮＮなどの機械学習手法を活用し特徴量を撮影画像から自動的に設計・抽出してもよい。

例として、生体領域のうち、指からＣＮＮを用いて特徴量を抽出することを考える。指表面の指紋及び指内部の静脈などは万人不同の特徴として一般的に知られており、血縁関係のある者同士でも異なるパターンを有する。一般に指の画像から特徴量を抽出するＣＮＮの訓練のために現実的に用意できる指の画像データのバリエーションに対し、実世界に存在する指のバリエーションは圧倒的に大きい。よって、畳み込み処理およびプーリング処理を交互に繰り返し、画像中の全ての画素を結合する全結合処理を出力層にかけて実施する通常のＣＮＮでは、過学習を引き起こしやすい。

過学習を回避する方法の一つに、全結合処理を用いないＣＮＮの一種である全層畳み込みニューラルネットワーク（ＦＣＮ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）を利用する方法がある。ＦＣＮでは、入力画像の画像構造を出力画像まで保持し、少量のデータによる学習でも過学習を引き起こしにくい。ＦＣＮで抽出した特徴量を用い、位置・姿勢変動にロバストに認証する方法としては、ＦＣＮにおける各層の解像度を、層を経るごとに徐々に下げていき、低周波な特徴量を抽出する方法が知られている。

しかしながら、上記の方法では本来個人識別に利用可能な高周波な特徴量を抽出することができない。低周波な特徴量と高周波な特徴量とを同時に抽出する方法として、ＦＣＮにおける各層の解像度を、層を経るごとに徐々に下げていった上で、それぞれの層を後段で結合する方法が知られている。この場合、高周波な特徴量を用いつつ位置ずれの影響を受けづらい登録データとの類似度算出方法が必要となる。

図８は、本実施の形態の生体認証システムによる登録データとの類似度の算出（Ｓ１１７）の詳細な処理の例を示すフローチャートである。

具体的には、図８は、登録データとの類似度の算出（Ｓ１１７）において、高周波な特徴量を用いつつ位置ずれの影響を低減する処理フローを示す。まず、認証処理部２は、登録画像をＭ個の小領域に分割する（Ｓ１１７１）。指の画像から抽出した特徴量の場合、例えば第一関節及び第二関節をそれぞれ境とした３領域に分割してもよい。

次に、認証処理部２は、認証画像と登録画像の小領域の類似度を算出する（Ｓ１１７２）。類似度の尺度としては、例えばマンハッタン距離又はユークリッド距離などを用いてもよい。類似度の算出では、認証処理部２は、認証画像上の一定の領域を走査しながら登録画像の各小領域との類似度を算出し、走査した領域の中で最も高い類似度を採用する。

次に、認証処理部２は、算出したＭ個の類似度を融合し、最終的な類似度を求める（Ｓ１１７３）。融合の方法としては、例えばＭ個の類似度の平均値を用いる方法を採用してもよい。上記のように、登録画像の小領域ごとに類似度が最も高くなる位置の類似度を採用することで、高周波な成分を含む特徴量同士であっても位置ずれの影響を低減させることが可能になる。

さらに、登録データとの類似度の算出（Ｓ１１７）において、登録データと認証データが異なる人物由来である（他人照合）場合を考える。このとき、算出される類似度は低くなることが望ましい。登録データが複数の画像でありそれぞれのパターンの相関が低い、例えば重畳する生体組織である場合、一方の特徴量で類似度が最大となる位置におけるもう一方の特徴量での類似度を認証に利用することで、他人照合での登録データとの類似度が最大となる類似度を認証に利用することを回避できる。

登録データと認証データが同一人物由来であれば、上記二つの特徴量における類似度が最大となる位置はほぼ一致するが、同データが異なる人物由来であれば上記二つの特徴量における類似度が最大となる位置は一致しないことが多いためである。上記の処理をフローにまとめると、図９で示されるものとなる。

図９は、本実施の形態の生体認証システムによる類似度の算出の詳細な処理の例を示すフローチャートである。

認証画像と登録画像の小領域の類似度の算出（Ｓ１１７２）では、認証処理部２は、まず、特徴量毎の類似度を算出する（Ｓ１１７２１）。例えば、まず特徴量ｓ１で登録画像との類似度を算出し（Ｓ１１７２２）、次に特徴量ｓ１で類似度最大となる位置にて特徴量ｓ２で類似度を算出する（Ｓ１１７２３）ことで、各特徴量の類似度が算出される。このとき特徴量ｓ１及び特徴量ｓ２は、後述する処理（図１０等参照）によって抽出されたＳ個の特徴量に含まれる、互いに異なる特徴量である。この方法は、例えば指における表皮、真皮又は静脈パターンなどに適用可能である。

しかしながら、撮影時の照明変動又は機器の制約などによって上記のパターンが特徴量として安定に抽出することが困難な場合がある。例えば、指に近赤外光を照射しその透過光を撮影する場合、得られる透過光の画像において静脈のパターンは鮮明であるものの、皮膚表面のテクスチャ、つまり表皮及び真皮のパターンは非常に不鮮明である。また、例えば、指に可視光を照射しその反射光を撮影する場合、得られる反射光の画像において表皮及び真皮のパターンは鮮明であるものの、静脈のパターンは非常に不鮮明である。よって、重畳する複数の生体組織のパターンを同時に抽出することが困難な場合にも、複数の相関の低いパターンを抽出することが必要である。

図１０及び図１１は、本実施の形態の生体認証システムによる相関の低い複数の特徴量を抽出する処理を示すフローチャートである。

具体的には、図１０及び図１１は、登録データとの類似度の算出（Ｓ１１７）において、位置ずれの影響を低減し、かつ他人照合時の類似度を低下させるための、相関の低い複数の特徴量を抽出する処理を示す。本処理は、ＣＮＮなどの機械学習によって生成された特徴量抽出モデル（以下、機械学習モデルと記載）が入力画像から複数の相関の低い特徴量を生成するように、機械学習モデルを最適化する処理（図１０）と、登録および認証時に機械学習モデルを用いて特徴量を抽出する処理（図１１）とに分けられる。

図１０に示す機械学習モデルを最適化する処理では、認証処理部２は、まず最適化処理に用いる複数の画像を読み込み（Ｓ１２０）、続いて生体領域の検出（Ｓ１０６）、生体姿勢の正規化（Ｓ１０９）、Ｓ個の特徴量の抽出（Ｓ１１０）、読み込んだＳ個の画像間の特徴量の類似度の算出（Ｓ１２１）、算出した類似度に基づく機械学習モデルの損失値の算出（Ｓ１２２）、及び、損失値に基づく機械学習モデルのパラメータ更新（Ｓ１２３）を行う。最後に、認証処理部２は、パラメータ更新回数が規定回数を満たしているかを判定し（Ｓ１２４）、満たしている場合は処理を終了し、満たしていない場合は画像の読み込み（Ｓ１２０）に移行する。

上記処理のうち、生体領域の検出（Ｓ１０６）及び生体姿勢の正規化（Ｓ１０９）は図３に示す登録時の処理フロー及び図４に示す認証時の処理フローと同一である。画像読み込み（Ｓ１２０）で読み込む画像は、基本的に生体を撮影して得られた画像であるが、撮影画像から生体領域の検出（Ｓ１０６）および生体姿勢の正規化（Ｓ１０９）を施して得られた生体領域の画像でもよい。このとき、画像読み込み（Ｓ１２０）の後には直接機械学習モデルによる特徴量の抽出（Ｓ１１０）を実施すればよい。

特徴量の抽出（Ｓ１１０）は、後述する図１１に示す処理フローのように実施される。画像間の特徴量の類似度の算出（Ｓ１２１）は、図８及び図９に示す処理フローと同一である。損失値の算出（Ｓ１２２）では、上記の類似度を基に、例えば機械学習モデルとしてＣＮＮを用いる場合はＣｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓ又はＴｒｉｐｌｅｔ Ｌｏｓｓなどの損失値を算出すればよい。モデルパラメータ更新（Ｓ１２３）では、上記の損失値を基に、例えば機械学習モデルとしてＣＮＮを用いる場合は誤差逆伝搬法を適用しＣＮＮの各層のカーネルの値を更新すればよい。

Ｓ１２２では、例えば、異なる人物の生体特徴の類似度が高いほど損失値が高くなり、かつ、同一人物の生体特徴の類似度が高いほど損失値が低くなるように、損失値を計算してもよい。そして、Ｓ１２３では、損失値が小さくなるようにモデルパラメータが更新される。これによって、一つの生体の画像からパターンの相関が低い複数の生体特徴を抽出するための特徴量抽出モデルが学習される。

図１１に示すＳ個の特徴量の抽出（Ｓ１１０）では、機械学習モデルとしてＣＮＮを用いることを想定する。認証処理部２は、まず入力画像から異なる解像度をもつＲ個の画像を生成し（Ｓ１１０１）、続いて生成した各画像に対して畳み込み処理を行い（Ｓ１１０２）、処理後のＲ個の画像を結合する（Ｓ１１０３）。最後に、認証処理部２は、結合した画像に対して畳み込み処理を行い（Ｓ１１０４）、Ｓ個の特徴量の画像を生成する。

異なる解像度の画像生成（Ｓ１１０１）では、認証処理部２は、例えば入力画像を縮小又は拡大してもよいし、畳み込み処理によって入力画像から低解像度な画像を生成してもよい。Ｒ個の画像の対する畳み込み（Ｓ１１０２）では、認証処理部２は、畳み込み処理は一度ではなく複数回行ってもよいし、各畳み込み処理の後に画像の輝度を正規化する処理を実施してもよい。Ｒ個の画像の結合（Ｓ１１０３）では、認証処理部２は、それぞれの画像データをチャネル方向に結合し画像データを生成する。

最後の畳み込み（Ｓ１１０４）では、認証処理部２は、結合した画像データのチャネル数をＳ個に削減するように畳み込み処理を行う。上記処理によって、濃度画像で表されるＳ個の特徴量を獲得できる。

なお、図１０及び図１１の処理は、認証処理部２の登録部１０又は認証部９によって実行されてもよいが、図示しない他の機能（例えばモデル最適化部）によって実行されてもよい。その場合、モデル最適化部の処理は、登録部１０及び認証部９の処理と同様に、ＣＰＵ６がメモリ７に格納されたプログラムに従って実行する。モデル最適化部の処理は、図３及び図４に示した登録及び認証の処理の前に実行される。

図１２は、本実施の形態の生体認証システムによる特徴量の抽出の処理の例を説明する図である。

具体的には、図１２は、上記の機械学習モデルの最適化処理（Ｓ１２０）およびそのモデルを用いた特徴量の抽出（Ｓ１１０）のＳ＝２の場合の処理例を示す。入力の指画像１７に対し、特徴抽出画像１８及び特徴抽出画像１９が得られ、これらＳ個（図１２の例では２個）の特徴量はパターンの相関が低くなる。

これは、登録データと認証データの特徴量が異なる人物由来であるとき、つまり他人照合時の類似度を小さくするように最適化した結果、特徴量間のパターンの相関が低下し、一つの特徴量における類似度が最大となる画像の位置が別の特徴量における類似度の最大となる画像の位置と異なるためである。

一方、登録データと認証データが同一人物由来であるとき、つまり本人照合時は、特徴量間のパターンの相関が低くとも、それらの特徴量は同一の入力画像から生成されているため、それぞれの特徴量で登録データと類似度が最大となる照合位置とはほぼ一致する。

以上のように、本発明の一態様の生体認証システム（例えば図１参照）は、生体を撮影した画像を取得する画像入力部（例えば画像入力部１）と、各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部（例えば記憶部３）と、画像入力部によって取得された画像の生体領域を処理して登録情報に基づく生体認証を行う認証処理部（例えば認証処理部２）と、を有する。ここで、各人物の生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴である。認証処理部は、前記画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて前記生体認証を行う。

上記の互いにパターンの相関の低い複数の生体特徴は、例えば図２に示す方法で取得された顔と手の指の生体特徴であってもよいし、図１０及び図１１に示す方法で取得されたＳ個の特徴量であってもよい。

これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができる。このような複数の生体特徴を照合することによって、安定的かつ高度な認証が可能になる。

ここで、画像入力部が撮影する生体は、指を含んでもよい。

これによって、生体認証の利便性が向上する。

また、複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、認証処理部は、画像入力部が取得した画像の生体領域から得られる第１の生体特徴と登録情報の第１の生体特徴との類似度に基づいて、画像入力部が取得した画像の生体領域から得られる第２の生体特徴と登録情報の第１の生体特徴との類似度を計算してもよい。

例えば、図１０及び図１１に示す方法で取得されたＳ個の特徴量の一つであるｓ１の類似度が最大となるように、登録情報の画像とカメラが撮影した画像との位置合わせを行い、その位置で、ｓ１とは別の特徴量ｓ２を照合してもよい。図１０及び図１１によってｓ１とｓ２の相関が低いことから、他人認証の場合には特徴量ｓ２の類似度が十分に低くなることが期待され、これによって認証の精度が向上する。

また、画像入力部は、同一の生体を複数回撮影し、認証処理部は、複数回の撮影が行われるときに生体に照射される光のうち少なくとも一つの色の強度を変更するように、生体に照射される光を制御し、複数回の撮影によって取得された複数の画像における少なくとも一つの色の強度の変化の大きさに基づいて、画像から前記生体領域を抽出してもよい。これは、例えば図７に示した方法で行うことができる。

これによって、画像入力部が撮影した画像に生体領域とそれ以外の領域が含まれる場合に、容易に生体領域を抽出することができる。

また、生体認証システムは、画像入力部が撮影した画像と、生体の望ましい位置を示すガイドとを表示する表示部（例えば表示部４）をさらに有してもよい。この場合、認証処理部は、表示部が出力する少なくとも一つの色の強度を変更することによって、前記生体に照射される光を制御してもよい。これは、例えば図５に示した方法で行うことができる。

これによって、撮影される生体の姿勢等を揃えることができるため、利用者の利便性が向上するとともに、生体特徴の抽出が確実になる。また、画面自体を光源として利用することによって、システムの導入コストを抑制することができる。

また、上記の複数の生体特徴は、各画像の生体領域の同一の部分から抽出されてもよい。これは、例えば図１０及び図１１に示した方法で行うことができる。

これによって、一度に撮影した画像から複数の生体特徴を抽出することができる。

このとき、認証処理部は、複数の人物の画像の各々から特徴量抽出モデルを用いて複数の生体特徴を抽出し（例えば図１０のＳ１１０及び図１１）、複数の人物の画像から抽出された複数の生体特徴間の類似度に基づいて、特徴量抽出モデルの損失値を計算し（例えば図１０のＳ１２２）、損失値が小さくなるように、特徴量抽出モデルのパラメータを学習してもよい（例えば図１０のＳ１２３）。

これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができる。

さらに、このとき、認証処理部は、各人物の画像の生体領域から、異なる解像度を持つ複数の画像（例えば図１１に示すＲ個の画像）を生成し、異なる解像度を持つ複数の画像に対する畳み込みを行うことによって複数の画像を生成し、畳み込みによって生成された複数の画像（例えば図１０、図１１に示すＳ個の画像）に特徴量抽出モデルを適用することによって複数の生体特徴を抽出してもよい。

これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができ、安定的かつ高度な認証が可能になる。

また、複数の生体特徴は、各画像の生体領域の異なる部分から抽出されてもよい。

具体的には、各画像の生体領域の異なる部分は、各画像に含まれる人物の顔の部分及び指の部分であってもよい（例えば図２又は図６参照）。

これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができ、安定的かつ高度な認証が可能になる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１ 画像入力部
２ 認証処理部
３ 記憶部
４ 表示部
５ 入力部
６ ＣＰＵ
７ メモリ
８ ＩＦ
９ 認証部
１０ 登録部
１１ 顔
１２ 手指
１３ 装置筐体
１４、１５ 撮影画像
１６ 色差画像
１７ 指画像
１８、１９ 特徴量抽出画像

Claims (12)

1. 生体を撮影した画像を取得する画像入力部と、
   各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部と、
   前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う認証処理部と、を有する生体認証システムであって、
   前記各人物の前記生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴であり、
   前記認証処理部は、前記画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて前記生体認証を行うことを特徴とする生体認証システム。
2. 請求項１に記載の生体認証システムであって、
   前記画像入力部が撮影する生体は、指を含むことを特徴とする生体認証システム。
3. 請求項１に記載の生体認証システムであって、
   前記複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、
   前記認証処理部は、前記画像入力部が取得した画像の生体領域から得られる第１の生体特徴と前記登録情報の第１の生体特徴との類似度に基づいて、前記画像入力部が取得した画像の生体領域から得られる第２の生体特徴と前記登録情報の第１の生体特徴との類似度を計算することを特徴とする生体認証システム。
4. 請求項１に記載の生体認証システムであって、
   前記画像入力部は、同一の生体を複数回撮影し、
   前記認証処理部は、
   複数回の撮影が行われるときに前記生体に照射される光のうち少なくとも一つの色の強度を変更するように、前記生体に照射される光を制御し、
   複数回の撮影によって取得された複数の画像における前記少なくとも一つの色の強度の変化の大きさに基づいて、前記画像から前記生体領域を抽出することを特徴とする生体認証システム。
5. 請求項４に記載の生体認証システムであって、
   前記画像入力部が撮影した画像と、前記生体の望ましい位置を示すガイドとを表示する表示部をさらに有し、
   前記認証処理部は、前記表示部が出力する少なくとも一つの色の強度を変更することによって、前記生体に照射される光を制御することを特徴とする生体認証システム。
6. 請求項１に記載の生体認証システムであって、
   前記複数の生体特徴は、各画像の生体領域の同一の部分から抽出されることを特徴とする生体認証システム。
7. 請求項６に記載の生体認証システムであって、
   前記認証処理部は、
   複数の人物の画像の各々から特徴量抽出モデルを用いて前記複数の生体特徴を抽出し、
   複数の人物の画像から抽出された前記複数の生体特徴間の類似度に基づいて、前記特徴量抽出モデルの損失値を計算し、
   前記損失値が小さくなるように、前記特徴量抽出モデルのパラメータを学習することを特徴とする生体認証システム。
8. 請求項７に記載の生体認証システムであって、
   前記認証処理部は、
   前記各人物の画像の生体領域から、異なる解像度を持つ複数の画像を生成し、
   前記異なる解像度を持つ複数の画像に対する畳み込みを行うことによって複数の画像を生成し、
   前記畳み込みによって生成された複数の画像に前記特徴量抽出モデルを適用することによって前記複数の生体特徴を抽出することを特徴とする生体認証システム。
9. 請求項１に記載の生体認証システムであって、
   前記複数の生体特徴は、各画像の生体領域の異なる部分から抽出されることを特徴とする生体認証システム。
10. 請求項９に記載の生体認証システムであって、
    前記各画像の生体領域の異なる部分は、前記各画像に含まれる人物の顔の部分及び指の部分であることを特徴とする生体認証システム。
11. 画像入力部と、記憶部と、認証処理部と、を有する生体認証システムによる生体認証方法であって、
    前記画像入力部が撮影した生体の画像を取得する第１手順と、
    前記認証処理部が各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を前記記憶部に記憶する第１手順と、
    前記認証処理部が前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う第３手順と、を含み、
    前記各人物の画像の前記生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴であり、
    前記第３手順において、前記認証処理部は、前記画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて前記生体認証を行うことを特徴とする生体認証方法。
12. 画像入力部と、記憶部と、プロセッサと、を有する生体認証システムを制御するためのプログラムであって、
    前記画像入力部が撮影した生体の画像を取得する第１手順と、
    各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を前記記憶部に記憶する第１手順と、
    前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う第３手順と、を前記プロセッサに実行させ、
    前記各人物の画像の前記生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴であり、
    前記第３手順は、前記画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて前記生体認証を行う手順を含むことを特徴とするプログラム。