JP2022021537A - 生体認証装置および生体認証方法 - Google Patents

Abstract

【課題】生体撮像時の姿勢にばらつきが生じる場合でも、高精度な認証を実現する。【解決手段】生体を撮影した画像を撮像する撮像部と、撮像された画像における生体の所定部位の形状を特定するための複数の位置を算出する算出部と、登録時における一の位置と他の位置との間の比率と、算出された一の位置と他の位置とに基づいて、所定部位の形状を拡大または縮小する変換部と、拡大または縮小した後の所定部位の画像を用いて生体認証を行う認証部と、を有する。【選択図】 図１Ａ

Description

本発明は、生体情報を用いて個人を認証する生体認証装置および生体認証方法に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。

近年、スマートフォンやタブレットなどのモバイル端末が世界的に広く普及しており、その多くは汎用のカラーカメラを標準搭載している。このカメラを指の撮影に利用した指認証技術は、特別なハードウエアが不要となるため今後広く利用されると考えられている。また、生体を撮影している様子を端末の画面に表示することで、例えば複数の指が同時撮影しやすくなり、高精度かつ未対応率の低いマルチモーダル指認証が実現できる。

個人のモバイル端末に対して指認証を導入する場合は、正しい指の撮影方法を利用者自身で理解する必要がある。しかしながら、たとえば指を空中で静止させる操作が必要な場合、指の位置や姿勢は無数に考えられるため、利用者は指を正しくかざせずに認証に失敗することがある。そのため、システムとしては正しい位置や姿勢で指が撮影できるように利用者を誘導すると共に、適切に撮影できていることをフィードバックする必要がある。さらには、誘導が難しい僅かな位置ずれが存在する場合も考慮し、好ましくない姿勢変動を内部補正することも重要である。すなわち、指の姿勢誘導技術、姿勢の好適判定技術、そし姿勢の補正技術、が必要となる。特に姿勢の補正技術は利用者の操作の負担を低減しながら認証精度を高く維持することができる。

指の姿勢の検出あるいは補正方法に関する先行技術に関し、指の長さや太さを検出する技術として特許文献１が、指先の位置や手の大きさを検出する技術として特許文献２が、手の大きさや形状を検出してガイダンスを行う技術として特許文献３がある。

特開2018－128785号公報 特開2009－301094号公報 特開2013－205931号公報

複数の指を利用した指認証において入力される指情報の信頼性を高め、かつ利便性の高い認証処理を実施するためには、提示された指を認証に適した位置や姿勢に誘導する技術、認証に適した状態であることを判定する技術、そして認証に適さない状態を補正する技術、が必要となる。特にタブレットやノートＰＣなどのフロントカメラで指を撮影する場合、指は空中に非接触の状態でかざすことになるが、たとえば指の中心軸とカメラの光軸とが成す３次元空間的な角度は変化しやすく、またこれらの角度が登録時と完全同一になるよう誘導することも難しい。そのため、このような姿勢のずれをシステム側が補正することで指の姿勢変化の影響を低減できる認証技術を提供することが重要となる。この姿勢ずれの補正に関しては、従来、何通りかの姿勢ずれを模倣した画像あるいはパターンを生成し、最も登録データに近い結果を採用する方法が行われていた。しかしながら、複数パターンの生成で処理時間が増大すること、他人同士の照合においても複数の照合を行うが、最も類似する結果を採用するため他人同士の類似度も上昇してしまうこと、実際のずれ量と合致しない場合は改善効果が弱いこと、などによって、性能を向上しにくかった。そのほか、本課題に関連する従来技術は以下の通りである。

特許文献１では、タブレットを用いたスライド式の掌静脈認証を行うにあたり、利用者の手の大きさに関する個人差を考慮したガイダンスを実施するため、センサと、タッチパネルとを有し、タッチパネルにおける複数個所の接触位置の検知によりその利用者の手の長さや大きさを検出し、その位置に応じてガイド表示を縮小する技術が開示されている。しかしながら本文献では利用者の手の大きさに応じて指の特徴を補正する技術についての言及はない。

特許文献２では、操作パネルに対する入力操作を容易とするため、入力面の複数個所に対する接触を識別して入力信号を生成する入力装置であって、指の接触を検知する手段と、指の接触から非接触への状態変化を検出して入力信号を生成する手段を有し、指先の位置や指の長さに応じた位置に操作ボタンを表示する技術が開示されている。このなかで手の左右を判定する精度を向上するために手の大きさを正規化しているが、検出された指の大きさを一律に拡大縮小しているだけであり、特定の３次元空間の角度を補正する技術についての言及はない。

特許文献３では、非接触でかざした指および掌等の姿勢を誘導するため、指の画像および掌の画像から得られる手の姿勢変化の影響を受けにくい位置情報に基づいて、手の標本画像を変形させる最適姿勢推定部を備え、手標本画像の変形により利用者に対する最適な手の姿勢を推定する技術が開示されている。本文献によると理想的なかざし方を示す手の標本画像を予め用意し、撮影されている利用者の手の大きさに合わせて変形させることで、利用者のかざしている手が理想状態に近いかどうかを判定する。しかしながら本技術は利用者の指の特徴に対する拡大率補正を行う観点の技術開示はない。

上述した問題点は、指に限らず、利用者の掌、手の甲、顔などの様々な生体についても同様のことが言える。このように従来技術では、複数指をはじめ様々な生体を用いた生体認証において、生体のかざし方の変動を補正することができず、認証精度の低下を招く課題があった。

本発明は、生体撮像時の姿勢にばらつきが生じる場合でも、高精度な認証を実現することが可能な生体認証装置および生体認証方法を提供することを目的とする。

本発明に係る生体認証装置は、生体を撮影した画像を撮像する撮像部と、撮像された前記画像における前記生体の所定部位の形状を特定するための複数の位置を算出する算出部と、登録時における一の前記位置と他の前記位置との間の比率と、算出された一の前記位置と他の前記位置とに基づいて、前記所定部位の形状を拡大または縮小する変換部と、前記拡大または縮小した後の前記所定部位の画像を用いて生体認証を行う認証部と、を有することを特徴とする生体認証装置として構成される。

本発明によれば、生体撮像時の姿勢にばらつきが生じる場合でも、高精度な認証を実現することが可能となる。

実施例１に係る、生体認証システムの全体の構成を示す図である。 実施例１に係る、メモリに格納されているプログラムの機能構成の一例を示す図である。 実施例１に係る、生体認証システムの登録処理の処理フローの一例を示す図である。 実施例１に係る、生体認証システムの認証処理の処理フローの一例を示す図である。 実施例１に係る、指のピッチング角の有無を示す説明図である。 実施例１に係る、指形状の画像上の見え方の変化の説明図である。 実施例１に係る、指形状の正規化処理の一実施例である。 実施例１に係る、指の形状を正規化したときの模式図である。 実施例２に係る、掌の形状の正規化を行う一実施例である。 実施例３に係る、指のピッチングを抑制するガイダンスの一例である。 実施例４に係る、顔および手指をかざすマルチモーダル認証におけるガイダンスの表示例である。 実施例４に係る、指輪郭ガイドと顔と視線の関係性を表した説明図である。 実施例４に係る、指のガイドを見やすく表示する画面構成例である。 図８に示した掌の形状の正規化を行う処理フローの一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit））を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

なお、本明細書において、生体特徴とは、指静脈、指紋、関節模様、皮膚模様、指輪郭形状、脂肪紋、各指の長さの比率、指幅、指面積、メラニン模様、掌静脈、掌紋、手の甲静脈、顔静脈、耳静脈、あるいは顔、耳、虹彩、などの解剖学的に異なる生体の特徴を意味する。

実施例１は、生体特徴を用いた生体認証システムの実施例である。すなわち、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う処理装置である認証処理部と、認証処理部の処理結果をはじめ本システムに関する様々な情報を表示する表示装置である表示部とを含む。認証処理部は、画像に映る生体の姿勢情報を獲得し、生体の姿勢を判定する姿勢判定部と、生体の姿勢を補正する姿勢補正部（算出部、変換部）と、生体特徴を抽出する特徴抽出部と、生体特徴の類似度を計算して認証し、その可否を判定する照合部（認証部）とを有する。表示部は、獲得した姿勢情報および、理想的な姿勢情報および、利用者へのガイドを表示する。

図１Ａは、本実施例において指の生体特徴を用いた生体認証システム１０００の全体の構成の一例を示す図である。尚、本実施例の構成はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成としてもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、指の画像の取得に特化した指画像取得装置、指の特徴画像抽出装置としてもよい。また、本構成はスマートフォンやタブレットに搭載の汎用カラーカメラを用いた指画像取得装置とみなしてもよい。また、端末としての実施形態であってもよい。少なくとも、生体を撮影する撮像部と、撮影された画像を処理し、生体の認証を行う認証処理部を備える構成を生体認証装置と呼ぶ。

図１Ａに示す本実施例の生体認証システム１０００は、撮像部である入力装置２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。入力装置２は、筐体内部に設置された撮像装置９を含み、その筐体に設置された光源３が含まれていても良い。認証処理部１０は画像処理機能を備える。

光源３は、例えば、ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の前方に提示された指１に光を照射する。光源３は実施形態によって様々な波長が照射できるものであっても良く、また生体の透過光を照射できるものであっても良く、光源３が搭載されていない構成としても良い。撮像装置９は、入力装置２に提示された指１の画像を撮影する。なお、同時に顔、虹彩、手の甲、掌などの生体を撮影しても良い。撮像装置９はカラーカメラであってもよく、赤外カメラであってもよく、可視光および紫外光および赤外光が同時に撮影できるマルチスペクトルカメラであってもよい。また被写体の距離が計測できる距離カメラでもよく、また同じカメラを複数組み合わせたステレオカメラの構成でも良い。入力装置２にはこのような複数の撮像装置を含んでいても良い。さらに、指１は複数本であっても良く、両手の複数指を同時に含んでも良い。画像入力部１８は、入力装置２の撮像装置９で撮影された画像を取得し、取得した画像を認証処理部１０へ入力する。画像入力部１８としては、例えば、画像を読み取るための各種リーダ装置を用いることができる。

認証処理部１０は、例えば、中央処理部（ＣＰＵ）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含むコンピュータから構成される。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって認証処理を実施する。図１Ｂは、認証処理部１０の機能を実現するために、メモリ１２に格納されているプログラムの機能構成の一例を示す図である。図１Ｂに示すように、認証処理部１０は、入力された画像に対してノイズ除去や生体の検出などを行う画像処理部２０、生体が認証に適した姿勢であることを判定する姿勢判定部２１、生体が認証に適した姿勢となるよう利用者を誘導する姿勢誘導部２２、生体の姿勢変動を補正する姿勢補正部２３、登録処理や認証処理の際に生体特徴を抽出する特徴抽出部２４、生体特徴の類似度を比較する照合部２５の各種処理ブロックから構成されている。これらの各種処理については後で詳述する。メモリ１２は、ＣＰＵ１１によって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像などを一時的に記憶する。

インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続するためのポート等を有した機器である。

記憶装置１４は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）から構成され、利用者の登録データなどを記憶する。登録データは、登録処理時に得られる利用者を照合するための情報であり、例えば、指静脈パターンなどの画像データや特徴データである。指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンもしくはやや青み掛かったパターンとして撮影した画像である。また指静脈パターンの特徴データは、静脈部分の画像を２値ないし８ビット画像に変換したデータ、あるいは静脈の屈曲部、分岐、端点などの特徴点の座標もしくは特徴点周辺の輝度情報から生成した特徴量からなるデータである。

表示部１５は、例えば液晶ディスプレイであり、認証処理部１０から受信した情報および前記生体の姿勢誘導情報および姿勢判定結果を表示する出力装置である。入力部１６は、例えば、キーボードやタッチパネルであり、利用者から入力された情報を認証処理部１０に送信する。なお、表示部１５はタッチパネルなどの入力機能を有していても良い。スピーカ１７は、認証処理部１０から受信した情報を、例えば音声などの音響信号で発信する出力装置である。

図２、および図３は、それぞれ本実施例で説明する指の血管を用いた生体認証技術の登録処理と認証処理の概略フローの一例を示す図である。この登録処理と認証処理は、例えば上述した認証処理部１０のＣＰＵ１１が実行するプログラムによって実現される。

初めに図２の登録処理の流れについて説明する。まず、認証処理部１０の姿勢誘導部２２は、利用者に指の提示を促すガイドを表示部１５に表示し、これに従って利用者が指をかざす（Ｓ２０１）。スマートフォンやタブレットなどのスマートデバイスを認証装置として利用する場合であれば利用者は空中に手指をかざす。

また、入力装置２もしくはスマートデバイスに手指をかざすために設計された指置き台が装置に具備されている場合であれば指置き台に手指をかざしてもよい。このとき、姿勢誘導部２２は、指の提示を促すガイドとして、たとえば「指をかざしてください」といったガイダンスメッセージに加えて、指の輪郭を模した指ガイドを、実際に撮影されている撮像装置９等のカメラの映像に重ね合わせて表示してもよい。これにより、利用者は自身の指をどこにどのようにかざせば良いかが視覚的に理解でき、利便性を向上することができる。

また、姿勢誘導部２２は、このとき顔をかざす円形状のガイダンスを表示してもよい。指をかざすガイドと顔をかざすガイドとを別の場所に設けることで、同時に顔と手の生体特徴を生体認証に利用できる。また、姿勢誘導部２２は、時間を分けて同じ場所に顔をかざすガイドと指をかざすガイドを順番に表示して、時系列に顔と手とを撮影しても良い。このとき、利用するカメラがフロントカメラである場合は、表示部１５の表示方向とカメラの撮影方向とが同じ向きとなるため、カメラの映像および指ガイドを左右反転して表示する。これにより利用者の左右と映像の左右とが一致するため、利用者の操作性を向上できる。

次に、認証処理部１０の画像処理部２０は、カメラの映像を撮影しながら、カメラの露光調整、ホワイトバランス調整およびフォーカス調整を行う（Ｓ２０２）。露光調整では、画像処理部２０は、指部分の画素平均値が一定値になるようにカメラの露光設定値を調整する。なお、どの画素に指部分が映っているかを判定する手法として、前述の指ガイドの内側の領域を指部分とみなしてもよく、後述する背景分離処理によって指領域を特定した結果を利用しても良い。また、最適な露光設定値の算出方法として、露光時間と画像の平均輝度値とが比例する事実を利用し、設定した露光時間とそのときの画像の平均輝度値から、所望となる平均輝度値となることが予測される露光時間を算出する方法が利用できる。

ホワイトバランス調整においては、画像処理部２０は、指の色が予め定めた色彩となるように補正する。また最適なフォーカス調整方式として、画像処理部２０は、たとえばフォーカスの異なる２枚の画像を撮影した上で画像中の指領域内のエッジやコントラストの強さを評価し、より画像のエッジやコントラストが強い方にフォーカスをずらしていく方法を利用してもよく、また指のかざされる距離がおおむね一定であることが想定できる場合はその距離で最もフォーカスが合う固定値に設定しても良い。

また、画像処理部２０は、このとき複数の異なるタイミングで高速撮影した連続的な画像や、あるいは複数の露光設定で撮影した連続的な画像や、あるいは複数のフォーカス設定で撮影した連続的な画像を用いて、画像のダイナミックレンジを拡張したり（ＨＤＲ:High dynamic range）、画像のノイズを低減したり、超解像画像を生成したり、距離画像を生成したり、全焦点画像を生成したりしてもよい。このような前処理を行うことで、生体を高画質に撮影できたり、周囲が暗い環境でも鮮明に撮影できたりする効果が得られる。

次に、画像処理部２０は、画像の環境判定処理を実施する（Ｓ２０３）。露光補正を実施した場合、画像は適切な明るさに補正されるが、環境が暗すぎる場合や明るすぎる場合では、補正できない場合が想定される。そこで、画像処理部２０は、露光時間を一定値以上に明るくしてもなお画像の平均輝度が暗い場合は環境が暗いとして利用者に警告を出し、たとえば明るい環境で利用することを促す。なお、想定しているモバイル端末にフラッシュライトなどの光源が搭載されている場合はそれを点灯し、環境を明るくしてもよい。同様に、露光時間が一定値以下に暗くしてもなお画像が明るい場合は環境が明るすぎるものとして警告を出す。

なお、環境判定処理では、画像処理部２０は、画像の平均的な明暗の判定だけではなく、以下のような処理を行ってもよい。たとえば、画像処理部２０は、逆光が強く差し込んでいる環境であったり、スポットライトやブラインドの隙間から漏れる太陽光といった明暗のコントラストが強い陰影が被写体に投影されていたり、映像上にスミアノイズ、フレアやゴーストが重畳されていたり、カメラや被写体が大きく移動していたりなど、認証に適さない撮影環境を検出し、エラーを警告しても良い。これにより撮影画像の品質が向上すると共に利用者に対して回避策を提示でき、認証精度や使い勝手を向上できる。この処理でエラーとなった場合、指の提示を促すガイドの表示（Ｓ２０１）に戻る。

次に、認証処理部１０の画像処理部２０は、かざされた指の画像とそれ以外の背景の画像とを分離する、背景分離処理を実施する（Ｓ２０４）。画像中には認証を行う対象となる手指以外にも様々な被写体が映り込む。そのため画像のどの位置に指が存在するかを特定するため、画像処理部２０は、画像の色情報やエッジ情報から指の部分と指以外の背景部分とを分離する。その手法の一例としては、教師データを用いた機械学習による方法が適用できる。具体的には、画像処理部２０は、まず予め様々な環境で様々な被験者の手指を、撮像装置９等のカメラにより一定数以上の母集団となる程度に大量に撮影し、各画像について指部分と背景部分とを定義するピクセル単位のラベリング結果を作成した上で、各画像とラベリング結果とのペアを教師データとして蓄積しておく。そして、教師データの画像を入力したときにそのラベリング結果ができるだけ正しく出力されるよう、画像処理部２０は、ＤＣＮＮ（Deep Convolutional Neural Network）をはじめとする機械学習に基づいてパラメータを学習する。この手法により、未知の画像が入力された場合においても指領域だけを得ることが可能となる。

なお、被写体中に複数の手指が撮影される場合もありうるが、このときは、画像処理部２０は、複数の手指のうち最も大きく映る手指を選択しても良く、もしくはすべての手指を認証の対象として処理を実施しても良く、もしくはエラーとして警告を出しても良い。また、指領域を獲得する別の方法として、画像処理部２０は、指の輪郭線が単純閉曲線で記述できる前提の下で、かつその曲線はスプライン曲線やベジエ曲線などで近似できるとみなし、近似曲線の制御パラメータを機械学習などの手段によって推定しても良い。この方法によると、指の輪郭線が滑らかに接続された閉曲線となることが保証されるため、ピクセル単位で推定する方法に比べて背景部分を指領域であると誤って判定する可能性が低減できる。

次に、認証処理部１０の姿勢判定部２１は、かざされた指が画像処理部２０の処理により得られた画像のどの位置に、どのようにかざされているかを検出するため、指の姿勢検出を実施する（Ｓ２０５）。指の姿勢としては、複数の指の指先の位置、隣り合う指同士の接続部分である指股の位置、各指の長さと幅、面積、指の中心軸の座標とその向き、指の掌側に見られる関節模様の位置、関節の曲げ、関節の反り、隣り合う指同士の近接の度合いを示す指の開閉状態、各指の折り曲げや伸ばしの状態、などが定義できる。これらの情報を検出する一手法としては、姿勢判定部２１は、前述の通りに背景分離した際の指領域の外周を辿って得られる指輪郭の情報に基づき、輪郭線の曲率が高い部分を指先、同様に曲率が高いものの指先とその正負が逆転する部分を指股と定義し、各指の位置や大きさ、向きなどを特定する手法が適用可能である。また別の手法の例としては、姿勢判定部２１は、前述の通りに大量の教師データを用意する際、指先位置、指股位置、関節位置、などの姿勢情報も含めて教師データを作成し、それらの情報も含めて機械学習を行い、未知の指画像データの入力に対して姿勢情報を推定して出力する手法としてもよい。

続いて、認証処理部１０の姿勢判定部２１は、かざされた指が認証に適しているかどうかを判定する、姿勢判定処理を実施する（Ｓ２０６）。利用者は表示部１５に表示される指のガイドに合わせて指をかざすが、必ずしも認証に適した状態でかざされているとは限らない。そのため、指先や指股、指の面積などの情報を考慮し、姿勢判定部２１は、予め定義した許容値の範囲内に指の姿勢が収められているかを判定する。予め定義した範囲に含まれていると判定された場合は次の処理に進む。一方、そうでない場合は、認証処理部１０が警告を出し、どのような姿勢にすれば適切となるかを出力すると共にガイドの表示（Ｓ２０１）に戻る。

なお、適切にかざされた場合は、認証処理部１０が、指のガイドの色や明るさを変えたり音を鳴らしたりすることで利用者が迷わずに操作することが可能となる。また、認証処理部１０は、指ごとに適切な姿勢かどうかを示すために、指ごとにガイドの色や明るさを変えても良い。これにより、どの指が適切にかざせていないかを具体的に示すことができ、利用者はより簡単に指の位置合わせが実施できる。

次に、認証処理部１０の姿勢補正部２３は、生体の姿勢補正を実施する（Ｓ２２０）。姿勢補正部２３は、上述の指姿勢判定の結果に基づいて各指の部分的な画像領域である指のＲＯＩ（Region of interest、注目領域）画像を１指ずつ切り出し、それぞれ指の向きや拡大率などを一定に整える。このとき、後述する指形状の正規化を適用することで、指をかざす角度などに変化が生じても指の見かけ上の形状が一定となり、提示する角度の変動にロバストな指画像が生成される。

続いて、認証処理部１０の特徴抽出部２４は、特徴抽出処理を実施する（Ｓ２０７）。ここでは、特徴抽出部２４は、姿勢補正後の指画像内に含まれる生体特徴を抽出する。特徴抽出部２４が抽出する特徴量としては上述の通り、指静脈や指紋、関節模様などの複数の生体特徴量である。

その後、認証処理部１０の照合部２５は、抽出された生体特徴に対するパターン正常判定を行う（Ｓ２０８）。パターン正常判定は、抽出されたパターンに異常がないことを判定する処理である。たとえば指の検出処理で誤って指以外の画像情報を指として取り出した場合、そこから生体特徴を抽出すると本来得られるパターンの特性とは異なるパターンが得られることがある。このように誤って抽出されたパターンを登録や認証に利用することがないように、照合部２５は、パターン正常判定処理によってそのエラーを検出する。パターンの特性の一例としては、静脈のような線パターンであればその長さや分岐の数、指の内部領域を静脈が占める比率や量、パターン密集度などである。照合部２５は、これらの特性について、正しい静脈画像から得たパターンの特性を数値化して正常な範囲を予め求めておき、実際に抽出されたパターンから得た数値が正常範囲であることを確認することで、パターンが正常かを判定できる。あるいは、時間的に近い画像同士は類似性が高いという画像の一般的な性質を利用し、照合部２５が、現在抽出した生体特徴とその直前ないし直近の複数の時点で抽出した生体特徴とを比較して、類似性が低い場合は何らかの異常があると判定しても良い。正常でないと判定された場合は登録エラーとなり、改めて処理を実施する。

最後に、照合部２５は、登録に適したパターンを選択するための、登録候補の蓄積を行う（Ｓ２０９）。生体の撮影は動画的に行われるため、照合部２５は、上述の判定処理で特に問題が無いと判定した場合、パターンを動画的に次々と獲得できる。メモリ量や処理時間の制約などを考慮するとこれらはすべて登録することはできない。しかし、照合部２５が、これらを登録データ候補群として時系列的に蓄積しておくと、その中からどのパターンを登録すればよいかを選別する登録選択処理が実施できる。多くの候補から適切なパターンのみを登録すれば品質の高い登録データを厳選できるため、登録データ量を低減すると共に認証精度を高めることが可能となる。

次に、照合部２５は、登録候補群が十分に蓄積されたかを判定する（Ｓ２１０）。照合部２５は、上述までの処理フローを経て各種判定で問題ないと判定できるパターンを、所定の時間もしくは所定枚数に達するまで連続的に一時記憶しておく。照合部２５が、十分に蓄積されたと判定した場合（Ｓ２１０；Ｙ）、ひとつ分の登録候補が獲得できる。

次に、認証処理部１０の画像処理部２０は、利用者にはもう一度撮影を行う旨を示し、Ｓ２０２と同様の撮影を行って新たな登録候補を獲得する。これを、本実施例では、画像処理部２０が、３回分の登録候補群が獲得できるまで繰り返す（Ｓ２１１）。

画像処理部２０は、３回分の登録候補群が獲得されたと判定した場合（Ｓ２１１；Ｙ）、これらの中から登録データを決定するために登録選択を実施する（Ｓ２１２）。登録選択の一実施例としては、画像処理部２０は、まずひとつの登録候補群の内部でパターン間の総当り照合を実施し、全パターンの組み合わせでパターンの類似度を算出する。ここで、あるパターンに着目し、他のパターンとの類似度の合計値を求めたとき、これが相対的に大きい場合は平均的に他のパターンと類似しているといえる。一方、その合計値が相対的に小さくなる場合は着目したパターンそのものが例外的なパターンであると考えられる。登録候補としては例外的に撮影されたパターンを登録すると精度が劣化するため、できるだけ類似度の合計値が大きいものを選ぶほうがよい。そこで、画像処理部２０は、その合計値が最大となるパターンを、その登録候補群の代表パターンと決める。登録候補群は３つあるため、ここでは３つの代表パターンが得られる。最後に、画像処理部２０は、代表パターンとして得られた３つのパターン間で総当り照合を行い、これらがすべて類似すると判断できる所定の基準値以上の類似度が得られた場合にその３枚を登録する。

また別の方法として、画像処理部２０は、まず３つの代表パターンのうち類似度の合計値が最も高かったものを１つ目の登録データと決定する。次に、画像処理部２０は、選ばれなかった２回の回次で得た登録候補群の全データと前記１つ目の登録データとの照合を行い、同一パターンとみなせる類似度の範囲の中から最も類似度の低い結果を生じたデータを２つ目の登録データと決定する。最後に、画像処理部２０は、選ばれなかった回次で得た登録候補群の全データと前記１つ目および２つ目の登録データとを照合し、同一パターンとみなせる類似度の中から最も類似度の低い結果を生じたデータを３つ目の登録データと決定しても良い。この方法により、３つの登録データが同一人物から抽出されたデータであることを保証しながらも、それぞれのデータは互いに変動を含むため、認証時の様々な変動を吸収する効果を持ち、認証時のパターンの変動に頑健な照合が実現できる。

画像処理部２０は、この時点で３枚の登録データが決定できたかを判定し（Ｓ２１３）、決定できたと判定した場合は（Ｓ２１３；Ｙ）、これらを保存して（Ｓ２１４）、登録処理を終了する。一方、画像処理部２０は、もし３枚の登録データが決定できなかったと判定した場合は（Ｓ２１３；Ｎ）、登録失敗（Ｓ２１５）として終了する。

このような登録判定を実施することで、突発的に得られた異常パターンを誤って登録することなく、また３回ほど撮影を繰り返すなかで僅かに指の姿勢が異なったパターンが複数登録されるため認証時の姿勢の変動にも強くすることができる。

なお、３回の登録候補群の獲得の際に、姿勢誘導部２２は、手のガイドの位置をそれぞれ別の位置に表示させたり、互いに異なる指の角度（３次元空間的な回転角）や姿勢（指の開き具合など）を求めるよう手のガイドの形状を変えたり、かざす位置を動的にずらしたりするなど、各候補群の撮影においてかざす場所や姿勢に変化を付けてもよい。このとき、各登録候補群の撮影では指の姿勢やカメラレンズに起因する歪みなどの傾向がそれぞれ異なることになる。これにより３枚の登録データはそれぞれ見かけ上のバリエーションが異なり、互いに補完し合うことができるため認証精度の向上に寄与する。

続いて図３の認証処理の流れについて説明する。まず、ガイド表示（Ｓ３０１）からパターン正常判定（Ｓ３０８）までの処理フローは上述の登録処理と同等であるため割愛する。続いて、照合部２５は、登録データとの照合処理を行い（Ｓ３０９）、最後に認証結果の判定を行う（Ｓ３１０）。このとき、本実施例では登録データが３回分存在する。その照合処理方法の一例としては、照合部２５は、各登録データと認証データとをそれぞれ照合し、最も類似度の高い結果を最終的な類似度と判定してもよく、それぞれの類似度を算出した後にそれらを平均化した結果を最終的な類似度としても良い。また、照合部２５は、３回分の類似度を本人確率などに変換して確率を合成し、最終的な本人確率を算出しても良い。照合部２５は、このような処理で得られた類似度に対し、登録データと類似しているかを判定し（Ｓ３１１）、類似していると判定した場合は（Ｓ３１１；Ｙ）、認証成功（Ｓ３１２）となって認証処理が終了する。一方、照合部２５は、類似していないと判定した場合は（Ｓ３１１；Ｎ）、認証失敗（Ｓ３１３）として終了する。

図４は、かざされた指のピッチング角の有無を示す図である。本実施例では主に指を空中にかざすことを想定しているが、特にフロントカメラに指をかざす場合、指の掌側をカメラあるいはガイド画面に向けて空中に静止させる。このとき、手首や肘の角度、あるいは機器がノートＰＣであればカメラの付いた液晶画面の蓋の開き具合などにばらつきが生じる。そのため、カメラから指先の距離と、カメラから指の根元の距離とが常に同じであるとは限らず、指先だけがカメラに近づいたり、あるいは指の根元だけがカメラに近づいたりするなどの変動が生じる。ここではこの方向の角度変動をピッチングと呼び、カメラの光軸と指の中心軸とが直交している状態をピッチングのない状態とし、そこからの角度の傾きをピッチング角と定義する。

図４（ａ）はピッチングが発生していない、すなわちピッチング角が０°の状態を表している。なお、利用者は図の右側から左側のカメラ９に向けて指をかざしている。このとき、カメラの光軸８０と指の中心軸８１とが直交しており、カメラと指先との距離、およびカメラと指根元の距離とがほぼ同一となっている。また図４（ｂ）はピッチングが生じている例である。カメラの光軸８０と指の中心軸８１とのなす角度は直交ではなく、この例では＋１７°の傾きをもって交わっている。ただし、指先がカメラに近づき、同時に指根元がカメラから遠ざかる場合のピッチング角を正の方向とする。指のピッチング角が正の方向にずれている場合は、指先がカメラに近づくため指先部分が拡大され、また指の根元はカメラから遠ざかるため縮小されて撮影される。そしてその拡大率、縮小率は指先付近、指の中央付近、指根元付近とでそれぞれ連続的に変化し、またピッチング角の大きさや、指とカメラとの平均的な距離によっても拡大率の変化量は異なる。このように、指のピッチング角の変化によって場所ごとに拡大率が異なることから、カメラで撮影した際の指の見かけ上の形状も異なる。

図５はピッチング角の変化に伴う指形状の画像上の見え方の変化の説明図である。この図は指のピッチングがない場合と正および負のピッチング角がある場合の、典型的な形状の指の画像上での見え方を示している。図に示す通り、撮影された指のＲＯＩ画像１００には、指先１０１、指根元１０２、指輪郭１０３が映る。また、本実施例において指先側の指幅１０４および指根元側の指幅１０５を、それぞれ第一関節の関節しわ１０６および第二関節の関節しわ１０７の部分の指幅と定義する。ただし指幅の決め方はこの限りではなく、例えば指先１０１から指根元１０２までの指長さを求め、指先位置から指長さの１／５の位置および４／５の位置における指幅を、それぞれ指先側および指根元側の指幅としてもよい。この場合は指の関節しわを検出することなく指先および指長さの検出だけで指幅が定義できる利点がある。あるいは、指先近辺を除く指領域全体の中で最も細い指幅を指先側の指幅とし、最も太い幅を指根元側の指幅としても良い。この方法は指輪郭１０３に基づき各位置の指幅を計測するだけで定義できる利点があると共に、指の見かけ上の変形に対する検出のロバスト性も高い。

図５（ａ）はピッチング角が０°の場合において指を正面から撮影したものである。カメラは指を正面から撮影しているので画像上の見え方は指の本来の指形状を反映しており、この例においては指先側の指幅１０４は指根元側の指幅１０５に比べて僅かに細い。一方、図５（ｂ）に示す通りピッチング角が正の角度となる場合は、指先がカメラに近づいているため指先側の指幅がやや太く見え、また指先付近が拡大して観測されている。また指根元側はカメラから遠ざかるため相対的に指根元側の指幅が細くなり、全体として指先側と指根元側の指幅に大きな差異は見られない状態となっている。さらには指の長さもピッチングが無い場合に比べて短くなっている。また図５（ｃ）に示す通りピッチング角が負となる場合は、指先や指根元の見かけの傾向が正の角度の場合の逆となり、指先側の指幅がより細く、指根元側の指幅はより太く見える。

このように、指のピッチング角に変化が生じると画像内における見かけ上の指形状の変形が生じ、特に２次元空間の形状をそのまま生体の特徴量とみなすテンプレートマッチングによって照合する場合、同じ生体であっても登録時と認証時とで特徴量の形状が異なることから一致率が低下し、正しく認証できなくなることがある。そこで本実施例では、指のピッチング角の変化に伴う見かけ上の指の形状が常に同じ形状になるよう、図２および図３の姿勢補正（Ｓ２２０およびＳ３２０）において、指形状の正規化を実施する。

図６は本実施例における指形状の正規化処理の一実施例である。ここでは、認証処理部１０の姿勢補正部２３は、指ＲＯＩ画像を獲得した時点で、指輪郭線、指先、指根元、指の長手方向に向かう中心軸の直線、といった各種指姿勢に関わる位置情報は獲得済みであるとする。また、姿勢補正部２３は、指の２次元画像平面内の回転（これを指のヨーイング回転とする）に対する回転補正も実施済みであり、すなわち指の中心軸と指ＲＯＩ画像の長手方向とが平行となるように指ＲＯＩ画像が獲得されているとする。また、本処理を実施する前に、姿勢補正部２３は、予め指先側と指根元側の指幅や指長さの平均値の情報を一定数以上の母集団となる程度の大量の学習データから求めておき、これを指の標準形状と定義しておく。なお標準形状の定義に際しては、標準形状を表す指幅や指長さなどのパラメータを網羅的に変化させたときに最も認証精度が高まる形状と定義してもよく、また運用中に利用者の認証が成功するたびに登録ＩＤごとにこれまでの時系列データにおける指姿勢情報の平均値を求め、登録ＩＤごとに標準形状を定義してもよい。また複数の指を認証に用いる場合は検出された指ごとに標準形状を定義しても良く、全指で共通の標準形状を定義しても良い。

まず、姿勢補正部２３は、前段の姿勢判定で算出済みの指ＲＯＩ画像を獲得する（Ｓ６０１）。次に、姿勢補正部２３は、指先側の指幅を測定するために、指の第一関節しわの位置を計算する（Ｓ６０２）。この計算においては、姿勢補正部２３は、たとえば指の関節しわを画像強調フィルタで強調し、指の関節しわの走行する主方向に向けて輝度の投影画像を算出し、最もピークが高まる位置を指の第一関節しわの位置とすることができる。そして、姿勢補正部２３は、その位置における指幅を求め、これを指先側の指幅とする（Ｓ６０３）。続いて、姿勢補正部２３は、同様に指の第二関節しわの位置の計算（Ｓ６０４）および指の根元側の指幅を獲得する（Ｓ６０５）。ただしこれらの値が前段の姿勢判定処理で計算済みであればその値を参照すればよい。

その後、姿勢補正部２３は、指形状を近似する台形を獲得する（Ｓ６０６）。ここでは、指先側の指幅および指根元側の指幅を上底および下底とし、かつそれらの間の距離を高さとする台形の4点の座標を得る。最後に、姿勢補正部２３は、上述した標準形状に合致するように指ＲＯＩ画像全体を透視投影変換により正規化する（Ｓ６０７）。これにより、任意の指が標準形状と一致するように変換される。

図７は撮影された指の形状を透視投影変換により標準形状に正規化したときの模式図である。透視投影変換は、３次元物体を任意の２次元平面に投影したときの見え方を再現する画像の変換であり、射影変換ともいう。この変換により、３次元空間に存在している指を任意の視点から撮影したときの見かけ上の指形状の変形を表現できる。ピッチングによる指とカメラとの視点のずれが生じると指の見かけの形状は変化するが、指は常に標準形状であるとの前提の下に透視投影変換を行うと、ピッチング角の変動に伴う視点のずれがピッチングのない視点へと変換され、ピッチングのない視点から撮影された指形状を得ることが可能となる。

図７（ａ）は、予め定義した指の標準形状を表す台形である。ここでは指先側の指幅１０４、指根元側の指幅１０５、指の関節間の距離１４０が定義されており、これらにより形成される指の近似台形１４１の４つの頂点の座標が同時に定義される。また比較用に指中央の短軸方向の位置１４２が点線で示されている。図７（ｂ）はピッチングのない視点から撮影された指の形状を台形に近似した図形である。ピッチングのない状態であるため、変換前の指１４３は本来の指形状を反映した形状ではあるが、標準形状となるように姿勢補正部２３が透視投影変換を行う。これにより、指の幅、指の長さ、指の形が正規化された、変換後の指１４４を得ることができる。本来の指形状とは異なる形に変換されることにはなるが、常に同じ形に変換されるので正しく照合することができる。

また図７（ｃ）は指先がカメラに近づいた場合の正のピッチング角での指形状を示している。指先側の見かけの形状が大きく観測されており、指の中央を示す点線が僅かに指の根元側にずれている。そして、姿勢補正部２３が、指の近似台形１４１の４点を標準形状と完全に同じ座標になるように透視投影変換を行うと、近くに観測されている指先が小さく見えるように変換され、かつ遠くに観測されている指の根元が大きく変換され、かつ指の見かけ上の長さが長く変換される。このとき指の中央部も上下均等の位置に移動している。これにより、カメラの視点からみた指の見かけ上の変形は、標準形状の見かけへと正規化されるため、カメラと指とのピッチング角に伴う変形が除去できる。同様に図７（ｄ）は負のピッチング角の視点で撮影された指の台形近似であり、根元側がやや太く見えるが、同様の処理によって指の見かけ上の形状が正規化されている。なお、この変換の具体的な方法の一つとして、以下の方法を用いることができる。例えば、姿勢補正部２３は、標準形状の台形の４点および実測した指の近似台形の４点の既知の８点の座標から、その変換に必要となる透視投影変換行列を求め、この行列を用いて実測した指ＲＯＩ画像全体を変換することで実現できる。

以上より、本方式はピッチング角の変動に伴って異なる視点から撮影されていた場合でも同一の見かけに変形補正でき、すなわちテンプレートマッチングによって照合を行った場合でも正しく照合を行うことができる効果がある。さらには変形に比較的強いとされる特徴点マッチングにおいても、特徴量抽出の際に見かけ上の変形によって特徴量が変動することがあるため、この正規化は有効である。また、ＤＣＮＮに代表される機械学習によって認証を行う場合であっても、入力画像が正規化されている方が学習の効率が高まるため、精度向上に有効である。

これに対し、従来方式の一つである指幅もしくは指長さが一定になるように画像全体を拡大縮小する方式、あるいは指幅が一定になるように拡大縮小したあとに指長さが一定になるように縦横を独立して拡大縮小する方式においては、画像の２次元平面における拡大率が一定となるため、物体の遠近に伴う部分的な拡大率の変化に対応できない。本実施例では、指のピッチング角の変化、さらにはカメラレンズの歪みがあっても概ね同一の形状に補正ができるため、指をラフにかざした場合や汎用カメラのレンズに差異がある場合のように、ピッチング角度が生じている、あるいはピッチング角度が生じる環境下にある場合でも高精度で認証することが可能となる。

なお、実際の指は立体的であり、特に指先は立体的な球状であるため、本実施例のように指を平面の台形と仮定した場合に比べて、指先部分はピッチング角の変動に対してより大きく拡大率が変動する。そのため、指先の指幅の求め方としては指の拡大率の変化に大きく依存しない方法が望ましい。特に、指の第一関節しわの位置を検出する方法は拡大率に依存しないため、ピッチング角の変動にロバストな指幅の計測が可能となり、認証精度を向上することができる。また本実施例では指の形状を平面的な台形に近似したが、たとえば円錐や円柱などの３次元の立体構造に近似し、透視投影変換により形状を標準形状に変換しても良い。これにより、より正確な正規化が実現できる。

また本実施例では、指の第一関節の位置および第二関節の位置における各指幅と両関節間の距離で定義される台形の矩形領域を指形状の正規化の対象領域として説明を行ったが、指先および指根元の検出精度が関節の検出精度よりも高い場合は、指先から指根元までの指長さとその中間点における指幅からなる長方形を正規化の対象領域としてもよい。また前記指長さは指先および指根元からそれぞれ一定の距離だけ指の中心方向に移動した両位置の距離としてもよく、そのときの指幅は指長さの中間点の指幅に限定することなく、前記指の中心方向に移動した両位置の指幅を用いて台形の正規化対象領域を構成してもよい。また前記長方形を正規化の対象領域とする場合の正規化方法として、姿勢補正部２３は、まず指幅が一定になるように画像の縦横を均等に拡大縮小し、次に指長さが一定になるように指長さ方向だけを拡大縮小、すなわち指の長さ方向に伸長または圧縮することで、指長さと指幅との比率が指の形などの個人差によらず常に一定になるように全体を正規化しても良い。この方法では透視投影変換が不要となるため処理が簡素化される利点がある。

図１３および図８はそれぞれ、掌の形状を透視投影変換に基づき標準形状に正規化する処理フローの位置実施例およびその模式図である。実施例１においてはピッチング角の変化に伴う指の形状を正規化したが、同様の手法により、掌の姿勢を正規化することが可能である。掌は特にフロントカメラに指をかざす際に指と同時に撮影可能な生体特徴であり、指と同時に認証に活用することで認証精度を向上できる。その際、指と同様にかざす角度の変化によって特徴量が変動するため、見かけ上の形状の正規化は有効である。

まず、姿勢補正部２３は、掌および指を含む手画像を獲得し（Ｓ８０１）、次に掌側の指根元にある関節しわ１６０の位置を検出する（Ｓ８０２）。検出方法は上述の第一ないし第二関節しわの検出方法と同じである。次に、姿勢補正部２３は、指根元の関節しわ１６０の部分の指幅方向の中心位置を求める（Ｓ８０３）。なお、姿勢補正部２３は、指と指との間の指股を求め、それらの中点の位置として求めても良い。

次に、姿勢補正部２３は、これらの中心位置を頂点とする、掌補正用の５角形１６１を算出する（Ｓ８０４）。そして、姿勢補正部２３は、この５角形を予め決定しておいた標準形状に透視投影変換する際の透視投影変換行列を求め（Ｓ８０５）、最後に手の画像１６２の全体を前記変換行列によって透視投影変換することで（Ｓ８０６）、掌画像の姿勢が正規化される。つまり、姿勢補正部２３は、算出された５角形１６１を上記のような所定の標準形状の多角形に透視変換することで掌の形状を補正する。これにより、ピッチング角、ローリング角、ヨーイング角のそれぞれについて掌形状を補正することができ、補正後の掌の画像を用いて、これらの変形に強い掌の生体特徴を用いた認証が実施できる。

なお、掌から抽出する生体特徴としては、掌静脈、掌紋、掌形、あるいはメラニンやヘモグロビン、脂肪などの皮膚特徴を用いることができる。なお、本実施例では掌と合わせて指部分の画像も補正したが、掌部分のＲＯＩ画像を別途用意してその範囲内だけを補正し、指部分の補正は上述の実施例１の方法で別途行っても良い。

なお、本実施例では５角形によって正規化を行ったが、たとえば隣り合う指と指の付け根である指股の位置の４点から成る４角形を標準形状に透視投影変換してもよい。特に指股の位置は指輪郭の屈曲点から比較的安定して抽出できるためロバストな検出が可能である。また、たとえば親指が撮影されない場合においては親指の根元を除く４点を頂点とする４角形を標準形状に透視投影変換してもよく、また例えば手首まで撮影できる場合は、手首に存在する皮膚の線パターンの中点あるいは両端を加えた６点ないし７点より構成される多角形を標準形状に変換しても良い。できるだけ面積の大きな領域を抽出することで、形状の正規化をより正確に行うことができる。

その他、顔、耳介、虹彩などの画像を用いて生体認証を行う場合においても同様の変換を行うことができる。顔に対する形状の正規化の一実施例としては、姿勢補正部２３が、両目の中心位置および口角の両端の位置をそれぞれ求め、これらの４点を頂点とする４角形を標準形状となるように透視投影変換すればよい。これにより、ピッチング角、ローリング角、ヨーイング角のそれぞれについて顔画像を補正することができる。なお、目尻、両耳、あご先、眉毛、などの特徴点を用いても透視投影変換が実施できることは言うまでもない。また耳介であれば上下の耳たぶの先端および耳孔と耳介外縁の端の４点の４角形を標準形状に透視投影変換でき、虹彩であれば円形状の角膜部が完全な円になるように透視投影変換することができる。

図９は指のピッチング変動を抑制するガイダンスの一表示例である。

上述の実施例１に示した通り、かざされた指は台形に近似され、予め定義されている標準形状と比較されるが、指根元側の指幅に対する指先側の指幅の比率が大きい場合は正の方向にピッチングしており、その逆の場合は負の方向にピッチングしている傾向がある。そこで、姿勢誘導部２２は、この比率を算出し、算出した比率を各指で平均したときの値が、標準形状での比率に比べて大きい場合は指先がカメラに近づき過ぎている可能性があると判断できる。この特性を利用して、姿勢誘導部２２は、３次元の空中にかざした手をガイドする。

まず利用者は表示部１５に表示されている指輪郭ガイド１８０に指１をかざす。このとき画面にはカメラが現在撮影している映像であるプレビュー映像が表示されたプレビュー画面もガイドに重畳されてリアルタイムに表示されている。そして、姿勢誘導部２２は、上述の実施例に従って指の近似台形を求めるが、同時に根元側の指幅に対する指先側の指幅の比率を算出する。この値が高い場合は正のピッチングとなる可能性が高く、低い場合は負のピッチングとなる可能性が高い。このとき、姿勢誘導部２２は、正のピッチングと判定する上限閾値および負のピッチングと判定する下限閾値を予め求めておき、上限を超えて値が高い場合は正のピッチングの可能性が高いと判断する。

そして、姿勢誘導部２２は、「ひじを曲げて手を遠ざけてください」といったガイドメッセージ１８１を表示すると共に、指輪郭ガイド１８０の形状そのものを透視投影変換によって指先側だけが細くなるように変形して表示する。さらには、姿勢誘導部２２は、横向きガイド１８２を表示し、横から見たときの操作方法を表示する。これを見た利用者はひじを曲げながら手を画面から遠ざける。このとき肘を中心に手が移動するため掌がやや上を向き、指先がカメラから遠ざかる。同様に、姿勢誘導部２２は、前記の比率が下限より小さい場合は指先がカメラから離れすぎている可能性があるため、「ひじを伸ばして指先を画面に近づけてください」などのガイダンスを同様に提示する。

このようなガイダンスの提示により被写体のピッチング角そのものを一定の角度に誘導できることから、画像処理による変形補正だけではなく、被写体そのもののピッチング角を制御することができる。さらには横向きガイドや指輪郭ガイドの変形表示を通じて、利用者が理解しやすくかつ自然な操作の中で指の位置を補正することができ、利便性を損なわずに認証精度を向上することができる。

実施例４は、ノートＰＣやタブレットなどのモバイル端末に搭載されたフロントカメラで撮影できる生体情報を用いた認証システムの実施例である。

図１０は顔および手指をかざすマルチモーダル認証におけるガイダンスの表示例である。上述の実施例で示した通り、指輪郭ガイド１８０を表示した上で指をかざしてもらうことが指の姿勢変動を抑制する上で有効ではあるが、かざした指が利用者自身の視界を塞いでしまい、指輪郭ガイド１８０が見えなくなる場合がある。その場合、顔の位置をずらして指輪郭ガイドを覗き込むように手の位置を合わせる操作を行うこととなり、操作が実施しにくくなると共に顔の映像が傾いてしまい顔認証の精度も劣化する。そこで本実施例では、表示部１５における顔の位置および指ガイドの表示位置に基づいて指画像のプレビュー画面の表示位置を微調整するガイダンス方式の一実施例を示す。

まず利用者がタブレットなどの認証端末の前に来ると、カメラによって顔２００が撮影され、画像処理部２０が行う顔検出処理によって顔の画像上の位置が検出される。このとき顔検出だけでなく、照合部２５が顔認証を実施しても良い。次に、姿勢誘導部２２は、指輪郭ガイド１８０を画面に表示すると同時に「指ガイドに右手を合わせてください」などのガイドメッセージ１８１を表示する。このとき、姿勢誘導部２２は、画像処理部２０が、顔の位置が画像中央よりも左側にある場合は右手を、顔の位置が画像中央よりも右側にある場合は左手をかざすようにガイドを表示する。このガイドにより、顔と同時にかざしやすい方の手を無理なく撮影でき、より自然な操作が可能となるため利便性が向上する。

利用者はその指示に従って指輪郭ガイド１８０に視線を合わせながら指１を空中にかざす。このとき、フロントカメラの位置は認証端末によって様々であるが、カメラの光軸が画像の中央と一致していると仮定すると、顔の位置と指輪郭ガイドの表示位置の関係から、指輪郭ガイドに指を合わせた場合にかざした手指が視線を塞いで指輪郭ガイドが見えなくなるかどうかが分かる。

図１１は指輪郭ガイドと顔と視線の関係性を表した模式図である。図１１（ａ）に示すように、利用者の顔２００が画像の中央よりやや左に位置し、かつ姿勢誘導部２２が右手用の指輪郭ガイド１８０を画像右側に表示した場合、手をかざす位置と指輪郭ガイド１８０の位置が共に右側に位置することになる。このとき、利用者はかざした手２２０によって指輪郭ガイド１８０が見えづらくなる。そこで、図１１（ｂ）に示すように、姿勢誘導部２２は、画像のプレビュー画面そのものを左側にシフトして顔２００の検出位置に指輪郭ガイド１８０が表示されるようにする。すなわち、姿勢誘導部２２は、利用者の顔とプレビュー画面の指輪郭ガイド１８０とが正対する位置になるように移動して表示する。すると右手の指ガイドは利用者の正面に表示されることになるため、指ガイドが見やすくなる。このようにすることで、かざした指が指ガイドを遮ることなく、指のかざしやすい認証システムが実現できる。

ただし、顔の検出位置が不安定となる場合は画像がシフトされたりシフトされなかったりなどで画像がちらつくこともある。このため、画像処理部２０が複数フレームの顔検出処理で顔が左にあることを検知した後は、姿勢誘導部２２が、常に一定時間シフトしたまま表示することで、安定した表示が可能となる。また、姿勢誘導部２２は、画像をシフトさせる際は動画的に滑らかに移動しながらシフトさせても良い。これにより画像がシフトしたことを利用者が容易に理解することができ、利便性を向上できる。

図１２は、図１１（ｂ）で示した指のガイドを見やすく表示する画面構成例である。図１２（ａ）は撮影画像およびガイド画像を縮小して左に寄せた場合の画像表示である。縮小されたプレビュー画面２４０には顔２００および指輪郭ガイド１８０が共に表示されており、左側に寄せて表示しているためプレビュー画面が顔の正面付近に表示され、視界を遮られることがなくなる。ただし画像が縮小されるため僅かに見えにくくなる場合もある。

これに対し、図１２（ｂ）は、顔検出によって顔部分のみが切り出された顔ＲＯＩ画像２４１が別窓に小さく表示された場合の画面である。当該画面では、、上記別窓が表示され、かつ指輪郭ガイド１８０を中心に手ＲＯＩ画像２４２が切り出され、通常サイズで左側に寄せて表示されている。顔の位置合わせに比べて指の位置合わせは比較的自由度が高いため、顔よりも指画像を大きく表示させることで指の位置合わせを容易に実施することができる。

なお、本実施例は顔と片手とを同時に撮影する方法について説明したが、同時に両手をかざすように促すことで認証精度を高めることができる。その際のガイダンスとして上述の通り左右の手のＲＯＩ画像を見やすい位置に並べて表示しても良い。また画面が狭い場合や認証端末の設置場所が狭い場合などであれば、まず顔を撮影し、その次に手をかざすといったように、順番に複数の生体をかざすようにしても良い。この場合は同じ場所に異なる生体をかざすことができるので、スペースの狭い場所でのマルチモーダル認証に好適である。

また、上記の実施例では顔の位置に応じてかざす手の左右が自動的に決定するものとしたが、かざす手の左右を利用者に予め指定させることもでき、その場合は、姿勢誘導部２２が、指定された左右に応じて上記の通り手のガイドの表示位置を変えても良い。具体的には、入力部１６が左手をかざす指定を受け付けた場合は、手が左側、顔が右側にかざされることが想定される。このため、姿勢誘導部２２は、手のガイドを顔のある右側に寄せて表示することで、見やすいガイド表示が可能となる。

また、スマートフォンのように手で把持して使うことを想定した端末では端末を縦向きに利用することが多く、またカメラの位置は端末を縦にしたときの上部に具備されることが多い。そのような端末を横向きに設置した場合、カメラ位置は利用者正面の左側あるいは右側のどちらかに移動することになる。その場合、カメラから遠い方の手をかざしてもカメラの画角に手が映らないことが多い。そのため、このような端末を横置きにした場合、端末の傾斜方向検知機能を利用してカメラに近い側の手をかざすように自動的にガイドを切り替える。

たとえばカメラが左側に傾いて横置きされた場合、画像処理部２０は、スマートフォンの加速度センサからカメラが左に傾いたことを自動検知し、姿勢誘導部２２は、かざしやすい左手をかざすように自動的に左手用のガイドを表示する。これにより、スマートフォンを横置きにした場合でも利用者はかざしにくさを感じることなく自然に好適な撮影が実施できる。

また、縦型の端末をそのまま縦置きの状態で利用する場合、顔と手とを横並びにかざすとスペースが狭くて手が画角からはみ出し、かざしにくくなることも想定される。その場合、姿勢誘導部２２は、手のガイドを顔よりもやや低い位置に表示したり、あるいは顔の真上や真下に表示したりしても良い。これにより、端末を縦置きにしても顔と手の両方を同時にかざすことが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

更に、上述した各構成、機能、認証処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、冒頭に説明したように、それらの一部又は全部を例えば集積回路で設計する等によりハードウエアで実現しても良いことは言うまでもない。すなわち、認証処理部の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ、ＦＰＧＡなどの集積回路などにより実現してもよい。

このように、本実施例では、生体（例えば、指や掌）を撮影した画像を撮像する撮像部と、撮像された上記画像における上記生体の所定部位（例えば、指の長さや幅、掌側の指根元部分）の形状を特定するための複数の位置を算出する算出部（例えば、姿勢補正部）と、登録時における一の上記位置と他の上記位置との間の比率と、算出された一の上記位置と他の上記位置とに基づいて、上記所定部位の形状を拡大または縮小する変換部（例えば、上記姿勢補正部）と、上記拡大または縮小した後の上記所定部位の画像を用いて生体認証を行う認証部（例えば、照合部）と、を有するので、利用者自身が登録作業を実施することのできる運用性の高い認証システムと、便利で操作性に優れ高精度な生体認証装置とを提供することができ、個人認証装置として有用である。また、生体情報を用いて個人を認証する認証システムに関し、認証装置の汎用性および利便性を高め、高精度な認証技術を提供することができる。例えば、スマートフォンやタブレットの汎用カメラで撮影した１指ないし複数指の映像を用いた生体認証を実現するべく、システムによって表示されるガイド手段に合わせて提示された利用者の指ないし手の姿勢の変動を補正し、高精度で使い勝手の良い生体認証装置を実現することができる。

１ 指
２ 入力装置
３ 光源
９ カメラ
１０ 認証処理部
１１ 中央処理部
１２ メモリ
１３ インターフェイス
１４ 記憶装置
１５ 表示部
１６ 入力部
１７ スピーカ
１８ 画像入力部
２０ 画像処理部
２１ 姿勢判定部
２２ 姿勢誘導部
２３ 姿勢補正部
２４ 特徴抽出部
２５ 照合部
８０ カメラの光軸
８１ 指の中心軸
１００ 指ＲＯＩ画像
１０１ 指先
１０２ 指根元
１０３ 指輪郭
１０４ 指先側の指幅
１０５ 指根元側の指幅
１０６ 第一関節のしわ
１０７ 第二関節のしわ
１４０ 指の関節間の距離
１４１ 指の近似台形
１４２ 指中央の短軸方向の位置
１４３ 補正前の指
１４４ 補正後の指
１６０ 指根元の関節しわ
１６１ 掌補正用の５角形
１６２ 手の画像
１８０ 指輪郭ガイド
１８１ ガイドメッセージ
１８２ 横向きガイド
２００ 顔
２２０ かざした手
２２１ 視線
２４０ 縮小されたプレビュー画面
２４１ 顔ＲＯＩ画像
２４２ 手ＲＯＩ画像

Claims (7)

1. 生体を撮影した画像を撮像する撮像部と、
   撮像された前記画像における前記生体の所定部位の形状を特定するための複数の位置を算出する算出部と、
   登録時における一の前記位置と他の前記位置との間の比率と、算出された一の前記位置と他の前記位置とに基づいて、前記所定部位の形状を拡大または縮小する変換部と、
   前記拡大または縮小した後の前記所定部位の画像を用いて生体認証を行う認証部と、を有することを特徴とする生体認証装置。
2. 前記撮像部は、前記生体として指を撮影し、
   前記算出部は、前記所定部位の形状として、前記画像における前記指の長さおよび指幅を算出し、
   前記変換部は、登録時における前記指の長さおよび前記指幅の比率と、算出された前記指の長さおよび前記指幅とに基づいて、前記指の長さを拡大または縮小し、
   前記認証部は、前記指の長さを拡大または縮小した後の前記指の画像を用いて生体認証を行う、
   ことを特徴とする請求項１に記載の生体認証装置。
3. 前記変換部は、前記指幅が一定になるように前記画像の縦横を均等に拡大または縮小する、
   ことを特徴とする請求項２に記載の生体認証装置。
4. 前記変換部は、さらに、前記指の長さおよび前記指幅の比率が一定になるように、前記指の長さ方向で伸長または圧縮する、
   ことを特徴とする請求項３に記載の生体認証装置。
5. 前記変換部は、指先および指根元からそれぞれ一定の距離だけ指の中心方向に移動した部位のそれぞれの位置間の距離を前記指の長さとして、前記拡大または縮小する、
   ことを特徴とする請求項２に記載の生体認証装置。
6. 前記撮像部は、前記生体として掌を撮影し、
   前記算出部は、前記所定部位の形状として、前記掌側の指根元にある関節しわの位置を検出し、検出した前記関節しわの位置を頂点とする多角形を算出し、
   前記変換部は、算出された前記多角形を所定の標準形状の多角形に透視変換することで前記掌の形状を補正し、
   前記認証部は、前記補正した後の前記掌の画像を用いて生体認証を行う、
   ことを特徴とする請求項１に記載の生体認証装置。
7. コンピュータにより行われる生体認証方法であって、
   生体を撮影した画像を撮像し、
   撮像された前記画像における前記生体の所定部位の形状を特定するための複数の位置を算出し、
   登録時における一の前記位置と他の前記位置との間の比率と、算出された一の前記位置と他の前記位置とに基づいて、前記所定部位の形状を拡大または縮小し、
   前記拡大または縮小した後の前記所定部位の画像を用いて生体認証を行う、
   ことを特徴とする生体認証方法。

Images