JP2020003873A - 生体認証プログラム、生体認証方法 - Google Patents

Abstract

【課題】複数の指の画像を用いて生体を認証する際に、撮像部が各指の画像を認証に適した姿勢や位置で撮影することができるようにするための技術を提供する。【解決手段】本発明に係る生体認証プログラムは、弓形軌跡に沿って指先を画面上にかさずように促す弓形軌跡画像を、ガイド画像として画面上に表示させる。【選択図】図１

Description

本発明は、生体情報を用いて個人を認証する技術に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用することにより優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。

近年では、携帯電話機、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォンやタブレットなどのモバイル端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどがある。近年では決済やイベント会場での本人確認などにも生体認証システムが導入され始めている。将来的には、たとえば自宅でイベントのチケット購入を行う際に生体認証を実施し、インターネットを介して登録データをサーバに転送し、会場で手ぶらのまま本人認証を行う場面も想定される。

スマートフォンやタブレットなどのモバイル端末は世界的に広く普及しており、そのほとんどの機種には汎用のカラーカメラが搭載されている。そのためモバイル端末に標準搭載されている汎用のカメラを用いて生体認証を実現することができれば、生体を撮影するための特別な専用センサが組み込まれた機種を利用することなく、ソフトウェアをインストールするだけで誰もが簡単に生体認証を利用することができる。特に、複数の指をカメラに非接触の状態でかざしながら認証を行う生体認証技術は高精度な認証が実現できるので、今後は様々な場面で利用されると考えられている。

このように、世界的に広く普及している汎用のモバイル端末で生体認証を利用する状況が増えると、認証システムの利便性および認証精度を高く維持すること、多くの利用者が装置を正しく利用できるようにすることが従来以上に重要になると考えられる。特に個人のモバイル端末を利用して本人認証を行う場面においては、一般的なオフィス向けの入退室管理システムのように生体の登録作業をシステム管理者が実施することはできず、利用者自身で認証情報を登録する必要がある。このとき、本来の意図した方法で利用者が生体を撮影することをシステムが保証し、かつそれを補助する必要がある。そのため、提示された生体が認証に適した状態であることを判定する技術、そしてそのような状態に誘導する技術が必要となる。

複数の指を利用した生体認証において入力される生体情報の信頼性を高め、かつ利便性の高い認証処理を実施するためには、生体が認証に適した姿勢であることを判定する技術と、認証に適した姿勢で提示されるよう誘導する技術とが必要となる。

生体認証システムおける生体の誘導方法に関する先行技術において、適切な生体の提示位置を画面に表示する技術として特許文献１がある。同文献は、利用者が視認しづらい携帯端末の背面に設けられた生体センサの適切な位置に指先を置く手法を記載している。同文献記載の生体認証装置は、第一の面に設けられた表示部と、第二の面に設けられた検出領域を介して検出画像を生成するセンサ部とを備え、検出画像の位置、大きさ、及び形状を、第二の面における検出領域の位置、大きさ、及び形状に対応させて、第一の面に設けられた表示部に生体の状態を表示させる。

特開２０１５−０１８４１３号公報

特許文献１においては、指先をセンサ面に接触させることを想定しており、指を非接触の状態でかつ同時に複数の指を撮影する状況において、その適切な位置をガイドするための技術開示はなされていない。また同文献においては、撮像部に対して複数の指の位置や姿勢を適切に配置するようにガイドする手段を提供していない。このように従来技術は、複数指を用いた生体認証において指のかざし方を適切に誘導することが困難であり、認証精度の低下を招く課題があった。

本発明は、上記のような課題に鑑みてなされたものであり、複数の指の画像を用いて生体を認証する際に、撮像部が各指の画像を認証に適した姿勢や位置で撮影することができるようにするための技術を提供することを目的とする。

本発明に係る生体認証プログラムは、弓形軌跡に沿って指先を画面上にかさずように促す弓形軌跡画像を、ガイド画像として画面上に表示させる。

本発明に係る生体認証プログラムによれば、生体を認証処理のために適した位置および姿勢に誘導することができる。また生体が認証処理のために適した位置および姿勢であることを検知できる。

実施形態１に係る生体認証装置１００の構成図である。 生体認証装置１００が指の血管画像を登録する処理を説明するフローチャートである。 生体認証装置１００が指の血管画像を用いて生体認証を実施する処理を説明するフローチャートである。 ステップＳ２０１とＳ３０１において、利用者が自身の指をスマートフォンのアウトカメラで撮影する際に確認する指のガイド表示の一例である。 指先の位置を誘導するためのガイドの一例である。 指の角度を定義して誘導するための指形状モデルの一例である。 指先の位置に応じて標準中心線１０７を決定する一手法を説明する図である。 指のロール回転を検出して正しい姿勢に誘導する方法の一例である。 指の撮影位置を複数回変化させて複数のロール回転を登録する登録方式の一例である。 利用者ごとに適した指のガイドを生成する方式の一例である。 モバイル端末を用いてインターネットバンキング（ＩＢ）システムにアクセスする際の本人認証を実施するためのシステム構成例である。 スーパーマーケットやコンビニエンスストアなどの小売店において生体情報だけでセルフ決済を行うことができる認証システムの構成例である。 ホテルなどの宿泊施設における予約からチェックアウトまでの一連のサービスを提供するための認証システムの一構成例である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る生体認証装置１００の構成図である。生体認証装置１００は、指１の血管（例えば指静脈）画像を用いて生体を認証する装置である。生体認証装置１００は、撮像部２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７、画像入力部１８を備える。撮像部２は、その筐体に設置された光源３、筐体内部に設置された撮像装置９を備える。認証処理部１０は画像処理機能を備える。

光源３は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光素子であり、撮像部２の上部に提示された指１に対して光を照射する。光源３は実施形態によって様々な波長が照射できるものであってもよく、また指１の上部に設置し、生体の透過光を照射できるものであってもよい。また、光源３が搭載されていない構成としてもよい。撮像装置９は、撮像部２に提示された指１の画像を撮影する。撮像装置９はカラーカメラであってもよく、赤外カメラであってもよく、可視光および紫外光および赤外光が同時に撮影できるマルチスペクトルカメラであってもよい。また被写体の距離が計測できる距離カメラでもよく、またこれらのカメラを複数組み合わせた構成でもよい。指１は複数本であってもよい。

画像入力部１８は、撮像部２の撮像装置９が撮影した画像を取得し、取得した画像を認証処理部１０に対して入力する。

認証処理部１０は、中央処理部（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、メモリ１２、各インターフェイス（ＩＦ）１３を備える。ＣＰＵ１１は、メモリ１２に記憶されている生体認証プログラム１２ａを実行することによって、（ａ）入力された画像に対する画像処理、（ｂ）生体が認証に適した姿勢であることを判定する姿勢判定、（ｃ）生体が認証に適した姿勢となるよう利用者を誘導する姿勢誘導、（ｄ）登録処理や認証処理の際に生体特徴を抽出する特徴抽出、（ｅ）生体特徴の類似度を比較する照合、などの処理を実施する。これら処理については後で詳述する。メモリ１２は、ＣＰＵ１１によって実行されるプログラムを記憶する。メモリ１２は、画像入力部１８から入力された画像などを一時的に記憶する。

インターフェイス１３は、認証処理部１０と外部装置とを接続する。具体的には、インターフェイス１３は、認証処理部１０と、撮像部２、記憶装置１４、表示部１５、入力部１６、スピーカ１７、画像入力部１８などとを接続する。

記憶装置１４は、利用者の登録データなどを記憶する。登録データは、登録処理時に得られる利用者を照合するための情報であり、例えば、指静脈パターンなどの画像データである。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンもしくはやや青み掛かったパターンとして撮像した画像である。

表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報、生体の姿勢誘導情報、姿勢判定結果などを表示する出力装置である。入力部１６は、例えば、キーボードやタッチパネルであり、利用者から入力された情報を認証処理部１０に送信する。スピーカ１７は、認証処理部１０から受信した情報を、例えば音声などの音響信号で発信する出力装置である。

図２は、生体認証装置１００が指の血管画像を登録する処理を説明するフローチャートである。本フローチャートは、例えば認証処理部１０のＣＰＵ１１がメモリ１２内のプログラムを実行することにより実施される。以下図２の各ステップについて説明する。

（図２：ステップＳ２０１）
認証処理部１０は、利用者に指の提示を促すガイドを表示部１５に表示し、これに従って利用者が指をかざす。スマートフォンやタブレットなどのスマートデバイスを生体認証装置１００として利用する場合であれば利用者は空中に手指をかざす。撮像部２もしくはスマートデバイスに手指をかざすために設計された指置き台が装置に具備されている場合であれば指置き台に手指をかざしてもよい。このとき、指の提示を促すガイドとして、たとえば「指をかざしてください」といったガイダンスメッセージに加えて、指の輪郭を模した指ガイドを、実際に撮影されているカメラの映像に重ね合わせて表示してもよい。これにより、利用者は自身の指をどこにどのようにかざせば良いかが視覚的に理解でき、利便性を向上することができる。ガイドの具体例については図４以降で説明する。

（図２：ステップＳ２０２）
認証処理部１０は、カメラの映像を撮影しながら、カメラの露光調整およびフォーカス調整を実施する。露光調整においては、指部分の画素平均値が一定値になるようにカメラの露光設定値を調整する。どの画素に指部分が映っているかを判定する手法として、前述の指ガイドの内側の領域を指部分とみなしてもよく、後述する背景分離処理によって指領域を特定した結果を利用してもよい。最適な露光設定値の算出方法として、露光時間と画像の平均輝度値とが比例する事実を利用し、設定した露光時間とそのときの画像の平均輝度値から、所望となる平均輝度値となることが予測される露光時間を算出する方法が利用できる。最適なフォーカス調整方式として、たとえばフォーカスの異なる２枚の画像を撮影した上で画像中の指領域内のエッジやコントラストの強さを評価し、より画像のエッジやコントラストが強い方にフォーカスをずらしていく方法を利用してもよく、また指のかざされる距離がおおむね一定であることが想定できる場合はその距離で最もフォーカスが合う固定値に設定してもよい。

（図２：ステップＳ２０３）
認証処理部１０は、画像の環境判定処理を実施する。露光補正を実施した場合、画像は適切な明るさに補正されるが、環境が暗すぎる場合や明るすぎる場合では、補正できない場合が想定される。そこで露光時間を一定値以上に明るくしてもなお画像の平均輝度が暗い場合は環境が暗いとして利用者に警告を出し、明るい環境に移動することを促す。生体認証装置１００にフラッシュライトなどの光源が搭載されている場合はそれを点灯し、環境を明るくしてもよい。同様に、露光時間が一定値以下に暗くしてもなお画像が明るい場合は環境が明るすぎるものとして警告を出す。画像の平均的な明暗の判定だけではなく、たとえば逆光が強く差し込んでいる環境であったり、スポットライトやブラインドの隙間から漏れる太陽光といった明暗のコントラストが強い陰影が被写体に投影されていたり、映像上にスミアノイズ、フレアやゴーストが重畳されていたり、カメラや被写体が大きく移動していたりなど、認証に適さない撮影環境を検出し、エラーを警告してもよい。これにより撮影画像の品質が向上すると共に利用者に対して回避策を提示でき、認証精度や使い勝手を向上できる。この処理でエラーとなった場合、指の提示を促すガイドの表示（Ｓ２０１）に戻る。

（図２：ステップＳ２０４）
認証処理部１０は、かざされた指の画像とそれ以外の背景の画像とを分離する。画像中には認証する対象となる手指以外にも様々な被写体が映り込む。そこで画像のどの位置に指が存在するかを特定するため、画像の色情報やエッジ情報から指の部分と指以外の背景部分とを分離する。その手法の一例としては、教師データを用いた機械学習による方法が適用できる。具体的には、まずあらかじめ様々な環境で様々な被験者の手指を大量に撮影し、各画像について指部分と背景部分とを定義するラベリング結果を作成した上で、各画像とラベリング結果とのペアを教師データとして蓄積しておく。そして、教師データの画像を入力したときにそのラベリング結果ができるだけ正しく出力されるように、ＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をはじめとする機械学習に基づいてパラメータを学習しておく。この手法により、未知の画像が入力された際に指領域だけを得ることができる。被写体中に複数の手指が撮影される場合もありうるが、このときは複数の手指のうち最も大きく映る手指を選択してもよく、もしくはすべての手指を認証の対象として処理を実施してもよく、もしくはエラーとして警告を出してもよい。

（図２：ステップＳ２０５）
認証処理部１０は、かざされた指が画像のどの位置にどのようにかざされているかを検出するため、指の姿勢を検出する。指の姿勢としては、複数の指の指先位置、隣り合う指同士の接続部分である指股の位置、各指の長さ・幅・面積、指の中心軸の向き、関節の曲げ、関節の反り、隣り合う指同士の近接の度合いを示す指の開閉状態、各指の折り曲げや伸ばしの状態、などが定義できる。これらの情報を検出する一手法としては、ステップＳ２０４において背景分離した際の指領域の外周を辿って得られる指輪郭に基づき、輪郭線の曲率が高い部分を指先、曲率が高いがその正負が指先とは反対である部分を指股と定義し、各指の位置・大きさ・向きなどを特定する手法が適用できる。別の手法の例としては、前述の通りに大量の教師データを用意する際、指先位置、指股位置、関節位置、などの姿勢情報も含めて教師データを作成し、それらの情報も含めて機械学習を実施し、未知の指画像データの入力に対して姿勢情報を推定して出力する手法としてもよい。

（図２：ステップＳ２０６）
認証処理部１０は、かざされた指が認証に適しているかどうかを判定する。利用者は表示部１５に表示される指のガイドに合わせて指をかざすが、必ずしも認証に適した状態でかざされているとは限らない。そのため、指先位置、指股位置、指の面積などの情報を考慮し、あらかじめ定義した許容値の範囲内に指の姿勢が収められているかを判定する。あらかじめ定義した範囲に含まれていると判定された場合は次の処理に進む。そうでない場合は警告を出し、どのような姿勢にすれば適切となるかを出力すると共にガイドの表示（Ｓ２０１）に戻る。

（図２：ステップＳ２０７）
認証処理部１０は、特徴抽出処理を実施する。具体的には、上述の指姿勢判定の結果に基づいて各指の部分的な画像領域を１指ずつ切り出し、それぞれ指の向きや拡大率などを一定に整えた上で指画像内に含まれる生体特徴を抽出する。抽出する特徴量としては、指静脈、指紋、関節などの複数の特徴量が挙げられる。

（図２：ステップＳ２０８）
認証処理部１０は、抽出された生体特徴に対するパターン判定を実施する。パターン判定は、抽出されたパターンに異常がないことを判定する処理である。たとえば指の検出処理で誤って指以外の画像情報を指として取り出した場合、そこから生体特徴を抽出すると本来得られるパターンの特性とは異なるパターンが得られることがある。このように誤って抽出されたパターンを登録や認証に利用することがないように、パターン判定処理によってそのエラーを検出する。パターン特性の一例としては、静脈のような線パターンであればその長さや分岐の数、指の内部領域を静脈が占める比率や量、パターン密集度などである。これらの特性について、正しい静脈画像から得たパターンの特性を数値化して正常な範囲をあらかじめ求めておき、実際に抽出されたパターンから得た数値が正常であることを確認することにより、パターン判定が実施できる。正常でないと判定された場合は登録エラーとなり、改めて処理を実施する。

（図２：ステップＳ２０９）
認証処理部１０は、登録に適したパターンを選択して登録候補を蓄積する。撮像部２は生体の動画像を撮影するので、上述の判定処理で特に問題が無ければ動画像内に含まれる静止画像パターンを次々と獲得できる。メモリ量や処理時間の制約などを考慮するとこれらはすべて登録することはできないが、これらを登録データ候補として時系列的に蓄積しておくと、その中からどのパターンを登録すればよいかを選別する登録選択処理を後に実施することができる。多くの候補から適切なパターンのみを登録することにより品質の高い登録データを厳選できるので、登録データ量を低減するとともに認証精度を高めることができる。

（図２：ステップＳ２１０）
認証処理部１０は、登録候補が十分に蓄積されたかを判定する。認証処理部１０は、以上の各判定処理において問題ないと判定された静止画像パターンが所定時間もしくは所定枚数に達するまで、ステップＳ２０１〜Ｓ２０９を繰り返す。本ステップによって蓄積した静止画像パターンを、次のステップＳ２１１における１回分の登録候補とみなす。

（図２：ステップＳ２１１）
認証処理部１０は、３回分の登録候補が獲得できるまでステップＳ２０１〜Ｓ２１０を繰り返す。認証処理部１０は、これらステップを繰り返すごとに、例えば利用者に対してもう一度撮影する旨を示す。

（図２：ステップＳ２１２：その１）
認証処理部１０は、３回分の登録候補のなかから登録するデータを決定する。決定手順としては例えば以下のようなものが考えられる。まずひとつの登録候補のなかに含まれる静止画像パターン間で総当りによる相互比較を実施し、全パターンの組み合わせごとに静止画像パターン間の類似度を算出する。ある着目パターンについて他のパターンとの間の類似度の合計値を求めたとき、これが相対的に大きければ、その着目パターンは平均的に他のパターンと類似しているといえる。一方、その類似度合計値が相対的に小さければその着目パターンは例外的なパターンであると考えられる。例外的なパターンを登録すると以後の認証精度が低下するので、できる限り類似度の合計値が大きい（すなわち他のパターン全体に対して平均的に類似している）パターンを登録することが望ましい。そこで本ステップにおいては、類似度の合計値が最大となるパターンを、その登録候補のなかにおける代表静止画像パターンとして定め、これを認証情報として選択する。以上の処理を各登録候補（すなわち動画像に含まれる静止画像パターンの集合）に対して実施する。

（図２：ステップＳ２１２：その２）
本フローチャートにおいて登録候補は３つあるので、本ステップにより３つの代表静止画像パターンが得られる。認証処理部１０はさらに、その３つの代表静止画像パターン間で総当りによる相互比較を実施し、これらの間の類似度を求める。

（図２：ステップＳ２１３〜Ｓ２１５）
認証処理部１０は、ステップＳ２１２：その２における類似度が所定閾値以上である（すなわち各代表静止画像パターンが互いに充分類似している）か否かを判断する（Ｓ２１３）。類似度が充分であればその３つの代表静止画像パターンを認証情報として記憶装置１４に登録する（Ｓ２１４）。充分でなければ登録失敗とみなし、例えば再撮影するよう促すメッセージを出力する（Ｓ２１５）。

図３は、生体認証装置１００が指の血管画像を用いて生体認証を実施する処理を説明するフローチャートである。本フローチャートは、例えば認証処理部１０のＣＰＵ１１がメモリ１２内のプログラムを実行することにより実施される。Ｓ３０１からＳ３０８はＳ２０１からＳ２０８と同様の処理であるので、Ｓ３０９以降について説明する。

（図３：ステップＳ３０９〜Ｓ３１３）
認証処理部１０は、記憶装置１４にあらかじめ登録した指画像と、ステップＳ３０２において撮影した指画像とを照合し（Ｓ３０９）、類似度を算出する（Ｓ３１０）。認証処理部１０は、登録データと撮影データの類似度にしたがって両者が類似しているかを判定する（Ｓ３１１）。類似している場合は認証成功（Ｓ３１２）となって認証処理が終了する。類似していない場合は認証失敗（Ｓ３１３）として終了する。

（図３：ステップＳ３１０：補足その１）
図２で説明したフローチャートにおいては、登録データが３回分存在する。ステップＳ３１０において認証処理部１０は、以下のようにして登録データと撮影データとの間の類似度を求めることができる。例えば各登録データと撮影データとをそれぞれ照合し、最も類似度の高い組み合わせにおける類似度を採用することができる。あるいは登録データと撮影データの組み合わせごとにそれぞれ類似度を算出し、それらを平均化した結果を最終的な類似度として採用してもよい。さらには、３回分の類似度を本人確率などに変換して確率を合成し、最終的な本人確率を算出してもよい。各手法の利点について以下さらに説明する。

（図３：ステップＳ３１０：補足その２）
認証に利用する指の本数はたとえば４本とすることができるが、常に４本の指の撮影が必要という制約を設けると、たとえば１本の指に絆創膏などを貼っただけで認証ができなくなるので利便性が低下する。そこで本ステップにおいて、複数の登録指と複数の認証指との間で総当りにより相互比較を、そのうちの類似度が最も高い結果を最終的な類似度としてもよい。これにより利便性の低下を回避できる。もしくは、複数獲得した類似度を高い順に並べ替え、上位から複数個の類似度を平均化した結果を最終的な類似度としてもよい。たとえば、４本の指を登録し、任意本数の指で認証した場合、獲得した複数の類似度のうち上位２位の平均値を最終的な類似度とすることができる。複数指の結果の平均値を求めることにより、別人が偶発的に認証されてしまうことを防止することができる。

（図３：ステップＳ３１０：補足その３）
複数の登録指と複数の認証指の総当りによる相互比較を制約なしに用いると、照合結果の信頼性が低下する場合がある。たとえばある１本の登録指が全ての認証指との間で類似度が高く、残りの登録指は全ての認証指と類似度が低い場合、計算に用いる類似度は前者の登録指の結果だけとなる。これは１本の登録指が複数の認証指と一致したとみなしていることに相当する。本来、パターンが一致する指は唯一であるので、１本の指が複数の指と一致する状況は矛盾であると考えられる。また、空間的にねじれの関係にある指同士が一致する組み合わせも現実的には生じ得ない。たとえば、指が画像の上方から下方に向けて１指ずつ検出されるように撮影されているとしたとき、画像最上段に検出された登録指と画像最下段に検出された認証指との間の類似度が同一指とみなせるほど高く、かつ画像最下段に検出された登録指と画像最上段に検出された認証指との間の類似度も同様に高い場合、この両方の結果が同時に起こることは空間的に（トポロジの観点から）あり得ない。したがってこれらの結果を平均して最終結果とすることは矛盾である。そこで、各登録指と各認証指とが最も一致する組み合わせを矛盾無く対応付けるため、認証処理部１０は以下に説明するペアリング処理を実施してもよい。

（図３：ステップＳ３１０：ペアリング処理の具体例）
矛盾するペアリングとしては、１本の登録指が複数の認証指と一致する状況や、登録指の一番上と認証指の一番下とが一致したにもかかわらず登録指の一番下と認証指の一番上とが一致してしまうなどの状況が挙げられる。このような指の位置関係の矛盾を解消する制約を加える手法として、最も類似度の高い登録指と認証指のペアを見つけたあと、そのペアを基準に指を上下に分割して再帰的にペアを見つけていく手法が適用できる。具体的には、まず登録指と認証指のすべての組み合わせで照合を実施し、最も類似性の高い指を第１ペアと決める。次に、第１ペアよりも上部に存在する指を対象として登録指と認証指とで総当り照合を実施する。ただし第１ペアとなった指はその対象には含めない。そしてその内部で最も類似性の高い指を第２ペアと決める。同様に第１ペアよりも下部に存在する指についても総当りを行って第３ペアを決める。このような分割とペア決定を再帰的に実施していく。指を上下に分割できなくなったり、登録側もしくは認証側に対象となる指が存在しなくなったりした場合はその再帰処理を抜ける。最終的にペアとなった登録指と認証指とが矛盾のないペアリング結果となる。

（図３：ステップＳ３１０：ペアリング処理の効果）
このように、基準指の上側と下側とで分けて照合を実施することにより、指の位置関係の矛盾が解消できる。たとえば登録指とは別人の認証指が入力された場合、位置関係の制約が無ければ最も類似する指を多くの組み合わせから探索することによって別人同士の指の類似度が上昇する傾向がある。指の位置関係の矛盾を解消することにより、位置関係の矛盾を許容しないことになるので、選択の組み合わせ数が減少し、不必要に他人同士の類似度を上昇させることなく、認証精度を向上させることができる。

図４は、ステップＳ２０１とＳ３０１において、利用者が自身の指をスマートフォンのアウトカメラで撮影する際に確認する指のガイド表示の一例である。図４左図は指を水平方向にかざすように誘導するガイドであり、図４右図は斜め方向に入れるように誘導するガイドである。図４は、右手でスマートフォンを持ち、左手をアウトカメラにかざす例であるが、手を逆としても同様に実施できる。

スマートフォン６１の画面６２には、ガイダンスメッセージ６４およびガイド画像６５が表示されている。ガイド画像６５には、現在撮影している指１の画像に重ね合わせるように指輪郭ガイド６３が表示されている。また現在の撮影のステータスや指のガイドを示すガイダンスメッセージ６４が表示されている。はじめは利用者に指をかざしてもらうため、たとえば「指輪郭ガイドに収まるように指をかざしてください」などのメッセージを表示する。

利用者はメッセージに従って指輪郭ガイド６３に自身の指が収まるように指をかざす。ただし、指の長さや太さは利用者ごとに異なるので、実際の指１の映像の指輪郭と、指輪郭ガイド６３とが正確に重ね合わさるように指を提示することは困難である。したがって指輪郭ガイド６３は一般的な指の映像に比べてやや大きめに描かれている。利用者はこの指輪郭ガイド６３を目安とすることにより、指をかざす大まかな位置を簡単に把握することができる。その一方、生体認証装置１００としては認証精度が劣化しにくい指の姿勢条件を満たすまでは認証処理に進まずに利用者をガイドして指の姿勢を微調整してもらう必要が生じる。

指を用いた生体認証を高精度に実施するために必要な重要な観点として、指先の位置、指の根元の位置、指の提示される角度、指の幅が正確に特定でき、また指が一定の解像度より大きく映されており、かつ指の移動などのブレが少ない条件で撮影することが望ましい。そこで指輪郭ガイド６３は、各指の指先および指の根元の位置が画面内に含まれ、かつ隣り合う指と指の間に隙間が空いているように描かれている。このガイドを真似て指をかざしてもらうことにより、各指の指先位置や指の幅などが検出しやすくなる。

指先位置を検出することは、指の位置の特定において有効である。そのため、指先位置を画像内部に観測できる状態でかざすことが求められる。このとき、上述の手法を用いて指先位置を特定した際、画像の縁の位置もしくは縁から一定のマージン（距離）を置いた縁近辺に検出された場合は指先が枠外にはみ出しているとみなし、利用者に対して「指先がはみだしています」などの警告ガイダンスメッセージを表示して、指先がすべて画像内に収まるようかざしなおしてもらう。指先がはみ出したと判定する上述のマージン部分を切り捨ててガイド画像６５に表示してもよい。これにより、指先が表示画像上の縁に存在した場合であっても内部処理上はマージンとなる領域が存在するので、指先が検出しやすくなる効果が得られる。

同様に指股の位置の特定も重要である。しかしながら、指の位置の特定は指先が検出できれば実施でき、また手指の大きさによっては指先と指股とを同時に撮影することが難しい場合がある。各指の部分画像をそれぞれ切り出す処理を実施する際には指の位置と角度と大きさの情報が必要となるが、指の位置は指先の位置を基準とし、指の角度や大きさは指輪郭の平均方向や平均幅から推定することにより指画像を切り出すことができる。よって指股は画像の外にあったとしても認証を進めることができる。これにより不要なガイド項目を減らすことができ、操作の利便性を向上できる。

さらに、指の拡大率を一定に補正することにより、登録データと認証データとの類似度を高めることができる。その手法として、指の幅の情報を利用することが有効である。しかしながら、隣り合う指同士が接触する場合、画像処理で指同士の境界線を判別することは可能だが、指同士の接触の強さや接触位置は毎回安定するとは限らず、片側の指がもう一方の指の一部を覆い隠す場合もある。したがって、検出された指同士の境界線の位置が真の指輪郭の位置とは限らない。これに対し、指を開くようにガイドすることにより指幅が正確に求められ、登録データとの拡大率のずれが小さくなるので、認証精度の向上に繋がる。このように、指と指との間に隙間を開けた指輪郭ガイドによる指位置の誘導によって、複数指の検出精度を高めることができる。

図４右図は指輪郭ガイドの別実施例であり、斜め方向から指を提示するよう促すガイドである。図４左図に示した水平方向に指をかざすガイドは、スマートフォンを右手で縦に持ちながら左手を水平方向にかざすことが前提となるが、左手を水平方向にかざす場合、左手の肘を高く上げるなどの動作が必要となる場合がある。それによって指のかざしにくさを感じることがある。これに対し、ガイドを斜め方向に向けることにより、左手の肘はそれほど高く上げる必要が無くなり、指がかざしやすくなる効果が得られる。さらには、斜めにかざすと手指の手のひら部分が画像に広く撮影されることになるが、その部分を利用して露光補正やフォーカス補正などが実施できるようになる。また、手のひら部分の生体特徴も撮影できるので、生体認証の精度を向上することができる。

図５は、指先の位置を誘導するためのガイドの一例である。上述の通り、左手の指を開いた状態でかざす場合、指先の位置が画像の右側にはみ出さないようにする必要があり、また指全体が十分に撮影できるように、できるだけ指先を右側に寄せて撮影したい。そのため、指先が所定の位置に存在することを保証する必要がある。しかしながら、指の長さや各指の長さの比率は利用者ごとに異なることが想定される。したがって、指先が存在すべき位置をあらかじめ設定する場合、できるだけ多くの利用者に対応できるように設定する必要がある。

各指の向きは通常互いに異なるが、特に上述のように指を軽く開いた場合は各指がそれぞれ放射状に向くことが多い。このとき各指の指先の位置を平面上に表すと、弓形に分布する傾向がある。そこで本実施形態１においては、図５左図に示すように、指先が存在すべき位置を表す弓形の指先ガイド領域８１を定義する。この領域内に指先が存在していれば少なくとも指先の位置は正しいと判断できる。

図５右図は、指先ガイドを弓形に定義することの効果を示すため、矩形の指先ガイド領域８２を定義した場合の例を示す。図５右図に示すとおり、中指の指先８３がこの矩形に含まれていたとしても、小指の長さが相対的に短いので、小指の指先８４は矩形の指先ガイド領域８２に含まれない。さらに、小指の指先８４を矩形の指先ガイド領域８２に入れるために図面右側に手指を移動したとしても、中指の指先８３が画面の外にはみ出してしまう。また、指を大きく開いた場合も指先がこの領域外にはみ出す可能性が高まる。これらを防ぐためには、矩形の指先ガイド領域８２を大きくする必要がある。しかしながらこの領域を広げれば広げるほど指を提示する自由度が高まってしまい、指が正しく撮影できないなどの不具合が生じる懸念がある。

これに対して弓形の指先ガイド領域８１を定義すると、図５左図の通り中指の指先８３および小指の指先８４を同時に領域内に含めることができる。また、指を開いた場合もこの弓形の円弧方向に指先位置が広がるので、この領域内に指先を含めることができる。このように、指先の位置をガイドする弓形の指先ガイド領域８１を定義することにより、手の大きさが異なっていても不必要に指先ガイド領域を広げることなく、自然な手の形で提示して指先位置を保証することができる。

指先ガイド領域８１は上述の指輪郭ガイド６３と同様に画面に表示してもよく、表示が混み合う場合は特に表示はしなくてもよく、また指先がはみ出している場合だけ表示してもよい。特に、指先がはみ出している場合にのみこの指先ガイド領域８１を点滅させて表示するなどで強調しながら、ガイダンスメッセージには「指先がはみ出しています」などを表示することにより、エラー要因を利用者に分かりやすく伝えることができる。また、図５では指を水平方向にかざす例についてのみ説明したが、図４右図で示した斜めに指を提示する場合においても同様に適用することができる。

図５においては弓形の枠を指先ガイド領域８１として例示したが、指先を弓形軌跡に沿って配置することができれば、その他形状の画像を指先ガイドとして用いてもよい。例えば指先を配置すべき閉領域（円形領域、矩形領域など）を４つ生成し、その４つの閉領域を弓形軌跡に沿って配置することにより、図５と同様に指先位置をガイドすることができる。

図６は、指の角度を定義して誘導するための指形状モデルの一例である。上述の通り、指は軽く開いた状態で提示することが高精度認証のために重要であるが、一般的に指の開く角度は人それぞれで異なる。また、指を大きく開き過ぎてしまうと指が画像からはみ出してしまったり、指を強く開くことによって指表面に応力が掛かって血管が潰れてしまい認証制度が低下したりする懸念が生じる。したがって、ある一定の範囲で指の開き角度に制約を加える必要がある。そこで、各指の角度が一定の許容範囲に入っていることを確認し、許容範囲に入っていない場合は指の角度に関するガイダンスとして、たとえば「指をもう少し開いてください」や「指をもう少し閉じてください」といったメッセージを表示することが望ましい。指の角度は指の中心軸の角度と定義できるが、本実施形態１においては、指先の頂点を通り、かつ指の両側面の輪郭線を直線近似した直線をさらに平均した直線を、指の中心軸１０１と定義する。

図６左図は、指の標準中心線１０２を画像水平線として一律に定義した例である。各指の中心軸１０１がこの標準中心線１０２の角度からどれだけずれているかを判断する。指の角度は画像の水平方向を０度とし、指の中心軸が右上がりの場合を正、右下がりの場合を負とする。この例では、各指で検出された指の角度は上から順に１２度、１度、−３度、−８度となっている。各指の角度として許容される範囲を設定することにより、指の平木度合いが撮影に適しているか否かを確認することができる。たとえば許容角度を±１０度と設定し、これよりも傾いた指がある場合はその範囲内に傾き角を収めるようにガイドする。

しかしながら、図６左図のように指の角度を定義した場合、指の角度は指ごとにそれぞれ大きく異なっている。軽く手を開いた場合、人差し指１０３はやや上側に、また小指１０６は下側に向くことが自然である。このような状況の中で一律の許容角度を定義してしまうと、人差し指１０３や小指１０６だけがこの許容角度をはみ出しやすくなる。したがって無用に許容角度をはみ出すことを防ぐためには、許容角度を緩く設定する必要があるが、この設定値は中指１０４や薬指１０５に対しては不必要に緩すぎる設定値となってしまい、指角度の制約が意味をなさなくなるという課題が生じる。これに対し、人差し指や中指などの指の種類ごとに許容角度を変える方法も考えられるが、画像から指の種類を判定することは一般的に困難であり、指の種類の判定精度が悪い場合は誤った許容角度が判定に利用されて姿勢判定が正常に実施できないことも想定される。

図６右図は、指ごとに標準中心線１０７を定義した例である。この例では各指の指先位置に応じて標準中心線１０７が定義されており、指の中心軸１０１と標準中心線１０７との間の角度差に対して閾値を決定している。図６右図においては、上から順に＋２度、−１度、−２度、−３度、と判定された。指先位置に応じて標準中心線１０７を決定する一実施例は図７にて後述する。この例においては、指先の位置ごとに標準的な指角度をあらかじめ定義した上で、そこからのずれ量が大きい場合は指の角度が適切でないとして利用者にガイダンスを提示する。

図６右図のガイド方法は、指先の位置ごとに標準中心線１０７が定義されているので、指ごとに角度のずれ量が正規化でき、図６左図で説明したように指ごとに適切な許容範囲が設定しにくいという課題が解決される。一方、上述の通り指の種類を判別することは困難であるので、指の標準中心線は指の種類によって決めることは難しいが、図６右図の方法においては、指先の位置が決まれば一意に標準中心線を決定できるので、安定した処理が実現できる。図６においては図４左図で示したように指を水平方向に提示する場合について例示したが、指を斜め方向に提示する場合においても同様に適用可能である。

図７は、指先の位置に応じて標準中心線１０７を決定する一手法を説明する図である。ガイド画像６５の内部に標準的な指姿勢のモデルを反映した指輪郭ガイド６３が描かれており、各指の指先から標準中心線１０７が描かれている。説明の都合上、標準中心線１０７はガイド画像６５を大きくはみ出して描かれている。認証処理部１０は、各標準中心線１０７がある交点で交わると仮定し、交点１２１をあらかじめセットする。検出された指先の位置と交点１２１とを結ぶ線を指の標準中心線１０７と定義することができる。交点１２１の座標は、指画像の座標系において、検出した指先位置から指又方向側の座標領域であり、かつ各指の指先から各指の指長さ以上離れた位置にセットすることになる。指の標準中心線１０７は、交点１２１を中心として指先の位置を通る放射線として定義することができる。この決定方法の利点として、必要なパラメータが交点１２１の座標だけであるので簡単に設計でき、また簡単に設定値を変更できる点がある。また、検出された指の種類を判定しなくても標準中心線を得ることができ安定した誘導が可能となる。

標準中心線１０７は指輪郭ガイド６３とともにガイダンスとして表示してもよく、特に不要な場合は表示しなくてもよい。このとき、指の姿勢判定において指の角度に関する項目で適正と判定されなかった場合にのみ指の標準中心線１０７を表示し、それ以外の場合は非表示とすれば、利用者はより視認性の高いガイダンスを受けることが可能となり、認証装置の使い勝手が向上する。

図８は、指のロール回転を検出して正しい姿勢に誘導する方法の一例である。ここでいう指のロール回転は、掌面が撮影面に対して傾いている（手首を回転軸として掌面が回転している）ことにより、手指が回転ずれしていることである。ロールの回転角が指ごとに異なるとカメラで撮影できる部分とできない部分とが指ごとにそれぞれ異なることになるので、ロール角を一定に制御することが望まれる。ここでは登録時に撮影したときの指のかざし方を標準的な見本とし、認証時に撮影したときの指のかざし方を登録と同じようなロール回転に誘導する事例を示す。指の種類を区別するため、図面の上から順に、第一指、第二指、第三指、第四指、とする。

認証処理部１０はまず、登録時の指画像から各指の指幅の平均値を得る。次に、第一指の指幅平均値を１としたとき、それ以外の指の指幅平均値を比率に換算する。図８上段左図は、指のロール回転がほとんど存在しない例であり、指幅平均値の比率は、上から順に１．０、０．９、１．０、１．１であったものとする。この比率がこの利用者の標準的な値となる。次に、認証時に撮影された指に対しても同様に各指の指幅の平均値を得る。図８上段中央図は、認証時に撮影された指画像の例である。この例では第四指が拡大する方向に回転しており、指幅平均値の比率は、上の指から順に、１．０、０．９、１．３、１．５となっている。図８上段右図も認証時に撮影された指画像の例であり、この例では第一指が拡大する方向に回転しており、指幅平均値の比率は上から１．０、０．９、０．７、０．６となっている。

認証処理部１０は、各指の平均指幅の比率をグラフにプロットし、その平均的な傾きを評価する。図８下段は、図８上段各図の平均指幅の比率をプロットし、かつそれらを直線近似したグラフである。このグラフによると、図８上段左図における登録時の近似直線１４１の傾きはおよそ＋０．０１であり、図８上段中央図と右図の近似直線１４２および１４３の傾きはそれぞれ、＋０．１７、−０．１７となっている。この場合、登録時と認証時とで指のロール角度の傾向が大きく違うことになる。

認証処理部１０は、登録時のグラフの傾きとの差分の絶対値に対して一定値以上の傾きの差が有る場合は、登録時とはロール角度が違うものとして警告を出力する。その閾値はたとえば０．１と設定することができる。たとえば図８上段中央図の事例の場合、登録時との傾きの差の絶対値は｜０．１７−０．０１｜＝０．１６となり、閾値を上回るので警告を出す。登録時に比べて認証指の第四指の大きさが大きく、第一指の大きさが小さいので、指姿勢のガイダンスとしては、たとえば「掌面が撮影面に対して平行になるように手を回転してください。画面上部の指を撮影面へもう少し近づける向きに回転してください。」などのガイダンス文とともに、矢印などの直感的な方法で回転方向を示すことができる。

ロール回転を誘導する方法と同様、指幅の絶対値を利用して指１と撮像装置９との間の距離を誘導することもできる。たとえば、指幅の上限と下限とを設定しておき、検出された指のうち１指でもこの範囲からはみ出す場合は警告を出すことができる。もしくは全指の平均指幅でこれを判定してもよい。前者の場合、上限を超える指と下限を下回る指とが混在した場合は指ごとにガイドを行うことができるが操作が難しくなる。一方、後者の場合は近づけるか遠ざけるかをガイドするだけでよいので操作性が向上する。いずれの場合であっても認証処理部１０は、指幅が上限を超えていれば指１を遠ざけるように促すメッセージを出力し、下限を下回っていれば指１を近づけるように促すメッセージを出力すればよい。

図９は、指の撮影位置を複数回変化させて複数のロール回転を登録する登録方式の一例である。図２において登録時に３回の登録撮影を繰り返す例を示したが、３回の登録撮影ごとに指の位置を意図的にずらすことにより、指のロール回転に強い認証が実現できる。以下その手順を説明する。

まず図９上段左図に示すように画像の中央に指輪郭ガイド６３を表示する。利用者はこの位置に合うよう下段左図に示すように指が正面から撮影された関係にある。次に、図９上段中央図に示すように、指輪郭ガイド６３を画面上方にずらして表示し、同様にこのガイドに合わせるように指１を撮影する。このとき、図９下段中央図に示すように指１が撮像装置９よりも上方に移動しているので、指１の上側面の一部が撮影できなくなり、その代わりに指１の下側面の一部が撮影されるようになる。これはすなわち、指がカメラ正面でロール回転したことと同等の効果を有する。最後に、図９上段右図に示すように指輪郭ガイド６３を画面下側に移動させ、利用者もこれに合わせて指１を提示する。このときは図９下段右図に示すように図９下段中央図とは逆のロール回転とほぼ同等の状況となる。

この３回の登録撮影を経ると、３枚のうち１枚はカメラ正面の指画像、残りはロールを含んだ指画像、を得ることができる。認証の際に３枚の登録データのうち最も類似度の高い結果を採用すれば、実際にロールや指の位置ずれが生じた場合であっても３枚の登録データのうちのいずれかと一致する確率が高まる。この手法の利点としては、認証時にロールや位置ずれが生じても認証精度が低下しにくくなる点に加え、上下の平行移動という簡単な操作だけでロール回転に強い登録データを取得できる点がある。利用者に対して実際にロール回転した指姿勢のデータを登録する旨を誘導することは比較的難しいが、上下の平行移動という簡単に誘導しやすい操作だけでロール回転を発生させることができる点において、使い勝手を低下させることなる認証精度を高めることが可能となる。

以上説明した通り、指の姿勢は複数の項目について誘導する必要があるが、はじめに画像内の平行移動を誘導し（図５）、次に角度を誘導し（図６〜図７）、続いて指の大きさを誘導し（図８を指１と撮像装置９との間の距離調整に用いる）、最後に指のロール回転を誘導する（図８下段のグラフ参照）、といったように、１項目ずつ誘導することにより、利用者が正しい指の姿勢を再現しやすくなる。さらに、最も大きく変動しやすい指の平行移動の姿勢から誘導をはじめて最後に微小な変動となるロール回転を調整するように誘導することにより、指の姿勢が安定して調整しやすくなる効果が得られる。したがって認証処理部１０は、この順序で指の姿勢を判定するとともに、姿勢が適切でない場合は以上説明したようなガイド画像やメッセージによって姿勢訂正を促すことが望ましい。

図１０は、利用者ごとに適した指のガイドを生成する方式の一例である。利用者は自身のスマートフォンで日常的に認証操作をする、標準的に設定された指輪郭ガイドの位置や形状が利用者の指にフィットしにくい場合は常にかざしにくい状態で利用する状況が生じる。利用者の日常的なかざし方の傾向に合わせて指輪郭ガイドの位置や形状が自動生成できれば、利用するたびに徐々にかざしやすいガイド表示がなされる。図１０を用いてその１例を説明する。

図１０左図は、ある利用者の手指領域の画像の過去４回分の平均画像１８１である。手指領域の画像は、背景領域が白塗りされ手指の領域を黒で表した画像として表している。これらを平均化した平均画像１８１は、より黒い画素の方が手指領域内となった頻度が高いことを示している。この画像を見ると、画像左下の手のひらが位置する領域はおおむね共通して手指内部となっているが、画像右上周辺の指先の位置にはややばらつきが見られる。これは、図１０中央図に示す標準的な指輪郭ガイド１８２に合わせて利用者が指をかざしたとしても、指の位置には毎回ばらつきが生じていることを意味する。

認証処理部１０は、平均画像１８１に対し、標準的な指輪郭ガイド１８２の拡大率、上下左右の位置、回転、などのパラメータを変化させ、最も平均画像１８１とフィットする更新後の指輪郭ガイド１８３を求める。最もフィットしたと判定する方式として、指輪郭の内側の平均画素値から指輪郭の外側の平均画素値を引いた値を最大化するように決定する方法がある。図１０右図は最適なパラメータとなった更新後の指輪郭ガイド１８３だけを表示した一例を示す。次回以降、この指輪郭ガイド１８３がこの利用者の標準的な指輪郭ガイドとなり、これが標準的に表示されることになる。このように、過去の複数回の指領域画像を記録しておき、定期的に平均画像を求めて指輪郭ガイドの大きさや位置に関するパラメータを変えることにより、徐々にその利用者に合ったガイドに変化させることができ、より使い勝手を向上させることができる。

認証処理部１０は、指輪郭ガイド１８３を生成するとき、認証に失敗した場合の平均画像１８１は利用せず、認証に成功した場合の平均画像１８１のみを利用してもよい。また最適なパラメータから生成した指輪郭ガイド１８３が明らかに不自然である場合、たとえば指先が画像からはみ出したりするなどが生じた場合は、指輪郭ガイドの自動更新は実施しないようにしてもよい。これにより、指輪郭ガイドが意図しないものに変更されることを防止できる。

認証に成功した場合の平均画像１８１を利用する場合、登録データとの類似度が高ければ高いほどそのかざし方が理想的であるといえる。そこで登録データとの類似度に応じて平均画像１８１を生成する際の重みを大きくし、認証がより成功しやすい指輪郭ガイド１８３を生成することもできる。これにより、指輪郭ガイドが自動更新されるたびに認証のしやすさが向上し、精度向上に寄与することができる。また、そのときの重み付け計算に対し、これまで良くかざされた指の姿勢と、認証精度が高まる指の姿勢とで、どちらにウエイトを置いた指輪郭ガイドを自動生成するかを決めるための優先度をパラメータとして持たせることができる。たとえばそのパラメータをαとし、これまで頻繁にかざされた指姿勢だけを優先する場合はα＝１、認証精度だけを優先する場合はα＝０と定義する。このとき、これまで良くかざされた指姿勢の指形状画像と、登録との類似度が高い指形状画像とをそれぞれ複数枚保持しておき、前者の指形状画像の平均値算出の際にはαを、後者の指形状画像の平均値算出の際には（１−α）を重みとして掛け算し、平均画像１８１を生成すればよい。

図１０においては、指輪郭を用いて指姿勢をガイドする際の例を説明したが、同様の手法は指先ガイド領域８１や交点１２１についても適用することができる。例えば利用者が図１０のように斜め姿勢で指をかざすことが多い場合、画面の右上部分に指先ガイド領域８１を配置することにより、図１０と同様の効果を発揮することができる。交点１２１の座標については、例えば上記のように右上部分に配置した指先ガイド領域８１を円弧とみなし、その円弧から円中心に向かって延伸した位置にセットすることができる。

＜実施の形態１：まとめ＞
本実施形態１に係る生体認証装置１００は、図５〜図１０で説明したガイドにより、認証に適した姿勢となるように利用者を誘導することができる。また利用者ごとに異なる生体の姿勢のばらつきを許容することができるので、利用者自身で容易に登録や認証を実施することができる。これにより、運用性が高くかつ高精度の認証システムを提供することができる。

本実施形態１に係る生体認証装置１００は、指画像を登録する際に、動画像のなかに含まれる静止画像パターン間で総当たりにより相互比較を実施し、他の静止画像パターンとの間の類似度が平均的に最も高い静止画像パターンを代表パターンとして登録候補とみなす。さらに、３つの代表パターン間の類似度がある程度高い場合のみ、記憶装置１４に登録する。これにより、認証精度を高くすることができる静止画像パターンのみを選別して登録することができる。

本実施形態１に係る生体認証装置１００は、指画像を認証する際に、登録データとの間で最も類似度が高い基準指をまず特定した上で、基準指の上側領域と下側領域に画像を分割して領域ごとに改めて類似度が高い指を特定する。これにより、登録データと撮影データとの間で位置関係がねじれた状態で認証してしまう不具合を回避することができる。

＜実施の形態２＞
本発明の実施形態２では、スマートフォンやタブレットなどのモバイル端末に搭載されたカメラで撮影できる生体情報を用いた認証システムについて説明する。モバイル端末の構成は実施形態１で説明した生体認証装置１００と同様である。

図１１は、モバイル端末を用いてインターネットバンキング（ＩＢ）システムにアクセスする際の本人認証を実施するためのシステム構成例である。利用者２０１がＩＢの口座を開設するための手続きを済ませると、口座開設の通知が利用者２０１の自宅に配達される。この通知を受領する際、免許証などの公的機関発行の証明書を示すことにより、口座を開設する利用者本人であることが確認される。また通知にはＩＢアプリのダウンロード場所や初期パスワード等の情報が記載されている。これに基づきＩＢアプリを所有のスマートフォン２０２にインストールし、初期パスワードを入力することにより、当アプリと開設口座とが紐付けられる。

続いて生体の登録を実施する。登録は実施形態１で示した方法により実施できる。登録が完了すると、登録データ２０３はスマートフォン２０２のメモリ１２に格納される。メモリ１２はセキュアな領域に存在するものとし、生体情報の漏えいを防止する。このとき登録データ２０３を暗号化し、暗号化したまま照合が可能な暗号化技術を併用することにより、生体情報の漏えいの影響を最小化することもできる。登録は左手および右手の両方を実施してもよく、また片方の手だけでもよい。

その後、ＩＢシステムを利用する際にはスマートフォン２０２にインストールしたＩＢアプリを起動する。このとき、アプリはＩＢサーバ２０４に対してネット回線２０５を利用して接続される。アプリ起動時に指１をかざすことで本人を認証する。認証が成功した場合、認証が成功したことをＩＢサーバ２０４に通知するが、そのプロトコルの一例としてはＦＩＤＯ（Ｆａｓｔ ＩＤｅｎｔｉｔｙ Ｏｎｌｉｎｅ）Ａｌｌｉａｎｃｅで定義された認証情報２０６を用いてやり取りすることができる。正しく認証できたことをＩＢサーバ２０４が確認すると、たとえば残高照会、明細の表示、振込み、などの処理が実施できるようになる。そして必要な処理が完了すると本人認証の有効期限が切れ、再度処理を行う場合は改めて生体認証が必要となる。これによりモバイル機器の紛失や盗難による悪用を防止することができる。

本実施形態２に係るシステムにより、専用の生体認証センサが搭載されたスマートフォンを用いることなく、汎用モバイル端末だけで指静脈認証が実施できるので、汎用的でかつ使い勝手の良い高精度な認証を実施することが可能となる。本実施形態２では生体の登録データをモバイル端末内で安全に管理する方法としたが、登録データを暗号化した上で認証サーバに保存し、認証をサーバ上で実施してもよい。この場合、任意のモバイル端末から本人認証が実施できるので、たとえば店舗設置のタブレットを利用しても同様に認証を行うことができるようになる。本実施形態２と同様のシステム構成は、たとえばオンラインショッピングのログイン確認や決済実施確認の際の本人認証にも利用できることはいうまでもない。

＜実施の形態３＞
本発明の実施形態３では、スマートフォンやタブレットなどのモバイル端末に搭載されたカメラで撮影できる生体情報を用いた決済システムについて説明する。モバイル端末の構成は実施形態１で説明した生体認証装置１００と同様である。

図１２は、スーパーマーケットやコンビニエンスストアなどの小売店において生体情報だけでセルフ決済を行うことができる認証システムの構成例である。まず利用者２０１は小売店の会員登録を実施すると、会員登録のための通知がｅメールで届く。ここには買い物アプリのダウンロード情報や当アプリで実施する生体登録用の初期パスワードが記載されている。続いて利用者は自身のスマートフォン２０２に買い物アプリをインストールし、初期パスワードを入力した上で自身の生体情報を登録する。登録は実施形態１で示した方法が利用できる。このとき、登録する生体情報を元の生体情報が復元できない情報へと変換する。本実施形態３では、元の生体情報が復元できない情報の一例として、生体情報を公開型生体認証基盤（ＰＢＩ：Ｐｕｂｌｉｃ Ｂｉｏｍｅｔｒｉｃｓ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）の技術に基づいて生成されるＰＢＩテンプレート２２１に変換するものとする。ＰＢＩテンプレート２２１は公衆のネット回線２０５を介して認証サーバ２２２へアップロードされる。これを受けて認証サーバ２２２は、ＰＢＩ認証サービスと提携している店舗の認証サーバ２２３にＰＢＩテンプレート２２１をあらかじめ配信しておく。店舗の認証サーバ２２３と認証サーバ２２２とが同一であってもよい。

利用者が実際の小売店の店舗２２４に行くと、店舗には買い物カート２２５が備え付けてあり、そこにはタブレット端末２２６が固定されている。タブレット端末２２６には店舗の認証サーバ２２３からＰＢＩテンプレート２２１があらかじめ配信されている。利用者２０１は買い物カート２２５を用いて買い物をする。まず利用者はタブレット端末２２６に指１をかざして本人を認証する。タブレット端末２２６は無線ＬＡＮなどのオープンなネット回線２０５を介して店舗の認証サーバ２２３と接続されており、配信されている多数のＰＢＩテンプレート２２１とかざした指１とが一致することを確認する。一致が確認できた場合、一致と判定された登録ＰＢＩテンプレートの登録者としてこの利用者を認証する。この認証処理の前に利用者ＩＤをタブレット端末２２６で入力しておき、配信するＰＢＩテンプレート２２１を一意あるいは少数に絞り込んでから認証を実施してもよい。

認証が正しく完了すると、自身の登録名やあらかじめ登録してある決済方法を確認した上で買い物を始める。このとき、その登録者の過去の購買履歴から算出した本日のおすすめ商品をタブレット端末２２６に表示することも可能である。利用者は購入したい商品２２７を見つけると、タブレット端末２２６のカメラで商品のバーコードをスキャンしながら買い物カート２２５に入れていく。

購入したい商品をすべてカートに入れ終え、カートごと出口２３０に向かうと会計処理が開始される。まず、カート内の商品の総重量が重量計２２８によって計測されてタブレット端末２２６に通知される。その後、スキャンした全商品の重量情報の合計とカート内の総重量との整合性が検証される。この検証が完了すると、利用者はタブレット端末２２６に指１をかざして本人を認証する。認証が成功すれば、あらかじめ設定された方法で決済が完了し、そのまま商品を持ち出して買い物が完了となる。

本実施形態３に係るシステムにより、利用者にとってはレジでの待ち時間が減り、また財布を忘れても手ぶらで買い物ができるといった利点がある。また店舗としても、過去の購買履歴から商品をリコメンドして購買を促進したり、商品の最適発注量を自動的に算出したりできる利点がある。また、生体の登録は利用者個人のスマートフォンを用いて時間や場所を選ばず簡単に実施できるため、会員数の増加にも繋がる。

本実施形態３において生体情報は自身のスマートフォンで登録するとしたが、店舗に備え付けのタブレット端末２２６の汎用カメラで登録を実施してもよい。この場合、タブレットは買い物カート２２５に取り付けられていなくてもよい。これにより、たとえばスマートフォンを所持していない人であっても生体による決済システムを利用することができる。

生体認証方法はスマートフォンなどに搭載されている汎用カメラで認証ができるので、たとえば商品棚２２９に汎用カメラを設置し、商品２２７を手に取る際の指画像を撮影することにより、どの利用者がどの商品を手に取ったか、あるいはどの商品を棚に戻したかを認識することができる。これを利用すると、商品２２７のピックアップを自動的に検出できるようになり、上述のように商品をかごに入れるたびにタブレットでスキャンすることなく購入商品を認識できる。そのため、たとえば利用者が手に取った商品を持参のマイバッグの中に次々と入れていくだけで商品スキャンが完了し、出口でタブレットに指をかざすだけで会計が終わるセルフレジシステムが実現できる。

＜実施の形態４＞
本発明の実施形態４では、スマートフォンやタブレットなどのモバイル端末に搭載された汎用カメラで撮影できる生体情報を用いた認証システムについて説明する。モバイル端末の構成は実施形態１で説明した生体認証装置１００と同様である。

図１３は、ホテルなどの宿泊施設における予約からチェックアウトまでの一連のサービスを提供するための認証システムの一構成例である。上述のとおり、汎用カメラで実施できる指静脈認証技術は、カメラが設置可能な装置であれば利用できるので、スマートフォンによる宿泊施設の予約やチェックインだけでなく、扉に設置したカメラによる客室やラウンジの入退管理、備え付けのタブレットによるレストラン利用時やチェックアウト時の自動決済などに活用できる。これにより幅広いサービスを安全かつ使い勝手良く提供できる。

ホテル２４１は本実施例で提供する認証サービスの加盟店であるものとし、また利用者２０１はすでにホテル２４１の会員登録を実施しており、スマートフォン２０２を用いて自身の指１の登録も完了しているとする。そして、そのＰＢＩテンプレート２２１を認証サーバ２２２に登録しているとする。またホテル２４１および他の認証サービスの加盟店は、利用者の購買情報などの顧客履歴２４２を共有できるものとする。本実施形態４においては、博物館２４３とスタジアム２４４が加盟店であるとする。

まず利用者２０１はホテル２４１の予約を実施する。このとき、あらかじめ認証サーバ２２２に登録されているＰＢＩテンプレート２２１がホテル内の様々な認証端末に配信される。具体的には、ホテルに設置の案内ロボット２４５、レストラン２４８にある決済端末２４６、客室のドア２４７などに配信される。

予約当日、利用者２０１がホテル２４１に来訪すると、案内ロボット２４５が利用者２０１をお出迎えする。このとき利用者２０１が案内ロボット２４５の内部に搭載された撮像装置９に指１をかざすことで本人認証が実施され、予約者に含まれていることが確認できればチェックインが完了する。その後、案内ロボット２４５は予約している客室まで利用者を案内するとともに、その利用者の過去の顧客履歴２４２などの情報に基づいて利用者２０１の嗜好に合った館内サービスの情報を提供する。その情報提供の一例としては、レストラン２４８のおすすめメニューや博物館２４３の所在地やイベント情報などである。また客室のドア２４７のドアノブ２４９の内部に設置された撮像装置９との連携により、部屋のドアロック解除がドアノブを握る自然な操作で実施できる。他にもラウンジ等の屋内施設の入退場などにも適用できる。さらにはホテルのレストラン２４８で食事をした際の決済も決済端末２４６に指１をかざすだけで自動的に実施できる。また、宿泊後のチェックアウトも案内ロボット２４５に指１をかざすだけで自動的に完了する。

ホテル２４１の外部にある博物館２４３やスタジアム２４４といった認証サービス加盟店となっている施設のチケットサービスとも連携することが可能であり、自身のスマートフォン２０２で予約をすれば現地の認証端末で指１をかざすことでそのまま入場することができ、簡単でスムーズな施設の利用が実現できる。

本実施形態４に係るシステムにより、利用者個人のスマートフォンで指静脈を登録するだけで、ホテル予約から各種施設の利用までの様々なサービスがシームレスに利用できるようになり、利便性やサービスの質が向上する。

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

以上の実施形態において、生体認証情報として指静脈画像を用いることを例示したが、その他の生体特徴の画像を用いることもできる。例えば指紋、関節模様、皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などの解剖学的に異なる生体特徴を、生体認証情報として用いることができる。

以上の実施形態において、生体認証装置１００が備える全てまたは一部の構成を装置外部で実施し、生体認証装置１００は血管画像の取得に特化してもよい。この場合はその外部装置と生体認証装置１００が一体となって本発明に係る装置を構成する。

１ 指
２ 撮像部
３ 光源
９ 撮像装置
１０ 認証処理部
１１ 中央処理部
１２ メモリ
１３ インターフェイス
１４ 記憶装置
１５ 表示部
１６ 入力部
１７ スピーカ
１８ 画像入力部
６１ スマートフォン
６２ 画面
６３ 指輪郭ガイド
６４ ガイダンスメッセージ
６５ ガイド画像
８１ 指先ガイド領域
８２ 指先ガイド領域
８３ 指先
８４ 指先
１００ 生体認証装置
１０１ 中心軸
１０２ 標準中心線
１０３ 人差し指
１０４ 中指
１０５ 薬指
１０６ 小指
１０７ 標準中心線
１２１ 交点
１４１ 近似直線
１４２ 近似直線
１４３ 近似直線
１８１ 平均画像
１８２ 指輪郭ガイド
１８３ 指輪郭ガイド
２０１ 利用者
２０２ スマートフォン
２０３ 登録データ
２０４ ＩＢサーバ
２０５ ネット回線
２０６ 認証情報
２２１ ＰＢＩテンプレート
２２２ 認証サーバ
２２３ 認証サーバ
２２４ 店舗
２２５ 買い物カート
２２６ タブレット端末
２２７ 商品
２２８ 重量計
２２９ 商品棚
２３０ 出口
２４１ ホテル
２４２ 顧客履歴
２４３ 博物館
２４４ スタジアム
２４５ 案内ロボット
２４６ 決済端末
２４７ 客室のドア
２４８ レストラン
２４９ ドアノブ

Claims (15)

1. 生体を撮影した画像を用いて前記生体を認証する処理をコンピュータに実行させる生体認証プログラムであって、前記コンピュータに、
   前記生体を撮影する撮像ステップ、
   前記撮像ステップにおいて撮像した前記生体の画像を画面上に表示する表示ステップ、
   前記撮像ステップにおいて撮像した前記生体の画像を処理する演算ステップ、
   を実行させ、
   前記演算ステップにおいては、前記コンピュータに、前記撮像ステップにおいて前記生体を撮影する際における前記生体の位置と姿勢をガイドするガイド画像を前記画面上に表示させ、
   前記演算ステップにおいては、前記コンピュータに、弓形軌跡に沿って指先を前記画面上にかさずように促す弓形軌跡画像を、前記ガイド画像として前記画面上に表示させる
   ことを特徴とする生体認証プログラム。
2. 前記撮像ステップにおいては、前記コンピュータに、前記生体の指の画像を撮影させ、
   前記演算ステップにおいては、前記コンピュータに、前記指の画像上における指先の位置を特定させ、
   前記演算ステップにおいては、前記コンピュータに、前記指先を通過し前記指に沿って延伸する標準中心線を、前記ガイド画像として前記画面上に表示させる
   ことを特徴とする請求項１記載の生体認証プログラム。
3. 前記撮像ステップにおいては、前記コンピュータに、前記生体の複数の指の画像を撮影させ、
   前記演算ステップにおいては、前記コンピュータに、前記画像の座標系のうち、各前記指の指先よりも指又側かつ各前記指の指先から各前記指の長さ以上離れた座標領域において、基準点をセットさせ、
   前記演算ステップにおいては、前記コンピュータに、各前記指の指先と前記基準点とをそれぞれ結ぶ直線を、前記標準中心線として前記画面上に表示させる
   ことを特徴とする請求項２記載の生体認証プログラム。
4. 前記撮像ステップにおいては、前記コンピュータに、前記生体の複数の指の画像を撮影させ、
   前記演算ステップにおいては、前記コンピュータに、前記指の画像上における各前記指の相対的太さをそれぞれ算出させ、
   前記演算ステップにおいては、前記コンピュータに、各前記指の相対的太さ間の差分が所定範囲内に収まっていない場合は、その旨を示唆するメッセージを出力させる
   ことを特徴とする請求項１記載の生体認証プログラム。
5. 前記演算ステップにおいては、前記コンピュータに、各前記指の相対的太さを、前記指の画像上における各前記指の並び順にしたがってプロットさせるとともに、前記プロットを直線によって補間したときの傾きを算出させ、
   前記演算ステップにおいては、前記コンピュータに、前記傾きが所定範囲内に収まっていない場合は、その旨を示唆するメッセージを出力させる
   ことを特徴とする請求項４記載の生体認証プログラム。
6. 前記撮像ステップにおいては、前記コンピュータに、前記生体の複数の指の画像を撮影させ、
   前記演算ステップにおいては、前記コンピュータに、前記指の画像上における各前記指の太さが所定範囲内に収まっていない場合は、その旨を示唆するメッセージを出力させる
   ことを特徴とする請求項１記載の生体認証プログラム。
7. 前記演算ステップにおいては、前記コンピュータに、
   前記生体の指先が前記弓形軌跡に沿っているか否かを判断し、沿っていない場合は沿わせるよう促すメッセージを出力する第１ステップ、
   前記生体の指の延伸方向の前記画面上における角度が所定範囲内に収まっているか否かを判断し、収まっていない場合は収めるよう促すメッセージを出力する第２ステップ、
   前記生体の指と前記撮像ステップにおける撮像装置との間の距離が所定範囲内に収まっているか否かを判断し、収まっていない場合は収めるよう促すメッセージを出力する第３ステップ、
   前記生体の掌面と前記撮像ステップにおける撮像装置の撮像面との間の傾きが所定範囲内に収まっているか否かを判断し、収まっていない場合は収めるよう促すメッセージを出力する第４ステップ、
   をこの順序で実施させる
   ことを特徴とする請求項１記載の生体認証プログラム。
8. 前記生体認証プログラムは、前記コンピュータにさらに、前記撮像ステップにおいて撮影した前記生体の指の画像を記憶装置に複数格納させるステップを実行させ、
   前記演算ステップにおいては、前記コンピュータに、前記記憶装置が格納している前記指の画像の輪郭の平均位置を求めさせるとともに、その平均位置を前記ガイド画像として前記画面上に表示させる
   ことを特徴とする請求項１記載の生体認証プログラム。
9. 前記生体認証プログラムは、前記コンピュータにさらに、前記撮像ステップにおいて撮影した前記生体の指の画像を記憶装置に複数格納させるステップを実行させ、
   前記撮像ステップにおいては、前記コンピュータに、前記生体の指の画像を撮影させ、
   前記演算ステップにおいては、前記コンピュータに、前記指の画像上における指先の位置を特定させ、
   前記演算ステップにおいては、前記コンピュータに、前記記憶装置が格納している前記指の画像の指先の平均位置を求めさせるとともに、その平均位置をカバーするように、前記弓形軌跡画像を前記画面上に配置する
   ことを特徴とする請求項１記載の生体認証プログラム。
10. 前記生体認証プログラムは、前記コンピュータにさらに、前記撮像ステップにおいて撮影した前記生体の指の画像を記憶装置に複数格納させるステップを実行させ、
    前記演算ステップにおいては、前記コンピュータに、前記記憶装置が格納している前記指の画像の指先の平均位置を求めさせるとともに、その平均位置を基準として前記基準点をセットさせる
    ことを特徴とする請求項３記載の生体認証プログラム。
11. 前記撮像ステップにおいては、前記コンピュータに、前記生体の指の動画像を複数回撮影させ、
    前記生体認証プログラムは、前記コンピュータにさらに、前記撮像ステップにおいて撮影した前記動画像のなかに含まれる静止画像を記憶装置に格納させる登録ステップを実行させ、
    前記登録ステップにおいては、前記コンピュータに、前記動画像のなかに含まれる各前記静止画像を互いに画像マッチングすることにより、他の前記静止画像と最も類似する登録候補画像を前記撮像ステップごとに特定させ、
    前記登録ステップにおいては、前記コンピュータに、前記撮像ステップごとに特定した各前記登録候補画像を互いに画像マッチングすることにより類似度を求めるとともに、求めた類似度が所定閾値以上である場合は各前記登録候補画像を前記記憶装置に格納させ、前記所定閾値未満である場合は前記撮像ステップを再実施するよう促すメッセージを出力する
    ことを特徴とする請求項１記載の生体認証プログラム。
12. 前記生体認証プログラムは、前記コンピュータにさらに、前記撮像ステップにおいて撮影した前記生体の指の画像を記憶装置に格納させるステップを実行させ、
    前記演算ステップにおいては、前記コンピュータに、前記記憶装置が格納している前記指の画像と、前記撮像ステップにおいて撮影した前記指の画像とを照合することにより、前記生体を認証させる
    ことを特徴とする請求項１記載の生体認証プログラム。
13. 前記撮像ステップにおいては、前記コンピュータに、前記生体の複数の指の画像を撮影させ、
    前記演算ステップにおいては、前記コンピュータに、前記複数の指のうち前記記憶装置が格納している画像と最も合致する基準指を特定させ、
    前記演算ステップにおいては、前記コンピュータに、前記画像上において前記基準指よりも前記画像の第１辺側に配置されている指のうち、前記記憶装置が格納している前記基準指以外の画像と最も合致する第１指を特定させ、
    前記演算ステップにおいては、前記コンピュータに、前記画像上において前記基準指よりも前記画像の前記第１辺側とは反対の第２辺側に配置されている指のうち、前記記憶装置が格納している前記基準指以外および前記第１指以外の画像と最も合致する第２指を特定させる
    ことを特徴とする請求項１２記載の生体認証プログラム。
14. 前記演算ステップにおいては、前記コンピュータに、前記記憶装置が格納している前記指の静脈の画像と、前記撮像ステップにおいて撮影した前記指の静脈の画像とを照合することにより、前記生体を認証させる
    ことを特徴とする請求項１２記載の生体認証プログラム。
15. 生体を撮影した画像を用いて前記生体を認証する生体認証方法であって、
    前記生体を撮影する撮像ステップ、
    前記撮像ステップにおいて撮像した前記生体の画像を画面上に表示する表示ステップ、
    前記撮像ステップにおいて撮像した前記生体の画像を処理する演算ステップ、
    を有し、
    前記演算ステップにおいては、前記撮像ステップにおいて前記生体を撮影する際における前記生体の位置と姿勢をガイドするガイド画像を前記画面上に表示させ、
    前記演算ステップにおいては、弓形軌跡に沿って指先を前記画面上にかさずように促す弓形軌跡画像を、前記ガイド画像として前記画面上に表示させる
    ことを特徴とする生体認証方法。

Images