JP2018081469A - 血管画像撮影装置および個人認証システム - Google Patents

Abstract

【課題】従来技術では、同時に複数指の血管を撮影するため、腕の手首側から指先へ向かう方向である手の主方向と光源からの光の照射方向が平行になるように光源を配置している。しかし、指を開いた姿勢では、指の主方向が光源の照射方向と平行にならない。このとき、指側面に照射されて反射した光を撮像部が直接受光することにより、指血管画像の指側面に輝度飽和（ハレーション）領域が生じ、鮮明な血管画像が得ることができない。【解決手段】筺体表面に形成された開口部と、開口部の側方に配列された複数の光源と、開口部上に提示された指の位置情報及び指の主方向情報を取得するセンサと、位置情報及び主方向情報に基づき、指に照射する照射用光源を複数の光源の中から選択し、選択された照射用光源の光量を制御する光量制御部と、照射用光源からの光が照射された指の内部に存する血管の画像を撮影する撮影部と、を備える。【選択図】 図２

Description

本発明は、ユーザの血管画像を撮影する装置および撮影した血管画像を用いて個人認証を行うシステムに関する。

特許文献１には、筺体表面に形成された開口部と、開口部の側方に配置され、格子状に配列された複数の光源と、開口部上に提示された手の位置情報を取得するセンサと、位置情報に基づいて、手に照射する照射用光源を複数の光源の中から選択し、照射用光源の光量を制御する光量制御部と、照射用光源からの光が照射された手の指部分に含まれる血管の画像を撮影する撮像部と、を有する血管画像撮影装置が開示されている。

ＷＯ２０１６／０８４２１４

特許文献１は、同時に複数指の血管を撮影するため、腕の手首側から指先へ向かう方向である手の主方向と光源からの光の照射方向が、手が閉じた状態で平行に近くなるように光源を配置している。しかし、指を開いた姿勢では、指の主方向が光源の照射方向と平行にならない。このとき、指側面に照射されて反射した光を撮像部が直接受光することにより、指血管画像の指側面に輝度飽和（ハレーション）領域が生じ、鮮明な血管画像が得ることができない。

上記課題を解決するため、本発明が開示する血管画像撮影装置は、筺体表面に形成された開口部と、開口部の側方に配列された複数の光源と、開口部上に提示された指の位置情報及び指の主方向情報を取得するセンサと、位置情報及び主方向情報に基づき、指に照射する照射用光源を複数の光源の中から選択し、選択された照射用光源の光量を制御する光量制御部と、照射用光源からの光が照射された指の内部に存する血管の画像を撮影する撮影部と、を備える。

指を開いた姿勢であっても、指の主方向と光源の照射方向とが平行に近くなることで、ハレーション領域が低減し、鮮明な血管画像を得ることが可能となる。

個人認証システムの構成を示す図。 血管画像撮影装置の外観及び内部構造を示す図。 ハレーション領域について説明するための図。 血管画像撮影時に指を開閉した際のイメージを示す図。 複数の光源ユニットを用いて血管画像撮影装置を構成した場合の外観を示す図。 光屈折部を用いて血管画像撮影装置を構成した場合の外観を示す図。 手の回転を考慮した際の血管画像撮影装置の構成を示す図。 個人認証システムが実施する処理のフローチャートを示す図。 光量をフィードバック制御する処理のフローチャートを示す図。 血管画像撮影装置を小型化するための機構を示す図。 血管画像撮影装置を小型化した場合の外観を示す図。 血管画像撮影装置を開口部の側面から見た図。 手の回転を考慮した際の血管画像撮影装置の構成を示す図。 血管画像撮影装置における光源配置の変形例を示す図。 撮影タイミング制御により血管画像を取得する際のイメージを示す図。 複数フレームを利用して血管画像を取得する処理のフローチャートを示す図。 利用者が指を開いた状態かつ非接触で手を提示しやすい装置を示す図。 利用者が指を閉じた状態かつ非接触で手を提示しやすい装置を示す図。 利用者が指を閉じた状態かつ非接触で手を提示しやすい装置を示す図。 開口部３の変形例を示す図。 利用者が手を提示する際に提示面に接触させやすい装置を示す図。 利用者が手を提示する際に提示面に非接触で提示させやすい装置を示す図。

本実施例では、提示する指の開閉姿勢および手の回転姿勢に応じて光源を制御することで、鮮明な指血管画像を撮影して認証を行う構成について説明する。なお、本実施例で述べる血管画像撮影装置は、認証時のデータを撮影する際はもちろん、登録時のデータを撮影する際にも用いることができる。

図１は、個人認証システムの構成図である。指の血管画像撮影時に手１を血管画像撮影装置２の開口部３の上方に提示できるよう、血管画像撮影装置２の筺体表面に、開口部３が設けられている。開口部３の下方の筺体内部に配置する距離センサ４は、光学フィルタ１２を通過した光を距離計測のために受光し、受光した光を電気信号に変換し、データ入力部５０を介して手１と距離センサ間の距離データとしてコンピュータ５に取り込む。ＣＰＵ７は、コンピュータ５に取り込まれた距離データに基づき、メモリ６に格納されたプログラムにより、手１の位置、手１の姿勢、指の位置、指の姿勢などを計算する。光源制御部５１は、当該計算結果に基づいて、開口部８の内側に配置する光源アレイ９を制御し、光源アレイ９を構成する複数の点光源１０からの照射用光源を選択し、照射用光源の光量値を決定する。そして、各点光源は、そのように決定された光量値に対応する光を指に照射する。開口部３の下方に配置する撮像部１１は、光学フィルタ１２を通過した光を受光する。受光された光は撮像部１１により電気信号に変換され、画像入力部５２を介して、画像としてコンピュータ５に取り込まれる。

取り込まれた画像は、一度メモリ６に蓄えられる。そして、ＣＰＵ７は、メモリ６に格納されたプログラムにより、メモリに蓄えられている画像と、予め記憶装置１４に格納されている画像とを照合し、認証を行う。

なお、本実施例では、個人認証を血管画像撮影装置と同一の筺体内で実行する例として説明するが、認証処理は筺体外に設置されたサーバ等の認証部にて実行してもよい。すなわち、筺体自体では認証処理を実施せず、撮影した血管画像の情報をサーバ等の認証部へ送信する構成としてもよい。

また、手１の位置や姿勢の計算は撮像部１１で撮影した手の画像を利用して手の位置と姿勢を検知してもよいし、撮像部１１で撮影した手１の画像および手１と距離センサ４の間の距離データの両方を用いてもよい。

また、認証結果をユーザに通知する手段には、スピーカ１５の音声を用いてもよいし、表示部１６に認証結果を表示してもよい。

また、開口部３に可視光源１７を設けて、待機時、手を検知した時、認証処理時、認証成功時、認証失敗時、等にそれぞれ異なる色の光を発することで、ユーザに認証処理の状態を知らせるようにしてもよい。

更に、認証の前段階でユーザＩＤ入力部１８に暗証番号やＩＤを入力させたり、ＩＣチップを読ませたりすることで、多数の登録者データから、照合対象となる登録者データを絞り込んでもよい。この絞り込みにより、画像検索速度および認証精度が向上するという効果を発揮する。特に、絞り込みにより認証対象を一意に特定できる場合は１：１認証と呼ばれ、前述の効果が更に向上する。

なお、開口部３は、各点光源１０からの照射光を透過させる素材を用いる。例えば、アクリルやガラスなどの透明な部材が想定される。また、これらの透明な部材からなる開口部３に、近赤外光のみを通過させるフィルムを装着してもよい、このようにすると、装置内部をユーザから視認できない状態にすることができる。

図２は、血管画像撮影装置の外観および内部構造を示す図である。図２に示す通り、開口部３の奥側が放射状に弧を描いており、当該孤の辺に対して垂直に光源アレイ９が配置されている。図１で説明した事項については、説明を省略する。

図３は、ハレーション領域について説明するための図である。前述の通り、開口部３の奥側に、光源アレイ９を直線上に配置した場合、指を開いた状態で手１を提示すると、指の根元から指先に向かう方向である指の主方向２４と光源の照射方向２２とが平行にならない。そのため、指の側面に照射された光が直接反射し、その光を撮像部が受光することで、指血管画像において指の側面にハレーション領域２５が生じてしまう。その結果、前述の通り、鮮明な血管画像が得ることができない。

図４は、血管画像撮影時に指を開閉した際のイメージを示す図である。光源アレイ９の正面に手を提示すると、腕の手首側から指先に向かう方向である手の主方向２３と光源の照射光方向２２が平行になり、各指の手の甲側に光が照射され血管画像が取得できる。

提示する手の各指の主方向２４は、指先から指根元方向へ向かうと、おおよそ手首付近の点に集中する。この手首付近の点を中心点２６と呼ぶこととする。図４ａのように指の開きが大きい場合であっても、図４ｂの指を開きが小さい場合であっても、指の主方向２４が集中する手首付近の中心点２６の位置は大きく変動しない。ゆえに、手首付近の中心点２６を中心として点光源１０を放射状に配置していくことで、指の開閉姿勢の変動が生じても、常に点光源１０の照射光方向２２と各指の主方向２４が平行に近くなる。これにより、指側面に直接照射される光の量が低減され、指側面におけるハレーション領域２５の拡大を抑制することが可能となり、ひいては血管画像を鮮明に撮影することができる。

図５は、複数の光源ユニットを用いた場合の血管画像撮影装置を示す図である。図５の例では、光源アレイ９は、複数の光源を格子状に配置して構成される光源ユニット２０を、開口部３または手の提示部１９を中心とする放射状に配置して構成される。

なお、この例は照射角度の異なる３つの光源ユニット２０を用いた一例であるが、光源ユニット２０は２つでもよいし、４つ以上であってもよい。光源ユニットの数が増えるほど、光源ユニット９の形状が放射状に近づき、前述のハレーション低減効果は大きくなる。

図６は、光屈折部を用いた場合の血管画像撮影装置を示す図である。図６のように複数の光源を格子状に配置し、照射光方向２２をプリズム等の光屈折部２１で屈折させて、放射状の照射光を実現してもよい。この場合でも、前述のハレーション低減効果を、光屈折部２１を設置しない場合に較べて大きくすることができる。

図７は、手の回転を考慮した際の血管画像撮影装置の構成を示す図である。このように円周上に配置する光源の範囲を広げることで、指を開いた状態の姿勢変動だけでなく、手の回転変動時においても鮮明な指の血管画像を取得できる。このとき、開口部３の提示する手の指先側の幅よりも手首側の幅を狭くすることで、手首や手の提示位置を複数の点光源１０の照射光方向が集まる中心点２６に誘導する効果もある。

さらに、手１の提示部１９を設けることで、手１の提示位置を提示部１９に誘導しても良い。これにより、利用者の手が回転する場合であってもその回転軸が提示部１９に近くなるため、回転変動が生じる場合であっても鮮明な指血管画像が取得できる。

図８は、認証システムが実施する処理のフローチャートを示す図である。図８の説明に先立ち、光源アレイ９を構成する複数の点光源１０の制御方法を説明する。まずは、血管画像撮影装置２における指血管の撮影において、光源アレイ９の制御が必要となる理由を説明する。

血管画像を撮影する際に光源アレイ９を構成する全ての点光源１０を点灯させた場合、照射光の全てが指に照射されるわけではない。すなわち、指に照射されない光は開口部３から装置内に入り、装置内で乱反射した後に、撮像部１１が受光することとなる。これが血管画像のノイズの原因となる。また、点光源１０を全て点灯させると、指に光が照射されているとしても、一部の点光源の照射光方向２２と指の主方向２４とが平行にならない。その結果、光が指側面に強く照射されてしまい、指の血管画像の指側面領域で大きなハレーション領域２５が発生してしまう。これが、撮影された血管画像の画質を低下させてしまう要因となる。

したがって、指の側面のハレーション領域２５の発生を抑制し、鮮明な血管画像を撮影するためには、光源アレイ９を構成する複数の点光源１０の照射光方向２２と各指の主方向２４とを平行に近づける必要がある。

また、点光源１０の照射する光量が多すぎると、指を透過する光量が大きくなりすぎてしまい、指の全域においてハレーション領域２５の占める割合が増えることとなる。一方、光量が少なすぎると、十分な光が指を透過せずに、血管部と血管以外の領域のコントラストが小さくなる結果、不鮮明な指の血管画像が撮影されることとなる。

すなわち、光源アレイ９の中で指の主方向２４に応じて点灯させるべき点光源１０を選択するとともに、その照射光量も制御する必要がある。

以下、図８のフローチャートを説明する。ステップ１０１は、認証者が開口部３の上部に手を提示する動作である。ステップ１０２は、距離センサ４で取得した距離画像などを利用して手の検知を行う処理である。ステップ１０３は、手が検出されたかどうかを判断する処理である。ここで手が検出されない場合はステップ１０２に戻り、手が検出された場合はステップ１０４に進む。ステップ１０４は、初期光源制御処理、すなわち、検出した手の指に光を照射する点光源１０を初期光量値で点灯する処理である。ステップ１０５は、距離センサ４で距離画像を取得し、撮像部１１で近赤外画像を取得する処理である。ステップ１０６は、距離画像および近赤外画像を利用して指の位置および姿勢を検知する処理である。具体的には、指の３次元形状に基づく位置情報および姿勢情報を検出し、取得する。ステップ１０７は、ステップ１０６で検知した指の位置および指の姿勢に応じて光源アレイ９を制御し、指血管を撮影するために点灯する点光源１０を選択し、点灯する点光源１０の光量値を決定する処理である。ステップ１０７の詳細については後述する。ステップ１０８は、取得した指血管画像において、指の姿勢変動による歪みを補正するための正規化処理である。ステップ１０９は、正規化処理後の指血管画像から、血管特徴を抽出する処理である。ステップ１１０は、抽出した血管特徴と、記憶装置１４に登録されている血管特徴と、を照合して照合スコアを算出する処理である。ステップ１１１は、算出された照合スコアと所定値ＴＨ１とを比較する処理である。照合スコアが所定の閾値ＴＨ１より大きい場合はステップ１１２に進んで認証成功後処理を行い、ステップ１１４に進んで認証フローを終了する。他方、照合スコアがＴＨ１以下の場合はステップ１１３に進んで認証タイムアウト判定を行う。タイムアウト時間を経過していない場合は、ステップ１０５に戻り、認証処理を繰り返す。一方、タイムアウト時間を経過した場合は、ステップ１１４に進んで認証フローを終了する。

次に、ステップ１０７の詳細につき説明する。ステップ１０７では、まず血管画像撮影装置２の開口部３に提示された手の各指を検出し、指ごとに三次元空間上の位置と、指の主方向とを求める。指の主方向は、例えば、距離データや近赤外画像から求めた各指の骨格付近を通る中心線の近似直線の方向とすることができる。また、指輪郭線の近似直線の方向を指の主方向としてもよい。次に、求められた指の位置と、指の主方向と、に応じて、点灯させる点光源１０を決定する。この際、照射光方向２２と各指の主方向２４とにより生じる角度が０度に最も近くなる光源が選択されると良い。これにより、指の位置変動、指の開閉姿勢変動、及び手の回転姿勢変動があったとしても、各指の主方向と平行になるように光が照射されることとなり、鮮明な指血管画像を取得することが可能となる。また、光源１０の選択は、光源毎に選択してもよいし、上下方向の列毎に選択してもよい。

ここで、光を照射する範囲を、指の第一関節付近から第三関節付近に制御すると、指に照射されずに開口部３を通って装置内部に入り込む光量を低減することが可能となり好適である。

ここで、点灯させると決定された点光源１０全てを同時に点灯させても良いが、その場合、複数の点光源１０の照射光が一つの指に当たり干渉を起こすことで、指側面に光が照射され、ハレーション領域２５が生じてしまう場合がある。その場合は、各点光源１０を点灯させるタイミングをずらし、それぞれのタイミングで指血管画像を複数回撮影することで、全ての指の鮮明な血管画像を取得できる。

より詳細には、最初に全ての点光源１０を点灯して取得した複数指の血管画像を利用して認証を行い、認証できなかった場合に、複数の点光源１０が干渉している指を検知または推定し、当該指のみを照射する点光源１０のみを点灯して再撮影すると、再撮影を行う回数を最小限に抑えることが可能となり好適である。

また、複数の点光源１０同士の照射光の干渉の程度を事前実験よりパラメータとして点灯制御プログラム内に保持しておき、提示された指の位置や指の主方向２４に応じて点灯するように設定される点光源１０とパラメータをもとに切り替えて点灯する点光源１０や点灯のタイミングを予め決定しておいても良い。これにより、前述の再撮影に要する演算負荷を削減することができる。

なお、点灯させる点光源１０の光量制御については、手の大きさに関わらず一定光量で照射しても良いが、一般的に手が大きいほど指の幅と厚みが増し、光を透過しにくくなるため、指の幅と厚みや撮影された指血管画像の輝度情報に応じて照射する光量を制御すると好適である。これにより、手や指のサイズに関わらず、鮮明な血管画像を撮影することができる。

図９は、光量をフィードバック制御する処理のフローチャートを示す図である。以下、この図を用いて、指の位置や姿勢の情報および指血管画像の輝度等から光源アレイ９の点光源１０の光量をフィードバック制御する機構を説明する。

ステップ２０１は、認証者が手１を血管画像撮影装置２に提示する動作である。ステップ２０２は、距離センサ４で取得した距離画像等を利用して提示された手の検出を行う処理である。ステップ２０３は、手が検出されたかどうかを判断する処理である。ここで手が検出されない場合はステップ２０２に戻り、手が検出された場合はステップ２０４に進む。ステップ２０４は、初期光源制御を行い、検出した手の指に光を照射する点光源１０を初期光量値で点灯する処理である。ステップ２０４の詳細は後述する。ステップ２０５は、距離センサ４で距離画像を取得し、撮像部１１で近赤外画像を取得する処理である。距離センサとしてＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いる場合の詳細については、後述する。ステップ２０６は、ステップ２０５で取得した距離画像を利用して、手と指の三次元空間における位置および姿勢検知処理を行う処理である。ステップ２０７は、ステップ２０５で取得した距離画像および近赤外画像の指血管領域から、点灯する点光源１０の光量制御に用いるための、指の大きさ情報および指領域の輝度情報などを算出する処理である。ステップ２０８は、ステップ２０７の算出結果に基づき、光源アレイ９の点灯する点光源１０を決定する処理である。ステップ２０９は、点灯する各点光源１０の光量制御を行う処理である。具体的には、ステップ２０７で算出した各指の大きさや指領域の輝度情報に基づいて、各指の血管を鮮明に撮影するための点灯する点光源１０の光量値を決定し、各点光源１０を点灯する。ステップ２０９における光量値の決定方法の詳細は後述する。点光源１０の点灯後は、ステップ２０５に戻り、光源アレイ９の制御を繰り返し行う。このように、ステップ２０９で決定された光量値で各点光源１０は点灯し、再び２０５に戻り処理を繰り返すことで、指の幅や指領域の輝度を利用して光量値をフィードバック制御することができる。ステップ２０９で光量制御に利用する輝度情報としては、指領域の平均輝度や、血管と非血管領域のコントラスト値や指領域内でのハレーション領域２５の占める割合などの情報をそれぞれ利用しても良いし、これらを併用しても良い。

以下、ステップ２０４の詳細を説明する。点光源１０の初期光量制御においては、まだ指血管画像が撮影できないため、点光源１０は予め設定した初期光量値で点灯する。初期光量は、予め平均的なサイズの指の血管が鮮明に撮影できるような光量値に固定してもよい。また、ステップ２０３での手の検知後に、距離画像から指の幅を算出し、指の大きさを推定した上で、指の大きさの推定値に応じて初期光量を決定してもよい。このように、算出した指の幅に基づいて指の大きさを推定し光量値を決定することで、指ごとに鮮明な血管が撮影できる最適な光量値に近い初期光量で点灯でき、高速かつ高精度に光量制御を行うことができる。

以下、ステップ２０９における光量値の決定方法の詳細を説明する。ステップ２０９における光量値の決定方法は、検出した各指の指領域の輝度情報を基に照射する点光源１０の光量値を独立に決定しても良いし、検出した全ての指領域の平均輝度情報を基に全光源の光量を一律に決定しても良い。または、指の主方向が近い複数指をグループ化し、グループ化した全指の指領域の平均輝度情報を基に、グループ化した指を照射する光源の光量値を決定してもよい。ここで、複数の点光源１０の照射光が一つの指に当たり、複数の点光源１０が互いに干渉する場合は、干渉の程度に応じて全指の血管が鮮明に撮影できるように各点光源１０の光量値を制御しても良い。これにより、複数指の血管を同時にかつ鮮明に撮影できる。また、前述の輝度情報を利用せずに、指の幅や指の長さといった指の大きさの情報に応じてその指に照射する点光源１０の光量値を決定してもよい。

以下、距離センサ４としてＴｏＦ方式を用いる場合について、指の開閉姿勢の変動や手の回転により、指の位置や姿勢検知の精度が低下する問題を解決するための手法を説明する。距離センサ４は、自ら照射した光が、距離を計測する対象に当たって反射した光を再び距離センサ４が受光することで距離センサ４と対象との間の距離を計算する。この距離センサ４が照射する光は手の提示部である開口部３に向かって照射されており、アクリルやガラスなどの開口部３を透過する。しかし、開口部３の中で距離センサ４の照射光の方向と開口部３の面の方向が垂直になる部分では、光が開口部３を透過せず、全反射（鏡面反射）して距離センサ４が受光するため、距離計測ができない。この距離センサ４の照射光の方向と開口部３の面の方向が垂直になる部分を測距不能部とする。指を開閉させたり、手を回転させたりすることで、指の位置が測距不能部付近にくると、指の距離が計測できず、計測ができたとしても測距不能部付近では距離計測の精度が低くなるため、認証精度の低下を招く。

そこで、光学フィルタ１２として偏光フィルタを用い、距離センサ４が光を受光する前に偏光フィルタを通過させ、測距不能部の原因である開口部３での鏡面反射成分の偏光のみを遮断することで、測距不能部の面積を小さくする。これにより、測距不能部の面積が小さくなると指が測距不能部付近に位置した際の距離計測の精度に与える悪影響が小さくなり、指の開閉や手の回転が生じても、認証精度の低下を抑えることができる。

本実施例では、実施例１と同様に、指の開閉姿勢および手の回転姿勢に応じて光源を制御することで鮮明な指血管画像を撮影するが、さらに装置をより小型化でき、より鮮明な指血管画像撮影を実現する構成について説明する。なお、認証処理のフローおよび光源制御のフローは実施例１と同様の方法を用いることができるため説明を省略する。また、本実施例で述べる血管画像撮影装置２は、実施例１と同様、認証時のみならず登録時にも用いることができる。

図１０は、血管画像撮影装置を小型化するための機構を示す図である。指に光を照射するための光源アレイ９を指の根元側に配置し、指が開いた状態でも閉じた状態でも、各指の主方向２４と光源の照射方向を平行に近づけるために、手を開口部３にかざした際に手首が提示される位置付近を中心に複数の点光源１０が放射状に配置されている。このように、光源アレイ９を手首側に配置することで、より光源アレイ９を小型化することができる。

以下、図１１および図１２を用いて、実施例２の血管画像撮影装置の構成を説明する。

図１１は、図１０の血管画像撮影装置の構成を具体化した一例である。光源アレイ９は開口部３の面、すなわち装置の設置面の上方向に複数の点光源１０を並べて配置されている。提示された手の指に光を当てるため、図１２ａのように各点光源１０は斜め下方に照射するように設置されている。図１２ｂのように開口部３および装置の設置面に平行な方向に複数の点光源１０を並べて配置してもよい。

以下、図１３および図１４を用いて、実施例２の血管画像撮影装置の変形例を説明する。

図１３は、手の回転を考慮した際の血管画像撮影装置の構成を示す図である。血管画像撮影装置をこのように構成する場合、図７と同様に、開口部３の提示する手の指先側の幅よりも手首側の幅を狭くすることで、手首や手１の提示位置を複数の点光源１０の照射光方向が集まる中心点２６に誘導することが可能となる。さらに、手の提示部１９を設け、手１の提示位置を手の提示部１９に自然に誘導することで、利用者の手が、手の提示部１９を中心に回転しやすくし、回転変動時でも鮮明な指血管画像が取得できる。

図１４は、血管画像撮影装置における光源配置の変形例を示す図である。この例は、手の回転時に、開口部３の面、すなわち装置の設置面上での手の位置変動が生じることが考えられる場合に有効である。すなわち、図１４の例のように、想定される複数の中心点２６（手の位置）を中心に放射状に複数の点光源１０を配置することで、手の提示位置がずれた状態又は手が回転した姿勢で提示されても鮮明な指血管画像を取得することができる。

なお、実施例１は、図８のステップ１０７の処理が、照射光方向２２と各指の主方向２４とにより生じる角度が０度に最も近くなる光源が選択されると良いと説明したが、実施例２では、光源の配置が実施例１と逆であるため、基準となる角度が１８０度になることは言うまでもない。

実施例１および実施例２では、提示する指の開閉姿勢および手の回転姿勢に応じて鮮明な指血管画像の取得が実現できる点光源１０の配置構成ついて説明した。本実施例では、指の開閉や手の回転により一度の撮影では複数の指の血管画像を鮮明に撮影できないような点光源１０の配置であっても、複数のタイミングで撮影処理を行うことで、鮮明な血管画像を取得し、高精度な認証を実現する方法について述べる。

また、本実施例で述べる血管画像撮影装置２は、実施例１または実施例２と同様、認証時のみならず登録時にも用いることができる。

図１５は、撮影タイミング制御により認証用血管画像を取得する際のイメージを示す図である。具体的には、認証時に手１を動作させながら開口部３に手１を提示した際の、複数のタイミングにおける手１の位置を表している。タイミングＴ１では、指４１の指の主方向２４と点灯する点光源１０の照射光方向２２が平行に近くなっており、指４１の指血管が鮮明に撮影できる。タイミングＴ２では、同様に、指４２の指の主方向２４と、点光源１０の照射光方向２２が平行に近くなっており、指４２の指血管が鮮明に撮影できる。タイミングＴ３では、同様に、指４３と指４４の指の主方向２４と、点光源１０の照射光方向２２が平行に近くなっており、指４３と指４４の指血管が鮮明に撮影できる。

なお、複数指の鮮明な血管画像の取得する手法として、ある一つのフレームの指血管画像を選択する方法以外に、同じ指の複数フレームの血管画像をＨＤＲ（ハイダイナミックレンジ）などの手法により画像合成を行い、鮮明な指血管画像を生成してもよい。図１５の例で説明すると、Ｔ１、Ｔ２、Ｔ３のそれぞれのタイミングで、血管が鮮明な指と鮮明ではない指とが異なる。ここで、複数のタイミング間で各指の追跡を行い、同一指の対応付けをすると、複数タイミング間での同一指の位置ずれや姿勢変動による血管形状の歪みなどを精緻に補正（レジストレーション）した上で指血管画像を合成し、より鮮明な血管画像を生成することができる。

なお、複数フレームの中から鮮明な指血管画像を選択または生成する手法は、認証時だけでなく、各指血管画像の登録用のデータ取得時にも利用できることはいうまでもない。

図１６は、本実施例の指の血管撮影および認証処理のフローチャートを示す図である。ステップ３０１は、ユーザが手を提示する動作である。ステップ３０２は、手の検出を行う処理である。ステップ３０３は、手が検出されたかどうかを判定する処理である。手が検出されない場合はステップ３０２の手の検出に戻り、手が検出された場合は、ステップ３０４に進む。ステップ３０４は、初期光源制御を行い、検出した手の位置に応じて、指に光が当たるように光源アレイ９の点光源１０を初期光量で点灯する処理である。ステップイ３０５は、距離センサ４で距離画像を取得し、撮像部１１で近赤外画像を取得する処理である。ステップ３０６は、距離画像および近赤外画像を利用して手や指の位置および姿勢の検知処理を行う処理である。換言すると、指の３次元形状に基づく位置情報および姿勢情報を検出し取得する処理である。ステップ３０７は、ステップ３０６で検知した指の位置および指の姿勢に応じて光源アレイ９を制御し、指血管を撮影するために点灯する点光源１０を選択し、点灯する点光源１０の光量値を決定する処理である。ステップ３０８は、近赤外画像における各指領域の指の回転補正や指の姿勢変動による歪みの補正などの正規化処理を行う処理である。ステップ３０９は、正規化された各血管画像の選別を行い、指の側面にハレーション領域２５が生じているような品質の低い指血管画像を以降の処理で利用しないようにする処理である。ステップ３１０では、ステップ３０８で正規化され、ステップ３０９で選別された指血管画像から照合用の特徴抽出を行う処理である。ステップ３１１は、データベースに登録されている指血管特徴と各指の血管特徴の照合を行う処理である。ステップ３１２は、照合した指の一致度が過去のフレームでの照合による一致度よりも大きい場合に、その指の一致度を更新し、複数指の一致度から計算される照合スコアを再計算した結果を以て照合スコア更新を行う処理である。ステップ３１２の詳細は後述する。ステップ３１３は、更新後の照合スコアを基に認証判定を行う処理である。照合スコアが閾値ＴＨ２よりも大きい場合は、ステップ３１４に進んで認証成功後処理を行い、ステップ３１６に進んで認証処理を終了する。一方、照合スコアが閾値ＴＨ２以下の場合は、ステップ３１５に進んで認証タイムアウト判定を行い、タイムアウトの場合はステップ３１６に進んで認証処理を終了する。認証タイムアウトではない場合はステップ３０４に戻り、認証処理を繰り返す。

なお、ステップ３０９の指血管画像の選別は、鮮明な指血管画像のみを利用して照合を行い、認証時間の高速化を実現するが、指血管画像の選別を行わずに全ての指の血管画像を利用してもよい。また、より高速に認証を行うために、ステップ３０６の指領域の検出において、光源１０の照射光方向２２と指の主方向２４が平行に近い指領域のみを選別し、ステップ３０８以降の処理に利用する構成としてもよい。

以下、ステップ３１２の詳細について説明する。ステップ３１２の照合スコアの更新に際しては、更新処理に用いる過去から現在までの複数フレームで撮影されている複数の指がすべて同一であることを前提にしている。そのため、以下、更新処理に用いる複数フレームで撮影された複数の指の同一性を担保するための手法について述べる。

同一性の担保方法の一例としては、更新処理に用いる複数フレームが連続して撮影されており、各指の検出された領域が連続的につながっていることが確認できる指について、同一性ありと判定することが考えられる。

次に、手の動きの中で、距離センサ４または撮像部１１の視野角の外にフレームアウトした後に、再び手が視野角内に戻ってきた場合の、指の同一性を担保する方法について述べる。この場合は、手がカメラの視野角の外に出てしまっているため、先に述べた手法のみでは指領域の位置の連続性が保証されない。そのような場合、検出した指の血管画像特徴を照合し、その一致度の高さが予め設定した閾値ＴＨ３を上回る場合に指の同一性ありと判定することで、指の同一性を担保することができる。また、指紋や指のしわ、指の大きさや形状といった指の血管画像以外のモダリティを用いて一致度の高さを判定し、指の同一性を判定してもよい。更に、フレーム間の指の領域の連続性と指血管画像特徴の一致度の高さ判定を併用して指の同一性を担保することもできる。

なお、指の同一性が担保される場合でも、指以外の物を利用して照合スコアを更新させようとする偽造への対策は別途必要となる。対策の例としては、指の生体検知を行い、生体として検知されない人工物を認証に用いず除外することが考えられる。その際の生体検知方手法としては、血管画像の指領域の輝度の時系列変化から脈動や心拍を検知する方法や、指血管画像の輝度の起伏情報や輝度ヒストグラムなどから事前に機械学習で算出したパラメータに基づいて指と指以外の物を区別する方法などが考えられる。

本実施例では、認証用の血管画像撮影装置と登録用の血管画像撮影装置の形状や光源配置などが異なり、または認証時と登録時とで利用者の指の開閉姿勢などの提示姿勢や提示位置が異なる場合でも、認証装置と登録装置の取得データ同士の一致度を上げることで、装置間の互換性を高める手法について述べる。

まず、一般論として、ユーザが生体認証に用いる生体データを登録するシーンは、窓口で誘導員等の誘導に従って血管画像を精度良く撮影できるケースが多い。一方で、認証時は、入退場ゲート等を見れば分かる通り、誘導員等が不在の状況でユーザが単独で認証するケースが多く想定される。そのような状況化で認証制度を向上させるためには、登録時の血管画像と認証時の血管画像との一致度を高める機構が必要である。

本実施例では、手を開いた状態で撮影した血管画像と、手を閉じた状態で撮影した血管画像とを照合するシーンについて説明する。前述の通り、手を開いた状態で撮影した血管画像は、手を閉じた状態で撮影した血管画像に較べ、ハレーション領域２５が生じやすい。そのため、指を閉じたときの指血管画像同士を照合した場合の一致度よりも、指を開いた状態と指を閉じた状態の指血管画像同士を照合する場合の一致度の方が低くなる。

ここで、指の開閉姿勢の変動によって指側面のハレーション領域２５の位置や大きさが変動する場合でも、指内部の中央付近はハレーション領域２５が生じず、指血管が撮影できて。そこで、認証時において指血管の特徴を照合する時に指内部の中央付近の特徴のみを利用し、指側面付近の特徴を利用しないようにすることで、指の開閉姿勢の変動に対しても高精度な認証を実現することができる。また、指血管の特徴に重みづけを行い、照合時に指の内部の中央付近の特徴の重みを大きくし、指側面付近の特徴の重みを小さくするようにしても良い。更に、指の主方向と点光源１０の照射方向の関係性や、取得した指血管画像の輝度などから、指のハレーション領域２５の推定や特定ができる場合は、指血管画像中のハレーション領域２５の特徴の重みを小さくし、ハレーション領域２５以外の領域の重みを大きくする構成としても良い。この場合、指血管画像の輝度が所定値を超える領域をハレーション領域と設定する等により、領域を区別し得る構成を取ると良い。

本実施例では、認証装置と登録装置の形状や光源配置などが異なり、利用者の指の開閉姿勢などの提示姿勢や提示位置の傾向に違いが生じる場合でも認証装置と登録装置の取得データ同士の一致度を上げ、互換性を高める方法について述べる。

なお、以下述べる図１７は利用者が指を開いた状態かつ非接触で手を提示しやすい装置を、図１８は指を閉じた状態かつ非接触で手を提示しやすい装置を、図１９および図２０は利用者が指を閉じた状態かつ非接触で手を提示しやすい装置を、図２１は利用者が手を提示する際に提示面に接触させやすい装置を、図２２は利用者が手を提示する際に提示面に非接触で提示させやすい装置を、それぞれ示している。

図１７は、利用者が指を開いた状態かつ非接触で手を提示しやすい認証装置の一例である。指を開いた状態で手を提示しやすい理由は、後述する図１８、図１９に較べて開口部３の面積が小さいからである。非接触で手を提示させやすい理由は、光源アレイ９が指先側に配置されるため、後述する図２１に較べて手と開口部３との間の距離を大きく確保できるからである。

図１７に示す認証装置では、認証する利用者が歩行するための導線確保のため、認証端末の外側に利用者の進行方向に長い外装カバーを取り付け、利用者が導線に沿って直線方向に進行するように誘導する。利用者が導線に沿って直線方向に歩行することで、手や指の提示位置や提示姿勢の再現性を高める効果がある。また、光源アレイ９を開口部３の側方、かつ開口部３の面の上方に配置することで、認証した手が装置の設置面から利用者の進行方向に移動しても、手が光源アレイ９にぶつからないようにすることができる。

図１８は、利用者が指を閉じた状態かつ非接触で手を提示しやすい登録装置の一例である。指を閉じた状態で手を提示しやすい理由は、図１７の装置に較べて開口部３の面積が小さいからである。

図１８の登録装置が好適となるのは、空間の制約がある環境に設置する場合である。すなわち、装置を狭い場所に設置するためには、装置の小型化が必要である。登録時には利用者が立ち止まった状態で手を開口部３に近接させて登録を行うことを前提とすれば、開口部３に手をかざした場合の指先と光源アレイ９が近接するように光源アレイ９を配置でき、装置全体のサイズを小型化することができる。また、登録用のデータ取得時は提示する手の開口部３の面からの上方（高さ方向）における位置の変動量の許容範囲を狭められるとすれば、光源アレイ９を構成する高さ方向の点光源１０の数を減らすことで、登録装置のサイズを小型化できる。また、開口部３の形状を提示する手の形状に合わせて、指先から手首方向にかけて開口部３の幅を狭めるようにすることで、手の提示位置、特に掌の提示位置の制限と装置の小型化を両立することができる。

なお、遮光部２８をつけて、手の提示できる高さを制限するようにしてもよい。この遮光部２８は、光を透過しない素材を用いることで、開口部３の中に入り込む環境光を遮断し、より鮮明な指血管画像を撮影する効果がある。また、可視光は透過するが、近赤外光を遮断する素材を遮光部２８に用いれば、登録時に利用者は屋根を透かして提示する手を確認することができる。この屋根の素材は近赤外光を遮断するため、指血管画像の撮影においては、環境光に含まれる近赤外の成分を遮断し、鮮明な指血管画像が取得できる。

認証装置と登録装置で指の開閉姿勢が異なる場合は、実施例４で述べたように、指の側面のハレーション領域２５の重みを下げて指血管画像の特徴を照合することで、異なる装置で取得したデータ間の互換性を高め、高精度な認証を実現することができる。

図１９は、利用者が指を閉じた状態かつ非接触で手を提示しやすい認証装置の一例である。図示する認証装置は、設置幅に制限がある場合に好適である。装置の幅が狭いと、手を提示する開口部３の幅も小さくなる。開口部３の幅が小さいため、利用者は指を閉じた状態で手を提示しやすい。

他方、開口部３の幅が小さいと、手の大きい人は全ての指を開口部３の幅に収めることができない場合が考えられる。ある利用者が提示した手の全ての指の血管画像が登録されており、認証時に全ての指が撮影できないと、認証に利用できる指の本数が少なくなり、登録データと認証データの互換性が低下する。また、利用者の提示する手の位置や姿勢が変動しやすいと、同時に多くの指が撮影されない可能性も高くなり、登録データと認証データの互換性が低下することになる。この課題に対する対策については、図２０で後述する。

図２０は、図１９の認証装置における開口部３の変形例を示す図である。開口部３の外の掌の提示部１９に手の提示位置を誘導するための手の輪郭線ガイド３０をマークすることで、手の回転と手の提示位置の変動を抑制することができる。指を提示する開口部３と手の輪郭線ガイド３０の内部を周囲よりも装置設置面の高さ方向に窪ませることで、さらに手の回転と提示位置の変動を抑制し、指を閉じた状態で手を提示しやすくすることができる。また、手を閉じた姿勢においても、全ての指が開口部３に収まらない場合は、図２７の様に手の輪郭線ガイド３０をミトン手袋のようにマークし、1本の指を開口部３の外の所定位置に逃がすように誘導することで、指の提示位置の再現性を高め、開口部３には残りの指が指の主方向２４を揃えた状態で提示しやすくなる。

なお、このように指の位置や姿勢を制限するためのガイドを設けた場合でも、多くの人が認証装置２を利用する場合は、指が開口部３からはみ出る場合も想定される。その場合、撮影できるのは指の一部のみとなる。指の一部のみしか撮影できなかった場合、登録時に指全体が撮影できている指の特徴との照合による一致度が低くなるため、複数の指の一致度から照合スコアを計算する際に利用されないことがある。つまり、認証時に複数の指の一部が開口部３からはみ出していると、はみ出した指は照合スコアが計算できず、認証できない可能性がある。そこで、血管画像の特徴を指ごとに分けるのではなく、複数の指の特徴をひとまとまりの単位として登録し、複数の指のひとまとまりの特徴同士で照合し、認証を行う。認証時に登録したひとまとまりの特徴の情報量の一定以上の割合が抽出できれば照合を行う、というようにすれば、複数の指が開口部３からはみ出た場合でも認証精度を維持したまま、認証を行うことが可能となる。

図２１は、利用者が手を提示する際に提示面に接触させやすい登録装置の一例である。
手が提示面に接触しやすい理由は、光源アレイ９が手首側に配置されるため、前述した図２２に較べて手と開口部３との間の距離が確保しにくいからである。

図２１の登録装置は、図１０で前述した通り、指根元側から指先側方向へ光を照射するように光源アレイ９を配置するため、装置全体を小型化できる。さらに、指先側から指根元側に点光源１０を照射する場合に比べ、指根元側から点光源１０を照射した場合の方が指の股の指輪郭付近に照射光が集中せず、ハレーション領域２５の発生を抑制でき、鮮明な指血管画像が取得できる。

なお、開口部３を覆う遮光部２８を光源アレイ９に付けてもよい。遮光部２８を付けることにより、環境光が開口部３から装置内部に入り込むのを防ぎ、開口部３の面からの高さ方向において、登録時に利用者の提示する手の位置を制限することができる。

図２２は、利用者が手を提示する際に提示面に非接触で提示させやすい装置の一例である。図２２の装置では、掌の提示部１９と指を提示するための開口部３をそれぞれ設け、装置の設置面の上方向、すなわち高さ方向において、掌の提示部１９よりも開口部３を低く配置する。掌の提示部１９が高い位置にあるので、提示する手を開口部３に近づけていくと、掌の提示部１９に手が触れたとしても、指は開口部３に触れないため、指の押し付けによる認証精度の劣化を防ぐことができる。

以下、手を開口部３に接触させて得た登録時データに対し手を開口部３に非接触で得た認証時データを用いて認証を行う場合、あるいはその逆の場合における認証精度向上の機構について説明する。

まず、指の開口部３非接触時と接触時の指血管画像の違いに関する課題について述べる。指の開口部３非接触時は、点光源１０から照射された光がアクリルなどの開口部３の表面で反射した成分が指および手の腹側に当たり、指全体が明るい状態で撮影される。一方で、指の開口部３接触時は、指と開口部３の間に隙間がないため、指の腹側に直接照射される光の成分が存在しない。したがって、指の開口部３非接触時と接触時で指の腹側の表面全体に照射される光量に違いが生じる。このような照明条件の違いから、非接触時と接触時それぞれの状態で取得した指血管画像から抽出する特徴にも違いが生じ、非接触時の指血管画像の特徴と接触時の指血管画像の特徴の一致度が低下し、認証精度が劣化する。そこで、指の腹側の皮膚表面へ一様な光を照射し、指の開口部３への接触時と非接触時の照明条件を均一化することで、接触時と非接触時の指血管画像の特徴の一致度が上がり、認証精度を向上することができる。この時、指の腹側の表面へ照射する一様光は開口部３の面より下方に配置した図示しない光源３１の上方への照射光を拡散板などに通過させて作ることができる。このとき、一様光を撮像部１１が直接受光しないように光源３１を配置する。一様光を撮像部１１が直接受光しないように遮光手段を設けてもよい。また、指の腹側の表面へ照射する一様光は、取得する指血管画像の血管パターンのコントラストをなるべく低下させずに、指の開口部３接触時と非接触時の指の表面に生じる照明条件の違いをなくす程度の光量であることが望ましい。一様光の光量は常に一定の光量で点灯してもよいし、指の腹側の表面の明るさを指血管画像の輝度情報などから算出し、指の腹側の表面の明るさが均一化されるように光量を調整してもよい。

また、指を開口部３に接触させた状態では、照明条件が変化する以外にも、提示部に指を強く押し付けることで、取得する血管画像の血管形状の変形が生じたり、血流が止まり血管パターンの欠損などが生じることがある。したがって、指の開口部３への接触時には過度な力での押し付けを防止する必要がある。これに対しては、血管撮影に用いる波長に干渉しない波長の光（押し付け検知光）をアクリル等の内部に入射し、かつ入射光が内部でアクリルと大気との界面で全反射を繰り返すようにする。指や手がアクリルに触れると、アクリルと大気の界面で全反射していた押し付け検知光が、アクリルと生体の界面では、生体の中に入り込む。このため、この押し付け検知光が撮像可能なカメラを開口部３の下方に配置して、手および指を撮影すると、指や手のアクリルに触れた箇所が明るくなる。強く指を押し付けるほど、押し付けた箇所が明るくなるため、撮影した画像の輝度情報から、押し付けの程度を検知することができる。強い押し付けを検知した場合は、スピーカ１５からのブザー音や音声ガイダンス、表示部１６などの手段を用いて押し付ける力を緩めるように促すことができる。

１：手 ２：血管画像撮影装置 ３：開口部 ４：距離センサ ５：コンピュータ ６：メモリ ７：ＣＰＵ ８：開口部 ９：光源アレイ １０：点光源 １１：撮像部 １２：光学フィルタ １３：インターフェース １４：記憶装置 １５：スピーカ １６：表示部 １７：可視光源 １８：ユーザＩＤ入力部 １９：手の提示部 ２０：光源ユニット ２１：光屈折部 ２２：照射光方向 ２３：手の主方向 ２４：指の主方向 ２５：ハレーション領域 ２６：中心点 ２８：遮光部 ３０：輪郭線ガイド ４１：指 ４２：指 ４３：指 ４４：指 ５０：データ入力部 ５１：光量制御部 ５２：画像入力部

Claims (9)

1. 筺体表面に形成された開口部と、
   前記開口部から突出した光源配列部に配列された複数の光源と、
   前記開口部上に提示された指の位置情報及び前記指の主方向情報を取得するセンサと、
   前記位置情報及び前記主方向情報に基づき、前記指に照射する照射用光源を前記複数の光源の中から選択し、選択された照射用光源の光量を制御する光量制御部と、
   前記照射用光源からの光が照射された指の内部に存する血管の画像を撮影する撮影部と、
   を備えることを特徴とする血管画像撮影装置。
2. 請求項１に記載の血管画像撮影装置において、
   前記光量制御部は、指の主方向と照射方向とが平行に最も近くなる光源を選択することを特徴とする血管画像撮影装置。
3. 請求項１に記載の血管画像撮影装置において、
   前記複数の光源は、前記指の指先方向から根元方向に向けて光を照射する向きに配置され、かつ放射状に配列されていることを特徴とする血管画像撮影装置。
4. 請求項３に記載の血管画像撮影装置において、
   前記複数の光源は、所定数の光源を備える光源ユニットを複数構成し、当該複数の光源ユニットが放射状に配列されていることを特徴とする血管画像撮影装置。
5. 請求項１に記載の血管画像撮影装置において、
   前記開口部と前記複数の光源との間に、光を屈折させる部材を更に備えることを特徴とする血管画像撮影装置。
6. 請求項１に記載の血管画像撮影装置において、
   前記複数の光源は、前記指の根元方向から指先方向に向けて光を照射する向きに配置され、かつ放射状に配列されていることを特徴とする血管画像撮影装置。
7. 請求項１に記載の血管画像撮影装置において、
   前記指は複数であり、
   前記光量制御部は、当該複数の指の位置情報及び主方向情報に基づき、それぞれの指毎に前記照射用光源を選択し、それぞれの照射用光源毎に光量を制御するタイミングを決定し、
   前記撮影部は、それぞれのタイミング毎に指の内部に存する血管の画像を撮影することを特徴とする血管画像撮影装置。
8. 請求項１乃至７のいずれか１項に記載の血管画像撮影装置と、撮影された血管の画像から抽出された特徴を用いて個人認証を行う認証装置とを備える個人認証システムにおいて、
   撮影された血管の画像から、前記認証装置が個人認証を行うための特徴を抽出する特徴抽出部を更に備え、
   前記特徴抽出部は、撮影された血管の画像のうち、輝度が所定値を上回る領域を輝度飽和領域と推定し、当該輝度飽和領域と推定された領域を、他の領域と較べて特徴の重みを小さく設定することを特徴とする個人認証システム。
9. 請求項８に記載の個人認証システムにおいて、
   前記特徴抽出部は、前記認証装置内に存することを特徴とする個人認証システム。

Images