JP2010039912A - 静脈パターン取得装置、静脈パターン取得方法および静脈テンプレート - Google Patents

静脈パターン取得装置、静脈パターン取得方法および静脈テンプレート Download PDF

Info

Publication number
JP2010039912A
JP2010039912A JP2008204230A JP2008204230A JP2010039912A JP 2010039912 A JP2010039912 A JP 2010039912A JP 2008204230 A JP2008204230 A JP 2008204230A JP 2008204230 A JP2008204230 A JP 2008204230A JP 2010039912 A JP2010039912 A JP 2010039912A
Authority
JP
Japan
Prior art keywords
vein
structured
light
infrared light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008204230A
Other languages
English (en)
Other versions
JP5056662B2 (ja
JP2010039912A5 (ja
Inventor
Abdul Muquit Mohammad
アブドゥル ムキト モハマッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008204230A priority Critical patent/JP5056662B2/ja
Publication of JP2010039912A publication Critical patent/JP2010039912A/ja
Publication of JP2010039912A5 publication Critical patent/JP2010039912A5/ja
Application granted granted Critical
Publication of JP5056662B2 publication Critical patent/JP5056662B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

【課題】本人拒否率を低下させ、静脈認証システムのセキュリティ性を向上させることが可能な静脈パターン取得装置、静脈パターン取得方法および静脈テンプレートを提供する。
【解決手段】本発明に係る静脈パターン取得装置は、生体の一部に対して、構造化された近赤外光(構造化近赤外光)および構造化されていない近赤外光(非構造化近赤外光)をそれぞれ照射する光源部と、光源部を制御して、構造化近赤外光と非構造化近赤外光との照射切り替えを行う光源制御部と、生体の一部を撮像し、構造化近赤外光による撮像データ(構造化光撮像データ)と、非構造化近赤外光による撮像データ(非構造化光撮像データ)とをそれぞれ生成する撮像部と、構造化光撮像データと、非構造化光撮像データと、を比較し、これらの間における画素の対応関係を判断する画像比較部と、画素の対応関係に基づいて静脈の三次元情報を算出する三次元情報算出部と、を設けた。
【選択図】図5

Description

本発明は、静脈パターン取得装置、静脈パターン取得方法および静脈テンプレートに関する。
近年、生体認証の分野において、人体に固有の特徴として、体内に走る静脈パターンが使われつつある。静脈パターンは、高い認証精度を有し、また、いわゆる成りすましが困難である等の面から、非常に便利な認証ツールである。
このような認証を行う場合、人の静脈パターンの参照画像と、認証の際に入力された入力画像との間で、何らかのマッチングを行う必要があり、このマッチング処理の一例として、画像照合やパターンマッチング等の手法が用いられる。
一般的な生体認証システムでは、入力画像を取得するためのセンサーがあり、そのセンサーによって例えば指などの生体部位の静脈画像を撮影する。生体認証システムは、撮影の結果得られた入力画像を、事前に登録されている参照画像と照合することで、本人かどうかの認証を行う(例えば、特許文献1参照。)。
特開2007−213427号公報
ここで、上記特許文献1に示したような実在する静脈認証システムのほとんどは、二次元画像を参照画像として利用しているが、照明条件やセンサーに対する生体部位の姿勢(例えば、指の置き方等)によって、同じ人の同じ指であっても、二次元画像上では全く異なる画像として認識される可能性がある。このような場合には、静脈が登録されている本人であるにも係らず、静脈認証が失敗する可能性がある。
また、特許文献1に示したような静脈の二次元情報を利用する静脈認証システムでは、二次元情報が第三者によって何らかの方法で取得もしくは偽造され、いわゆる「成りすまし行為」によって静脈認証が成功してしまう可能性がある。
そのため、本人拒否率(False Rejection Rate:FRR)を低減することが可能であり、「成りすまし行為」を防止して静脈認証システムのセキュリティ性を向上させることが可能な方法が希求されている。
そこで、本発明は、このような問題に鑑みてなされたもので、その目的は、本人拒否率を低下させ、静脈認証システムのセキュリティ性を向上させることが可能な、新規かつ改良された静脈パターン取得装置、静脈パターン取得方法および静脈テンプレートを提供することにある。
上記課題を解決するために、本発明のある観点によれば、生体の一部に対して、構造化された近赤外光および構造化されていない近赤外光をそれぞれ照射する光源部と、前記光源部を制御して、前記構造化された近赤外光と前記構造化されていない近赤外光との照射切り替えを行う光源制御部と、前記生体の一部を撮像し、前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データとをそれぞれ生成する撮像部と、前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データと、を比較し、前記構造化された近赤外光による撮像データと前記構造化されていない近赤外光による撮像データとの間における画素の対応関係を判断する、画像比較部と、前記画素の対応関係に基づいて前記生体の内部に存在する静脈の三次元情報を算出し、当該三次元情報を静脈パターンとする三次元情報算出部と、を備える、静脈パターン取得装置が提供される。
かかる構成によれば、光源部は、生体の一部に対して、構造化された近赤外光および構造化されていない近赤外光をそれぞれ照射し、光源制御部は、光源部を制御して、構造化された近赤外光と構造化されていない近赤外光との照射切り替えを行う。また、撮像部は、生体の一部を撮像し、構造化された近赤外光による撮像データと、構造化されていない近赤外光による撮像データとをそれぞれ生成する。また、画像比較部は、構造化された近赤外光による撮像データと、構造化されていない近赤外光による撮像データとを比較し、構造化された近赤外光による撮像データと構造化されていない近赤外光による撮像データとの間における画素の対応関係を判断する。また、三次元情報算出部は、画素の対応関係に基づいて生体の内部に存在する静脈の三次元情報を算出し、当該三次元情報を静脈パターンとする。
前記静脈パターン取得装置は、前記構造化された近赤外光による撮像データを構成する画素の画素値をそれぞれ算出する画素値補正部を更に備え、前記画素値補正部は、前記画素値補正部は、前記構造化された近赤外光による撮像データを構成する画素の画素値の中に、当該画素値が所定の範囲内となるものが存在した場合に、該当する前記画素値を最大値に書き換えてもよい。
前記静脈パターン取得装置は、前記構造化されていない近赤外光による撮像データの中から前記生体の内部に存在する静脈に対応する画素を推定する、静脈画素推定部を更に供え、前記画像比較部は、前記構造化されていない近赤外光による撮像データに含まれる前記静脈に対応する画素と、前記構造化された近赤外光による撮像データに含まれる前記画素値が最大値に書き換えられた画素との対応関係を判断してもよい。
前記構造化された近赤外光は、近赤外光が照射されている帯状の明部と近赤外光が照射されていない帯状の暗部とが交互に配列した照射パターンで構成され、前記光源部は、前記明部および前記暗部に該当する部分の面積、ならびに、前記明部および前記暗部の配列順序が互いに異なる複数の前記照射パターンを、順次照射してもよい。
前記構造化された近赤外光は、近赤外光が照射されている一の明部または近赤外光が照射されていない一の暗部の近傍の明暗状態の組み合わせが、それぞれ異なる照射パターンで構成されてもよい。
前記光源部は、近赤外光を照射可能な複数の光源がアレイ状に配列されたアレイ状光源であり、前記光源制御部は、前記アレイ状光源を構成するそれぞれの前記光源の点灯制御を行ってもよい。
前記光源部は、近赤外光を照射可能な複数の光源がライン状に配列されたライン状光源であり、前記光源制御部は、前記ライン状光源を構成するそれぞれの前記光源の点灯制御を行ってもよい。
前記光源部は、前記明暗状態が一意的となるように設計された光学フィルタを更に備え、
前記光源制御部は、前記光学フィルタの挿入制御を行ってもよい。
前記静脈パターン取得装置は、空間座標系と前記撮像データにおける座標系とを関連付けるパラメータが記録される記憶部を更に備え、前記三次元情報算出部は、前記パラメータを用いて前記静脈の三次元情報を算出してもよい。
前記静脈パターンをテンプレートとして登録するテンプレート登録部を更に備えてもよい。
前記三次元情報算出部が算出した前記静脈パターンと、予め登録されている前記テンプレートとを比較して、前記三次元情報算出部が算出した前記静脈パターンの認証を行う認証部を更に備えてもよい。
上記課題を解決するために、本発明の別の観点によれば、生体の一部に対して、構造化された近赤外光および構造化されていない近赤外光をそれぞれ照射する光源部を制御して、前記構造化されていない近赤外光を前記生体の一部に対して照射するステップと、前記生体の一部を撮像し、前記構造化されていない近赤外光による撮像データを生成するステップと、前記光源部を制御して、前記構造化された近赤外光を前記生体の一部に対して照射するステップと、前記生体の一部を撮像し、前記構造化された近赤外光による撮像データを生成するステップと、前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データとを比較し、前記構造化された近赤外光による撮像データと前記構造化されていない近赤外光による撮像データとの間における画素の対応関係を判断するステップと、前記画素の対応関係に基づいて前記生体の内部に存在する静脈の三次元情報を算出し、当該三次元情報を静脈パターンとするステップと、を含む静脈パターン取得方法が提供される。
上記課題を解決するために、本発明の更に別の観点によれば、構造化された近赤外光および構造化されていない近赤外光のそれぞれにより生体の一部を撮像した画像データに基づいて算出された前記生体の内部に存在する静脈の三次元情報と照合される、個人の静脈パターンに対応した静脈の三次元情報が格納された静脈データ格納領域を備える、静脈テンプレートが提供される。
本発明によれば、静脈パターンを二次元情報ではなく三次元情報として取得することができるため、本人拒否率を低下させ、静脈認証システムのセキュリティ性を向上させることが可能である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
(1)構造化光投影による三次元再構成の原理について
(2)第1の実施形態
(2−1)静脈パターン取得装置の構成について
(2−2)静脈パターン取得方法について
(2−3)静脈テンプレートについて
(3)本発明の各実施形態に係る静脈パターン取得装置のハードウェア構成について
(4)まとめ
<構造化光投影による三次元再構成の原理について>
まず、本発明の各実施形態に係る静脈パターン取得装置について説明するに先立ち、本発明の各実施形態に係る静脈パターン取得装置において用いられる構造化光投影による三次元再構成の原理について、図1A〜図4を参照しながら、詳細に説明する。図1A〜図4は、構造化光投影による三次元再構成の原理を説明するための説明図である。
三次元空間内にある物体を撮像して取得した撮像画像から、物体の三次元情報を再構成するためには、三次元空間内における物体の位置と、撮像画像内の座標との対応関係を把握することが重要となる。この三次元情報の再構成に用いられる原理の一つに、以下で示すような構造化光を用いた三角測量法の原理がある。
構造化光を用いた三角測量法では、特定のパターンを有する光である構造化光(structured light)を物体に投影するための光源(例えば、プロジェクタ)と、構造化光が投影された物体を撮影するための撮像装置(例えば、カメラ)とが必要となる。この方法では、光のパターンが既知の構造化光を物体に投影して物体上での構造化光のパターンを撮影し、既知の光パターンと撮影した光パターンとの変化具合から、物体の三次元形状を推定する。
すなわち、特定のパターンを有する構造化光を物体に投影すると、物体の三次元形状に応じて、構造化光に歪みが生じる。例えば、図1Aに示したような、格子状のパターンを有する構造化光SLを、図1Bに示したような球体Bに投影すると、図1Bに示したように、光グリッドが、球面上で変化して見える。三次元情報を抽出するために一般的に用いられるステレオビジョン法では、構造化光のどの点が物体上ではどの点に対応しているのかを見出すこと(対応点の探索)は困難である。しかしながら、図1Aに示したような特定の構造化光の場合には、光パターン上の特徴点を容易に見出すことができ、投影のために生じるグリッド上の特徴点の移動量(すなわち、歪み具合)を、容易に推定することができる。ここで、特徴点を見出す方法としては、例えば、Harris Corner Detector等を利用することが可能である。
光グリッド上の特徴点の移動量は、構造化光SLが投影された物体Bの三次元形状に直接関係があるため、物体の三次元形状と、特徴点の移動量との関係を定式化することによって、物体Bの三次元情報を抽出することができる。すなわち、図2に示したように、いわゆる三角測量法の原理を応用し、光源または撮像部と物体との距離や角度、撮像部の焦点位置等に基づいて、構造化光上の特徴点の対応関係を定式化することで、二次元の撮像画像から、物体の三次元形状を推定することができる。
構造化光を用いた三次元形状の推定方法は、一般的に、以下の3つの方法に大別される。
1)時分割多重化方式(Time Multiplexing Method)
2)近傍情報方式
3)直接符号化方式
1)時分割多重化方式
時分割多重化方式は、複数種類の光パターン(構造化光)を連続的に物体に投影し、全ての光パターンの合計から、光源(プロジェクタ)から投影するパターンの各ピクセルに固有の値を持たせる方法である。すなわち、この時分割多重化方式は、構造化光を構成する各ピクセルを、時系列によってグレイコード(gray code)化し、物体に構造化光を連続的に投影する方法である。
この方式では、光が照射されている帯状の明部と、光が照射されていない帯状の暗部とを交互に配列した一連の光パターンを、物体に対して順次照射するが、この明部と暗部の配列が、いわゆるバイナリコードとなる。例えば、n種類の互いに異なる光パターン(構造化光)を物体に投影することで、2のコードを表すことが可能となる。
例えば、図3に示したように、物体Bに対して、明部A1および暗部A2の幅と個数、ならびに、明部A1および暗部A2の配列順序の異なる3種類の構造化光SL1〜SL3を投影することで、8つの異なった値を有するラインを投影することができる。各ピクセルに割り当てられた固有の値によって、撮像部で撮像した画像の列方向について、個々のピクセルを容易に識別することが可能である。
また、図3に示した例では、明部A1および暗部A2の配列は、縦縞模様となっているが、横縞模様の明部A1および暗部A2を有する構造化光と組み合わせることで、2次元のバイナリコードを表すことができる。そのため、撮像部で撮像した画像の行方向と列方向の双方で、個々のピクセルを容易に識別することが可能となり、対応点の探索を容易に行うことが可能となる。
2)近傍情報方式
近傍情報方式は、上述の時分割多重化方式のように複数種類の光パターンを投影するのではなく、1種類の光パターンを投影することで、個々のピクセルに固有の値を割り当てる方法である。この際、近傍情報方式では、ある特定のピクセルに着目した場合に、着目しているピクセルの周囲に存在するピクセルに割り当てられた値(コード)の組み合わせが、光パターンを構成する各ピクセルでそれぞれ異なるように光パターンが設定される。このような光パターンの一例として、例えば図4(A)および図4(B)に示したような、各ピクセルの近傍の模様が一意的となるように設定された光パターンを挙げることができる。
3)直接符号化方式
直接符号化方式は、上述の時分割多重化方式のように複数種類の光パターンを投影するのではなく、1種類の光パターンを投影することで、個々のピクセルに固有の値を割り当てる方法である。この際、直接符号化方式では、投影する光の強度を変調させて濃度傾斜を与えたり、カラーを組み合わせたりすることで、光パターンを構成する全てのピクセルが互いに異なるコードを有するように、光パターンが設定される。
以上説明したように、構造化光を用いた三次元形状の推定方法には、大きく分けて3つの手法が存在するが、以下で説明する本発明の各実施形態に係る静脈パターン取得装置では、特に、時分割多重化方式または近傍情報方式による三次元形状の推定方法を利用して、静脈の三次元情報を推定する。
(第1の実施形態)
<静脈パターン取得装置の構成について>
次に、図5を参照しながら、本発明の第1の実施形態に係る静脈パターン取得装置の構成について、詳細に説明する。図5は、本実施形態に係る静脈パターン取得装置の構成を説明するためのブロック図である。
本実施形態に係る静脈パターン取得装置10は、例えば図5に示したように、光源部101と、光源制御部103と、撮像部105と、静脈画素推定部107と、画素値補正部109と、画像比較部111と、三次元情報算出部113と、テンプレート登録部115と、認証部117と、記憶部119と、を主に備える。
光源部101は、生体表面S(例えば、指表面FG)に対して所定の波長帯域を有する近赤外光を照射する。近赤外光は、身体組織に対して透過性が高い一方で、血液中のヘモグロビン(還元ヘモグロビン)に吸収されるという特徴を有するため、近赤外光を指や手のひらや手の甲に照射すると、指や手のひらや手の甲の内部に分布している静脈が影となって画像に現れる。画像に表れる静脈の影を、静脈パターンという。このような静脈パターンを良好に撮像するために、光源部101は、約600nm〜1300nm程度の波長、好ましくは、700nm〜900nm程度の波長を有する近赤外光を照射する。
ここで、光源部101が照射する近赤外光の波長が600nm未満または1300nm超過である場合には、血液中のヘモグロビンに吸収される割合が小さくなるため、良好な静脈パターンを得ることが困難となる。また、光源部101が照射する近赤外光の波長が700nm〜900nm程度である場合には、近赤外光は、脱酸素化ヘモグロビンと酸素化ヘモグロビンの双方に対して特異的に吸収されるため、良好な静脈パターンを得ることができる。
ここで、本実施形態に係る光源部101は、上述のような波長の近赤外光を照射可能な複数の発光ダイオードがアレイ状に配設されたアレイ状光源であってもよく、上述のような発光ダイオードがライン状に配設されたライン状光源であってもよい。
また、上述のような波長帯域を有する発光ダイオードのような光源を用いる代わりに、上述の波長帯域を含む光を射出可能な発光ダイオードと、射出された光を光学的に帯域制限するフィルタとを組み合わせたものを使用してもよい。
ここで、本実施形態に係る光源部101では、静脈パターンの取得処理に必要となる撮像データの解像度に応じて、光源部101を構成する光源の個数を調整することが好ましい。例えば、撮像データとして、512ピクセル×512ピクセルの大きさのデータが必要である場合には、上記解像度を実現可能な光源の個数を光源部101として設けることが好ましい。また、各種の画像処理技術と組み合わせることで、光源部101に組み込む光源の個数を調整することも可能である。
光源部101から射出された近赤外光は、生体表面S(例えば、指表面FG)に向かって伝搬し、直接光として、生体の側面などから内部に入射する。ここで、人体は良好な近赤外光の散乱体であるため、生体内に入射した直接光は四方に散乱しながら伝搬する。生体内を透過した近赤外光は、撮像部105の光学素子に入射することとなる。
本実施形態に係る光源部101は、後述する光源制御部103によって制御されることで、構造化されていない近赤外光(以下、非構造化光、または、非構造化近赤外光とも称する。)を照射したり、構造化された近赤外光(以下、構造化光、または、構造化近赤外光とも称する。)を照射したりする。
また、本実施形態に係る光源部101は、構造化近赤外光を照射する光源と、非構造化近赤外光を照射する光源とを、それぞれ別個に備えていても良い。
光源制御部103は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成される。光源制御部103は、前述の光源部101を制御して、構造化近赤外光と、非構造化近赤外光との照射切り替えを行う。例えば、本実施形態に係る光源部101が、複数の光源がアレイ状に配設されたアレイ状光源や、複数の光源がライン状に配設されたライン状光源である場合には、光源制御部103は、個々の光源の点灯制御を行い、構造化光と非構造化光との切り替えを行う。また、構造化光と非構造化光との切り替えを、光学フィルタ等を用いることで行う場合には、光源制御部103は、光学フィルタの挿入処理を行っている機構を制御することで、光学フィルタの挿入制御を行う。
より詳細には、例えば、本実施形態に係る静脈パターン取得装置10が、上述の時分割多重化方式を利用する場合には、光源制御部103は、記憶部119等に記録されている光源の点灯制御データベースや点灯制御情報等に基づいて、複数の光源の点灯制御を行うことが可能である。時分割多重化方式で用いられる光パターンは、明部および暗部の面積と、明部および暗部の配列順序によって規定されるため、アレイ状光源やライン状光源の点灯制御を行うことで、任意の光パターンを生成することが可能である。また、本実施形態に係る静脈パターン取得装置10が、上述の近傍情報方式を利用する場合であっても、光源制御部103は、記憶部119等に記録されている光源の点灯制御データベース等に基づいて、複数の光源の点灯制御を行うことが可能である。
また、本実施形態に係る静脈パターン取得装置10が、時分割多重化方式を利用する場合には、光源制御部103は、撮像データに要求される解像度を実現可能なように、構造化光の種類を設定することが好ましい。例えば、構造化光による撮像データが、128×128ピクセルの解像度を有している必要がある場合には、縦方向に沿って明暗の縞模様が形成されている7種類の構造化光と、横方向に沿って縞模様が形成されている7種類の構造化光の計14種類の構造加工を実現可能なように、点灯制御を行うことが好ましい。
撮像部105は、CCD(Charge Coupled Devices:電荷結合素子)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子およびレンズ等の光学素子から構成される光学系と、CPU、ROM、RAM等から構成され、前述の光学系の駆動制御を行う撮像制御部(図示せず。)と、から構成される。
撮像部105を構成する光学系は、1または複数の光学素子と、1または複数の撮像素子と、から構成される。また、光学系の撮像位置(換言すれば、生体表面Sが載置される場所)の背景は、黒色であることが好ましい。光学系の撮像位置の背景を黒色とすることで、構造化光を生体表面Sに照射した際の画像のコントラストを向上させることが可能となる。
人体の皮膚は、表皮層、真皮層および皮下組織層の3層構造となっていることが知られているが、静脈の存在する静脈層は、真皮層に存在している。真皮層は、指表面に対して0.1mm〜0.3mm程度の位置から2mm〜3mm程度の厚みで存在している層である。したがって、このような真皮層の存在位置(例えば、指表面から1.5mm〜2.0mm程度の位置)にレンズ等の光学素子の焦点位置を設定することで、静脈層を透過した透過光を、効率よく集光することが可能となる。
光学素子によって集光された静脈層を透過した透過光は、撮像素子に結像されて、静脈撮像データとなる。
撮像制御部は、所定の時間間隔が経過する毎に、光学系および撮像素子を制御して、複数の撮像データを生成する。より詳細には、光源部101から構造化光が照射されている場合には、撮像制御部は、構造化近赤外光による撮像データ(以下、構造化光撮像データとも称する。)を生成する。また、光源部101から非構造化光が照射されている場合には、撮像制御部は、非構造化近赤外光による撮像データ(以下、非構造化光撮像データとも称する。)を生成する。
この際、本実施形態に係る静脈パターン取得装置10が、時分割多重化方式を利用して複数種類の光パターンを照射する場合には、構造化光撮像データとして、複数枚の撮像データが生成されることとなる。また、本実施形態に係る静脈パターン取得装置10が、近傍情報方式を利用して光パターンの照射を行う場合には、構造化光撮像データとして、1枚の撮像データが生成されることとなる。
ここで、生体表面Sの撮像を行う時間間隔は、本実施形態に係る静脈パターン取得装置10の処理能力等に応じて任意の値に設定することが可能である。生体表面Sの撮像を行う時間間隔は、例えば、前述の光源制御部103による光源等の切り替え制御や、構造化光と非構造化光との切り替え制御に連動することが好ましい。
撮像制御部は、撮像素子によって生成された撮像データを、後述する静脈画素推定部107および画素値補正部109に出力する。また、撮像制御部は、得られた撮像データを、後述する記憶部119に記録してもよい。また、記憶部119への記録に際して、撮像制御部は、生成した撮像データに撮像日や撮像時刻等を関連づけてもよい。なお、生成される撮像データは、RGB(Red−Green−Blue)信号であってもよいし、それ以外の色やグレースケール等の画像データであってもよい。
なお、本実施形態に係る撮像部105は、光源部101から照射され、指内部で反射した近赤外光の反射光を撮像する、いわゆる反射型配置の撮像部であってもよく、指内部を透過した透過光を撮像する、いわゆる透過型配置の撮像部であってもよい。
静脈画素推定部107は、例えば、CPU、ROM、RAM等から構成され、例えば、撮像部105から伝送される非構造化光撮像データに対して、静脈が撮像されている画素の位置を推定する処理を行う。この静脈画素の推定処理は、例えば、静脈画素抽出の前処理を行なう機能と、静脈画素の抽出を行なう機能と、静脈画素抽出の後処理を行なう機能と、を備える。
ここで、上記の静脈画素の抽出の前処理は、例えば、非構造化光撮像データから指の輪郭を検出し、非構造化光撮像データのどの位置に指があるかを識別する処理や、検出した指の輪郭を利用して非構造化光撮像データを平面内で回転させて、非構造化光撮像データの角度(撮像画像の角度)を補正する処理等を含む。
また、上記の静脈画素の抽出は、輪郭の検出や角度の補正が終了した非構造化光撮像データに対して、差分フィルタを適用することで行なわれる。差分フィルタは、注目している画素とその周囲の画素について、注目している画素と周囲の画素との差分が大きな部分で、大きな値を出力値として出力するフィルタである。換言すれば、差分フィルタとは、注目している画素とその近傍の階調値の差分を用いた演算により、画像中の線や縁を強調するフィルタである。
一般的に、二次元平面の格子点(x,y)を変数とする画像データu(x,y)に対してフィルタh(x,y)を用いてフィルタ処理を行なうと、以下の式1に示すように、画像データν(x,y)を生成する。ここで、以下の式1において、‘*’は畳込み積分(コンボリューション)を表す。
Figure 2010039912
・・・(式1)
本実施形態に係る静脈画素の抽出では、上記の差分フィルタとして、一次空間微分フィルタや二次空間微分フィルタ等の微分フィルタを用いてもよい。一次空間微分フィルタは、注目している画素について、横方向と縦方向の隣接している画素の階調値の差分を算出するフィルタであり、二次空間微分フィルタは、注目している画素について、階調値の差分の変化量が大きくなっている部分を抽出するフィルタである。
上記の二次空間微分フィルタとして、例えば、以下に示すLog(Laplacian of Gaussian)フィルタを用いることが可能である。Logフィルタ(式3)は、ガウス関数を用いた平滑化フィルタであるガウシアン(Gaussian)フィルタ(式2)の2次微分で表される。ここで、以下の式2において、σはガウス関数の標準偏差を表し、ガウシアンフィルタの平滑化の度合いを表す変数である。また、以下の式3におけるσは、式2と同様にガウス関数の標準偏差を表すパラメータであり、σの値を変化させることで、Logフィルタ処理を行なった場合の出力値を変化させることができる。
Figure 2010039912
・・・(式2)

Figure 2010039912
・・・(式3)
また、上記の静脈画素抽出の後処理は、例えば、差分フィルタ適用後の画像データに対してなされる閾値処理や、2値化処理等を含む。かかる後処理を経て、静脈が撮像されている画素の位置を推定することが可能となる。
静脈画素推定部107は、出力された静脈に該当する画像が映っている画素の位置情報を、後述する画像比較部111等に伝送する。また、静脈画素推定部107は、非構造化光撮像データそのものを、上述の位置情報とあわせて後述する画像比較部111に出力してもよい。また、静脈画素推定部107は、抽出した画素の位置情報や非構造化光撮像データを、後述する記憶部119に記憶してもよい。なお、静脈画素推定部107は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部119に記憶してもよい。
画素値補正部109は、例えば、CPU、ROM、RAM等から構成され、撮像部105から伝送される構造化光撮像データを構成する画素の画素値の補正を行う。より詳細には、画素値補正部109は、撮像部105から伝送される構造化光撮像データを構成する画素の画素値を調べ、これらの画素の中に、所定の範囲に含まれる画素値を有するものが存在した場合に、該当する画素の画素値を最大値に書き換える補正を行う。ここで、画素値とは、該当する画素で観測された近赤外光の光量を表した数値を意味し、画素値が大きくなるほど、光量が大きいことを表すものとする。すなわち、画素値が大きくなるほど、該当する画素は白色に近い色となり、画素値が小さくなるほど、該当する画素は黒色に近い色となる。
すなわち、本実施形態に係る画素値補正部109は、ある画素に対応する画素値が所定の範囲に含まれる場合(すなわち、所定の上限値以上、所定の下限値以下の光量を観測した場合)に、該当する画素の画素値を最大値に書き換え、該当する画素の色を、白色で表示されるように補正する。
なお、この画素値の補正処理については、以下であらためて詳細に説明する。
画素値補正部109は、画素値の補正が終了した構造化光撮像データを、後述する画像比較部111等に出力する。また、画素値補正部109は、画素値が最大値に書き換えられた画素の位置情報を、後述する画像比較部111等に伝送してもよい。また、画素値補正部109は、画素値の補正が終了した構造化光撮像データや、画素値が最大値に書き換えられた画素の位置情報等を、後述する記憶部119に記憶してもよい。なお、画素値補正部109は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部119に記憶してもよい。
画像比較部111は、例えば、CPU、ROM、RAM等から構成され、非構造化光撮像データと、構造化光撮像データとを比較し、構造化光撮像データと非構造化光撮像データとの間における画素の対応関係を判断する。より詳細には、画像比較部111は、非構造化光撮像データ中に含まれる静脈に対応する画素と、構造化光撮像データ中に含まれる画素値が最大値に書き換えられた画素との対応関係を判断する。その結果、非構造化光で撮像した場合における静脈に該当する画素が、構造化光で撮像した場合における最大値に書き換えられた画素のどれに対応するかを明らかにすることが可能となり、構造化光−非構造化光間における特徴点の対応関係を明らかにすることができる。
また、画像比較部111は、静脈に該当する画素を比較して対応関係を明らかにするだけでなく、指の外縁に該当する画素等を比較して、静脈に該当する画素の対応関係とは別個に特徴点の対応関係を導出してもよい。
画像比較部111は、特徴点の対応関係に関する情報を、後述する三次元情報算出部113に出力する。また、画像比較部111は、構造化光−非構造化光間における対応関係に関する情報を、後述する記憶部119に記憶してもよい。なお、画像比較部111は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部119に記憶してもよい。
三次元情報算出部113は、例えば、CPU、ROM、RAM等から構成され、画像比較部111から伝送された画素の対応関係を表す情報に基づいて、生体の内部に存在する静脈の三次元情報を算出する。より詳細には、三次元情報算出部113は、後述する記憶部119に予め記録されている、空間座標系と撮像データにおける座標系とを関連付けるパラメータと、画像比較部111から伝送された画素の対応関係を表す情報に基づいて、いわゆる三角測量法の原理に基づいて、静脈の三次元情報を算出する。
ここで、上述の空間座標系と撮像データにおける座標系を関連付けるパラメータは、実際の空間座標系と撮像データにおける座標系との相対位置や方向関係、および、撮像部105が備える光学系の焦点距離等によって決定されるパラメータである。このパラメータは、例えば、上述のような位置関係や方向関係や焦点距離等の情報を用いて理論的に算出することも可能であり、三次元形状が既知である物体を撮像し、得られた撮像データを解析することで決定することも可能である。このようなパラメータの一例として、いわゆるカメラパラメータを挙げることができる。
例えば、構造化光撮像データおよび非構造化光撮像データを含む撮像データにおいて、撮像データを構成する画素の位置関係を表す座標系を(x,y)と表し、空間座標系を(X,Y,Z)と表すこととする。また、画像比較部111から伝送された画素の対応関係を表す情報の中に、非構造化光撮像データにおける(x,y)ピクセルが静脈に該当する画素であり、構造化光撮像データでは(x+dxi,y+dyi)ピクセルに対応している旨が記載されている場合を考える。
ここで、斉次座標(homogeneous coordinates)を導入して、撮像データにおける座標系と空間座標系との対応関係を考慮する。このとき、非構造化光を照射した場合の光源と撮像部との間の射影行列をPと表すこととし、構造化光を照射した場合の光源と撮像部との間の射影行列をP’と表すこととすると、2つの座標系の間の関係は、以下の式4および式5で表すことができる。ここで、下記式4および式5における射影行列PおよびP’が、記憶部119に記録されているパラメータに該当する。
Figure 2010039912
・・・(式4)

Figure 2010039912
・・・(式5)
上記射影行列PおよびP’は、静脈パターン取得装置10設計パラメータ等によって定まる既知の値であり、(x,y)および(x+dxi,y+dyi)は、実際の測定値であるため、式4および式5における未知数は、静脈の三次元形状である(X,Y,Z)のみとなる。式4および式5から4つの式が導出されるため、静脈の三次元形状である(X,Y,Z)を一義的に決定することが可能となる。
静脈パターン取得装置10が、静脈パターンの取得処理を行っている場合には、三次元情報算出部111は、算出した静脈の三次元形状を、静脈の三次元情報として後述するテンプレート登録部115に伝送する。また、静脈パターン取得装置10が、静脈パターンの認証処理を行っている場合には、三次元情報算出部111は、算出した静脈の三次元形状を、認証対象である静脈の三次元形状として、後述する認証部117に伝送する。
なお、三次元情報算出部111は、算出した三次元情報を、後述する記憶部119に記録してもよい。また、三次元情報算出部111は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部119に記憶してもよい。
テンプレート登録部115は、例えば、CPU、ROM、RAM等から構成されており、三次元情報算出部113から伝送された静脈の三次元情報(すなわち、静脈の三次元形状)を、テンプレートとして後述する記憶部119に登録する。また、静脈の三次元情報の登録に際しては、静脈の三次元情報だけでなく、登録される三次元情報を有する個人を特定する他のデータ(例えば、指紋データ、顔画像データ、虹彩データ、声紋データ等)を三次元情報に関連づけて記憶してもよい。また、テンプレートとして登録される登録静脈パターン(静脈の三次元形状)は、例えば、CBEFF(Common Biometric Exchange File Format:共通バイオメトリック交換ファイルフォーマットフレームワーク)等の規格に則ったヘッダ情報を有していてもよい。
認証部117は、例えば、CPU、ROM、RAM等から構成されており、三次元情報算出部113により生成された静脈の三次元情報と、既に記録されている静脈パターンのテンプレートとに基づいて、生成された三次元情報の認証を行なう。認証部117は、後述する記憶部119に対してテンプレートの開示を要求し、取得したテンプレートと、三次元情報算出部113から伝送された静脈の三次元情報との比較を行なう。テンプレートと伝送された静脈の三次元情報との比較は、例えば以下の式6に示した相関係数を算出し、算出した相関係数に基づいて実行することが可能である。認証部117は、比較の結果テンプレートと伝送された三次元情報が類似している場合(例えば、算出した相関係数の絶対値が、所定の閾値以上であった場合)には、伝送された静脈の三次元情報を認証し、類似していない場合には、認証を行なわない。
相関係数は、以下の式6で定義されるものであり、2つのデータm={m},n={n}間の類似度を示す統計学指標であって、−1から1までの実数値をとる。相関係数が1に近い値を示す場合には、2つのデータは類似していることを示し、相関係数が0に近い値を示す場合には、2つのデータは類似していないことを示す。また、相関係数が−1に近い値を示す場合には、2つのデータの符号が反転しているような場合を示す。
Figure 2010039912
・・・(式6)

Figure 2010039912
:データmの平均値
Figure 2010039912
:データnの平均値
また、認証部117は、認証結果を認証時刻等と関連づけて、認証履歴として記憶部119に記録してもよい。かかる認証履歴を生成することで、誰がいつ静脈パターンの認証を要求したのか、ひいては、誰がいつ静脈パターン取得装置10を利用したのか、を知ることが可能となる。
記憶部119は、三次元情報算出部111が静脈の三次元情報を算出する際に用いる各種パラメータや、テンプレート登録部115から登録要請のあった静脈の三次元情報や、当該三次元情報に関連付けられた他のデータを記憶する。また、これらのデータ以外にも、撮像部105が生成した撮像データや、画像比較部111が算出した画素間の対応関係を表す情報等を記憶することも可能である。更に、これらのデータ以外にも、静脈パターン取得装置10が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部119は、光源部101、光源制御部103、撮像部105、静脈画素推定部107、画素値補正部109、画像比較部111、三次元情報算出部113、テンプレート登録部115、認証部117等が、自由に読み書きを行うことが可能である。
以上、本実施形態に係る静脈パターン取得装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
例えば、上述の説明では、テンプレートとして登録される静脈の三次元情報が、静脈パターン取得装置10内に記録される場合について説明したが、静脈の三次元情報は、DVDメディア、Blu−rayメディア、コンパクトフラッシュ(登録商標)、メモリースティック、または、SDメモリカード等の記録媒体や、非接触型ICチップを搭載したICカードまたは電子機器等に記録されてもよく、静脈パターン取得装置10とインターネット等の通信網を介して接続されたサーバに記録されていてもよい。
<静脈パターン取得方法について>
次に、図6〜図9を参照しながら、本発明の第1の実施形態に係る静脈パターン取得装置が実施する静脈パターン取得方法について、詳細に説明する。図6〜図8は、本実施形態に係る静脈パターン取得方法を説明するための説明図であり、図9は、本実施形態に係る静脈パターン取得方法を説明するための流れ図である。
[構造化光の歪みについて]
赤外線を用いて行う撮影技術は、反射型と、透過型の2種類であるが、本実施形態に係る静脈パターン取得方法では、反射型撮影を対象とすることが好ましい。一般的な方法では、生体部位、例えば指に対して、所定の波長の近赤外線(例えば、890nm波長の光)を当て、反射した光を撮影する。このとき、近赤外光の大部分が血管中のヘモグロビンに吸収されるため、生体部位の他の箇所に比べて相対的に黒く見える。本実施形態に係る静脈パターン取得方法では、反射されてくる赤外線画像を撮影し、この相対的に黒い部分を血管だと判定する。例えば、図6(A)に示した指の赤外線画像において、指静脈に該当する相対的に黒く映っている部分が存在する。図6(B)では、この指静脈に該当する部分を、黒線で示している。この黒線の部分が血管である。
本実施形態に係る静脈パターンの取得方法では、例えば図6(A)に示したような血管撮像画像では、血管部分が完全な黒色ではないという点を利用する。すなわち、指に赤外線のパターン(構造化近赤外光)を当てると、パターン上での赤外線が照射されていない部分が真っ黒な部分となる。また、赤外線が照射されている部分では、相対的に黒い部分(相対的に暗い部分)と、相対的に白い部分(相対的に明るい部分)とが検出される。
例えば、図6(A)の画像を取得する際に利用した非構造化近赤外光の代わりに、例えば図7左図に示したような構造化近赤外光SLを照射する。図7に示した構造化光は、指の長さ方向と直交する方向に、近赤外光が照射されている明部A1と、近赤外光が照射されていない暗部A2とが交互に配設されている。この構造化光を指に照射すると、図7右側に示したような画像が撮影される。本実施形態に係る画素値補正部109は、明部A1に映っている画像について、静脈に該当する相対的に黒い部分の画素値の補正を行う。すなわち、本実施形態に係る画素値補正部109は、明部A1における相対的に黒い部分の画素を検出可能なように、画素値の補正の可否判定に用いられる範囲が設定される。この範囲の下限値および上限値は、指内部における静脈の存在具合によっても異なる値であるため、任意の値に設定可能である。
本実施形態に係る静脈パターンの取得方法では、図6(B)で検出した血管に該当する画素だけに関して、先に説明したような静脈パターンの取得に関する各種処理を行う。ここで、図7の右側に示した図において、明部A1および暗部A2のパターンは、図7左側に示したパターンと同一であるように示しているが、実際には、構造化光の当たった物体表面により、歪みが生じている。この歪みは、物体の高さ方向(すなわち、紙面に対して垂直方法)の情報を含んだものである。
続いて、図8を参照しながら、構造化光を照射して得られた撮像データにおける歪みについて、詳細に説明する。例えば、図8(A)に示したような構造化光SLを指FGに照射した場合、構造化光SLは、指FGによって図8(B)、図8(C)に示したように歪みを生ずる。この際、背景部分と、指の表面部分と、静脈Vの部分とでは、形状や奥行き方向における存在位置が異なるため、背景部分における歪みD1と、指の表面部分における歪みD2と、静脈部分における歪みD3とでは、構造化光SLの歪みの度合いが異なることとなる。そのため、構造化近赤外光SLは、指FGで反射され、撮像部105によって、図8(D)に示したような歪みを含む画像として生成される。静脈パターン取得装置10の画素値補正部109は、図8(D)に示したような画像における、相対的に黒い部分について、画素値の補正を行い、画素値を最大値(すなわち、画素の色が白色となる値)に画素値の書き換えを行う。画素値補正部109は、画素値の書き換えを行った画素を、特徴点として画像比較部111に出力する。
他方、本実施形態に係る静脈画素推定部107は、図6(B)に示したような非構造化光撮像データの中から、静脈に該当する部分を推定し、特徴点として画像比較部111に出力する。その後、画像比較部111は、入力された各撮像データにおける特徴点の対応関係を判断し、三次元情報算出部113は、特徴点の対応関係に関する情報に基づいて、静脈の三次元情報を算出する。
[流れ図を用いた説明]
続いて、図9を参照しながら、本実施形態に係る静脈パターンの取得方法について詳細に説明する。
まず、本実施形態に係る静脈パターン取得装置10の光源制御部103は、光源部101の点灯制御を行い、非構造化近赤外光を生体表面(例えば、指表面)に対して照射させ、撮像部105は、指表面の撮像を行う(ステップS101)。撮像部105は、生成した非構造化光撮像データ(以下、画像Aと称する。)を、静脈画素推定部107に出力する。また、撮像部105は、生成した非構造化光撮像データを、記憶部119に記録してもよい。
続いて、光源制御部103は、光源部101の点灯制御を行い、所定の光パターンを有する構造化近赤外光を指表面に対して照射させ、撮像部105は、指表面の撮像を行う(ステップS103)。撮像部105は、生成した構造化光撮像データ(以下、画像Bと称する。)を、画素値補正部109に出力する。ここで、本実施形態に係る静脈パターン取得装置10が、時分割多重化方式により静脈パターンの取得を行う場合には、複数種類の構造化光の照射によって得られた複数の撮像データの集合が、画像Bとなる。また、本実施形態に係る静脈パターン取得装置10が近傍情報方式により静脈パターンの取得を行う場合には、一種類の光パターンの照射によって得られた撮像データが、画像Bとなる。また、撮像部105は、生成した構造化光撮像データを、記憶部119に記録してもよい。
次に、本実施形態に係る静脈画素推定部107は、撮像部105から伝送された非構造化光撮像データ(画像A)の中から、静脈に対応する画素の位置情報を推定し(ステップS105)、画像比較部111に出力する。また、静脈画素推定部107は、当該静脈画素推定部107によって各種の処理が施された画像Aそのものを、画像比較部111に出力してもよい。また、静脈画素推定部107は、得られた静脈に対応する画素の位置情報を、記憶部119に記録してもよい。
続いて、画素値補正部109は、撮像部105から伝送された構造化光撮像データ(画像B)の画素値を検索し、所定の範囲に含まれる画素値を有する画素を検出する。画素値補正部109は、画素値が所定の範囲内である画素について、例えば図7に示したような、明部A1に属する相対的に黒い部分(すなわち、静脈)に対応する画素であると判定し、その画素値を、白色を表す最大値へと書き換える(ステップS107)。続いて、画素値補正部109は、少なくとも画素値を補正した画素に関する位置情報を、画像比較部111に出力する。また、画素値補正部109は、当該画素値補正部109によって各種の処理が施された画像Bそのものを、画像比較部111に出力してもよい。また、画素値補正部109は、画素値を補正した画素に関する位置情報を、記憶部119に記録してもよい。
次に、画像比較部111は、静脈画素推定部107から出力された静脈に対応する画素の位置情報と、画素値補正部109から出力された画素値を補正した画素に関する位置情報と、に基づいて、画像Aにおける特徴点と、画像Bにおける特徴点との対応付けを行う(ステップS109)。画像比較部111は、得られた対応関係に関する情報を、三次元情報算出部113に出力する。また、画像比較部111は、得られた対応関係に関する情報を、記憶部119に記録してもよい。
続いて、三次元情報算出部113は、画像比較部111から出力された対応関係に関する情報と、記憶部119に記録されているカメラパラメータ等と、に基づいて、静脈の三次元情報を算出し、静脈パターンとする(ステップS111)。静脈パターン取得装置10が、静脈パターンの取得処理を行っている場合には、三次元情報算出部111は、算出した静脈の三次元形状を、静脈の三次元情報としてテンプレート登録部115に伝送する。また、静脈パターン取得装置10が、静脈パターンの認証処理を行っている場合には、三次元情報算出部111は、算出した静脈の三次元形状を、認証対象である静脈の三次元形状として、認証部117に伝送する。
以上説明したように、本実施形態に係る静脈パターンの取得方法によれば、構造化近赤外光と、非構造化近赤外光とを用いて、生体表面の撮像を行うことにより、生体の内部に存在する静脈の三次元形状を算出することが可能となる。本実施形態に係る静脈パターン取得方法では、従来のように静脈パターンを二次元情報として取得するのではなく、三次元情報として取得するため、本人拒否率を低下させ、静脈認証システムのセキュリティ性を向上させることが可能である。
<静脈テンプレートについて>
次に、本実施形態に係る静脈パターン取得装置10によって取得された静脈パターンを用いて生成される静脈テンプレートについて、簡単に説明する。
本実施形態に係る静脈パターン取得装置10では、上述のように、生体の内部に存在する静脈の三次元情報を取得することが可能である。この静脈の三次元情報は、以下の表1に示したようなデータ構造を有する。すなわち、以下の表1から明らかなように、静脈に対応する画素の個数がN個であった場合、静脈テンプレートのデータ構造には、それぞれの特徴点のX座標、Y座標およびZ座標が記載される。
Figure 2010039912
表1に示したようなデータ構造を有する静脈の三次元情報は、テンプレート登録部115によって、静脈テンプレートの静脈データ格納領域に個人の静脈パターンに対応した静脈の登録情報として格納される。また、静脈テンプレートには、静脈データ格納領域以外にも、各種のデータ格納領域が設けられていても良い。
本実施形態に係る静脈パターン取得装置10では、入力された静脈パターンの認証処理を行う際に、認証部117は、静脈テンプレートの静脈データ格納領域から、既に登録されている静脈の三次元情報を取得する。認証部117は、静脈テンプレートから取得した静脈の三次元情報と、三次元情報算出部113によって算出された三次元情報とを比較して、静脈パターンの認証処理を行うことが可能である。
<ハードウェア構成について>
次に、図10を参照しながら、本発明の各実施形態に係る静脈パターン取得装置のハードウェア構成について、詳細に説明する。図10は、本発明の各実施形態に係る静脈パターン取得装置10のハードウェア構成を説明するためのブロック図である。
静脈パターン取得装置10は、主に、CPU901と、ROM903と、RAM905と、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、静脈パターン取得装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、静脈パターン取得装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。静脈パターン取得装置10のユーザは、この入力装置915を操作することにより、静脈パターン取得装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、例えば、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、静脈パターン取得装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、静脈パターン取得装置10が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、静脈パターン取得装置10の記憶部の一例として構成されたデータ格納用の装置であり、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種データやデータベースなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、静脈パターン取得装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、メモリースティック、または、SDメモリカード(Secure Digital memory card)等である。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、例えば、USB(Universal Serial Bus)ポート、i.Link等のIEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等の、機器を静脈パターン取得装置10に直接接続するためのポートである。この接続ポート923に外部接続機器929を接続することで、静脈パターン取得装置10は、外部接続機器929から各種データを取得したり、外部接続機器929に各種データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth、またはWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等である。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の各実施形態に係る静脈パターン取得装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、本発明の各実施形態に係る静脈パターン取得装置10は、以下に示すような機能を有するプログラムとして提供されることも可能である。このプログラムは、生体の一部に対して、構造化された近赤外光および構造化されていない近赤外光をそれぞれ照射する光源部と、前記生体の一部を撮像する撮像部とを備えた静脈パターン取得装置を制御するコンピュータに、前記光源部を制御して、前記構造化された近赤外光と前記構造化されていない近赤外光との照射切り替えを行う光源制御機能と、前記撮像部を制御し、前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データとをそれぞれ生成する撮像部制御機能と、前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データとを比較し、前記構造化された近赤外光による撮像データと前記構造化されていない近赤外光による撮像データとの間における画素の対応関係を判断する、画像比較機能と、前記画素の対応関係に基づいて前記生体の内部に存在する静脈の三次元情報を算出し、当該三次元情報を静脈パターンとする三次元情報算出機能と、を実現させるためのプログラムである。
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の静脈パターン取得装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<まとめ>
以上説明したように、本発明の各実施形態に係る静脈パターン取得装置では、構造化された近赤外光という、従来の静脈認証システムでは用いられなかった光を生体表面の撮像に利用する。構造化近赤外光と、非構造化近赤外光とを組み合わせて用いることで、生体の内部に存在する静脈の三次元形状を取得することが可能となる。
また、物体の三次元形状を取得するために構造化光を利用することは、従来から行われていたが、従来の方法では、物体の表面で反射し、かつ、反射による強度変化の少ない波長の光を用いて三次元形状を算出するのみであった。しかしながら、本発明の各実施形態における方法では、近赤外光という、生体の内部まで浸透可能であり、かつ、血管の中を流れる血液によって吸収されてしまう波長の光を用いることで、従来では考慮されていなかった、生体内部に存在する物体の三次元形状を算出することが可能となった。
このように、本発明の各実施形態に係る静脈パターン取得装置では、静脈の三次元形状を容易に取得することができる。生体の内部を走る静脈の立体像を模倣し、再現することは極めて困難であり、このような静脈の三次元形状を静脈認証システムに用いることで、いわゆる「成りすまし行為」を防止することが可能となる。
また、静脈パターンを二次元情報ではなく三次元情報として取得することができるため、照明の当たり方の違いや生体の配置誤差に起因する誤認証を防止し、本人拒否率を低下させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
構造化光投影による3次元再構成の原理を説明するための説明図である。 構造化光投影による3次元再構成の原理を説明するための説明図である。 構造化光投影による3次元再構成の原理を説明するための説明図である。 構造化光投影による3次元再構成の原理を説明するための説明図である。 構造化光投影による3次元再構成の原理を説明するための説明図である。 本発明の第1の実施形態に係る静脈パターン取得装置の構成を説明するためのブロック図である。 同実施形態に係る静脈パターン取得方法を説明するための説明図である。 同実施形態に係る静脈パターン取得方法を説明するための説明図である。 同実施形態に係る静脈パターン取得方法を説明するための説明図である。 同実施形態に係る静脈パターン取得方法を説明するための流れ図である。 本発明の各実施形態に係る静脈パターン取得装置のハードウェア構成を説明するためのブロック図である。
符号の説明
10 静脈パターン取得装置
101 光源部
103 光源制御部
105 撮像部
107 静脈画素推定部
109 画素値補正部
111 画像比較部
113 三次元情報算出部
115 テンプレート登録部
117 認証部
119 記憶部
A1 明部
A2 暗部
FG 指表面
SL 構造化光
V 静脈

Claims (13)

  1. 生体の一部に対して、構造化された近赤外光および構造化されていない近赤外光をそれぞれ照射する光源部と、
    前記光源部を制御して、前記構造化された近赤外光と前記構造化されていない近赤外光との照射切り替えを行う光源制御部と、
    前記生体の一部を撮像し、前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データとをそれぞれ生成する撮像部と、
    前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データと、を比較し、前記構造化された近赤外光による撮像データと前記構造化されていない近赤外光による撮像データとの間における画素の対応関係を判断する、画像比較部と、
    前記画素の対応関係に基づいて前記生体の内部に存在する静脈の三次元情報を算出し、当該三次元情報を静脈パターンとする三次元情報算出部と、
    を備える、静脈パターン取得装置。
  2. 前記静脈パターン取得装置は、前記構造化された近赤外光による撮像データを構成する画素の画素値をそれぞれ補正する画素値補正部を更に備え、
    前記画素値補正部は、前記構造化された近赤外光による撮像データを構成する画素の画素値の中に、当該画素値が所定の範囲内となるものが存在した場合に、該当する前記画素値を最大値に書き換える、請求項1に記載の静脈パターン取得装置。
  3. 前記静脈パターン取得装置は、前記構造化されていない近赤外光による撮像データの中から前記生体の内部に存在する静脈に対応する画素を推定する、静脈画素推定部を更に供え、
    前記画像比較部は、前記構造化されていない近赤外光による撮像データに含まれる前記静脈に対応する画素と、前記構造化された近赤外光による撮像データに含まれる前記画素値が最大値に書き換えられた画素との対応関係を判断する、請求項2に記載の静脈パターン取得装置。
  4. 前記構造化された近赤外光は、近赤外光が照射されている帯状の明部と近赤外光が照射されていない帯状の暗部とが交互に配列した照射パターンで構成され、
    前記光源部は、前記明部および前記暗部に該当する部分の面積、ならびに、前記明部および前記暗部の配列順序が互いに異なる複数の前記照射パターンを、順次照射する、請求項1に記載の静脈パターン取得装置。
  5. 前記構造化された近赤外光は、近赤外光が照射されている一の明部または近赤外光が照射されていない一の暗部の近傍の明暗状態の組み合わせが、それぞれ異なる照射パターンで構成される、請求項1に記載の静脈パターン取得装置。
  6. 前記光源部は、近赤外光を照射可能な複数の光源がアレイ状に配列されたアレイ状光源であり、
    前記光源制御部は、前記アレイ状光源を構成するそれぞれの前記光源の点灯制御を行う、請求項4または5に記載の静脈パターン取得装置。
  7. 前記光源部は、近赤外光を照射可能な複数の光源がライン状に配列されたライン状光源であり、
    前記光源制御部は、前記ライン状光源を構成するそれぞれの前記光源の点灯制御を行う、請求項4または5に記載の静脈パターン取得装置。
  8. 前記光源部は、前記明暗状態の組み合わせが一意的となるように設計された光学フィルタを更に備え、
    前記光源制御部は、前記光学フィルタの挿入制御を行う、請求項5に記載の静脈パターン取得装置。
  9. 前記静脈パターン取得装置は、空間座標系と前記撮像データにおける座標系とを関連付けるパラメータが記録される記憶部を更に備え、
    前記三次元情報算出部は、前記パラメータを用いて前記静脈の三次元情報を算出する、請求項1に記載の静脈パターン取得装置。
  10. 前記静脈パターンをテンプレートとして登録するテンプレート登録部を更に備える、請求項1に記載の静脈パターン取得装置。
  11. 前記三次元情報算出部が算出した前記静脈パターンと、予め登録されている前記テンプレートとを比較して、前記三次元情報算出部が算出した前記静脈パターンの認証を行う認証部を更に備える、請求項1に記載の静脈パターン取得装置。
  12. 生体の一部に対して、構造化された近赤外光および構造化されていない近赤外光をそれぞれ照射する光源部を制御して、前記構造化されていない近赤外光を前記生体の一部に対して照射するステップと、
    前記生体の一部を撮像し、前記構造化されていない近赤外光による撮像データを生成するステップと、
    前記光源部を制御して、前記構造化された近赤外光を前記生体の一部に対して照射するステップと、
    前記生体の一部を撮像し、前記構造化された近赤外光による撮像データを生成するステップと、
    前記構造化された近赤外光による撮像データと、前記構造化されていない近赤外光による撮像データとを比較し、前記構造化された近赤外光による撮像データと前記構造化されていない近赤外光による撮像データとの間における画素の対応関係を判断するステップと、
    前記画素の対応関係に基づいて前記生体の内部に存在する静脈の三次元情報を算出し、当該三次元情報を静脈パターンとするステップと、
    を含む、静脈パターン取得方法。
  13. 構造化された近赤外光および構造化されていない近赤外光のそれぞれにより生体の一部を撮像した画像データに基づいて算出された前記生体の内部に存在する静脈の三次元情報と照合される、個人の静脈パターンに対応した静脈の三次元情報が格納された静脈データ格納領域を備える、静脈テンプレート。

JP2008204230A 2008-08-07 2008-08-07 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート Expired - Fee Related JP5056662B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008204230A JP5056662B2 (ja) 2008-08-07 2008-08-07 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008204230A JP5056662B2 (ja) 2008-08-07 2008-08-07 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート

Publications (3)

Publication Number Publication Date
JP2010039912A true JP2010039912A (ja) 2010-02-18
JP2010039912A5 JP2010039912A5 (ja) 2011-08-18
JP5056662B2 JP5056662B2 (ja) 2012-10-24

Family

ID=42012363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008204230A Expired - Fee Related JP5056662B2 (ja) 2008-08-07 2008-08-07 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート

Country Status (1)

Country Link
JP (1) JP5056662B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070948A1 (en) * 2013-05-10 2016-03-10 Iris-Gmbh Infrared & Intelligent Sensors Sensor system and method for recording a hand vein pattern
JP2017091574A (ja) * 2011-10-10 2017-05-25 インヴィサージ テクノロジーズ インコーポレイテッドInvisage Technologies,Inc. 空間および時間内のイベントのキャプチャ
JP2018089369A (ja) * 2016-12-01 2018-06-14 パナソニックIpマネジメント株式会社 生体情報検出装置
CN111970971A (zh) * 2018-05-30 2020-11-20 松下知识产权经营株式会社 识别装置及识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498111A (ja) * 1990-08-17 1992-03-30 Shiseido Co Ltd 3次元形状測定装置
JPH07260451A (ja) * 1994-03-18 1995-10-13 Shiseido Co Ltd 3次元形状測定システム
JPH1114327A (ja) * 1997-06-25 1999-01-22 Matsushita Electric Works Ltd 3次元形状計測方法及びその装置
JP2003256840A (ja) * 2002-02-27 2003-09-12 Ricoh Co Ltd 認証装置、行動認証システム、複写装置、及び配送・収集認証システム
JP2003331270A (ja) * 2002-05-09 2003-11-21 Sony Corp 生体パターン検出方法及び生体パターン検出装置、生体認証方法及び生体認証装置
JP2005353014A (ja) * 2004-05-14 2005-12-22 Sony Corp 撮像装置
JP2006215975A (ja) * 2005-02-07 2006-08-17 Mitsubishi Electric Corp 指紋照合装置
JP2008123312A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 静脈画像照合装置、およびこれを用いた個人認証装置、個人認証システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498111A (ja) * 1990-08-17 1992-03-30 Shiseido Co Ltd 3次元形状測定装置
JPH07260451A (ja) * 1994-03-18 1995-10-13 Shiseido Co Ltd 3次元形状測定システム
JPH1114327A (ja) * 1997-06-25 1999-01-22 Matsushita Electric Works Ltd 3次元形状計測方法及びその装置
JP2003256840A (ja) * 2002-02-27 2003-09-12 Ricoh Co Ltd 認証装置、行動認証システム、複写装置、及び配送・収集認証システム
JP2003331270A (ja) * 2002-05-09 2003-11-21 Sony Corp 生体パターン検出方法及び生体パターン検出装置、生体認証方法及び生体認証装置
JP2005353014A (ja) * 2004-05-14 2005-12-22 Sony Corp 撮像装置
JP2006215975A (ja) * 2005-02-07 2006-08-17 Mitsubishi Electric Corp 指紋照合装置
JP2008123312A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 静脈画像照合装置、およびこれを用いた個人認証装置、個人認証システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091574A (ja) * 2011-10-10 2017-05-25 インヴィサージ テクノロジーズ インコーポレイテッドInvisage Technologies,Inc. 空間および時間内のイベントのキャプチャ
US20160070948A1 (en) * 2013-05-10 2016-03-10 Iris-Gmbh Infrared & Intelligent Sensors Sensor system and method for recording a hand vein pattern
JP2016522487A (ja) * 2013-05-10 2016-07-28 イーリス−ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ 手の静脈パターンを記録するセンサシステム及び方法
JP2018089369A (ja) * 2016-12-01 2018-06-14 パナソニックIpマネジメント株式会社 生体情報検出装置
JP7065361B2 (ja) 2016-12-01 2022-05-12 パナソニックIpマネジメント株式会社 生体情報検出装置
US11490825B2 (en) 2016-12-01 2022-11-08 Panasonic Intellectual Property Management Co., Ltd. Biological information detection apparatus that includes a light source projecting a near-infrared pattern onto an object and an imaging system including first photodetector cells detecting near-infrared wavelength light and second photodetector cells detecting visible wavelength light
CN111970971A (zh) * 2018-05-30 2020-11-20 松下知识产权经营株式会社 识别装置及识别方法

Also Published As

Publication number Publication date
JP5056662B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
JP4748199B2 (ja) 静脈撮像装置および静脈撮像方法
JP5292821B2 (ja) 静脈画像取得装置および静脈画像取得方法
US11263432B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP5326792B2 (ja) 静脈撮像装置、位置ズレ補間方法およびプログラム
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
KR102561723B1 (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
US20180165508A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP4636140B2 (ja) 静脈撮像装置、静脈撮像方法および静脈認証装置
Lee A novel biometric system based on palm vein image
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
JP6089872B2 (ja) 画像補正装置、画像補正方法及び生体認証装置
JP5326793B2 (ja) 静脈撮像装置、静脈画像補間方法およびプログラム
JP5130885B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6532642B2 (ja) 生体情報認証装置および生体情報処理方法
JP2008287428A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP5556663B2 (ja) 照合装置、照合方法、及びプログラム
CN113782159A (zh) 医学图像标记点匹配方法、装置、电子设备及存储介质
JP2010240215A (ja) 静脈深度判定装置、静脈深度判定方法およびプログラム
JP2009282706A (ja) 静脈認証装置および静脈認証方法
JP5056662B2 (ja) 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート
JP2008287432A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
Panetta et al. Unrolling post-mortem 3D fingerprints using mosaicking pressure simulation technique
JP5923524B2 (ja) 生体認証装置、血管画像撮影装置、および方法
JP2008287436A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP2010181970A (ja) 生体認証用装置、生体認証装置、生体認証システム、判別基準決定方法、生体認証方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5056662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees