JP2008210140A - 情報抽出方法、登録装置、照合装置及びプログラム - Google Patents
情報抽出方法、登録装置、照合装置及びプログラム Download PDFInfo
- Publication number
- JP2008210140A JP2008210140A JP2007046090A JP2007046090A JP2008210140A JP 2008210140 A JP2008210140 A JP 2008210140A JP 2007046090 A JP2007046090 A JP 2007046090A JP 2007046090 A JP2007046090 A JP 2007046090A JP 2008210140 A JP2008210140 A JP 2008210140A
- Authority
- JP
- Japan
- Prior art keywords
- image
- finger
- living body
- stereoscopic image
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 description 27
- 210000001145 finger joint Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 239000013256 coordination polymer Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 210000003371 toe Anatomy 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 description 2
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 description 2
- 102100021133 Nuclear protein 1 Human genes 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
【課題】識別対象の情報量を抑えつつ認証精度を向上させる情報抽出方法、登録装置、照合装置及びプログラムを提案する。
【解決手段】生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成し、立体像の基準位置に対して所定の位置関係をもつ複数の立体像の断面に対する形状を表す値を、識別情報として抽出するようにした。生体部位の立体像における一部の断面を表しつつも、該立体像の外形における基準位置と一定の関係をもつ断面を表すものとして識別データを抽出するため、立体像を離散的に表現することができる。
【選択図】図13
【解決手段】生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成し、立体像の基準位置に対して所定の位置関係をもつ複数の立体像の断面に対する形状を表す値を、識別情報として抽出するようにした。生体部位の立体像における一部の断面を表しつつも、該立体像の外形における基準位置と一定の関係をもつ断面を表すものとして識別データを抽出するため、立体像を離散的に表現することができる。
【選択図】図13
Description
本発明は情報抽出方法、登録装置、照合装置及びプログラムに関し、例えばバイオメトリクス認証に適用して好適なものである。
バイオメトリクス認証は、生体の識別対象を用いて本人であるか否かを識別する手法である。生体の識別対象の1つとして指の血管がある。
例えば、指先の異なる面の像を合成して3次元画像を生成し、これを識別対象として用いるようにした認証装置が提案されている(例えば特許文献1参照)。
特開2002−175529公報
この認証装置では、2次元画像よりも遥かに情報量の大きい3次元画像が識別対象とされているため、特定人(本人)の是非を識別する精度、つまり認証精度が向上するという利点がある。
その一方、この認証装置では、3次元画像を登録対象として記憶するためのメモリの占有量が増大し、また照合処理における負荷が増大するという問題がある。この問題を解決することは、この認証手法を、PDA(Personal Digital Assistants)や携帯電話機等の携帯端末装置に適用させる場合、特に重要となる。
本発明は以上の点を考慮してなされたもので、識別対象の情報量を抑えつつ認証精度を向上させ得る情報抽出方法、登録装置、照合装置及びプログラムを提案しようとするものである。
かかる課題を解決するため本発明は、情報抽出方法であって、生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成する第1のステップと、立体像の基準位置に対して所定の位置関係をもつ複数の立体像の断面に対する形状を表す値を、識別情報として抽出する第2のステップとを設けるようにした。
また本発明は、登録装置であって、生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成する生成手段と、立体像の基準位置に対して所定の位置関係をもつ立体像の断面に対する形状を表す値を抽出する抽出手段と、値を識別情報として記憶媒体に登録する登録手段とを設けるようにした。
さらに本発明は、照合装置であって、生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成する生成手段と、立体像の基準位置に対して所定の位置関係をもつ立体像の断面に対する形状を表す値を抽出する抽出手段と、値と、識別情報として記憶媒体に登録される値とを照合する照合手段とを設けるようにした。
さらに本発明は、プログラムであって、ワークメモリを制御する制御部に対して、生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成すること、立体像の基準位置に対して所定の位置関係をもつ立体像の断面に対する形状を表す値を抽出することを実行させるようにした。
本発明によれば、生体部位の立体像における一部の断面を表しつつも、該立体像の外形における基準位置と一定の関係をもつ断面を表すものとして識別データを抽出するため、立体像を離散的に表現することができ、この結果、単に立体像を識別情報とする場合に比して、識別対象の情報量を抑えつつ認証精度を向上させ得る情報抽出方法、登録装置、照合装置及びプログラムを実現できる。
以下図面について、本発明を適用した一実施の形態を詳述する。
(1)本実施の形態による認証装置の全体構成
図1において、本実施の形態による認証装置1の全体構成を示す。この認証装置1は、制御部10に対して、操作部11、撮像部12、メモリ13、インターフェース14及び通知部15をそれぞれバス16を介して接続することにより構成される。
図1において、本実施の形態による認証装置1の全体構成を示す。この認証装置1は、制御部10に対して、操作部11、撮像部12、メモリ13、インターフェース14及び通知部15をそれぞれバス16を介して接続することにより構成される。
制御部10は、認証装置1全体の制御を司るCPU(Central Processing Unit)と、各種プログラム及び設定情報などが格納されるROM(Read Only Memory)と、当該CPUのワークメモリとしてのRAM(Random Access Memory)とを含むコンピュータとして構成される。
この制御部10には、登録対象のユーザ(以下、これを登録者と呼ぶ)の指を登録するモード(以下、これを指登録モードと呼ぶ)の実行命令COM1又は登録者本人の有無を判定するモード(以下、これを認証モードと呼ぶ)の実行命令COM2が、ユーザ操作に応じて操作部11から入力される。
制御部10は、かかる実行命令COM1、COM2に基づいて実行すべきモードを決定し、この決定結果に対応するプログラムに基づいて、撮像部12、メモリ13、インターフェース14及び通知部15を適宜制御し、指登録モード又は認証モードを実行するようになされている。
撮像部12は、制御部10により指定される露出値(EV(Exposure Value)値)に基づいて、光学系におけるレンズ位置、絞りの絞り値及び撮像素子のシャッター速度(露出時間)を調整する。
また撮像部12は、撮像素子の撮像面に映し出される被写体像を所定周期ごとに撮像し、該撮像結果として生成される画像に関するデータ(以下、これを画像データと呼ぶ)を制御部10に順次出力する。
メモリ13は、例えばフラッシュメモリでなり、制御部10により指定されるデータを記憶し、又は読み出すようになされている。
インターフェース14は、所定の伝送線を介して接続された外部の装置との間で各種データを授受するようになされている。
通知部15は、表示部15a及び音声出力部15bでなり、該表示部15aは、制御部10から与えられる表示データに基づく文字や図形を表示画面に表示する。一方、音声出力部15bは、制御部10から与えられる音声データに基づく音声を、スピーカから出力するようになされている。
(2)指登録モード
次に、指登録モードについて説明する。制御部10は、実行すべきモードとして指登録モードを決定した場合、動作モードを指登録モードに遷移し、撮像空間に対して指を配置させ、該指を指周面(指腹、指側、及び指背の面)に沿って回転させなければならないことを通知部15に通知させるとともに、撮像部12を撮像動作させる。
次に、指登録モードについて説明する。制御部10は、実行すべきモードとして指登録モードを決定した場合、動作モードを指登録モードに遷移し、撮像空間に対して指を配置させ、該指を指周面(指腹、指側、及び指背の面)に沿って回転させなければならないことを通知部15に通知させるとともに、撮像部12を撮像動作させる。
この状態において、例えば図2に示すように、撮像空間に配される指が指周面に沿って回転させられた場合、例えば図3に示すように、撮像部12では、可視光を撮像光として、指表面の画像(以下、これを指画像と呼ぶ)が順次得られることとなる。
また制御部10は、撮像部12から撮像順に入力される画像データに基づいて、指の立体像(以下、これを指立体像と呼ぶ)を生成し、当該指立体像における断面の形状を表す値(以下、これを断面形状値と呼ぶ)を抽出する。そして制御部10は、この断面形状値を識別対象のデータ(以下、これを識別データと呼ぶ)としてメモリ13に記憶することにより登録する。
このようにして制御部10は、指登録モードを実行することができるようになされている。
(3)認証モード
次に、認証モードについて説明する。制御部10は、実行すべきモードとして認証モードを決定した場合、動作モードを認証モードに遷移し、指登録モードの場合と同様に、撮像空間において指を指周面に沿って回転させなければならないことを通知部15から通知させるとともに、撮像部12を撮像動作させる。
次に、認証モードについて説明する。制御部10は、実行すべきモードとして認証モードを決定した場合、動作モードを認証モードに遷移し、指登録モードの場合と同様に、撮像空間において指を指周面に沿って回転させなければならないことを通知部15から通知させるとともに、撮像部12を撮像動作させる。
また制御部10は、撮像部12から撮像順に入力される画像データに基づいて、指登録モードと同様にして指立体像における断面形状値を抽出する。そして制御部10は、抽出した断面形状値と、メモリ13に識別データとして記憶された断面形状値とを照合し、この照合結果から、登録者と承認することができるか否かを判定するようになされている。
ここで、登録者と承認することができないものと判定した場合、制御部10は、その旨を表示部15a及び音声出力部15bを介して視覚的及び聴覚的に通知する。これに対して、登録者と承認することができるものと判定した場合、制御部10は、登録者と承認したことを表すデータを、インターフェース14に接続された装置に送出する。この装置では、登録者と承認したことを表すデータをトリガとして、例えば、ドアを一定期間閉錠させる、あるいは、制限対象の動作モードを解除させる等、認証成功時に実行すべき所定の処理が行われる。
このようにしてこの制御部10は、認証モードを実行することができるようになされている。
(4)断面形状値の抽出処理
次に、制御部10における断面形状値の抽出処理を説明する。この処理は、機能的には、図4に示すように、指関節検出部21、画像回転部22、画像切出部23、動き量算出部24、3次元像生成部25及び形状抽出部26にそれぞれ分けることができる。以下、指関節検出部21、画像回転部22、画像切出部23、動き量算出部24、3次元像生成部25及び形状抽出部26を詳細に説明する。
次に、制御部10における断面形状値の抽出処理を説明する。この処理は、機能的には、図4に示すように、指関節検出部21、画像回転部22、画像切出部23、動き量算出部24、3次元像生成部25及び形状抽出部26にそれぞれ分けることができる。以下、指関節検出部21、画像回転部22、画像切出部23、動き量算出部24、3次元像生成部25及び形状抽出部26を詳細に説明する。
(4−1)指関節の検出
指関節検出部21には、撮像部12から、画像データを適宜間引きする過程を経て、指画像に関するデータ(以下、これを指画像データと呼ぶ)DFai(i=1、2、3、……、又はn(nは整数))が入力される。
指関節検出部21には、撮像部12から、画像データを適宜間引きする過程を経て、指画像に関するデータ(以下、これを指画像データと呼ぶ)DFai(i=1、2、3、……、又はn(nは整数))が入力される。
指関節検出部21は、指画像データDFaiを取得した場合、該指画像データDFaiに基づく指画像から関節を検出する。また指関節検出部21は、関節を検出した場合、その関節の位置を表す位置データDPiを画像回転部22、画像切出部23及び形状抽出部26に与えるとともに、当該関節の検出過程で得られる、指の領域が抽出された指画像に関するデータ(指画像データ)DFbiを画像回転部22に与える。
この指関節検出部21における検出手法の一例を説明する。指関節検出部21は、指の画像データDFaiを取得した場合、例えば図5に示すように、当該指画像(図5(A))のコントラストに基づいて、その指画像から指の領域を抽出する(図5(B))。
次に、指関節検出部21は、この指の領域から、指輪郭を構成する点(以下、これを指輪郭点と呼ぶ)を、輪郭抽出フィルタを用いて抽出し(図5(C))、該指輪郭点から、水平方向に相当する指輪郭点を、ハフ変換等を用いて引き伸ばすことにより抽出する(図5(D))。
そして指関節検出部21は、この引き伸ばされた各指輪郭の略中央を通る線分を、関節JNLとして検出するようになされている(図5(E))。
(4−2)画像の回転補正
画像回転部22は、指画像データDFbiを取得した場合、その指画像データDFbiに対応する位置データDPiから関節の位置を認識し、この関節の位置を基準として、当該指画像を回転補正する。そして画像回転部22は、回転補正した指画像に関するデータ(指画像データ)DFciを画像切出部23に与える。
画像回転部22は、指画像データDFbiを取得した場合、その指画像データDFbiに対応する位置データDPiから関節の位置を認識し、この関節の位置を基準として、当該指画像を回転補正する。そして画像回転部22は、回転補正した指画像に関するデータ(指画像データ)DFciを画像切出部23に与える。
この画像回転部22における回転手法の一例を説明する。画像回転部22は、例えば図6に示すように、画像の列方向のラインLNに対する、関節JNLからのなす角θxを、指画像の回転補正量として求める。
この結果、この例では、各視点の指画像は、当該画像に写る指の長手方向が画像の行方向となるように回転補正されることとなる。なお、この例では、画像の列方向と、関節JNLの伸長方向とのなす角が0[°]となるように回転補正する場合としたが、該画像の行又は列方向と、関節の伸長方向とのなす角が所定角となればよい。
(4−3)画像の切出
画像切出部23は、指画像データDFciを取得した場合、その指画像データDFbiに対応する位置データDPiから関節の位置を認識し、この関節の位置を基準として、当該指画像から、所定サイズの領域を切り出す。そして画像切出部23は、切り出した領域の画像に関するデータ(以下、これを指画像部分データと呼ぶ)DFdiを動き量算出部24及び3次元像生成部25に与える。
画像切出部23は、指画像データDFciを取得した場合、その指画像データDFbiに対応する位置データDPiから関節の位置を認識し、この関節の位置を基準として、当該指画像から、所定サイズの領域を切り出す。そして画像切出部23は、切り出した領域の画像に関するデータ(以下、これを指画像部分データと呼ぶ)DFdiを動き量算出部24及び3次元像生成部25に与える。
(4−4)動き量の算出
動き量算出部24は、画像切出部23から入力される指画像部分データDFdiを処理対象として選択した場合、その選択した指画像部分データDFdiに基づく指画像と、該選択した指画像部分データDFdiの直前に入力された指画像部分データDFdiに基づく指画像とに写る指の動き量を算出する。そして動き量算出部24は、動き量を算出した場合、当該動き量を表すデータ(以下、これを動き量データと呼ぶ)DFM1-2、DFM2-3、DFM3-4、……、又は、DFM(n−1)-nを3次元像生成部25に与える。
動き量算出部24は、画像切出部23から入力される指画像部分データDFdiを処理対象として選択した場合、その選択した指画像部分データDFdiに基づく指画像と、該選択した指画像部分データDFdiの直前に入力された指画像部分データDFdiに基づく指画像とに写る指の動き量を算出する。そして動き量算出部24は、動き量を算出した場合、当該動き量を表すデータ(以下、これを動き量データと呼ぶ)DFM1-2、DFM2-3、DFM3-4、……、又は、DFM(n−1)-nを3次元像生成部25に与える。
この動き量算出部24における算出手法の一例を説明する。この動き量算出部24では、オプティカルフローにより動き量が算出される。以下、処理対象として選択した指画像を現画像と呼び、該指画像の直前に入力された指画像を前画像と呼ぶ。
すなわち動き量算出部24は、例えば図7(A)に示すように、現画像IM1における注目対象の点(以下、これを注目点と呼ぶ)APを決定し、その注目点APを中心とする(m×n)画素のブロック(以下、これを注目ブロックと呼ぶ)ABLにおける輝度値を認識する。
そして動き量算出部24は、図7(B)に示すように、前画像IM2のなかから、注目ブロックABLにおける輝度値との差を最小とするブロックを探索し、探索されたブロックRBLの中心を、注目点APに対応する点(以下、これを対応点と呼ぶ)XPとして、注目点APに相当する位置AP´を基準とする対応点XPまでの位置ベクトルV(Vx、Vy)を求める。
動き量算出部24は、このようにして現画像IM1における複数の注目ブロックにそれぞれ相応するブロックを前画像IM2のなかから探索するとともに、当該ブロックにおける中心(XP)と、注目ブロックの中心と同一の位置(AP´)との各位置ベクトルの平均(水平方向のベクトル成分Vxの平均、垂直方向のベクトル成分Vyの平均)を、動き量として算出するようになされている。
この動き量は、指が置かれる面に対して水平動の方向(回転方向)の動きだけでなく、指圧量や回転軸の変動等に起因して、該面に対して垂直動の方向(回転方向に直交する方向)の動きを表す値となっている。
なお、動き量としては、各位置ベクトルの平均(水平方向のベクトル成分Vxの平均、垂直方向のベクトル成分Vyの平均)に代えて、例えば、各位置ベクトルの最大値若しくは最小値又は標準偏差値等、各位置ベクトルから統計学的手法により得られる値(代表値)を採用することができる。
また、現画像IM1における複数の注目ブロックは、一般には現画像IM1の全画素とされるが、該現画像IM1に写る指又は血管を構成する部分の一部とするようにしてもよい。
さらに、前画像IM2のなかから、注目ブロックABLにおける輝度値との差を最小とするブロックを探索する範囲は、一般には前画像IM2全体とされるが、過去に検出した動き量だけずらした位置を中心として、複数の注目ブロックの大きさに相当する範囲とするようにしてもよく、該範囲の形状を、過去に検出した動き量の時間変化量に対応させて切り換えるようにしてもよい。
(4−5)3次元像の生成
3次元像生成部25は、図8に示すように、ボクセルと呼ばれる立方体を構成単位とする所定形状の3次元空間(以下、これをボクセル空間と呼ぶ)を、射影対象の空間として定義する。
3次元像生成部25は、図8に示すように、ボクセルと呼ばれる立方体を構成単位とする所定形状の3次元空間(以下、これをボクセル空間と呼ぶ)を、射影対象の空間として定義する。
そして3次元像生成部25は、画像切出部23から入力される指画像部分データDFd1〜DFdnに基づいて、当該指画像に写る指におけるシルエットの共通部分をボクセル空間上で指立体像(3次元ボリューム)として生成し、該指立体像のデータ(ボクセルデータ)を、3次元ボリュームデータDTDとして形状抽出部26に与える。
この3次元像生成部25における指立体像の生成手法の一例を説明する。3次元像生成部25は、焦点距離や画像中心等のカメラ情報と、ボクセル空間に関する情報とに基づいて、指周囲から捉えられた各指画像の視点を認識し、これら視点からその画像に写る指をボクセル空間にそれぞれ投影した場合に該ボクセル空間に投影されるシルエット領域をそれぞれ検出する。
すなわち、3次元像生成部25は、画像切出部23から最初に入力される指画像部分データDFd1を処理対象とした場合、該指画像部分データDFd1に基づく指画像を基準画像として、例えば図9に示すように、ボクセル空間周囲の視点のうち、回転角0[°]の視点に対応する位置に配置し、ボクセル空間の投影表面から最奥までに投影されるシルエット領域ARFを検出する。
具体的には、ボクセル空間における各ボクセルを、指画像に向けて逆投影して投影点を算出し、当該ボクセルの投影点が指画像に写る指の輪郭内に存在するボクセルを、シルエット領域のボクセルとして残存させることによってシルエット領域を検出するようになされている。
一方、3次元像生成部25は、画像切出部23から、最初の指画像部分データDFd1よりも後に入力される指画像部分データDFd3、DFd5、……を処理対象とした場合、基準画像から、処理対象とした指画像部分データDFdに基づく指画像までの回転方向に対応する動き量(以下、これを回転動き量と呼ぶ)を、動き量算出部24から入力される対応する動き量データDFMに基づいて認識する。
そして3次元像生成部25は、この回転動き量をVxとし、指の回転軸から指表面までの距離として設定された値をrとすると、次式
によって、基準画像に対する、現在の処理対象となる指画像の回転角(以下、これを第1の回転角と呼ぶ)θroを求め、これが360[°]未満であるか否かを判定する。
この第1の回転角θroが360[°]未満である場合、このことは、指の全周から捉えられた複数の指画像に対する視体積(シルエット領域)の全てを未だ検出していない状態にあることを意味する。この場合、3次元像生成部25は、この第1の回転角θroと、現在の処理対象の直前に視体積を検出した指画像及び基準画像の回転角(以下、これを第2の回転角と呼ぶ)との差を求め、この差が所定の閾値以上であるか否かを判定する。
この差が閾値未満となる場合、このことは、指の回転が停止又は停止に等しい状態にあることを意味する。この場合、3次元像生成部25は、現在の処理対象となる指画像のシルエット領域を求めることなく、該処理対象の次に入力される指画像部分データDFdを処理対象とする。これにより3次元像生成部25は、無駄なシルエット領域の算出を未然に防止することができるようになされている。
これに対して閾値以上となる場合、このことは、指が回転している状態にあることを意味する。この場合、3次元像生成部25は、例えば図10に示すように、基準位置IMSの視点VPSに対して第1の回転角θroをなす視点VPXを認識し、該視点VPXに対応する位置に、現在の処理対象となる指画像IMXを配置する。
そして3次元像生成部25は、この指画像IMXについて、射影空間の投影表面から最奥までに投影されるシルエット領域を検出した後、該処理対象の次に入力される指画像部分データDFdを処理対象とするようになされている。
なお、3次元像生成部25は、現在の処理対象となる指画像IMXをボクセル空間周囲に配置する場合、該指画像IMXと、その指画像IMXの直前に視体積を検出した指画像IM(X−1)とについて、指の回転方向に直交する方向の動き量(現在の処理対象となる指画像と、最後に配置された指画像とにおける垂直方向のベクトル成分Vyの平均)を、対応する動き量データDFM(図4)に基づいて認識し、当該動き量だけ補正方向(ボクセル空間のZ軸方向と平行となる方向)RDに視点VPXを位置補正する。
これにより3次元像生成部25は、指の回転時における指圧量や回転軸の変動等が起きても、該変動に追従させてシルエット領域を検出できるので、指の回転方向に直交する方向の動き量を考慮しない場合に比して、正確にシルエット領域を検出することができるようになされている。
このようにして3次元像生成部25は、基準画像に対する第1の回転角θroが360[°]以上となるまで、指周囲から捉えられた各指画像に写る指のシルエット領域をそれぞれ検出していく。
また、3次元像生成部25は、基準画像に対する第1の回転角θroが360[°]以上となった場合、これまでに検出した各シルエット領域のうち、共通する部分を、指立体像(3次元ボリューム)として抽出することによって、例えば図11に示すように、該指立体像を生成するようになされている。
(4−6)立体像における断面形状の認識
形状抽出部26は、3次元像生成部25から入力される3次元ボリュームデータDTDを取得した場合、例えば図12に示すように、該3次元ボリュームデータDTDに基づく指立体像を認識するとともに、指関節検出部21から入力される位置データDPiに基づいて、指立体像における関節JNLの位置を認識する。
形状抽出部26は、3次元像生成部25から入力される3次元ボリュームデータDTDを取得した場合、例えば図12に示すように、該3次元ボリュームデータDTDに基づく指立体像を認識するとともに、指関節検出部21から入力される位置データDPiに基づいて、指立体像における関節JNLの位置を認識する。
そして形状抽出部26は、関節JNLの位置を基準とし、その関節位置に対して所定の位置関係をもつ複数の断面における断面形状値を抽出し、各断面形状値を識別データDISとして生成する。この識別データDISは、指登録モードの場合には、メモリ13に登録され、認証モードの場合には、メモリ13に登録された識別データと照合される。
この形状抽出部26における断面形状値の抽出手法の一例を説明する。形状抽出部26は、例えば図13に示すように、関節の位置を通りその関節と平行となる断面SC1と、関節の位置から関節に対して直交する方向(指の長手方向)に第1の距離DS1、DS2だけ隔てた位置を通り関節と平行となる断面SC2、SC3と、関節の位置から指の長手方向に第1の距離よりも大きい第2の距離DS3、DS4だけ隔てた位置を通り関節と平行となる断面SC4、SC5とを、断面形状値の抽出対象として決定する。
そして形状抽出部26は、これら断面SC1〜SC5ごとに、例えば図14に示すように、当該断面の外周OC、面積SFA、中心位置CP、該中心位置CPを通る長径MA1及び短径MA2を断面形状値として求めることにより抽出するようになされている。
(5)動作及び効果
以上の構成において、この認証装置1における制御部10は、対象空間(図8)において、生体部位周囲を視点とする複数の指画像から、当該画像に写る指におけるシルエットの共通部分を指立体像(図11)として生成する。
以上の構成において、この認証装置1における制御部10は、対象空間(図8)において、生体部位周囲を視点とする複数の指画像から、当該画像に写る指におけるシルエットの共通部分を指立体像(図11)として生成する。
そして制御部10は、指立体像における関節JNL(図12)の位置に対して所定の位置関係をもつ断面に対する形状を表す値(断面形状値)を、識別データとして抽出する。
したがって、この制御部10は、指立体像における一部の形状自体を表しつつも、指立体像の外形における基準位置と一定の関係をもつ部分の形状を表すものとして識別データを抽出するため、指立体像を離散的に表現することができ、この結果、単に指立体像を識別情報とする場合に比して、識別対象の情報量を抑えつつ認証精度を向上させことが可能となる。
この実施の形態の場合、指立体像の断面における形状を表す複数の断面形状値(外周OC、面積SFA、中心位置CP、該中心位置CPを通る長径MA1及び短径MA2)についても識別データとされる。
さらにこの実施の形態の場合、識別データは、関節JNL(図12)の位置に対して所定の位置関係をもつ5つの断面SC1〜SC5(図13)における各断面形状値が識別データとされる。
したがって、この制御部10は、指の構造を詳細に表現することができ、より一段と認証精度を向上させことが可能となる。
また、この制御部10は、指立体像の生成前に、指画像に写る指の関節JNLを検出し、指画像の行又は列方向と、該関節JNLの伸長方向とのなす角が所定角となるように、指画像を回転補正する。
したがって、制御部10は、指立体像を生成する場合に、当該生成基の画像に写る指におけるシルエットの共通部分を正確に得ることができ、この結果、より一段と認証精度を向上させことが可能となる。
この実施の形態の場合、回転補正の基準は、断面の基準と同じ関節JNLとされているため、当該基準を別々にする場合に比して、指立体像を生成するまでの処理負荷を低減することが可能となる。
また、この制御部10は、指立体像を生成する場合、指周面の撮像するように指示し、撮像部12から得られる各指画像について、算出対象として選択した画像と、該画像の直前に入力される画像とに写る指の動き量を算出する(図7等)。
この状態において制御部10は、各指画像の視点を動き量から認識し、当該画像の視点位置からその画像に映し出される指又は血管をボクセル空間にそれぞれ投影した場合に該ボクセル空間に投影される投影領域(図9)の共通部分を、指立体像(図11)として生成する。
したがって、制御部10は、一の撮像部12により撮像される画像から指立体像を生成することができるため、複数のカメラにより撮像される画像から立体像を生成する場合に比して、小型化でき、PDAや携帯電話機等の携帯端末装置に搭載する場合等、有用となる。
以上の構成によれば、指立体像における関節JNL(図21)の位置に対して所定の位置関係をもつ断面に対する形状を表す値(断面形状値)を、識別データとして抽出するようにしたことにより、指立体像を離散的に表現することができ、かくして識別対象の情報量を抑えつつ認証精度を向上し得る認証装置1を実現できる。
(6)他の実施の形態
上述の実施の形態においては、基準位置に対して所定の位置関係をもつ複数の断面SC1〜SC5(図13)の形状を表す値(断面形状値)を抽出するようにした場合について述べたが、本発明はこれに加えて、当該断面から選択した一対の断面と、指の外形とによって囲まれる体積を抽出するようにしてもよい。なお、選択すべき一対の断面は、例えば断面SC1とSC5、あるいは、断面SC1とSC2等、どのような組み合わせでもよく、また一対の断面を2以上選択するようにしてもよい。
上述の実施の形態においては、基準位置に対して所定の位置関係をもつ複数の断面SC1〜SC5(図13)の形状を表す値(断面形状値)を抽出するようにした場合について述べたが、本発明はこれに加えて、当該断面から選択した一対の断面と、指の外形とによって囲まれる体積を抽出するようにしてもよい。なお、選択すべき一対の断面は、例えば断面SC1とSC5、あるいは、断面SC1とSC2等、どのような組み合わせでもよく、また一対の断面を2以上選択するようにしてもよい。
また、断面形状値として、断面の外周OC、面積SFA、中心位置CP、該中心位置CPを通る長径MA1及び短径MA2を適用するようにした場合について述べたが、これらの一部を省略するようにしてもよく、例えば、指の長手方向の長さ等、新たな事項を加えるようにしてもよい。
なお、登録時又は照合時において、操作部11(図1)を介して断面形状値として抽出すべき対象を入力又は選択させ、該入力又は選択された断面形状値を抽出するようにしてもよい。このようにすれば、断面形状値に対する抽出内容や抽出数を、ユーザだけが知り得る付随的な暗証情報とすることができるため、識別対象の情報量を抑えつつより一段と認証精度を向上することができる。
さらに、複数の断面形状値(断面の外周OC、面積SFA、中心位置CP、該中心位置CPを通る長径MA1及び短径MA2)に対して、重要度が高いほど、登録者との承認判定に影響する程度を大きく割り当てるようにしてもよい。このようにすれば、照合時において、重要度の高い断面形状値が合致さえすれば(非合致であれば)、重要度の低い断面形状値が非合致であっても(合致していても)、登録者と承認する(登録者と承認しない)ことができるため、識別対象の情報量を抑えつつより一段と認証精度を向上することができる。
また、断面形状値の抽出対象となる断面数として、上述の実施の形態では、5つの断面SC1〜SC5を適用する場合について述べたが、本発明はこれに限らず、1又は2以上の断面を適用することができる。
なお、登録時又は照合時において、操作部11(図1)を介して断面の抽出数を入力又は選択させ、該入力又は選択された抽出数に応じた断面の断面形状値を抽出するようにしてもよい。このようにすれば、断面の抽出数を、ユーザだけが知り得る付随的な暗証情報とすることができるため、識別対象の情報量を抑えつつより一段と認証精度を向上することができる。
また、基準位置に対する断面の位置関係として、上述の実施の形態では、関節の位置を通りその関節と平行となる断面SC1と、関節の位置から関節に対して直交する方向(指の長手方向)に第1の距離DS1、DS2だけ隔てた位置を通り関節と平行となる断面SC2、SC3と、関節の位置から指の長手方向に第1の距離よりも大きい第2の距離DS3、DS4だけ隔てた位置を通り関節と平行となる断面SC4、SC5としたが、本発明はこれに限らず、これ以外の位置関係であってもよい。
例えば、断面SC1〜SC5の全部又は一部を、関節と平行となる面に対して所定角度をなす断面に変更するようにしてもよく、また基準位置を、関節の位置に代えて、指先等とするようにしてもよい。またこの基準位置は、例えば、指画像に代えて掌の画像を採用した場合には、生命線等とするといったように、採用される生体部位の画像の種に応じて、適宜変わる。
なお、当該位置関係を複数のパターンとして用意し、基準位置に対して、これらパターンのうち選択されたパターンの位置関係をもつ断面を抽出するようにしてもよい。このようにすれば、断面形状値として抽出すべき断面の位置を、ユーザの選択に応じて切り換えることができるため、ユーザだけが知り得る付随的な暗証情報とすることができ、この結果、識別対象の情報量を抑えつつより一段と認証精度を向上することができる。
上述の実施の形態においては、生体部位周囲を視点とする複数画像として、指画像を適用した場合について述べたが、本発明はこれに限らず、掌、足指、腕又は腕等の画像を適用することができる。
さらに上述の実施の形態においては、ROMに格納されたプログラムに基づいて、指登録モード及び認証モードを実行するようにした場合について述べたが、本発明はこれに限らず、CD(Compact Disc)、DVD(Digital Versatile Disc)、半導体メモリ等のプログラム格納媒体からインストールし、又はインターネット上のプログラム提供サーバからダウンロードすることにより取得したプログラムに基づいて、指登録モード及び認証モードを実行するようにしてもよい。
さらに上述の実施の形態においては、登録処理及び認証処理を制御部10が実行するようにした場合について述べたが、本発明はこれに限らず、これら処理の一部をグラフィックスワークステーションで実行するようにしてもよい。
さらに上述の実施の形態においては、撮像機能、照合機能及び登録機能を有する認証装置1を適用するようにした場合について述べたが、本発明はこれに限らず、当該用途に応じて、機能ごとに又は各機能の一部を単体の装置に分けた態様で適用するようにしてもよい。
本発明は、バイオメトリクス認証する分野に利用可能である。
1……認証装置、10……制御部、11……操作部、12……撮像部、13……メモリ、14……インターフェース、15……通知部、15a……表示部、15b……音声出力部、21……指関節検出部、22……画像回転部、23……画像切出部、24……動き量算出部、25……3次元像生成部、26……形状抽出部。
Claims (10)
- 生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成する第1のステップと、
上記立体像の外形における基準位置に対して所定の位置関係をもつ複数の上記立体像の断面に対する形状を表す値を、識別情報として抽出する第2のステップと
を具えることを特徴とする情報抽出方法。 - 上記生体部位は指である
ことを特徴とする請求項1に記載の情報抽出方法。 - 上記第2のステップでは、
上記基準位置に対して所定の位置関係をもつ複数の上記立体像の断面ごとに複数の上記値を求め、当該値を上記識別情報として抽出する
ことを特徴とする請求項1に記載の情報抽出方法。 - 上記第2のステップでは、
複数の上記位置関係のパターンのうち、上記基準位置に対して、選択されたパターンに対応する位置関係をもつ上記立体像の断面を抽出する
ことを特徴とする請求項1に記載の情報抽出方法。 - 上記画像から、当該画像に写る生体部位における関節を検出する検出ステップと、
上記複数の画像を、該画像の行又は列方向と、上記関節の伸長方向とのなす角が所定角となるように回転補正する回転補正ステップと
をさらに具え、
上記第1のステップでは、
回転補正された各上記画像から上記立体像を生成する
ことを特徴とする請求項1に記載の情報抽出方法。 - 上記第2のステップでは、
上記立体像から上記関節に対応する位置を認識し、該位置に対して所定の位置関係をもつ上記立体像の断面に対する形状を表す値を、識別情報として抽出する
ことを特徴とする請求項3に記載の情報抽出方法。 - 算出対象として選択した画像と、該画像の直前に入力される画像とに写る上記生体部位の動き量を算出する算出ステップ
をさらに具え、
上記第1のステップでは、
上記複数の画像の視点を上記動き量から認識し、当該画像の視点位置からその画像に映し出される上記生体部位を上記対象空間にそれぞれ投影した場合に該対象空間に投影される投影領域の共通部分を、上記立体像として生成する
ことを特徴とする請求項1に記載の情報抽出方法。 - 生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成する生成手段と、
上記立体像の基準位置に対して所定の位置関係をもつ上記立体像の断面に対する形状を表す値を抽出する抽出手段と、
上記値を識別情報として記憶媒体に登録する登録手段と
を具えることを特徴とする登録装置。 - 生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成する生成手段と、
上記立体像の基準位置に対して所定の位置関係をもつ上記立体像の断面に対する形状を表す値を抽出する抽出手段と、
上記値と、識別情報として記憶媒体に登録される上記値とを照合する照合手段と
を具えることを特徴とする照合装置。 - ワークメモリを制御する制御部に対して、
生体部位周囲を視点とする複数の画像から、当該画像に写る生体部位におけるシルエットの共通部分を対象空間上で立体像として生成すること、
上記立体像の基準位置に対して所定の位置関係をもつ上記立体像の断面に対する形状を表す値を抽出すること
を実行させることを特徴とするプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007046090A JP2008210140A (ja) | 2007-02-26 | 2007-02-26 | 情報抽出方法、登録装置、照合装置及びプログラム |
CN200880006246A CN101657841A (zh) | 2007-02-26 | 2008-02-25 | 信息提取方法、登记设备、验证设备和程序 |
KR1020097017659A KR20090115738A (ko) | 2007-02-26 | 2008-02-25 | 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램 |
PCT/JP2008/053708 WO2008105545A1 (ja) | 2007-02-26 | 2008-02-25 | 情報抽出方法、登録装置、照合装置及びプログラム |
EP08721128A EP2128820A1 (en) | 2007-02-26 | 2008-02-25 | Information extracting method, registering device, collating device and program |
US12/528,529 US20100014760A1 (en) | 2007-02-26 | 2008-02-25 | Information Extracting Method, Registration Device, Verification Device, and Program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007046090A JP2008210140A (ja) | 2007-02-26 | 2007-02-26 | 情報抽出方法、登録装置、照合装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008210140A true JP2008210140A (ja) | 2008-09-11 |
Family
ID=39721367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007046090A Pending JP2008210140A (ja) | 2007-02-26 | 2007-02-26 | 情報抽出方法、登録装置、照合装置及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100014760A1 (ja) |
EP (1) | EP2128820A1 (ja) |
JP (1) | JP2008210140A (ja) |
KR (1) | KR20090115738A (ja) |
CN (1) | CN101657841A (ja) |
WO (1) | WO2008105545A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5747642B2 (ja) | 2011-05-06 | 2015-07-15 | 富士通株式会社 | 生体認証装置、生体認証システム、生体認証サーバ、生体認証クライアント及び生体認証装置制御方法 |
JP5749972B2 (ja) * | 2011-05-10 | 2015-07-15 | 株式会社住田光学ガラス | 指紋採取装置及び指紋採取方法 |
US8625873B2 (en) * | 2012-02-24 | 2014-01-07 | Kabushiki Kaisha Toshiba | Medical image processing apparatus |
JP6657933B2 (ja) * | 2015-12-25 | 2020-03-04 | ソニー株式会社 | 医療用撮像装置及び手術ナビゲーションシステム |
CN109620140B (zh) * | 2017-10-06 | 2021-07-27 | 佳能株式会社 | 图像处理装置、图像处理方法和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10307919A (ja) * | 1997-05-01 | 1998-11-17 | Omron Corp | 本人特定装置 |
JP2003067726A (ja) * | 2001-08-27 | 2003-03-07 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
JP2003070021A (ja) * | 2001-08-27 | 2003-03-07 | Sanyo Electric Co Ltd | ポータブル三次元データ入力装置及び立体モデル生成装置 |
JP2003093369A (ja) * | 2001-09-21 | 2003-04-02 | Sony Corp | 認証処理システム、および認証処理方法、並びにコンピュータ・プログラム |
JP2007000219A (ja) * | 2005-06-22 | 2007-01-11 | Hitachi Ltd | 個人認証装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092616A (ja) * | 2000-09-20 | 2002-03-29 | Hitachi Ltd | 個人認証装置 |
US20040008875A1 (en) * | 2002-07-09 | 2004-01-15 | Miguel Linares | 3-D fingerprint identification system |
JP4207717B2 (ja) * | 2003-08-26 | 2009-01-14 | 株式会社日立製作所 | 個人認証装置 |
US20070183633A1 (en) * | 2004-03-24 | 2007-08-09 | Andre Hoffmann | Identification, verification, and recognition method and system |
-
2007
- 2007-02-26 JP JP2007046090A patent/JP2008210140A/ja active Pending
-
2008
- 2008-02-25 US US12/528,529 patent/US20100014760A1/en not_active Abandoned
- 2008-02-25 EP EP08721128A patent/EP2128820A1/en not_active Withdrawn
- 2008-02-25 KR KR1020097017659A patent/KR20090115738A/ko not_active Application Discontinuation
- 2008-02-25 WO PCT/JP2008/053708 patent/WO2008105545A1/ja active Application Filing
- 2008-02-25 CN CN200880006246A patent/CN101657841A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10307919A (ja) * | 1997-05-01 | 1998-11-17 | Omron Corp | 本人特定装置 |
JP2003067726A (ja) * | 2001-08-27 | 2003-03-07 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
JP2003070021A (ja) * | 2001-08-27 | 2003-03-07 | Sanyo Electric Co Ltd | ポータブル三次元データ入力装置及び立体モデル生成装置 |
JP2003093369A (ja) * | 2001-09-21 | 2003-04-02 | Sony Corp | 認証処理システム、および認証処理方法、並びにコンピュータ・プログラム |
JP2007000219A (ja) * | 2005-06-22 | 2007-01-11 | Hitachi Ltd | 個人認証装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101657841A (zh) | 2010-02-24 |
KR20090115738A (ko) | 2009-11-05 |
EP2128820A1 (en) | 2009-12-02 |
WO2008105545A1 (ja) | 2008-09-04 |
US20100014760A1 (en) | 2010-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061645B2 (ja) | 情報抽出方法、情報抽出装置、プログラム、登録装置及び照合装置 | |
CN109711243B (zh) | 一种基于深度学习的静态三维人脸活体检测方法 | |
EP2842075B1 (en) | Three-dimensional face recognition for mobile devices | |
CN111914775B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
US9959454B2 (en) | Face recognition device, face recognition method, and computer-readable recording medium | |
US20160379050A1 (en) | Method for determining authenticity of a three-dimensional object | |
CN109684951A (zh) | 人脸识别方法、底库录入方法、装置及电子设备 | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
US20180075291A1 (en) | Biometrics authentication based on a normalized image of an object | |
KR20190098858A (ko) | 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치 | |
US11663853B2 (en) | Iris authentication device, iris authentication method, and recording medium | |
KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
WO2008143268A1 (ja) | 登録装置、照合装置、プログラム及びデータ構造 | |
CN108875549B (zh) | 图像识别方法、装置、系统及计算机存储介质 | |
JP2008210140A (ja) | 情報抽出方法、登録装置、照合装置及びプログラム | |
JP2009015518A (ja) | 眼画像撮影装置及び認証装置 | |
US8780116B2 (en) | Object-shape generation method, object-shape generation apparatus, and program | |
CN111274602B (zh) | 一种图像特征信息替换方法、装置、设备及介质 | |
JP2007213199A (ja) | 生体識別装置 | |
JP4636338B2 (ja) | 表面抽出方法、表面抽出装置及びプログラム | |
JP2007004534A (ja) | 顔判別方法および装置ならびに顔認証装置 | |
JP2007004536A (ja) | 被写体判別方法および顔判別装置 | |
JP2008186125A (ja) | 認証方法、認証装置およびプログラム | |
JP2010108374A (ja) | 身体における特徴点を用いた個人認証システム及び個人認証方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120605 |