JP2008203995A - 物体形状生成方法、物体形状生成装置及びプログラム - Google Patents

物体形状生成方法、物体形状生成装置及びプログラム Download PDF

Info

Publication number
JP2008203995A
JP2008203995A JP2007036766A JP2007036766A JP2008203995A JP 2008203995 A JP2008203995 A JP 2008203995A JP 2007036766 A JP2007036766 A JP 2007036766A JP 2007036766 A JP2007036766 A JP 2007036766A JP 2008203995 A JP2008203995 A JP 2008203995A
Authority
JP
Japan
Prior art keywords
image
projection
projected
blood vessel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007036766A
Other languages
English (en)
Inventor
Hiroshi Abe
博 阿部
Abdul Muquit Mohammad
アブドゥル ムキト モハマッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007036766A priority Critical patent/JP2008203995A/ja
Priority to US12/527,290 priority patent/US8780116B2/en
Priority to CN2008800053389A priority patent/CN101617338B/zh
Priority to KR1020097016961A priority patent/KR20090110348A/ko
Priority to PCT/JP2008/052908 priority patent/WO2008099963A1/ja
Priority to EP08711697.6A priority patent/EP2120206A4/en
Publication of JP2008203995A publication Critical patent/JP2008203995A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】物体の裏側を撮像できないような状況下であっても、物体の形状を高精度で生成できるようにする。
【解決手段】物体周囲から撮像される複数の画像ごとに、当該画像の視点位置からその画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域をそれぞれ検出し、検出された各投影領域のうち、共通となる部分を抽出するようにした。
【選択図】図17

Description

本発明は物体形状生成方法、物体形状生成装置及びプログラムに関し、例えばバイオメトリクス認証に適用して好適なものである。
バイオメトリクス認証は、生体の識別対象を用いて本人であるか否かを識別する手法である。生体の識別対象の1つとして指の血管がある。
例えば、指先の異なる面の像を合成して3次元画像を生成し、これを識別対象として用いるようにした認証装置が提案されている(例えば特許文献1参照)。
特開2002−175529公報
ところで、物体の形状を生成する手法として、視体積交差法(Shape From Silhouette法)と呼ばれるものがある。この視体積交差法は、物体の多視点における画像とカメラの位置情報等に基づいて、各画像におけるシルエットの全てが対象空間内で交差する領域を物体領域として残存させることにより、対象物体の形状を生成するものである。
この視体積交差法を用いて3次元の血管像を構築すれば、2次元の血管像(全周囲展開画像)に比して、識別対象となるパラメータの数が増加するため、認証精度が向上するものと考えられる。
しかしながら、生体における血管以外の部分は中空ではなく、脂肪等の各組織で塞がれているため、光学式の撮像カメラでは、例えば図1に示すように、撮像面の裏面側に存在する血管部分を映し出すことができない場合がある。
この場合、視体積交差法では、撮像面に映し出されない裏面の血管部分については、各画像におけるシルエットの全てが対象空間内で交差する領域とはならないので、物体領域として残存されないこととなり、この結果、実際の血管とは異なる形状が生成されるという問題がある。
本発明は以上の点を考慮してなされたもので、物体の裏側を撮像できないような状況下であっても、物体の形状を高精度で生成し得る物体形状生成装置、物体形状生成方法及びプログラムを提案しようとするものである。
かかる課題を解決するため本発明は、物体形状生成方法であって、物体周囲から撮像される複数の画像ごとに、当該画像の視点位置からその画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域を、それぞれ検出する第1のステップと、検出された各投影領域のうち、共通となる部分を抽出する第2のステップとを設けるようにした。
また本発明は、ワークメモリと、ワークメモリで画像処理を実行する画像処理部ともつ物体形状生成装置であって、当該画像処理部は、物体周囲から撮像される複数の画像ごとに、画像の視点位置から画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域をそれぞれ検出し、検出した各投影領域のうち、共通となる部分を抽出するようにした。
さらに本発明は、プログラムであって、ワークメモリを制御する制御部に対して、物体周囲から撮像される複数の画像ごとに、画像の視点位置から画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域をそれぞれ検出すること、検出された各投影領域のうち、共通となる部分を抽出することを実行させるようにした。
以上のように本発明によれば、射影空間の最奥まで投影されるシルエット領域の共通部分を血管の立体像として抽出するのではなく、射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影されるシルエット領域の共通部分を血管の立体像として抽出していることにより、撮像対象となる物体表面部分に着目して視体積を抽出することができるようになり、この結果、物体の裏側を撮像できないような状況下であっても、物体の形状を高精度で生成し得る物体形状生成方法、物体形状生成装置及びプログラムを実現できる。
以下図面について、本発明を適用した一実施の形態を詳述する。
(1)本実施の形態による認証装置の全体構成
図2において、本実施の形態による認証装置1の全体構成を示す。この認証装置1は、制御部10に対して、操作部11、撮像部12、メモリ13、インターフェース14及び通知部15をそれぞれバス16を介して接続することにより構成される。
制御部10は、認証装置1全体の制御を司るCPU(Central Processing Unit)と、各種プログラム及び設定情報などが格納されるROM(Read Only Memory)と、当該CPUのワークメモリとしてのRAM(Random Access Memory)とを含むコンピュータとして構成される。
この制御部10には、登録対象のユーザ(以下、これを登録者と呼ぶ)の血管を登録するモード(以下、これを血管登録モードと呼ぶ)の実行命令COM1又は登録者本人の有無を判定するモード(以下、これを認証モードと呼ぶ)の実行命令COM2が、ユーザ操作に応じて操作部11から与えられる。
制御部10は、かかる実行命令COM1、COM2に基づいて実行すべきモードを決定し、この決定結果に対応するプログラムに基づいて、撮像部12、メモリ13、インターフェース14及び通知部15を適宜制御し、血管登録モード又は認証モードを実行するようになされている。
撮像部12は、制御部10により指定される露出値(EV(Exposure Value)値)に基づいて、光学系におけるレンズ位置、絞りの絞り値及び撮像素子のシャッター速度(露出時間)を調整する。
また撮像部12は、撮像素子での撮像結果として、該撮像素子から所定周期で順次出力される画像信号をA/D(Analog/Digital)変換し、この変換結果として得られる画像データを制御部10に送出する。
さらに、この撮像部12は、制御部10により指定される期間に近赤外光光源を駆動し、撮像対象として指定された位置(以下、これを撮像位置と呼ぶ)に、血管に特異的に吸収される近赤外光を照射する。
この撮像位置に生体部位が配される場合、その生体部位の内方を経由した近赤外光は血管を投影する光として、光学系及び絞りによって撮像素子に入射され、該撮像素子の撮像面には生体内方における血管が結像される。したがってこの場合に撮像部12での撮像結果として得られる画像には、血管が映し出されることとなる。
メモリ13は、例えばフラッシュメモリでなり、制御部10により指定されるデータを記憶し、又は読み出すようになされている。
インターフェース14は、所定の伝送線を介して接続された外部の装置との間で各種データを授受するようになされている。
通知部15は、表示部15a及び音声出力部15bでなり、該表示部15aは、制御部10から与えられる表示データに基づく内容を、文字や図形により表示画面に表示する。一方、音声出力部15bは、制御部10から与えられる音声データに基づく音声を、スピーカから出力するようになされている。
(2)血管登録モード
次に、血管登録モードについて説明する。制御部10は、実行すべきモードとして血管登録モードを決定した場合、動作モードを血管登録モードに遷移し、撮像位置において指を指腹の曲面に沿って回転させなければならないことを通知部15を介して通知するとともに、撮像部12を動作させる。
この状態において、例えば図3に示すように、撮像位置で指周囲(指腹、指側、及び指背の面)に沿って指が回転させられた場合、撮像部12では、例えば図4に示すように、当該指内方における血管が、指周囲に沿って、多視点の画像として連続的に捉えられる。
制御部10は、撮像部12での撮像結果として、該撮像部12から順次与えられる画像から血管の立体像を生成し、該血管の立体像の形状を表す値(以下、これを血管形状値と呼ぶ)を登録対象のデータ(以下、これを登録データと呼ぶ)として、これをメモリ13に記憶することにより登録する。
このようにして制御部10は、血管登録モードを実行することができるようになされている。
(3)認証モード
次に、認証モードについて説明する。制御部10は、実行すべきモードとして認証モードを決定した場合、動作モードを認証モードに遷移し、撮像位置において指を指腹の曲面に沿って回転させなければならないことを通知部15を介して通知するとともに、撮像部12を動作させる。
制御部10は、撮像部12での撮像結果として、該撮像部12から順次与えられる画像から、血管登録モードと同様にして血管の立体像を生成し、該血管の血管形状値を抽出する。そして制御部10は、抽出した血管形状値と、登録データとしてメモリ13に記憶された血管形状値とを照合し、この照合結果から、登録者と承認することができるか否かを判定するようになされている。
ここで、登録者と承認することができないものと判定した場合、制御部10は、その旨を表示部15a及び音声出力部15bを介して視覚的及び聴覚的に通知する。これに対して、登録者と承認することができるものと判定した場合、制御部10は、登録者と承認したことを表すデータを、インターフェース14に接続された装置に送出する。この装置では、登録者と承認したことを表すデータをトリガとして、例えば、ドアを一定期間閉錠させる、あるいは、制限対象の動作モードを解除させる等、認証成功時に実行すべき所定の処理が行われる。
このようにしてこの制御部10は、認証モードを実行することができるようになされている。
(4)血管形状値抽出処理
次に、制御部10の血管形状値抽出処理の内容を具体的に説明する。この処理は、機能的には、図5に示すように、画像回転部21、血管抽出部22、動き量算出部23及び3次元像生成部24にそれぞれ分けることができる。以下、これら画像回転部21、血管抽出部22、動き量算出部23及び3次元像生成部24を詳細に説明する。
(4−1)画像回転処理
画像回転部21は、多視点の画像を、当該画像に映し出される指の方向が基準方向となるように回転補正する。
この画像回転部21における回転手法の一例を説明する。画像回転部21は、撮像周期とは異なる周期ごとに、可視光だけを透過する光学フィルタを光軸上の所定位置に配置させ、指を撮像対象とする画像(以下、これを指画像と呼ぶ)を、回転量の算出対象として、血管を撮像対象とする画像(以下、これを血管画像と呼ぶ)に対して所定の間隔おきに取得する。
ちなみに、血管画像は、近赤外光を撮像光として撮像素子に結像される画像であり、指画像は、可視光を撮像光として撮像素子に結像される画像である。
画像回転部21は、例えば図6に示すように、指画像を取得した場合(図6(A))、その指画像に映し出される指の領域を抽出した後(図6(B))、指輪郭を構成する点(以下、これを指輪郭点と呼ぶ)を抽出する(図6(C))。
また画像回転部21は、指輪郭点のうち、水平方向の輪郭線に相当する点を、指関節を構成する点(以下、これを指関節点と呼ぶ)として、ハフ変換等により重み付けすることにより抽出し(図6(D))、該指関節点から、関節部分の線(以下、これを関節線と呼ぶ)JNLを識別する(図6(E))。
そして画像回転部21は、画像における列方向のラインLNに対する関節線JNLからのなす角θxを、血管画像の回転補正量として求め(図6(E))、該回転補正量に応じて、次の指画像を取得するまでに撮像される各血管画像を回転補正するようになされている。
この結果、この例では、多視点の血管画像は、当該血管画像に映し出される指の長手方向が画像の行方向に揃うこととなる。
このようにして画像回転部21は、指周囲に沿って連続的に捉えられる多視点の血管画像として、該撮像部12から順次入力される画像データに対して画像回転処理を施し、該処理結果として得られる画像データを血管抽出部22に送出する。
(4−2)血管抽出処理
血管抽出部22は、血管画像に映し出される血管部分を抽出する。この血管抽出部22における抽出手法の一例を説明する。血管抽出部22は、浮き彫り化部22Aにおいて、画像回転部21から入力される画像データに対して、ガウシアンフィルタやLogフィルタ等の微分フィルタを用いた浮き彫り化処理を施すことによって血管を浮き彫りにする。
ここで、浮き彫り前後の画像を図7に示す。浮き彫り化前の血管画像(図7(A))では、血管とそれ以外の部分との境界が不明瞭となるが、浮き彫り化後の血管画像(図7(B))では、当該境界が明瞭となる。この図7からも明らかなように、この浮き彫り化部21での浮き彫り処理により血管が強調され、この結果、血管とそれ以外の部分とが明確に区別できることとなる。
また血管抽出部22は、2値化部22Bにおいて、血管が浮き彫りにされた画像データに対して、設定された輝度値を基準として2値化処理を施すことによって2値の血管画像(以下、これを2値血管画像と呼ぶ)に変換し、該処理結果として得られる画像データを3次元像生成部24に送出する。
(4−3)動き量算出処理
動き量算出部23は、指周囲に沿って連続的に撮像される多視点の血管画像に映し出される血管から動き量を算出する。
この動き量算出部23における算出手法の一例を説明する。動き量算出部23は、血管抽出部22から入力される第1の血管画像と、該第1の血管画像よりも前に血管抽出部22から入力された第2の血管画像とにそれぞれ映し出される血管における対応部分の動き量を、オプティカルフローにより算出する。以下、第1の血管画像を現画像と呼び、第2の血管画像を前画像と呼ぶ。
すなわち動き量算出部23は、例えば図8(A)に示すように、現画像IM1における注目対象の点(以下、これを注目点と呼ぶ)APを決定し、その注目点APを中心とする(m×n)画素のブロック(以下、これを注目ブロックと呼ぶ)ABLにおける輝度値を認識する。
そして動き量算出部23は、図8(B)に示すように、前画像IM2のなかから、注目ブロックABLにおける輝度値との差を最小とするブロックを探索し、探索されたブロックRBLの中心を、注目点APに対応する点(以下、これを対応点と呼ぶ)XPとして、注目点APに相当する位置AP´を基準とする対応点XPまでの位置ベクトルV(V、V)を求める。
動き量算出部23は、このようにして現画像IM1における複数の注目ブロックにそれぞれ相応するブロックを前画像IM2のなかから探索するとともに、当該ブロックにおける中心(XP)と、注目ブロックの中心と同一の位置(AP´)との各位置ベクトルの平均(水平方向のベクトル成分Vの平均、垂直方向のベクトル成分Vの平均)を、動き量として算出し、これをデータ(以下、これを動き量データと呼ぶ)として3次元像生成部24に送出するようになされている。
この動き量は、指が置かれる面に対して水平動の方向(回転方向)の動きだけでなく、指圧量や回転軸の変動等に起因して、該面に対して垂直動の方向(回転方向に直交する方向)の動きを表す値となっている。
ちなみに、動き量としては、各位置ベクトルの平均(水平方向のベクトル成分Vの平均、垂直方向のベクトル成分Vの平均)に代えて、例えば、各位置ベクトルの最大値若しくは最小値又は標準偏差値等、各位置ベクトルから統計学的手法により得られる値(代表値)を採用することができる。
この実施の形態における動き量算出部23では、血管抽出処理の中間過程で得られる画像(浮き彫り化処理後かつ2値化前の画像)が、動き量の算出対象の画像として採用される。
血管抽出処理前の画像(浮き彫り化処理前の画像)では、図7について上述したように、血管とそれ以外の部分とが明確に区別され、その画像における血管の輝度は、図9に示すように、実際の断面の状態を表す情報となる。しかし、この情報は、図10に示すように、血管抽出処理後の画像(2値化処理後の画像)では捨象されることにより、例えば図11(A)及び11(B)に示すように、互いに相違する血管の断面を表していたとしても、当該抽出過程を経ると、同一となってしまう率が高くなる。
したがって、仮に、血管抽出処理後の画像(2値化処理後の画像)を、位置ずれ量の算出対象の画像として採用すると、前画像IM2のなかから、現画像IM1における注目ブロックABLの輝度値との差を最小とするブロックを探索する場合(図8(B))、注目ブロックABLの輝度値と同一又は略同一の輝度値のブロックが多数出現することになる。このため、注目ブロックABLと真に相応するブロックRBLを探索できず、この結果、位置ずれ量の算出精度が低下するといった事態を招くことになる。
このことから、この動き量算出部23では、動き量の算出対象の画像として、血管抽出処理の中間過程で得られる画像(浮き彫り化処理後かつ2値化前の画像)が採用されている。
なお、現画像IM1における複数の注目ブロックは、一般には現画像IM1の全画素とされるが、該現画像IM1に映し出される血管の端点、分岐点及び屈曲点もしくはこれら点のうちの一部とするようにしてもよい。
また、前画像IM2のなかから、注目ブロックABLにおける輝度値との差を最小とするブロックを探索する範囲は、一般には前画像IM2全体とされるが、過去に検出した位置ずれ量だけずらした位置を中心として、複数の注目ブロックの大きさに相当する範囲とするようにしてもよく、該範囲の形状を、過去に検出した位置ずれ量の時間変化量に対応させて切り換えるようにしてもよい。
(4−4)3次元像生成処理
3次元像生成部24は、指周囲から捉えられた血管画像ごとに、当該画像の視点位置からその画像に映し出される血管を射影空間にそれぞれ投影した場合に該射影空間に投影される血管のシルエット領域をそれぞれ検出し、該検出した各シルエット領域のうち、共通する部分を、血管の立体像(3次元ボリューム)として抽出する。
この実施の形態における3次元像生成部24は、射影空間の最奥まで投影されるシルエット領域の共通部分を血管の立体像として抽出するのではなく、射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影されるシルエット領域の共通部分を血管の立体像として抽出するようになされている。
この3次元像生成部24における生成手法の一例を説明する。3次元像生成部24は、図12に示すように、ボクセルと呼ばれる立方体を構成単位とする所定形状の3次元空間(以下、これをボクセル空間と呼ぶ)を、射影空間として定義する(図13:ステップSP1)。
そして3次元像生成部24は、焦点距離や画像中心等のカメラ情報としてROMに記憶される各種値と、射影空間における投影表面から奥行き方向に対する投影長を規定する情報としてROMに記憶される値と、動き量算出部23から入力される動き量データの値とに基づいて、血管抽出部22から入力される複数の画像データ(2値血管画像)から血管の形状データを生成する。
すなわち3次元像生成部24は、血管抽出部22から最初に入力される2値血管画像については、基準画像として、例えば図14に示すように、ボクセル空間周囲の視点のうち、回転角0[°]の視点に対応する位置に配置し、射影空間における投影表面から奥行き方向に規定長Lだけ隔てた投影面までの空間(図14では実線で囲まれる空間)に投影されるシルエット領域ARを検出する(図13:ステップSP2)。ちなみにこの図14は、図1の物体のうち、図1(A)を基準画像とした場合を例として挙げたものである。
シルエット領域の具体的な検出手法としては、ボクセル空間における各ボクセルを、基準画像に向けて逆投影して投影点を算出し、該ボクセルの投影点が基準画像に映し出される血管の輪郭内に存在するボクセルを、シルエット領域として残存させるようになされている。
一方、3次元像生成部24は、血管抽出部22から2番目以降に入力される2値血管画像については、基準画像から、現在の処理対象となる2値血管画像までの回転方向に対応する動き量(以下、これを回転動き量と呼ぶ)を、動き量算出部23から入力される動き量データに基づいて認識する。
そして3次元像生成部24は、この回転動き量をVとし、指の回転軸から血管までの距離として設定された値をrとすると、次式
によって、基準画像に対する、現在の処理対象となる2値血管画像の回転角(以下、これを第1の回転角と呼ぶ)θroを求め、これが360[°]未満であるか否かを判定する(図13:ステップSP3)。
この第1の回転角θro1が360[°]未満である場合(図13:ステップSP3「YES」)、このことは、指の全周から捉えられた複数の2値血管画像に対する視体積(シルエット領域)の全てを未だ検出していない状態にあることを意味する。この場合、3次元像生成部24は、この第1の回転角θroと、現在の処理対象の直前に視体積を検出した2値血管画像及び基準画像の回転角(以下、これを第2の回転角と呼ぶ)との差を求め、この差が所定の閾値以上であるか否かを判定する(図13:ステップSP4)。
この差が閾値未満となる場合(図13:ステップSP4「NO」)、このことは、指の回転が停止又は停止に等しい状態にあることを意味する。この場合、3次元像生成部24は、現在の処理対象となる2値血管画像のシルエット領域を求めることなく、該2値血管画像の次に入力される2値血管画像を処理対象とする。これにより3次元像生成部24は、無駄なシルエット領域の算出を未然に防止することができるようになされている。
これに対して閾値以上となる場合(図13:ステップSP4「YES」)、このことは、指が回転している状態にあることを意味する。この場合、3次元像生成部24は、例えば図15に示すように、現在の処理対象となる2値血管画像IMを、基準位置IMの視点VPに対して第1の回転角θroをなす視点VPに対応する位置に配置する。
そして3次元像生成部24は、この2値血管画像IMについて、射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までの空間に投影されるシルエット領域を検出した後(図13:ステップSP5)、該2値血管画像の次に入力される2値血管画像を処理対象とするようになされている。
なお、3次元像生成部24は、現在の処理対象となる2値血管画像IMをボクセル空間周囲に配置する場合、該2値血管画像IMと、その2値血管画像IMの直前に視体積を検出した2値血管画像IM(X−1)とについて、指の回転方向に直交する方向の動き量(現在の処理対象となる2値血管画像と、最後に配置された2値血管画像とにおける垂直方向のベクトル成分Vの平均)を、動き量データに基づいて認識し、当該動き量だけ補正方向(ボクセル空間のZ軸方向と平行となる方向)RDに視点VPを位置補正する。
これにより3次元像生成部24は、指の回転時における指圧量や回転軸の変動等が起きても、該変動に追従させてシルエット領域を検出できるので、指の回転方向に直交する方向の動き量を考慮しない場合に比して、正確にシルエット領域を検出することができるようになされている。
このようにして3次元像生成部24は、基準画像に対する第1の回転角θroが360[°]以上となる2値血管画像を現在の処理対象とするまで、2値血管画像に映し出される血管のシルエット領域をそれぞれ検出していく(図13:ステップSP3−SP4−SP5のループ)。
ここで、例えば図16に示すように、シルエット領域の検出対象は、ボクセル空間(射影空間)における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される領域(実線で囲まれる領域)であるため、図1における物体の表側の画像(図1(A))と、該物体の裏側の画像(図1(B))とに着目した場合、ボクセル空間では、視体積の共通しない部分があっても、各画像における物体の投影部分(シルエット領域)のボクセルが残存することとなる。
したがって、基準画像に対する第1の回転角θroが360[°]以上となる2値血管画像が現在の処理対象とされた場合、ボクセル空間では、例えば図17に示すように、各画像における物体の投影部分(シルエット領域)として残存されるボクセルのうち、共通部分(実線部分)が、実際の物体に忠実となる血管の立体像(3次元ボリューム)として表出しされることになる。ちなみに、この図16において、円柱領域の部分は、非投影となる部分として残存するボクセルである。
3次元像生成部24は、基準画像に対する第1の回転角θroが360[°]以上となる2値血管画像が現在の処理対象とされた場合、この共通部分のボクセルを血管の立体像として認識し、該立体像のデータとしてボクセルデータを抽出する。このボクセルデータは、血管登録モードの場合には、登録データとしてメモリ13に登録され、認証モードの場合には、メモリ13に登録された登録データと照合されるようになされている。
(5)動作及び効果
以上の構成において、この認証装置1における制御部10(3次元像生成部24)は、指周囲から撮像され、該撮像画像における血管が抽出されることにより得られる複数の2値血管画像を順次入力する。
また3次元像生成部24は、これら2値血管画像ごとに、当該画像の視点位置からその画像に映し出される物体をボクセル空間にそれぞれ投影した場合に該ボクセル空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域をそれぞれ検出し(例えば図14参照)、検出した各投影領域のうち、共通となる部分を抽出する(図17参照)。
この3次元像生成部24は、ボクセル空間の最奥まで投影されるシルエット領域の共通部分を血管の立体像として抽出するのではなく、ボクセル空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影されるシルエット領域の共通部分を血管の立体像として抽出していることにより、指表面から指内方における撮像対象(血管)までの深度に対応する領域に着目して視体積を求めることが可能となる。
したがって、3次元像生成部24は、血管表面から裏側における視体積が共通しない場合であっても、血管表面付近における視体積が共通している限り、当該共通部分を、血管の投影部分(シルエット領域)のボクセルとして残存させることができ、かくして撮像面の裏面側に存在する血管部分を映し出すことができない場合であっても、実際の血管を忠実に反映した形状を表出しすることができる(例えば図15参照)。
以上の構成によれば、射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影されるシルエット領域の共通部分を血管の立体像として抽出するようにしたことにより、血管の裏側を撮像できないような状況下であっても、血管の形状を高精度で生成し得る認証装置1を実現できる。
(6)他の実施の形態
上述の実施の形態においては、撮像対象として、生体内方における血管を適用した場合について述べたが、本発明はこれに限らず、例えば、神経や、生体の表面における指紋又は顔面等を適用するようにしてもよく、また生体以外の物体を適用することもできる。なお、適用される撮像対象に応じて、浮き彫り処理を適宜省略することができる。
また神経や血管等の生体内方の撮像対象を適用する場合、生体部位として、上述の実施の形態では、指を適用するようにした場合について述べたが、本発明はこれに限らず、例えば、掌、足指、腕、目又は腕等の部位を適用することができる。
また上述の実施の形態においては、画像の視点位置からその画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間に投影される投影領域の検出対象を固定としたが、本発明は、可変するようにしてもよい。
すなわち、上述の実施の形態では、射影空間における投影表面から奥行き方向に対する投影長を表す値(固定値)をROMに記憶したが、これに代えて、例えば、体脂肪率と、投影長を表す値との対応付け表す情報を記憶する。
制御部10は、最初に入力される画像(基準画像)のシルエット領域を検出する前に(図13:ステップSP2)、撮像対象のユーザにおける体脂肪率の入力を通知部15を介して指示する。そして制御部10は、操作部11から入力される体脂肪率を検出し、該検出した体脂肪率に応じた値を設定することにより、投影長を切り換える。
このようにすれば、ボクセル空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影されるシルエット領域を検出する場合、体脂肪率が多いほど映し出され難くなる傾向にある血管を、該体脂肪率の個人差にかかわらず一律に、指表面から指内方における撮像対象(血管)までの深度に対応する領域に着目して視体積を求めることが可能となるため、実際の血管を一段と忠実に反映した形状を表出しすることができる。
なお、撮像対象のユーザの体脂肪率を入力させることに代えて、身長、体重及び年齢等の生体に関する情報を入力させ、当該入力される情報から体脂肪率を求めるようにしてもよい。設定値との対応付けは、体脂肪率以外にも、指径及び体重等、種々のものを適用することができる。
また例えば、射影空間における投影表面から奥行き方向に対する投影長を表す値に代えて、視点と、投影長を表す値との対応付け表す情報をROMに記憶する。制御部10は、最初に入力される画像(基準画像)のシルエット領域を検出する前に(図13:ステップSP2)、血管画像に映し出される指輪郭の指幅や、指画像に映し出される指輪郭内の情報等から血管画像に対応する視点を検出し、当該検出した視点に応じた値を設定することにより、投影長を切り換える。
このようにすれば、ボクセル空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影されるシルエット領域を検出する場合、指背側と指腹側とでは指表面からの血管が存在する位置までの深度に応じた投影長に設定することができるようになるため、実際の血管を一段と忠実に反映した形状を表出しすることができる。
このように、最初に入力される画像(基準画像)のシルエット領域を検出する前に、撮像対象に関する情報を検出し、該検出した情報に対応付けられた規定長を設定する設定ステップを設け、射影空間における投影表面から、奥行き方向に対して設定ステップで設定された規定長だけ隔てた投影面までに投影される投影領域を検出することによって、血管の形状をより一段と高精度で生成することが可能となる。
さらに上述の実施の形態においては、ROMに格納されたプログラムに基づいて、血管登録モード及び認証モードを実行するようにした場合について述べたが、本発明はこれに限らず、CD(Compact Disc)、DVD(Digital Versatile Disc)、半導体メモリ等のプログラム格納媒体からインストールし、又はインターネット上のプログラム提供サーバからダウンロードすることにより取得したプログラムに基づいて、血管登録モード及び認証モードを実行するようにしてもよい。
さらに上述の実施の形態においては、登録処理及び認証処理を制御部10が実行するようにした場合について述べたが、本発明はこれに限らず、これら処理の一部をグラフィックスワークステーションで実行するようにしてもよい。
さらに上述の実施の形態においては、撮像機能、照合機能及び登録機能を有する認証装置1を適用するようにした場合について述べたが、本発明はこれに限らず、当該用途に応じて、機能ごとに又は各機能の一部を単体の装置に分けた態様で適用するようにしてもよい。
本発明は、バイオメトリクス認証する分野に利用可能である。
視体積交差法での問題点の説明に供する略線図である。 本実施の形態による認証装置の構成を示すブロック図である。 回転する指の状態推移を示す略線図である。 撮像面と画像内の血管との関係を示す略線図である。 制御部の機能的構成を示すブロック図である。 回転補正量の算出の説明に供する略線図である。 浮き彫り化前後の画像を示す略線図である。 動き量の算出処理の説明に供する略線図である。 浮き彫り処理後の画像における血管の輝度状態を示す略線図である。 血管抽出処理での輝度の状態推移を示す略線図である。 輝度状態の均一化の説明に供する略線図である。 ボクセル空間を示す略線図である。 物体形状生成処理手順を示すフローチャートである。 シルエット領域の検出(1)の説明に供する略線図である。 ボクセル空間周囲に配置される各画像の配置関係の説明に供する略線図である。 シルエット領域の検出(2)の説明に供する略線図である。 シルエット領域の抽出状態を示す略線図である。
符号の説明
1……認証装置、10……制御部、11……操作部、12……撮像部、13……メモリ、14……インターフェース、15……通知部、15a……表示部、15b……音声出力部、21……画像回転部、22A……浮き彫り化部、22B……2値化部、23……動き量算出部、24……3次元像生成部、25……形状抽出部。

Claims (6)

  1. 物体周囲から撮像される複数の画像ごとに、上記画像の視点位置から上記画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域を、それぞれ検出する第1のステップと、
    検出された各上記投影領域のうち、共通となる部分を抽出する第2のステップと
    を具えることを特徴とする物体形状生成方法。
  2. 上記画像から、当該画像の前に撮像される画像に映し出される物体の回転方向における移動量を算出する算出ステップ
    を具え、
    上記第1のステップでは、
    基準画像に対する、検出対象の画像の回転角を、当該基準画像及び検出対象の画像の上記移動量から求め、基準画像の視点に対して上記回転角をなす視点位置から上記検出対象の画像に映し出される物体を射影空間に投影した場合に、該射影空間に投影される上記投影領域を検出する
    ことを特徴とする請求項1に記載の物体形状生成方法。
  3. 上記画像から、当該画像の前に撮像される画像に映し出される物体の回転方向と直交する方向における移動量を算出する算出ステップ
    を具え、
    上記第1のステップでは、
    上記画像の視点位置を、上記移動量だけ補正方向に位置補正する
    ことを特徴とする請求項1に記載の物体形状生成方法。
  4. 撮像対象に関する情報を検出し、該検出した情報に対応付けられた規定長を設定する設定ステップ
    を具え、
    上記第1のステップでは、
    上記射影空間における投影表面から、奥行き方向に対して上記設定ステップで設定された規定長だけ隔てた投影面までに投影される投影領域を、それぞれ検出する
    ことを特徴とする請求項1に記載の物体形状生成方法。
  5. ワークメモリと、
    上記ワークメモリで画像処理を実行する画像処理部と
    を具え、
    上記画像処理部は、
    物体周囲から撮像される複数の画像ごとに、上記画像の視点位置から上記画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域をそれぞれ検出し、検出した各投影領域のうち、共通となる部分を抽出する
    ことを特徴とする物体形状生成装置。
  6. ワークメモリを制御する制御部に対して、
    物体周囲から撮像される複数の画像ごとに、上記画像の視点位置から上記画像に映し出される物体を射影空間にそれぞれ投影した場合に該射影空間における投影表面から奥行き方向に規定長だけ隔てた投影面までに投影される投影領域をそれぞれ検出すること、
    検出された各上記投影領域のうち、共通となる部分を抽出すること
    を実行させることを特徴とするプログラム。
JP2007036766A 2007-02-16 2007-02-16 物体形状生成方法、物体形状生成装置及びプログラム Pending JP2008203995A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007036766A JP2008203995A (ja) 2007-02-16 2007-02-16 物体形状生成方法、物体形状生成装置及びプログラム
US12/527,290 US8780116B2 (en) 2007-02-16 2008-02-14 Object-shape generation method, object-shape generation apparatus, and program
CN2008800053389A CN101617338B (zh) 2007-02-16 2008-02-14 物体形状生成方法、物体形状生成设备及程序
KR1020097016961A KR20090110348A (ko) 2007-02-16 2008-02-14 물체 형상 생성 방법, 물체 형상 생성 장치 및 프로그램
PCT/JP2008/052908 WO2008099963A1 (ja) 2007-02-16 2008-02-14 物体形状生成方法、物体形状生成装置及びプログラム
EP08711697.6A EP2120206A4 (en) 2007-02-16 2008-02-14 METHOD FOR PRODUCING OBJECT FORMS, DEVICE FOR GENERATING OBJECT FORMS AND CORRESPONDING PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007036766A JP2008203995A (ja) 2007-02-16 2007-02-16 物体形状生成方法、物体形状生成装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2008203995A true JP2008203995A (ja) 2008-09-04

Family

ID=39690183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007036766A Pending JP2008203995A (ja) 2007-02-16 2007-02-16 物体形状生成方法、物体形状生成装置及びプログラム

Country Status (6)

Country Link
US (1) US8780116B2 (ja)
EP (1) EP2120206A4 (ja)
JP (1) JP2008203995A (ja)
KR (1) KR20090110348A (ja)
CN (1) CN101617338B (ja)
WO (1) WO2008099963A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049551A (ja) * 2013-08-30 2015-03-16 日立オムロンターミナルソリューションズ株式会社 生体認証装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2939900A1 (fr) * 2008-12-17 2010-06-18 Sagem Defense Securite Dispositif d'hybridation en boucle fermee integre par construction.
JP5529568B2 (ja) * 2010-02-05 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
JP6838912B2 (ja) * 2016-09-29 2021-03-03 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366935A (ja) * 2001-06-12 2002-12-20 Minolta Co Ltd ボリュームデータの生成方法および装置並びにコンピュータプログラム
JP2003067726A (ja) * 2001-08-27 2003-03-07 Sanyo Electric Co Ltd 立体モデル生成装置及び方法
JP2004070792A (ja) * 2002-08-08 2004-03-04 Telecommunication Advancement Organization Of Japan ボクセルデータ符号化方式
JP2007000219A (ja) * 2005-06-22 2007-01-11 Hitachi Ltd 個人認証装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858128A (en) * 1986-08-11 1989-08-15 General Electric Company View-to-view image correction for object motion
JP3980696B2 (ja) * 1997-03-05 2007-09-26 株式会社東芝 画像再構成処理装置
US5934288A (en) * 1998-04-23 1999-08-10 General Electric Company Method and apparatus for displaying 3D ultrasound data using three modes of operation
JP2001273497A (ja) * 2000-03-27 2001-10-05 Sanyo Electric Co Ltd 個人識別装置
JP2002175529A (ja) 2000-12-06 2002-06-21 Matsushita Electric Ind Co Ltd 個人識別装置
US6914601B2 (en) * 2001-06-12 2005-07-05 Minolta Co., Ltd. Method, apparatus, and computer program for generating three-dimensional shape data or volume data
DE102004041115A1 (de) * 2004-08-24 2006-03-09 Tbs Holding Ag Verfahren und Anordnung zur Erfassung biometrischer Daten
US7756324B2 (en) * 2004-11-24 2010-07-13 Kabushiki Kaisha Toshiba 3-dimensional image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366935A (ja) * 2001-06-12 2002-12-20 Minolta Co Ltd ボリュームデータの生成方法および装置並びにコンピュータプログラム
JP2003067726A (ja) * 2001-08-27 2003-03-07 Sanyo Electric Co Ltd 立体モデル生成装置及び方法
JP2004070792A (ja) * 2002-08-08 2004-03-04 Telecommunication Advancement Organization Of Japan ボクセルデータ符号化方式
JP2007000219A (ja) * 2005-06-22 2007-01-11 Hitachi Ltd 個人認証装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049551A (ja) * 2013-08-30 2015-03-16 日立オムロンターミナルソリューションズ株式会社 生体認証装置

Also Published As

Publication number Publication date
KR20090110348A (ko) 2009-10-21
US20100073378A1 (en) 2010-03-25
CN101617338A (zh) 2009-12-30
EP2120206A1 (en) 2009-11-18
WO2008099963A1 (ja) 2008-08-21
CN101617338B (zh) 2012-09-05
EP2120206A4 (en) 2013-08-07
US8780116B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP5061645B2 (ja) 情報抽出方法、情報抽出装置、プログラム、登録装置及び照合装置
US20220004758A1 (en) Eye pose identification using eye features
JP6236600B1 (ja) 飛行パラメータ測定装置及び飛行パラメータ測定方法
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
EP2339507A1 (en) Head detection and localisation method
US10909363B2 (en) Image acquisition system for off-axis eye images
US20200065564A1 (en) Method for determining pose and for identifying a three-dimensional view of a face
KR20140053647A (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
JP2008203995A (ja) 物体形状生成方法、物体形状生成装置及びプログラム
JP2008211514A (ja) 画像判定装置、画像判定方法及びプログラム
Benalcazar et al. A 3D iris scanner from multiple 2D visible light images
WO2008105545A1 (ja) 情報抽出方法、登録装置、照合装置及びプログラム
KR20210030230A (ko) 증강현실을 위한 데이터 수집 장치
JP7326965B2 (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
JP4636338B2 (ja) 表面抽出方法、表面抽出装置及びプログラム
Du et al. Relative epipolar motion of tracked features for correspondence in binocular stereo

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120807