CN101617338B - 物体形状生成方法、物体形状生成设备及程序 - Google Patents

物体形状生成方法、物体形状生成设备及程序 Download PDF

Info

Publication number
CN101617338B
CN101617338B CN2008800053389A CN200880005338A CN101617338B CN 101617338 B CN101617338 B CN 101617338B CN 2008800053389 A CN2008800053389 A CN 2008800053389A CN 200880005338 A CN200880005338 A CN 200880005338A CN 101617338 B CN101617338 B CN 101617338B
Authority
CN
China
Prior art keywords
image
width
cloth
vessel
blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800053389A
Other languages
English (en)
Other versions
CN101617338A (zh
Inventor
阿部博
阿卜杜勒·穆奎特·穆罕默德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101617338A publication Critical patent/CN101617338A/zh
Application granted granted Critical
Publication of CN101617338B publication Critical patent/CN101617338B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及物体形状生成方法、物体形状生成设备及程序。即使在不能拍摄物体背侧的图像的情形中，也能够高精度地生成物体的形状。在从物体外周拍摄的各幅图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下，对于各幅图像检测在从投影空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围中投影的投影区域。提取对于所检测的各个投影区域中共同的部分。

Description

物体形状生成方法、物体形状生成设备及程序
技术领域
本发明涉及物体形状生成方法、物体形状生成设备及程序，并且例如适合应用于生物测量学(biometrics)认证。
背景技术
生物测量学认证是用于通过使用人类活体的识别目标来识别人的方法。手指的血管是活体的一个识别目标。
例如，已经提出了一种认证设备，该认证设备通过将指尖的不同侧面的图像进行组合生成三维图像，并将该三维图像用作识别目标(例如见专利文件1)。
专利文件1：日本未审查专利申请公报No.2002-175529。
并且，还存在一种称为视图体积交叉法(轮廓形状法(Shape FromSilhouette))的物体形状生成方法。视图体积交叉法是这样的方法：通过使得某个区域(在该区域中，各幅图像中的所有轮廓在目标空间内彼此交叉)保持为物体区域，而根据来自多个视点的物体图像以及摄像机的位置信息等来生成目标物体的形状。
当通过使用视图体积交叉法生成三维血管图像时，与两维血管图像(全外周显影图像)相比，作为识别目标的参数数目增大。因此，使得认证的精度提高。
然而，除血管以外的活体部分不是中空的，并且由各种组织(例如脂肪)所占据。因此，例如如图1所示，光学图像拾取照相机有可能不能投影出位于图像拾取表面背侧的血管部分。
在此情形下，对于视图体积交叉法，位于图像拾取表面背侧的血管部分(没有被投影到图像拾取表面)不是各幅图像中的所有轮廓在目标空间内彼此交叉的区域。从而，该区域将不被保持为物体区域。因而，存在可能生成与精确的血管形状不同的形状的问题。
发明内容
本发明考虑了上述问题，并提供一种即使在不能拍摄物体背侧的图像的情形下也能够高精度地生成物体形状的物体形状生成设备、物体形状生成方法及程序。
为了实现该目标，根据本发明的物体形状生成方法包括：第一步骤，在从物体外周拍摄的各幅图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下，对于各幅图像检测在从投影空间中的投影表面到投影面的范围(area)中投影的投影区域(region)，所述投影面与所述投影表面沿深度方向相距预定长度；和第二步骤，提取对于所检测的各个投影区域中共同的部分。
此外，根据本发明的物体形状生成设备包括：工作存储器；图像处理单元，其通过使用所述工作存储器而执行图像处理。在从物体外周拍摄的各幅图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下，所述图像处理单元对于各幅图像检测在从投影空间中的投影表面到投影面的范围中投影的投影区域，并提取对于所检测的各个投影区域中共同的部分，所述投影面与所述投影表面沿深度方向相距预定长度。
而且，根据本发明的程序使得控制工作存储器的控制单元执行下列方法，该方法包括：在从物体外周拍摄的各幅图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下，对于各幅图像检测在从投影空间中的投影表面到投影面的范围中投影的投影区域；和提取对于所检测的各个投影区域中共同的部分，所述投影面与所述投影表面沿深度方向相距预定长度。
如上所述，根据本发明，除了将对于投影在所述投影空间的最深范围中的轮廓区域所共同的部分提取为血管的立体图像，对于投影到从所述投影空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围的轮廓区域所共同的部分也被提取为血管的立体图像。从而，可以在注意用作图像拾取目标的物体的表面部分的同时提取视体。因而，能够实现即使在不能拍摄物体背侧的图像的情形下也能够高精度地生成物体形状的物体形状生成方法、物体形状生成设备及程序。
附图说明
图1(A)是用于解释视图体积交叉法的问题的示意图，示出图像拾取方向侧(物体的前侧)，图1(B)是用于解释视图体积交叉法的问题的示意图，示出与图像拾取方向侧相对的一侧(物体的后侧)。
图2是示出根据本实施例的认证设备的构造的框图。
图3是示出转动手指的过渡状态的示意图。
图4是示出图像内的图像拾取表面和血管之间的关系的示意图。
图5是示出控制单元的功能性构造的框图。
图6是用于解释转动校正量的计算的示意图。
图7是示出执行浮雕化处理之前和之后的图像的示意图。
图8是用于解释运动量计算过程的示意图。
图9是示出执行浮雕化处理之后图像中的血管的明亮状态的示意图。
图10是示出血管提取过程的明亮状态的过渡情形的示意图。
图11是用于解释明亮状态的均衡化的示意图。
图12是示出体元空间的示意图。
图13是示出物体形状生成方法的流程图。
图14是用于解释轮廓区域的检测(1)的示意图。
图15是用于解释放置在体元空间内的各幅图像之间的位置关系的示意图。
图16是用于解释轮廓区域的检测(2)的示意图。
图17是示出轮廓区域的提取状态的示意图。
具体实施方式
下面，将参照附图详细地解释本发明所应用的实施例。
(1)根据本实施例的认证设备的总体构造
图2示出根据该实施例的认证设备1的总体构造。通过将下列装置中的每一者由总线16连接到控制单元10而构造认证设备1：操作单元11、图像拾取单元12、存储器13、接口14和通知单元15。
控制单元10构造为包括下列装置的计算机：控制整个认证设备1的CPU(中央处理器单元)、存储各种程序及设定信息等的ROM(只读存储器)以及作为用于CPU的工作存储器的RAM(随机存取存储器)。
根据用户操作，用于登记待登记用户(下面将称之为登记者)的血管的模式(下面将称之为血管登记模式)的执行指令COM1或用于确定登记者身份的模式(下面将称之为认证模式)的执行指令COM2从操作单元11提供到控制单元10。
控制单元10配置为：根据执行指令COM1或COM2来确定待执行的模式，按照与判定结果相对应的程序以合适的方式控制图像拾取单元12、存储器13、接口14以及通知单元15，并执行血管登记模式或认证模式。
图像拾取单元12根据控制单元10所指定的曝光值(EV，ExposureValue)调整光学系统中镜头的位置、光圈的孔径以及图像拾取元件的快门速度(曝光时间)。
图像拾取单元12还对从图像输出元件以预定间隔依次输出的图像信号执行A/D(模拟/数字)转换以作为图像拾取元件处的图像拾取结果，并将作为转换结果而获得的图像数据传输到控制单元10。
而且，图像拾取单元12在控制单元10所指定的时间段内驱动近红外线光源，并将特别由血管吸收的近红外线施加到作为图像拾取目标的指定位置(下面将称之为图像拾取位置)。
当活体部分放置在图像拾取位置处时，在活体部分内部穿过的近红外线作为使血管投影的光线而由光学系统和光圈入射到图像拾取元件，并且活体部分内部的血管的图像形成于图像拾取元件的图像拾取表面上。因此，在此情形下，血管反映在作为图像拾取结果而由图像拾取单元12获得的图像中。
存储器13例如包括闪存。存储器13配置为使得控制单元10指定的数据存储在存储器13中或从存储器13读取。
接口14配置为通过预定传输线将各种数据传输到外部设备并从外部设备接收各种数据。
通知单元15包括显示部分15a和声音输出部分15b。显示部分15a根据控制单元10提供的数据在显示屏上显示文字或图表形式的内容。同时，声音输出部分15b配置为根据控制单元10提供的声音数据从扬声器输出声音。
(2)血管登记模式
下面将解释血管登记模式。当确定血管登记模式为将要执行的模式时，控制单元10将运行模式改变为血管登记模式，并使得通知单元15发出通知表示需要将手指放置在图像拾取位置并绕手指的弯曲腹面转动。同时，控制单元10使得图像拾取单元12运行。
在此状态下，例如如图3所示，当手指绕手指外周(手指的腹面、侧面和背面)转动时，图像拾取单元12持续围绕手指外周拍摄手指内部的血管的图像以作为来自多个视点的图像，例如如图4所示。
控制单元10依照依次由图像拾取单元12提供的图像生成血管的立体图像以作为图像拾取单元12的图像拾取结果，并通过将待登记的数据(下面将称之为登记数据)存储在存储器13中而将代表血管的立体图像的形状的值(下面将这些值称之为血管形状值)作为登记数据来登记。
控制单元10配置为能够执行血管登记模式，如前所述。
(3)认证模式
下面将解释认证模式。当确定认证模式为将要执行的模式时，控制单元10将运行模式改变为认证模式，并使得通知单元15发出通知表示需要将手指放置在图像拾取位置并绕手指的弯曲腹面转动。同时，控制单元10使得图像拾取单元12运行。
与在登记模式中所述一样，控制单元10依照依次由图像拾取单元12提供的图像生成血管的立体图像以作为图像拾取单元12的图像拾取结果，并提取血管的血管形状值。控制单元10配置为将所提取的血管形状值与作为登记数据存储在存储器13中的血管形状值相比进行校验，并根据校验结果判定手指的所有者是否能够被认为登记者。
这里，如果判定手指的所有者不能被认为登记者，控制单元10使得显示部分15a和声音输出部分15b以视觉和听觉的方式发出通知，表示手指的所有者不能被认为登记者。同时，如果判定手指的所有者能够被认为登记者，控制单元10将表示手指的所有者被认为登记者的数据传输到与接口14连接的设备。该设备由表示手指的所有者被认为登记者的数据触发，并执行例如要在认证成功时执行的预定处理，例如将门关闭一段时间或取消限制运行模式。
控制单元10配置为能够执行认证模式，如上所述。
(4)血管形状值提取过程
下面将详细地解释控制单元10进行的血管形状值提取过程的细节。从功能方面来说，该过程可以被分成图像转动单元21、血管提取单元22、运动量计算单元23和三维图像生成单元24，如图5所示。下面将详细解释图像转动单元21、血管提取单元22、运动量计算单元23和三维图像生成单元24。
(4-1)图像转动过程
图像转动单元21转动并校正来自多个视点的图像，使得各幅图像中反映的手指的方向被定义为参考方向。
将要解释图像转动单元21的转动方法的例子。图像转动单元21将仅通过可见光的光学滤波器放置在光轴上的预定位置达一段时间(这一段时间与图像拾取时间段不一样)，并以与待拍摄的血管图像(下面称之为血管图像)有关的预定间隔获得待拍摄的手指的图像(下面称之为手指图像)以作为待计算的转动量。
而且，血管图像是通过使用近红外光作为图像拾取光线而形成于图像拾取元件上的图像，并且手指图像是通过使用可见光作为图像拾取光线而形成于图像拾取元件上的图像。
例如，如图6所示，当获得手指图像时(图6(A))，在提取手指图像中反映的手指区域(图6(B))后，图像转动单元21提取构成手指轮廓的那些点(下面称之为手指轮廓点)(图6(C))。
此外，通过由霍夫(Hough)变换等方式执行加权，图像转动单元21从上述手指轮廓点提取对应于水平轮廓线的那些点来作为构成手指关节的那些点(下面将称之为手指关节点)(图6(D))，并依照手指关节点来识别手指关节部分线(下面称之为手指关节线)JNL(图6(E))。
然后，图像转动单元21获得手指关节线JNL与图像中沿横向的线LN所成的角度θx以作为血管图像的转动校正量(图6(E))，转动并根据所述转动校正量来校正所拍摄的每一幅血管图像，直到获得下一幅手指图像为止。
因而，在此实施例中，在来自多个视点的血管图像中，使血管图像中反映的手指纵向与图像的纵向相同。
如上所述，图像转动单元21对于作为从多个视点沿手指外周连续拍摄的血管图像的、从图像拾取单元12依次接收的多个图像数据项执行图像转动处理，并将作为处理结果而获得的图像数据传输到血管提取单元22。
(4-2)血管提取过程
血管提取单元22提取血管图像中反映的血管部分。下面将解释血管提取单元22执行的提取方法的例子。在血管提取单元22中，浮雕化部分22A通过使用微分滤波器(例如高斯滤波器或对数滤波器)来对从图像转动单元21接收的图像数据执行浮雕化操作，使得血管从图像上浮雕出来。
现在，执行浮雕化处理之前和之后的图像在图7中示出。在执行浮雕化处理之前的血管图像中(图7(A))，血管和其它部分之间的边界很模糊。同时，在执行浮雕化处理之后的血管图像中(图7(B))，边界变得清楚。从图7清晰可见，通过由浮雕化部分21所执行的浮雕化处理，血管被突出显示(highlight)。因而，能够清楚地辨别血管及其它部分。
此外，在血管提取单元22中，二进制化部分22B对于已经参照设定亮度而对血管进行了浮雕化处理的图像数据执行二进制化处理，使得图像数据转换成二进制血管数据(下面将称之为二进制血管图像)，并将作为处理结果而获得的图像数据传输到三维图像生成单元24。
(4-3)运动量计算过程
运动量计算单元23根据从多个视点沿手指外周连续拍摄的血管图像中反映的血管来计算运动量。
下面将解释由运动量计算单元23执行的计算方法的例子。运动量计算单元23根据光流(optical flow)来计算从血管提取单元22接收的第一血管图像中以及在接收第一血管图像之前从血管提取单元22接收的第二血管图像中反映的血管中的相应部分之间的运动量。下面，第一血管图像将被称为当前图像，第二血管图像将被称为先前图像。
即，例如，如图8(A)所示，运动量计算单元23确定当前图像IM1中的兴趣点AP(下面将称之为兴趣点)，并识别以兴趣点AP为中心的(m×n)像素块ABL(下面将称之为兴趣块)的亮度。
然后，如图8(B)所示，运动量计算单元23从先前图像IM2搜索亮度与兴趣块ABL的亮度差别最小的块，并通过将所找到的块RBL的中心定义为与兴趣点AP对应的点XP(下面将称之为对应点)而获得从对应于兴趣点AP的位置AP’到对应点XP的位置矢量(Vx，Vy)。
运动量计算单元23从先前图像IM2搜索对应于当前图像IM1中多个兴趣块的那些块，如前所述。同时，运动量计算单元23计算各个块的中心(XP)和与各个兴趣块的中心相同的位置(AP’)之间的各个位置矢量的平均值(水平方向的矢量分量Vx的平均值和竖直方向的矢量分量Vy的平均值)以作为运动量，并将运动量作为数据(下面将称之为运动量数据)传输到三维图像生成单元24。
运动量代表这样的值：该值不仅代表沿水平运动方向(转动方向)相对于放置了手指的面的运动，还代表由于手指按压量、转动轴线等的变化而沿竖直运动方向(与所述转动方向正交的方向)相对于所述面的运动。
而且，除了各个位置矢量的平均值(例如水平方向的矢量分量Vx的平均值和竖直方向的矢量分量Vy的平均值)，例如从各个位置矢量根据统计方法获得的值(代表值)(例如最大值、最小值或各个位置矢量的标准偏差)也可用作运动量。
在该实施例中的运动量计算单元23中，在血管提取过程中间获得的图像(在执行浮雕化处理之后和执行二进制化之前的图像)用作用来计算运动量的图像。
在执行血管提取过程之前的图像(执行浮雕化处理之前的图像)中，血管和其它部分彼此清晰可辨，如上参照图7所述。图像中血管的亮度用作表示实际截面状态的信息，如图9所示。然而，该信息在执行血管提取过程之后的图像(执行二进制化处理之后的图像)中被去掉了，如图10所示。因此，即使示出彼此不同的血管截面，例如如图11(A)和11(B)所示，在执行提取过程后，也很可能使不同的截面都一样。
从而，如果执行血管提取过程之后的图像(执行二进制化处理之后的图像)被用作用来计算位移量的图像，则当从先前图像IM2(图8(B))中搜索具有的亮度与当前图像IM1中的兴趣块ABL的亮度差别最小的块时，会出现很多块的亮度都等于或者约等于兴趣块的亮度。从而，就不能找到真正与兴趣块ABL相对应的块RBL。因此，可能会出现位移量的计算精度降低的情况。
通过上面的描述，在运动量计算单元23中，在血管提取过程中间获得的图像(在执行浮雕化处理之后和执行二进制化之前的图像)用作用来计算运动量的图像。
注意，尽管当前图像IM1中的多个兴趣块一般是当前图像IM1中的所有像素，所述多个兴趣块也可以是当前图像IM1中反映的血管的端点、分歧点或拐点，或这些点的其中一部分。
此外，尽管对具有的亮度与兴趣块ABL的亮度差别最小的块进行搜索的范围一般与整个先前图像IM2相对应，所述范围也可以对应于以先前检测到的位移量做出移位的位置作为中心的多个兴趣块的大小。所述范围的形状可以根据先前检测到的位移量中的时间变化量而变化。
(4-4)三维图像生成过程
对于从手指外周拍摄的每幅血管图像，三维图像生成单元24检测当各幅图像中反映的血管从各幅图像的视点投影到投影空间时在投影空间中拍摄的血管的轮廓区域，并提取对于所检测的各个轮廓区域共同的部分以作为血管的立体图像(三维体)。
在此实施例中，三维图像生成单元24不将对于投影在投影空间的最深范围中的轮廓区域共同的部分提取为血管的立体图像。三维图像生成单元24配置为将对于在从投影空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围中投影的轮廓区域共同的部分提取为血管的立体图像。
下面将解释由三维图像生成单元24执行的生成方法的例子。如图12所示，三维图像生成单元24定义作为投影空间的三维空间，该三维空间具有预定形状，该预定形状包括作为结构单元的、被称为体元(voxel)的立方体(下面将称之为体元空间)(图13：步骤SP1)。
然后，根据作为照相机信息存储在ROM中的各种值(例如焦距和图像中心)、作为定义了与投影空间中的投影表面沿深度方向相距所述投影长度的信息而存储在ROM中的值以及从运动量计算单元23所接收的运动量数据的值，三维图像生成单元24基于从血管提取单元22接收的多个图像数据项(二进制血管图像)生成血管形状数据。
即，如图14所示，三维图像生成单元24将第一个从血管提取单元22接收的二进制血管图像(作为参考图像)放置在体元空间的各视点之中与具有0度转角的视点对应的位置处，并检测从投影空间的投影表面到与所述投影表面沿深度方向相距预定长度L的投影面的范围(图14中由实线围绕的范围)内投影的轮廓区域AR(图13：步骤SP2)。而且，在图14中作为示例示出了这样的情况：在图1中示出的物体中，图1(A)代表参考图像。
在用于检测轮廓区域的指定方法中，体元空间中的各个体元被反向投影到参考图像上，从而计算投影点，并且保留下述体元作为轮廓区域：参考图像中反映的血管轮廓内部存在所述体元的投影点。
同时，对于其次和随后从血管提取单元22接收的每幅二进制血管图像，根据从运动量计算单元23接收的运动量数据，三维图像生成单元24识别从参考图像到作为当前处理目标的二进制血管图像的沿转动方向的运动量(下面将称之为转动运动量)。
然后，三维图像生成单元24通过使用下式来计算作为当前处理目标的二进制血管图像相对于参考图像的转角θro(下面将称之为第一转角)：
θro＝arctan(Vx/r)……(1)
其中，Vx表示转动运动量，r表示被设定为从手指的转动轴线到血管的距离的值，并判定第一转角θro是否小于360度(图13：步骤SP3)。
当第一转角θro小于360度时(图13：步骤SP3中“是”)，这是指并非从手指的整个外周拍摄的多个二进制血管图像的所有视体(viewvolume)(轮廓区域)都被检测到的状态。在此情形下，三维图像生成单元24计算第一转角θro与下述转角(下面将称之为第二转角)之间的差值，并判定该差值是否大于或等于预定阈值(图13：步骤SP4)，所述第二转角是下述二进制血管图像与参考图像之间的转角：该二进制血管图像在作为当前处理目标的二进制血管图像之前刚刚被检测了视体。
当差值小于阈值时(图13：步骤SP4中“否”)，这是指手指的转动停止或者相当于停止的状态。在此情形下，三维图像生成单元24采用紧随作为当前处理目标的二进制血管图像之后接收的那个二进制血管图像作为处理目标，而不计算作为当前处理目标的二进制血管图像的轮廓区域。三维图像生成单元24配置为避免计算无效轮廓区域，如前所述。
相反，当差值大于或等于阈值时(图13：步骤SP4中“是”)，这是指手指转动的状态。在此情形下，三维图像生成单元24将作为当前处理目标的二进制血管图像IMx放置在与视点VPx相对应的位置处，所述视点VPx相对于参考位置IMs的视点VPs具有转角θro，例如如图15所示。
接着，在对于二进制血管图像IMx检测投影在从投影空间的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围内的轮廓区域(图13：步骤SP5)后，三维图像生成单元24将紧随所述二进制血管图像之后接收的那个二进制血管图像作为处理目标。
注意，当用作当前处理目标的二进制血管图像IMx绕体元空间外周放置时，对于二进制血管图像IMx和紧挨着二进制血管图像IMx之前检测了体元空间的那个二进制血管图像IM(x-1)，三维图像生成单元24根据运动量数据来识别与手指的转动方向正交的方向的运动量(作为当前处理目标的二进制血管图像以及最近之前放置的那个二进制血管图像的竖直方向的矢量分量Vy的平均值)，并根据所述运动量修正视点VPx沿修正方向RD(平行于体元空间中的z轴方向的方向)的位置。
因而，即使在手指转动时手指按压量或转动轴线发生变化，三维图像生成单元24也能够随着该变化而检测轮廓区域。从而，与不考虑沿着与手指的转动方向正交的方向的运动量的情况相比，三维图像生成单元24能够精确地检测轮廓区域。
由此方式，三维图像生成单元24依次检测二进制血管图像中反映的血管的轮廓区域，直到相对于参考图像的第一转角θro大于或等于360度的二进制血管图像被用作当前处理目标(图13：包括步骤SP3-SP4-SP5的循环)。
这里，例如如图16所示，对位于从体元空间(投影空间)的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围(实线围绕的范围)内的轮廓区域进行检测。从而，当注意到图1中物体前侧的图像(图1(A))和物体后侧的图像(图1(B))时，即使体元空间中存在视体并不相同的一些部分，在各幅图像中物体的投影部分(轮廓区域)的体元也被保留。
从而，当相对于参考图像的第一转角θro大于或等于360度的二进制血管图像用作当前处理目标时，在体元空间中，例如如图17所示，在各幅图像中作为物体的投影部分(轮廓区域)而保留的那些体元的共同部分(实线部分)被表示为实际物体的血管的真实立体图像(三维体)。而且，在图16中，列区域部分表示作为不投影部分而保留的体元。
在相对于参考图像的第一转角θro大于或等于360度的二进制血管图像被用作当前处理目标的情况下，三维图像生成单元24识别具有共同部分的体元作为血管的立体图像，并提取体元数据作为立体图像的数据。体元数据在血管登记模式中作为登记数据登记在存储器13中，并在认证模式中与登记在存储器13中的登记数据相比进行认证。
(5)运行和效果
由上述构造，认证设备1中的控制单元10(三维图像生成单元24)依次接收从手指外周拍摄的、并在对所拍摄的图像中的血管进行提取时获得的多幅二进制血管图像。
此外，对于各幅二进制血管图像，在各幅图像中反映的物体从各幅图像的视点位置投影到体元空间中的情况下，三维图像生成单元24对位于从体元空间的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围内投影的投影区域进行检测，并提取对于所检测的各个投影区域共同的部分(见图17)。
三维图像生成单元24不将对于投影在体元空间的最深范围中的轮廓区域共同的部分提取为血管的立体图像。三维图像生成单元24将对于在从体元空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围中投影的轮廓区域共同的部分提取为血管的立体图像。从而能够在注意与从手指表面到手指内部的图像拾取目标(血管)的深度对应的范围的同时计算视体。
因而，即使在从血管表面到相反侧之间的区域内视体不相同，只要在接近血管表面处的视体是相同的，三维图像生成单元24就使得所述共同部分作为血管的投影部分(轮廓部分)的体元而保留。由此方式，即使在不能对位于图像拾取表面背侧的血管部分进行投影的情况下，也能够表现精确地反映真实血管的形状(例如见图15)。
由上述构造，由于将对于从投影空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围中投影的轮廓区域共同的部分提取为血管的立体图像，即使在不能拍摄血管背侧的图像的情况下，也能够实现能够高精度生成血管形状的认证设备1。
(6)其它实施例
在上述实施例中，已经描述了活体内部的血管用作图像拾取目标的情况。然而，本发明不限制于此。例如，活体表面上的神经或指纹、面部等也可用作图像拾取目标。替代地，也可使用除活体以外的物体。注意，浮雕化处理可以根据所使用的图像拾取目标而以合适的方式省略。
此外，当使用活体内部的图像拾取目标(例如神经或血管)时，尽管已经在前面的实施例中已经描述了手指用作活体部分的情形，但本发明不限制于此。例如，也可将诸如手掌、脚趾、手臂、眼睛或胳膊的部分用作活体部分。
此外，尽管在前面的实施例中，待检测的投影区域(在图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下该投影区域被投影在投影空间中)是固定的，但本发明也可改变待检测的投影空间。
即，在前面的实施例中，表示从投影空间中的投影表面沿深度方向的投影长度的值(固定值)存储在ROM中。然而，除此以外，例如存储有表示身体脂肪百分比和投影长度之间对应关系的信息。
在检测第一个接收图像(参考图像)的轮廓区域(图13：步骤SP2)之前，控制单元10使得通知单元15发出指令以输入将要被拍摄图像的用户的身体脂肪百分比。然后，控制单元10检测从操作单元11输入的身体脂肪百分比，并设定与所检测的身体脂肪百分比相对应的值。因此，控制单元10改变投影长度。
通过执行上述处理，当对在从体元空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围中投影的轮廓区域进行检测时，对于有可能由于身体脂肪百分比增大而更难以投影的血管，可以在注意与从手指表面到手指内部的图像拾取目标(血管)的深度对应的区域的同时获得视体，而无论身体脂肪百分比的个体差异如何。从而，能够表现更真实地反映实际血管的形状。
注意，除了输入将要被拍摄图像的用户的身体脂肪百分比，也可以输入活体的其它信息(例如身高、体重和年龄等)，从而能够从所输入的信息计算身体脂肪百分比。设定值可与多个因素相关，例如手指直径和重量以及身体脂肪百分比。
此外，例如除了表示从投影空间中的投影表面沿深度方向的投影距离的值，表示视点与表示所述投影长度的值之间对应关系的信息也可存储在ROM中。在检测第一个接收图像(参考图像)的轮廓区域(图13：步骤SP2)之前，控制单元10根据血管图像中反映的手指轮廓的手指宽度、手指图像中反映的与手指轮廓的内部有关的信息等来检测与血管图像相对应的视点，并设定与所检测的视点相对应的值。因此，控制单元10改变投影长度。
通过执行上述处理，当对在从体元空间中的投影表面到与所述投影表面沿深度方向相距预定长度的投影面的范围中投影的轮廓区域进行检测时，对于手指背侧和手指腹侧的其中任一者都可设定与从手指表面到存在血管的位置的深度相对应的投影长度。因此，能够表现更真实地反映实际血管的形状。
如上所述，在检测第一个接收图像(参考图像)的轮廓区域之前，提供设定步骤来检测图像拾取目标上的信息和设定与所检测的信息相对应的预定长度，并且对在从投影空间中的投影表面到与所述投影表面沿深度方向相距在设定步骤中设定的预定长度的投影面的范围中投影的投影区域进行检测。从而，能够高精度地生成血管的形状。
而且，尽管在前面的实施例中已经描述了根据存储在ROM中的程序执行血管登记模式和认证模式的情形，本发明不限制于此。血管登记模式和认证模式可以根据从程序存储介质(例如CD(紧致盘)、DVD(数字多用途光盘)或半导体存储器)安装或者从Internet上提供程序的服务器下载所获得的程序来执行。
而且，尽管在前面的实施例中已经描述了控制单元10执行登记处理和认证处理的情形，本发明不限制于此。所述处理的一部分可以由图形工作站来执行。
而且，尽管在前面的实施例中已经描述了使用具有图像拾取功能、校验功能和登记功能的认证设备1的情形，本发明不限制于此。本发明可适于根据所述应用将每个功能或每个功能的一部分分派到相应的单个设备的实施例。
工业实用性
本发明在生物测量学认证方面有用。

Claims (5)

1.一种物体形状生成方法，其特征在于包括：
第一步骤，在从物体外周拍摄的各幅图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下，对于各幅图像检测在从投影空间中的投影表面到投影面的范围中投影的投影区域，所述投影面与所述投影表面沿深度方向相距预定长度；和
第二步骤，提取对于所检测的各个投影区域中共同的部分。
2.如权利要求1所述的物体形状生成方法，其特征在于包括：
计算步骤，从各幅图像的其中一幅，计算在所述各幅图像的所述其中一幅之前拍摄的图像中反映的物体在转动方向上的运动量，
其中，在所述第一步骤中，
从参考图像与用作检测目标的图像之间的运动量获得用作检测目标的图像相对于参考图像的转角，并且，在用作检测目标的图像中反映的物体从相对于参考图像的视点位置具有所述转角的视点位置投影到投影空间的情况下，对于投影到投影空间的投影区域进行检测。
3.如权利要求1所述的物体形状生成方法，其特征在于包括：
计算步骤，从各幅图像的其中一幅，计算与在所述各幅图像的所述其中一幅之前拍摄的图像中反映的物体的转动方向正交的方向上的运动量，
其中，在所述第一步骤中，
所述各幅图像的所述其中一幅的视点位置由所述运动量沿修正方向进行修正。
4.如权利要求1所述的物体形状生成方法，其特征在于包括：
设定步骤，检测与图像拾取目标有关的信息并设定所述预定长度以与所检测的信息相对应，
其中，在所述第一步骤中，
对于在从投影空间的投影表面到与所述投影表面沿所述深度方向相距在所述设定步骤中设定的预定长度的投影面的范围中投影的投影区域进行检测。
5.一种物体形状生成设备，其特征在于包括：
第一装置，用于在从物体外周拍摄的各幅图像中反映的物体从各幅图像的视点位置投影到投影空间的情况下，对于各幅图像检测在从投影空间中的投影表面到投影面的范围中投影的投影区域，所述投影面与所述投影表面沿深度方向相距预定长度；和
第二装置，用于提取对于所检测的各个投影区域中共同的部分。
CN2008800053389A 2007-02-16 2008-02-14 物体形状生成方法、物体形状生成设备及程序 Expired - Fee Related CN101617338B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007036766A JP2008203995A (ja) 2007-02-16 2007-02-16 物体形状生成方法、物体形状生成装置及びプログラム
JP036766/2007 2007-02-16
PCT/JP2008/052908 WO2008099963A1 (ja) 2007-02-16 2008-02-14 物体形状生成方法、物体形状生成装置及びプログラム

Publications (2)

Publication Number Publication Date
CN101617338A CN101617338A (zh) 2009-12-30
CN101617338B true CN101617338B (zh) 2012-09-05

Family

ID=39690183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800053389A Expired - Fee Related CN101617338B (zh) 2007-02-16 2008-02-14 物体形状生成方法、物体形状生成设备及程序

Country Status (6)

Country Link
US (1) US8780116B2 (zh)
EP (1) EP2120206A4 (zh)
JP (1) JP2008203995A (zh)
KR (1) KR20090110348A (zh)
CN (1) CN101617338B (zh)
WO (1) WO2008099963A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2939900A1 (fr) * 2008-12-17 2010-06-18 Sagem Defense Securite Dispositif d'hybridation en boucle fermee integre par construction.
JP5529568B2 (ja) * 2010-02-05 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
JP2015049551A (ja) * 2013-08-30 2015-03-16 日立オムロンターミナルソリューションズ株式会社 生体認証装置
JP6838912B2 (ja) * 2016-09-29 2021-03-03 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5934288A (en) * 1998-04-23 1999-08-10 General Electric Company Method and apparatus for displaying 3D ultrasound data using three modes of operation
CN1781450A (zh) * 2004-11-24 2006-06-07 株式会社东芝 三维图像处理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858128A (en) * 1986-08-11 1989-08-15 General Electric Company View-to-view image correction for object motion
JP3980696B2 (ja) 1997-03-05 2007-09-26 株式会社東芝 画像再構成処理装置
JP2001273497A (ja) * 2000-03-27 2001-10-05 Sanyo Electric Co Ltd 個人識別装置
JP2002175529A (ja) 2000-12-06 2002-06-21 Matsushita Electric Ind Co Ltd 個人識別装置
US6914601B2 (en) * 2001-06-12 2005-07-05 Minolta Co., Ltd. Method, apparatus, and computer program for generating three-dimensional shape data or volume data
JP2002366935A (ja) * 2001-06-12 2002-12-20 Minolta Co Ltd ボリュームデータの生成方法および装置並びにコンピュータプログラム
JP2003067726A (ja) * 2001-08-27 2003-03-07 Sanyo Electric Co Ltd 立体モデル生成装置及び方法
JP2004070792A (ja) * 2002-08-08 2004-03-04 Telecommunication Advancement Organization Of Japan ボクセルデータ符号化方式
DE102004041115A1 (de) * 2004-08-24 2006-03-09 Tbs Holding Ag Verfahren und Anordnung zur Erfassung biometrischer Daten
JP2007000219A (ja) * 2005-06-22 2007-01-11 Hitachi Ltd 個人認証装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5934288A (en) * 1998-04-23 1999-08-10 General Electric Company Method and apparatus for displaying 3D ultrasound data using three modes of operation
CN1781450A (zh) * 2004-11-24 2006-06-07 株式会社东芝 三维图像处理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2003-67726A 2003.03.07
JP特开2007-219A 2007.01.11
JP特开平10-243941A 1998.09.14

Also Published As

Publication number Publication date
JP2008203995A (ja) 2008-09-04
EP2120206A1 (en) 2009-11-18
US8780116B2 (en) 2014-07-15
WO2008099963A1 (ja) 2008-08-21
EP2120206A4 (en) 2013-08-07
CN101617338A (zh) 2009-12-30
KR20090110348A (ko) 2009-10-21
US20100073378A1 (en) 2010-03-25

Similar Documents

Publication Publication Date Title
US10990191B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
Veľas et al. Calibration of rgb camera with velodyne lidar
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
US9031315B2 (en) Information extraction method, information extraction device, program, registration device, and verification device
EP2339507B1 (en) Head detection and localisation method
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN101617338B (zh) 物体形状生成方法、物体形状生成设备及程序
US11544966B2 (en) Image acquisition system for off-axis eye images
Czyzewski et al. Chessboard and chess piece recognition with the support of neural networks
US20200065564A1 (en) Method for determining pose and for identifying a three-dimensional view of a face
Benalcazar et al. A 3D iris scanner from multiple 2D visible light images
CN101657841A (zh) 信息提取方法、登记设备、验证设备和程序
CN105488780A (zh) 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
CN112508998A (zh) 基于全局运动的视觉目标对齐方法
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
CN112257617B (zh) 多模态目标识别方法和系统
Liang Mechanical Parts Pose Detection System Based on ORB Key Frame Matching Algorithm
Tamas et al. Heterogeneous feature based correspondence estimation
Yu et al. Be Real in Scale: Swing for True Scale in Dual Camera Mode
KR20090127890A (ko) 표면 추출 방법, 표면 추출 장치 및 프로그램
David et al. Evaluation of the softposit model-to-image registration algorithm
CN115641561A (zh) 一种障碍物检测方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20150214

EXPY Termination of patent right or utility model