CN104915631A - 图像处理设备、生物认证设备和图像处理方法 - Google Patents

图像处理设备、生物认证设备和图像处理方法 Download PDF

Info

Publication number
CN104915631A
CN104915631A CN201510050278.4A CN201510050278A CN104915631A CN 104915631 A CN104915631 A CN 104915631A CN 201510050278 A CN201510050278 A CN 201510050278A CN 104915631 A CN104915631 A CN 104915631A
Authority
CN
China
Prior art keywords
image
light source
brightness
distance
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510050278.4A
Other languages
English (en)
Other versions
CN104915631B (zh
Inventor
青木隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN104915631A publication Critical patent/CN104915631A/zh
Application granted granted Critical
Publication of CN104915631B publication Critical patent/CN104915631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了图像处理设备、生物认证设备和图像处理方法。所述图像处理设备包括:将光照射在对象上的光源;对所述对象进行捕获的成像装置;对所述对象上的多个位置处的亮度进行计算的亮度计算单元;以及系数计算单元。系数计算单元根据从光源到所述多个位置中的每个位置的距离和所述多个位置中的每个位置处的亮度来计算针对所述多个位置中的每个位置的校正系数。

Description

图像处理设备、生物认证设备和图像处理方法
技术领域
本文中公开的实施方式涉及图像处理设备、生物认证设备、图像处理方法、程序以及存储有这样的程序的计算机可读存储介质。
背景技术
例如,当捕获要被注册在使用人手掌脉络的生物认证中的生物数据时,通过已知的引导构件等来引导手——其为捕获目标的示例——的位置。另一方面,当捕获要与注册的生物数据匹配的生物数据时,存在其中不提供引导构件来引导手的位置的情况。当捕获没有引导构件进行引导的手的生物数据时,注册的生物数据与匹配生物数据之间的差异由于手位置的差异而变大,并且个人识别(身份验证)的成功率会降低。当将个人正确地认证为通过认证的人时,认为个人识别成功。
可以测量手的定向(或姿态),比如手的倾斜度,以便在将捕获的生物数据与注册的生物数据进行匹配时对捕获的生物数据进行处理,使得匹配时的手位置与注册时的手位置的偏差最小化。在此情况下,可以改进个人识别的成功率。可以使用多个距离传感器(或测距仪)通过测量从距离传感器中的每个距离传感器到手的相应部分的距离来检测手位置。然而,为了改进距离测量精度,需要使用大量距离传感器,这导致了生物认证设备成本增加和尺寸增大。此外,在对生物认证设备的尺寸等存在物理限制的情况下,难于将大量距离传感器布置在物理限制的容许范围内。
另一方面,已知SFS(Shape From Shading,从阴影恢复形状)技术,该技术根据通过将光照射在捕获目标上所捕获的捕获目标的图像的亮度分布来识别该捕获目标的三维形状。当将此SFS技术应用于手位置的检测时,将光照射在捕获目标上并且由成像设备经由镜头接收来自该捕获目标的反射光。作为结果,在镜头处发生所谓的渐晕。在从光源到捕获目标的距离充分长的情况下,从光源到捕获目标上各点的距离可以被认为相同,并且渐晕的影响比较小。另一方面,在例如利用手掌脉络的生物认证设备的情况下,由于上文所描述的限制等而难于使从光源到手的距离充分长,并且渐晕的影响取决于手位置而变得比较大。由于此原因,难于使用SFS技术以高精度检测手位置,并且改进匹配生物数据与注册的生物数据之间的匹配精度是困难的。
因此,根据使用SFS技术的常规形状识别,难于以高精度识别捕获目标的形状。
可以在下述文献中找到现有技术方法和系统的示例:日本公开特许公报No.2000-230807和No.2007-010346;R.Kimmel等人的"Global Shapefrom Shading",CVGIP:Image Understanding,第120-125页,1995年;R.Zhang等人的"Shape from Shading:A Survey",IEEE PAMI(Transactions on Pattern Analysis and Machine Intelligence),第21卷,第8期,第690-706页,1999年8月;E.Prados等人的"Shape from Shading:a well-posed problem?",INRIA,第5297期,第1-55页,2004年8月;以及"New Edition Image Analysis Handbook",University of Tokyo Press,第118-131页,2004年9月。
发明内容
因此,本发明的一个方面的目的是提供能够以高精度识别捕获目标的形状的图像处理设备、生物认证设备、图像处理方法、程序以及计算机可读存储介质。
根据实施方式的一个方面,一种图像处理设备包括:将光照射在对象上的光源;对所述对象进行捕获的成像装置;亮度计算单元,所述亮度计算单元计算所述对象上的多个位置处的亮度;以及系数计算单元,所述系数计算单元根据从所述光源到所述多个位置中的每个位置的距离和所述多个位置中的每个位置处的亮度来计算针对所述多个位置中的每个位置的校正系数。
根据实施方式的另一方面,一种生物认证设备包括:捕获用光照射的生物目标的图像的成像装置;亮度计算单元,所述亮度计算单元计算所述图像内的多个位置中的每个位置处的亮度;存储单元,所述存储单元存储针对所述图像内的所述多个位置中的每个位置的校正系数,其中所述校正系数基于:从将光照射在参考对象上的光源到所述参考对象上的与所述图像内的所述多个位置相对应的多个位置中的每个位置的距离和所述参考对象上的所述多个位置中的每个位置处的亮度;以及亮度校正单元,所述亮度校正单元基于所述图像内的所述多个位置中的每个位置处的所述校正系数来校正所述图像内的所述多个位置中的每个位置处的亮度。
根据实施方式的又一方面,一种图像处理方法包括:通过由成像设备对用来自光源的光照射的对象进行捕获来获取捕获图像;由处理器基于所述捕获图像来测量所述对象上的多个位置处的亮度;以及由所述处理器根据从所述光源到所述对象上的所述多个位置中的每个位置的距离和所述对象上的所述多个位置中的每个位置处的亮度来计算针对所述对象上的所述多个位置中的每个位置的校正系数。
将通过在权利要求中特别指出的元件和组合来实现和获得本发明的目的和优点。
应当理解的是,前述概括性描述和下面的详细描述两者都是示例性和说明性的,并且不对要求保护的本发明构成限制。
附图说明
图1为用于说明对手掌的倾斜度进行估计的处理的示例的图;
图2为用于说明点光源模型的示例的图;
图3为用于说明其中光源包括多个发光元件的示例的图;
图4为用于说明光学系统的示例的图;
图5为示出第一实施方式中的图像处理设备的示例的框图;
图6A和图6B为用于说明成像设备的第一示例的图;
图7为示出第一实施方式中的生物认证设备的示例的框图;
图8为用于说明认证处理的示例的流程图;
图9为用于说明规范化处理的示例的流程图;
图10为用于说明亮度校正处理的示例的流程图;
图11为示出第二实施方式中的图像处理设备的示例的框图;
图12A和图12B为用于说明成像设备的第二示例的图;
图13为示出第二实施方式中的生物认证设备的示例的框图;
图14为用于说明规范化处理的示例的流程图;
图15A和图15B为用于示出斑点光图像的示例的图;
图16A和图16B为用于说明反射率估计处理的示例的图;
图17为用于说明对参考对象的亮度值进行平滑的示例的图;以及
图18为用于说明对参考对象的亮度值的拟合系数进行存储的示例的图。
具体实施方式
将参照附图来描述本发明的优选实施方式。
在根据本发明的一个方面的图像处理设备、图像处理方法或者计算机可读存储介质中,成像装置对用来自光源的光照射的对象进行捕获,亮度计算单元计算对象上的多个位置处的亮度,并且系数计算单元根据从光源到所述多个位置中的每个位置的距离和所述多个位置中的每个位置处的亮度来计算针对所述多个位置中的每个位置的校正系数。
在根据本发明的另一方面的生物认证设备或者计算机可读存储介质中,成像装置捕获用光照射的生物目标的图像,亮度计算单元计算图像内的多个位置中的每个位置处的亮度,存储单元根据从将光照射在参考对象上的光源到参考对象上的对应于所述图像内的所述多个位置的多个位置中的每个位置的距离和参考对象上的所述多个位置中的每个位置处的亮度针对所述图像内的所述多个位置中的每个位置来存储校正系数,以及亮度校正单元基于所述图像内的所述多个位置中的每个位置处的校正系数来校正所述图像内的所述多个位置中的每个位置处的亮度。
现在将给出对根据本发明的每个实施方式中的图像处理设备、生物认证设备、图像处理方法、程序和计算机可读存储介质的描述。
依赖于从光源到捕获目标的距离来确定从光源照射的光的光照强度。因此,在一个实施方式中,利用此依赖性来针对捕获目标上的亮度被测量的多个位置中的每个位置获得根据亮度值和距光源的距离的校正系数。可以预先捕获参考对象,并且可以针对参考对象的捕获图像内的坐标位置中的每个坐标位置来预先获得和存储根据亮度值和距光源的距离的校正系数。该参考对象为被用作参考的平面体的示例,其可以为例如一张白纸。成为捕获目标的生物体(或者生物目标)的示例可以为用户的手掌。在其中捕获手掌的情况下,基于根据坐标位置预先存储的校正系数针对该手掌的捕获图像内的坐标位置中的每个坐标位置来校正亮度值。
图1为用于说明估计手掌的倾斜度的处理的示例的图,该处理用于利用手掌脉络的生物认证。在图1中,成像设备1可以具有包括光源、成像装置(或者图像传感器)或镜头等的已知配置。来自光源的光照射用户的手掌3,该手掌3为成为捕获目标的生物体的示例。成像装置经由镜头来接收从手掌3反射的光,并且从成像装置输出手掌3的捕获图像。图1示出了其中手掌3相对于水平线H具有倾斜角度θ的示例,其中该水平线H垂直于成像设备1的光轴(即,光源和成像装置的光轴)。
可以使用SFS技术根据从成像装置输出的捕获图像的亮度值(即,辉度)来测量手掌3的三维形状。更特别地,可以通过基于捕获图像的亮度值来计算从光源到手掌3的距离来测量手掌3的三维形状。在例如上面提到的下述文献中描述了SFS技术所使用的计算处理的示例:R.Kimmel等人的"Global Shape from Shading",CVGIP:Image Understanding,第120-125页,1995年;R.Zhang等人的"Shape from Shading:A Survey",IEEE PAMI(Transactions on Pattern Analysis and Machine Intelligence),第21卷,第8期,第690-706页,1999年8月;E.Prados等人的"Shapefrom Shading:a well-posed problem?",INRIA,第5297期,第1-55页,2004年8月;以及"New Edition Image Analysis Handbook",University ofTokyo Press,第118-132页,2004年9月。
理想条件是SFS技术使用的计算处理的前提条件。然而,在实际上用于生物认证的成像设备1中,由于下述第一因素和第二因素而存在与理想条件的偏差。第一因素为:当用D表示从光源到作为捕获目标的示例的手掌3的距离时,在其中光源为点光源的情况下,光照强度与1/D2成比例,然而在实际上使用的光源的情况下,光照强度未必与1/D2成比例。第二因素为:尽管成像设备1中存在由镜头造成的渐晕,然而在理想条件下不考虑这样的渐晕。
特别在其中成像设备1与捕获目标之间的距离比较短的近场光学系统中,由上述第二因素造成的影响变大。换句话说,在近场光学系统中,镜头的视角较宽,并且渐晕的影响变大。另外,当成像设备1与捕获目标之间的距离比较长时,光源可以近似为点光源,然而,在近场光学系统的情况下,由于下述因素等,亮度值示出了与点光源模型的距离依赖性不同的距离依赖性。
图2为用于说明点光源模型的示例的图。在图2中,来自点光源11A的光照射捕获目标3A比如手掌。在图2中,D表示从点光源11A到捕获目标3A的距离。在此情况下,捕获目标3A上的光照强度Li与1/D2成比例。然而,如以后将结合图3所描述的,实际上使用的光源不是以上描述点光源11A,并且捕获目标3A上的光照强度Li未必成为与1/D2成比例。
图3为用于说明其中光源包括多个发光元件的示例的图。在图3中,光源包括基板10、多个LED(发光二极管)11B和设置在所述多个LED11B上方的光引导件12,其中所述多个LED为设置在基板10上的发光元件的示例。来自所述多个LED 11B的光通过光引导件12照射在捕获目标3A上,以便使光照强度Li的分布均匀。在图3中,用虚线表示的箭头代表来自多个LED 11B的光之中的由成像设备的部件等造成的内部反射光。在光源包括多个LED 11B和光引导件12并且存在由成像设备的部件等造成的内部反射光的情况下,点光源模型不适用于此光源。因此,在实际的成像设备中,光照强度未必与1/D2成比例。
由于上述原因,在近场光学系统中,不能够基于假定理想条件的SFS计算模型精确地计算出从光源到捕获目标的距离。例如,在利用手掌3的脉络的生物认证中,即使将SFS计算模型直接应用于由成像设备捕获的手掌3的捕获图像,所计算的从光源到手掌3的距离也大大偏离正确距离(即,实际距离)。这是因为:在执行生物认证时,用户通常更容易在其中手掌3与成像装置之间的距离(或者认证距离)较短的情况下使用生物认证设备。作为结果,在利用手掌3的脉络的生物认证中,假定认证距离为例如近似5cm,并且与理想条件的偏差较大。根据SFS技术,基于亮度值来测量距离,并且优选的是使亮度值经历适当的校正处理以便精确地测量手掌3的三维形状。
在一个实施方式中,执行下文描述的亮度校正处理。取决于前提条件,该亮度校正处理包括两种,即基本校正处理和高度可变校正处理。
首先,将参照图4来给出对基本校正处理的描述。图4为用于说明光学系统的示例的图,并且为了方便起见省略了对成像设备的镜头的说明。在此示例中,对捕获图像进行校正使得适合于SFS计算模型的基本校正处理被应用于亮度校正处理。更特别地,预先获取布置在与成像装置7相距预定高度(即,沿着Z轴方向的距离)Z=Zr处的参考对象8的捕获图像的亮度值,并且使用此参考对象8的捕获图像的亮度值作为对捕获目标的捕获图像的亮度值进行校正的参考。换句话说,使用光学条件已知的参考对象8的捕获图像的亮度值来校正捕获目标的捕获图像的亮度值。将参考对象8在XYZ坐标系中的高度Zr设置成由成像设备假定(或者预期)的沿着Z轴方向的参考高度,其中该成像设备设置在XY平面上并且在Z轴方向上照射光。另外,参考对象8为用作参考的平面体,其反射率预先已知。
捕获布置在与成像装置7相距高度Z=Zr的位置处的平面参考对象8的图像,并且将该图像用于亮度校正处理。在下文描述的示例中,参考对象8水平地(即,平行于XY平面)布置在与成像装置7相距高度Z=Zr之处,然而参考对象8的布置不限于水平布置。参考对象8的反射率优选地为100%,然而,当反射率不是100%时,可以在使用之前校正该反射率,只要整个参考对象8的反射率恒定并且已知即可。另外,参考对象8优选地具有低镜面反射的特性。可以通过例如标准的反射器、经处理的塑料、或纸等来形成参考对象8。
在图4示出的示例中,光学系统布置在三维XYZ坐标系中,并且成像设备的光源和镜头的中心9位于XYZ坐标系的中心(0,0,0)处。换句话说,光源和镜头的光轴穿过中心9。在下面的描述中,用大写字母X、Y和Z来表示代表参考对象8上的位置的物理坐标系(例如以mm为单位),并且用小写字母x和y来表示代表被成像装置7捕获的图像上的位置的坐标系。用f来表示镜头的焦距,并且假定针孔相机模型用于成像设备。
如图4所示,参考对象8水平地布置在相对于成像装置7的高度Z=Zr处,并且通过成像装置7来捕获参考对象8的图像。参考对象8的捕获图像的亮度值用Ir(x)表示。亮度值Ir(x)中的下标“r”代表参考,并且x和y代表捕获图像中的坐标。(x,y)代表其中图像的中心位于中心坐标(0,0)处的XY坐标系。在高度Z已知时,可以通过使用焦距f的下述公式来表达与捕获图像上的点g(x,y)相对应的参考对象8上的位置G(X,Y,Z)。
X=(Z/f)·x
Y=(Z/f)·y
在基本校正处理中,相对于捕获图像的亮度值I(x,y)来执行用校正系数α(x,y)表达的校正处理,其中,Dr表示从光源到参考对象8上的位置的距离,并且P表示常数。
α(x,y)=P/{Ir(x,y)·Dr 2(x,y)}
可以用下述公式来表达捕获图像的经历了校正处理的亮度值I'(x,y)。
I'(x,y)=I(x,y)·α(x,y)
=I(x,y)·[P/{Ir(x,y)·Dr 2(x,y)}]
在用校正系数α(x,y)表达的校正处理的公式中,系数[P/{Ir(x,y)·Dr 2(x,y)}]代表针对其中参考对象8的亮度值与(1/D2)成比例的情况的渐晕。校正系数α(x,y)是基于系数[P/{Ir(x,y)·Dr 2(x,y)}]的倒数的,并且针对SFS计算模型执行校正。换句话说,校正系数与亮度的倒数成比例,并且与从光源到捕获目标上多个位置中的每个位置的距离的-2次幂成比例。
接下来,将给出对高度可变校正处理的描述。上述基本校正处理利用了布置在参考高度Zr处的参考对象8的亮度值。参考高度Zr为预设的固定值,并且可以被设定成由成像设备所假定(或者所预期)的标准高度。换句话说,通过使用布置在最频繁使用的高度处的参考对象8的捕获图像的亮度值来执行亮度校正处理,能够改进捕获目标的捕获图像的亮度值的校正精度。
另一方面,例如在其中没有提供用于引导捕获目标的已知引导构件的情况下,捕获目标的高度可能会变化。例如,在利用手掌脉络的生物认证中,置于成像设备上方的用户手掌的高度未必是恒定的而是可能会变化的。由于此原因,会常常发生其中固定的参考对象8的高度Zr和作为捕获目标的示例的手掌的高度Z不同的情形。在这样的情形下,可以通过使用捕获目标所存在于的高度Z处的光照强度分布来预计测量精度的改进。可以使用单独提供的已知距离测量功能来获取捕获目标的高度Z。
可以通过距离测量功能来获取捕获目标比如手掌的平均高度Z,并且可以计算在高度Z处的参考对象8的亮度值以被上述亮度校正处理使用。通过建模等来存储在多个高度Z处的参考对象8的亮度值,可以计算在任意高度Z处的参考对象8的亮度值。通过使用所计算的参考对象8的亮度值来执行亮度校正处理,可以改进校正精度。
通过执行亮度校正处理,可以考虑没有被现有SFS技术考虑的因素,从而在其中应用了SFS技术的情况下改进从光源到捕获目标的距离的测量精度。由于此原因,甚至在成像设备与捕获目标之间的距离较短(即,捕获目标接近成像设备)的情况下,也可以通过应用SFS技术来精确地测量从光源到捕获目标的距离。更特别地,通过利用设定成预定高度的参考对象8的亮度值来校正成像设备所特有的亮度分布,能够以高精度测量从光源到捕获目标的距离。另外,通过将亮度校正处理适合于被SFS计算模型假定的理想条件,能够改进计算精度。此外,通过用亮度校正处理排除没有被一般SFS技术考虑的因素比如镜头处的渐晕,可以改进距离测量精度。
此外,在其中捕获目标的高度变化的情况下,可以利用通过单独提供的距离测量功能测量的捕获目标的高度Z的平均值来计算在对应高度Z处的参考对象8的亮度值。可以利用所计算的在高度Z处的参考对象8的亮度值来执行亮度校正处理,以进一步改进距离测量精度。
另外,通过估计捕获目标的反射率,可以稳定地应用SFS技术而不用管捕获目标的类型如何。
因此,可以通过使用SFS技术来精确地获取三维距离信息。作为结果,当将通过使用SFS技术来获取三维距离信息应用于利用手掌脉络的生物认证时,能够改进生物认证的精度。特别地,在使用手掌脉络的生物认证的情况下,由于考虑用户方便性而将成像设备与作为捕获目标的示例的手掌之间的距离设计得较短。在其中使用近场光学系统来执行这样的不接触式(或者非接触式)生物认证的情况下,可以特别地带来上述改进(即,高)的距离测量精度的期望效果。
接下来,将给出使用上述基本校正处理的第一实施方式的描述。图5为示出第一实施方式中的图像处理设备的示例的框图。在此实施方式中,描述了其中使用引导手掌的已知引导构件来执行利用手掌脉络的生物认证的示例。当使用引导构件来引导手掌时,可以保持成像装置与手掌之间的距离近似恒定。由于此原因,后文中描述的亮度校正处理利用了根据位于与成像装置相距预定距离处的参考对象的捕获图像来计算的校正系数。
图像处理设备20-1包括如图5所示连接的控制单元21、成像设备1A、存储单元22和处理单元24-1。处理单元24-1包括校正处理单元241和亮度获取单元243。
控制单元21控制整个图像处理设备20-1。可以通过任何适合的处理器(或者计算机)——包括CPU(中央处理单元)——来形成控制单元21。
成像设备1A包括:照明光学系统,该照明光学系统将光照射在被已知引导构件(未示出)引导的捕获目标上;以及成像光学系统,该成像光学系统接收来自该捕获目标的反射光。在其中引导构件对作为捕获目标的示例的手掌3进行引导使得手掌3变成与图1中水平线H平行的情况下,可以例如通过引导手掌3的与水平线H平行的水平表面的透明板或者通过引导手掌3的仅外周部的凸缘500等来形成引导构件。
图6A和6B为用于说明成像设备的第一示例的图。图6A为成像设备1A的平面视图,图6B为成像设备1A的示意性侧视图。成像设备1A包括成像光学系统15比如相机和照明光学系统16。成像光学系统15包括图4中示出的成像装置7或者镜头(未示出)等。照明光学系统16包括光引导件12和多个(在此示例中为8个)LED 11B。在此示例中,LED11B以环状布置在成像光学系统15的外侧,如图6A所示。光引导件12具有覆盖LED 11B中的每个LED 11B的环状。当生物认证利用手掌3的脉络时,LED 11B可以发射在可以被认为是单色(或者单种颜色)的波长波段内的光。
存储单元22存储数据,比如各种参数和图像数据。可以通过半导体存储装置或者磁存储单元等来形成存储单元22。存储单元22可以存储要被形成控制单元21的处理器执行的一个或更多个程序。可以通过任何适合的非暂态计算机可读存储介质来形成存储一个或更多个程序的存储单元22。
处理单元24-1对捕获目标执行规范化处理。可以通过任何适合的处理器(或者计算机)——包括CPU——来形成处理单元24-1。处理单元24-1包括校正处理单元241和亮度获取单元243。存储单元22可以存储要被形成处理单元24-1的处理器执行的一个或更多个程序。
在此第一实施方式中的图像处理方法的示例中,图5中示出的图像处理单元20-1被用于通过成像设备1A来捕获通过利用引导构件而布置在具有高度Z=Zr的位置处的参考对象8。所捕获的图像的亮度值I(x,y)的图像数据在控制单元21的控制下被存储在存储单元22中。
处理单元24-1的亮度获取单元243为亮度计算单元(或者亮度计算装置)的示例,该亮度计算单元(或者亮度计算装置)在控制单元21的控制下基于存储在存储单元22中的捕获图像的亮度值I(x,y)的图像数据来计算参考对象8上的每个位置处的亮度值,并且将亮度值存储在存储单元22中。处理单元24-1的校正处理单元241为系数计算单元(或者系数计算装置)的示例,该系数计算单元(或者系数计算装置)在控制单元21的控制下计算相对于捕获图像的亮度值I(x,y)的校正系数α(x,y),并且将校正系数α(x,y)存储在存储单元22中,以用于执行用下述在上文中描述过的公式代表的校正处理。
α(x,y)=P/{Ir(x,y)·Dr 2(x,y)}
校正处理单元241还可以在控制单元21的控制下通过相对于捕获图像的亮度值I(x,y)执行用下述在上文中描述过的公式代表的校正处理来计算亮度值I'(x,y),并且将亮度值I'(x,y)存储在存储单元22中。
I'(x,y)=I(x,y)·α(x,y)
=I(x,y)·[P/{Ir(x,y)·Dr 2(x,y)}]
在其中提供了机构以使参考对象8能够布置在具有高度Z=Zr的位置处的情况下,不需要在图像处理设备20-1上设置上文中描述的引导构件,而可以在随后将结合图7来描述的生物认证设备20-2上设置引导构件。
图7为示出第一实施方式中的生物认证设备的示例的框图。在图7中,与图5中的相应部件相同的部件用相同的附图标记来指代,并且将省略其描述。可以在注册用户的生物数据(在此示例中为手掌3的脉络)时以及在将用户的生物数据与注册的生物数据进行匹配时使用图7中示出的生物认证设备20-2。
生物认证设备20-2包括如图7所示连接的控制单元21、成像设备1A、存储单元22、数据库部分23、处理单元24-2、特征提取单元25和匹配处理单元26。处理单元24-2包括校正处理单元241、计算处理单元242、亮度获取单元243、角度估计处理单元244和角度校正处理单元245。存储单元22可以存储要被形成处理单元24-2的处理器执行的一个或更多个程序。
在注册用户的生物数据时,用户将手掌3置于被引导构件所引导的位置处。成像设备1A在控制单元21的控制下捕获手掌3的脉络的图像,并且将捕获图像的注册图像数据存储在存储单元22中。特征提取单元25在控制单元21的控制下通过已知方法从存储在存储单元22中的手掌3的脉络的捕获图像的注册图像数据中提取要被用于生物认证的特征数据,并且将提取的特征数据注册在数据库部分23中。可以通过存储单元22的一部分来形成数据库部分23。
在将用户的生物数据与注册的生物数据进行匹配时,用户将手掌3置于被引导构件所引导的位置处。成像设备1A在控制单元21的控制下捕获手掌3的脉络的图像,并且将要与注册的生物数据进行匹配(或者比较)的捕获图像的匹配图像数据存储在存储单元22中。
处理单元24-2相对于存储在存储单元22中的捕获图像的匹配图像数据执行规范化处理。此规范化处理计算图像数据的三维定向信息,并且使手掌3的定向(或者姿态)规范化,即将手掌3的定向校正为正确定向。手掌3的正确定向指的是在注册用户的生物数据时手掌3的定向。
在处理单元24-2中,亮度获取单元243获取在高度Z=Zr处的参考对象8的亮度值,并且将亮度值存储在存储单元22中。视需要,亮度获取单元243可以提供在高度Z=Zr处的参考对象8的捕获图像的图像数据,并且将图像数据存储在存储单元22中。当然,可以在将参考对象8的图像数据存储在存储单元22中之前使参考对象8的图像数据经历图像处理,比如压缩等。
校正处理单元241基于如上文所述计算并存储在存储单元22中的校正系数α(x,y)来校正被存储在存储单元22中的匹配图像数据的每个坐标点(x,y)处的亮度值,并且将校正后的亮度值存储在存储单元22中。计算处理单元242使用每个坐标点的像素(x,y)处的校正亮度值的图像数据来执行基于SFS计算模型的计算,并且获得包括从成像设备1A的光源到每个坐标点处的像素(x,y)的距离的SFS信息。基于SFS计算模型的计算的计算方法不限于特定方法,而是例如可以使用以上提到的下述文献中描述的方法:E.Prados等人的"Shape from Shading:a well-posed problem?",INRIA,第5297期,第1-55页,2004年8月和"New Edition ImageAnalysis Handbook",University of Tokyo Press,第118-132页,2004年9月。
角度估计处理单元244为角度计算单元的示例,该角度计算单元基于通过校正处理单元241获得的SFS信息来计算作为匹配捕获目标的示例的手掌3相对于手掌3的参考表面的倾斜角度。例如,手掌3的参考表面为与在图1示出的示例的情况下的水平线H平行的水平表面。随后将在在本说明书中给出计算相对于手掌3的参考表面的倾斜角度的更详细描述。
角度校正处理单元245为角度校正单元(或者角度校正装置)的示例,该角度校正单元(或者角度校正装置)基于由角度估计处理单元244计算的手掌3相对于手掌3的参考表面的倾斜角度来校正存储在存储单元22中的匹配图像数据。随后将在本说明书中给出校正该匹配图像数据的更详细描述。因此,在相对于参考表面倾斜的定向处捕获的手掌3的匹配图像数据被校正成在与参考表面平行的正确定向处捕获的手掌3的匹配图像数据。校正(或者旋转)匹配图像数据的校正方法(或者旋转方法)不限于特定方法,而是例如可以使用以上提到的下述文献中描述的方法:"NewEdition Image Analysis Handbook",University of Tokyo Press,第118-132页,2004年9月。甚至在在相对于参考表面倾斜的定向处捕获注册图像数据的情况下,也可以将匹配图像数据校正成与在其处捕获注册图像数据的定向相同的定向处的图像数据,这是因为手掌3的高度被引导构件保持为近似恒定。校正后的匹配图像数据在控制单元21的控制下被存储在存储单元22中。
特征提取单元25在控制单元21的控制下通过已知方法从存储在存储单元22中的校正后的匹配图像数据中提取要被用于生物认证的特征数据,并且将提取的特征数据存储在存储单元22中。匹配处理单元26在控制单元21的控制下将存储在存储单元22中的校正后的匹配图像数据的特征数据与注册在数据库部分23中的注册图像数据的特征数据进行匹配,并且将该匹配的结果(后文中还称为“匹配结果”)存储在存储单元22中。例如,匹配结果代表校正后的匹配图像数据的特征数据相对于注册的图像数据的特征数据的相似度。
图8为用于说明生物认证设备20-2的认证处理的示例的流程图。在开始认证处理时,用户将手掌3置于被生物认证设备20-2的引导构件所引导的位置处。在图8中,在步骤S1中,控制单元21控制成像设备1A来执行特征图像获取处理,以便通过成像设备1A获取特征图像并且将特征图像存储在存储单元22中。在此示例中,特征图像指的是手掌3的脉络的图像。因此,在此示例中,由成像设备1A捕获的捕获图像的匹配图像数据为通过特征图像获取处理获取的特征图像。
在步骤2中,控制单元21控制处理单元24-2来执行使特征图像规范化的规范化处理,以便由控制处理单元24-2获取手掌3的三维定向信息,并且由控制处理单元24-2通过基于该三维定向信息来校正手掌3的定向而将正确定向的特征图像存储在存储单元22中。随后将在本说明书中结合图9和图10来给出对规范化处理的更详细描述。
在步骤S3中,处理单元21控制特征提取单元25来执行特征提取处理,以便由特征提取单元25通过已知方法来从校正后的定向的特征图像中提取要被用于生物认证的特征数据,并且将特征数据存储在存储单元22中。
在步骤S4中,处理单元21控制匹配处理单元26来执行匹配处理,以便由匹配处理单元26获取将从校正后的定向的特征图像中提取的特征数据与注册在数据库部分23中的注册特征图像的特征数据进行匹配的匹配结果,并且将匹配结果存储在存储单元22中。
将用户的生物数据与注册的生物数据进行匹配的认证处理如上述图8所示。然而,可以通过省略上述认证处理的步骤S4并且将在步骤S3中提取的特征图像的特征数据存储到数据库部分23而不是存储单元22中,来执行注册用户的生物数据的注册处理。
图9为用于说明图8所示的步骤S2中执行的规范化处理的示例的流程图。在图9中,在步骤S21中,控制单元21控制亮度获取单元243和校正处理单元241来执行亮度校正处理。在亮度校正处理中,亮度获取单元243获取存储在存储单元22中的在高度Z=Zr处的参考对象8的亮度值,并且校正处理单元241使用基于上文中描述的校正公式计算的校正系数α(x,y)来对存储在存储单元22中的匹配图像数据的每个坐标点处的像素(x,y)的亮度值进行校正,并且校正处理单元241将校正的亮度值存储在存储单元22中。在此示例中,当用h来表示任意系数时,每个坐标点处的像素(x,y)在(-hx,+hx)和(-hy,+hy)的范围内移动。
图10为用于说明图9中步骤S21所执行的亮度校正处理的示例的流程图。在图10中,在步骤S211中,亮度获取单元243将图像坐标x初始化为x=-hx,并且在步骤S212中,亮度获取单元243将图像坐标y初始化为y=-hy。在步骤S213中,校正处理单元241计算相对于像素(x,y)的校正系数α(x,y)。在步骤S214中,校正单元241使用包括校正系数α(x,y)的上述校正公式来校正捕获图像的亮度值I(x,y)。
在步骤S215中,校正处理单元241使y增加为y=y+1,并且在步骤S216中,校正处理单元241判断是否y>hy。当步骤S216中的判断结果为否时,该处理返回至步骤S213,并且当步骤S216中的判断结果为是时,该处理前进至步骤S217。在步骤S217中,校正处理单元241使x增加为x=x+1,并且在步骤S218中,校正处理单元241判断是否x>hx。当步骤S218中的判断结果为否时,该处理返回至步骤S212,并且当步骤S218中的判断结果为是时,该处理返回至图9的处理并且前进至步骤S22。
现在返回至图9的描述,在步骤S22中,控制单元21控制计算处理单元242来执行计算处理。在此计算处理中,基于捕获图像的经历了上述亮度校正处理的亮度值I'(x,y)来执行基于SFS计算模型的计算。从而,此计算处理获得包括了从成像设备1A的光源到每个坐标点处的像素(x,y)的距离的SFS信息。
在步骤S23中,控制单元21控制角度估计处理单元244来执行角度估计处理。在此角度估计处理中,角度估计处理单元244基于通过上述计算处理获得的SFS信息来计算作为要被匹配的捕获目标的示例的手掌3相对于该手掌3的参考表面的倾斜角度。在例如图1所示的示例的情况下,手掌3的参考表面为与水平线H平行的水平表面。在计算相对于手掌3的参考表面的倾斜角度的方法的示例中,可以将三维数据投影到一维上,并且可以相对于一维投影来执行线性拟合。在此情况下,可以首先将三维手掌3的捕获图像的图像数据(Xi,Yi,Zi)(i=0、1、...,并且表示代表捕获目标上的坐标的索引)投影到XZ平面上,并且可以相对于该投影执行线性拟合以拟合出线性线,使得获得手掌3相对于XZ平面的倾斜角度。接下来,可以将三维手掌3的捕获图像的图像数据(Xi,Yi,Zi)接下来投影到YZ平面上,并且可以相对于该投影执行线性拟合以拟合出线性线,使得获得手掌3相对于YZ平面的倾斜角度。通过获得手掌3相对于XZ平面的倾斜角度和手掌3相对于YZ平面的倾斜角度,可以获得手掌3相对于手掌3的参考表面的倾斜角度。当然,可以通过直接地使平面的方程与三维手掌3的捕获图像的图像数据(Xi,Yi,Zi)进行拟合来获得手掌3相对于手掌3的参考表面的倾斜角度。
在步骤S24中,控制单元21控制角度校正处理单元245来执行角度校正处理。在角度校正处理中,角度校正处理单元245基于通过角度估计处理单元244计算的手掌3相对于该手掌3的参考表面的倾斜角度来校正存储在存储单元22中的匹配图像数据。因此,在相对于参考表面倾斜的定向处捕获的手掌3的匹配图像数据被校正成在与该参考表面平行的正确定向处捕获的手掌3的匹配图像数据。校正(或者旋转)匹配图像数据的校正(或者旋转)可以例如将手掌3近似成平面并且旋转此平面。另外,可以使用三维旋转处理来校正该匹配图像数据。三维旋转处理提供更精确的旋转处理,然而,与之相关联的计算增加。由于此原因,在其中优先考虑高速计算处理的情况下,可以将捕获目标近似成平面并且可以旋转该平面,以便减少计算。
接下来,将给出对使用上述高度可变校正处理的第二实施方式的描述。图11为示出第二实施方式中的图像处理设备的示例的框图。在图11中,与图5中的相应部件相同的部件用相同的附图标记来指代,并且将省略其描述。
在图11中,代替上述第一实施方式的成像设备1A和处理单元24-1,图像处理设备20-3包括成像设备1B和处理单元24-3。处理单元24-3包括校正处理单元241、亮度获取单元243和距离测量处理单元246。在此实施方式中,在图像处理设备20-3上不设置引导构件,并且使用设置在成像设备1B上用于距离测量的LED来测量从成像设备1B的光源到手掌3上的每个点的距离,即手掌3的高度,其中该手掌3为捕获目标的示例。存储单元22可以存储要被形成控制单元24-3的处理器执行的一个或更多个程序。
图12A和12B为用于说明成像设备的第二示例的图。在图12A和12B中,与图6A和6B中的相应部件相同的部件用相同的附图标记来指代,并且将省略其描述。成像设备1B包括LED(在此示例中为四个LED)19,该LED为用于距离测量的多个发光元件的示例。在此示例中,LED 19布置在环状光引导件12外侧且位于基板10的四个角处。从LED 19发射的光被捕获目标反射,并且来自捕获目标的反射光被成像光学系统15接收。
处理单元24-3的距离测量处理单元246为具有测量功能的测量单元(或者测量装置)的示例,以通过已知方法基于被成像光学系统15接收的来自捕获目标的反射光来测量从LED 19到捕获目标的距离。随后将在说明书中给出对特定距离测量方法的描述。在上述第一实施方式中,由于设置了引导构件(例如,凸缘500),所以参考对象8的高度Z为已知值Zr。另一方面,在这种未设置引导构件的第二实施方式中,通过距离测量处理单元246来测量参考对象8的高度Z。当然,在此第二实施方式中提供机构以使参考对象8能够布置在具有高度Z=Zr的位置处的情况下,可以使用成像设备1A来代替成像设备1B。
在此第二实施方式中,定位在与捕获目标相同的高度处的参考对象8的亮度值被用于亮度校正处理。由于此原因,处理单元24-3的亮度获取单元243在控制单元21的控制下基于存储在存储单元22中的捕获图像的亮度值I(x,y)的图像数据来获取定位在通过距离测量处理单元246测量的高度Z处的参考对象8上的每个位置处的亮度值,并且将亮度值存储在存储单元22中。此情况下的光学系统可以与图4所示的光学系统相同。
例如,可以通过成像设备1B来捕获位于三个不同高度Zr0、Zr1和Zr2处的参考对象8,并且可以基于该三个不同高度Zr0、Zr1和Zr2中的每个处的亮度值来执行拟合,以便存储该拟合的计算公式的系数。可以用例如下面的计算公式来表达该拟合。
Ir,z(x,y)
={A(x,y)/Dr 2}+{B(x,y)/Dr}+C(x,y)
在以上计算公式中,Ir,z(x,y)表示作为拟合的结果而获得的在参考对象8的坐标(x,y)处的亮度值。另外,Dr表示在其中参考对象8位于高度Z处的情况下从成像设备1B的光源到参考对象8的距离。此外,A(x,y)、B(x,y)和C(x,y)表示在与图像上的点(x,y)相对应的位置处该拟合的计算公式的系数。如可以从以上计算公式中看到的,该拟合的计算公式的系数针对图像上的每个点(x,y)具有不同值。
可以根据下面的公式获得参考对象8的对应于图像上的坐标(x,y)的坐标(X,Y,Z),其中f表示成像光学系统15的镜头的焦距。
X=(Z/f)·x
Y=(Z/f)·y
因此,可以根据下面的公式来获得从光源到参考对象8的距离Dr
Dr(x,y)=(X2+Y2+Z2)1/2
在以上公式中,假定参考对象8的相对于相距捕获目标的距离Dr的亮度值包括三个项Dr -2、Dr -1和Dr 0(=常数项)。在例如点光源模型的理想条件下,仅项Dr -2是有效的。然而,在实际成像设备1B中,并非所有的项都能够用项Dr -2来代表,因而还通过包括系数B和C来执行计算。
接下来,将给出对在其中以图像上的点(x,y)为目标的情况下计算系数A、B和C的过程的描述。可以基于下面的公式来计算位于三个不同高度Zr0、Zr1和Zr2处的参考对象8的亮度值Ir,z0(x,y)、Ir,z1(x,y)和Ir,z2(x,y)。
I r , Z 1 ( x , y ) = A ( x , y ) D 0 2 + B ( x , y ) D 0 + C ( x , y ) I r , Z 1 ( x , y ) = A ( x , y ) D 1 2 + B ( x , y ) D 1 + C ( x , y ) I r , Z 1 ( x , y ) = A ( x , y ) D 2 2 + B ( x , y ) D 2 + C ( x , y )
在以上公式中,D0、D1和D2分别表示从光源到在三个不同高度Zr0、Zr1和Zr2处的参考对象8的距离。当确定了图像上的坐标(x,y)和成像设备1B中的成像光学系统15的镜头的焦距f时,可以通过应用高度Zr来计算这些距离D0、D1和D2。由于此原因,以上公式为相对于三个未知变量(A、B、C)的三个联立方程,并且可以通过求解该三个联立方程来获得系数A、B和C。
图13为示出第二实施方式中的生物认证设备的示例的框图。在图13中,与图7和图11中的相应部件相同的部件用相同的附图标记来指代,并且将省略其描述。可以在注册用户的生物数据(在此示例中为手掌3的脉络)时以及在将用户的生物数据与注册的生物数据进行匹配时使用图13中示出的生物认证设备20-4。
图13中示出的生物认证设备20-4的处理单元24-4包括反射率估计处理单元247。反射率估计处理单元247通过已知方法来估计捕获目标的反射率。随后将在本说明书中给出对估计反射率的特定方法的描述。存储单元22可以存储要被形成处理单元24-4的处理器执行的一个或更多个程序。
生物认证设备20-4的认证处理与图8示出的认证处理基本上相似。然而,在开始认证处理时,由于未设置引导构件,所以用户将手掌3置于生物认证设备20-4的预定区域内。成像设备1B可以捕获置于此预定区域内的手掌3的脉络的图像。
图14为用于说明在图8示出的步骤S2中执行的规范化处理在此实施方式中的示例的流程图。在图14中,与图9中的相应步骤相同的步骤用相同的附图标记来指代,并且将省略其描述。在此实施方式中,捕获目标的高度是可变的。因此,首先执行步骤S25的距离测量处理,并且之后执行反射率估计处理以估计捕获目标的反射率。之后,以与上述第一实施方式相似的方式来执行步骤S21的亮度校正处理、步骤S22的计算处理、步骤S23的角度估计处理和步骤S24的角度校正处理。
在图14中,在步骤S25中,控制单元21控制距离测量处理单元246来执行距离测量处理。在距离测量处理中,距离测量处理单元246基于通过从成像设备1B的LED 19发射的光束在捕获目标上形成的斑点(spot)的大小等来测量从LED 19到捕获目标上的每个斑点的距离。在此示例中,在基板10上相同高度位置处设置LED 19来作为是照明光学系统16的光源的示例的LED 19,从而,距离测量处理单元246可以测量从光源到捕获目标的距离。在捕获目标为参考对象8的情况下,可以测量从光源到参考对象8即参考对象8的高度位置的距离。另外,在其中捕获目标为用户的手掌3的情况下,可以测量从光源到手掌3即手掌3的高度位置的距离。
图15A和15B为用于说明斑点光图像的示例的图。图15A示出了在捕获目标处于高度位置H1时被成像设备1B捕获的图像的示例,图15B示出了在捕获目标处于高度位置H2时被成像设备1B捕获的图像的示例,其中,H2>H1。在图15A中,圆形区域201-1表示来自LED 19的光束在处于高度位置H1的捕获目标上形成的斑点,并且包括四个斑点201-1的近似圆形区域200-1表示被成像设备1B捕获的处于高度位置H1的捕获目标的成像区域。此外,在图15B中,圆形区域201-2表示来自LED 19的光束在处于高度位置H2的捕获目标上形成的斑点,并且包括四个斑点201-2的近似圆形区域200-2表示被成像设备1B捕获的处于高度位置H2的捕获目标的成像区域。另外,P(X)表示从图像的中心到斑点201-1的距离。随着捕获目标的高度位置变得越高,此距离P(X)变得越小,从而可以基于此距离P(X)来计算捕获目标的高度位置。随着捕获目标的高度位置变得越高,光束形成在捕获目标上的斑点的大小(例如,斑点直径)变得越小,并且随着捕获目标的高度位置变得越高,斑点在捕获目标上的位置变得越靠近成像区域的中心。因此,可以基于光束在捕获目标上形成的斑点的大小和位置来计算捕获目标的高度位置。
测量捕获目标的高度位置的方法不限于上述方法。另外,可以根据例如下述文献中描述的方法来测量捕获目标的高度位置:日本公开特许公报No.2000-230807和No.2007-010346。
在图14中,在步骤S26中,控制单元21控制反射率估计处理单元247来执行反射率估计处理。在反射率估计处理中,反射率估计处理单元247估计捕获目标的反射率(例如该捕获目标是亮还是暗)。在其中捕获目标为例如手掌3的情况下,捕获目标的反射率针对每个用户而不同。因此,通过估计捕获目标的反射率,可以稳定地执行基于SFS计算模型的计算而不管捕获目标如何,并且可以获得包括从成像设备1B的光源到每个坐标点处的像素(x,y)的距离的SFS信息。
现在将给出对反射率估计处理的示例的描述。此示例利用了来自成像设备1B的LED 19的光束在捕获目标上形成的斑点。图16A和16B为用于说明此示例的反射率估计处理的图。图16A示出了来自成像设备1B的LED 19的光束在捕获目标上形成的斑点201-1,并且图16B示出了用于对捕获目标的要与注册图像进行匹配的图像进行捕获的成像设备1B的成像区域200-1。如上所述,能够精确地估计来自LED 19的光束在捕获目标上形成的斑点201-1的高度Zs(在此示例中Zs=H1)。另外,可以通过上述方法来获取要被匹配的图像的在捕获目标上的形成光束的斑点201-1的位置处的亮度值Is。可以从亮度获取单元243中获取在高度Zs处的参考对象8的亮度值Is。由于此原因,可以基于下面的公式来估计被成像设备1B捕获的捕获目标的反射率Rf
Rf=Is/Ir
当然,斑点201-1和成像区域200-1的形状不限于圆形或近似圆形的形状。
在其中捕获目标上形成了多个光束斑点的情况下,可以利用根据斑点中的每个斑点计算的反射率Rf的平均值。另外,在使用手掌3的脉络的生物认证情况下,光束斑点可以偶然形成在脉络的在其处亮度值比较低的位置处。由于考虑到这样的情形,在根据光束在捕获目标上形成的四个斑点计算的四个反射率Rf中,通过排除根据在其处亮度值最低的斑点所计算的最低反射率Rf,可以基于根据三个斑点计算的三个反射率Rf来获得平均值。
在图14中,在步骤S21中,控制单元21控制亮度获取单元243和校正处理单元241来执行亮度校正处理。在亮度校正处理中,亮度获取单元243获取存储在存储单元22中的在高度Z=Zr处的参考对象8的亮度值,并且校正处理单元241基于使用上述校正公式所计算的校正系数α(x,y)来校正存储在存储单元22中的要被匹配的图像数据的每个坐标点处的像素(x,y)的亮度值,并且将亮度值存储在存储单元22中。此实施方式中的亮度校正处理与第一实施方式的亮度校正处理的区别在于:相对于捕获图像来执行用下面的公式来代表的亮度校正处理,其中该公式使用通过上述反射率估计处理估计的反射率Rf;以及使用通过上述距离测量处理测量的捕获目标(在此示例中为用户的手掌3)的高度或者捕获目标的测量高度的平均值来作为参考对象8的高度。
I'(x,y)=I(x,y)/Rf
被用于获得参考对象8的亮度值的以上公式被表示为取决于距离Dr的形式。然而,当由在参考对象8上的关注点处的法线方向与将成像设备1A(或者1B)的光源和该关注点进行连接的假想线所形成的角度用Δθ来表示时,用于获得参考对象8的亮度值的以上公式包括项cosΔθ以更加精确。此项cosΔθ表示角度Δθ和光量的减少根据参考对象8上的关注点的位置而不同。与距离Dr相比,项cosΔθ的影响比较小,并且由于此原因,在上述示例中省略项cosΔθ。当然,可以通过考虑此项cosΔθ来获得参考对象8的亮度值。
在上述实施方式中的每个实施方式中,通过将对捕获目标的三维形状的计算应用于生物认证,能够改进生物认证的精度。上述实施方式中的每个实施方式还可以执行下文描述的处理(1)至(4)。
(1)利用照明对称性的噪声降低处理:
图17为用于说明对参考对象的亮度值进行平滑的示例的图。在对手掌3的脉络进行捕获的成像设备1A(或者1B)的情况下,通过将成像光学系统15视为光源的中心来将光源(例如,LED 11B)布置在成像光学系统15的周围,如图6(或者图12)所示。因此,例如,通过相对于图17中用圆形标记表示的捕获图像上的四个相互对称的点处的亮度值的平均值来执行上文中描述的拟合,能够获得噪声较低效果。
(2)利用照明对称性的系数缩减处理:
图18为用于说明对参考对象的亮度值的拟合系数进行存储的示例的图。在对手掌3的脉络进行捕获的成像设备1A(或者1B)的情况下,通过将成像光学系统15视为光源的中心来将光源(例如,LED 11B)布置在成像光学系统15的周围,如图6(或者图12)所示。因此,例如,仅针对图18中用阴影区域表示的与捕获图像的1/4相对应的区域来计算上述系数A、B和C的数据并存储这些数据是足够的。作为结果,能够获得下述系数缩减效果:在该系数缩减效果中,提高了计算处理单元242的计算处理的速度等,并且减少了存储单元22的用于计算处理的存储区域。
(3)通过应用图像缩减处理而实现的速度改进:
基于SFS计算模型的计算取决于SFS计算模型而会需要比较长的处理时间。例如,在下述文献的方法中:E.Prados等人的"Shape fromShading:a well-posed problem?",INRIA,第5297期,第1-55页,2004年8月,通过迭代操作来数值求解差分方程来获得解,并且计算的处理时间依赖于计算的条件(例如,图像的分辨率或者需要的精度)而变长。另一方面,在检测捕获目标的倾斜度时,与捕获目标上存在的小凹凸轮廓或者不规则性相关的凹凸信息不是必要的。因此,通过在处理捕获目标的捕获图像之前对捕获目标的捕获图像进行缩减,能够在获得需要的信息(即,倾斜度信息)的同时提高计算处理的速度。
(4)通过利用借助SFS计算的角度信息而实现的用户引导:
另外,通过基于SFS计算模型的计算获得的三维信息不仅可以用于生物认证处理的规范化处理,而且可以用于引导用户。在此情况下,可以通过基于SFS计算模型相对于用户手掌3的捕获图像执行计算来获取三维信息,并且当手掌3倾斜时,可以例如显示消息,以便促使用户校正用户手掌3的倾斜度。在这样的情况下,与捕获目标上存在的小凹凸轮廓或者不规则性相关的凹凸信息不是必要的。因此,通过在处理捕获目标的捕获图像之前对捕获目标的捕获图像进行缩减,能够在获得需要的信息(即,倾斜度信息)的同时进一步提高计算处理的速度。
上述图像处理方法可以通常应用于成像设备,并且特别适合于利用手掌脉络的生物认证设备。在利用手掌脉络的生物认证中,通过SFS技术来测量手掌的三维形状,并且如上所述,可以获得手掌的位置,即手掌的三维定向,包括手掌的倾斜度。通过图像处理来校正手掌的倾斜度,能够改进生物认证的精度。
根据上述实施方式中的每个实施方式中的图像处理设备、生物认证设备、图像处理方法、程序和计算机可读存储介质,可以以高精度来识别捕获目标的形状。
以上描述使用比如“确定”或者“识别”等的术语来描述实施方式,然而,这样的术语为所执行的实际操作的抽象概念。因此,与这样的术语相对应的实际操作可以依赖于实现而变化,这对于本领域内技术人员来说是明显的。
尽管用例如“第一”或者“第二”来对实施方式进行编号,然而这些顺序号并不暗示实施方式的优先级。许多其他的变化和修改对于本领域内技术人员将是明显的。
本文中叙述的所有示例和条件语言意在用于教学目的,以帮助读者理解本发明和由发明人贡献的促进本领域的构思,并且应被解释为不限于这样具体叙述的示例和条件,并且说明书中这些示例的组织也与示出本发明的优劣无关。尽管已经详细描述了本发明的实施方式,但是应当理解的是,在不脱离本发明的精神和范围的情况下,可以对此做出各种改变、替换和更改。

Claims (10)

1.一种图像处理设备,包括将光照射在对象上的光源和对所述对象进行捕获的成像装置,其特征在于提供了:
亮度计算单元,所述亮度计算单元计算所述对象上的多个位置处的亮度;以及
系数计算单元,所述系数计算单元根据从所述光源到所述多个位置中的每个位置的距离和所述多个位置中的每个位置处的亮度来计算针对所述多个位置中的每个位置的校正系数。
2.根据权利要求1所述的图像处理设备,其特征在于,所述系数计算单元针对从所述光源到所述对象的每个距离来计算所述校正系数。
3.一种生物认证设备,包括捕获用光照射的生物目标的图像的成像装置,其特征在于提供了:
亮度计算单元,所述亮度计算单元计算所述图像内的多个位置中的每个位置处的亮度;
存储单元,所述存储单元存储针对所述图像内的所述多个位置中的每个位置的校正系数,其中所述校正系数基于:从将光照射在参考对象上的光源到所述参考对象上的与所述图像内的所述多个位置相对应的多个位置中的每个位置的距离;以及所述参考对象上的所述多个位置中的每个位置处的亮度;以及
亮度校正单元,所述亮度校正单元基于所述图像内的所述多个位置中的每个位置处的所述校正系数来校正所述图像内的所述多个位置中的每个位置处的亮度。
4.根据权利要求3所述的生物认证设备,其特征在于,随着所述距离变得越长,所述亮度的校正量越大。
5.根据权利要求4所述的生物认证设备,其特征在于,所述校正系数与所述亮度的倒数成比例,并且所述校正系数与从所述光源到所述生物目标上的多个位置中的每个位置的距离的-2次幂成比例。
6.根据权利要求3至5中任一项所述的生物认证设备,其特征在于还提供了:
角度计算单元,所述角度计算单元根据所述亮度的分布来计算所述生物目标的倾斜度。
7.根据权利要求6所述的生物认证设备,其特征在于还提供了:
角度校正单元,所述角度校正单元基于所述生物目标的倾斜度来校正所述生物目标的位置。
8.根据权利要求3至7中任一项所述的生物认证设备,其特征在于还提供了:
具有距离测量功能的距离测量单元,所述距离测量单元测量从所述光源到所述生物目标的距离。
9.一种图像处理方法,其包括通过由成像设备对用来自光源的光照射的对象进行捕获来获取捕获图像,其特征在于提供了:
由处理器基于所述捕获图像来测量所述对象上的多个位置处的亮度;以及
由所述处理器根据从所述光源到所述对象上的所述多个位置中的每个位置的距离和所述对象上的所述多个位置中的每个位置处的亮度来计算针对所述对象上的所述多个位置中的每个位置的校正系数。
10.根据权利要求9所述的图像处理方法,其特征在于还提供了:
由所述处理器针对从所述光源到所述对象的每个距离来计算所述校正系数。
CN201510050278.4A 2014-03-10 2015-01-30 图像处理设备、生物认证设备和图像处理方法 Active CN104915631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-046939 2014-03-10
JP2014046939A JP6340838B2 (ja) 2014-03-10 2014-03-10 生体認証装置、生体認証方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104915631A true CN104915631A (zh) 2015-09-16
CN104915631B CN104915631B (zh) 2018-06-12

Family

ID=52282648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510050278.4A Active CN104915631B (zh) 2014-03-10 2015-01-30 图像处理设备、生物认证设备和图像处理方法

Country Status (4)

Country Link
US (1) US9495576B2 (zh)
EP (1) EP2919151B1 (zh)
JP (1) JP6340838B2 (zh)
CN (1) CN104915631B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472738A (zh) * 2018-10-26 2019-03-15 深圳市商汤科技有限公司 图像光照校正方法及装置、电子设备和存储介质
CN113221891A (zh) * 2021-05-12 2021-08-06 佛山育脉科技有限公司 掌静脉图像的识别角度的调整方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6369078B2 (ja) * 2014-03-20 2018-08-08 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
FR3028980B1 (fr) * 2014-11-20 2017-01-13 Oberthur Technologies Procede et dispositif d'authentification d'un utilisateur
KR200483242Y1 (ko) * 2015-10-23 2017-05-02 김우섭 모바일 디바이스를 이용한 신분증 인식 장치
JP6743429B2 (ja) 2016-03-11 2020-08-19 富士通株式会社 生体撮影装置、生体撮影方法および生体撮影プログラム
US10536464B2 (en) * 2016-06-22 2020-01-14 Intel Corporation Secure and smart login engine
JP6838368B2 (ja) 2016-11-28 2021-03-03 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6955147B2 (ja) * 2017-07-13 2021-10-27 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021051042A (ja) * 2019-09-26 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、電子機器、画像処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187786B2 (en) * 2002-04-23 2007-03-06 Samsung Electronics Co., Ltd. Method for verifying users and updating database, and face verification system using the same
CN101959457A (zh) * 2008-03-04 2011-01-26 株式会社理光 个人认证装置和电子装置
US20130242073A1 (en) * 2012-03-19 2013-09-19 Denso Corporation Image-capturing control apparatus and control method of capturing image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230807A (ja) 1999-02-10 2000-08-22 Micro Research:Kk 平行光を利用した距離測定方法とその装置
JP2001103513A (ja) * 1999-09-27 2001-04-13 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法
JP3680827B2 (ja) * 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP4872035B2 (ja) * 2005-06-03 2012-02-08 学校法人 中央大学 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
JP4636140B2 (ja) * 2008-08-25 2011-02-23 ソニー株式会社 静脈撮像装置、静脈撮像方法および静脈認証装置
TWI386042B (zh) * 2008-12-17 2013-02-11 Altek Corp Digital camera device and its brightness correction method
JP5051468B2 (ja) * 2008-12-25 2012-10-17 トヨタ自動車株式会社 センサ校正装置、及び、センサ校正方法
US8953854B2 (en) * 2012-08-08 2015-02-10 The Hong Kong Polytechnic University Contactless 3D biometric feature identification system and method thereof
JP2014186715A (ja) * 2013-02-21 2014-10-02 Canon Inc 情報処理装置、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187786B2 (en) * 2002-04-23 2007-03-06 Samsung Electronics Co., Ltd. Method for verifying users and updating database, and face verification system using the same
CN101959457A (zh) * 2008-03-04 2011-01-26 株式会社理光 个人认证装置和电子装置
US20130242073A1 (en) * 2012-03-19 2013-09-19 Denso Corporation Image-capturing control apparatus and control method of capturing image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472738A (zh) * 2018-10-26 2019-03-15 深圳市商汤科技有限公司 图像光照校正方法及装置、电子设备和存储介质
CN109472738B (zh) * 2018-10-26 2024-03-08 深圳市商汤科技有限公司 图像光照校正方法及装置、电子设备和存储介质
CN113221891A (zh) * 2021-05-12 2021-08-06 佛山育脉科技有限公司 掌静脉图像的识别角度的调整方法和装置

Also Published As

Publication number Publication date
EP2919151A3 (en) 2015-12-02
EP2919151B1 (en) 2018-10-24
US20150254492A1 (en) 2015-09-10
CN104915631B (zh) 2018-06-12
EP2919151A2 (en) 2015-09-16
JP2015170322A (ja) 2015-09-28
US9495576B2 (en) 2016-11-15
JP6340838B2 (ja) 2018-06-13

Similar Documents

Publication Publication Date Title
CN104915631A (zh) 图像处理设备、生物认证设备和图像处理方法
US11100661B2 (en) Multi-modal depth mapping
US9207069B2 (en) Device for generating a three-dimensional model based on point cloud data
JP4976402B2 (ja) 実用的な3dビジョンシステムの方法および装置
US10332275B2 (en) Information processing apparatus, information processing method, and storage medium
US10210628B2 (en) Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space
Kammel et al. Deflectometric measurement of specular surfaces
CN105444668A (zh) 电梯井筒内部尺寸测量设备
US20150049345A1 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program
US20150301179A1 (en) Method and device for determining an orientation of an object
US20180080755A1 (en) Method, computer program product and measuring system for operating a triangulation laser scanner to identify properties of a surface of a workpiece to be measured
US20180017379A1 (en) Imaging system, imaging device, method of imaging, and storage medium
US20180247150A1 (en) Information processing device, information processing method, and article manufacturing method
US20200242793A1 (en) Object dimensioning system and method
US10348961B2 (en) Camera modeling system
JP2014202502A (ja) 情報処理装置及び情報処理方法
US20160259034A1 (en) Position estimation device and position estimation method
CN109308714A (zh) 基于分类惩罚的摄像头和激光雷达信息配准方法
US10145679B2 (en) Three-dimensional shape measuring device and three-dimensional shape measuring method
US9019488B2 (en) Wheel toe and camber measurement system
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
Langmann Wide area 2D/3D imaging: development, analysis and applications
KR100698535B1 (ko) 경사 보정기능을 갖는 이동로봇의 위치 인식 장치 및 방법
CN108715233B (zh) 一种无人机飞行精度测定方法
US10664982B2 (en) Image processing apparatus, image processing system and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant