CN100478981C - 具有测距功能的图像捕获装置 - Google Patents

具有测距功能的图像捕获装置 Download PDF

Info

Publication number
CN100478981C
CN100478981C CNB2006101435218A CN200610143521A CN100478981C CN 100478981 C CN100478981 C CN 100478981C CN B2006101435218 A CNB2006101435218 A CN B2006101435218A CN 200610143521 A CN200610143521 A CN 200610143521A CN 100478981 C CN100478981 C CN 100478981C
Authority
CN
China
Prior art keywords
light
image
luminescent device
imageing sensor
capture apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2006101435218A
Other languages
English (en)
Other versions
CN101030252A (zh
Inventor
松尾浩一
中村昭博
岩口功
府川智彦
福井智
山崎行造
木村修治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Frontech Ltd filed Critical Fujitsu Ltd
Publication of CN101030252A publication Critical patent/CN101030252A/zh
Application granted granted Critical
Publication of CN100478981C publication Critical patent/CN100478981C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种具有测距功能的图像捕获装置。该图像捕获装置照射目标物，并利用来自目标物的反射光而捕获目标物的图像。该图像捕获装置包括：用于通过接收所述反射光而捕获目标物的图像的图像传感器；用于以聚光照射目标物的测距发光器件；以及控制电路，该控制电路用于驱动所述测距发光器件，并根据由所述图像传感器捕获的图像来检测所述测距发光器件的聚光位置，从而获得距目标物的距离。为了捕获目标物的图像而设置的所述图像传感器可用作用于测距的光电探测器。由此，不必单独设置用于测距的光电探测器，这能够使图像捕获装置小型化并降低成本。

Description

具有测距功能的图像捕获装置
技术领域
本发明涉及一种具有测距功能的图像捕获装置，该图像捕获装置用于测量目标物的距离并捕获目标物的图像，尤其涉及一种图像捕获装置，该图像捕获装置用于测量距目标物的距离以便检测目标物是否在图像捕获范围内。
背景技术
通过以均匀的光照射目标物而捕获目标物的预定范围的图像的图像捕获装置被广泛使用。在使用由这种图像捕获装置捕获的图像的图像处理系统中，尤其需要清晰的图像。
例如，随着近年来生物计量技术(biometric technology)的发展，已经出现了各种用于个人识别的装置，这些装置能够这样区分个人，即捕获能够用来区分个人的活体的图像并识别活体的特征，例如，手足的指纹、眼睛的视网膜、面部和血管。
具体地说，手掌与手指的血管和皮肤图案适于进行可靠的个人认证，因为从其可以获得相对大量的个人特征数据。此外，认为血管(静脉)的图案从胎儿时期开始贯穿任何人的整个一生都不会发生改变，且任何人之中无一例外都不会存在相同的图案，因此适用于个人认证。图19至图22表示传统的血管图像认证技术的说明图。如图19所示，在注册或认证时，使用者将手掌110靠近图像捕获装置100放置。图像捕获装置100发出近红外线，并使其照射手掌110。图像捕获装置100通过传感器接收从手掌110反射的近红外线。
如图20所示，在静脉中流动的红血球中的血色素失去氧。这种血色素(脱氧血色素)吸收波长大约为760nm的近红外线。因此，当用近红外线照射手掌时，在静脉所处的部位中的反射减少。从而，根据反射的近红外线的强度，能够识别静脉的位置。
如图19所示，首先，使用者利用图19中所示的图像捕获装置100把自己手掌的静脉图像数据注册到服务器或卡中。然后，为了进行个人认证，使用者利用图19中所示的图像捕获装置100读取自己手掌的静脉图像数据。
通过将利用使用者ID提取的注册静脉图像与以上正在读取的核对静脉图像中的静脉图案进行核对来进行个人认证。例如，在核对如图21所示的注册图像与核对图像之间的静脉图案的情况下，该人被认证为本人。同时，在核对如图22所示的注册图像与核对图像之间的静脉图案的情况下，该人没有被认证为本人(参见日本特开2004-062826号公报，图2-图9)。
对于这种生物计量认证等，必须以非接触方式捕获目标物(在生物计量认证情况下目标物为人体的一部分)的图像。为此，图像捕获装置100发出在某一图像捕获范围(距离和面积)内产生均匀光强的光，通过传感器接收以上图像捕获范围中的反射光，并将捕获的图像信号以电信号输出。
图23和图24表示传统的图像捕获装置的说明图。如图23和图24所示，图像捕获装置100包括处于中心的图像捕获单元120和在其周围的多个发光器件130-1至130-8。图23中所示的虚线代表从多个发光器件130-1至130-8中的各个发光器件发出的具有均匀强度的光的范围。
如此，通过将多个(这里是8个)点光源布置在图像捕获单元120的周围，能够以均匀强度的光照射图像捕获单元120的图像捕获范围。同时，图像捕获单元120包括诸如CMOS传感器的光电转换单元122和诸如透镜的光学系统124。由于作为平面光电探测器的光电转换器122具有预定的光接收面积，因此需要预定的光程来把图像捕获范围的反射光引导到光电转换器122的光接收平面上。为此，在光电转换单元122与目标物之间设置诸如鱼眼透镜的透镜124，从而将预定图像捕获范围的图像投影到光电转换器122的光接收平面上。
因此，传统上，为了用点光源元件130-1至130-8中的每一个通过共享预定的图像捕获范围来照射目标物，使点光源元件130-1至130-8彼此远离地设置，如图23所示。此外，为了将预定均匀强度的光供应到图像捕获范围，使点光源元件130-1至130-8设置成比光电转换器122更靠近目标物，如图24所示(参见WO 2004/088588，图1和图6)。
此外，在这种图像捕获装置中，必须检测目标物是否定位在焦距处。传统上，在图像捕获装置中设置了具有发光部分和光接收部分的光学距离传感器，以便测量距目标物的距离(参见WO 2004/088979，图1和图5)。例如，光学距离传感器设置在图24所示的点光源130-4和图像捕获单元120之间。
在上述传统的图像捕获装置中，所述距离传感器包括发光部分和光接收部分。由于从反射光的位置开始测量距离，因此必须使光接收部分远离发光部分设置。这使得所涉及的传感器尺寸很大。此外，图像捕获装置难以小型化且当把图像捕获装置结合到设备中时存在限制。
此外，为了还检测目标物的倾斜度，必须安装多个距离传感器，这进一步致使图像捕获装置难以小型化且结合到设备中时存在限制，并阻碍了成本的降低。
发明内容
据此，本发明的一个目的是提供一种具有测距功能的图像捕获装置，即使增加了测距功能该装置也具有小型化的结构。
本发明的另一个目的是提供一种具有测距功能的图像捕获装置，即使增加了测距功能该装置也能够降低成本。
本发明的再一个目的是提供一种具有测距功能的图像捕获装置，该装置能够以小型化结构容易地检测距目标物的距离。
为了实现以上目的，根据本发明，提供了一种图像捕获装置，该图像捕获装置用于通过照射目标物并接收来自目标物的反射光而捕获目标物的图像，
并且包括：
用于通过接收所述反射光而捕获图像的图像传感器；
照射机构，所述照射机构用于在捕获图像时照射所述目标物并设置在所述图像传感器的周围；
用于以聚光(spot light)照射目标物的测距发光器件，该测距发光器件设置在所述照射机构的外侧位置；以及
控制电路，该控制电路用于在测距时驱动所述测距发光器件，根据由所述图像传感器捕获的图像而检测所述测距发光器件的聚光位置，并根据检测到的聚光位置得到距目标物的距离，该控制电路判定目标物位置是否在图像捕获范围内，并在判定目标物位置在所述图像捕获范围内时，驱动所述照射机构使得由所述图像传感器捕获目标物的图像，
其中所述照射机构包括：
安装在所述图像传感器的周围位置的多个发光器件；以及
环形的导光构件，该导光构件用于将所述多个发光器件的光引导至图像捕获范围从而照射该图像捕获范围；
并且所述照射机构还包括：
光学单元，该光学单元容纳在所述环形的导光构件的环的内部，用于将被照射的图像捕获范围内的目标物的反射光引导至所述图像传感器；以及
电路板，在该电路板上安装有所述图像传感器、所述测距发光器件以及所述多个发光器件。
此外，根据本发明，优选地，所述测距发光器件由设置在以所述图像传感器为中心的不同的且相对的位置处的至少三个测距发光器件组成，所述控制电路根据由所述图像传感器捕获的图像而检测每一个测距发光器件的聚光位置，并根据所检测到的位置获得所述目标物的倾斜度。
此外，根据本发明，优选地，所述多个发光器件沿所述图像传感器周围的圆以预定间隔安装在所述电路板上，且所述导光构件具有对应于该圆的环形结构。
此外，根据本发明，优选地，在所述环形的导光构件与所述多个发光器件之间设置有用于使所述发光器件的光扩散的扩散板。
此外，根据本发明，优选地，所述多个发光器件由发射红外线的发光器件组成，且至少在所述光学单元的入射平面上设置有用于过滤可见光的滤光器。
此外，根据本发明，优选地，所述导光构件包括用于引导所述发光器件的光的下端部分，用于把光输出到所述图像捕获范围中的上端部分，和用于把所述发光器件的光从所述下端部分引导至所述上端部分的导光部分。
此外，根据本发明，优选地，所述图像传感器对活体的一部分成像。
根据本发明，所述图像捕获装置包括：用于通过接收反射光而捕获目标物的图像的图像传感器；用于以聚光照射目标物的测距发光器件；以及控制电路，该控制电路用于在测距时驱动所述测距发光器件，并根据由所述图像传感器捕获的图像而检测所述测距发光器件的聚光位置，从而获得距目标物的距离。因此，为捕获目标物的图像而设置的所述图像传感器可用作用于测距的光电探测器。由此，不必单独设置用于测距的光电探测器，这能够使图像捕获装置小型化并降低成本。
通过利用附图对实施例的以下说明，本发明的其它范围和特征将变得更明了。
附图说明
图1表示根据本发明一个实施例的图像捕获装置的剖面图。
图2表示图1所示的图像捕获装置的分解结构图。
图3表示图2所示的电路板的部件布局图。
图4表示图2所示的发光器件与光电探测器之间的关系的说明图。
图5表示图2所示的分解部件的组装图。
图6表示图1所示的外装部件(external finishing components)的结构图。
图7表示图2所示的组装体的组装结构图。
图8表示图1所示的图像捕获装置的外观图。
图9表示图1所示的照射系统的说明图。
图10表示图9所示的导光构件和发光器件的结构图。
图11表示图10所示的发光器件的发光强度分布与导光构件的下端部分的关系图。
图12表示图10所示的导光构件的第一操作说明图。
图13表示图10所示的导光构件的第二操作说明图。
图14表示图10所示的导光构件的第三操作说明图。
图15表示使用图10所示的导光构件的光强分布图。
图16表示用于图1所示的图像捕获装置的控制电路的方框图。
图17表示图16所示的控制电路的成像过程的流程图。
图18表示使用图16所示的结构进行测距操作的说明图。
图19表示传统的手掌图像捕获装置的说明图。
图20表示传统的手掌图像捕获装置的原理说明图。
图21表示传统的手掌认证技术的说明图。
图22表示传统的手掌认证技术的另一说明图。
图23表示传统的图像捕获装置中的照射结构的说明图。
图24表示传统的图像捕获装置的结构图。
具体实施方式
以下参考附图按照图像捕获装置的结构、照射机构、图像处理结构和其它实施例的顺序说明本发明的优选实施例。不过，须指出的是本发明的范围不限于下面描述的实施例。
图像捕获装置
图1表示根据本发明一个实施例的图像捕获装置的剖面图；图2表示图1所示的图像捕获装置的分解结构图；图3表示图1、图2所示的电路板的俯视图；图4表示图3所示的发光器件和光电探测器的操作说明图；图5表示当图2所示的结构被组装时的组装图；图6表示图1所示的外壳的结构图；图7表示当图2所示的组装体容纳在外壳中时的结构图；且图8表示图1所示的图像捕获装置的外观图。
在说明图1所示的结构以前，参考图2至图7来说明图1所示的每一部分的结构。如图2所示，诸如CMOS图像传感器的图像传感器30和偏光板32设置在摄像基板(camera substrate)20的中心处。在摄像基板20的图像传感器30的周围，安装有多个发光器件22、24和光电探测器26。
参考图3更详细地进行说明，图像传感器30安装在摄像基板20的中心处，而偏光板32粘贴在图像传感器30上。沿着摄像基板20的图像传感器30周围的圆，安装有多个发光器件22、24和光电探测器26。
在每一个上述第一发光器件22和每一个第二发光器件24之间，设置有光电探测器(光电二极管)26。如图4所示，上述光电探测器26设置成用来接收来自第一发光器件22的光和来自第二发光器件24的光(来自后面所述的扩散板44的反射光)，从而执行第一发光器件22和第二发光器件24的APC(自动功率控制)。
驱动上述第一发光器件22和第二发光器件24按各自的定时发光。在以上示例中，为了对按各自的定时发光的每一个第一发光器件22和第二发光器件24独立地执行自动功率控制，在第一发光器件22和第二发光器件24之间设置一个光电探测器26，以便接收来自第一发光器件22和第二发光器件24的光。从而，能够减少用于APC控制的光电探测器的数量。
此外，在摄像基板20的四个角部处，设置有四个测距发光器件52以测量距目标物的距离。如图3所示，上述四个测距发光器件52设置在摄像基板20的对角线上并在对角线的最远位置处，以使得它们之间的距离都最远。根据由上述四个测距发光器件52测得的距离，检测目标物(这里是指手掌)的倾斜度。
简短地说，在单个摄像基板20上，设有照射系统22、24、26和用于捕获目标物图像的图像捕获系统30、32，以及测距系统52。
此时，返回参考图2，在摄像基板20的发光器件22、24的向上方向，设有四个扩散板44和四个偏光板42。上述扩散板44和偏光板42粘贴到连接在摄像基板20的四个侧边上的偏光/扩散板安装台(holder)46上。每一个扩散板44使从第一发光器件22和第二发光器件24发出的定向光(directive light)的发光分布以一定程度扩散。每一个偏光板42使从第一发光器件22和第二发光器件24发出的自然光转变成线性偏振光。
在四个偏光板42的向上方向，设有环形的导光构件10。导光构件10由例如树脂形成，并沿向上的方向引导来自摄像基板20的第一发光器件22和第二发光器件24的光，以便以均匀的光照射目标物。为了与摄像基板20的发光器件22、24的布置相配合，导光构件10具有环形结构。如将在图9及其后的图中所述，导光构件10向着向上的方向引导从第一发光器件22和第二发光器件24发出的光，从而以均匀的光照射目标物。
此外，光学单元34连接到该摄像基板20上，并在布置于摄像基板20的近似中心处的图像传感器30上以及环形导光构件10的内部。光学单元34由诸如会聚透镜的透镜光学系统构成。
光圈50安装在摄像基板20的测距发光器件52上。光圈50阻断光向其它方向的扩散，以便把从测距发光器件52发出的光引导至目标物方向。
控制基板60与摄像基板20相分离地设置。控制基板60设置成与外部相连接，并包括外部连接器62和用来与摄像基板20相连接的摄像连接器64。上述控制基板60设置在摄像基板20的下部，并且利用摄像连接器64而与摄像基板20电连接。此外，为了外部连接器62而设置有支座盖(holder cover)68。
通过这种方式，将图像传感器30、发光器件22、24、光电探测器26以及测距发光器件52安装在摄像基板20上。而且将偏光/扩散板安装台46、扩散板44、偏光板42、光圈50、光学单元34以及导光构件10也安装在上述摄像基板20上，从而组装成摄像部分。控制基板60连接到上述摄像部分。图5表示将摄像部分和控制基板60连接以后的单元的状态。
此外，如图6所示，备有可见光阻挡滤光板76、罩78、支座组件70和外壳74。通过将图5所示的连接单元连接到图6所示的支座组件70上，并通过将图2所示的支座盖68连接到支座组件70上，组装成图7所示的结构。
然后将图7所示的结构容纳在图6所示的外壳74中，并通过把具有连接的罩78的可见光阻挡滤光板76连接在外壳74的上部，构成了图8所示的图像捕获装置。上述可见光阻挡滤光板76阻挡可见光分量，以使其不能从外部进入图像传感器30。此外，同样如图1所示，罩78阻断光从而在预定的图像捕获区域以外的光不会进入光学单元34中，并防止从导光构件10泄漏的光侵入光学单元34。
图1表示图8所示的完成体1的剖面图。如前所述，图像传感器30、发光器件22、24、光电探测器26和测距发光器件52安装在摄像基板20上。即，包括照射系统和图像捕获系统的基本结构安装在单个基板上。由此，仅仅一个安装板就足够了，从而有助于降低成本。
此外，通过使环形导光构件10设置在发光器件22、24的上部，使来自发光器件22、24的光被引导至可见光过滤器76。上述导光构件10分离来自发光器件22、24的光，然后使光前进到可见光过滤器76。因此，发光器件22、24可以靠近图像传感器30设置，并且也设置在同一基板20上，这能够实现小型化以及用均匀的光照射目标物。更确切地说，假定图1所示的倒三角形的斜线部分是摄像机的图像捕获范围，那么图像捕获范围可以被均匀的光照射。
此外，因为导光构件10为环形，所以能够将光学单元34容纳在环10的内部，从而能够进一步小型化。除此以外，罩78防止在预定的图像捕获范围(图1中的斜线部分)以外的光进入光学单元34，并且还防止从导光构件10泄漏的光侵入光学单元34。因此，即使在导光构件10和发光器件22、24靠近图像传感器30和光学单元34设置时，也能够避免成像精度变差。
此外，由于测距发光器件52设置在摄像基板20上，所以能够使测量距离的摄像单元进一步小型化。除此以外，在图1中，控制基板60连接到摄像基板20的下部，且外部线缆2连接到控制基板60的外部连接器62上。
照射机构
下面，将要说明包括导光构件的照射机构。图9表示根据本发明一个实施例的导光构件的操作说明图；图10表示图9所示的照射机构的详细结构图；图11表示图10所示的导光构件的梯形凹口的说明图；图12至图14表示图10所示的导光构件的导光和扩散操作的说明图；而图15表示照射的发光度(亮度)分布图。
在图9中，与图1和图2所示相同的部件用相同的附图标记表示。如图9所示，导光构件10将来自作为点光源的每一个发光器件22、24的光引导至可见光阻挡滤光器76从而使光一分为三。
更确切地说，基本上，从导光构件10向光学单元34的方向输出光A3、向导光构件10的纵向输出光A2、向光学单元34的反方向输出光A1。通过设置上述导光构件10，每一单个点光源22、24能够如同在可见光过滤器76附近存在三个点光源一样地起作用。
如图10所示，导光构件10包括上斜面14、两个侧面10-1和10-2、以及下梯形槽12。下梯形槽12通过作为中间件的偏光板42和扩散板44而与发光器件22、24相对地定位，并接收来自发光器件22、24的光。此外，上斜面14是高度在光学单元34侧更高的斜面。
如图11所示，来自发光器件22、24的发光强度分布B具有沿向上方向的长(强)圆弧形状。即，朝向发光器件22、24的光输出方向(器件的垂直方向)的光分量B1的强度强于朝向两侧方向的光分量B2、B3的强度。如图9所示，导光构件10中的梯形槽12与上述强度分布B对应地形成，从而光在输出侧上能够基本上被视为三个点光源。
更确切地说，为了通过导光构件10内部的反射起到三个点光源的作用，梯形槽12由用于无折射地导入光分量B1的平坦部分12b和用于折射并导入两侧的光分量B2、B3的一对斜面部分12a、12c组成，所述斜面部分具有与光分量B2、B3的方向相对应的梯度。梯形槽12的上述形状用于实际上将来自每一个点光源22、24的光一分为三。
此外，如稍后所述，上述平坦部分12b和斜面部分12a、12c的各自长度这样设定，以使得从导光构件10输出的光所产生的预定范围内的光强成为基本上均匀。这里，接收光分量B1的最大强度的平坦部分12b的长度设定为比斜面部分12a、12c的各自长度都短，其中斜面部分接收比光分量B1的光强弱的光分量B2、B3的光强。由此，根据光强分布来调整分光量。
参考图12至图14说明上述操作。如图12所示，每一个发光器件22、24的发光强度分布B的左侧上的分量B2在导光构件10的左斜面部分12a处折射，并入射到导光构件10的左侧面10-2。随后入射光在该左侧面10-2上反射，并前进到导光构件10的右侧面10-1。继而，前进到右侧面10-1的光在右侧面10-1上反射并再次前进到左侧面10-2。然后光在左侧面10-2上反射，并基本上垂直地入射到上斜面14，且输出到图像捕获范围的最外部分。
此外，如图13所示，发光器件22、24的发光强度分布B的中央分量B1从导光构件10的中央平坦部分12b入射到导光构件10。然后光倾斜地入射到上斜面14，并输出到图像捕获范围的最内部分。
此外，如图14所示，发光器件22、24的发光强度分布B的右侧上的分量B3在导光构件10的右斜面部分12c处折射，并入射到导光构件10的右侧面10-1。随后入射光在该右侧面10-1上反射，并前进到导光构件10的左侧面10-2。继而，前进到左侧面10-2的光在该左侧面10-2上反射，并基本上垂直地入射到上斜面14，且输出到图像捕获范围的最内部分与最外部分之间。
通过综合图12至图14，获得了如图10所示的光路图。即，在梯形槽12处，导光构件10将点光源22、24的点光(point emission)一分为三。利用导光构件10内部侧面上的反射，这样输出的每一束分光就如同在导光构件10的输出侧上存在三个点光源一样起作用。
在这种情况下，考虑图1所示的图像捕获范围(以斜线表示)，在导光构件10的上斜面14处调整输出方向。此外，为了在图像捕获范围内获得基本上均匀的光强，考虑到前面在图11中所述的发光器件22、24的发光强度分布B，而调整导光构件10的梯形槽12的平坦部分12b和斜面部分12a、12c的长度，即入射宽度或者入射量。
这里，为了获得基本上均匀的光强，由于图11所示的发光器件22、24的发光强度分布B在中心处的光强较强而在周围的光强较弱，因此梯形槽12的平坦部分12b的长度设定为比斜面部分12a、12c的各自长度都短。从而，构造成使得具有强光强的光部分不仅入射到平坦部分12b，而且还入射到斜面部分12a、12c。
此外，利用导光构件10的梯形槽12和上斜面14，以及导光构件10的反射，能够以扩散的方式输出反射光和直线光，从而在整个图像捕获范围内获得基本上均匀的光强。
图15示出了表示有关图1所示的图像捕获装置的图像捕获范围和光强的实验结果的图。在图15中，水平轴线代表位置，而垂直轴线代表光强。更确切地说，位置是图像传感器30的点位置，且这里采用宽度为640点的图像传感器30。通过在图1所示的图像捕获范围(斜线部分)上部的平坦部分上放置作为实验之用的普通白纸以便产生均匀的反射，测量出图像传感器30的每一个点的输出等级值。由于是普通白纸，因此输出等级值对应于光强。
根据实验结果的上述示例，在图像传感器30的中央大约310点的宽度上获得了基本上均匀的光强。例如，在310点宽度处的最大等级是“190”，最小等级为“160”，其范围在中间值“175”的±15％以内，误差为±10％或更小。
参考图1，对于图像传感器30的图像捕获范围V，以V1表示均匀光强的范围。尽管图像捕获范围是V，但通过从上述V1范围内的图像提取成像目标物的特别重要的特征，可获得高度精确的特征提取。
除此以外，以通过等级校正来匹配等级的方式，在V1范围以外获得的图像也可用于重要程度较低的特征提取。
图像处理结构
图16表示根据本发明一个实施例的捕获图像处理装置的方框图。图17表示上述图像处理装置中的捕获图像处理的流程图。此外，图18表示测距操作的说明图。
如图16所示，图像捕获装置中的驱动/处理系统包括用于驱动第一发光器件22的第一照射LED驱动器94、用于驱动第二发光器件24的第二照射LED驱动器96、用于驱动测距发光器件52的测距LED驱动器98、用于将来自图像传感器30的每一像素的模拟输出转换为数字值的模拟/数字转换器92、以及微控制器90。
如图4所示，第一照射LED驱动器94和第二照射LED驱动器96根据光电探测器26中接收到的光强在每一个发光周期执行APC(自动功率控制)。微控制器(MCU)90包括MPU(微处理器)、ROM(只读存储器)和RAM(随机存取存储器)，并执行包括距离测量90A、姿态辨别90B、快门控制90C和图像处理90D的处理。
下面参考图17说明MCU 90中的成像处理。
(S10)MCU 90通过测距LED驱动器98驱动测距发光器件(LED)52。借此，图2和图3所示的四个测距发光器件52发光。如图1所示，图像传感器30拍摄图像捕获范围内的图像。这里，由于照射发光器件22、24没有被驱动，因此图像传感器30仅接收来自图像捕获范围内的目标物的反射光，该反射光与测距发光器件52所发出的光相对应。在图18中，示出了图像传感器30的图像30A中的反射光52A、52B、52C和52D的位，这些反射光是从图像捕获范围内的目标物接收到的、与每一个测距发光器件52所发出的光相对应的光。上述位置根据目标物(例如，手掌)的倾斜度而不同。
(S12)接下来，借助于模拟/数字(A/D)转换器92，将图像传感器30的图像30A中的每一模拟光接收量转换成数字值，然后存储到MCU90的存储器中。MCU 90在存储器中搜索图像数据，并检测上述反射光52A、52B、52C和52D的位置。
此时，由于四个测距发光器件52如图3和图18所示地从图像(图像捕获范围)的中心对角地设置，因此，通过在直线(如图18中的虚线所示)上搜索，可以根据直线上的像素亮度检测出这四个点的位置(即从图像传感器的中心开始的位置)。例如，在如图1所示的倒三角形的图像捕获范围内，当距目标物的距离长时，图像上的聚光位置靠近中心，如以虚线所示的52A1至52D1，而当距目标物的距离短时，图像上的聚光位置远离中心，如以实线所示的52A至52D。
此外，因为发光器件52以充分的距离设置在对角线上最远的位置处，所以能在图像中检测出距中心最远的位置。MCU 90根据以上四个位置利用三角测量方法而检测目标物的距离(平均)和倾斜度。即，利用从图像传感器30的中心开始的位置，计算四个点中每一个的距离，并可以根据这四个点的距离之差检测倾斜度(沿四个方向)。
(S14)MCU 90判定距成像目标物的距离是否合适(目标物是否以预定的焦距定位在图像捕获范围内)。当距成像目标物的距离不合适时，MCU 90在未示出的显示部分上显示指引消息。例如，显示“将目标物(手掌)放得更近一些”或“将目标物(手掌)放得更远一些”的指引消息。
(S16)当距离合适时，MCU 90判定成像目标物的倾斜度是否合适。例如，当对目标物的平坦部分(手掌等)成像时，判定倾斜度是否在容许范围内。当成像目标物的倾斜度不合适时，MCU 90在未示出的显示部分上显示指引消息。例如，在手掌是目标物的情况下，显示“打开您的手”之类的指引消息。
(S18)当倾斜度合适时，MCU 90指示照射LED驱动器94、96以使得发光。从而，第一发光器件22和第二发光器件24发光以便照射目标物。随后MCU 90驱动未示出的电子快门(设置在光学单元中)，并通过图像传感器30拍摄图像捕获范围内的图像。然后MCU 90通过A/D转换器92将图像存储到存储器中。接着，从上述图像提取特征。例如，在提取前述血管图像的情况下，从该图像提取血管图像。
这样，图像传感器30还用作测距光电探测器部分，以检测成像目标物是否位于焦距处，或检测其倾斜度。从而，在测距机构中，提供测距发光器件52就足够了而不用特别提供用于测距的光电探测器。因为减少了安装部件的数量，所以这有助于降低成本，并有助于小型化。
此外，因为四个测距发光器件52从图像(成像范围)的中心对角地设置，所以能够通过如图18中的虚线所示搜索存储在存储器中的图像数据来检测四个点的位置，从而检测处理变得容易。此外，因为测距发光器件52以足够的距离设置在对角线上的最远位置处，所以即使在装置被小型化时也能够在图像中检测距中心最远的位置，且能够精确地执行倾斜度的检测。
其它实施例
在前述实施例中，利用四个测距发光器件的例子进行了说明。不过，对于检测倾斜度而言，最少设置三个器件也是足够的。类似地，当不必检测倾斜度时，可以仅设置一个测距法发光器件。
此外，在前述实施例中，利用下梯形槽12进行了说明。不过，其它多面体形状也是适用的。例如，在以上说明中，由于是梯形截面，所述槽具有三个平面，但根据所需性能也可使用多面体形状的槽(例如，具有四个平面)。当注重成本时，面数较少的多面体更佳，因此在这里梯形更佳。
在前述实施例中，成像目标物以手掌为例，且成像目标物的图像处理以静脉图案的认证为例。不过，本发明还可适合通过利用人体的其它特征进行其它生物测定，这些特征包括手的皮肤图案、手背的血管图像、手指的血管图像、以及面部和虹膜的特征，等等。此外，本发明不限于应用于生物测定，还适用于其它应用。
尽管在前面的说明中已经描述了本发明的实施例，但可以进行任何合适的修改而不会脱离本发明的精神。所有这些修改不应排除在本发明的范围以外。落在本发明范围内的本发明的特征和优点由所附权利要求覆盖。
相关申请的交叉参考
本申请基于2006年3月3日提交的在先日本专利申请No.2006-057494并要求其优先权，其全部内容通过引用结合于此。

Claims (7)

1、一种图像捕获装置，该图像捕获装置用于通过照射目标物并接收来自目标物的反射光而捕获目标物的图像，并且包括：
用于通过接收所述反射光而捕获图像的图像传感器(30)；
照射机构(10，22，24，26)，所述照射机构用于在捕获图像时照射所述目标物并设置在所述图像传感器(30)的周围；
用于以聚光照射目标物的测距发光器件(52)，该测距发光器件设置在所述照射机构的外侧位置；以及
控制电路(90)，该控制电路用于驱动所述测距发光器件，根据由所述图像传感器(30)捕获的图像来检测所述测距发光器件的聚光位置，并根据检测到的位置得到距目标物的距离，该控制电路判定目标物位置是否在图像捕获范围内，并在判定目标物位置在所述图像捕获范围内时，驱动所述照射机构(10，22，24，26)使得由所述图像传感器(30)捕获目标物的图像，
其中所述照射机构包括：
安装在所述图像传感器(30)的周围位置的多个发光器件(22)；以及
环形的导光构件(10)，该导光构件用于将所述多个发光器件(22)的光引导至图像捕获范围从而照射该图像捕获范围，
并且其中所述照射机构还包括：
光学单元(34)，该光学单元容纳在所述环形的导光构件(10)的环的内部，并用于将被照射的图像捕获范围内的目标物的反射光引导至所述图像传感器(30)；以及
电路板(20)，该电路板安装有所述图像传感器(30)、所述测距发光器件(52)以及所述多个发光器件(22)。
2、根据权利要求1所述的图像捕获装置，其特征在于，所述测距发光器件(52)由设置在以所述图像传感器(30)为中心的不同的且相对的位置处的至少三个测距发光器件组成，并且所述控制电路(90)根据由所述图像传感器(30)捕获的图像来检测每一个测距发光器件(52)的聚光位置，并根据所检测到的位置计算所述目标物的倾斜度。
3、根据权利要求1所述的图像捕获装置，其特征在于，所述多个发光器件(22)沿所述图像传感器(30)周围的圆以预定间隔安装在所述电路板(20)上；
并且其中所述导光构件(10)具有对应于所述圆的环形结构。
4、根据权利要求1所述的图像捕获装置，其特征在于，该图像捕获装置还包括扩散板，所述扩散板用于使所述发光器件(22)的光扩散，且设置在所述环形的导光构件(10)与所述多个发光器件(22)之间。
5、根据权利要求1所述的图像捕获装置，其特征在于，所述多个发光器件由发射红外线的发光器件组成；
并且其中至少在所述光学单元的入射平面上设置有用于过滤可见光的滤光器(76)。
6、根据权利要求1所述的图像捕获装置，其特征在于，所述导光构件包括：
用于引导所述发光器件的光的下端部分；
用于把光输出到所述图像捕获范围中的上端部分；以及
用于把所述发光器件的光从所述下端部分引导至所述上端部分的导光部分。
7、根据权利要求1所述的图像捕获装置，其特征在于，所述图像传感器捕获活体的一部分的图像。
CNB2006101435218A 2006-03-03 2006-11-10 具有测距功能的图像捕获装置 Active CN100478981C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006057494 2006-03-03
JP2006057494A JP4799216B2 (ja) 2006-03-03 2006-03-03 距離測定機能を有する撮像装置

Publications (2)

Publication Number Publication Date
CN101030252A CN101030252A (zh) 2007-09-05
CN100478981C true CN100478981C (zh) 2009-04-15

Family

ID=38110260

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101435218A Active CN100478981C (zh) 2006-03-03 2006-11-10 具有测距功能的图像捕获装置

Country Status (6)

Country Link
US (1) US7777808B2 (zh)
EP (1) EP1830306B1 (zh)
JP (1) JP4799216B2 (zh)
KR (1) KR100919041B1 (zh)
CN (1) CN100478981C (zh)
DE (1) DE602006012799D1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407553A (zh) * 2014-10-24 2017-11-28 魔眼公司 距离传感器

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007009063A2 (en) 2005-07-13 2007-01-18 Branch Thomas P Apparatus and method for evaluating ligaments
JP5138268B2 (ja) * 2006-06-14 2013-02-06 株式会社タニタ 寸法測定装置
WO2010056538A1 (en) * 2008-10-29 2010-05-20 Tim Maguire An automated vessel puncture device using three-dimensional(3d) near infrared (nir) imaging and a robotically driven needle
CN102292026B (zh) 2009-01-30 2014-03-26 富士通先端科技株式会社 认证装置、摄像装置和认证方法
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
WO2012117510A1 (ja) * 2011-02-28 2012-09-07 富士通フロンテック株式会社 撮像装置用の照明光学系
WO2012124055A1 (ja) 2011-03-15 2012-09-20 富士通フロンテック株式会社 撮像装置、撮像方法及び撮像プログラム
US8866064B2 (en) * 2011-07-26 2014-10-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Multi-directional proximity sensor
CN104160243B (zh) * 2012-03-01 2017-03-01 日产自动车株式会社 距离测量装置和距离测量方法
KR102023611B1 (ko) * 2012-05-04 2019-09-23 삼성전자 주식회사 홍채 인식 및 근접 센싱 가능한 단말 장치 및 방법
KR102117261B1 (ko) * 2013-03-05 2020-06-01 삼성전자주식회사 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
US10373998B1 (en) 2013-03-14 2019-08-06 Wavefront Research, Inc. Compact annular field imager optical interconnect
WO2014162388A1 (ja) * 2013-04-01 2014-10-09 富士通フロンテック株式会社 手のひら静脈撮像装置
EP2814235A1 (en) * 2013-06-14 2014-12-17 Q Lifestyle Holding AB Camera device with diffuser and related method
JP5947777B2 (ja) * 2013-10-31 2016-07-06 京セラドキュメントソリューションズ株式会社 画像読取装置、画像形成装置、プログラム、及び画像読取方法
US9773151B2 (en) 2014-02-06 2017-09-26 University Of Massachusetts System and methods for contactless biometrics-based identification
KR102249824B1 (ko) * 2014-02-24 2021-05-10 삼성전자주식회사 신체 정보 감지장치 및 이의 신체 정보 감지방법
WO2016042642A1 (ja) * 2014-09-18 2016-03-24 富士通フロンテック株式会社 測距光生成装置
US9672415B2 (en) * 2014-11-13 2017-06-06 Intel Corporation Facial liveness detection in image biometrics
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
EP3295118A4 (en) 2015-05-10 2018-11-21 Magik Eye Inc. Distance sensor
WO2017094078A1 (ja) * 2015-11-30 2017-06-08 富士通フロンテック株式会社 撮像装置及び撮像装置の製造方法
TWI585394B (zh) 2015-12-09 2017-06-01 由田新技股份有限公司 動態式自動追焦系統
JP6743429B2 (ja) 2016-03-11 2020-08-19 富士通株式会社 生体撮影装置、生体撮影方法および生体撮影プログラム
US10306129B1 (en) * 2016-06-28 2019-05-28 Amazon Technologies, Inc. Local and remote video-camera control
CN106151802B (zh) * 2016-07-27 2018-08-03 广东思锐光学股份有限公司 一种智能云台和利用智能云台进行自拍的方法
CN106646819A (zh) * 2016-12-02 2017-05-10 深圳天珑无线科技有限公司 一种单孔激光对焦实现装置及方法
WO2018106671A2 (en) * 2016-12-07 2018-06-14 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
TWI622782B (zh) * 2016-12-16 2018-05-01 Path detection system for generating laser pattern by diffractive optical element and method thereof
WO2019070806A1 (en) 2017-10-08 2019-04-11 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM COMPRISING MULTIPLE MOBILE SENSORS
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
CN108309237A (zh) * 2018-01-29 2018-07-24 杭州美界科技有限公司 一种智能皮肤检测镜
JP7354133B2 (ja) 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド 三次元深度検知及び二次元撮像のためのカメラ露出調節
JP2019164734A (ja) * 2018-03-20 2019-09-26 富士通フロンテック株式会社 生体認証装置
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
CN109033981A (zh) * 2018-06-29 2018-12-18 张维先 基于超声波测距降低掌静脉识别系统功耗的方法
CN108509945A (zh) * 2018-06-29 2018-09-07 张维先 通过人脸属性识别提升掌静脉识别系统性能的方法
WO2020033169A1 (en) * 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP2020094923A (ja) * 2018-12-13 2020-06-18 株式会社島津製作所 蛍光イメージング装置
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
CN111784893A (zh) * 2019-04-03 2020-10-16 阿里巴巴集团控股有限公司 信息的识别方法、系统、设备及存储介质
CN114073075B (zh) 2019-05-12 2024-06-18 魔眼公司 将三维深度图数据映射到二维图像上
EP4065929A4 (en) 2019-12-01 2023-12-06 Magik Eye Inc. IMPROVEMENT OF TRIANGULATION-BASED THREE-DIMENSIONAL DISTANCE MEASUREMENTS WITH TIME OF FLIGHT INFORMATION
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド ３次元座標と２次元特徴点との関連付け
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60200111A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd ３次元物体認識装置
JPS6215063A (ja) * 1985-07-10 1987-01-23 Shin Meiwa Ind Co Ltd 罫書き線追従装置における距離、姿勢制御装置
US4914460A (en) * 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US6688523B1 (en) * 1988-08-31 2004-02-10 Intermec Ip Corp. System for reading optical indicia
US5274429A (en) * 1989-04-14 1993-12-28 Asahi Kogaku Kogyo Kabushiki Kaisha Distance measuring device
US5378883A (en) * 1991-07-19 1995-01-03 Omniplanar Inc. Omnidirectional wide range hand held bar code reader
JPH0552531A (ja) * 1991-08-21 1993-03-02 Olympus Optical Co Ltd ３次元計測用内視鏡装置
JPH0560529A (ja) * 1991-09-05 1993-03-09 Matsushita Electric Ind Co Ltd 高さ測定装置
US5811828A (en) * 1991-09-17 1998-09-22 Norand Corporation Portable reader system having an adjustable optical focusing means for reading optical information over a substantial range of distances
JP2981942B2 (ja) * 1991-12-02 1999-11-22 株式会社新川 ボンデイングワイヤ検査方法
US5335288A (en) * 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
US5726443A (en) * 1996-01-18 1998-03-10 Chapman Glenn H Vision system and proximity detector
WO1998023989A1 (de) * 1996-11-22 1998-06-04 Leica Mikroskopie Systeme Ag Verfahren zur entfernungsmessung und entfernungsmesser
JPH10246617A (ja) * 1997-03-03 1998-09-14 Copal Co Ltd 平坦度判定方法および平坦度判定装置
US6022124A (en) * 1997-08-19 2000-02-08 Ppt Vision, Inc. Machine-vision ring-reflector illumination system and method
US6850631B1 (en) * 1998-02-20 2005-02-01 Oki Electric Industry Co., Ltd. Photographing device, iris input device and iris image input method
US20020097896A1 (en) * 1998-03-17 2002-07-25 Lars Kuckendahl Device and method for scanning and mapping a surface
JP3571211B2 (ja) 1998-04-23 2004-09-29 株式会社三協精機製作所 光学式読取装置
DE19818229A1 (de) * 1998-04-24 1999-10-28 Hauke Rudolf System zur berührungslosen Hand- und Fingerlinien-Erkennung
US6741279B1 (en) * 1998-07-21 2004-05-25 Hewlett-Packard Development Company, L.P. System and method for capturing document orientation information with a digital camera
US6774945B1 (en) * 1999-10-18 2004-08-10 Hewlett-Packard Development Company, L.P. Focusing apparatus for image recording system
US6782122B1 (en) * 2000-04-27 2004-08-24 Simmonds Precision Products, Inc. Apparatus for measuring height of a liquid in a container using area image pattern recognition techniques
JP3817119B2 (ja) * 2000-06-30 2006-08-30 株式会社リコー 画像入力装置
JP3558025B2 (ja) * 2000-09-06 2004-08-25 株式会社日立製作所 個人認証装置及び方法
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
US7095901B2 (en) 2001-03-15 2006-08-22 Lg Electronics, Inc. Apparatus and method for adjusting focus position in iris recognition system
JP4387643B2 (ja) 2002-07-31 2009-12-16 富士通株式会社 個人認識機能付き処理装置
JP3770241B2 (ja) * 2003-03-04 2006-04-26 株式会社日立製作所 個人認証装置及び個人認証方法
AU2003220951A1 (en) 2003-03-28 2004-10-25 Fujitsu Limited Camera, light source control method, and computer program
AU2003220948A1 (en) * 2003-03-28 2004-10-25 Fujitsu Limited Photographing apparatus, photographing method and computer program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407553A (zh) * 2014-10-24 2017-11-28 魔眼公司 距离传感器
CN107407553B (zh) * 2014-10-24 2020-07-28 魔眼公司 距离传感器

Also Published As

Publication number Publication date
KR20070090724A (ko) 2007-09-06
EP1830306A3 (en) 2007-09-12
US7777808B2 (en) 2010-08-17
JP2007233231A (ja) 2007-09-13
JP4799216B2 (ja) 2011-10-26
CN101030252A (zh) 2007-09-05
KR100919041B1 (ko) 2009-09-24
DE602006012799D1 (de) 2010-04-22
EP1830306B1 (en) 2010-03-10
US20070206099A1 (en) 2007-09-06
EP1830306A2 (en) 2007-09-05

Similar Documents

Publication Publication Date Title
CN100478981C (zh) 具有测距功能的图像捕获装置
CN100533463C (zh) 图像捕获装置
CN100520458C (zh) 照射装置以及图像捕获装置
CN100533252C (zh) 图像捕获装置
CN100533251C (zh) 图像捕获装置
EP1830565B1 (en) Image capturing apparatus
US7878405B2 (en) Dual laser targeting system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant