CN109684907A - 识别装置以及电子设备 - Google Patents

识别装置以及电子设备 Download PDF

Info

Publication number
CN109684907A
CN109684907A CN201811010955.XA CN201811010955A CN109684907A CN 109684907 A CN109684907 A CN 109684907A CN 201811010955 A CN201811010955 A CN 201811010955A CN 109684907 A CN109684907 A CN 109684907A
Authority
CN
China
Prior art keywords
reflected light
information
direct reflected
identification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811010955.XA
Other languages
English (en)
Inventor
小野博明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN109684907A publication Critical patent/CN109684907A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供不会受到环境光的变动的影响而能够高精度地进行识别的识别装置以及电子设备。本发明提供一种识别装置，具备：直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；对象物检测部，基于所述直接反射光信息检测所述对象物；以及对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。

Description

识别装置以及电子设备
技术领域
本公开涉及识别装置以及电子设备。
背景技术
近年来，在智能手机等电子设备中，为了确保其安全性，多搭载有识别装置。详细地说，该识别装置拍摄欲使用上述电子设备的人的脸部图像并进行对照，仅对被识别为上述电子设备的用户的人，允许其使用上述电子设备。
例如，在下述专利文献1中公开有如下的识别装置：预先登记用户的脸部图像，在所登记的脸部图像与新拍摄到的脸部图像之间进行对照。在该专利文献1中，对照明进行控制，以便在与拍摄所登记的脸部图像之际的照明条件相同的照明条件下拍摄新的脸部图像，由此提高识别精度。
现有技术文献
专利文献1：日本专利公开公报特开2017-27492号
在欲提高识别精度的情况下，如上所述，期望在与拍摄所登记的脸部图像之际的环境光的状态相同状态的环境光下拍摄新的脸部图像。然而，环境光容易变动，有些状况下难以再现与拍摄所登记的脸部图像之际的环境光相同状态的环境光来进行拍摄。
发明内容
因此，本发明提供一种不会受到环境光的变动的影响、能够进行高精度识别的、新型的且改进后的识别装置以及电子设备。
根据本发明，提供一种识别装置，具备：直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；对象物检测部，基于所述直接反射光信息检测所述对象物；以及对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。
并且，根据本发明，提供一种识别装置，具备：距离信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算所述对象物的距离信息；对象物检测部，基于所述距离信息检测所述对象物；以及对象物识别部，基于所检测到的所述对象物的所述距离信息来进行该对象物的识别。
此外，根据本发明，提供一种电子设备，所述电子设备搭载有识别装置，该识别装置具有：直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；对象物检测部，基于所述直接反射光信息检测所述对象物；以及对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。
如以上说明了的那样，根据本发明，能够提供一种不会受到环境光的变动的影响、能够进行高精度识别的识别装置以及电子设备。
另外，上述的效果并非限定性的效果，也可以与上述效果一起、或者代替上述效果而起到本说明书所示的任一个效果、或者根据本说明书能够掌握的其他效果。
附图说明
图1是用于说明比较例的识别装置所执行的识别方法的说明图。
图2是用于说明在本发明的实施方式所涉及的识别装置中使用的图像的说明图。
图3是用于说明本发明的实施方式所涉及的识别方法与比较例的识别方法的区别的说明图。
图4是表示本发明的第1实施方式所涉及的识别系统10的构成例的框图。
图5是表示该实施方式所涉及的TOF传感器100的构成例的框图。
图6是用于说明距离信息的计算方法的原理的说明图。
图7是用于说明使用了该实施方式所涉及的TOF传感器100的距离信息的计算方法的说明图。
图8是示意性表示该实施方式中的环境光(间接反射光)的消除的说明图。
图9是用于说明该实施方式中的正规化的一例的说明图。
图10是说明该实施方式所涉及的识别方法的登记阶段的流程图。
图11是说明该实施方式所涉及的识别方法的识别阶段的流程图。
图12是说明本发明的第2实施方式所涉及的识别方法的登记阶段的流程图。
图13是说明该实施方式所涉及的识别方法的识别阶段的流程图。
图14是表示本发明的第3实施方式所涉及的层叠图像传感器20的构成例的图。
图15是表示该实施方式所涉及的层叠图像传感器20的详细构成例的框图。
图16是表示该实施方式的变形例所涉及的层叠图像传感器20a的构成例的图。
图17是表示该实施方式的变形例所涉及的层叠图像传感器20a的详细构成例的框图。
图18是表示本发明的第4实施方式所涉及的电子设备900的硬件构成的一例的框图。
附图标记说明
10 识别系统
20、20a 层叠图像传感器
100、980 TOF传感器
102 照射部
104、104a、104b 受光部
120 像素区域
200 处理单元
202 距离信息计算部
204 直接反射光计算部
206 被摄体检测部
208 3维变换部
210 被摄体正规化部
212 被摄体识别部
220 信号处理电路区域
300 存储部
320 存储器区域
400 显示部
502、502a 登记用脸部图像
504、504b、504c、504d 对照用脸部图像
600 距离图像
602、602a 登记用距离图像
604、604b、604c、604d 对照用距离图像
700 直接反射光图像
702、702a 登记用直接反射光图像
704、704b、704c、704d 对照用直接反射光图像
612、620、622、710、712 被摄体区域
800a、800b 区域
900 电子设备
950 CPU
952 ROM
954 RAM
956 记录介质
958 输入输出接口
960 操作输入设备
962 显示设备
968 通信接口
970 总线
具体实施方式
以下，参照附图对本发明的优选实施方式详细地进行说明。另外，在本说明书以及附图中，对于具有实质上相同的功能结构的构成要素，标注相同的附图标记，由此省略重复说明。
并且，在本说明书以及附图中，对于具有实质上相同或者类似的功能结构的多个构成要素，有时在相同的附图标记之后标注不同的数字来进行区分。但是，在无需特别区分具有实质上相同或者类似的功能结构的多个构成要素的每一个的情况下，仅标注相同的附图标记。并且，对于不同的实施方式的类似的构成要素，有时在相同的附图标记之后标注不同的字母来进行区分。但是，在无需特别区分类似的构成要素的每一个的情况下，仅标注相同的附图标记。
另外，说明按照以下的顺序进行。
1.本发明人创作出本发明所涉及的实施方式的背景
2.本发明的实施方式的概要
3.第1实施方式
3.1第1实施方式所涉及的识别系统10的概要
3.2TOF传感器100的详细构成
3.3处理单元200的详细构成
3.4识别方法
3.4.1登记阶段
3.4.2识别阶段
4.第2实施方式
4.1识别方法
4.1.1登记阶段
4.2.2识别阶段
5.第3实施方式
6.第4实施方式
7.总结
8.补充
<<1.本发明人创作出本发明所涉及的实施方式的背景>>
下面，在说明本发明所涉及的实施方式的详细情况之前，参照图1对本发明人创作出本发明所涉及的实施方式的背景进行说明。图1是用于说明比较例的识别装置所执行的识别方法的说明图，此处，比较例意味着本发明人在创作出本发明所涉及的实施方式之前持续研究的识别装置或识别方法。
在比较例所涉及的识别装置中，预先登记特定的人的脸部图像，通过将新拍摄到的脸部图像与预先登记的脸部图像进行对照，对新拍摄到脸部图像的人进行识别。然而，在比较例所涉及的识别装置中，有时尽管实际上是同一人，但进行上述那样的对照的结果是识别为其他人，在提高识别精度方面存在限制。
参照图1对在比较例所涉及的识别装置中进行上述那样的误识别的情况具体地进行说明。此处，考虑在比较例所涉及的识别装置中，使用图1的左侧所示那样的登记用脸部图像502进行对照的情况。此时，比较例所涉及的识别装置新拍摄人的脸部图像，取得对照用脸部图像504，将新取得的对照用脸部图像504与上述登记用脸部图像502进行对照。
例如，当比较例所涉及的识别装置在与登记用脸部图像502的拍摄时不同的照明条件下拍摄与登记用脸部图像502的人是同一人的情况下，有时会得到图1的右侧所示那样的对照用脸部图像504b、504c。具体地说，在登记用脸部图像502的拍摄时，光照射到人的脸部的正面(顺光)，如图1的左侧所示，登记用脸部图像502遍及脸部整体都成为清晰的图像。另一方面，在对照用脸部图像504b的拍摄时，光仅照射到人的脸部的左半部分，如图1的右侧上部所示，关于对照用脸部图像504b，图像中的阴影的差较大，详细地说，成为脸部的一半部分清晰、且剩余的一半部分不清晰的图像。此外，在对照用脸部图像504c的拍摄时，人的脸部整体均未被光充分照射，如图1的右侧下部所示，对照用脸部图像504c遍及脸部整体成为不清晰的图像。
即、对照用脸部图像504b、504c与登记用脸部图像502不同，是其整体或者一部分不清晰的图像。因而，在使用登记用脸部图像502与对照用脸部图像504b、504c进行对照的情况下，尽管这些图像502、504b、504c是同一人的脸部图像，但比较例所涉及的识别装置却判断为是不同的人的脸部图像。进而，其结果，在比较例所涉及的识别装置中，无法识别为是同一人。
作为比较例所涉及的识别装置进行误识别的原因是由于登记用脸部图像502的拍摄时的照明条件和对照用脸部图像504的拍摄时的照明条件不同，因此，尽管是同一人的脸部图像，但却拍摄了不同状态的脸部图像。即、在比较例所涉及的识别装置中，可以说其识别精度容易被拍摄时的照明条件(环境光)的变动所左右(影响)。
因此，在先前说明过的上述专利文献1所公开的识别装置中，对照明进行控制，以使得对照用脸部图像504的拍摄时的照明条件与登记用脸部图像502的拍摄时的照明条件相同。通过这样做，在对照用脸部图像504的拍摄时，能够成为与登记用脸部图像502的拍摄时的照明条件相同的照明条件，因此，若为同一人，则拍摄到大致相同(大致等同)的脸部图像。因而，在上述专利文献1所公开的识别装置中，能够提高得到是同一人这一识别结果的概率，因此能够提高识别精度。
详细地说，在上述专利文献1中，推定登记用脸部图像502的拍摄时的照明条件，并对照明进行控制以使得对照用脸部图像504的拍摄时的照明条件与之相同。然而，在室外等会受到太阳光等的变动的影响，因此难以将照明条件稳定地控制为所期望的条件。此外，由于推定登记用脸部图像502的拍摄时的照明条件并进行照明的控制，因此，在上述专利文献1中，难以避免处理时间的长时间化或耗电的增加，此外，也难以避免识别装置的构成的复杂化或制造成本的增加。
因此，本发明人鉴于上述那样的状况，考虑并非使用易受环境光的变动左右的2维图像(例如上述的登记用脸部图像502、对照用脸部图像504之类的彩色图像或红外光图像)，而是使用表示被摄体(对象物)的深度信息的距离信息(2.5维信息或3维信息)来进行识别。另外，此处，2.5维信息是指将针对后述的TOF传感器的每个像素取得的距离信息(深度信息)和对应的像素的位置信息建立关联而生成的信息。并且，此处，3维信息是指将2.5维信息中的像素的位置信息变换为实际空间的坐标，并同与变换得到的坐标对应的距离信息建立关联而生成的、实际空间中的3维坐标信息(详细地说是多个3维坐标信息的集合体)。
作为取得距离信息的方法之一，能够举出采用立体照相机执行的方法。立体照相机利用2台照像机取得图像，并利用这些照像机的视差来取得至被摄体为止的距离信息。然而，在立体照相机中，由于使用2台照像机，因此难以避免装置的构成变大。并且，根据本发明人的研究，立体照相机难以取得没有花纹的、均一表面的距离信息，例如，对脸部等花纹少的肌肤区域难以取得距离信息。此外，立体照相机所取得的距离信息的精度容易受环境光的变动左右。
并且，作为取得距离信息的方法的另一个，能够举出结构光(structured light)法。结构光法是如下的方法：朝被摄体的表面投影具有规定的图案的光，并对投影至被摄体的光的图案的变形进行解析，由此来推定至被摄体为止的距离。结构光法与比较例相比可以说是难以受环境光的变动左右的方法，但难以完全消除环境光的变动的影响。此外，在结构光法中，拍摄处于投影有规定的图案的状态下的被摄体的图像，在将这样的图像用于人等的识别的情况下，会受所投影的图案影响而难以提高识别精度。
作为取得距离信息的方法，还存在如下的方法：边使照像机在被摄体的周边移动、边对被摄体连续地进行拍摄，取得该被摄体的多个拍摄帧，基于所取得的多个拍摄帧来计算上述被摄体的距离信息。然而，在该方法中也难以消除环境光的变动的影响。此外，在该方法中，由于取得多个拍摄帧，因此耗费时间，此外，在被摄体移动或被摄体的外形变化的情况下，无法计算距离信息，因此难以应用于对人等进行识别的识别装置。
并且，虽然也考虑同时使用像比较例那样拍摄2维图像的照像机和取得上述那样的距离信息的照像机的两者来进行识别，但所使用的照像机仍为多个，因此难以避免识别装置的构成变大。
因此，本发明人基于上述那样的研究，创作出了不会受环境光的变动的影响、能够进行高精度的识别的本发明的实施方式所涉及的识别装置。以下，对本发明人所创作出的本发明的实施方式的详细情况依次进行说明。
<<2.本发明的实施方式的概要>>
首先，参照图2以及图3对本发明的实施方式的概要进行说明。图2是用于说明在本发明的实施方式所涉及的识别装置中使用的图像的说明图，图3是用于说明本发明的实施方式所涉及的识别方法与比较例的识别方法的区别的说明图。
本发明人基于上述那样的研究，考虑使用TOF(飞行时间，Time Of Flight)传感器取得距离信息等，并基于所取得的距离信息等来进行识别。TOF传感器例如朝被摄体照射具有规定的周期的照射光，探测由该被摄体反射的上述光(反射光)，并检测照射光与反射光之间的相位差或时间差，由此能够取得被摄体的深度(距离信息)。另外，在本发明人所创作出的本发明的实施方式中，TOF传感器是能够通过检测照射光与反射光之间的相位差来取得被摄体的深度的传感器。
TOF传感器能够以上述方式取得距离信息，因此，例如，以下说明的本实施方式所涉及的TOF传感器能够取得如图2的右侧所示那样的基于被摄体(此处为人的脸部)的距离信息的图像600(以下称为距离图像600)。该距离图像600是通过将2.5维信息朝平面投影(通过赋予与距离信息对应的颜色或亮度)而得到的图像，其中，上述2.5维信息是通过将基于由人的脸部反射的反射光得到的距离信息与TOF传感器的像素的位置信息建立关联而得到的。即便环境光变动也能够取得恒定值的距离信息，因此距离信息可以说是不受环境光的变动左右的信息。另外，该距离图像600也可以是将上述的3维信息朝平面投影而得到的图像。
此外，TOF传感器能够将光(例如红外光)朝被摄体照射、并探测在该被摄体反射的光，因此，基于所探测到的反射光的图像(例如红外线图像)也能够与距离图像600同时取得。具体地说，本实施方式所涉及的TOF传感器也能够取得如图2的左侧所示那样的基于被摄体(此处为人的脸部)的直接反射光信息的图像700(以下称为直接反射光图像700)。该直接反射光图像700是通过利用TOF传感器朝被摄体照射照射光、并探测由该被摄体直接反射的反射光而得到的基于直接反射光信息的图像。更详细地说，该直接反射光图像700如图2的左侧所示是利用灰度(gradation)来表现由TOF传感器探测到的光的强度的图像。但是，在本发明人所创作出的本发明的实施方式中，直接反射光图像700与上述的比较例的登记用脸部图像502、对照用脸部图像504(参照图1)相似，但由于是对由TOF传感器探测到的光的信息(传感数据)以消除环境光的影响的方式进行了处理而得到的图像，所以与比较例存在很大差异。从环境光的影响被消除这点也能够明确，直接反射光图像700可以说是不受环境光的变动左右的图像。即、本发明人独自想到了利用直接反射光图像700来进行识别这一构思，所述直接反射光图像700是基于对TOF传感器的传感数据以消除环境光的影响的方式进行处理而得到的信息(直接反射光信息)。另外，本发明人所创作出的本发明的实施方式中的环境光的影响的消除的详细情况后述。
此外，上述的距离图像600和直接反射光图像700能够通过由本实施方式所涉及的TOF传感器进行的1次拍摄同时取得。因而，在本实施方式中，无需为了取得2个图像等而拍摄多个图像帧，能够避免识别所涉及的时间的增加。并且，本实施方式所涉及的TOF传感器对被摄体照射光，因此，在本实施方式中，即便是暗处等也能够进行被摄体的识别。另外，图2所示的距离图像600和直接反射光图像700毕竟只是一例，本实施方式所涉及的距离图像600以及直接反射光图像700并不限定于图2的例子。
如上，在本发明人所创作出的本发明的实施方式中，通过使用难以受环境光的变动左右的距离信息(距离图像600)以及直接反射光信息(直接反射光图像700)中的至少1个进行识别，不会受到环境光的变动的影响，能够高精度地进行识别。
具体地说，参照图3，边对本发明的实施方式所涉及的识别方法与比较例的识别方法进行比较边进行说明。详细地说，在图3的左侧上部表示比较例所涉及的识别方法中的登记用脸部图像502a，在图3的左侧下部表示比较例所涉及的识别方法中的对照用脸部图像504b、504c、504d。此外，在图3的右侧上部表示本实施方式所涉及的识别方法中的登记用距离图像602a和登记用直接反射光图像702a。并且，在图3的右侧下部表示本实施方式所涉及的识别方法中的对照用距离图像604b、604c、604d和对照用直接反射光图像704b、704c、704d。另外，假设图3所示的图像全都是同一人的脸部图像。此外，如图3的中央所示，假设登记用脸部图像502a、登记用距离图像602a以及登记用直接反射光图像702a是在照明条件A下拍摄到的图像。并且，假设对照用脸部图像504、对照用距离图像604以及对照用直接反射光图像704是在与照明条件A不同、且互不相同的照明条件B、C、D下拍摄到的图像。
如图3的左侧所示，可知：在比较例中，若照明条件变化，则对照用脸部图像504b、504c、504d成为与登记用脸部图像502a不同的图像。具体地说，在对照用脸部图像504b中，成为脸部的一半部分清晰、且剩余的一半部分不清晰的图像。对照用脸部图像504c成为脸部整体均不清晰的图像，即甚至难以识别出是脸部图像的图像。因而，在比较例中，若照明条件即环境光变动，则图像的状态变化，因此，即便是同一人的脸部图像，由于对照用脸部图像504是与登记用脸部图像502a存在很大差异的图像，因此难以识别出是同一人。这是因为：在比较例中，拍摄被摄体的图像时，不仅探测由被摄体直接反射的光，而且还同时探测因照明等而产生的间接的光(间接反射光)即环境光，因此图像无法避免环境光的影响。
另一方面，在本发明的实施方式中，如图3的右侧所示，即便照明条件变化，对照用距离图像604b、604c、604d以及对照用直接反射光图像704b、704c、704d也成为与登记用距离图像602a以及登记用直接反射光图像702a大致相同(大致等同)的图像。即、在本实施方式中，即便照明条件即环境光变动，图像的状态也不变化。因而，在本实施方式中，即便照明条件即环境光变动，若是同一人则图像的状态变化的情况少，因此能够识别出是同一人。
即、根据本发明的实施方式，不会受到环境光的变动的影响，能够高精度地进行识别。以下，依次说明这样的本发明的实施方式的详细情况。另外，在以下说明的本发明的实施方式中，假设使用距离信息以及直接反射光信息(具体地说，距离图像600以及直接反射光图像700)双方进行识别而进行说明。然而，在本实施方式中，并不限定于使用距离信息以及直接反射光信息的双方，也能够使用至少任一方进行识别。
<<3.第1实施方式>>
<3.1第1实施方式所涉及的识别系统10的概要>
首先，参照图4对本发明的第1实施方式所涉及的识别系统(识别装置)10的概要进行说明。图4是表示本实施方式所涉及的识别系统10的构成例的框图。如图4所示，本实施方式所涉及的识别系统10主要包含TOF传感器100、处理单元200、存储部300、显示部400。以下，对本实施方式所涉及的识别系统10所包含的各装置的概要进行说明。
(TOF传感器100)
TOF传感器100取得用于取得被摄体的距离信息以及直接反射光信息(具体地说，图2所示的距离图像600以及直接反射光图像700)的传感数据。详细地说，TOF传感器100将通过朝被摄体(对象物)照射红外光等照射光、并探测由被摄体反射的直接反射光等而得到的传感数据，朝后述的处理单元200输出。该处理单元200通过基于传感数据计算照射光与反射光之间的相位差，能够取得被摄体的距离信息(深度)。并且，该处理单元200能够通过对传感数据进行处理来得到被摄体的直接反射光信息。另外，像上述那样通过相位差来获得距离信息的方法被称为间接TOF方式。TOF传感器100的详细情况后述。
另外，在本实施方式中，并非使用多个照像机、而是使用1个TOF传感器100，因此能够避免识别系统10的构成变大或变复杂，进而能够避免识别系统10的制造成本的增加。
(处理单元200)
处理单元200以CPU(中央处理单元，Central Processing Unit)、RAM(随机访问存储器，Random Access Memory)、ROM(只读存储器，Read Only Memory)等为中心构成，能够在后述的存储部300存储登记用图像(具体地说为登记用距离图像602、登记用直接反射光图像702等)，或使用存储于存储部300的上述登记用图像进行人的识别等。另外，处理单元200的详细情况后述。
(存储部300)
存储部300由ROM以及RAM等实现，如先前说明过的那样，存储有在进行识别之际使用的上述登记用图像。
(显示部400)
显示部400是对用户输出识别结果等的功能部，例如由液晶显示器(LCD)装置、OLED(有机发光二极管，Organic Light Emitting Diode)装置等实现。例如，显示部400在新拍摄到的人的脸部图像与在上述的存储部300中存储的上述登记用图像一致的情况下，显示与上述登记用图像建立关联的人的姓名等信息。另一方面，在新拍摄到的人的脸部图像与上述登记用图像不一致的情况下，显示不一致的意思。
另外，在本实施方式中，TOF传感器100、处理单元200、存储部300以及显示部400中的一部分或者全部可以设置成一体。例如，在TOF传感器100、处理单元200、存储部300以及显示部400设置成一体的情况下，能够形成为以单机进行识别所涉及的处理的装置。并且，上述的处理单元200也可以利用例如云计算等那样的以与网络的连接作为前提的由多个装置构成的系统构建。
<3.2TOF传感器100的详细构成>
以上对本实施方式所涉及的识别系统10的概要进行了说明。下面，参照图5对本实施方式所涉及的TOF传感器100的详细构成进行说明。图5是表示本实施方式所涉及的TOF传感器100的构成例的框图。如图5所示，TOF传感器100主要具有照射部102和受光部104。以下对TOF传感器100的各功能部的详细情况进行说明。
(照射部102)
照射部102具有激光光源(省略图示)和光学元件(省略图示)。作为激光光源例如能够使用激光二极管，所照射的光的波长能够通过适当选择激光二极管来改变。另外，在本实施方式中，关于照射部102，例如以照射波长785nm附近的红外光进行说明，但在本实施方式中，并不限定于照射这样的红外光。
(受光部104)
受光部104具有聚光透镜(省略图示)和受光元件(省略图示)。聚光透镜具有将所接受的光会聚至受光元件的功能。并且，受光元件例如由具有多个像素的CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)图像传感器等构成，针对每个像素，基于所接受的光的强度生成受光信号，并将所生成的受光信号朝处理单元200输出。
另外，TOF传感器100的照射部102以及受光部104可以由处理单元200控制，或者也可以由设置于TOF传感器100的未图示的控制部控制。
此处，参照图6对由TOF传感器100执行的距离信息的计算方法的原理进行说明。图6是用于说明距离信息的计算方法的原理的说明图，详细地说，示意性地表示TOF传感器100中的照射光与反射光的强度的时间变动。
如图6所示，TOF传感器100将以光的强度周期性地变动的方式调制后的光从照射部102向被摄体照射。所照射的光由被摄体反射，作为反射光而由TOF传感器100的受光部104探测。如图6所示，所探测到的反射光(图6的下部)相对于照射光(图6的上部)具有相位差，关于该相位差，从TOF传感器100至被摄体为止的距离越远则越大，从TOF传感器100至被摄体为止的距离越近则越小。
因此，例如，TOF传感器100感应反射光的4个相位(0度、90度、180度、270度)处的光的强度。能够通过将传感数据(q0、q90、q180、q270)输入下述的数式(1)来计算相位差(phase)。此外，通过使用这样计算出的相位差和光的波长(range)，根据下述的数式(1)，能够得到至被摄体为止的距离信息(distance)。
【数1】
I＝q0-q180
Q＝qg0-q270
另外，能够对受光部104的每个像素取得上述距离信息，因此，通过将对应的像素的位置信息和距离信息建立关联，能够得到先前说明过的2.5维信息。
此外，本实施方式所涉及的受光部104如图5所示具有相互差动的第1以及第2受光部104a、104b。详细地说，本实施方式所涉及的第1以及第2受光部104a、104b同时制作，由此具有相互大致相同(大致同样)的特性。此外，第1以及第2受光部104a、104b在具有相同的长度的期间动作，但假设以相互具有180度的相位差的方式动作(参照图7)。另外，具有这样的2个受光部的TOF传感器100被称为双击(2tap)方式的TOF传感器。
下面，参照图7对本实施方式所涉及的双击方式的TOF传感器100中的距离信息的计算方法进行说明。图7是用于说明使用了本实施方式所涉及的TOF传感器100的距离信息的计算方法的说明图。在图7中，关于照射光(图7的第1级)以及反射光(图7的第2级)，为了容易理解而以脉冲状的光表示，而且假设照射光与反射光之间的相位差为φ。此外，在图7中，图示了第1受光部104a(图7的第3级)以及第2受光部104b(图7的第4级)的动作，而且假设在朝上方凸出的期间受光部104a、104b动作。因而，如图7所示，第1以及第2受光部104a、104b分别动作的期间并不重叠，因此可知第1以及第2受光部104a、104b相互差动。
如图7所示，在反射光相对于照射光具有相位差φ的情况下，第1受光部104a和第2受光部104b能够在图中7的灰色所示的区域800a、800b探测反射光。详细地说，通过对由第1以及第2受光部104a、104b探测到的光的强度分别进行积分，能够得到与图7的区域800a以及区域800b的面积相当的受光信号。根据图7可知：第1受光部104a中的积分值与第2受光部104b中的积分值之间的差分，根据反射光的相位差φ而变化。因而，在本实施方式中，能够计算第1以及第2受光部104a、104b的积分值的差分，基于所计算出的差分计算相位差φ，并进一步计算距离信息。另外，在本实施方式中，也可以并不计算积分值的差分，而是使用积分值的比来计算相位差φ，并计算距离信息。
实际上，第1以及第2受光部104a、104b除了探测从被摄体直接反射的反射光(直接反射光)之外，还同时探测因照明等而产生的间接反射光(环境光)。具体地说，第1以及第2受光部104a、104b探测图8的上部所示那样的光，图8是示意性表示本实施方式中的环境光(间接反射光)的消除的说明图。
因此，如图8的上部所示，在将上述间接反射光(环境光)看作在规定的期间中强度并不周期性地变动的光的情况下，与直接反射光不同，第1受光部104a和第2受光部104b均探测到相同强度的间接反射光。因而，通过计算第1受光部104a的积分值与第2受光部104b的积分值之间的差分，能够消除因相互共通的间接反射光的强度而产生的积分成分，从而能够仅提取出如图8的下部所示那样的直接反射光。即、在本实施方式中，通过计算第1受光部104a的积分值与第2受光部104b的积分值之间的差分，能够消除间接反射光(环境光)的影响。进而，根据本实施方式，通过使用消除了间接反射光后的直接反射光信息，能够得到难以受环境光的变动左右的直接反射光图像700(参照图2)。另外，在本实施方式中，并不限定于通过如上述那样计算第1受光部104a的积分值与第2受光部104b的积分值之间的差分来提取出消除了间接反射光的影响的直接反射光。例如，在本实施方式中，也可以使用第1受光部104a的积分值与第2受光部104b的积分值之比来提取出消除了间接反射光的影响的直接反射光。
另外，上述的距离信息难以受环境光的变动左右，因此，并不限定于像先前说明过的那样使用积分值的差分来进行计算。然而，通过使用积分值的差分进行计算，能够将第1以及第2受光部104a、104b所固有的共通的噪声信号从距离信息去除，因此距离信息优选使用积分值的差分计算。
并且，在本实施方式中，双击方式的TOF传感器100并不限定于具有2个受光部104a、104b的TOF传感器。例如，本实施方式所涉及的双击方式的TOF传感器100也可以是具有1个受光部104和2个读取部(第1读取部以及第2读取部)(省略图示)的传感器，所述2个读取部在互不相同的时机读取由1个受光部104接受的光。即便是这样的具有1个受光部和2个读取部的TOF传感器100，也与上述同样，能够得到消除了间接反射光的影响的直接反射光、或去除了噪声信号的距离信号。
<3.3处理单元200的详细构成>
以上对本实施方式所涉及的TOF传感器100的详细构成进行了说明。下面，参照图4对本实施方式所涉及的处理单元200的详细构成进行说明。如图4所示，处理单元200主要具有距离信息计算部202、直接反射光计算部(直接反射光信息计算部)204、被摄体检测部(对象物检测部)206、3维变换部(3维坐标计算部)208、被摄体正规化部(正规化处理部)210、以及被摄体识别部(对象物识别部)212。以下对处理单元200的各功能部的详细情况进行说明。
(距离信息计算部202)
距离信息计算部202如先前说明过的那样基于来自TOF传感器100的传感数据计算照射光与反射光之间的相位差，并基于相位差计算被摄体的距离信息(距离图像600)。距离信息计算部202计算出的距离信息是与TOF传感器100的受光部104的像素的位置信息建立关联的信息，因此可以说是上述的2.5维信息。此外，距离信息计算部202能够将所计算出的距离信息，向后述的被摄体检测部206、3维变换部208、被摄体正规化部210等输出。
(直接反射光计算部204)
直接反射光计算部204通过对来自TOF传感器100的传感数据利用上述的方法进行消除间接反射光(环境光)的处理，计算被摄体的直接反射光信息(直接反射光图像700)。此外，直接反射光计算部204能够将所计算出的直接反射光信息，向后述的被摄体检测部206、被摄体正规化部210等输出。
(被摄体检测部206)
被摄体检测部206检测基于由上述的距离信息计算部202得到的距离信息的距离图像600或基于由直接反射光计算部204得到的直接反射光信息的直接反射光图像700中的被摄体所占的区域(被摄体区域)。被摄体检测部206当从距离图像600作为被摄体检测人的脸部的区域的情况下，例如能够基于规定的轮廓线(脸部的轮廓)检测脸部的区域。并且，被摄体检测部206在从直接反射光图像700检测人的脸部的区域的情况下，例如能够基于规定的特征点(眼、鼻、口)的位置关系等检测脸部的区域。另外，在被摄体距TOF传感器100近的情况下，由被摄体检测部206检测的被摄体区域宽广，在被摄体距TOF传感器100远的情况下，所检测的被摄体区域狭窄。此外，被摄体检测部206能够将所检测到的被摄体区域的结果，向后述的3维变换部208、被摄体正规化部210等输出。
并且，被摄体检测部206能够在距离图像600以及直接反射光图像700的任一方中检测被摄体区域，并将所检测到的被摄体区域直接应用于另一方的图像的被摄体区域。详细地说，距离图像600以及直接反射光图像700是根据来自TOF传感器100的同一次拍摄得到的图像，因此无需在双方之间进行对准，因此能够将一方的图像的被摄体区域直接作为另一方的被摄体区域使用。
此外，被摄体检测部206也可以使用距离图像600中的被摄体区域的检测结果以及直接反射光图像700中的被摄体区域的检测结果双方来决定最终的被摄体区域。详细地说，在直接反射光图像700中，例如当人的脸部与背景之间的对比度小的情况下，难以检测人的脸部的轮廓。另一方面，在距离图像600中，即便在上述那样对比度小的情况下，由于人的脸部和背景的位置不同，因此容易检测脸部的轮廓。然而，在距离图像600中，难以检测脸部的眼、鼻、口等凹凸少的特征点。因而，被摄体检测部206通过使用距离图像600以及直接反射光图像700的双方检测被摄体区域，能够使双方的检测的弱点互补，从而能够进一步提高被摄体区域的检测的精度。
(3维变换部208)
3维变换部208将由距离信息计算部202计算出的2.5维信息即距离信息，变换为实际空间的3维空间的坐标值。详细地说，3维变换部208通过将TOF传感器100的受光部104的像素的位置信息变换为实际空间的坐标值，将上述距离信息变换为3维空间的坐标(X、Y、Z)，生成3维坐标信息(3维信息)。通过像这样进行变换，能够将距离信息作为空间上的实际距离处理。此外，3维变换部208能够将上述3维坐标信息，向后述的被摄体正规化部210等输出。另外，3维变换部208也可以不设置于处理单元200。
(被摄体正规化部210)
被摄体正规化部210进行距离图像600、直接反射光图像700以及3维信息(省略图示)中的被摄体区域的正规化。作为在被摄体正规化部210中进行的正规化的例子，能够举出方向的正规化、比例尺的正规化、亮度的正规化等。进而，被摄体正规化部210将正规化后的被摄体区域，向后述的被摄体识别部212或存储部300输出。另外，如先前说明过的那样，3维信息是指三维坐标信息(X、Y、Z的坐标信息)的集合体。
参照图9对被摄体正规化部210中的正规化的例子进行说明。图9是用于说明本实施方式中的正规化的一例的说明图，详细地说，表示人的脸部的方向的正规化的一例。详细地说，在图9的左侧表示正规化前的直接反射光图像的被摄体区域710，在图9的右侧表示正规化后的直接反射光图像的被摄体区域712。在正规化前的直接反射光图像的被摄体区域710中，人的脸部并非朝向正面而是朝向斜向。因此，被摄体正规化部210例如基于正规化前的直接反射光图像的被摄体区域710中的规定的特征点(眼、鼻、口)的位置关系或形状等，检测人的脸部朝向斜向这一情况，并对正规化前的直接反射光图像的被摄体区域710进行正规化，以使得该脸部朝向正面。结果，被摄体正规化部210能够取得图9的右侧所示的正规化后的直接反射光图像的被摄体区域712。
另外，在本实施方式中，被摄体正规化部210并不限定于如图9所示那样以朝向正面方向的方式进行正规化，也可以以使得与预先设定的规定方向(朝向)、例如存储于存储部300的图像的方向一致的方式进行正规化，并无特殊限定。例如，通过以使得与存储于存储部300的图像的方向一致的方式进行正规化，存储于存储部300的图像的方向与要对照的图像的方向相同，因此能够进一步提高后述的被摄体识别部212中的对照的精度。
并且，在本实施方式中，被摄体正规化部210并不限定于如图9所示那样对直接反射光图像的被摄体区域710进行正规化，也能够对距离图像600的被摄体区域(省略图示)或3维信息(省略图示)进行正规化。在该情况下，被摄体正规化部210例如能够基于距离图像600的被摄体区域中的规定的轮廓线(脸部的轮廓)的形状等以使得人的脸部朝向正面的方式进行正规化。即、被摄体正规化部210能够对距离图像600、直接反射光图像700以及3维信息中的被摄体区域中的至少1个进行正规化。
然而，被摄体正规化部210优选对距离图像600或者3维信息(省略图示)的被摄体区域和直接反射光图像700的被摄体区域这2个被摄体区域进行正规化，通过这样能够进一步提高正规化的精度。详细地说，被摄体正规化210优选使用距离图像600或者3维信息的被摄体区域中的脸部的朝向的检测结果以及直接反射光图像700的被摄体区域中的人的脸部的朝向的检测结果双方来决定用于进行正规化的参数。如先前说明过的那样，距离图像600或者3维信息和直接反射光图像700分别具有不同的检测容易度或难度。因此，被摄体正规化210通过使用双方的检测结果决定脸部的朝向，能够使上述双方的检测的弱点互补，从而能够提高脸部的朝向的检测的精度。
此外，在本实施方式中，被摄体正规化部210也可以以使得距离图像600、直接反射光图像700以及3维信息(省略图示)中的被摄体区域的大小(比例尺)与规定大小(比例尺)一致的方式进行正规化。如先前说明过的那样，在从TOF传感器100至被摄体为止的距离远的情况下被摄体区域狭窄，在从TOF传感器100至被摄体为止的距离近的情况下被摄体区域宽广。因此，例如，被摄体正规化部210以使得与存储于存储部300的图像成为相同大小的方式，被摄体正规化部210通过对距离图像600、直接反射光图像700以及3维信息中的被摄体区域的大小进行扩大或者缩小来进行正规化。换言之，被摄体正规化部210能够以存储于存储部300的图像为基准，以成为与该基准图像所被拍摄之际的被摄体与TOF传感器100之间的距离(规定距离)相同距离下被拍摄的图像的方式，进行上述被摄体区域的正规化。通过这样做，存储于存储部300的图像的精度(解析度)与要对照的图像的精度相同，因此能够进一步提高后述的被摄体识别部212中的对照的精度。
并且，本实施方式中，被摄体正规化部210也可以以存储于存储部300的图像为基准，以成为与该基准图像相同亮度(明亮度)或对比度等的方式对距离图像600、直接反射光图像700以及3维信息(省略图示)中的被摄体区域进行正规化。通过这样做，存储于存储部300的图像或者信息的亮度等与要对照的图像或者信息的亮度等相同，因此能够进一步提高后述的被摄体识别部212中的对照的精度。
如先前说明过的那样，被摄体正规化部210可以对距离图像600、直接反射光图像700以及3维信息(省略图示)的被摄体区域中的至少1个进行正规化，也可以对它们中的一部分或者全部进行正规化，在本实施方式中并无特殊限定。此外，被摄体正规化部210可以将在距离图像600、直接反射光图像700以及3维信息的被摄体区域中的1个中使用的进行正规化的参数(例如在对方向进行正规化之际使用的参数)，直接应用于其他图像的被摄体区域的正规化。距离图像600、直接反射光图像700以及3维信息是通过来自TOF传感器100的同一次拍摄得到的信息，因此无需在双方之间进行对准，能够直接应用上述参数。
(被摄体识别部212)
被摄体识别部212在后述的识别阶段之际读取存储于存储部300的图像，并将所读取到的图像与从被摄体正规化部210取得的距离图像600、直接反射光图像700以及3维信息(省略图示)的被摄体区域进行对照。详细地说，被摄体识别部212能够通过对各图像的特征点或它们的位置关系等进行比较来进行对照。此时，若是距离图像600的被摄体区域，则被摄体识别部212从存储部300读取距离图像600进行对照，像这样被摄体识别部212使用同种的图像进行对照。进而，被摄体识别部212在上述读取到的图像与上述被摄体区域一致的情况下，将表示一致的信息以及与上述读取到的图像建立关联而存储的信息(名称等)向显示部400等输出。并且，被摄体识别部212在上述读取到的图像与上述被摄体区域不一致的情况下，将表示不一致的信息向显示部400等输出。另外，被摄体识别部212也可以将通过上述那样的对照得到的识别结果向显示部400以外的功能部(省略图示)输出，该功能部可以基于识别结果进一步控制其他功能部。
<3.4识别方法>
以上对本实施方式所涉及的识别系统10所包含的各装置的详细情况进行了说明。接下来，对本实施方式所涉及的识别方法进行说明。本实施方式所涉及的识别方法主要分成以下2个阶段：直至在存储部300存储图像为止的登记阶段；以及使用存储于存储部300的图像来进行识别的识别阶段。另外，在以下说明的识别方法中，处理单元200也可以并不包含上述的3维变换部208。
<3.4.1登记阶段>
首先，参照图10对本实施方式所涉及的识别方法的登记阶段进行说明。图10是说明本实施方式所涉及的识别方法的登记阶段的流程图。如图10所示，在本实施方式所涉及的登记阶段中包含从步骤S101至步骤S113为止的多个步骤。以下，对本实施方式所涉及的登记阶段所包含的各步骤的详细情况进行说明。
(步骤S101)
首先，TOF传感器100对被摄体(例如人的脸部)照射光，并将探测被反射的光而得到的传感数据，向处理单元200输出(由TOF传感器100执行的感应)。
(步骤S103)
处理单元200如上所述对传感数据进行消除环境光(间接反射光)的处理。
(步骤S105)
处理单元200基于通过上述的步骤S103而消除了环境光的传感数据来计算被摄体的距离信息(距离图像600)。
(步骤S107)
处理单元200基于通过上述的步骤S103而消除了环境光的传感数据来计算被摄体的直接反射光信息(直接反射光图像700)。
(步骤S109)
处理单元200从通过上述的步骤S105得到的距离图像600检测被摄体区域(省略图示)。此外，处理单元200从通过上述的步骤S107得到的直接反射光图像700检测被摄体区域710。另外，在图10中，对于从距离图像600检测被摄体区域，省略了其图示。
(步骤S111)
处理单元200对通过上述的步骤S109得到的距离图像600以及直接反射光图像700的被摄体区域710进行正规化，并取得正规化后的距离图像的被摄体区域612和正规化后的直接反射光图像的被摄体区域712。另外，此处进行的正规化能够是方向的正规化、比例尺的正规化、亮度的正规化等，并无特殊限定。
(步骤S113)
处理单元200将通过上述的步骤S111得到的正规化后的被摄体区域612以及被摄体区域712存储于存储部300。
<3.4.2识别阶段>
下面，参照图11对本实施方式所涉及的识别方法的识别阶段进行说明。图11是说明本实施方式所涉及的识别方法的识别阶段的流程图。如图11所示，在本实施方式所涉及的识别阶段中包含从步骤S201至步骤S213为止的多个步骤。另外，图11的从步骤S201至步骤S211为止与上述的图10的从步骤S101至步骤S111为止相同，因此，此处省略这些步骤的详细说明，仅对步骤S213进行说明。并且，在图11中，对于从距离图像600检测被摄体区域，也省略其图示。
(步骤S213)
处理单元200读取存储于存储部300的图像(例如在上述的登记阶段存储的人的脸部图像)，并将所读取到的图像与正规化后的被摄体区域612以及被摄体区域712(此处为人的脸部图像)进行对照。进而，处理单元200在上述读取到的图像与上述被摄体区域612、712一致的情况下，将表示一致的信息以及与上述读取到的图像建立关联而存储的信息(人的名称等)向用户输出。并且，处理单元200在上述读取到的图像与上述被摄体区域不一致的情况下，将表示不一致的信息向用户输出。
如上，在本实施方式中，并非使用容易受环境光的变动左右的2维图像，而是使用难以受环境光的变动左右的距离图像600或直接反射光图像700来进行识别，因此能够稳定地以高精度进行识别。
<4.第2实施方式>>
在上述的第1实施方式中，使用了2.5维信息即距离图像600，但在以下说明的第2实施方式中，在将2.5维信息变换为3维信息(3维坐标信息)来进行使用这点上与上述的第1实施方式不同。以下对这样的第2实施方式的详细情况进行说明。
另外，在以下的说明中，仅对与第1实施方式不同的点进行说明，关于与第1实施方式共通的点，省略其说明。具体地说，在本实施方式中，关于识别系统10或该识别系统10所包含的装置的详细构成，除了处理单元200包含3维变换部208以外均与第1实施方式是共通的。因而，此处，省略本实施方式所涉及的识别系统10或该识别系统10所包含的装置的详细构成的说明。
<4.1识别方法>
对本实施方式所涉及的识别方法进行说明。本实施方式所涉及的识别方法也与第1实施方式同样主要分成以下2个阶段：直至在存储部300存储图像为止的登记阶段；以及使用存储于存储部300的图像来进行识别的识别阶段。
<4.1.1登记阶段>
首先，参照图12对本实施方式所涉及的识别方法的登记阶段进行说明。图12是说明本实施方式所涉及的识别方法的登记阶段的流程图。如图12所示，在本实施方式所涉及的登记阶段中包含从步骤S301至步骤S315为止的多个步骤。另外，图12的从步骤S301至步骤S309为止与上述的图10的第1实施方式的从步骤S101至步骤S109为止相同，因此，此处，省略这些步骤的详细说明。并且，在图12中，关于从距离图像600检测被摄体区域，也省略其图示。
(步骤S311)
处理单元200将通过步骤S309得到的距离图像600的被摄体区域(省略图示)变换为3维坐标信息，取得被摄体的3维信息的被摄体区域620。
(步骤S313)
处理单元200与图10的第1实施方式的步骤S111同样，对通过上述的步骤S311得到的3维信息的被摄体区域620以及通过步骤S309得到的直接反射光图像700的被摄体区域710进行正规化。进而，处理单元200取得正规化后的3维信息的被摄体区域622和正规化后的直接反射光图像的被摄体区域712。
(步骤S315)
处理单元200将通过上述的步骤S313得到的正规化后的被摄体区域622以及被摄体区域712存储于存储部300。
<4.1.2识别阶段>
下面，参照图13对本实施方式所涉及的识别方法的识别阶段进行说明。图13是说明本实施方式所涉及的识别方法的识别阶段的流程图。如图13所示，在本实施方式所涉及的登记阶段中包含从步骤S401至步骤S415为止的多个步骤。另外，图13的从步骤S401至步骤S413为止与上述的图12的从步骤S301至步骤S313为止相同，图13的步骤S415与图11的第1实施方式的步骤S213同样，因此，此处省略这些步骤的详细说明。并且，在图13中，关于从距离图像600检测被摄体区域，也省略其图示。
在本实施方式中也与第1实施方式同样，并非使用容易受环境光的变动左右的2维图像、而是使用难以受环境光的变动左右的3维信息(省略图示)或直接反射光图像700来进行识别，因此能够稳定地以高精度进行识别。
<<5.第3实施方式>>
在上述的第1以及第2实施方式中，说明了识别系统10由多个装置构成，但上述的识别系统10中的至少一部分也可以由层叠图像传感器构建。因此，参照图14和图15对利用层叠图像传感器构成TOF传感器100和处理单元200的第3实施方式进行说明。另外，图14是表示本实施方式所涉及的层叠图像传感器20的构成例的图，图15是表示本实施方式所涉及的层叠图像传感器20的详细构成例的框图。
如图14所示，在该层叠图像传感器20中，像素区域120和信号处理电路区域220相互层叠。另外，在图14中，表示了像素区域120层叠在信号处理电路区域220的上方，但在本实施方式中，并不限定于按照图14那样的顺序层叠，也可以按照相反的顺序层叠。
此外，如图15所示，在信号处理电路区域220中设置有距离信息计算部202、直接反射光计算部204、被摄体检测部206、被摄体正规化部210以及被摄体识别部212。即、在层叠图像传感器20中，像素区域120作为上述的TOF传感器100发挥功能，将传感数据向信号处理电路区域220输出。进而，该信号处理电路区域220能够作为上述的处理单元200发挥功能，将对传感数据进行处理而得到的图像向存储部300输出、或者使用存储于存储部300的图像来进行识别。另外，在图15中，在信号处理电路区域220，也可以根据需要设置上述的3维变换部208，也可以设置未图示的其他功能部。即、在本实施方式中，识别系统10能够由1个层叠图像传感器20和设置在该层叠图像传感器20的外部的存储部300构成。
并且，层叠图像传感器也可以是3层的层叠图像传感器。作为本实施方式的变形例，参照图16以及图17对3层的层叠图像传感器20a的例子进行说明。另外，图16是表示本实施方式的变形例所涉及的层叠图像传感器20a的构成例的图，图17是表示本实施方式的变形例所涉及的层叠图像传感器20a的详细构成例的框图。
如图16所示，在3层的层叠图像传感器20a中，除了像素区域120以及信号处理电路区域220之外，还层叠有存储器区域320。另外，在图16中，表示了像素区域120层叠在存储器区域320的上方、且该存储器区域320层叠在信号处理电路区域220的上方。然而，在本实施方式中，并不限定于按照图16那样的顺序层叠，也可以是按照与此不同的顺序层叠。
在本变形例中，如图17所示，在存储器区域320中设置有存储部300，存储部300存储有在识别中使用的图像。即、在本变形例中，识别系统10能够由1个层叠图像传感器20a构成，换言之，能够利用层叠图像传感器20a单体进行识别。另外，在本变形例中，也可以在信号处理电路区域220中根据需要设置上述的3维变换部208等。
如上，根据本实施方式以及本变形例，通过将上述的识别系统10的至少一部分利用层叠图像传感器20构成，能够将识别系统10形成为更紧凑、且能够抑制耗电的系统。进而，其结果是，本发明的实施方式所涉及的识别系统10能够搭载于后述的各种各样的电子设备。
<<6.第4实施方式>>
如上所述，第1至第3实施方式所涉及的识别系统10(层叠图像传感器20)能够搭载于台式PC(个人计算机，Personal Computer)、笔记本PC、便携式PC、智能手机、移动电话、照像机、可穿戴设备等电子设备。
例如，为了进行使用电子设备的用户的认证或电子结算等，能够作为脸部认证用装置而将本实施方式所涉及的识别系统10搭载于各种PC或智能手机、移动电话等。并且，作为检测可疑人员等用的装置，能够将上述识别系统10搭载于监控照像机或监控系统等。并且，作为在各种工厂中通过形状等来检验产品是否被适当地制造进行图像识别的检验装置，能够将本实施方式所涉及的识别系统10搭载于检验系统等。
并且，为了正确地识别用户周围的空间，也可以在HMD(头戴式显示器，HeadMounted Display)或眼镜型的可穿戴设备中作为周围的空间识别用的装置而搭载上述识别系统10。此外，也可以为了识别周围的障碍物而将本实施方式所涉及的识别系统10搭载于能够自主行走等的机器人等。并且，通过在具有自动对焦功能的照像机中搭载上述识别系统10，能够提高该照像机的被摄体的检测精度，从而能够更高精度地控制照像机的对焦等。
因此，作为本发明的第4实施方式，参照图18对搭载有上述的识别系统10的电子设备900的构成例进行说明。图18是表示本实施方式所涉及的电子设备900的硬件构成的一例的框图。
电子设备900例如具有CPU950、ROM952、RAM954、记录介质956、输入输出接口958、操作输入设备960。此外，电子设备900具有显示设备962、通信接口968、TOF传感器980。并且，在电子设备900中，例如利用作为数据的传输路径的总线970将各构成要素间连接。
(CPU950)
CPU950由例如利用CPU等的运算电路构成的1个或者2个以上的处理器或者各种处理电路等构成，作为对电子设备900整体进行控制的控制部发挥功能。具体地说，CPU950例如实现距离信息计算部202、直接反射光计算部204、被摄体检测部206、3维变换部208、被摄体正规化部210、被摄体识别部212等的功能。
(ROM952以及RAM954)
ROM952存储CPU950使用的程序或运算参数等控制用数据等。RAM954例如暂时存储由CPU950执行的程序等。
(记录介质956)
记录介质956例如存储在本实施方式所涉及的识别方法中使用的图像等各种各样的数据。此处，作为记录介质956，例如能够举出闪存等非易失性存储器等。并且，记录介质956能够相对于电子设备900装卸。
(输入输出接口958、操作输入设备960、以及显示设备962)
输入输出接口958例如连接操作输入设备960或显示设备962等。作为输入输出接口958，例如能够举出USB(通用串行总线，Universal Serial Bus)端子、DVI(数字视频接口，Digital Visual Interface)端子、HDMI(高清晰度多媒体接口，High-DefinitionMultimedia Interface)(注册商标)端子、各种处理电路等。
操作输入设备960例如作为接受用户对电子设备900的操作的输入部发挥功能，且在电子设备900的内部与输入输出接口958连接。
显示设备962例如作为对用户输出识别结果的显示部400发挥功能，装备在电子设备900上，且在电子设备900的内部与输入输出接口958连接。作为显示设备962，例如能够举出液晶显示器或有机EL显示器(有机电致发光显示器，Organic Electro-LuminescenceDisplay)等。
另外，输入输出接口958还能够与电子设备900外部的操作输入设备(例如键盘或鼠标等)或外部的显示设备等外部设备连接。并且，输入输出接口958也可以与驱动器(省略图示)连接。该驱动器是磁盘、光盘或者半导体存储器等可移动记录介质用的读写器，内置或者外置于电子设备900。该驱动器读取记录在所装备的可移动记录介质中的信息，并向RAM954输出。并且，该驱动器也能够向所装备的可移动记录介质写入记录。
(通信接口968)
通信接口968作为用于与电子设备900的外部装置以无线或者有线的方式进行通信的通信部发挥功能。此处，作为通信接口968，例如能够举出通信天线以及RF(射频，Radiofrequency)电路(无线通信)、IEEE802.15.1端口以及收发电路(无线通信)、IEEE802.11端口以及收发电路(无线通信)、或者LAN(局域网，Local Area Network)端子以及收发电路(有线通信)等。
(TOF传感器980)
TOF传感器980作为上述的TOF传感器100发挥功能。
以上对电子设备900的硬件构成的一例进行了说明。另外，电子设备900的硬件构成并不限于图18所示的构成。详细地说，上述的各构成要素可以使用通用的部件构成，也可以由为了实现各构成要素的功能而专门化了的硬件构成。上述构成能够根据实施时的技术水平而适当变更。
例如，电子设备900在以单机进行处理的构成的情况下，也可以不具备通信接口968。并且，通信接口968也可以具有能够通过多个通信方式与1个或者2个以上外部装置进行通信的构成。并且，电子设备900例如也可以形成为不具备记录介质956或操作输入设备960、显示设备962等的构成。
并且，本实施方式所涉及的电子设备900也可以是例如像云计算等那样以与网络的连接(或者各装置间的通信)为前提的、由多个装置构成的系统。在这样的情况下，用于进行识别的处理或为了进行识别而使用的图像可以由云上的计算机(省略图示)进行。即、上述的本实施方式所涉及的电子设备900例如能够作为利用多个装置来进行本实施方式所涉及的识别方法所涉及的处理的处理系统实现。
<<7.总结>>
如上，在本发明的各实施方式中，并非使用容易受环境光的变动左右的2维图像、而是使用难以受环境光的变动左右的距离图像600、3维信息(省略图示)以及直接反射光图像700进行识别。因而，根据这些实施方式，即便在环境光变动的情况下，也能够稳定地以高精度进行识别。
详细地说，根据本实施方式，无需像上述专利文献1那样推定登记用脸部图像502的拍摄时的照明条件并对照明进行控制以使得对照用脸部图像504的拍摄时的照明条件也相同。因而，根据本实施方式，与上述专利文献1相比，能够避免处理时间的长时间化或耗电的增加，此外还能够避免识别系统的构成的复杂化或制造成本的增加。
并且，根据本实施方式，与先前说明过的基于立体照相机的方法不同，无需设置2台照像机。因而，根据本实施方式，能够避免装置的构成变大或制造成本增加。
此外，根据本实施方式，与先前说明过的结构光法不同，无需朝被摄体的表面投影具有规定图案的光。因而，根据本实施方式，并不使用投影有规定图案的状态的被摄体的图像进行识别，因此能够提高识别的精度。
并且，根据本实施方式，能够边使照像机在被摄体的周边移动、边连续拍摄被摄体，即便不取得该被摄体的多个拍摄帧也能够计算被摄体的距离信息。因而，根据本实施方式，即便在被摄体移动或被摄体的外形变化的情况下，也能够进行被摄体的识别。
另外，在本发明的各实施方式中，如先前说明过的那样，也可以使用距离信息(距离图像600)、直接反射光信息(直接反射光图像700)、以及三维坐标信息(三维图像)中的至少任一个来进行识别。然而，在本实施方式中，为了能够进一步提高识别的精度，优选使用距离信息(距离图像600)或者三维坐标信息(三维图像)与直接反射光信息(直接反射光图像700)中的2个进行识别。
并且，在上述的本发明的实施方式中，假设进行人的脸部的识别而进行了说明，但在上述实施方式中，并不限定于人的脸部的识别，也能够对产品等的形状进行识别、或进行其他对象物的识别。
<<8.补充>>
上述的实施方式所涉及的识别方法中的各步骤并非必须按照所记载的顺序进行处理。例如，各步骤可以适当地变更顺序进行处理。并且，各步骤也可以代替按照时间序列进行处理而局部并行地或者单独地进行处理。此外，关于各步骤的处理，并非必须按照所记载的方法进行处理，例如也可以利用其他功能模块以其他方法进行处理。
此外，上述的实施方式所涉及的识别方法的至少一部分也可以作为使计算机发挥功能的信息处理程序而由软件构成，在由软件构成的情况下，可以将实现这些方法的至少一部分的程序存储于记录介质，并读入至处理单元200或电子设备900等、或者与处理单元200或电子设备900连接的其他装置并使其执行。并且，也可以将实现该识别方法的至少一部分的程序经由因特网等通信线路(也包含无线通信)发布。此外，也可以将该程序加密或进行调制，并以压缩后的状态经由因特网等有线线路或无线线路、或者存储于记录介质并发布。
以上，参照附图对本发明的优选实施方式详细地进行了说明，但本发明的技术范围并不限定于上述例子。可知，具有本发明的技术领域中的普通知识的人能够在技术方案所记载的技术思想的范畴内想到各种变更例或者修正例，应当理解为这些变更例或者修正例当然也隶属于本发明的技术范围。
并且，本说明书所记载的效果终归只不过是说明性或者例示性的效果，而并非限定性的说明。即、本发明所涉及的技术可以与上述效果一起、或者代替上述效果而起到本领域技术人员根据本说明书的记载能够清楚的其他效果。
另外，以下这样的构成也隶属于本发明的技术范围。
(1)一种识别装置，其特征在于，具备：
直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；
对象物检测部，基于所述直接反射光信息检测所述对象物；以及
对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。
(2)根据上述(1)所述的识别装置，其特征在于，
所述TOF传感器具有相互差动的第1受光部以及第2受光部，
所述直接反射光信息计算部基于利用所述第1受光部以及第2受光部探测到的所述光的强度来计算所述直接反射光信息。
(3)根据上述(1)所述的识别装置，其特征在于，
所述TOF传感器具有1个受光部和在互不相同的时机读取所述受光部所接受的光的第1读取部以及第2读取部，
所述直接反射光信息计算部基于利用所述第1读取部以及第2读取部读取到的所述光的强度来计算所述直接反射光信息。
(4)根据上述(2)或(3)所述的识别装置，其特征在于，
所述直接反射光信息计算部，
基于利用所述第1受光部探测到的光的强度的积分值与利用所述第2受光部探测到的光的强度的积分值之间的差分，或者
基于利用所述第1读取部读取到的光的强度的积分值与利用所述第2读取部读取到的光的强度的积分值之间的差分，
计算所述直接反射光信息。
(5)根据上述(1)～(4)中任一项所述的识别装置，其特征在于，还具备正规化处理部，所述正规化处理部对检测到的所述对象物的直接反射光信息进行正规化。
(6)根据上述(5)所述的识别装置，其特征在于，
所述正规化处理部，
以使得从所述TOF传感器至所述对象物为止的距离与规定距离一致的方式，或者
以使得所述对象物的大小与规定大小一致的方式，或者
以使得所述对象物的朝向与规定朝向一致的方式，或者
以使得检测到的所述对象物的直接反射光信息的明亮度与规定明亮度一致的方式，
对检测到的所述对象物的直接反射光信息进行正规化。
(7)根据上述(1)～(6)中任一项所述的识别装置，其特征在于，
还具备存储部，所述存储部存储所述对象物的直接反射光信息，
所述对象物识别部通过将预先存储的所述对象物的直接反射光信息与新计算出的所述对象物的直接反射光信息进行对照来进行所述对象物的识别。
(8)根据上述(7)所述的识别装置，其特征在于，所述存储部存储正规化后的所述对象物的直接反射光信息。
(9)根据上述(1)～(8)中任一项所述的识别装置，其特征在于，
还具备距离信息计算部，所述距离信息计算部基于所述传感数据计算所述对象物的距离信息，
所述对象物识别部基于所述距离信息来进行所述对象物的识别。
(10)一种识别装置，其特征在于，具备：
距离信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算所述对象物的距离信息；
对象物检测部，基于所述距离信息检测所述对象物；以及
对象物识别部，基于所检测到的所述对象物的所述距离信息来进行该对象物的识别。
(11)根据上述(10)所述的识别装置，其特征在于，所述距离信息计算部基于所照射的所述光和所探测到的所述光之间的相位差来计算所述距离信息。
(12)根据上述(10)或者(11)所述的识别装置，其特征在于，
所述TOF传感器具有相互差动的第1受光部以及第2受光部，
所述距离信息计算部基于利用所述第1受光部以及第2受光部探测到的所述光的强度来计算所述距离信息。
(13)根据上述(10)或者(11)所述的识别装置，其特征在于，
所述TOF传感器具有1个受光部和在互不相同的时机读取所述受光部所接受的光的第1读取部以及第2读取部，
所述距离信息计算部基于利用所述第1读取部以及第2读取部读取到的所述光的强度来计算所述距离信息。
(14)根据上述(12)或(13)所述的识别装置，其特征在于，
所述距离信息计算部，
基于利用所述第1受光部探测到的光的强度的积分值与利用所述第2受光部探测到的光的强度的积分值之间的差分，或者
基于利用所述第1读取部读取到的光的强度的积分值与利用所述第2读取部读取到的光的强度的积分值之间的差分，
计算所述距离信息。
(15)根据上述(10)～(14)中任一项所述的识别装置，其特征在于，
还具备正规化处理部，所述正规化处理部对检测到的所述对象物的距离信息进行正规化，
所述正规化处理部，
以使得从所述TOF传感器至所述对象物为止的距离与规定距离一致的方式，或者
以使得所述对象物的大小与规定大小一致的方式，或者
以使得所述对象物的朝向与规定朝向一致的方式，或者
以使得检测到的所述对象物的直接反射光信息的明亮度与规定明亮度一致的方式，
对检测到的所述对象物的距离信息进行正规化。
(16)根据上述(10)～(15)中任一项所述的识别装置，其特征在于，
还具备存储部，所述存储部存储所述对象物的距离信息，
所述对象物识别部通过将预先存储的所述对象物的距离信息与新计算出的所述对象物的距离信息进行对照来进行所述对象物的识别。
(17)根据上述(10)所述的识别装置，其特征在于，
还具备3维坐标计算部，所述3维坐标计算部基于所述距离信息计算所述对象物的3维坐标信息，
所述对象物识别部基于所述3维坐标信息来进行所述对象物的识别。
(18)根据上述(17)所述的识别装置，其特征在于，
还具备正规化处理部，所述正规化处理部对所述3维坐标信息进行正规化，
所述正规化处理部，
以使得从所述TOF传感器至所述对象物为止的距离与规定距离一致的方式，或者
以使得所述对象物的大小与规定大小一致的方式，或者
以使得所述对象物的朝向与规定朝向一致的方式，或者
以使得检测到的所述对象物的直接反射光信息的明亮度与规定明亮度一致的方式，
对所述3维坐标信息进行正规化。
(19)根据上述(17)或(18)所述的识别装置，其特征在于，
还具备存储部，所述存储部存储所述对象物的3维坐标信息，
所述对象物识别部通过将预先存储的所述对象物的3维坐标信息和新计算出的所述对象物的3维坐标信息进行对照来进行所述对象物的识别。
(20)根据上述(1)～(19)中任一项所述的识别装置，其特征在于，还具备所述TOF传感器。
(21)根据上述(20)所述的识别装置，其特征在于，作为所述TOF传感器发挥功能的像素区域和作为所述对象物检测部以及所述对象物识别部发挥功能的信号处理电路区域相互层叠设置。
(22)一种电子设备，其特征在于，
所述电子设备搭载有识别装置，该识别装置具有：
直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；
对象物检测部，基于所述直接反射光信息检测所述对象物；以及
对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。

Claims (20)

1.一种识别装置，其特征在于，具备：
直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；
对象物检测部，基于所述直接反射光信息检测所述对象物；以及
对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。
2.根据权利要求1所述的识别装置，其特征在于，
所述TOF传感器具有相互差动的第1受光部以及第2受光部，
所述直接反射光信息计算部基于利用所述第1受光部以及第2受光部探测到的所述光的强度来计算所述直接反射光信息。
3.根据权利要求1所述的识别装置，其特征在于，
所述TOF传感器具有1个受光部和在互不相同的时机读取所述受光部所接受的光的第1读取部以及第2读取部，
所述直接反射光信息计算部基于利用所述第1读取部以及第2读取部读取到的所述光的强度来计算所述直接反射光信息。
4.根据权利要求2所述的识别装置，其特征在于，所述直接反射光信息计算部基于利用所述第1受光部探测到的光的强度的积分值与利用所述第2受光部探测到的光的强度的积分值之间的差分，计算所述直接反射光信息。
5.根据权利要求1所述的识别装置，其特征在于，还具备正规化处理部，所述正规化处理部对所述检测到的对象物的直接反射光信息进行正规化。
6.根据权利要求5所述的识别装置，其特征在于，
所述正规化处理部，
以使得从所述TOF传感器至所述对象物为止的距离与规定距离一致的方式，或者
以使得所述对象物的大小与规定大小一致的方式，或者
以使得所述对象物的朝向与规定朝向一致的方式，或者
以使得所述检测到的对象物的直接反射光信息的明亮度与规定明亮度一致的方式，
对所述检测到的对象物的直接反射光信息进行正规化。
7.根据权利要求1所述的识别装置，其特征在于，
还具备存储部，所述存储部存储所述对象物的直接反射光信息，
所述对象物识别部通过将预先存储的所述对象物的直接反射光信息与新计算出的所述对象物的直接反射光信息进行对照来进行所述对象物的识别。
8.根据权利要求7所述的识别装置，其特征在于，所述存储部存储正规化后的所述对象物的直接反射光信息。
9.根据权利要求1所述的识别装置，其特征在于，
还具备距离信息计算部，所述距离信息计算部基于所述传感数据计算所述对象物的距离信息，
所述对象物识别部基于所述距离信息来进行所述对象物的识别。
10.一种识别装置，其特征在于，具备：
距离信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算所述对象物的距离信息；
对象物检测部，基于所述距离信息检测所述对象物；以及
对象物识别部，基于所检测到的所述对象物的所述距离信息来进行该对象物的识别。
11.根据权利要求10所述的识别装置，其特征在于，
所述TOF传感器具有相互差动的第1受光部以及第2受光部，
所述距离信息计算部基于利用所述第1受光部以及第2受光部探测到的所述光的强度来计算所述距离信息。
12.根据权利要求10所述的识别装置，其特征在于，
所述TOF传感器具有1个受光部和在互不相同的时机读取所述受光部所接受的光的第1读取部以及第2读取部，
所述距离信息计算部基于利用所述第1读取部以及第2读取部读取到的所述光的强度来计算所述距离信息。
13.根据权利要求11所述的识别装置，其特征在于，所述距离信息计算部基于利用所述第1受光部探测到的光的强度的积分值与利用所述第2受光部探测到的光的强度的积分值之间的差分，计算所述距离信息。
14.根据权利要求10所述的识别装置，其特征在于，
还具备正规化处理部，所述正规化处理部对所述检测到的对象物的距离信息进行正规化，
所述正规化处理部，
以使得从所述TOF传感器至所述对象物为止的距离与规定距离一致的方式，或者
以使得所述对象物的大小与规定大小一致的方式，或者
以使得所述对象物的朝向与规定朝向一致的方式，或者
以使得所述检测到的对象物的直接反射光信息的明亮度与规定明亮度一致的方式，
对所述检测到的对象物的距离信息进行正规化。
15.根据权利要求10所述的识别装置，其特征在于，
还具备存储部，所述存储部存储所述对象物的距离信息，
所述对象物识别部通过将预先存储的所述对象物的距离信息与新计算出的所述对象物的距离信息进行对照来进行所述对象物的识别。
16.根据权利要求10所述的识别装置，其特征在于，
还具备3维坐标计算部，所述3维坐标计算部基于所述距离信息计算所述对象物的3维坐标信息，
所述对象物识别部基于所述3维坐标信息来进行所述对象物的识别。
17.根据权利要求16所述的识别装置，其特征在于，
还具备正规化处理部，所述正规化处理部对所述3维坐标信息进行正规化，
所述正规化处理部，
以使得从所述TOF传感器至所述对象物为止的距离与规定距离一致的方式，或者
以使得所述对象物的大小与规定大小一致的方式，或者
以使得所述对象物的朝向与规定朝向一致的方式，或者
以使得所述检测到的对象物的直接反射光信息的明亮度与规定明亮度一致的方式，
对所述3维坐标信息进行正规化。
18.根据权利要求1所述的识别装置，其特征在于，还具备所述TOF传感器。
19.根据权利要求18所述的识别装置，其特征在于，作为所述TOF传感器发挥功能的像素区域和作为所述对象物检测部以及所述对象物识别部发挥功能的信号处理电路区域相互层叠设置。
20.一种电子设备，其特征在于，
所述电子设备搭载有识别装置，该识别装置具有：
直接反射光信息计算部，基于对对象物照射光而探测所述光的TOF传感器获得的传感数据，计算与来自所述对象物的直接反射光相关的直接反射光信息；
对象物检测部，基于所述直接反射光信息检测所述对象物；以及
对象物识别部，基于所检测到的所述对象物的所述直接反射光信息来进行该对象物的识别。
CN201811010955.XA 2017-10-18 2018-08-31 识别装置以及电子设备 Pending CN109684907A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-201524 2017-10-18
JP2017201524 2017-10-18

Publications (1)

Publication Number Publication Date
CN109684907A true CN109684907A (zh) 2019-04-26

Family

ID=66174016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811010955.XA Pending CN109684907A (zh) 2017-10-18 2018-08-31 识别装置以及电子设备

Country Status (6)

Country Link
US (1) US11341771B2 (zh)
EP (1) EP3570250A4 (zh)
JP (1) JP7228509B2 (zh)
CN (1) CN109684907A (zh)
DE (1) DE112018005610T5 (zh)
WO (1) WO2019077863A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114328A (zh) * 2019-06-21 2020-12-22 广州印芯半导体技术有限公司 飞时测距装置
CN112114328B (zh) * 2019-06-21 2024-06-11 广州印芯半导体技术有限公司 飞时测距装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110051119A1 (en) * 2009-09-01 2011-03-03 Dong Ki Min Delay compensation in modulated optical time-of-flight phase estimation
CN103226014A (zh) * 2012-01-30 2013-07-31 株式会社日立制作所 距离测量装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380391A (en) * 1980-09-30 1983-04-19 The United States Of America As Represented By The Secretary Of The Army Short pulse CO2 laser for ranging and target identification
KR20040042501A (ko) * 2002-11-14 2004-05-20 엘지전자 주식회사 형판 정합 기반 얼굴 검출방법
JP4543903B2 (ja) 2004-11-30 2010-09-15 パナソニック電工株式会社 画像処理装置
WO2006046519A1 (ja) 2004-10-25 2006-05-04 Matsushita Electric Works, Ltd. 空間情報検出装置
JP4594176B2 (ja) * 2005-06-22 2010-12-08 三菱電機株式会社 画像処理装置及び入退室管理システム
JP4696778B2 (ja) * 2005-08-23 2011-06-08 コニカミノルタホールディングス株式会社 認証装置、認証方法及びプログラム
JP5175562B2 (ja) * 2008-01-28 2013-04-03 シャープ株式会社 人物位置検出装置および空気調和機
EP2311251B1 (en) * 2008-08-03 2020-01-01 Microsoft Technology Licensing, LLC Rolling shutter camera system and method
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
KR101666020B1 (ko) * 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9025019B2 (en) * 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
CN106461762B (zh) * 2014-05-23 2022-03-18 昕诺飞控股有限公司 对象检测系统和方法
DE102014211071A1 (de) * 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
FR3037690B1 (fr) * 2015-06-17 2018-05-18 Morpho Procede de detection de fraude par determination de la brdf d'un objet
JP2017027492A (ja) 2015-07-27 2017-02-02 パナソニックＩｐマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
US11543513B2 (en) * 2015-09-30 2023-01-03 Sony Corporation Information processing apparatus, information processing method and program
CN106996922B (zh) * 2016-01-25 2019-08-23 杭州海康威视数字技术股份有限公司 一种目标物体红外反射率测量方法及装置
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN106156757B (zh) * 2016-08-02 2019-08-09 中国银联股份有限公司 结合活体检测技术的人脸识别方法及人脸识别系统
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
US11085996B2 (en) * 2018-03-23 2021-08-10 Samsung Electronics Co., Ltd. Beam scanning apparatus and optical apparatus including the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110051119A1 (en) * 2009-09-01 2011-03-03 Dong Ki Min Delay compensation in modulated optical time-of-flight phase estimation
CN102004254A (zh) * 2009-09-01 2011-04-06 三星电子株式会社 调制光学飞行时间相位估计中的延迟补偿
CN103226014A (zh) * 2012-01-30 2013-07-31 株式会社日立制作所 距离测量装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN BAUER等: "4D Photogeometric Face Recognition with Time-of-Flight Sensors", 2011 IEEE WORKSHOP ON APPLICATIONS OF COMPUTER VISION (WACV), 5 January 2011 (2011-01-05), pages 197 - 198 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114328A (zh) * 2019-06-21 2020-12-22 广州印芯半导体技术有限公司 飞时测距装置
TWI775092B (zh) * 2019-06-21 2022-08-21 大陸商廣州印芯半導體技術有限公司 飛時測距裝置
US11525902B2 (en) 2019-06-21 2022-12-13 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Time-of-flight ranging device suitable for indirect time-of-flight ranging
CN112114328B (zh) * 2019-06-21 2024-06-11 广州印芯半导体技术有限公司 飞时测距装置

Also Published As

Publication number Publication date
JPWO2019077863A1 (ja) 2020-09-17
DE112018005610T5 (de) 2020-07-02
US20210334517A1 (en) 2021-10-28
EP3570250A1 (en) 2019-11-20
EP3570250A4 (en) 2020-08-05
KR20200074050A (ko) 2020-06-24
US11341771B2 (en) 2022-05-24
WO2019077863A1 (ja) 2019-04-25
JP7228509B2 (ja) 2023-02-24

Similar Documents

Publication Publication Date Title
CN109583285B (zh) 对象识别方法
CN104598882B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
US9607138B1 (en) User authentication and verification through video analysis
US9750420B1 (en) Facial feature selection for heart rate detection
CN109521397B (zh) 用于光学地检测至少一个对象的检测器
CN1698357B (zh) 在物体上显示输出图像的方法
US20240005726A1 (en) System for counting quantity of game tokens
CN105933589B (zh) 一种图像处理方法及终端
CN102834837B (zh) 使用多个虹膜模板的虹膜识别装置及方法
KR100816602B1 (ko) 사칭 검출 장치 및 사칭 검출 방법
US11810344B2 (en) Image recognition system
US20160019420A1 (en) Multispectral eye analysis for identity authentication
JP2020194608A (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
US10755061B1 (en) Product verification in a messaging system
JPH11244261A (ja) アイリス認識方法及び装置、データ変換方法及び装置
US11854310B2 (en) Face liveness detection method and related apparatus
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
CN109684907A (zh) 识别装置以及电子设备
TW201419172A (zh) 臉部識別系統及其識別方法
CN109816628A (zh) 人脸评价方法及相关产品
WO2018012449A1 (ja) 個人認証装置
CN111639726B (zh) 一种基于印章的身份认证系统和方法
WO2021036185A1 (zh) 证件识别方法及装置
KR102673019B1 (ko) 식별 장치 및 전자기기
WO2021102417A1 (en) Smart mirror system for collecting and visualizing physical appearance information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination