CN114766007A - 距离测量装置、控制距离测量装置的方法和电子设备 - Google Patents

距离测量装置、控制距离测量装置的方法和电子设备 Download PDF

Info

Publication number
CN114766007A
CN114766007A CN202080084702.6A CN202080084702A CN114766007A CN 114766007 A CN114766007 A CN 114766007A CN 202080084702 A CN202080084702 A CN 202080084702A CN 114766007 A CN114766007 A CN 114766007A
Authority
CN
China
Prior art keywords
light
receiving device
light receiving
distance
distance measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080084702.6A
Other languages
English (en)
Inventor
马原久美子
上水流隼人
铃木伸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114766007A publication Critical patent/CN114766007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开的距离测量装置(1)包括：光源部(20)，用光照射对象(10)；光接收装置(30)，接收来自对象(10)的反射光；以及应用处理器(40)，控制光源部(20)和光接收装置(30)。光接收装置(30)具有测量至对象(10)的距离以检测对象(10)接近预定距离内的对象检测功能(对象接近检测)，并且在将检测结果的通知提供至待机状态下的应用处理器(40)。应用处理器(40)响应于来自光接收装置(30)的通知而启动。

Description

距离测量装置、控制距离测量装置的方法和电子设备
技术领域
本公开涉及距离测量装置、距离测量装置的控制方法以及电子设备。
背景技术
近年来，配备有作为个人认证系统之一的面部认证系统的移动终端(移动装置)，诸如智能电话已被广泛使用。为了读取面部的准确数据，面部认证系统例如执行用于获取诸如面部不规则性的三维(3D)图像(即，距离图图像(深度图图像))的处理。为了获取距离图图像，诸如智能电话的移动终端配备有测量距作为对象的面部的距离的距离测量装置。
顺便提及，诸如智能电话的移动终端使用电池作为移动终端的操作电源；因此，期望降低移动终端的功耗。为此，移动终端配备有接近传感器(短距离传感器)以例如基于关于用户的面部是否接近移动终端的信息来执行触摸面板显示器的开/关切换，从而实现移动终端的功耗的节省(例如，参见PTL1)。
引用列表
专利文献
PTL 1：日本未经审查专利申请公开第2014-027386号
发明内容
发明要解决的问题
在上述PTL1中描述的现有技术中，可以实现移动终端的功耗的降低；然而，除了距离测量装置之外，移动终端还配备有接近传感器，这导致部件数量的增加，导致阻碍移动终端的尺寸减小和移动终端的价格的增加。
本公开的目的是提供一种除了获取距离图图像(深度图图像)的功能之外还具有作为接近传感器的功能的距离测量装置、控制该距离测量装置的方法以及包括该距离测量装置的电子设备。
解决问题的手段
实现上述目的的本公开的距离测量装置包括：
光源部，用光照射对象；
光接收装置，接收来自对象的反射光；以及
应用处理器，控制光源部和光接收装置，其中
光接收装置具有测量到对象的距离以检测对象接近到预定距离内的对象检测功能，并且将检测结果的通知提供给在待机状态下的应用处理器，以及
应用处理器响应于来自光接收装置的通知而启动。
实现上述目的的本公开的控制距离测量装置的方法，
所述距离测量装置包括用光照射对象的光源部、接收来自对象的反射光的光接收装置以及控制光源部和光接收装置的应用处理器，所述方法包括：
在控制所述距离测量装置时，测量到对象的距离以检测对象接近到预定距离内，并将这样的检测结果的通知提供给在待机状态下应用处理器以启动应用处理器。
实现上述目标的本公开的电子设备设置有距离测量装置，该距离测量装置包括：
光源部，用光照射对象；
光接收装置，接收来自对象的反射光；以及
应用处理器，控制光源部和光接收装置，其中
光接收装置具有测量到对象的距离以检测对象接近到预定距离内的对象检测功能，并且将检测结果的通知提供给在待机状态下应用处理器，以及
应用处理器响应于来自光接收装置的通知而启动。
附图说明
[图1]图1是采用ToF方案的距离测量装置的概念图。
[图2]图2是示出本公开的距离测量装置的系统配置的实例的框图。
[图3]图3是示出在光检测器中的成像部及其外围电路的配置的实例的框图。
[图4]图4是示出成像部中的像素的电路配置的实例的电路图。
[图5]图5是用于描述通过间接ToF方案计算距离的时序波形图。
[图6]图6A是用于获取距离图图像的正常距离测量的说明图，并且图6B是简单距离测量的说明图。
[图7]图7是示出了根据实例1的距离测量装置的基本系统配置的实例的框图。
[图8]图8是示出了根据实例1的距离测量装置的序列图像的示图。
[图9]图9是示出在“LP BLANK”状态下激活的块图像的示图。
[图10]图10是示出了在“LP距离测量”状态下激活的块图像的示图。
[图11]图11是示出在“成像”状态下的激活的块图像的示图。
[图12]图12是示出根据实例2的光源部的操作模式的图像的示图。
[图13]图13是示出根据实例3的接近对象检测序列的处理流程的实例的流程图。
[图14]图14是示出了根据实例4的距离测量装置的基本系统配置的实例的框图。
[图15]图15是示出根据实例4的距离测量装置的序列图像的示图。
[图16]图16是示出根据实例4的距离测量装置中的光接收装置的配置的实例的框图。
[图17]图17是示出根据实例5的光源部的操作模式的图像的示图。
[图18]图18是示出了邻近对象检测面部检测序列的处理流程的实例的流程图。
[图19]图19A是从正面观看时的根据本公开的电子设备的具体示例的智能电话的外部视图，并且图19B是从背面观看时的智能电话的外部视图。
具体实施方式
在下文中，将参考附图详细描述用于执行本公开的技术的模式(以下称为“实施方式”)。本公开的技术不限于这些实施方式，并且实施方式中的各种数值等是示例性的。在以下的说明中，对相同的构成要素或具有相同功能的构成要素标注相同的附图标记，省略重复的说明。应注意，按照下列顺序进行描述。
1.本公开的距离测量装置、控制距离测量装置的方法和电子设备的总体描述
2.本公开的距离测量装置
2-1.系统配置
2-2.成像部的配置实例
2-3.像素的电路配置实例
2-4.关于间接ToF方案的距离计算
2-5.关于图像的获取
2-6.关于距离测量装置的功耗
3.本公开的实施方式
3-1.实例1(能够以低功耗的独立方式执行启动定时和启动通知的监控的光接收装置的实例)
3-2.实例2(根据实例1的距离测量装置中的光源部的配置实例)
3-3.实例3(在根据实例1的距离测量装置中的接近对象检测序列的实例)
3-4.实例4(能够以低功耗的独立方式执行启动定时的监控、面部检测和面部认证以及启动通知的光接收装置的实例)
3-5.实例5(根据实例4的距离测量装置中的光源部的配置实例)
3-6.实例6(在根据实例4的距离测量装置中的接近对象检测-面部检测序列的实例)
4.变形实例
5.本公开的电子设备(智能电话的实例)
6.本公开的可能配置
<本公开的距离测量装置、控制距离测量装置的方法和电子设备的总体描述>
在本公开的距离测量装置、控制距离测量装置的方法和电子设备中，光接收装置可被配置为基于检测结果执行光接收装置的内部状态的切换。此外，光接收装置可被配置为基于检测结果执行光接收装置的内部状态的切换或者光源部的状态的切换。
在包括上述优选配置的本公开的距离测量装置、控制距离测量装置的方法以及电子设备中，光源部可被配置为利用将以预定周期发射的脉冲光照射对象。此时，光接收装置可被配置为通过接收来自对象的反射脉冲光并且根据光发射周期和光接收周期之间的相位差测量光的飞行时间来执行简单距离测量。
此外，在包括上述优选配置的本公开的距离测量装置、控制距离测量装置的方法以及电子设备中，光源部可以具有这样的配置：将发射的脉冲光的频率和光发射量中的至少一个是可变的，与用于获取距离图图像的距离测量的情况相比，脉冲光的频率和光发射量中的至少一个在简单距离测量中减小。
此外，在包括上述优选配置的本公开的距离测量装置、控制距离测量装置的方法和电子设备中，光接收装置可被配置为以连续发光状态执行成像，从而允许获取图像，并且可被配置为基于所获取的图像执行面部检测。
此外，在包括上述优选配置的本公开的距离测量装置、控制距离测量装置的方法和电子设备中，光接收装置可被配置为通过基于所获取的图像检测面部不规则性并且将面部不规则性与预登记的数据进行比较来执行伪装确认。此外，应用处理器可被配置为响应于来自光接收装置的面部检测的通知，基于距离图图像执行面部认证。
<采用ToF方案的距离测量装置>
用于测量到距离测量目标(对象)的距离的距离测量方案之一是ToF方案，其测量从光源部向距离测量目标发射的光在被距离测量目标反射之后返回的时间，即，飞行时间(Time of flight)。
图1示出了采用ToF方案的距离测量装置的概念图。为了通过ToF方案实现距离测量，距离测量装置1被配置为包括向对象10发射光的光源部20和接收在被对象10反射之后返回的光的光接收装置30。光源部20包括例如发射在红外波长区域具有峰值波长的激光的激光光源。光接收装置30是检测来自对象10的反射光的光检测器，并且是采用ToF方案的ToF传感器。
<本公开的距离测量装置>
[系统配置]
图2是示出了本公开的距离测量装置的系统配置的实例的框图。本公开的距离测量装置1包括光源部20、光接收装置30和应用处理器40。经由诸如12C/SPI的接口(I/F)执行光接收装置30和应用处理器40之间的传感器状态的改变等。应用处理器40控制光源部20和光接收装置30。
在本公开的距离测量装置1中，光源部20使用以预定周期发射的脉冲光照射距离测量目标(对象)。光接收装置30接收基于由光源部20发射的脉冲光从距离测量目标(对象)反射的脉冲光。然后，光接收装置30检测接收反射脉冲光的周期，并且根据光发射周期和光接收周期之间的相位差测量光的飞行时间以测量至距离测量目标的距离。该距离测量方案是间接(间接)ToF方案。本发明的距离测量装置1采用间接ToF方式。
光接收装置30包括成像部(像素阵列部)31，其中均包括稍后描述的光接收元件(光电转换元件)的像素以矩阵形式(阵列形式)二维布置。除了成像部31以外，光接收装置30还包括作为成像部31的外围电路的像素控制器32、像素调制器33、列处理器34、数据处理器35、接近对象检测器36以及输出I/F(接口)37。
二维布置的各像素的信号在像素控制器32和像素调制器33的控制和调制下从成像部31读取。从成像部31读取的像素信号被提供给列处理器34。列处理器34包括对应于成像部31的像素列设置的AD(模拟-数字)转换器，并且将从成像部31读取的模拟像素信号转换成数字信号，并且将数字信号供应至数据处理器35和接近对象检测器36。
数据处理器35对从列处理器34提供的数字化像素信号执行诸如CDS(相关双采样：相关双采样)处理的预定信号处理，并且此后以成像帧为单位将像素信号经由诸如MIPI的高速输出I/F 37输出至光接收装置30的外部。
使用从光接收装置30以成像帧为单位输出的多个帧的像素信号使得可以生成可应用于面部认证系统等的距离图(深度图：深度图)图像。例如，在应用处理器40中，基于从光接收装置30输出的多个帧的像素信号，执行距离图图像的生成。然而，距离图图像的生成不限于应用处理器40中的生成。
通过从诸如应用处理器40的外部进行设置，接近对象检测器36被转换为接近对象检测模式。接近对象检测模式是例如在期望获取简单距离信息(诸如与对象的距离有多远)的情况下、期望确定在特定距离范围内是否存在对象的情况下等设置的操作模式。
接近对象检测器36在被设置为接近对象检测模式时被转换为操作模式，指定成像部31的部分区域作为距离计算的目标区域，并且使用目标区域中的像素信号计算到距离测量目标的距离信息，并且确定所计算的距离信息是否满足预设的检测条件。这里，检测条件是预设距离信息(距离值)。当计算的距离信息满足检测条件时，接近对象检测器36通知应用处理器40已经检测到接近对象。
光接收装置30包括接近对象检测器36，其具有计算距离信息的功能和确定检测条件的功能，从而具有与接近传感器的功能相当的功能。换言之，包括光接收装置30的距离测量装置1除了获取距离图图像(深度图图像)的功能之外，还具有作为接近传感器的功能。
应注意，当设置为接近对象检测模式时，使用用于距离计算的目标区域(即，成像部31的部分区域)中的像素信号，这使得可以仅启动与像素控制器32、像素调制器33和列处理器34中的部分区域中的像素信号的读取有关的部分电路部分。换言之，可以停止与部分区域中的像素信号的读取无关的电路部分的操作。
通过将电路部分切换至待机状态、停止向电路部分提供时钟或停止(断开)向电路部分提供电力，可以停止与部分区域中的像素信号的读取不相关的电路部的操作。停止与部分区域中的像素信号的读取无关的电路部分的操作使得可以通过电路部分的功耗降低光接收装置30的功耗。
光接收装置30除了上述的成像部31、像素控制器32、像素调制器33、列处理器34、数据处理器35、接近对象检测器36和输出I/F37之外，还包括系统控制器38、发光定时控制器39、参考电压-参考电流发生器41、PLL(锁相环)电路42、光源部状态控制器43和接近对象检测定时发生器44。
系统控制器38例如由CPU(中央处理单元)构成，进行光接收装置30的整个系统的通信及控制、启动及停止序列控制、状态控制等。系统控制器38的控制还包括光源部20的发光量的控制和发光频率的切换等。
发光定时控制器39在系统控制器38的控制下向光源部20和像素调制器33提供发光触发(脉冲)。参考电压-参考电流发生器41在系统控制器38的控制下生成要在光接收装置30中使用的各种类型的参考电压和参考电流。PLL电路42在系统控制器38的控制下生成要在光接收装置30中使用的各种类型的时钟信号。
光源部状态控制部43在系统控制器38的控制下，对光源部20进行状态变化控制。从光源部状态控制器43到光源部20的状态改变经由12C/SPI等接口或控制线进行。接近对象检测定时生成器44包括用于管理执行接近对象检测的定时的定时器。从接近对象检测器36向接近对象检测定时发生器44提供接近对象检测的通知。
[成像部的配置实例]
这里，参照图3对光接收装置30中的成像部31的配置实例进行描述。图3是示出光接收装置30中的成像部31及其外围电路的配置的实例的框图。
成像部31包括像素阵列部，其中多个像素51以矩阵形式(阵列形式)二维布置。在成像部31中，多个像素51中的每一个接收入射光(例如，近红外光)，并且执行入射光的光电转换，以输出模拟像素信号。两个垂直信号线VSL1和VSL2被布线至成像部31的每个像素列。总共(2×M)条垂直信号线VSL配线至成像部31，其中，M(M是整数)是成像部31的像素列的数量。
多个像素51的每一个包括第一抽头A和第二抽头B(将在后面详细描述)。基于对应像素列中的像素51的第一抽头A的电荷的模拟像素信号AINP1被输出到两条垂直信号线VSL1和VSL2中的垂直信号线VSL1。此外，基于对应像素列中的像素51的第二抽头B的电荷的模拟像素信号AINP2被输出到垂直信号线VSL2。模拟像素信号AINP1、AINP2在后面描述。
在成像部31的周边电路中，像素控制器32是以像素行为单位驱动成像部31的各像素51以使像素51输出像素信号AINP1、AINP2的行选择器。即，从选定行中的像素51输出的模拟像素信号AINP1和AINP2在像素控制器32的驱动下经由两条垂直信号线VSL1和VSL2提供到列处理器34。
列处理器34包括设置成与成像部31的像素列对应(例如，对于每个像素列)的多个AD(模拟-数字)转换器52。在列处理器34中，AD转换器52各自对经由垂直信号线VSL1和VSL2提供的模拟像素信号AINP1和AINP2执行模数转换处理。
从列处理器34输出的数字化像素信号AINP1和AINP2经由输出电路部54被供应至图2中示出的数据处理器35。数据处理器35对数字化像素信号AINP1和AINP2执行预定信号处理(诸如CDS处理)，并且此后经由输出I/F 37将数字化像素信号AINP1和AINP2输出至光接收装置30的外部。
定时发生器53生成各种类型的定时信号、时钟信号、控制信号等，并基于这些信号控制像素控制器32、列处理器34、输出电路部54等的驱动。
[像素的电路配置实例]
图4是示出成像部31中的像素51的电路配置的实例的电路图。
例如，根据该实例的像素51包括作为光接收元件(光电转换元件)的光电二极管511。像素51被配置为除了光电二极管511之外还包括溢出晶体管(overflow transistor)512、两个传输晶体管513和514、两个复位晶体管515和516、两个浮置扩散层517和518、两个放大晶体管519和520以及两个选择晶体管521和522。两个浮置扩散层517和518对应于上述图3中示出的第一抽头A和第二抽头B(在下文中可以简称为“抽头A和B”)。
光电二极管511将所接收的光进行光电转换以产生电荷。光电二极管511可以具有例如背照型像素配置，其中，捕获从基板的背面侧施加的光。然而，像素配置不限于背照型像素配置，并且可以是其中捕获从基板的前表面侧施加的光的前照型像素配置。
溢出晶体管512耦接在光电二极管511的阴极与电源电压VDD的电源线之间，并且具有重置光电二极管511的功能。具体地，溢出晶体管512响应于从成像驱动部33提供的溢出栅极信号OFG而导通至导通状态，从而将光电二极管511的电荷顺序放电至电源电压VDD的电源线。
两个转移晶体管513和514分别耦接在光电二极管511的阴极电极与两个浮置扩散层517和518(抽头A和B)之间。然后，响应于从像素控制器32提供的传输信号TRG，将传输晶体管513和514变为导通状态，以将由光电二极管511生成的电荷分别依次传输至浮置扩散层517和518。
对应于第一抽头A和第二抽头B的浮置扩散层517和518累积从光电二极管511转移的电荷，并且将电荷转换成具有与电荷量对应的电压值的电压信号以生成模拟像素信号AINP1和AINP2。
两个复位晶体管515和516分别耦接在两个浮置扩散层517和518与电源电压VDD的电源线之间。然后，响应于从像素控制器32提供的复位信号RST，复位晶体管515和516变为导通状态，以分别从浮置扩散层517和518提取电荷，从而初始化电荷量。
两个放大晶体管519和520分别耦接在电源电压VDD的电源线与两个选择晶体管521和522之间，并且分别放大通过由浮置扩散层517和518将电荷转换成电压而获得的电压信号。
两个选择晶体管521和522分别耦接在两个放大晶体管519和520与垂直信号线VSL1和VSL2之间。此外，响应于从像素控制器32提供的选择信号SEL，选择晶体管521和522被导通至导通状态，以分别将由放大晶体管519和520放大的电压信号作为模拟像素信号AINP1和AINP2输出至两条垂直信号线VSL1和VSL2。
两条垂直信号线VSL1和VSL2耦接至列处理器34中针对每个像素列的一个AD转换器52的输入端，并且将从每个像素列的像素51输出的模拟像素信号AINP1和AINP2传输至AD转换器52。
应注意，只要像素51的电路配置是能够通过光电转换生成模拟像素信号AINP1和AINP2的电路配置，像素51的电路配置不限于图3中例示的电路配置。
[关于通过间接ToF方案计算距离]
这里，将参考图5描述通过间接ToF方案计算距离。图5是用于描述通过间接ToF方案计算距离的时序波形图。图1中所示的距离测量装置1中的光源部20和光接收装置30在图5的时序波形图所示的时序下操作。
光源部20在预定时间段内，例如仅在脉冲发光时间Tp的时间内用脉冲光照射距离测量对象。从光源部20发射的脉冲光在被距离测量目标反射之后返回。反射的光被光电二极管511接收。从开始用脉冲光照射距离测量目标到由光电二极管511接收反射的脉冲光的时间(即，光的飞行时间)是对应于从距离测量装置1到距离测量目标的距离的时间。
在图4中，光电二极管511仅在从利用脉冲光的照射开始的时间点起的脉冲光发射时间Tp的时间段期间从距离测量目标接收反射的脉冲光。在单次光接收时，由光电二极管511光电转换的电荷被传输至抽头A(浮置扩散层517)并在抽头A中累积。
然后，从抽头A获得具有与累积在浮置扩散层517中的电荷的量相对应的电压值的信号n0。在抽头A的累积定时结束的时间点，由光电二极管511光电转换的电荷被传送至抽头B(浮置扩散层518)并在抽头B中累积。然后，从抽头B得到具有与在浮置扩散层518中累积的电荷的量相对应的电压值的信号nl。
对抽头A和抽头B执行累积定时的相位相差180度的驱动(相位完全相反的驱动)，以分别获得信号n0和信号n1。然后，多次重复这种驱动，并且进行信号n0和信号n1的累积和积分，以分别获取累积信号N0和累积信号N1。
例如，在一个像素51中，每相位执行两次光接收，并且在抽头A和抽头B中的每一个中累积四次信号。即，在抽头A和抽头B的每一个中累积0度、90度、180度和270度的信号。可以基于由此获取的累积信号N0和累积信号N1计算到距离测量目标的距离D。
累积信号N0和累积信号N1除了包括在被距离测量目标反射之后返回的反射光(主动光)的分量之外，还包括由对象、空气等反射和散射的环境光(环境光)的分量。因而，在上述操作中，为了消除环境光的分量的影响并留下反射光的分量，对基于环境光的信号n2执行累积和积分，以获取与环境光的分量有关的累积信号N2。
通过使用均包括环境光的分量的累积信号N0和累积信号N1以及与如此获取的环境光的分量相关的累积信号N2，基于下面的表达式(1)和下面的表达式(2)的算术处理可以计算到距离测量目标的距离D。
[数学式1]
Figure BDA0003681232180000161
[数学式2]
Figure BDA0003681232180000162
在表达式(1)和表达式(2)中，D表示到距离测量目标的距离，c表示光的速度，并且Tp表示脉冲光发射时间。
在设置于光接收装置30外部的应用处理器40中执行用于计算距离D的算术处理。即，应用处理器40能够使用均包括环境光的分量的累积信号N0和累积信号N1以及与环境光的分量有关的累积信号N2，通过基于上述表达式(1)和表达式(2)的算术处理来计算到距离测量目标的距离D。应用处理器40进一步能够基于从光接收装置30输出的多个帧的像素信号获取(生成)距离图图像。
[关于图像的获取]
在能够通过上述间接ToF方案检测距离的光接收装置30中，除了电荷被分离为抽头A和抽头B之外，在图4中示出的像素51的配置与正常CMOS图像传感器的像素的配置相同。因此，不是通过来自光源部20的脉冲光的照射来执行成像，也不是通过以预定的周期脉冲光来执行成像，而是以连续发光状态执行成像，这使得可以通过光接收装置30获取单色图像。
[关于距离测量装置的功耗]
附带地，在具有上述配置的距离测量装置1中，检测诸如对象的接近的条件并且仅在需要处理的情况下自动启动整个系统的技术是必要的。在需要进行自动启动的情况下，从应用处理器40控制光源部20和光接收装置30；因此，需要始终使应用处理器40激活。另外，在光接收装置30中进行对象的接近等的检测的情况下，光源部20和光接收装置30始终消耗功率；因此，整个距离测量装置1的功耗是重要的问题。
<本公开的实施方式>
因此，在本公开的实施方式中，在光接收装置30中实现了用于检测物体(对象)接近预定距离内并且仅在需要处理的情况下启动距离测量装置1的整个系统的自动启动机构。具体而言，通过简单距离测量，在光接收装置30中进行自动启动的对象检测，即，进行诸如对象的接近的条件的检测，将检测结果的通知提供给应用处理器40，并且根据检测结果进行光接收装置30的内部状态的切换或光源部20的状态的切换。应用处理器40响应于来自光接收装置30的通知而启动。
在此，对简单距离测量进行说明。例如，可以将距离测量装置1安装在诸如使用面部认证等的智能电话的移动装置上。例如，在智能电话的示例中，如果发现对象(人脸)存在于近似距离(例如，约20cm至约80cm)处就足够了。因此，不需要获取整个对象的高分辨率距离图图像，并且简化的距离测量(即，简单距离测量)足以用于自动启动的对象检测。
在正常距离测量中，根据在图6A中示出的整个屏幕中的每个像素的距离信息计算(获取)高分辨率距离图图像。相对照地，在简单距离测量中，如图6B所示，通过从画面整体中选择1至若干个像素、或者对正方形的区域X(1至若干个区域)进行像素添加(合并)和剔除(thinning)的组合等处理而获取1个点的信息。另外，减少用于简单距离测量的信息获取点的数量，使得可以在光接收装置30中实现简单距离测量而不需要大规模的电路。
在光接收装置30中实现自动启动机制使得可以保持应用处理器40处于待机状态，而不需要持续保持应用处理器40处于激活状态。这使得可以降低应用处理器40的功耗，或通过扩展整个距离测量装置1来降低功耗。此外，光接收装置30根据光接收装置30的控制频繁地实时执行光源部20的状态的切换，这使得可以进一步降低功耗。此外，在光接收装置30中简单距离测量的结果的应用使得可以在应用处理器40使用另一功能部时实现功耗的降低。
在下文中，给出了根据本公开的实施方式的用于减小距离测量装置1的功耗的具体实例的描述。
[实例1]
实例1是光接收装置(ToF传感器)的实例，其能够以低功耗以独立方式执行启动定时和启动通知的监控。图7示出了根据实例1的距离测量装置1的基本系统配置的实例。在图7中，光接收装置30的具体内部配置与图2中的光接收装置30的配置相同。
在图7中，实线箭头表示系统待机期间的控制，虚线箭头表示仅在系统启动期间的操作。系统待机期间的控制包括从光接收装置30到应用处理器40的接近对象检测通知(中断)、启动请求等，并且包括从光接收装置30到光源部20的状态控制和发光触发。系统启动期间的控制包括光接收装置30与应用处理器40之间的数据交换。
在根据实例1的距离测量装置1中的光源部20、光接收装置30和应用处理器40的各个功能如下。
光源部20所需的功能包括根据模式和外部控制接口(I/F)状态可切换的功能。具有这些功能使得除了在激光发射期间之外，光源部20可以以低功耗操作。
光接收装置30需要以下功能。
(1)以独立方式执行接近对象检测，即，使得能够在光接收装置30中进行简单距离测量。该功能是图2中的接近对象检测器36的功能。
(2)具有在接近目标检测时通知应用处理器40或外部的功能。
(3)在接近对象检测器36中的接近对象检测操作期间，使得能够以低功耗进行驱动。这通过将内部块置于待机(除了在接近对象检测期间)、停止不必要的电路的操作、通过光接收装置30的操作将光源部20变为待机状态或以低功耗驱动光源部20来实现。通过降低发光频率或降低发光量(电流)，可实现以低功耗驱动光源部20。
应用处理器40所需的功能包括响应于来自光接收装置30的中断从睡眠状态返回的功能。
根据具有上述配置的实例1的距离测量装置1，在不使用应用处理器40的情况下使用光源部20和光接收装置30的功能使得可以执行用于检测诸如对象的接近的条件的简单距离测量。
图8示出了根据实例1的距离测量装置1的序列图像。距离测量装置1的序列是“启动定时监控”→“系统启动序列”→“系统启动”，并且在系统启动定时完成光接收装置30的操作。
要注意的是，在图8中，“LP”意味着与在正常成像期间的功耗相比的低功耗(低功率)，并且“BLANK”表示消隐期(待机状态)。在下文中，具有低功耗的消隐时段被称为“LPBLANK(LP消隐)”，并且具有低功耗的简单距离测量被称为“LP距离测量”。
光接收装置30在内部包括用于启动的定时器(对应于在图2中的接近对象检测定时生成器44中包括的定时器)，并且管理执行接近对象检测的定时，并且执行其自身和光源部20的启动、简单距离测量以及在接近对象检测时通知应用处理器40。光接收装置30知道启动定时，这使得可以停止光接收装置30和光源部20中花费时间启动的块并且实现功耗的降低。
光接收装置40在接近对象检测操作开始时执行自身和光源部20的启动。在简单距离测量中，如果能够在一个至几个点处执行距离测量，则足够了，并且数据的输出不是必要的；因此，可以停止对于简单距离测量不必要的电路的操作。停止对于简单距离测量不必要的电路的操作，可以实现光接收装置30的功耗的减少，或者通过扩展整个距离测量装置1。此外，从光源部20发射的脉冲光的频率和发光量中的至少一个是可变的，并且与用于获取距离图图像的距离测量的情况相比，脉冲光的光发射频率和发光量根据用于简单距离测量的目标而降低，这也使得可以降低功耗。
图8中的序列图像是在第一简单距离测量中不执行接近对象检测并且在第二简单距离测量中执行接近对象检测的序列。光接收装置30仅在检测到接近对象的情况下将接近对象检测通知给应用处理器40，并且启动系统。通过系统的启动，应用处理器40执行期望的操作，例如，诸如AR(增强现实)的处理，并且在完成光接收装置30的操作的时刻转换到待机状态。
在此处，描述在图2中示出的距离测量装置1的各个功能块中在各个状态下的激活的块图像，或具体而言，“LP BLANK”状态、“LP距离测量”状态、“成像”状态。
(“LP BLANK”状态)
图9示出了在“LP BLANK”状态下的激活的块图像。在图9中，激活的块被示出为中空块，并且去激活的块被示出为阴影块。在“LP BLANK”状态下，光源部20和应用处理器40处于去激活状态。
此外，在光接收装置30中，仅接近对象检测定时发生器44处于激活状态。具体地，在接近对象检测定时生成器44中，在“LP BLANK”状态下，仅用于启动的计时器处于操作状态。另外，在数据处理器35中，也可以在漏电流大的点、例如逻辑处理点切断电源。
如上所述，光源部20和应用处理器40以及光接收装置30的除了接近对象检测定时生成器44之外的块被转到去激活状态，这使得可以实现在“LP BLANK”状态下功耗的降低。
(“LP距离测量”状态)
图10示出了在“LP距离测量”状态下激活的块图像。在图10中，激活的块被示出为中空块，并且去激活的块被示出为阴影块。在“LP距离测量”状态下，应用处理器40和光接收装置30的一些块处于去激活状态。
在LP距离测量(简单距离测量)中，使用成像部31的部分区域中的像素信号执行距离计算；因此，光接收装置30中的像素调制器33和列处理器34变为操作状态，但是未读取像素信号的电路的操作停止。即，不与像素调制器33的像素信号的读取相关的电路部分、不与列处理器34、数据处理器35和输出I/F37的像素信号的读取相关的电路部分变为去激活状态，并且其他电路变为激活状态。应注意，可以限制功耗大的光源部20以及以高频率操作的发光定时控制器39的操作。
在“LP距离测量”状态下，接近对象检测器36通过用于将外围像素的像素信号相加的处理等，对压缩成一个至几个像素的数据执行用于距离测量的算术处理。
(“成像”状态)
图11示出了在“成像”状态下的激活的块图像。如图11中的中空块所示，在“成像”状态下，光源部20、应用处理器40和光接收装置30的所有块处于激活状态。然后，在获取距离图图像的“成像”状态下，为了提高成像的精度，光源部20被设置为大光量，并且光接收装置30的发光定时控制器39被设置为高频。
[实例2]
实例2是根据实例1的距离测量装置1中的光源部20的配置实例。图12示出了在根据实例2的光源部20的操作模式中的图像。
根据实例2的光源部20需要以下功能。
(1)具有当不需要脉冲光的发射时不发生不必要的功耗的状态。
(2)具有可以根据高频发光请求(发光脉冲)发光的状态。
(3)具有根据所需光量可调节发光量(输出电流)的状态。
(4)具有动态地切换上述(1)至(3)的通信接口。
因此，根据实例2的光源部20具有脉冲光发射、脉冲光发射准备和LP BLANK(待机)的相应操作模式。然后，通过由脉冲从光接收装置30传输的发光触发来执行脉冲发光模式与脉冲发光模式之间的切换。此外，脉冲光发射准备的模式与LP BLANK的模式之间的切换通过经由诸如12C/SPI的接口或经由控制线从光接收装置30传输的用于状态变化的控制信号来执行。
脉冲光发射的模式是其中发射脉冲光的状态的模式，并且脉冲光发射准备的模式是其中在光发射触发的到达之后准备好立即发射光的状态的模式，或具体地，其中准备好响应于几十MHz至几百MHz的脉冲立即发射光的状态的模式。在简单距离测量和成像时，以脉冲光发射准备的模式准备立即发射光，并且在光发射触发的到达之后执行到脉冲光发射的模式的切换。脉冲光发射准备和LP BLANK的模式是在简单距离测量或成像之后要设置的模式，并且是具有极低功耗的模式，其中只有与外部的通信接口操作。
在具有上述配置的光源部20中，发光强度(驱动器电压)是可变的，并且在进行简单距离测量的“LP距离测量”状态下，与正常距离测量期间的“发光”状态相比，输出电流被抑制，用于获取距离图图像以减小发光强度，这使得可以进一步减少图8中的序列图像中的“启动定时监控”中的功耗。
[实例3]
实例3是根据实例1的距离测量装置1中的接近对象检测序列的实例。通过从应用处理器40向光接收装置30发出启动监控请求，在光接收装置30中执行接近对象检测序列的处理。应注意，应用处理器40在发出启动监控请求之后变为睡眠状态。
在图13的流程图中示出了根据实例3的接近对象检测序列的处理流程的实例。例如，通过由使用图2中的CPU配置的系统控制器38控制光接收装置30中的各个功能块来执行接近对象检测序列的处理。
系统控制器38等待产生来自应用处理器40的启动监控请求(步骤S11)，并且在发出启动监控请求(S11中的“是”)的情况下，系统控制器38对LP BLANK的消隐时段进行计数，在经过消隐时段之后启动，并且对待机状态下的光源部20进行状态改变的请求(步骤S12)。
接下来，系统控制器38执行LP距离测量(简单距离测量)，其中，基于成像部31的像素区域的部分区域中的像素信号进行距离测量(步骤S13)。在“LP距离测量”状态下，从发光定时控制器39向光源部20提供发光触发。另外，在LP距离测量结束之后，光源部20停止，从光接收装置30对光源部20进行状态变化的请求。响应于状态变化的请求，光源部20变成为LP BLANK(待机状态)状态。
随后，系统控制器38判断简单距离测量的结果是否落入预定阈值(步骤S14)，并且在结果未落入预定阈值的情况下(S14中为否)，返回到步骤S12。这里，预定阈值是用于检测接近对象的检测条件，并且例如是预设距离。在简单距离测量的结果在预定阈值内的情况下(S14中的“是”)，意味着已经检测到接近对象；因此，系统控制器38将接近对象检测的通知输出至睡眠状态下的应用处理器30(步骤S15)，并且结束接近对象检测序列的一系列处理。
[实例4]
实例4是光接收装置(ToF传感器)的实例，其能够以低功耗的独立方式执行启动定时监控、面部检测和面部认证以及启动通知。应注意，对于面部检测和面部认证，可采用包括伪装确认的配置，或者可采用仅包括面部检测而不包括面部认证的配置。图14示出了根据实例4的距离测量装置1的基本系统配置的实例。
在图14中，实线箭头表示系统待机期间的控制，虚线箭头表示系统启动期间的控制。系统待机期间的控制包括从光接收装置30到应用处理器40的接近对象检测通知(中断)、启动请求等，并且包括从光接收装置30到光源部20的状态控制和发光触发。系统启动期间的控制包括光接收装置30与应用处理器40之间的数据交换。
在根据实例4的距离测量装置1中的光源部20、光接收装置30和应用处理器40的各个功能如下。
光源部20所需的功能包括根据模式和外部控制接口(I/F)可切换的状态的功能。具有这些功能使得除了在激光发射期间之外，光源部20可以以低功耗操作。除了这些功能之外，在根据实例4的距离测量装置1中的光源部20具有用于面部检测和面部认证的低功耗的恒定照射状态。
光接收装置30需要以下功能。
(1)以独立方式执行接近对象检测，即，使得能够在光接收装置30中进行简单距离测量。该功能是图2中的接近对象检测器36的功能。
(2)具有在接近目标检测时通知应用处理器40或外部的功能。
(3)在接近对象检测器36中的接近对象检测操作期间，使得能够以低功耗进行驱动。这通过将内部块置于待机(除了在接近对象检测期间)、停止不必要的电路的操作、通过光接收装置30的操作将光源部20变为待机状态或以低功耗驱动光源部20来实现。通过降低发光频率或降低发光量(电流)，可实现以低功耗驱动光源部20。
(4)具有面部检测功能、面部认证功能和伪装确认功能(仅具有面部检测功能是足够的)。
这里，面部检测、面部认证(面部识别)和伪装确认可使用已知技术来实现。例如，以连续发光状态执行成像使得可以通过光接收装置30获取图像，这使得可以基于图像在特定位置处执行面部的检测。对于面部认证，可以通过诸如神经网络的机器学习使用图案识别技术，例如，通过将作为教师数据(用于匹配的主数据)提供的面部的特征点与所捕获的面部图像(距离图图像)的特征点进行比较来执行识别处理的技术。此外，可以通过基于图像检测面部不规则性并且将面部不规则性与预登记的数据进行比较来执行伪装确认。
应用处理器40所需的功能包括响应于来自光接收装置30的中断从睡眠状态返回的功能。
根据具有上述配置的实例4的距离测量装置1，在用于利用面部认证等进行解锁的系统的情况下，在光接收装置30中不仅执行接近对象的检测，而且执行面部检测和面部认证，并且在面部检测时或者在面部认证时向应用处理器40提供通知，这使得可以在应用处理器40上构建具有低功耗和低负载的系统。此时，光源部20具有在恒定照射下以低功耗运行的功能，这使得可以利用IR(红外)光由光源部20和光接收装置30控制面部检测。
图15示出根据实例4的距离测量装置1的序列图像。距离测量装置1的序列为“启动定时监控”→“系统启动序列”，之后，通过用户控制进行操作设定。
在处理面部检测和模仿确认的情况下，需要在光接收装置30中获取图像；因此，光源部20不需要高速照射，并以恒定的照射模式工作。此外，在伪装确认的处理中，必须检测面部不规则性；因此，光接收装置30执行具有高精度的距离测量。在检测到面部之后，光接收装置30向应用处理器40通知面部被检测到。响应于这种通知，在待机状态下的应用处理器40启动，并且基于距离图图像执行面部认证。
图16示出了根据实例4的距离测量装置1中的光接收装置30的配置的实例。这里示出的光接收装置30具有内部执行面部认证的功能的配置。
在光接收装置30中，数据处理器35被配置为包括图像处理器351和距离测量部的功能部，这些功能部使用从成像部31输出的像素信号进行面部检测、部认证以及伪装确认的处理。图像处理部351根据从成像部31输出的像素信号进行用于获取图像的处理。在伪装确认中进行面部不规则性的检测；因此，距离测量部352以高精度进行距离测量。
光接收装置30包括用于执行面部检测和面部认证的处理的面部检测/面部认证部45和用于执行伪装确认的处理的伪装确定部46。面部检测/面部认证部45基于由图像处理器351获取的图像执行用于面部检测和面部认证的处理(例如，上述处理)。伪装确定部46根据距离测量部352的距离测量结果来检测面部不规则形，从而进行伪装确认的处理。
光接收装置30进一步包括向应用处理器40提供启动通知的启动通知定时选择部47。启动通知定时选择部47响应于由接近对象检测器36检测的结果、由面部检测/面部认证部45认证的结果或由伪装确定部46确定的结果，将启动通知提供给应用处理器40。
在光接收装置30中，系统控制器38例如由CPU构成，进行光接收装置30的整个系统的通信和控制、启动和停止序列控制、状态控制等。由系统控制器38控制的状态包括面部检测(图像)、面部认证(图像)和伪装确认(通过距离测量的面部确定)的状态。另外，系统控制器38的控制还包括光源部20的发光量的控制、发光频率的切换等。
应注意，这里，作为光接收装置30，具有面部检测、面部认证以及伪装确认功能的配置被描述为实例；然而，可以采用不一定具有这三种功能的配置。然而，具有面部认证功能的配置是重要的。在仅具有面部认证功能的配置的情况下，距离测量部352可被配置为设置在光接收装置30的外部。
[实例5]
实例5是根据实例4的距离测量装置1中的光源部20的配置实例。图17示出根据实例5的光源部20的操作模式的图像。
根据实例5的光源部20需要以下功能。
(1)具有在不需要发光时不施加不必要的电力的状态。
(2)具有可以根据高频发光请求(发光脉冲)发光的状态。
(3)具有不闪光但恒定照射的状态。
(4)具有能够根据必要的光量调节发光量(输出电流)的功能。
(5)具有动态地切换上述(1)至(4)的通信接口。
因此，根据实例5的光源部20具有脉冲光发射、脉冲光发射准备、恒定照射、恒定照射准备和LP BLANK(待机)的相应操作模式。然后，通过由脉冲从光接收装置30传输的光发射触发来执行脉冲光发射的模式与脉冲光发射准备的模式之间的切换。另外，通过经由诸如12C/SPI的接口或经由控制线从光接收装置30发送的用于状态变化的控制信号来执行恒定照射的模式和恒定照射准备的模式之间的切换以及脉冲光发射准备的模式和LP BLANK的模式之间的切换。
脉冲光发射的模式是发射脉冲光的状态的模式，并且脉冲光发射准备的模式是在光发射触发的到达之后准备好立即发射光的状态的模式，或者具体地，其中响应于几十MHz至几百MHz的脉冲准备好立即发射光的状态的模式。恒定照射的模式是不需要以高频率切换发光的模式，并且恒定照射准备的模式是在转向发光状态之后立即准备好转变到发光状态的状态的模式。LP BLANK的模式是具有极低功耗的模式，其中仅与外部的通信接口操作。
在面部检测中，如果图像精度(分辨率)低，则足够，并且在面部认证中，高图像精度(即，高分辨率图像)是必要的。因而，在恒定照射和恒定照射准备的模式中，根据照射光的光量可调节发光电流。这使得可以以低功耗驱动光源部20。
[实例6]
实例6是根据实例4的距离测量装置1中的接近对象检测和面部检测序列的实例。通过从应用处理器40向光接收装置30发出启动监控请求，在光接收装置30中执行接近对象检测和面部检测序列的处理。应注意，应用处理器40在发出启动监控请求之后变为睡眠状态。
图18中的流程图示出了根据实例6的接近对象检测和面部检测序列的处理流程的实例。例如，通过由图2中的使用CPU配置的系统控制器38控制光接收装置30中的各功能块，执行接近对象检测和面部检测序列的处理。
系统控制器38等待产生来自应用处理器40的启动监控请求(步骤S21)，并且在发出启动监控请求的情况下(S21中“是”)，系统控制器38对LP BLANK的消隐时段进行计数，在经过消隐时段之后启动，并且对待机状态下的光源部20进行状态改变的请求(步骤S22)。
接下来，系统控制器38执行LP距离测量(简单距离测量)，在该LP距离测量中，基于成像部31的像素区域的部分区域中的像素信号进行距离测量(步骤S23)，然后确定简单距离测量的结果是否落入预定阈值内(步骤S24)，并且在结果不在预定阈值内的情况下(S24中“否”)，返回到步骤S22。这里，预定阈值是用于检测接近对象的检测条件，并且例如是预设距离。
在简单距离测量的结果在预定阈值内的情况下(S24中“是”)，系统控制器38启动在待机状态下的电路，并进行成像和面部检测(步骤S25)。接下来，系统控制器38确定是否检测到面部(步骤S26)，并且在未检测到面部的情况下(S26中“否”)，系统控制器38返回到步骤S22，并且在检测到面部的情况下(S26中“是”)，系统控制器38向应用处理器40输出检测到面部的通知(步骤S27)，并且结束接近对象检测和面部检测序列的一系列处理。
<变形例>
虽然已经参考优选实施方式描述了本公开的技术，但是本公开的技术不限于这些实施方式。在上述实施方式中描述的距离测量装置的配置和结构是示例性的，并且可以适当地修改。
例如，在上述实施例中，以釆用间接ToF方式的距离测量装置为例进行了描述；然而，ToF方案不限于间接ToF方案，并且可以采用直接ToF方案，其中从光的飞行时间差直接计算到对象(距离测量目标)的距离。另外，假设场景变化时的启动，不是接近对象检测功能而是移动对象检测功能可以用作启动定时监控。
<本公开的电子设备>
上述本公开的距离测量装置例如可用作安装在任何各种电子设备上的距离测量装置。配备有距离测量装置的电子设备的实例可包括移动装置，诸如，智能电话、数码相机、平板电脑、以及个人计算机。然而，电子设备不限于移动装置。这里，智能电话被例示为能够配备有包括本公开的光接收装置的距离测量装置的电子设备(本公开的电子设备)的具体实例。
图19A示出了如从前侧观看的根据本公开内容的电子设备的特定实例的智能电话的外部视图，并且图19B是从后侧观看的智能电话的外部视图。根据该具体示例的智能电话100包括在壳体110的前侧上的显示部120。此外，智能电话100包括在壳体110的后侧的上部中的成像部130。
可以将根据本公开的实施方式的距离测量装置1安装在智能电话100上，作为具有上述用于使用的配置的移动装置的实例。在这种情况下，例如，如图19A所示，可以将距离测量装置1的光源部20和光接收装置30设置在显示部120上方。然而，图19A所示的光源部20和光接收装置30的配置实例仅是实例，光源部20和光接收装置30的配置不限于此。
如上所述，通过配备有包括本公开的光接收装置30的距离测量装置1来制造根据该具体实例的智能电话100。此外，根据该具体示例的智能电话100配备有上述距离测量装置1，这使得可以获取距离图图像。因此，可以将智能电话100应用于面部认证系统。
此外，智能电话100配备有上述距离测量装置1，例如，在用户进行语音呼叫并且关闭触摸屏显示器的情况下，该距离测量装置使得可以提供诸如检测用户耳朵靠近智能电话100的使用方式。这使得可以降低智能电话100的功耗并防止触摸面板显示器的故障。此外，上述距离测量装置1能够实现功耗的降低，这使得可以进一步降低智能电话100的功耗。
<本公开的可能的配置>
应注意，本公开还可具有以下配置。
<<A.距离测量装置>>
[A-1]一种距离测量装置，包括：
光源部，用光照射对象；
光接收装置，接收来自对象的反射光；以及
应用处理器，控制光源部和光接收装置，其中
光接收装置具有测量到对象的距离以检测对象接近预定距离内的对象检测功能，并且将检测结果的通知提供给在待机状态下的应用处理器，以及
应用处理器响应于来自光接收装置的通知而启动。
[A-2]根据[A-1]所述的距离测量装置，其中，光接收装置基于检测结果执行光接收装置的内部状态的切换。
[A-3]根据[A-2]所述的距离测量装置，其中，光接收装置基于检测结果执行光源部的状态的切换。
[A-4]根据[A-1]至[A-3]中任一项所述的距离测量装置，其中，光接收装置包括成像部并且执行简单距离测量，所述成像部包括被布置的且均包括光接收元件的像素，在简单距离测量中，使用成像部的像素区域内的部分区域中的像素信号测量距离。
[A-5]根据[A-4]所述的距离测量装置，其中，
光源部对对象照射将以预定周期发射的脉冲光，并且
光接收装置通过接收来自对象的反射脉冲光并且根据光发射周期与光接收周期之间的相位差测量光的飞行时间来执行简单距离测量。
[A-6]根据[A-5]所述的距离测量装置，其中，在光源部中，将发射的脉冲光的频率和发光量中的至少一个是可变的，并且与用于获取距离图图像的距离测量的情况相比，脉冲光的频率和发光量中的至少一个在简单距离测量中减小。
[A-7]根据[A-1]至[A-6]中任一项所述的距离测量装置，其中，光接收装置以连续发光状态进行成像，从而允许获得图像。
[A-8]根据[A-7]所述的距离测量装置，其中，光接收装置基于所获取的图像执行面部检测。
[A-9]根据[A-8]所述的距离测量装置，其中，光接收装置通过基于所获取的图像检测面部不规则性并且将面部不规则性与预登记的数据进行比较来执行伪装确认。
[A-10]根据[A-8]所述的距离测量装置，其中，应用处理器响应于来自光接收装置的面部检测的通知，基于距离图图像执行面部认证。
<<B.控制距离测量装置的方法>>
[B-1]一种控制距离测量装置的方法，
距离测量装置包括用光照射对象的光源部、接收来自对象的反射光的光接收装置以及控制光源部和光接收装置的应用处理器，所述方法包括：
在控制距离测量装置时，测量到对象的距离以检测对象接近到预定距离内，并将这样的检测结果的通知提供给在待机状态下的应用处理器以启动应用处理器。
<<C.电子设备>>
[C-1]一种设置有距离测量装置的电子设备，所述距离测量装置包括：
光源部，用光照射对象；
光接收装置，接收来自对象的反射光；以及
应用处理器，控制光源部和光接收装置，其中
光接收装置具有测量到对象的距离以检测对象接近到预定距离内的对象检测功能，并且将检测结果的通知提供给在待机状态下的应用处理器，以及
应用处理器响应于来自光接收装置的通知而启动。
[C-2]根据[C-1]所述的电子设备，其中，光接收装置基于检测结果执行光接收装置的内部状态的切换。
[C-3]根据[C-2]所述的电子设备，其中，光接收装置基于检测结果执行光源部的状态的切换。
[C-4]根据[C-1]至[C-3]中任一项所述的电子设备，其中，光接收装置包括成像部并且执行简单距离测量，成像部包括均包括光接收元件的所布置的像素，在简单距离测量中，使用成像部的像素区域内的部分区域中的像素信号测量距离。光接收装置包括成像部并且执行简单距离测量，成像部包括被布置的且每个都包括光接收元件的像素，在简单的距离测量中，使用成像部的像素区域内的部分区域中的像素信号测量距离。
[C-5]根据[C-4]所述的电子设备，其中，
光源部对对象照射将以预定周期发射的脉冲光，并且
光接收装置通过接收来自对象的反射脉冲光并且根据光发射周期与光接收周期之间的相位差测量光的飞行时间来执行简单距离测量。
[C-6]根据[C-5]所述的电子设备，其中，在光源部中，将发射的脉冲光的频率和发光量中的至少一个是可变的，并且与用于获取距离图图像的距离测量的情况相比，脉冲光的频率和发光量中的至少一个在简单距离测量中减小。
[C-7]根据[C-1]至[C-6]中任一项所述的电子设备，其中，光接收装置以连续发光状态执行成像，从而允许获得图像。
[C-8]根据[C-7]所述的电子设备，其中，光接收装置基于所获取的图像执行面部检测。
[C-9]根据[C-8]所述的电子设备，其中，光接收装置通过基于所获取的图像检测面部不规则性并且将面部不规则性与预登记的数据进行比较来执行伪装确认。
[C-10]根据[C-8]所述的电子设备，其中，应用处理器响应于来自光接收装置的面部检测的通知，基于距离图图像执行面部认证。
参考标号列表
1：距离测量装置
10：对象(距离测量目标)
20：光源部
30：光接收装置
31：成像部
32：像素控制器
33：像素调制器
34：列处理器
35：接近对象检测器
36：数据处理器
37：输出I/F
38：系统控制器
39：发光定时控制器
40：应用处理器
41：参考电压-参考电压生成器
42：PLL电路
43：光源部状态控制器
44：接近对象检测定时发生器
45：面部检测/面部认证部
46：伪装确定部
47：启动通知定时选择部。

Claims (12)

1.一种距离测量装置，包括：
光源部，用光照射对象；
光接收装置，接收来自所述对象的反射光；以及
应用处理器，控制所述光源部和所述光接收装置，其中
所述光接收装置具有测量到所述对象的距离以检测所述对象接近到预定距离内的对象检测功能，并且将检测结果通知给在待机状态下的所述应用处理器，以及
所述应用处理器响应于来自所述光接收装置的通知而启动。
2.根据权利要求1所述的距离测量装置，其中，所述光接收装置基于所述检测结果执行所述光接收装置的内部状态的切换。
3.根据权利要求2所述的距离测量装置，其中，所述光接收装置基于所述检测结果执行所述光源部的状态的切换。
4.根据权利要求1所述的距离测量装置，其中，所述光接收装置包括成像部并且执行简单距离测量，所述成像部包括布置的且均包括光接收元件的像素，在简单距离测量中，使用所述成像部的像素区域内的部分区域中的像素信号测量距离。
5.根据权利要求4所述的距离测量装置，其中，
所述光源部对所述对象照射将以预定周期发射的脉冲光，并且
所述光接收装置通过接收来自所述对象的反射脉冲光并且根据光发射周期与光接收周期之间的相位差测量光的飞行时间来执行所述简单距离测量。
6.根据权利要求5所述的距离测量装置，其中，在所述光源部中，将发射的所述脉冲光的频率和光发射量中的至少一个是可变的，并且与用于获取距离图图像的距离测量的情况相比，所述脉冲光的所述频率和所述光发射量中的至少一个在所述简单距离测量中减小。
7.根据权利要求1所述的距离测量装置，其中，所述光接收装置以连续发光状态进行成像，从而允许获取图像。
8.根据权利要求7所述的距离测量装置，其中，所述光接收装置基于所获取的图像执行面部检测。
9.根据权利要求8所述的距离测量装置，其中，所述光接收装置通过基于所获取的图像检测面部不规则性并且将所述面部不规则性与预登记的数据进行比较来执行伪装确认。
10.根据权利要求8所述的距离测量装置，其中，所述应用处理器响应于来自所述光接收装置的面部检测的通知，基于距离图图像执行面部认证。
11.一种控制距离测量装置的方法，
所述距离测量装置包括用光照射对象的光源部、接收来自所述对象的反射光的光接收装置以及控制所述光源部和所述光接收装置的应用处理器，所述方法包括：
在控制所述距离测量装置时，测量到所述对象的距离以检测所述对象接近到预定距离内，并将这样的检测结果的通知提供给在待机状态下的所述应用处理器以启动所述应用处理器。
12.一种设置有距离测量装置的电子设备，所述距离测量装置包括：
光源部，用光照射对象；
光接收装置，接收来自所述对象的反射光；以及
应用处理器，控制所述光源部和所述光接收装置，其中
所述光接收装置具有测量到所述对象的距离以检测所述对象接近到预定距离内的对象检测功能，并且将检测结果的通知给在待机状态下的所述应用处理器，以及
所述应用处理器响应于来自所述光接收装置的通知而启动。
CN202080084702.6A 2019-12-20 2020-11-17 距离测量装置、控制距离测量装置的方法和电子设备 Pending CN114766007A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-230170 2019-12-20
JP2019230170 2019-12-20
PCT/JP2020/042746 WO2021124763A1 (ja) 2019-12-20 2020-11-17 測距装置及び測距装置の制御方法、並びに、電子機器

Publications (1)

Publication Number Publication Date
CN114766007A true CN114766007A (zh) 2022-07-19

Family

ID=76477236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080084702.6A Pending CN114766007A (zh) 2019-12-20 2020-11-17 距离测量装置、控制距离测量装置的方法和电子设备

Country Status (4)

Country Link
US (1) US20230018095A1 (zh)
JP (1) JPWO2021124763A1 (zh)
CN (1) CN114766007A (zh)
WO (1) WO2021124763A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121083A (ja) * 2005-10-27 2007-05-17 Nidec Copal Corp 測距装置
JP4975071B2 (ja) * 2009-08-26 2012-07-11 株式会社ナナオ 動体判別機能付き電子機器
JP6062175B2 (ja) * 2012-07-25 2017-01-18 京セラ株式会社 携帯端末、省電力制御プログラムおよび省電力制御方法
US10557965B2 (en) * 2016-12-02 2020-02-11 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence
JP2019168397A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 測距デバイス、測距方法、測距デバイスを備えた画像処理装置

Also Published As

Publication number Publication date
US20230018095A1 (en) 2023-01-19
WO2021124763A1 (ja) 2021-06-24
JPWO2021124763A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
KR101896666B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
EP3185037B1 (en) Depth imaging system
KR101887988B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US7521656B2 (en) Solid-state image pickup apparatus and control method thereof
JP7451110B2 (ja) 測距システム及び電子機器
WO2019036280A1 (en) HIGH INTENSITY LIGHT DETECTION IN A PHOTOELECTRIC SENSOR
US10277848B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
WO2019129546A1 (en) Single-chip rgb-d camera
US20190110013A1 (en) Solid state imaging device and imaging system
US11244139B2 (en) Fingerprint recognition integrated circuit and fingerprint recognition device including the same
US20070001103A1 (en) Apparatus and methods for reducing noise in an optoelectronic device
US20220350024A1 (en) Distance image capturing device and distance image capturing method
US20230232132A1 (en) Pixel and method for operating a pixel
US20230154135A1 (en) Object recognition system and electronic apparatus
US20220360702A1 (en) Image processing device, electronic equipment, image processing method, and program
US10939055B2 (en) Imaging control apparatus and image control method
CN114766007A (zh) 距离测量装置、控制距离测量装置的方法和电子设备
CN114503544A (zh) 人脸认证系统和电子设备
KR20210034301A (ko) 카메라 모듈
WO2021187124A1 (en) Imaging with ambient light subtraction
US10602071B2 (en) Imaging device and control method
KR100849509B1 (ko) 글로벌 셔터 구동 방식의 이미지 센서를 이용한 입력 장치
US20230014474A1 (en) Light receiving device, method of controlling light receiving device, and electronic apparatus
US11928892B2 (en) Motion recognition apparatus using ToF sensor and method for operating the same
WO2021187127A1 (en) Imaging with ambient light subtraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination