CN113875214B - 距离测量传感器、信号处理方法和距离测量模块 - Google Patents

距离测量传感器、信号处理方法和距离测量模块 Download PDF

Info

Publication number
CN113875214B
CN113875214B CN202080039698.1A CN202080039698A CN113875214B CN 113875214 B CN113875214 B CN 113875214B CN 202080039698 A CN202080039698 A CN 202080039698A CN 113875214 B CN113875214 B CN 113875214B
Authority
CN
China
Prior art keywords
detection
detection process
detection processing
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080039698.1A
Other languages
English (en)
Other versions
CN113875214A (zh
Inventor
渡边正浩
增野智经
佐佐木武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113875214A publication Critical patent/CN113875214A/zh
Application granted granted Critical
Publication of CN113875214B publication Critical patent/CN113875214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

本技术涉及一种距离测量传感器、信号处理方法和距离测量模块，使距离测量传感器能够基于距离测量数据执行检测处理。该距离测量传感器(43)设置有：光接收单元(51)，用于接收从预定的发光源(41)发射的照射光被对象反射而返回的反射光；深度计算单元(62)，从由光接收单元获得的信号计算关于到对象的距离的信息和关于亮度的信息；以及检测处理单元(63)，根据从多个操作模式当中选择的当前的操作模式，使用关于距离的信息以及关于亮度的信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及关于距离的信息和关于亮度的信息输出到外部。本技术可以应用于例如测量到对象的距离的距离测量模块。

Description

距离测量传感器、信号处理方法和距离测量模块
技术领域
本技术涉及一种距离测量传感器、信号处理方法和距离测量模块，更具体地，涉及一种能够基于距离测量数据进行检测处理的距离测量传感器、信号处理方法和距离测量模块。
背景技术
近年来，随着半导体技术的进步，测量到对象的距离的距离测量模块的小型化已经进步。因此，例如，实现了在诸如所谓的智能电话的移动终端上安装距离测量模块，所述智能电话是具有通信功能的小型信息处理装置。
距离测量模块中的距离测量方法的示例包括间接飞行时间(ToF)方法和结构光方法。在间接ToF方法中，向对象发射光并且检测在对象的表面上反射的光，并且基于通过测量光的飞行时间获得的测量值来计算到对象的距离。在结构光方法中，向对象发射图案光，并且基于通过对对象表面上的图案的畸变进行成像而获得的图像来计算到对象的距离。
已经提出了采用背照式结构以改善光接收特性的间接ToF方法的距离测量传感器(参见例如专利文献1)。
在一些智能电话中，使用认证用户面部的面部认证处理例如来解锁屏幕。在执行面部认证处理的预处理中，执行检测用户的检测处理，诸如检测用户是否在智能手机前方。该检测处理由智能电话的应用处理器基于距离测量传感器的输出来执行。
现有技术文献
专利文献
专利文献1：国际公开号2018/135320
发明内容
本发明要解决的问题
然而，为了减少智能手机所需的电量，需要通过距离测量传感器执行部分检测处理。
本技术是考虑到这样的情况而做出的，并且使得距离测量传感器能够基于距离测量数据执行检测处理。
问题解决方案
根据本技术的第一方面的距离测量传感器包括：光接收单元，接收通过从预定的发光源发射的照射光被对象反射而获得的反射光；深度计算单元，从光接收单元获得的信号计算到对象的距离信息和亮度信息；以及检测处理单元，根据从多个操作模式当中选择的当前的操作模式，使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及距离信息和亮度信息输出到外部。
根据本技术的第二方面的信号处理方法包括：通过使用距离测量传感器，从通过接收反射光而获得的信号计算到对象的距离信息和亮度信息，该反射光通过从预定的发光源发射的照射光被对象反射而获得；并且通过使用距离测量传感器，根据从多个操作模式当中选择的当前的操作模式，使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及距离信息和亮度信息输出到外部。
根据本技术的第三方面的距离测量模块包括：发光单元，包括预定的发光源；以及距离测量传感器，该距离测量传感器包括：光接收单元，接收通过从所述预定的发光源发射的照射光被对象反射而获得的反射光；深度计算单元，从光接收单元获得的信号计算到对象的距离信息和亮度信息；以及检测处理单元，根据从多个操作模式中选择的当前的操作模式，使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果与距离信息和亮度信息一起输出到外部。
在本技术的第一至第三方面中，从通过接收反射光而获得的信号来计算到对象的距离信息和亮度信息，该反射光通过从预定的发光源发射的照射光被对象反射而获得，根据从多个操作模式当中选择的当前的操作模式，使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及距离信息和亮度信息输出到外部。
该距离测量传感器和该距离测量模块可以是独立的装置或结合在另一个装置中的模块。
附图说明
图1是示出应用本技术的作为电子设备的智能电话的示意性配置示例的框图。
图2是示出距离测量模块的详细配置示例的框图。
图3是示出光接收单元的详细配置示例的图。
图4是说明根据4相位法的像素的操作的图。
图5是说明4相位法的图。
图6是说明4相位法的图。
图7是说明使用2相位法和4相位法计算深度值的方法的图。
图8是说明在每个操作模式下执行的特定检测处理的图。
图9是说明接近检测处理的具体处理示例的图。
图10是说明头部检测处理的具体处理示例的图。
图11是说明面部检测处理的具体处理示例的图。
图12是说明瞳孔检测处理的具体处理示例的图。
图13是说明操作模式B的情况下的深度测量处理的流程图。
图14是说明操作模式D的情况下的深度测量处理的流程图。
图15是示出应用本技术的距离测量传感器的效果的图。
图16是示出车辆控制系统的示意性配置的示例的框图。
图17是表示车外信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
在下文中，将描述用于实现本技术的实施例(在下文中，被称为实施例)。注意，将按以下次序给出描述。
1.智能电话的配置示例
2.距离测量模块的示意性配置示例
3.通过间接ToF方法进行的距离测量传感器的距离测量操作
4.根据操作模式的检测处理
5.距离测量传感器的效果
6.应用于移动对象的应示例
<1.智能电话的配置示例>
图1是示出应用本技术的作为电子设备的智能电话的示意性配置示例的框图。
如图1所示，通过经由总线22连接距离测量模块11、成像装置12、显示器13、通信模块14、传感器单元15、扬声器16、麦克风17、操作按钮18、传感器集线器19、应用处理器(AP)20和电源单元21来配置智能电话1。
距离测量模块11布置在智能手机1的正面，对智能手机1的用户执行距离测量。由此，距离测量模块11测量到诸如用户的面部、手、手指的目标的距离信息(测量距离)，并输出该距离信息。
成像装置12布置在智能手机1的正面，以智能手机1的用户为对象进行成像，获取用户的图像。注意，虽然未示出，但是成像装置也布置在智能电话1的背面上。
显示器13显示通过由应用程序、操作系统等执行的处理而生成的操作图像、由成像装置12捕获的图像等。触摸传感器13T叠加在显示器13的上表面上，并且触摸传感器13T检测显示器13上被用户触摸的位置，并将该位置输出到传感器集线器19。
通信模块14经由诸如通过移动电话网络或公共无线通信网络的通信(呼叫)的预定网络、或诸如无线LAN或蓝牙(注册商标)的短程无线通信来执行通信。
传感器单元15例如包括诸如加速度传感器、陀螺仪传感器、大气压力传感器以及地磁传感器中的一个或多个预定传感器，并且将每个传感器的检测结果输出到传感器集线器19。
扬声器16例如在使用智能电话1进行呼叫时输出对方的语音。麦克风17收集用户的语音，例如，当使用智能电话1进行呼叫时。
操作按钮18包括诸如电源按钮以及音量按钮中的一个或多个按钮，以检测用户的按压操作，并且将该按压操作输出到传感器集线器19。
传感器集线器19始终监测诸如触摸传感器13T、传感器单元15的每个传感器和操作按钮18的传感器装置、并检测智能手机1的操作和智能手机1的预定状态。传感器集线器19是与AP 20分开设置的运算装置(CPU)，以便即使在常开状态下操作也需要较少的功率，从而实现对传感器装置的持续监测。
AP 20是执行存储在未示出的存储单元中的应用程序和操作系统的运算装置，并且包括微处理器、图形处理单元(GPU)等。
电源单元21包括例如电池和电源控制电路等，并且向智能电话1的每个单元(电路)供电，检测剩余电压，并且累积(充电)必要的电力。
在如上所述配置的一些智能电话1中，可以执行认证用户面部的面部认证处理。例如，当屏幕锁定被解锁时，面部认证处理被用于用户认证。在执行面部认证处理的情况下，首先，执行检测用户的检测处理，诸如检测用户是否在智能电话1前方的适当距离处。检测处理可以由执行面部认证处理的AP 20执行；然而，智能电话1的距离测量模块11也被设计为能够执行检测处理。
下面将详细描述安装在智能电话1上的距离测量模块11的检测功能。
<2.距离测量模块的示意性配置示例>
图2是示出距离测量模块11的详细配置示例的框图。注意，图2还示出了与距离测量模块11的检测处理相关的智能电话1的其他框。
距离测量模块11是通过间接ToF方法执行距离测量的距离测量模块，并且包括发光单元41、发光控制单元42和距离测量传感器43。
距离测量模块11用光照射对象，接收由对象对光(照射光)的反射而获得的光(反射光)，由此生成并输出作为到对象的距离信息的深度图(距离图像)、以及作为亮度信息的可靠性图(可靠性图像)。
距离测量传感器43包括光接收单元51和信号处理单元52。距离测量传感器43可以被制造为单芯片半导体封装(CSP)，其包括层叠第一半导体基板和第二半导体基板的层叠基板，像素阵列单元布置在具有输入反射光的入射表面的第一半导体基板上，并且作为信号处理单元52的逻辑电路、存储器电路等布置在第二半导体基板上。注意，当然，距离测量传感器43可以包括两个或更多个分开的芯片，或者可以包括单芯片半导体封装(CSP)，其包括三个或更多个半导体基板的层叠基板。
发光单元41包括例如作为光源的红外激光二极管等，根据由发光控制单元42执行的控制，在与由发光控制单元42提供的发光控制信号相对应的定时执行调制的同时发射光，并且用照射光照射对象。
发光控制单元42通过向发光单元41提供用于在使光源发光时控制频率(例如，20MHz等)和发光量的发光控制信号来控制从发光单元41发射的光。此外，发光控制单元42还向光接收单元51提供发光控制信号，以便光接收单元51根据发光单元41的发光定时来驱动。
光接收单元51接收由对象对照射光的反射而获得的反射光。然后，光接收单元51包括像素阵列单元，其中，像素在行方向和列方向上以矩阵二维地布置，每个像素根据接收的光量产生电荷并且输出根据电荷的信号，并且每个像素向信号处理单元52输出通过将根据接收的光量的电荷分配到第一抽头和第二抽头而获得的光接收信号A和光接收信号B。稍后将参照图3至图7详细描述光接收单元51的光接收操作。
信号处理单元52包括控制单元61、深度计算单元62和检测处理单元63。
如果在传感器单元15、操作按钮18、触摸传感器13T等中检测到作为用于开始检测处理的触发器的预定操作，则传感器集线器19将用于开始距离测量的开始命令提供给距离测量传感器43的控制单元61。作为开始检测处理的触发器的操作的示例包括移动从作为传感器单元15之一的惯性传感器(陀螺仪传感器、加速度传感器)提供的智能手机1的操作，按下作为操作按钮18之一的电源按钮的操作、以及开始由触摸传感器13T检测到的预定应用程序的操作。
如果从传感器集线器19提供距离测量开始命令，则控制单元61指示发光控制单元42开始发光。控制单元61可以指定预定频率和发光量，使得基于从光接收单元51提供的光接收信号适当地调节(控制曝光)曝光量。另外，在不从光接收单元51供给光接收信号的初始状态下，设置预先确定的频率和发光量作为初始值。
此外，控制单元61从预先注册的多个操作模式当中选择预定的操作模式，使检测处理单元63执行与所选择的操作模式相对应的预定的检测处理。例如，通过来自传感器集线器19的命令等来指定操作模式，或者通过连接到传感器集线器19的输入/输出端子的高或低电压信号来指定操作模式。因此，控制单元61检测由传感器集线器19指定的操作模式，并选择所检测的操作模式。
深度计算单元62从光接收单元51提供的每个像素的两个光接收信号A和B生成深度图和可靠性图。更具体地，深度计算单元62针对光接收单元51的每个像素计算深度值，该深度值是从距离测量模块11到对象的距离。然后，深度计算单元62生成深度图，其中，深度值被存储为每个像素的像素值。此外，深度计算单元62还针对光接收单元51的每个像素计算所计算的深度值的可靠性，并且生成将可靠性存储为每个像素的像素值的可靠性图。
检测处理单元63根据由控制单元61指定的操作模式，通过使用作为距离信息的深度图和作为亮度信息的可靠性图中的至少一个来执行预定的检测处理。然后，检测处理单元63将检测处理的结果以及深度图和可靠性图输出到传感器集线器19。
在控制单元61的控制下，检测处理单元63根据操作模式变更检测处理的类型(处理内容)、次序(顺序)、数量等。即，控制单元61根据操作模式，使检测处理单元63执行在类型(处理内容)、次序(顺序)、数量等方面不同的预定的检测处理。检测处理的细节将在后面描述。
将输出到传感器集线器19的检测处理的结果、深度图和可靠性图提供给AP 20。AP20基于深度图和可靠性图执行人脸认证处理。
<3.通过间接ToF方法进行的距离测量传感器的距离测量操作>
在说明距离测量传感器43的检测功能之前，将参照图3至图7描述作为前提的距离测量传感器43的距离测量操作。
图3示出了光接收单元51的详细配置示例。
光接收单元51包括像素阵列单元72和驱动控制电路73，在像素阵列单元72中，像素71在行方向和列方向上以矩阵二维地布置，每个像素根据接收的光量产生电荷并且输出根据电荷的信号，驱动控制电路73布置在像素阵列单元72的外围区域中。
驱动控制电路73基于例如从发光控制单元42提供的发光控制信号，输出用于控制像素71的驱动的控制信号(例如，将在后面描述的分配信号DIMIX、选择信号地址解码(ADDRESS DECODE)、复位信号RST等)。
像素71包括光电二极管81，以及检测由光电二极管81光电转换的电荷的第一抽头82A和第二抽头82B。在像素71中，在一个光电二极管81中产生的电荷被分配给第一抽头82A或第二抽头82B。然后，在光电二极管81中产生并分配给第一抽头82A的电荷作为光接收信号A从信号线83A输出，并且在光电二极管81中产生并分配给第二抽头82B的电荷作为光接收信号B从信号线83B输出。
第一抽头82A包括传输晶体管91A、浮动扩散(FD)单元92A、选择晶体管93A和复位晶体管94A。类似地，第二抽头82B包括传输晶体管91B、FD单元92B、选择晶体管93B和复位晶体管94B。
将描述像素71的操作。
如图4所示，发光单元41输出被调制的照射光，以在照射时间T(一个周期＝2T)重复照射的接通/断开，并且光电二极管81以与到对象的距离相对应的延迟时间ΔT的延迟接收反射光。此外，分配信号DIMIX_A控制传输晶体管91A的接通/断开，并且分配信号DIMIX_B控制传输晶体管91B的接通/断开。分配信号DIMIX_A是与照射光具有相同相位的信号，并且分配信号DIMIX_B具有通过反转分配信号DIMIX_A的相位而获得的相位。
因此，在图3中，通过光电二极管81接收反射光而产生的电荷在传输晶体管91A根据分配信号DIMIX_A接通的同时传输到FD单元92A，并且在传输晶体管91B根据分配信号DIMIX_B接通的同时传输到FD单元92B。因此，在以照射光周期性地进行照射时间T的照射的预定期间内，经由传输晶体管91A传输的电荷顺序累积在FD单元92A中，并且经由传输晶体管91B传输的电荷顺序累积在FD单元92B中。
然后，在用于累积电荷的时段结束之后如果根据选择信号ADDRESS DECODE_A接通选择晶体管93A，则经由信号线83A读取在FD单元92A中累积的电荷，并且从光接收单元51输出与电荷量相对应的光接收信号A。类似地，如果根据选择信号ADDRESS DECODE_B接通选择晶体管93B，则经由信号线83B读取累积在FD单元92B中的电荷，并且从光接收单元51输出与电荷量相对应的光接收信号B。此外，如果根据复位信号RST_A接通复位晶体管94A，那么累积在FD单元92A中的电荷被放电，并且如果根据复位信号RST_B接通复位晶体管94B，那么累积在FD单元92B中的电荷被放电。
如上所述，像素71根据延迟时间ΔT将由光电二极管81接收的反射光产生的电荷分配给第一抽头82A或第二抽头82B，并输出光接收信号A和光接收信号B。然后，延迟时间ΔT对应于从发光单元41发射的光飞行到对象、被对象反射、然后飞行到光接收单元51所花费的时间，即对应于到对象的距离。因此，距离测量模块11可以基于光接收信号A和光接收信号B根据延迟时间ΔT获得到对象的距离(深度值)。
然而，在像素阵列单元72中，存在这样的情况：由于包括在每个像素71中的诸如光电二极管81的每个元件和诸如传输晶体管91的像素晶体管的特性的偏差(灵敏度差异)，对于每个像素71，光接收信号A和光接收信号B受到不同的影响。因此，在间接ToF方法的距离测量模块11中，采用了通过获取通过改变同一像素71中的相位接收反射光而获得的光接收信号A和光接收信号B来消除每个像素的抽头之间的灵敏度差异并提高SN比的技术。
作为通过改变相位来接收反射光并计算深度值的方法，例如，将描述使用两个相位的检测方法(2相位法)和使用四个相位的检测方法(4相位法)。
如图5所示，光接收单元51在光接收定时相对于照射光的照射定时相移0°、90°、180°和270°的情况下接收反射光。更具体地，光接收单元51通过以时分方式改变相位来接收反射光，使得在特定帧周期中，以相对于照射光的照射定时被设置为0°的相位接收光，在下一帧周期中，以被设置为90°的相位接收光，在下一帧周期中，以被设置为180°的相位接收光，并且在下一帧周期中，以被设置为270°的相位接收光。
图6是以可以容易理解相位差的方式布置像素71的第一抽头82A的曝光时段的0°、90°、180°和270°的各个相位的图。
如图6所示，在第一抽头82A中，通过接收与照射光相同相位(相位0°)的光而获得的光接收信号A被称为光接收信号A0，通过接收从照射光相移90°的相位(相位90°)的光而获得的光接收信号A被称为光接收信号A90，通过接收从照射光相移180°的相位(相位180°)的光而获得的光接收信号A被称为光接收信号A180，通过接收从照射光相移270°的相位(相位270°)的光而获得的光接收信号A被称为光接收信号A270。
此外，尽管省略了图示，但是在第二抽头82B中，通过接收与照射光相同相位(相位0°)的光而获得的光接收信号B被称为光接收信号B0，通过接收从照射光相移90°的相位(相位90°)的光而获得的光接收信号B被称为光接收信号B90，通过接收从照射光相移180°的相位(相位180°)的光而获得的光接收信号B被称为光接收信号B180，通过接收从照射光相移270°的相位(相位270°)的光而获得的光接收信号B被称为光接收信号B270。
图7是示出使用2相位法和4相位法计算深度值和可靠性的方法的图。
在间接ToF方法中，深度值d可通过下式(1)获得。
[数学表达式1]
在式(1)中，c表示光速，ΔT表示延迟时间，f表示光的调制频率。此外，式(1)中的表示反射光的相移量[rad]，并且由下式(2)表示。
[数学表达式2]
在4相位法中，使用通过将相位设置为0°、90°、180°和270°而获得的光接收信号A0至A270和光接收信号B0至B270，通过下式(3)来计算式(2)中的I和Q。I和Q是通过假设照射光的亮度变化是cos波并且将该cos波的相位从极坐标转换到正交坐标系(IQ平面)而获得的信号。
I＝c0-c180＝(A0-B0)-(A180-B180)
Q＝c90-c270＝(A90-B90)-(A270-B270)
…………(3)
在4相位法中，例如，通过取同一像素中相反相位的光接收信号之间的差，例如公式(3)中的“A0-A180”和“A90-A270”，可以去除存在于每个像素中的抽头之间的特征变化，即，固定模式噪声。
相反，在2相位法中，通过仅使用光接收信号A0至A270和通过将相位设置为0°、90°、180°和270°而获得的光接收信号B0至B270之间的正交关系中的两个相位，可以获得对象的深度值d。例如，在使用相位为0°的光接收信号A0和B0以及相位为90°的光接收信号A90和B90的情况下，式(2)中的I和Q由下式(4)表示。
I＝c0-c180＝(A0-B0)
Q＝c90-c270＝(A90-B90)…………(4)
例如，在使用相位为180°的光接收信号A180和B180以及相位为270°的光接收信号A270和B270的情况下，式(2)中的I和Q由下式(5)表示。
I＝c0-c180＝-(A180-B180)
Q＝c90-c270＝-(A270-B270)…………(5)
在2相位法中无法消除每个像素中存在的抽头之间的特征变化；然而，只有通过两相位的光接收信号才能获得到对象的深度值d。因此，可以以4相位法的两倍的帧速率进行距离测量。可以通过诸如增益或偏移的校正参数来调整抽头之间的特性变化。
在2相位法和4相位法中，可靠性cnf可通过下式(6)获得。
[数学表达式3]
在本实施例中，距离测量模块11使用与通过4相位法计算的延迟时间ΔT相对应的I信号和Q信号，还是与通过2相位法计算的延迟时间ΔT相对应的I信号和Q信号，以使用深度值d和可靠性cnf是无关紧要的。可以固定地使用4相位法或2相位法，或者例如，可以使用根据对象的运动适当地选择4相位法或2相位或者混合4相位法和2相位的方法等。在下文中，为了简单起见，假设采用4相位法。
<4.根据操作模式的检测处理>
检测处理单元63根据从多个操作模式当中选择的当前的操作模式，使用从深度计算单元62提供的深度图以及可靠性图中的至少一者来执行预定的检测处理，并且将检测处理的结果以及深度图和可靠性图输出到传感器集线器19。
图8示出在多个操作模式当中的预定的操作模式中执行的特定检测处理。注意，四种操作模式，即图8所示的操作模式A至D是信号处理单元52的操作模式的示例，并且信号处理单元52具有另外的操作模式。
检测处理单元63可以将例如接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理中的每一个作为使用深度图以及可靠性图中的至少一个的检测处理执行。接近检测处理是检测在距智能手机1的预定距离内是否存在对象(附近对象)的处理。注意，关于面部认证处理的预处理，即使接近检测处理的原始目标是用户的面部(头部)，在接近处理中，如果在远离智能电话1的附近位置处存在预定对象(附近对象)，包括但不限于人脸，则确定存在附近对象。头部检测处理是检测用户(人)头部的处理。面部检测处理是检测用户面部的处理。该瞳孔检测处理是检测用户的眼睛和视线的处理。
操作模式A中的检测处理是顺序执行接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理，并且在检测目标被先前执行的第一检测处理中被检测到的情况下按顺序重复执行更后面的第二检测处理的处理然后，在最后的处理即瞳孔检测处理中检测到作为检测目标的瞳孔的情况下，将瞳孔的检测结果以及深度图和可靠性图输出到传感器集线器19。
与操作模式A类似，操作模式B中的检测处理是这样的处理：按顺序执行接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理，并且在检测目标在先前执行的第一检测处理中被检测到的情况下，按顺序重复执行更后面的第二检测处理的处理。操作模式B中的检测处理与操作模式A中的检测处理的不同之处在于，在每个检测处理中检测到检测目标的情况下，检测结果被输出到传感器集线器19。然后，在最后的处理即瞳孔检测处理中检测到作为检测目标的瞳孔的情况下，将瞳孔的检测结果以及深度图和可靠性图输出到传感器集线器19。
操作模式C中的检测处理是仅执行在操作模式B中执行的四个检测处理中的接近检测处理和头部检测处理的处理。在接近处理中在附近位置处检测到用户的情况下，将检测结果输出到传感器集线器19，并且在更后面的处理的头部检测处理中检测到头部的情况下，将检测结果、深度图和可靠性图输出到传感器集线器19。
注意，操作模式C中的检测处理是执行接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理这四个检测处理当中的两个处理即接近检测处理和头部检测处理的处理；然而，检测处理单元63还具有执行检测处理的另外的操作模式，在该另外的操作模式中，四个检测处理当中的一个或多个以任意次序组合。例如，检测处理单元63还具有仅执行接近处理并将检测结果、深度图和可靠性图输出到传感器集线器19的操作模式，以及按顺序执行接近处理和面部检测处理的操作模式，并且在检测到用户在附近位置的情况下，将检测结果输出到传感器集线器19并且然后执行面部检测处理，并且在检测到面部的情况下，将检测结果、深度图和可靠性图输出到传感器集线器19等。
与操作模式A类似，操作模式D的检测处理是按顺序执行接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理的处理。操作模式D的检测处理与操作模式A的检测处理的不同之处在于，将先前执行的第一检测处理的检测结果输出到传感器集线器19，并且当基于第一检测处理的检测结果从传感器集线器19指示第二检测处理时，执行作为更后面的处理的第二检测处理。然后，在最后的处理即瞳孔检测处理中检测到瞳孔的情况下，将瞳孔检测结果、深度图和可靠性图输出到传感器集线器19。
操作模式的检测处理包括接近检测处理、头部检测处理、面部检测处理以及瞳孔检测处理中的至少一者。在任何操作模式的检测处理中，在根据操作模式的一系列检测处理中的最后一个检测处理成功的情况下(检测到检测目标)，将检测结果、深度图和可靠性图输出到传感器集线器19。
图9是说明接近检测处理的具体处理示例的图。
注意，在本实施例中，假设光接收单元51的像素阵列单元72的像素阵列为在水平方向具有640个像素和在垂直方向具有480个像素。此外，假设在执行检测处理时使用的深度图和可靠性图基于光接收信号而生成，该光接收信号中，基于用于控制频率和发光量的发光控制信号，在光接收单元51中适当地调整曝光量(控制曝光)。
在接近检测处理中，检测处理单元63将所有640×480像素分组为32×24块，在水平方向和垂直方向上每个块包括20个像素。然后，检测处理单元63将所有32×24块当中的一个预定块确定为检测目标块。检测目标块例如是位于像素阵列单元72的中心的块。
接着，检测处理单元63计算构成检测目标块的20×20像素的深度值d的平均值d_ave和可靠性cnf的平均值cnf_ave。然后，在深度值的平均值d_ave处于被确定为接近距离的预定范围内并且可靠性cnf的平均值cnf_ave处于被确定为正常检测的预定范围内的情况下，检测处理单元63检测到用户处于距智能电话1的附近位置。例如，假设在人手持智能手机1并且拍摄他/她自己的图像的情况下的距离最大为约70cm，则可以确定该距离是在深度值的平均值d_ave在70cm以内的情况下的接近距离。
图10是说明头部检测处理的具体处理示例的图。
在头部检测处理中，检测处理单元63计算所有32×24块的可靠性cnf的平均值cnf_ave，并基于所计算的所有块的可靠性cnf的平均值cnf_ave来检测用户的头部。由于可靠性cnf对应于亮度信息(亮度值)，例如，32×24块的可靠性cnf的平均值cnf_ave可以被认为是低分辨率二维图像，并且可以以模式匹配的方式检测用户的头部。
图11是说明面部检测处理的具体处理示例的图。
在人脸检测处理中，检测处理单元63将所有640×480像素分组为320×240块，每个块包括水平方向和垂直方向上的两个像素。然后，检测处理单元63计算所有320×240块的可靠性cnf的平均值cnf_ave，并基于所计算的所有块的可靠性cnf的平均值cnf_ave检测用户的面部。例如，类似于头部检测处理，对于用户的面部，所有320×240块的可靠性cnf的平均值cnf_ave被认为是低分辨率二维图像，并且在以模式匹配的方式检测到用户的面部、眼睛和嘴的情况下，可以确定检测到用户的面部。
图12是示出瞳孔检测处理的具体处理示例的图。
在瞳孔检测处理中，检测处理单元63通过按原样使用所有640×480像素的可靠性cnf的平均值cnf_ave来检测用户的瞳孔。对于用户的瞳孔，例如，类似于面部检测处理，在以模式匹配的方式检测面部的眼睛的位置的附近并且检测到用户的眼睛睁开并且指向预定方向的状态的情况下，可以确定检测到用户的瞳孔。
如上所述，例如，在四个检测处理作为一系列检测处理按顺序(即，接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理)执行的情况下，检测处理单元63可以通过将被认为是二维图像的深度图或可靠性图的分辨率设置为使分辨率随着处理进行到更后面的检测处理而变得更高，来执行检测处理。因此，能够平衡检测处理的精度(高精度)和处理时间(高速处理时间)。
注意，尽管省略了图示，但是对于距离测量传感器43，自然地准备了用于在不执行检测处理的情况下基于每个像素的光接收信号仅生成和输出深度图和可靠性图的操作模式。
<操作模式B中的深度测量处理>
接下来，将参照图13的流程图描述在图8的操作模式B被设置为操作模式的情况下由距离测量模块11执行的深度测量处理。例如，当从传感器集线器19提供距离测量开始命令时，该处理开始。
首先，在步骤S11中，信号处理单元52的控制单元61指示发光控制单元42开始发光，并且设置由传感器集线器19指定的操作模式。如果指示发光控制单元42开始发光，则发光控制单元42向发光单元41提供用于在使光源发光时控制频率和发光量的发光控制信号。发光单元41在与从发光控制单元42提供的发光控制信号相对应的定时执行调制的同时发光，并且用照射光照射对象。
在步骤S12中，光接收单元51执行接收并光电转换被对象反射的光(反射光)的光电转换处理，并且将通过将电荷分配到像素阵列单元72的每个像素71中的第一抽头82A和第二抽头82B而获得的光接收信号A和光接收信号B输出到信号处理单元52的深度计算单元62。
在步骤S13中，深度计算单元62从光接收单元51的像素阵列单元72提供的每个像素71的两个光接收信号A和B生成深度图和可靠性图。将所生成的深度图和可靠性图提供给检测处理单元63。
在步骤S14中，检测处理单元63执行检测用户是否在智能手机1的附近位置的接近检测处理。
然后，在步骤S15中，检测处理单元63基于接近检测处理的执行结果来确定是否检测到附近对象。在步骤S15中确定未检测到附近对象的情况下，返回步骤S12。
另一方面，在步骤S15中确定检测到附近对象的情况下，处理进行到步骤S16，并且检测处理单元63将接近检测结果输出到传感器集线器19，并且处理进行到步骤S17。
在步骤S17中，检测处理单元63执行检测用户的头部的头部检测处理。
然后，在步骤S18中，检测处理单元63基于头部检测处理的执行结果来确定是否检测到头部。在步骤S18中确定未检测到头部的情况下，返回步骤S12。
另一方面，在步骤S18中确定检测到头部的情况下，处理进行到步骤S19，检测处理单元63将头部检测结果输出到传感器集线器19，处理进行到步骤S20。
在步骤S20中，检测处理单元63执行检测用户面部的面部检测处理。
然后，在步骤S21中，检测处理单元63基于面部检测处理的执行结果来确定是否检测到面部。在步骤S21中确定未检测到面部的情况下，返回步骤S12。
另一方面，在步骤S21中确定检测到面部的情况下，处理进行到步骤S22，检测处理单元63将面部检测结果输出到传感器集线器19，处理进行到步骤S23。
在步骤S23中，检测处理单元63执行检测用户的眼睛和视线的瞳孔检测处理。
然后，在步骤S24中，检测处理单元63基于瞳孔检测处理的执行结果来确定是否检测到瞳孔。在步骤S24中确定未检测到瞳孔的情况下，处理返回步骤S12。
相反，在步骤S24中确定检测到瞳孔的情况下，处理进行到步骤S25，并且检测处理单元63将瞳孔检测结果以及深度图和可靠性图输出到传感器集线器19，并且处理终止。
如上所述执行在操作模式B被设置为操作模式的情况下的深度测量处理。
注意，在将操作模式A设置为操作模式的情况下的深度测量处理对应于在除了瞳孔检测处理之外的各个检测处理中输出检测结果的处理，即最后的处理，具体地，在图13的深度测量处理中省略步骤S16、S19和S22。
<操作模式D中的深度测量处理>
接下来，将参考图14的流程图来描述在图8的操作模式D被设置为操作模式的情况下由距离测量模块11执行的深度测量处理。例如，当从传感器集线器19提供距离测量开始命令时，该处理开始。
操作模式D中的深度测量处理等于将步骤S47、S51和S55中的处理添加到图13所示的操作模式B中的深度测量处理的处理。
更具体地，在对应于图13中的步骤S16的图14中的步骤S46和对应于图13中的步骤S17的图14中的步骤S48之间添加步骤S47，在对应于图13中的步骤S19的图14中的步骤S50和对应于图13中的步骤S20的图14中的步骤S52之间添加步骤S51，以及在对应于图13中的步骤S22的图14中的步骤S54和对应于图13中的步骤S23的图14中的步骤S56之间添加步骤S55。
在步骤S47中，在步骤S46中将接近检测结果输出到传感器集线器19之后，检测处理单元63确定是否从传感器集线器19指示头部检测。在步骤S47中确定未指示头部检测的情况下，处理返回步骤S42。另一方面，在步骤S47中确定为指示了头部检测的情况下，处理进行到步骤S48，执行头部检测处理。
在步骤S51中，在步骤S50中将头部检测结果输出到传感器集线器19之后，检测处理单元63确定是否从传感器集线器19指示面部检测。在步骤S51中确定未指示面部检测的情况下，处理返回步骤S42。另一方面，在步骤S51中确定为指示了面部检测的情况下，处理进行到步骤S52，执行面部检测处理。
在步骤S55中，在步骤S54中将接近检测结果输出到传感器集线器19之后，检测处理单元63确定是否从传感器集线器19指示瞳孔检测。在步骤S55中确定未指示瞳孔检测的情况下，处理返回步骤S42。另一方面，在步骤S55中确定为指示了瞳孔检测的情况下，处理进行到步骤S56，执行瞳孔检测处理。
如上所述，设置操作模式D的情况下的深度测量处理与设置操作模式B的情况下的深度测量处理的不同之处在于，基于来自传感器集线器19的执行更后面的检测处理的指令来执行更后面的检测处理。
注意，在图13和图14的深度测量处理中，在直到瞳孔检测的处理最终不成功的情况下，采用无限地继续深度测量处理的过程。然而，实际上，例如，并入了在个别检测处理在一定时段内不成功的情况下终止深度测量处理的错误处理。
<5.距离测量传感器的效果>
将参考图15描述具有检测功能的距离测量传感器43的效果。
如图15的A所示，一般的距离测量传感器仅生成深度图和可靠性图，并将深度图和可靠性图作为距离测量数据输出。在这种情况下，AP 20基于深度图和可靠性图执行接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理，并且在瞳孔检测处理成功的情况下执行面部认证处理。在瞳孔检测处理成功之前，需要在获取大量深度图和可靠性图的同时重复执行瞳孔检测处理，并且AP 20是需要大电量的装置。因此，智能手机1所需的电量也增加。
相反，根据应用了本技术的距离测量传感器43，如图15的B所示，不仅可以生成深度图和可靠性图，而且可以执行接近检测处理、头部检测处理、面部检测处理和瞳孔检测处理，并且仅在瞳孔检测处理成功并且可以准确地区分面部的情况下，将瞳孔检测结果、深度图和可靠性图输出到AP 20。因此，AP 20被激活并且执行面部认证处理。
结果，与作为面部认证处理所需的预处理的检测处理由AP 20执行的情况相比，可以抑制AP的不必要的激活，并且可以减少智能电话1所需的电量。
除了如上所述的智能电话之外，上述距离测量模块11可以安装在例如电子设备上，诸如平板终端、移动电话、个人计算机、游戏控制台、电视接收机、可穿戴终端、数字静态相机或数字视频相机。
<6.应用于移动对象的应示例>
根据本公开内容的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动车辆、飞机、无人机、船舶和机器人的任何类型的移动对象上的装置。
图16是示出作为可以应用根据本公开的技术的移动对象控制系统的示例的车辆控制系统的示意性配置示例的框图。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图16所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、音频图像输出单元12052以及车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于产生诸如内燃机或驱动电动机的车辆的驱动力的驱动力产生装置、用于将驱动力传输到车轮的驱动力传输机构、用于调节车辆的转向角的转向机构，以及用于产生车辆的制动力的制动装置的控制装置。
车身系统控制单元12020根据各种程序控制设置在车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或各种灯(诸如前灯、倒车灯、刹车灯、闪光灯或雾灯)的控制装置。在这种情况下，可以向车身系统控制单元12020输入从便携式机器传输的替代按键的各种开关的无线电波或信号。车身系统控制单元12020接收这些无线电波或信号的输入并控制车辆的门锁装置、电动窗装置、灯等。
车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部的信息。例如，成像单元12031连接到车外信息检测单元12030。车外信息检测单元12030使成像单元12031捕获车外的图像，并接收所捕获到的图像。车外信息检测单元12030可以基于所接收的图像执行检测诸如人、车、障碍物、标志、路面上的特征等的对象的处理或距离检测处理。
成像单元12031是接收光并且根据光的光接收量输出电信号的光学传感器。成像单元12031可以输出电信号作为图像或者可以输出电信号作为距离测量的信息。此外，由成像单元12031接收的光可以是可见光或诸如红外光的不可见光。
车内信息检测单元12040检测车内的信息。例如，检测驾驶员的状况的驾驶员状况检测器12041连接到车内信息检测单元12040。驾驶员状况检测器12041例如包括捕获驾驶员的图像的相机，并且车内信息检测单元12040可以基于从驾驶员状况检测器12041输入的检测信息来计算驾驶员的疲劳程度或集中程度，或者可以做出关于驾驶员是否打瞌睡的判断。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040取得的车辆内外的信息，对驱动力产生装置、转向机构或制动装置的控制目标值进行运算，并向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以执行协调控制，以实现包括车辆的碰撞避免或冲击减轻、基于车间距离的跟随行驶、维持车速的行驶、车辆碰撞警告、车道偏离警告等的高级驾驶员辅助系统(ADAS)的功能为目的。
此外，微型计算机12051能够通过基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆周围信息来控制驱动力产生装置、转向机构、制动装置等，从而进行以不依赖驾驶员的操作而自主行驶的自动驾驶等为目的协调控制。
此外，微型计算机12051可以基于由车外信息检测单元12030获得的车外信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以通过根据由车外信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置来控制前灯，来执行针对防眩光的协调控制，例如从远光切换到近光。
音像输出单元12052将音频以及图像中的至少一个的输出信号传输到能够在视觉上或听觉上向乘客或车辆外部通知信息的输出装置。在图16的示例中，音频扬声器12061、显示单元12062和仪表板12063被示为输出装置的示例。例如，显示单元12062可以包括车载显示器或平视显示器中的至少一个。
图17是示出成像单元12031的安装位置的示例的图。
在图17中，车辆12100包括成像单元12101、12102、12103、12104和12105作为成像单元12031。
例如，成像单元12101、12102、12103、12104、12105设置在诸如车辆12100的车厢的前鼻、侧镜、后保险杠、后门和挡风玻璃的上部的位置处。设置在前鼻上的成像单元12101和设置在车厢内的挡风玻璃上部上的成像单元12105主要获取车辆12100前方的图像。设置在侧镜上的成像单元12102、12103主要获取车辆12100的横向侧的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后面的图像。成像单元12101、12105获取的前方图像主要用于检测前方车辆、行人、障碍物、红绿灯、交通标志、车道等。
注意，图17示出了成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻上的成像单元12101的成像范围，成像范围12112、12113分别指示设置在侧镜上的成像单元12102、12103的成像范围，并且成像范围12114指示设置在后保险杠或后门上的成像单元12104的成像范围。例如，通过将由成像单元12101至12104捕获到的图像数据重叠，可以获得从上方观察的车辆12100的鸟瞰图。
成像单元12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机、或者具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以基于从成像单元12101到12104获得的距离信息，通过确定到成像范围12111到12114中的每个立体对象的距离和该距离的时间变化(相对于车辆12100的相对速度)，特别地提取在车辆12100的行驶道路上的最近的立体对象，该立体对象在与车辆12100中基本相同的方向上以预定速度(例如，0km/h或更大)行驶，作为前车。另外，微型计算机12051可以设置确保在先行车的后方的车间距离，能够进行自动制动控制(包括追随停止控制)、自动加速控制(包括追随起步控制)等。如上所述，可以不依赖于驾驶员的操作而针对自主行驶的自动驾驶等进行协调控制。
例如，基于从成像单元12101至12104获得的距离信息，微型计算机12051可以将与立体对象相关的立体对象数据分类为两轮车辆、普通车辆、大型车辆、行人、电线杆和其他立体对象，并且提取它们以便能够将它们用于自动避障。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可见的障碍物和车辆12100的驾驶员几乎不可见的障碍物。然后，微型计算机12051判断表示与每个障碍物碰撞的危险程度的碰撞危险，并且在存在与等于或大于设置值的碰撞危险碰撞的可能性的情况下，微型计算机12051可以通过经由音频扬声器12061或显示单元12062向驾驶员输出警报或者经由驱动系统控制单元12010执行强制减速或避免转向来执行用于碰撞避免的驱动支持。
成像单元12101至12104中的至少一个可以是检测红外光的红外相机。例如，微型计算机12051可以通过判断在由成像单元12101至12104捕获的图像中是否存在行人来识别行人。例如，根据用于提取由作为红外相机的成像单元12101至12104捕获的图像中的特征点的程序，以及用于对指示对象的轮廓的一系列特征点执行模式匹配处理以判断对象是否是行人的程序，来执行这种行人识别。在微型计算机12051判断出在成像单元12101至12104的捕获图像中存在行人并且识别出该行人的情况下，音频图像输出单元12052使显示单元12062显示用于强调的方形轮廓，以与识别出的行人重叠。此外，音频图像输出单元12052可以使显示单元12062在期望位置显示指示行人的图标等。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以应用于上述配置中的车内信息检测单元12040或驾驶员状况检测器12041。具体地，通过使用由距离测量模块11执行的深度测量处理作为车内信息检测单元12040或驾驶员状况检测器12041来在执行驾驶员的面部识别处理之前执行各种类型的检测处理，可以准确地执行稍后将执行的面部识别处理，并且可以更准确地检测驾驶员的状况。
注意，本技术可以应用于幅度调制投影到对象上的光的方法，其在间接ToF方法中被称为连续波方法。此外，光接收单元51的光电二极管81的结构还可以应用于具有电流辅助光子解调器(CAPD)结构的距离测量传感器。此外，本技术可以应用于结构光方法的距离测量传感器。
本技术的实施例不限于上述实施例，在不脱离本技术的范围的情况下可以进行各种修改。
本说明书中描述的多个现有技术中的每一个可以独立地实现，只要不存在矛盾。不必说可以组合实现多个任意的当前技术。例如，在任何实施例中描述的本技术的部分或整体可以结合在另一个实施例中描述的本技术的部分或整体来实现。此外，可以结合上面未描述的另一技术来实现上面描述的任意现有技术的部分或整体。
此外，例如，可以将被描述为一个装置(或处理单元)的配置划分并配置为多个装置(或处理单元)。相反，上文描述为多个装置(或处理单元)的配置可共同配置为一个装置(或处理单元)。此外，不用说可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置中。此外，如果系统的配置和操作作为整体基本上相同，则某个装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。
此外，在本说明书中，系统意味着一组多个组成部分(装置、模块(部件)等)，而不管所有组成部分是否在相同的情况下。因此，容纳在单独的壳体中并经由网络连接的多个装置中的每一个以及多个模块在一个壳体中的一个装置都是系统。
此外，例如，可以在任意装置中执行上述程序。在这种情况下，装置具有必要的功能(功能块等)并且可以获得必要的信息就足够了。
注意，本说明书中描述的效果仅仅是示例性的而非限制性的，并且可以具有本说明书中描述的效果之外的效果。
注意，可以如下配置本技术。
(1)
一种距离测量传感器，包括：
光接收单元，接收通过从预定的发光源发射的照射光被对象反射而获得的反射光；
深度计算单元，从光接收单元获得的信号计算到对象的距离信息和亮度信息；以及
检测处理单元，根据从多个操作模式当中选择的当前的操作模式，使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及距离信息和亮度信息输出到外部。
(2)
根据(1)的距离测量传感器，其中
多个操作模式当中的一个操作模式是用于执行包括第一检测处理和第二检测处理的多个检测处理的模式，并且
检测处理单元在检测目标在第一检测处理中被检测到的情况下执行第二检测处理，并且在检测目标在第二检测处理中被检测到的情况下将第二检测处理的结果以及距离信息和亮度信息输出到外部。
(3)
根据(2)的距离测量传感器，其中
在检测目标在第一检测处理中被检测到的情况下，检测处理单元将第一检测处理的结果输出到外部并执行第二检测处理。
(4)
根据(1)至(3)中任一项的距离测量传感器，其中
多个操作模式当中的一个操作模式是用于执行包括第一检测处理和第二检测处理的多个检测处理的模式，并且
检测处理单元在检测目标在第一检测处理中被检测到的情况下将第一检测处理的结果输出到外部，在从外部提供执行第二检测处理的指令时执行第二检测处理，并且在检测目标在第二检测处理中被检测到的情况下，将第二检测处理的结果以及距离信息和亮度信息输出到外部。
(5)
根据(1)至(4)中任一项的距离测量传感器，其中
多个操作模式当中的一个操作模式是用于按顺序执行多个检测处理的模式，并且
随着处理进行到更后面的检测处理，多个检测处理中的距离信息或亮度信息的分辨率变得更高。
(6)
根据(1)至(5)中任一项的距离测量传感器，其中
检测处理包括接近检测处理、头部检测处理、面部检测处理、以及瞳孔检测处理中的至少任一者。
(7)
根据(6)的距离测量传感器，其中
多个操作模式当中的一个操作模式是用于执行接近检测处理、头部检测处理、面部检测处理以及瞳孔检测处理中的任一者的模式。
(8)
根据(1)至(7)中任一项的距离测量传感器，还包括：
控制单元，从多个操作模式当中选择预定的操作模式，并使检测处理单元执行与当前的操作模式相对应的预定的检测处理。
(9)
一种信号处理方法，包括：
通过使用距离测量传感器，从通过接收反射光而获得的信号计算到对象的距离信息和亮度信息，该反射光通过从预定的发光源发射的照射光被对象反射而获得；并且
通过使用距离测量传感器，根据从多个操作模式当中选择的当前的操作模式，通过使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及距离信息和亮度信息输出到外部。
(10)
一种距离测量模块，包括：
发光单元，包括预定的发光源；以及
距离测量传感器，该距离测量传感器包括：
光接收单元，接收通过从预定的发光源发射的照射光被对象反射而获得的反射光；
深度计算单元，从光接收单元获得的信号计算到对象的距离信息和亮度信息；以及
检测处理单元，根据从多个操作模式当中选择的当前操作模式，使用距离信息以及亮度信息中的至少一者来执行预定的检测处理，并且将检测处理的结果以及距离信息和亮度信息输出到外部。
附图标记列表
1 智能电话
11 距离测量模块
15 传感器单元
19 传感器集线器
20 AP(应用处理器)
11 距离测量模块
41 发光单元
42 发光控制单元
43 距离测量传感器
51 光接收单元
52 信号处理单元
61 控制单元
62 深度计算单元
63 检测处理单元。

Claims (9)

1.一种距离测量传感器，包括：
光接收单元，接收通过从预定的发光源发射的照射光被对象反射而获得的反射光；
深度计算单元，从由所述光接收单元获得的信号计算亮度信息和到所述对象的距离信息；以及
检测处理单元，根据从多个操作模式当中选择的当前的操作模式，使用所述距离信息以及所述亮度信息中的至少一者来执行预定的检测处理，并且将所述检测处理的结果以及作为深度图的所述距离信息和作为可靠性图的所述亮度信息输出到外部，所述外部的应用处理器基于所述深度图和所述可靠性图执行认证处理，其中，
所述多个操作模式当中的第一操作模式是用于执行包括第一检测处理和第二检测处理的多个检测处理的模式，并且
所述检测处理单元在检测目标在所述第一检测处理中被检测到的情况下执行所述第二检测处理，并且在检测目标在所述第二检测处理中被检测到的情况下将所述第二检测处理的结果以及所述距离信息和所述亮度信息输出到所述外部，并且
所述检测处理单元还被配置为随着处理进行到随后的检测处理，使所述深度图或所述可靠性图的分辨率变得更高。
2.根据权利要求1所述的距离测量传感器，其中，
在所述检测目标在所述第一检测处理中被检测到的情况下，所述检测处理单元将所述第一检测处理的结果输出到所述外部并且执行所述第二检测处理。
3.根据权利要求1所述的距离测量传感器，其中，
所述多个操作模式当中的第二操作模式是用于执行包括第一检测处理和第二检测处理的多个检测处理的模式，并且
所述检测处理单元在检测目标在所述第一检测处理中被检测到的情况下将所述第一检测处理的结果输出到所述外部，在从所述外部提供执行所述第二检测处理的指令时执行所述第二检测处理，并且在检测目标在所述第二检测处理中被检测到的情况下，将所述第二检测处理的结果以及所述距离信息和所述亮度信息输出到所述外部。
4.根据权利要求1所述的距离测量传感器，其中，
所述多个操作模式当中的第三操作模式是用于按顺序执行多个检测处理的模式。
5.根据权利要求1所述的距离测量传感器，其中，
所述检测处理包括接近检测处理、头部检测处理、面部检测处理、以及瞳孔检测处理中的至少任一者。
6.根据权利要求5所述的距离测量传感器，其中，
所述多个操作模式当中的一个操作模式是用于执行所述接近检测处理、所述头部检测处理、所述面部检测处理、以及瞳孔检测处理中的任一者的模式。
7.根据权利要求1所述的距离测量传感器，还包括：
控制单元，从所述多个操作模式当中选择预定的操作模式，并且使所述检测处理单元执行与当前的操作模式相对应的预定的检测处理。
8.一种信号处理方法，包括：
通过使用距离测量传感器，从通过接收反射光而获得的信号计算亮度信息和到对象的距离信息，所述反射光通过从预定的发光源发射的照射光被所述对象反射而获得；并且
通过使用所述距离测量传感器，根据从多个操作模式当中选择的当前的操作模式，使用所述距离信息以及所述亮度信息中的至少一者来执行预定的检测处理，并且将所述检测处理的结果以及作为深度图的所述距离信息和作为可靠性图的所述亮度信息输出到外部，并且使用所述外部的应用处理器基于所述深度图和所述可靠性图执行认证处理，其中，
所述多个操作模式当中的一个操作模式是用于执行包括第一检测处理和第二检测处理的多个检测处理的模式，并且
检测处理单元在检测目标在所述第一检测处理中被检测到的情况下执行所述第二检测处理，并且在检测目标在所述第二检测处理中被检测到的情况下将所述第二检测处理的结果以及所述距离信息和所述亮度信息输出到所述外部，并且
随着处理进行到随后的检测处理，使用检测处理单元使所述深度图或所述可靠性图的分辨率变得更高。
9.一种距离测量模块，包括：
发光单元，包括预定的发光源；以及
距离测量传感器，所述距离测量传感器包括：
光接收单元，接收通过从预定的发光源发射的照射光被对象反射而获得的反射光；
深度计算单元，从由所述光接收单元获得的信号计算亮度信息和到所述对象的距离信息；以及
检测处理单元，根据从多个操作模式当中选择的当前的操作模式，使用所述距离信息以及所述亮度信息中的至少一者来执行预定的检测处理，并且将所述检测处理的结果以及作为深度图的所述距离信息和作为可靠性图的所述亮度信息输出到外部，所述外部的应用处理器基于所述深度图和所述可靠性图执行认证处理，其中，
所述多个操作模式当中的一个操作模式是用于执行包括第一检测处理和第二检测处理的多个检测处理的模式，并且
所述检测处理单元在检测目标在所述第一检测处理中被检测到的情况下执行所述第二检测处理，并且在检测目标在所述第二检测处理中被检测到的情况下将所述第二检测处理的结果以及所述距离信息和所述亮度信息输出到所述外部，并且
所述检测处理单元还被配置为随着处理进行到随后的检测处理，使所述深度图或所述可靠性图的分辨率变得更高。
CN202080039698.1A 2019-06-05 2020-05-22 距离测量传感器、信号处理方法和距离测量模块 Active CN113875214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-105015 2019-06-05
JP2019105015 2019-06-05
PCT/JP2020/020246 WO2020246264A1 (ja) 2019-06-05 2020-05-22 測距センサ、信号処理方法、および、測距モジュール

Publications (2)

Publication Number Publication Date
CN113875214A CN113875214A (zh) 2021-12-31
CN113875214B true CN113875214B (zh) 2024-04-05

Family

ID=73652829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039698.1A Active CN113875214B (zh) 2019-06-05 2020-05-22 距离测量传感器、信号处理方法和距离测量模块

Country Status (4)

Country Link
US (1) US20220214435A1 (zh)
CN (1) CN113875214B (zh)
TW (1) TWI757751B (zh)
WO (1) WO2020246264A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124059A1 (ja) * 2020-12-11 2022-06-16 ソニーセミコンダクタソリューションズ株式会社 測距装置
CN116074615B (zh) * 2023-03-07 2023-09-08 荣耀终端有限公司 摄像头控制方法、装置及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747586A (zh) * 2014-01-10 2014-04-23 惠州Tcl移动通信有限公司 移动终端及其照明亮度调节方法、装置
JP2015079416A (ja) * 2013-10-18 2015-04-23 株式会社キーエンス 光電センサ
CN104808213A (zh) * 2015-05-11 2015-07-29 合肥京东方光电科技有限公司 异物检测装置和涂布系统
CN104856663A (zh) * 2014-02-24 2015-08-26 三星电子株式会社 用于感测身体信息的设备和方法
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
CN109069008A (zh) * 2016-05-16 2018-12-21 索尼公司 光学设备和信息处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
JP2012117896A (ja) * 2010-11-30 2012-06-21 Saxa Inc 測距装置、侵入者監視装置、距離計測方法、及びプログラム
US9651658B2 (en) * 2015-03-27 2017-05-16 Google Inc. Methods and systems for LIDAR optics alignment
JP2018205288A (ja) * 2017-05-31 2018-12-27 ソニーセミコンダクタソリューションズ株式会社 距離計測装置、距離計測方法、およびプログラム
US11209528B2 (en) * 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods
CN109376667B (zh) * 2018-10-29 2021-10-01 北京旷视科技有限公司 目标检测方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015079416A (ja) * 2013-10-18 2015-04-23 株式会社キーエンス 光電センサ
CN103747586A (zh) * 2014-01-10 2014-04-23 惠州Tcl移动通信有限公司 移动终端及其照明亮度调节方法、装置
CN104856663A (zh) * 2014-02-24 2015-08-26 三星电子株式会社 用于感测身体信息的设备和方法
CN104808213A (zh) * 2015-05-11 2015-07-29 合肥京东方光电科技有限公司 异物检测装置和涂布系统
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
CN109069008A (zh) * 2016-05-16 2018-12-21 索尼公司 光学设备和信息处理方法

Also Published As

Publication number Publication date
CN113875214A (zh) 2021-12-31
TW202104928A (zh) 2021-02-01
TWI757751B (zh) 2022-03-11
WO2020246264A1 (ja) 2020-12-10
US20220214435A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2017141746A1 (ja) 撮像装置、撮像制御方法、およびプログラム
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN113875214B (zh) 距离测量传感器、信号处理方法和距离测量模块
US20210297589A1 (en) Imaging device and method of controlling imaging device
JP7235906B2 (ja) 固体撮像装置
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2017195459A1 (ja) 撮像装置、および撮像方法
CN113874750A (zh) 信号处理装置、信号处理方法和测距模块
US11561303B2 (en) Ranging processing device, ranging module, ranging processing method, and program
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
US20220155459A1 (en) Distance measuring sensor, signal processing method, and distance measuring module
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN114424084A (zh) 照明设备、照明设备控制方法以及距离测量模块
US20220357455A1 (en) Distance measuring sensor, distance measuring system, and electronic equipment
US20220413109A1 (en) Distance measurement sensor, distance measurement system, and electronic apparatus
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021039458A1 (ja) 測距センサおよびその駆動方法、並びに、測距モジュール
CN112789515B (zh) 测距系统、校准方法、程序和电子设备
JP7476170B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
WO2021131684A1 (ja) 測距装置およびその制御方法、並びに、電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant