CN114424083A - 距离测量传感器、信号处理方法及距离测量模块 - Google Patents

距离测量传感器、信号处理方法及距离测量模块 Download PDF

Info

Publication number
CN114424083A
CN114424083A CN202080066351.6A CN202080066351A CN114424083A CN 114424083 A CN114424083 A CN 114424083A CN 202080066351 A CN202080066351 A CN 202080066351A CN 114424083 A CN114424083 A CN 114424083A
Authority
CN
China
Prior art keywords
distance
signal processing
processing unit
light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066351.6A
Other languages
English (en)
Inventor
上马孝之
冈本康宏
大和哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114424083A publication Critical patent/CN114424083A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技术涉及一种距离测量传感器、信号处理方法和距离测量模块，其使得能够检测待测量对象是镜面反射器。该距离测量传感器包括：信号处理单元，根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，该光接收单元接收反射光，反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。例如，本技术可以应用于测量到对象的距离的距离测量模块等。

Description

距离测量传感器、信号处理方法及距离测量模块
技术领域
本技术涉及一种距离测量传感器、一种信号处理方法和一种距离测量模块，更具体地，涉及能够检测待测量对象是镜面反射器的距离测量传感器、信号处理方法和距离测量模块。
背景技术
近年来，随着半导体技术的进步，测量到对象的距离的距离测量模块的小型化已经取得进展。结果，例如，实现了将距离测量模块安装在诸如智能手机的移动终端上。
作为距离测量模块中的距离测量方法，例如，有一种称为飞行时间(ToF)方法的方法。在ToF方法中，朝向对象发射光并检测在对象表面反射的光，并且基于通过测量光的飞行时间而获得的测量值来计算到对象的距离(例如，见专利文献1)。
引文列表
专利文件
专利文献1：日本专利申请公开No.2017-150893
发明内容
本发明要解决的问题
然而，在ToF方法中，通过发射光和接收从对象反射的反射光来计算距离，因此，例如，当测量镜面反射器(例如镜子或铁门)时，存在由于镜面反射器的表面上的多次反射而测量出的距离与实际距离不同的情况。
鉴于这种情况提出了本技术，其目的是可以检测待测量对象是镜面反射器。
问题的解决方案
根据本技术的第一方面的距离测量传感器包括：信号处理单元，根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，该光接收单元接收反射光，反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。
在根据本技术的第二方面的信号处理方法中，距离测量传感器根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，该光接收单元接收反射光，反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。
根据本技术的第三方面的距离测量模块包括：预定发光源；以及距离测量传感器，其中，该距离测量传感器包括信号处理单元，其根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，该光接收单元接收反射光，反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。
在本技术的第一至第三方面中，根据由光接收单元获得的信号计算到对象的距离和置信度并且输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，其中，该光接收单元接收反射光，反射光是通过从预定发光源发射的照射光由对象反射而获得的返回光。
距离测量传感器和距离测量模块可以是独立的设备或并入另一设备中的模块。
附图说明
图1是示出应用本技术的距离测量模块的第一实施例的示意性配置示例的框图。
图2是说明间接ToF方法的距离测量原理的示图。
图3是示出距离测量传感器的第一配置示例的框图。
图4是说明玻璃确定处理的第一阈值的示图。
图5是说明根据第一配置示例的距离测量传感器的玻璃确定处理的流程图。
图6是示出距离测量传感器的第二配置示例的框图。
图7是说明镜面确定标志的确定表达的示图。
图8是说明根据第二配置示例的距离测量传感器的镜面确定处理的流程图。
图9是说明在非常短的距离内可能发生的问题的示图。
图10是示出距离测量传感器的第三配置示例的框图。
图11是说明根据第三配置示例的距离测量传感器的非常短的距离确定处理的流程图。
图12是示出确定目标像素的置信度和深度值之间的关系的示图。
图13是示出距离测量传感器的第四配置示例的框图。
图14是示出作为应用本技术的电子设备的智能手机的配置示例的框图。
图15是示出车辆控制系统的示意性配置的示例的框图。
图16是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
在下文中，将参考附图描述用于执行本技术的模式(该模式在下文中将被称为实施例)。注意，在本说明书和附图中，具有基本相同功能配置的部件由相同的附图标记表示，并且将省略冗余说明。将按以下顺序进行描述。
1.距离测量模块的示意性配置示例
2.间接ToF方法的距离测量原理
3.距离测量传感器的第一配置示例
4.距离测量传感器的第二配置示例
5.距离测量传感器的第三配置示例
6.距离测量传感器的第四配置示例
7.电子设备的配置示例
8.移动体应用示例
<1.距离测量模块的示意性配置示例>
图1是示出应用本技术的距离测量模块的第一实施例的示意性配置示例的框图。
图1中所示的距离测量模块11是通过间接ToF方法执行距离测量的距离测量模块，并且包括发光单元12、发光控制单元13和距离测量传感器14。
距离测量模块11向作为待测量对象的预定对象21发射光，并接收通过被对象21反射光(照射光)而获得的光(反射光)。然后，距离测量模块11基于光接收结果将表示到对象21的距离信息的深度图和置信度图作为测量结果输出。
例如，发光单元12包括垂直腔面发射激光器(VCSEL)阵列(光源阵列)，其中多个VCSEL布置在平面中作为发光源，并且在根据从发光控制单元13提供的发光控制信号的定时执行调制的同时发射光，以向对象21发射照射光。例如，在照射光为红外光的情况下，照射光的波长范围为约850nm至940nm。
发光控制单元13向发光单元12提供预定频率(例如，20MHz等)的发光控制信号，从而控制发光源的发光。此外，发光控制单元13还根据发光单元12中的发光定时向距离测量传感器14提供发光控制信号，以驱动距离测量传感器14。
距离测量传感器14包括光接收单元15和信号处理单元16。
光接收单元15通过像素阵列接收来自对象21的反射光，在像素阵列中，多个像素在行方向和列方向上二维地排列成矩阵。然后，光接收单元15以像素阵列的像素为单位向信号处理单元16提供依赖于接收的反射光的接收光量的检测信号。
信号处理单元16基于从光接收单元15提供的针对像素阵列的每个像素的检测信号，计算深度值，该深度值是距离测量模块11到对象21的距离。然后，信号处理单元16生成其中将深度值存储为每个像素的像素值的深度图和其中将置信度值存储为每个像素的像素值的置信度图，并将深度图和置信度图输出到模块外部。
注意，可以在距离测量模块11的后续阶段提供诸如数字信号处理器(DSP)的用于信号处理的芯片，并且由信号处理单元16执行的一些功能可以在距离测量传感器14外部(由用于后续阶段的信号处理的芯片)执行。可替代地，由信号处理单元16执行的所有功能可以由与距离测量模块11分开提供的用于后续阶段的信号处理的芯片执行。
<2.间接ToF方法的距离测量原理>
在描述本公开的具体处理之前，将参考图2简要描述间接ToF方法的距离测量原理。
可以通过以下表达式(1)计算与从距离测量模块11到对象21的距离相对应的深度值d[mm]。
[表达式1]
Figure BDA0003558597270000071
在表达式(1)中，Δt是直到从发光单元12发射的照射光被对象21反射并入射到光接收单元15上的时间，c表示光速。
作为从发光单元12发射的照射光，如图2所示，采用以预定频率f(调制频率)高速重复打开和关闭的光发射图案的脉冲光。光发射图案的一个周期T为1/f。在光接收单元15中，检测到反射光(光接收图案)的相位根据时间Δt移位，直到照射光从发光单元12到达光接收单元15为止。当光发射图案和光接收图案之间的相位(相位差)的移位量为
Figure BDA0003558597270000074
时，可以通过以下表达式(2)计算时间Δt。
[表达式2]
Figure BDA0003558597270000072
因此，从距离测量模块11到对象21的深度值d可以由以下表达式(3)从表达式(1)和(2)计算。
[表达式3]
Figure BDA0003558597270000073
接下来，将描述用于计算上述相位差
Figure BDA0003558597270000081
的方法。
在光接收单元15中形成的像素阵列的每个像素以高速重复开/关，并且仅在开时间段期间累积电荷。
光接收单元15顺序地切换像素阵列的每个像素的开/关的执行定时，在每个执行定时累积电荷，并根据累积的电荷输出检测信号。
有四种类型的开/关执行定时，例如，0度相位、90度相位、180度相位和270度相位。
0度相位的执行定时是将像素阵列的每个像素的开定时(光接收定时)设置为由发光单元12的光源发射的脉冲光的相位，即与光发射图案相同的相位的定时。
90度相位的执行定时是像素阵列的每个像素的开定时(光接收定时)从发光单元12的光源发射的脉冲光(光发射图案)延迟90度的定时。
180度相位的执行定时是像素阵列的每个像素的开定时(光接收定时)从发光单元12的光源发射的脉冲光(光发射图案)延迟180度的定时。
270度相位的执行定时是像素阵列的每个像素的开定时(光接收定时)从发光单元12的光源发射的脉冲光(光发射图案)延迟270度的定时。
光接收单元15以例如0度相位、90度相位、180度相位和270度相位依次顺序切换光接收定时，并获取在每个光接收定时的反射光的接收光量(累积电荷)。在图2中，在每个相位的光接收定时(开定时)处，反射光入射的定时被阴影化。
如图2所示，假设Q0、Q90、Q180和Q270分别是当光接收定时被设置为0度相位、90度相位、180度相位和270度相位时累积的电荷，可以使用Q0、Q90、Q180和Q270通过以下表达式(4)计算相位差
Figure BDA0003558597270000093
[表达式4]
Figure BDA0003558597270000091
通过将由表达式(4)计算的相位差
Figure BDA0003558597270000094
输入到上述表达式(3)，可以计算从距离测量模块11到对象21的深度值d。
此外，置信度conf是表示由每个像素接收的光的强度的值，并且可以通过例如下面的表达式(5)来计算。
[表达式5]
Figure BDA0003558597270000092
在像素阵列的每个像素中，光接收单元15顺序地将光接收定时切换到如上所述的0度相位、90度相位、180度相位和270度相位，并顺序地将与每个相位中的累积电荷(电荷Q0、电荷Q90、电荷Q180和电荷Q270)相对应的检测信号提供给信号处理单元16。注意，通过在像素阵列的每个像素中设置两个电荷累积单元并在两个电荷累积单元中交替地累积电荷，可以在一个帧中获取相位彼此反转(例如，如0度的相位和180度的相位)的两个光接收定时的检测信号。
信号处理单元16基于从光接收单元15提供的针对像素阵列的每个像素的检测信号，计算作为距离测量模块11到对象21的距离的深度值d。然后，生成其中将深度值d存储为每个像素的像素值的深度图和其中将置信度conf存储为每个像素的像素值的置信度图，并将它们从信号处理单元16输出到模块外部。
例如，在其中包含距离测量模块11的嵌入式设备中，当相机(图像传感器)对对象进行成像时，使用由距离测量模块11输出的深度图来确定用于自动聚焦的距离。
距离测量传感器14将深度图和置信度图输出到距离测量模块11的后续阶段的系统(控制单元)，此外，后续阶段的系统具有将对使用深度图和置信度图的处理有用的附加信息一起输出的功能。
在下文中，除了深度图和置信图之外，将详细描述距离测量传感器14输出对使用深度图和置信图的处理有用的附加信息的功能。
<3.距离测量传感器的第一配置示例>
图3是示出距离测量传感器14的第一配置示例的框图。
在图3的第一配置示例中，距离测量传感器14具有输出玻璃确定标志作为附加信息的功能。
例如，假设用户使用包含距离测量模块11的嵌入式设备的相机透过玻璃对风景成像的情况。嵌入式设备(例如，智能手机)的控制单元向距离测量模块11发出距离测量指令，距离测量模块11基于该指令通过发射照射光来测量距离，并输出深度图和置信度图。此时，在距离测量模块11与作为原始成像目标的对象之间存在玻璃的情况下，距离测量模块11测量到玻璃表面的距离，而不是作为成像目标的对象的距离。结果，发生图像传感器不能聚焦于原始成像目标的情况。
因此，根据第一配置示例的距离测量传感器14将表示测量结果是否是测量到玻璃的距离的结果的玻璃确定标志作为附加信息与深度图和置信度图一起输出。注意，玻璃确定标志是表示确定待测量对象是否为透明对象的结果的标志，并且待测量对象不限于玻璃，而是作为玻璃确定处理给出描述，以便于理解。
如图3所示，信号处理单元16将玻璃确定标志与深度图和置信度图一起输出到后续阶段的系统。例如，玻璃确定标志用“0”或“1”表示，其中“1”表示待测量对象是玻璃，并且“0”表示待测量对象不是玻璃。
此外，存在指定与用于自动聚焦的聚焦窗口相对应的检测目标区域的区域指定信息从后续阶段的系统提供给信号处理单元16的情况。在提供了区域指定信息的情况下，信号处理单元16将用于确定待测量对象是否是玻璃的确定目标区域限制为由区域指定信息指示的区域。即，信号处理单元16通过玻璃确定标志输出由区域指定信息指示的区域的测量结果是否是测量玻璃的结果。
具体地，首先，信号处理单元16通过以下表达式(6)或(7)中的任一个计算玻璃确定参数PARA1。
[表达式6]
Figure BDA0003558597270000111
Figure BDA0003558597270000112
在表达式(6)中，将通过将确定目标区域中的所有像素的置信度conf的最大值(区域最大值)除以确定目标区域中的所有像素的置信度conf的平均值(区域平均值)而获得的值设置为玻璃确定参数PARA1。在表达式(7)中，将通过将确定目标区域中的所有像素的置信度conf的最大值除以确定目标区域中的所有像素的置信度conf中的最大一个的第N个置信度conf而获得的值设置为玻璃确定参数PARA1。Max()表示计算最大值的函数，Ave()表示计算平均值的函数，Large_Nth()表示从最大值中提取第N(N>1)个值的函数。通过初始设置等预先确定N的值。确定目标区域是从后续阶段的系统提供区域指定信息的情况下由区域指定信息指示的区域，并且在没有提供区域指定信息的情况下是光接收单元15的像素阵列的整个像素区域。
然后，如表达式(8)所表示的，信号处理单元16在玻璃确定参数PARA1大于预先确定的玻璃确定阈值GL_Th的情况下将玻璃确定标志glass_flg设置为“1”，在玻璃确定参数PARA1小于或等于玻璃确定阈值GL_Th的情况下将玻璃确定标志glass_flg设置为“0”，并输出玻璃确定标志glass_flg。
[表达式7]
Figure BDA0003558597270000121
在待测量对象和距离测量模块11之间存在玻璃的情况下，照射光被玻璃反射，使得仅在由于强烈反射光的部分中接收光的量增加，并且在该部分以外的区域中，接收光的量是玻璃后面的待测量对象的置信度conf，并且在整个区域中接收光的量(置信度conf)是暗的。因此，通过分析表达式(6)中的区域最大值和区域平均值之间的比率，可以确定测量结果是否是测量玻璃的结果。此外，在表达式(7)中，在存在玻璃的情况下，只有玻璃部分是发生强烈反射的区域(对应于最大值)，因此，提取该部分以外的区域作为第N个置信度conf，并通过最大值区域与最大值区域以外的区域之间的比率的大小来确定区域最大值是否是通过测量玻璃而获得的值。
注意，在表达式(8)中，在采用根据表达式(6)的玻璃确定参数PARA1的情况下和采用根据表达式(7)的玻璃确定参数PARA1的情况下，使用相同的玻璃确定阈值GL_Th进行确定；然而，可以将玻璃确定阈值GL_Th设置为根据表达式(6)的玻璃确定参数PARA1和根据表达式(7)的玻璃确定参数PARA1之间的不同值。
此外，可以通过使用根据表达式(6)的玻璃确定参数PARA1和根据表达式(7)的玻璃确定参数PARA1两者来确定其是否是玻璃。在这种情况下，在由根据表达式(6)的玻璃确定参数PARA1和根据表达式(7)的玻璃确定参数PARA1两者确定其是玻璃的情况下，将玻璃确定标志glass_flg设置为“1”。
此外，如图4所示，可以根据区域最大值的大小将玻璃确定阈值GL_Th设置为不同的值。在图4的示例中，根据区域最大值的大小将玻璃确定阈值GL_Th划分成两个值。在区域最大值大于值M1的情况下，使用玻璃确定阈值GL_Tha执行表达式(8)的确定，并且在区域最大值小于或等于值M1的情况下，使用大于玻璃确定阈值GL_Tha的玻璃确定阈值GL_Thb执行表达式(8)的确定。
注意，尽管未示出，但玻璃确定阈值GL_Th可以被设置为三个或更多个级别而不是两个级别中的不同值。
将参考图5的流程图来描述根据第一配置示例的距离测量传感器14的信号处理单元16的玻璃确定处理。例如，当从光接收单元15的像素阵列提供检测信号时，开始该处理。
首先，在步骤S1中，信号处理单元16基于从光接收单元15提供的检测信号，对每个像素计算作为到待测量对象的距离的深度值d。然后，信号处理单元16生成其中将深度值d存储为每个像素的像素值的深度图。
在步骤S2中，信号处理单元16计算每个像素的针对每个像素的置信度conf，并生成其中将置信度conf存储为每个像素的像素值的置信度图。
在步骤S3中，信号处理单元16获取从后续阶段的系统提供的指定检测目标区域的区域指定信息。在没有提供区域指定信息的情况下，省略步骤S3的处理。在提供区域指定信息的情况下，将由区域指定信息指示的区域设置为用于确定待测量对象是否是玻璃的确定目标区域。另一方面，在没有提供区域指定信息的情况下，将光接收单元15的像素阵列的整个像素区域设置为用于确定待测量对象是否是玻璃的确定目标区域。
在步骤S4中，信号处理单元16通过使用上述表达式(6)或(7)中的任一个计算玻璃确定参数PARA1。
在采用表达式(6)的情况下，信号处理单元16检测确定目标区域中的所有像素的置信度conf的最大值(区域最大值)。此外，信号处理单元16计算确定目标区域中的所有像素的置信度conf的平均值(区域平均值)。然后，信号处理单元16将区域最大值除以区域平均值，以计算玻璃确定参数PARA1。
在采用表达式(7)的情况下，信号处理单元16检测确定目标区域中的所有像素的置信度conf的最大值(区域最大值)。此外，信号处理单元16按降序对确定目标区域中的所有像素的置信度conf进行排序，并从最大值中提取第N(N>1)个值。然后，信号处理单元16将区域最大值除以第N个值，以计算玻璃确定参数PARA1。
在步骤S5中，信号处理单元16确定计算出的玻璃确定参数PARA1是否大于玻璃确定阈值GL_th。
在步骤S5中确定玻璃确定参数PARA1大于玻璃确定阈值GL_Th的情况下，处理进行到步骤S6，并且信号处理单元16将玻璃确定标志glass_flg设置为“1”。
另一方面，在步骤S5中确定玻璃确定参数PARA1小于或等于玻璃确定阈值GL_Th的情况下，处理进行到步骤S7，并且信号处理单元16将玻璃确定标志glass_flg设置为“0”。
然后，在步骤S8中，信号处理单元16将玻璃确定标志glass_flg与深度图和置信度图一起输出到后续阶段的系统，并结束处理。
如上所述，利用根据第一配置示例的距离测量传感器14，当将深度图和置信度图输出到后续阶段的系统时，可以输出确定待测量对象是否是玻璃的玻璃确定标志。
结果，在获取了深度图和置信度图的后续阶段的系统可以识别出距离测量模块11的距离测量结果不是通过测量到原始成像目标的距离而获得的值的可能性。在这种情况下，例如，在后续阶段的系统可以执行诸如将聚焦控制切换到对比度方法的自动聚焦的控制，而不使用获取的深度图的距离信息。
<4.距离测量传感器的第二配置示例>
图6是示出距离测量传感器14的第二配置示例的框图。
在图6的第二配置示例中，距离测量传感器14具有输出镜面确定标志作为附加信息的功能。
在ToF方法中，发射光并接收从对象反射的反射光以计算距离，从而当测量具有高反射率的对象，例如镜子、铁门等(以下称为镜面反射器)时，存在测量距离不准确的情况，例如，由于镜面反射器的表面上的多次反射，该距离被计算为比实际距离长的距离。
因此，根据第二配置示例的距离测量传感器14将表示测量结果是否是测量镜面反射器的结果的镜面确定标志作为附加信息与深度图和置信度图一起输出。
注意，在上述第一配置示例中，针对一个深度图或由深度图中的区域指定信息指定的检测目标区域输出一个玻璃确定标志，但是第二配置示例的距离测量传感器14以像素为单位输出镜面确定标志。
具体地，信号处理单元16首先生成深度图和置信度图。
接下来，信号处理单元16针对每个像素计算待测量对象的反射率ref。反射率ref由表达式(9)表示，并通过将深度值d[mm]的平方乘以置信度conf来计算。
ref＝conf×(d/1000)2··········(9)
接下来，信号处理单元16提取反射率ref大于第一反射阈值RF_Th1并且深度值d在1000[mm]以内的一个或多个像素，作为存在测量镜面反射镜的可能性的区域(以下称为镜面反射可能性区域)。
在照射光被镜面反射器反射的情况下，反射光量非常大。因此，首先，将反射率ref大于第一反射阈值RF_Th1的条件设置为镜面反射可能性区域的条件。
此外，由于镜面反射器而导致测量距离不准确的现象主要限于镜面反射器存在于一定短距离处的情况。为此，将计算出的深度值d是某个短距离的条件设置为镜面反射可能性区域的条件。注意，1000[mm]仅仅是示例，并且可以适当地设置作为短距离设置的深度值d。
接下来，信号处理单元16通过以下表达式(10)的确定表达式确定每个像素的深度值d是否是通过测量镜面反射器而获得的值，并设置和输出镜面确定标志specular_flg。
[表达式8]
Figure BDA0003558597270000171
当在图中表示时，表达式(10)的确定表达式表示为图7。
如上所述，镜面反射可能性区域被限制为其中反射率ref大于第一反射阈值RF_th1的像素。
镜面确定标志的确定表达式被划分为像素的反射率ref大于第一反射阈值RF_Th1并且小于或等于第二反射阈值RF_Th2的情况，以及反射率ref大于第二反射阈值RF_Th2的情况。
在像素的反射率ref大于第一反射阈值RF_Th1并且小于或等于第二反射阈值RF_Th2的情况下，在像素的置信度conf小于第一置信度阈值conf_Th1的情况下，确定待测量对象是镜面反射器，并且将“1”设置为镜面确定标志specular_flg。另一方面，在像素的置信度conf大于或等于第一置信度阈值conf_Th1的情况下，确定待测量对象不是镜面反射器，并且将“0”设置为镜面确定标志specular_flg。
这里，如图7所示，第一置信度阈值conf_Th1是根据反射率ref自适应地从第一反射阈值RF_Th1处的置信度conf_L1到第二反射阈值RF_th2处的置信度conf_L2改变的值。
接着，在像素的反射率ref大于第二反射阈值RF_Th2的情况下，在像素的置信度conf小于第二置信度阈值conf_Th2的情况下，确定待测量对象是镜面反射器，并且将“1”设置为镜面确定标志specular_flg。另一方面，在像素的置信度conf大于或等于第二置信度阈值conf_Th2的情况下，确定待测量对象不是镜面反射器，并且将“0”设置为镜面确定标志specular_flg。
这里，如图7所示，第二置信度阈值conf_Th2是等于置信度conf_L2的值。
根据表达式(10)的确定表达式，确定通过测量作为待测量对象的镜面反射器来获得具有对应于图7所示的镜面反射可能性区域中的由阴影指示的区域的反射率ref和置信度conf的像素的深度值d，并且存在测量距离不准确的可能性，并且输出镜面确定标志specular_flg＝“1”。
根据表达式(10)的确定表达式，关于镜面反射可能性区域中的像素，在反射率ref高并且置信度conf小于或等于某个参考的情况下，设置镜面确定标志specular_flg＝“1”。然后，在正常测量结果的情况下，如果反射率ref大，则置信度conf也应该大，因此，置信度conf的参考根据反射率ref改变为大。
注意，与上述第一配置示例类似，区域指定信息可以从后续阶段的系统提供给信号处理单元16。在这种情况下，信号处理单元16将用于确定待测量对象是否是镜面反射器的确定目标区域限制为由区域指定信息指示的区域。即，信号处理单元16确定测量结果是否是仅针对由区域指定信息指示的区域测量镜面反射器的结果，并输出镜面确定标志。
将参考图8的流程图来描述根据第二配置示例的距离测量传感器14的信号处理单元16的镜面确定处理。例如，当从光接收单元15的像素阵列提供检测信号时，开始该处理。
首先，在步骤S21中，信号处理单元16基于从光接收单元15提供的检测信号，对每个像素计算作为到待测量对象的距离的深度值d。然后，信号处理单元16生成其中将深度值d存储为每个像素的像素值的深度图。
在步骤S22中，信号处理单元16计算针对每个像素的每个像素的置信度conf，并生成其中将置信度conf存储为每个像素的像素值的置信度图。
在步骤S23中，信号处理单元16获取从后续阶段的系统提供的指定检测目标区域的区域指定信息。在没有提供区域指定信息的情况下，省略步骤S23的处理。在提供区域指定信息的情况下，将由区域指定信息指示的区域设置为用于确定待测量对象是否是镜面反射器的确定目标区域。另一方面，在没有提供区域指定信息的情况下，将光接收单元15的像素阵列的整个像素区域设置为用于确定待测量对象是否是镜面反射器的确定目标区域。
在步骤S24中，信号处理单元16通过使用上述表达式(9)针对每个像素计算待测量对象的反射率ref。
在步骤S25中，信号处理单元16提取镜面反射可能性区域。即，信号处理单元16提取确定目标区域中反射率ref大于第一反射阈值RF_Th1并且深度值d在1000[mm]以内的一个或多个像素，并将这些像素设置为镜面反射可能性区域。
在步骤S26中，信号处理单元16对于确定目标区域中的每个像素，通过表达式(10)的确定表达式确定像素的深度值d是否是通过测量镜面反射器获得的值。
在步骤S26中确定像素的深度值d是通过测量镜面反射器获得的值的情况下，处理进行到步骤S27，并且信号处理单元16将像素的镜面确定标志specular_flg设置为“1”。
另一方面，在步骤S26中确定像素的深度值d不是通过测量镜面反射器获得的值的情况下，处理进行到步骤S28，并且信号处理单元16将镜面确定标志specular_flg设置为“0”。
对确定目标区域中的所有像素执行步骤S26的处理以及基于确定结果的步骤S27或S28的处理。
然后，在步骤S29中，信号处理单元16将为每个像素设置的镜面确定标志specular_flg与深度图和置信度图一起输出到后续阶段的系统，并结束处理。
如上所述，利用根据第二配置示例的距离测量传感器14，当将深度图和置信度图输出到后续阶段的系统时，可以输出确定待测量对象是否是镜面反射器的镜面确定标志。镜面确定标志可以作为映射数据输出，其中将镜面确定标志存储为每个像素的像素值，例如深度图或置信度图。
结果，在获取了深度图和置信度图的后续阶段的系统可以识别出距离测量模块11的距离测量结果不是通过精确测量到成像目标的距离而获得的值的可能性。在这种情况下，例如，在后续阶段的系统可以执行诸如将聚焦控制切换到对比度方法的自动聚焦的控制，而不使用获取的深度图的距离信息。
注意，在上述示例中，以像素为单位输出镜面确定标志；然而，类似于第一配置示例，可以为一个深度图(的检测目标区域)输出一个镜面确定标志。在这种情况下，例如，信号处理单元16检测确定目标区域中的一个或多个像素中具有最大反射率ref的像素。然后，信号处理单元16可以通过使用具有最大反射率ref的像素的置信度conf来执行表达式(10)的确定，以一个深度图为单位输出镜面确定标志。
<5.距离测量传感器的第三配置示例>
接下来，将描述距离测量传感器14的第三配置示例。
例如，在距离测量传感器中，可能发生约几cm的测量误差，并且在校准处理中可能执行约几cm的校正。在这种情况下，例如，在发光源的调制频率为20MHz的情况下，最大测量范围为7.5m，并且在1m到几m的测量距离处校正几cm不会引起大的问题，但在例如10cm或更小的非常短的距离处可能发生问题。
参考图9，将描述在非常短的距离中可能发生的问题。
在间接ToF方法的距离测量传感器中，由于相位差被检测并被转换为距离，因此根据发光源的调制频率确定最大测量范围，并且当超过最大测量距离时，检测到的相位差再次从零开始。例如，在光源的调制频率为20MHz的情况下，如图9所示，最大测量范围为7.5m，并且相位差以7.5m为单位周期性变化。
例如，在距离测量传感器中，假设结合校准处理以对传感器的测量值执行-5cm的校正。这里，在测量由图9中的箭头A指示的3cm的距离的情况下，在校正了-5cm的情况下，实际距离为3-5＝-2cm，并且测量结果是由箭头B指示的负值。
由于测量结果不能具有负值(-2cm)，所以距离测量传感器输出由测量范围内的对应相位差指示的距离，具体地，由箭头C指示的7.48m＝(7.5m-2cm)，其通过向最大测量距离侧折回获得。如上所述，在通过校准处理获得负值的情况下，存在输出不正确的测量结果的情况(情况1)。
此外，例如，在获得距离测量传感器的测量值为6cm的情况下，通过执行-5cm的校正，校准处理后的输出值为6-5＝1cm，但对于1cm的距离(因为实际上是6cm)，确定光量小(置信度conf小)。结果，存在作为测量误差执行输出的情况，作为具有低置信度conf的像素(情况2)。
对于情况1和情况2的这种问题，对于获取距离信息的后续阶段的系统，即使距离信息不准确，也可以优选地通知距离信息是非常短的距离。
因此，距离测量传感器14的第三配置示例被配置为能够输出指示到待测量对象的距离是发生上述情况1和2的非常短的距离的信息。
图10是示出距离测量传感器14的第三配置示例的框图。
在图10的第三配置示例中，距离测量传感器14具有输出指示其是非常短的距离的信息作为测量状态的功能。
根据第三配置示例的距离测量传感器14与深度图和置信度图一起输出测量结果的状态(测量结果状态)作为附加信息。
测量结果状态包括正常标志、超级微距标志和错误标志。正常标志表示输出的测量值是正常的测量结果。超级微距标志表示待测量对象在非常短的距离处，并且输出的测量值是不准确的测量结果。错误标志表示待测量对象在非常短的距离内，并且无法输出测量值。
在本实施例中，非常短的距离是在通过校准处理执行约几cm的校正的情况下发生诸如上述情况1或情况2的现象的距离，并且例如，可以被设置为到作为待测量对象的对象的距离高达约10cm。例如，可以根据后续阶段的系统使用透镜进行非常短的距离的距离范围来设置到为其设置了超级微距标志的待测量对象的距离范围(确定为非常短的距离的距离范围)。可替代地，例如，可以将距离被设置为超级微距标志的待测量对象的距离范围设置为由于距离测量传感器14的测量误差对反射率ref的影响(由于测量误差引起的反射率ref的变化)超过N倍(N>1)的距离，并且可以将N设置为2(即，影响超过两倍的距离)。
可以为每个像素输出测量结果状态。注意，在状态对应于正常标志的情况下，不必输出测量结果状态，并且可以仅在超级微距标志或错误标志的情况下输出。
注意，与上述的第一配置示例和第二配置示例类似，存在区域指定信息从后续阶段的系统提供给信号处理单元16的情况。在这种情况下，信号处理单元16可以仅将测量结果状态输出到由区域指定信息指示的有限区域。
参考图11的流程图，将给出根据第三配置示例的距离测量传感器14的信号处理单元16的非常短的距离确定处理的描述。例如，当从光接收单元15的像素阵列提供检测信号时，开始该处理。
首先，在步骤S41中，信号处理单元16基于从光接收单元15提供的检测信号，对每个像素计算作为到待测量对象的距离的深度值d。然后，信号处理单元16生成其中将深度值d存储为每个像素的像素值的深度图。
在步骤S42中，信号处理单元16计算针对每个像素的每个像素的置信度conf，并生成其中将置信度conf存储为每个像素的像素值的置信度图。
在步骤S43中，信号处理单元16获取从后续阶段的系统提供的指定检测目标区域的区域指定信息。在没有提供区域指定信息的情况下，省略步骤S43的处理。在提供区域指定信息的情况下，将由区域指定信息指示的区域设置为用于确定测量结果状态的确定目标区域。另一方面，在没有提供区域指定信息的情况下，将光接收单元15的像素阵列的整个像素区域设置为用于确定测量结果状态的确定目标区域。
在步骤S44中，信号处理单元16通过使用上述表达式(9)针对每个像素计算待测量对象的反射率ref。
在步骤S45中，信号处理单元16将确定目标区域中的预定像素设置为确定目标像素。
在步骤S46中，信号处理单元16确定确定目标像素的反射率ref是否非常大，具体地，确定目标像素的反射率ref是否大于预先确定的反射阈值RFmax_Th。
在步骤S46中确定确定目标像素的反射率ref非常大的情况下，换句话说，确定目标像素的反射率ref大于反射阈值RFmax_Th的情况下，处理进行到步骤S47，并且信号处理单元16将超级微距标志设置为确定目标像素的测量结果状态。反射阈值RFmax_Th是基于例如装运前检查中在非常短的距离处的测量结果而设置的。
在步骤S46的处理中确定为“是”并且设置了超级微距标志的像素对应于测量值是非常短的距离并且输出不准确的测量结果的情况，例如，在上述情况1中，校准处理之后的传感器的测量值是负值的情况。在步骤S47的处理之后，处理进行到步骤S53。
另一方面，在确定确定目标像素的反射率ref不是非常大的情况下，换句话说，在确定确定目标像素的反射率ref小于或等于反射阈值RFmax_Th的情况下，处理进行到步骤S48，并且信号处理单元16确定确定目标像素的反射率ref是否非常小。
在步骤S48中，在确定目标像素的反射率ref小于预先确定的反射阈值RFmin_Th的情况下，确定确定目标像素的反射率ref非常小。反射阈值RFmin_Th(<RFmax_Th)也是基于例如装运前检查中在非常短的距离处的测量结果而设置的。
在步骤S48中确定确定目标像素的反射率ref不是非常小的情况下，换句话说，确定目标像素的反射率ref大于或等于反射阈值RFmin_Th的情况下，处理进行到步骤S49，并且信号处理单元16将正常标志设置为确定目标像素的测量结果状态。在步骤S49的处理之后，处理进行到步骤S53。
另一方面，在步骤S48中确定确定目标像素的反射率ref非常小的情况下，处理进行到步骤S50，并且信号处理单元16确定确定目标像素的置信度conf是否大于预定阈值conf_Th并且确定目标像素的深度值d是否小于预定阈值d_th。
图12是示出确定目标像素的置信度conf和深度值d之间的关系的曲线图。
在确定确定目标像素的置信度conf大于预定阈值conf_Th并且确定目标像素的深度值d小于预定阈值d_Th的情况下，确定目标像素对应于图12中用阴影指示的区域。
在上述步骤S48的处理中确定确定目标像素的反射率ref非常小的情况下，处理进行到步骤S50的处理，并且因此，在其上执行步骤S50的处理的确定目标像素基本上是具有反射率ref非常小的像素。在图12的曲线图中，确定目标像素对应于其被确定为深度值d小于预定阈值d_th的像素。
因此，在步骤S50的处理中，确定确定目标像素的置信度conf是否大于预定阈值conf_Th，换句话说，深度值d是否表示短距离，并且反射光的强度是否具有与短距离对应的大小。
在步骤S50中确定确定目标像素的置信度conf大于预定阈值conf_Th并且确定目标像素的深度值d小于预定阈值d_Th的情况下，换句话说，在深度值d表示短距离并且反射光的强度具有与短距离对应的大小的情况下，处理进行到步骤S51，并且信号处理单元16将超级微距标志设置为确定目标像素的测量结果状态。
在步骤S50的处理中确定为“是”并且设置了超级微距标志的像素包括对于该距离而言光量小并且像上述情况2中那样作为测量误差执行输出的情况。换句话说，将在情况2中作为测量误差执行了输出的一些像素改变为将测量值(深度值d)与指示其是非常短的距离的超级微距标志一起输出，而不是测量误差。在步骤S51的处理之后，处理进行到步骤S53。
另一方面，在步骤S50中确定确定目标像素的置信度conf小于或等于预定阈值conf_Th或者确定目标像素的深度值d大于或等于预定阈值d_Th的情况下，处理进行到步骤S52，并且信号处理单元16将错误标志设置为确定目标像素的测量结果状态。在步骤S52的处理之后，处理进行到步骤S53。
步骤S51和S52中的处理对应于将上述情况2中的问题(该问题在待测量对象存在于非常短的距离的情况下发生)细分为测量误差(错误标志)和非常短的距离中的测量值的输出(超级微距标志)。
在步骤S53中，信号处理单元16确定是否已经将确定目标区域中的所有像素设置为确定目标像素。
在步骤S53中确定还没有将确定目标区域中的所有像素设置为确定目标像素的情况下，处理返回到步骤S45，并且重复上述步骤S45至S53的处理。即，将尚未被设置为确定目标像素的像素设置为下一确定目标像素，并执行设置正常标志、超级微距标志或错误标志的测量结果状态的处理。
另一方面，在步骤S53中确定已经将确定目标区域中的所有像素都设置为确定目标像素的情况下，处理进行到步骤S54，并且信号处理单元16将为每个像素设置的测量结果状态与深度图和置信度图一起输出到后续阶段的系统，并结束处理。测量结果状态可以作为映射数据输出，其中将测量结果状态存储为每个像素的像素值，例如深度图或置信度图。
如上所述，利用根据第三配置示例的距离测量传感器14，当将深度图和置信度图输出到后续阶段的系统时，可以输出为每个像素设置的测量结果状态。测量结果状态包括指示距离测量结果是非常短的距离的信息(超级微距标志)、指示由于非常短的距离而不可能进行测量的信息(错误标志)和指示距离测量结果是正常测量结果的信息(正常标志)。
结果，在包括设置了超级微距标志的像素作为测量结果状态的情况下，已经获取了深度图和置信度图的后续阶段的系统可以识别待测量对象在非常短的距离中，并以非常短的距离模式等操作系统。此外，在包括设置了错误标志的像素作为测量结果状态的情况下，在后续阶段的系统可以执行诸如将对比度方法的聚焦控制切换到自动聚焦的控制。
<6.距离测量传感器的第四配置示例>
图13是示出距离测量传感器14的第四配置示例的框图。
根据第四配置示例的距离测量传感器14具有包括上述第一配置示例至第三配置示例的所有功能的配置。
即，根据第四配置示例的距离测量传感器14的信号处理单元16具有输出深度图和置信度图的功能、输出玻璃确定标志的功能、输出镜面确定标志的功能和输出测量结果状态的功能。每个功能的细节与上述第一配置示例至第三配置示例的细节相似，因此将省略其描述。
根据第四配置示例的距离测量传感器14可以具有其中不是第一配置示例至第三配置示例的所有功能而是适当组合两个功能的配置。即，信号处理单元16除了输出深度图和置信度图的功能之外，还可以具有输出玻璃确定标志的功能和输出镜面确定标志的功能。可替代地，信号处理单元16除了输出深度图和置信度图的功能之外，还可以具有输出镜面确定标志的功能和输出测量结果状态的功能。可替代地，信号处理单元16除了输出深度图和置信度图的功能之外，还可以具有输出玻璃确定标志的功能和输出测量结果状态的功能。
<7.电子设备的配置示例>
例如，上述距离测量设备11可以安装在诸如智能手机、平板终端、移动电话、个人计算机、游戏机、电视接收机、可穿戴终端、数字静止相机或数字摄像机的电子设备中。
图14是示出作为其上安装有距离测量模块的电子设备的智能手机的配置示例的框图。
如图14所示，智能手机101包括经由总线111相互连接的距离测量模块102、成像设备103、显示器104、扬声器105、麦克风106、通信模块107、传感器单元108、触摸面板109和控制单元110。此外，控制器单元110通过由CPU执行程序而具有作为应用处理单元121和操作系统处理单元122的功能。
图1的距离测量模块11应用于距离测量模块102。例如，距离测量模块102布置在智能手机101的前表面，并对智能手机101的用户执行距离测量，从而能够输出用户的脸、手、手指等的表面形状的深度值作为距离测量结果。
成像设备103布置在智能手机101的前表面中，并对作为被摄体的智能手机101的用户执行成像，从而获取用户的图像。注意，尽管未示出，但成像设备103可以布置在智能手机101的背面上。
显示器104显示用于执行由应用处理单元121和操作系统处理单元122的处理的操作屏幕、由成像设备103捕获的图像等。例如，当使用智能手机101进行呼叫时，扬声器105和麦克风106输出对方的语音，并收集用户的语音。
通信模块107经由通信网络执行通信。传感器单元108感测速度、加速度、接近度等，并且触摸面板109获取由用户在显示器104上显示的操作屏幕上的触摸操作。
应用处理单元121通过智能手机101执行用于提供各种服务的处理。例如，应用处理单元121可以执行通过基于距离测量模块102提供的深度值虚拟再现用户面部表情的计算机图形创建面部，并在显示器104上显示面部的处理。此外，例如，应用处理单元121可以基于从距离测量模块102提供的深度值执行创建任何三维对象的三维形状数据的处理。
操作系统处理单元122执行用于实施智能手机101的基本功能和操作的处理。例如，操作系统处理单元122可以基于从距离测量模块102提供的深度值来执行认证用户面部和解锁智能手机101的处理。此外，例如，操作系统处理单元122可以执行基于从距离测量模块102提供的深度值识别用户手势的处理，并执行输入对应于手势的各种操作的处理。
在如上所述配置的智能手机101中，例如，通过应用上述距离测量模块11，可以更准确地检测距离测量信息。此外，可以执行这样的处理，其中获取诸如待测量对象是透明对象的情况、待测量对象是镜面反射器的情况或待测量对象位于非常短距离的情况等的信息作为附加信息，并且成像设备103在成像等中反映该信息。
<8.移动体应用示例>
根据本公开的技术(本技术)可以应用于各种产品。根据本公开的技术可以实施为安装在任何类型的移动体(例如，汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人等)上的设备。
图15是示出车辆控制系统的示意性配置示例的框图，车辆控制系统是可以应用根据本公开的技术的移动体控制系统的示例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图15所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040以及集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、音频图像输出单元12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制与车辆驱动系统相关的设备的操作。例如，驱动系统控制单元12010用作用于生成车辆驱动力的驱动力生成设备(例如内燃机或驱动马达)的控制设备、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆转向角的转向机构、以及生成车辆制动力的制动设备等。
车身系统控制单元12020根据各种程序控制安装到车身的各种设备的操作。例如，车身系统控制单元12020用作无钥匙进入系统，智能钥匙系统，电动车窗设备或各种灯(例如头灯、尾灯、刹车灯、转向指示灯和雾灯)的控制设备。在这种情况下，从替代钥匙的便携式设备发送的无线电波或各种开关的信号可以输入到车身系统控制单元12020。车身系统控制单元12020接受无线电波或信号的输入，并控制车辆的门锁设备、电动车窗设备、灯等。
车辆外部信息检测单元12030检测关于安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031捕获车辆外部的图像，并接收捕获的图像。基于接收到的图像，车辆外部信息检测单元12030可以针对人、车辆、障碍物、标志、路面上的字符等执行物体检测处理或距离检测处理。
成像单元12031是接收光并且输出与接收的光量对应的电信号的光学传感器。成像单元12031可以输出作为图像或者作为测量距离的信息的电信号。另外，成像单元12031接收的光可以是可见光，或者诸如红外线的不可见光。
车辆内部信息检测单元12040检测关于车辆内部的信息。例如，车辆内部信息检测单元12040连接到检测驾驶员的状态的驾驶员状态检测单元12041。驾驶员状态检测单元12041包括例如捕获驾驶员图像的相机，并且车辆内部信息检测单元12040可基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或集中程度，或者确定驾驶员是否正在打瞌睡。
微型计算机12051可以基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获取的车辆内部或外部的信息来计算驱动力生成设备、转向机构或制动设备的控制目标值，并且将控制命令输出至驱动系统控制单元12010。例如，微型计算机12051可以执行协作控制，旨在实现高级驾驶员辅助系统(ADAS)的功能，包括车辆的碰撞避免或碰撞减轻、基于车间距的跟随行驶、车辆速度保持行驶、车辆的碰撞警告和车辆的车道偏离警告等。
此外，微型计算机12051可以基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获取的关于车辆周边的信息，通过控制驱动力生成设备，转向机构，制动设备等来执行以自动驾驶为目标的协同控制，该自动驾驶不依赖于驾驶员的操作等。
此外，微型计算机12051可以基于由车辆外部信息检测单元12030获取的车辆外部的信息将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以通过根据车辆外部信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置控制前照灯来执行协作控制，旨在防止例如从远光灯切换到近光灯的眩光。
音频图像输出单元12052将音频和图像输出信号的至少一个的发送到能够在视觉上或听觉上向车辆中的乘员或车辆外部通知信息的输出设备。在图15的示例中，音频扬声器12061、显示单元12062和仪表盘12063被示例为输出设备。显示单元12062可以包括例如车载显示器和平视显示器中的至少一个。
图16是示出成像单元12031的安装位置的示例的示图。
在图16中，车辆12100包括作为成像单元12031的成像单元12101、12102、12103、12104和12105。
例如，成像单元12101、12102、12103、12104和12105设置在车辆12100的前鼻、侧镜、后保险杠、后门、车辆内部的挡风玻璃的上部等的位置处。设置在前鼻上的成像单元12101和设置在车辆内部的挡风玻璃的上部的成像单元12105主要获取车辆12100的前方的图像。设置在侧镜上的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后部的图像。由成像单元12101和12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
注意，图16示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前鼻处的成像单元12101的成像范围，成像范围12112和12113分别表示设置在侧视镜处的成像单元12102和12103的成像范围，成像范围12114表示设置在后保险杠或后门处的成像单元12104的成像范围。例如，由成像单元12101至12104捕获的图像数据彼此叠加，由此获得从上方观看的车辆12100的俯视图像。
成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是包括用于相位差检测的像素的成像元件。
例如，基于从成像单元12101至12104获得的距离信息，微型计算机12051获得到成像范围12111至12114内的每个三维对象的距离以及该距离的时间变化(到车辆12100的相对速度)，从而能够提取作为前车的三维对象，该三维对象特别是在车辆12100的行进路径上最近的三维对象，并且以预定速度(例如，大于或等于0km/h)沿与车辆12100的方向大致相同的方向行进。此外，微型计算机12051可以预先设定前方车辆前方要确保的车辆间距离，并且可以执行自动制动控制(包括随动停止控制)、自动加速控制(包括随动起动控制)等。如上所述，可以执行旨在不依赖于驾驶员等的操作而自主行驶的自动驾驶的协同控制。
例如，基于从成像单元12101至12104获得的距离信息，微型计算机12051可以通过将对象分类为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆的其他三维对象来提取关于三维对象的三维对象数据，并将该数据用于障碍物的自动避障。例如，微型计算机12051将车辆12100周边的障碍物识别为车辆12100的驾驶员能够视觉识别的障碍物和难以在视觉上识别的障碍物。然后，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物碰撞的风险，并且当碰撞风险大于或等于设定值并且存在碰撞的可能性时，微型计算机12051经由音频扬声器12061和显示单元12062向驾驶员输出警报，或者经由驱动系统控制单元12010执行强制减速或回避转向，从而能够执行用于避免碰撞的驾驶辅助。
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定成像单元12101至12104的捕获图像中是否存在行人来识别行人。这种行人识别通过例如提取由作为红外照相机的成像单元12101至12104捕获的图像中的特征点的过程以及对指示对象的轮廓的一系列特征点执行模式匹配处理以确定对象是否是行人的过程来执行。当微型计算机12051确定在由成像单元12101至12104捕获的图像中存在行人并且识别出行人时，音频图像输出单元12052控制显示单元12062，以便在识别的行人上叠加并显示用于强调的矩形轮廓线。此外，音频图像输出单元12052也可以控制显示单元12062，使得在期望位置显示表示行人的图标等。
上面已经描述了可应用根据本公开的技术的车辆控制系统的示例。例如，根据本公开的技术可以应用于上述配置中的车辆外部信息检测单元12030和车辆内部信息检测单元12040。具体地，通过使用作为车辆外部信息检测单元12030和车辆内部信息检测单元12040的距离测量模块11的距离测量，可以执行识别驾驶员的手势的处理，根据该手势执行各种(例如，音频系统、导航系统和空调系统)操作，并更准确地检测驾驶员的状态。此外，可以通过使用由距离测量模块11测量的距离来识别路面的不平整度，并反映在悬架的控制中。
本技术的实施例不限于上述实施例，并且可以在不脱离本技术的主旨的情况下进行各种修改。
只要不发生不一致，本说明书中描述的多个本技术中的每一个都可以单独独立地实施。当然，也可以通过组合多种本技术中的任何一种来实施。例如，在任何实施例中描述的本技术的部分或全部可以与在其他实施例中描述的本技术的部分或全部组合实施。此外，上述任意本技术的部分或全部可以与上述未描述的另一技术组合实施。
此外，例如，描述为一个设备(或处理单元)的配置可被划分并被配置为多个设备(或处理单元)。相反，可以将上文描述为多个设备(或处理单元)的配置共同配置为一个设备(或处理单元)。此外，可以将除上面描述的那些之外的配置添加到每个设备(或每个处理单元)的配置中。此外，只要整个系统的配置和操作基本相同，就可以将某一设备(或处理单元)的配置的一部分包括在另一设备(或另一处理单元)的配置中。
此外，在本说明书中，系统是指多个构成要素(设备、模块(部件)等)的集合，并且所有构成要素是否在同一机柜中并不重要。因此，容纳在单独机柜中并经由网络连接的多个设备，以及在一个机柜中容纳多个模块的一个设备都是系统。
此外，例如，上述程序可以在任何设备中执行。在这种情况下，设备具有必要的功能(功能块等)并可以获得必要的信息就足够了。
注意，在本说明书中描述的效果仅仅是示例并且而非限制性的，并且可以具有除了在本说明书中描述的效果之外的效果。
注意，本技术可以具有以下配置。
(1)一种距离测量传感器，包括
信号处理单元，根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，所述光接收单元接收反射光，所述反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。
(2)根据上述(1)所述的距离测量传感器，其中
信号处理单元通过使用距离和置信度计算待测量对象的反射率，并基于反射率和距离提取存在待测量对象已测量镜面反射器的可能性的区域。
(3)根据上述(2)所述的距离测量传感器，其中
所述区域是计算出的对象的距离在预定距离内的区域。
(4)根据(2)或(3)所述的距离测量传感器，其中
针对提取的区域，信号处理单元基于根据计算的反射率自适应地改变的置信阈值来确定对象是否是镜面反射器。
(5)根据(1)或至(4)中任一项所述的距离测量传感器，其中
信号处理单元以像素为单位输出确定标志。
(6)根据(1)或至(4)中任一项所述的距离测量传感器，其中
信号处理单元以深度图为单位输出确定标志。
(7)根据(1)或至(6)中任一项所述的距离测量传感器，其中
信号处理单元获取指定区域的区域指定信息，并且针对由区域指定信息指示的区域输出确定作为待测量对象的对象是否是镜面反射器的确定标志。
(8)一种信号处理方法，其中
距离测量传感器
根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，所述光接收单元接收反射光，反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。
(9)一种距离测量模块，包括：
预定发光源；以及
距离测量传感器，
其中
所述距离测量传感器
包括
信号处理单元，根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的对象是否是具有高反射率的镜面反射器的确定标志，所述光接收单元接收反射光，反射光是通过将从预定发光源发射的照射光由对象反射而获得的返回光。
参考符号列表
11 距离测量模块
12 发光单元
13 发光控制单元
14 距离测量传感器
15 光接收单元
16 信号处理单元
21 对象
101 智能手机
102 距离测量模块。

Claims (9)

1.一种距离测量传感器，包括
信号处理单元，根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的所述对象是否是具有高反射率的镜面反射器的确定标志，所述光接收单元接收反射光，所述反射光是通过将从预定发光源发射的照射光由所述对象反射而获得的返回光。
2.根据权利要求1所述的距离测量传感器，其中
所述信号处理单元通过使用所述距离和所述置信度计算所述待测量对象的反射率，并基于所述反射率和所述距离提取存在所述待测量对象已测量所述镜面反射器的可能性的区域。
3.根据权利要求2所述的距离测量传感器，其中
所述区域是计算出的所述对象的所述距离在预定距离内的区域。
4.根据权利要求2所述的距离测量传感器，其中
针对所述提取的区域，所述信号处理单元基于根据计算的所述反射率自适应地改变的置信阈值来确定所述对象是否是所述镜面反射器。
5.根据权利要求1所述的距离测量传感器，其中
所述信号处理单元以像素为单位输出所述确定标志。
6.根据权利要求1所述的距离测量传感器，其中
所述信号处理单元以深度图为单位输出所述确定标志。
7.根据权利要求1所述的距离测量传感器，其中
所述信号处理单元获取指定区域的区域指定信息，并且针对由所述区域指定信息指示的所述区域输出确定作为待测量对象的所述对象是否是所述镜面反射器的确定标志。
8.一种信号处理方法，其中
距离测量传感器
根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的所述对象是否是具有高反射率的镜面反射器的确定标志，所述光接收单元接收反射光，所述反射光是通过将从预定发光源发射的照射光由所述对象反射而获得的返回光。
9.一种距离测量模块，包括：
预定发光源；以及
距离测量传感器，
其中
所述距离测量传感器
包括
信号处理单元，根据由光接收单元获得的信号计算到对象的距离和置信度并输出确定作为待测量对象的所述对象是否是具有高反射率的镜面反射器的确定标志，所述光接收单元接收反射光，所述反射光是通过将从预定发光源发射的照射光由所述对象反射而获得的返回光。
CN202080066351.6A 2019-09-30 2020-09-16 距离测量传感器、信号处理方法及距离测量模块 Pending CN114424083A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019180931A JP2021056142A (ja) 2019-09-30 2019-09-30 測距センサ、信号処理方法、および、測距モジュール
JP2019-180931 2019-09-30
PCT/JP2020/035008 WO2021065494A1 (ja) 2019-09-30 2020-09-16 測距センサ、信号処理方法、および、測距モジュール

Publications (1)

Publication Number Publication Date
CN114424083A true CN114424083A (zh) 2022-04-29

Family

ID=75270590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066351.6A Pending CN114424083A (zh) 2019-09-30 2020-09-16 距离测量传感器、信号处理方法及距离测量模块

Country Status (5)

Country Link
US (1) US20220381913A1 (zh)
JP (1) JP2021056142A (zh)
CN (1) CN114424083A (zh)
DE (1) DE112020004690T5 (zh)
WO (1) WO2021065494A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11637978B1 (en) * 2020-12-17 2023-04-25 Meta Platforms Technologies, Llc Autonomous gating selection to reduce noise in direct time-of-flight depth sensing
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008298742A (ja) * 2007-06-04 2008-12-11 Toyota Central R&D Labs Inc 姿勢角検出装置、姿勢角検出方法、及び床面検出装置
JP2009192499A (ja) * 2008-02-18 2009-08-27 Stanley Electric Co Ltd 距離画像生成装置
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP7238343B2 (ja) * 2017-12-22 2023-03-14 株式会社デンソー 距離測定装置及び距離測定方法
JP6911801B2 (ja) * 2018-03-19 2021-07-28 株式会社デンソーウェーブ 着雪検出装置

Also Published As

Publication number Publication date
JP2021056142A (ja) 2021-04-08
US20220381913A1 (en) 2022-12-01
WO2021065494A1 (ja) 2021-04-08
DE112020004690T5 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
EP3654063B1 (en) Electronic device and method for controlling electronic device
CN212321848U (zh) 光检测设备以及距离测量传感器
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN212719323U (zh) 照明装置和测距模块
US20220317269A1 (en) Signal processing device, signal processing method, and ranging module
WO2017195459A1 (ja) 撮像装置、および撮像方法
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
US20220381917A1 (en) Lighting device, method for controlling lighting device, and distance measurement module
US20220155459A1 (en) Distance measuring sensor, signal processing method, and distance measuring module
JP2019191119A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2021190848A (ja) 検出装置、検出システム及び検出方法
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
US20220043113A1 (en) Ranging system, calibration method, program, and electronic apparatus
US20220413144A1 (en) Signal processing device, signal processing method, and distance measurement device
WO2021145212A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021131684A1 (ja) 測距装置およびその制御方法、並びに、電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination