CN114207472A - 测量装置和测距装置 - Google Patents

测量装置和测距装置 Download PDF

Info

Publication number
CN114207472A
CN114207472A CN202080055841.6A CN202080055841A CN114207472A CN 114207472 A CN114207472 A CN 114207472A CN 202080055841 A CN202080055841 A CN 202080055841A CN 114207472 A CN114207472 A CN 114207472A
Authority
CN
China
Prior art keywords
unit
light
distance
measurement
measurement object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080055841.6A
Other languages
English (en)
Inventor
横山恭二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114207472A publication Critical patent/CN114207472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供了一种根据本公开的测量装置(1)。测量装置(1)包括多个光检测器和识别单元(111)。多个检测器布置在第一基板(P1)上，并且当接收从光源发射并由测量对象反射的光时输出信号。识别单元(111)布置在与第一基板(P1)不同的第二基板(P3)上，并且使用机器学习模型基于多个光检测器输出的信号识别关于到测量对象的距离的信息。

Description

测量装置和测距装置
技术领域
本公开涉及测量装置和测距装置。
背景技术
作为使用光来测量到测量对象的距离的测距方法之一，已知称为直接飞行时间(ToF)方法的测距方法。在通过直接ToF方法的测距处理中，基于从指示由光源发射光的发射定时到由光接收元件接收由测量对象反射的光的光接收定时的时间来获得到测量对象的距离。
更具体地，测量从发射定时到光接收元件接收光的光接收定时的时间，并将指示所测量的时间的时间信息存储在存储器中。该测量被多次执行，并且基于通过多次测量获得并存储在存储器中的多条时间信息来创建直方图。基于直方图获得到测量对象的距离。
引文列表
专利文献
专利文献1：JP 2016-176750 A
发明内容
技术问题
然而，在上述传统技术中，存在需要各种处理来生成直方图、确定直方图的阈值和检测时间信息，以及获得到测量对象的距离，并且需要处理时间的问题。此外，还存在费时费力调整各种处理所需的参数的问题。此外，由于距离的计算精度取决于存储时间信息的存储器的存储量、直方图的类(箱)的数量等，因此存在难以提高精度的问题。
因此，本公开提出了一种能够减少处理时间和用于参数调整的时间和精力并提高精度的测量装置和测距装置。
问题的解决方案
根据本公开，提供了一种测量装置。该测量装置包括多个光接收元件和识别单元。多个光接收元件布置在第一基板上，并且当接收从光源发射并由测量对象反射的光时输出信号。识别单元布置在与第一基板不同的第二基板上，并且通过使用机器学习模型基于多个光接收元件的输出信号识别关于到测量对象的距离的信息。
发明的有利效果
根据本公开，可以减少处理时间和用于参数调整的时间和精力，并提高精度。顺便提及，这里描述的效果不一定受到限制，并且可以是本公开中描述的任何效果。
附图说明
图1是示意性地示出通过直接ToF方法测距的示例的图。
图2是示出基于光接收单元接收光的时间的直方图的示例的图。
图3是用于描述根据本公开的实施例的测距方法的概要的图。
图4是示出根据本公开的实施例的测距系统的配置的示例的框图。
图5是示出根据本公开的实施例的测量装置的配置的示例的框图。
图6是示出根据本公开的实施例的测量装置的层叠结构的示例的示意图。
图7是用于描述神经网络的概要的图。
图8是用于描述机器学习模型的示例的图。
图9是用于描述机器学习模型的示例的图。
图10是用于描述识别单元对时间信息的识别的图。
图11是示出根据本公开的实施例的控制装置的配置示例的框图。
图12是用于描述由测距确定单元确定的测距位置的图。
图13是用于描述由测距确定单元确定的测距位置的图。
图14是示出根据本公开的实施例的模型选择处理的过程的示例的流程图。
图15是示出根据本公开的实施例的测量处理的过程的示例的流程图。
图16是示出像素的时间信息的分布的示例的图。
图17是示出像素的时间信息的分布的另一示例的图。
图18是示出使用可以应用上述实施例和修改例的测量装置的使用示例的图。
图19是示出车辆控制系统的示意性配置示例的框图，车辆控制系统是可以应用根据本公开的技术的移动体控制系统的示例。
图20是示出成像单元的安装位置的示例的图。
具体实施方式
在下文中，将基于附图详细描述本公开的每个实施例。顺便提及，在下面的每个实施例中，对相同的部分给予相同的参考符号，并且将省略重复的描述。
(使用直方图的测距方法)
在描述本公开的实施例之前，为了便于理解，将描述作为测距方法之一的用于使用直方图执行测距的技术。作为这种情况下的测距技术，应用直接飞行时间(ToF)方法。直接ToF方法是当从光源发出的光被测量对象反射时获得的反射光被光接收元件接收，并且基于光发射定时和光接收定时之间的差的时间来执行测距的技术。
将参考图1和图2示意性地描述通过直接ToF方法的测距方法的示例。图1是示意性地示出通过直接ToF方法测距的示例的图。测距装置300a包括光源单元301a和光接收单元302a。光源单元301a例如是激光二极管，并且被驱动以发射脉冲形式的激光。从光源单元301a发射的光被测量对象303反射，并且作为反射光被光接收单元302a接收。光接收单元302a包括光接收元件，其通过光电转换将光转换成电信号，并输出与接收到的光相对应的信号。
这里，将光源单元301a发光的时间(光发射定时)定义为时间tem，并且将光接收单元302a接收当从光源单元301a发射的光被测量对象303a反射时获得的反射光的时间(光接收定时)定义为时间tre。假设常量c是光速(2.9979×108[m/sec])，则通过以下等式(1)计算测距装置300与测量对象303a之间的距离D。
D＝(c/2)×(tem－tre)...(1)
测距装置300a多次重复执行上述处理。光接收单元302a可以包括多个光接收元件，并且可以基于每个光接收元件接收反射光的每个光接收定时来计算距离D。测距装置300a基于类(bins)对从光发射定时的时间tem到光接收单元302a接收光的光接收定时的时间tm(称为光接收时间tm)进行分类，并且生成直方图。
顺便提及，在光接收时间tm期间由光接收单元302a接收的光不限于当由光源单元301a发射的光被测量对象303a反射时获得的反射光。例如，测距装置300a(光接收单元302a)周围的环境光也由光接收单元302a接收。
图2是示出基于光接收单元302a接收光的时间的直方图的示例的图。在图2中，横轴表示bin，并且纵轴表示每个bin的频率。通过按每个预定单位时间d对光接收时间tm进行分类来获得bin。具体地说，bin#0是0≤tm<d，bin#1是d≤tm<2×d，bin#2是2×d≤tm<3×d，…，bin#(N-2)是(N-2)×d≤tm<(N-1)×d。在光接收单元302a的曝光时间是时间tep时，tep＝N×d。
测距装置300基于bin对获取光接收时间tm的次数进行计数，获得针对每个bin的频率310，并生成直方图。这里，光接收单元302a还接收除了通过反射从光源单元301a发射的光而获得的反射光之外的光。除了目标反射光之外的这种光的示例包括上述环境光。直方图中由范围311a指示的部分包括由于环境光而产生的环境光分量。环境光是随机入射到光接收单元302a上的光，并且相对于目标反射光变成噪声。
另一方面，目标反射光是根据具体距离接收的光，并且在直方图中显示为活动光分量312a。与活动光分量312中的峰值的频率对应的bin是与测量对象303a的距离D对应的bin。通过获取bin的代表时间(例如，bin中心的时间)作为上述时间tre，测距装置300a可以根据上述等式(1)计算到测量对象303a的距离D。以这种方式，通过使用多个光接收结果，可以对随机噪声执行适当的测距。
然而，在上述使用直方图的测距方法中，在检测作为光接收定时的时间tre之前，需要获取多个光接收结果，并且执行光接收定时的检测处理需要时间。此外，为了生成直方图，需要用于存储光接收时间tm的存储器，并且装置的电路规模变大。此外，为了从直方图适当地检测时间tre，需要为每个生成的直方图设置适当的阈值，并且需要对其进行滤波处理和阈值设置处理，从而增加了处理负荷。此外，根据所需的距离精度，需要能够可靠地去除噪声的滤波器系数和用于适当地检测时间tre的阈值，因此用于设置这些值的开发步骤的数量也增加。
如上所述，从处理时间、处理负荷或存储器减少的观点出发，希望改进使用直方图的测距方法。就这一点而言，在本公开的技术中，使用机器学习模型识别从光接收单元的光接收定时(时间tre)到测量对象的距离，而不生成直方图。下面将参考图3描述该技术的概要。
(实施例)
[测距方法概要]
图3是用于描述根据本公开的实施例的测距方法的概要的图。图3所示的测距方法由测量装置1(图3中未示出)执行。此外，测量装置1包括具有多个像素(光接收元件)的光接收单元302。
如图3所示，测量装置1的光接收单元302输出针对每个光接收元件接收来自测量对象的反射光的每个光接收定时(步骤S1)。测量装置1基于光接收定时的分布310，通过使用机器学习模型来识别与到测量对象的距离相对应的时间tre(步骤S2)。具体地，测量装置1通过使用多个光接收元件的光接收定时的分布作为输入数据，并且使用与到测量对象的距离对应的时间tre作为正确的回答数据，预先学习机器学习模型M。测量装置1将在步骤S1中由光接收单元302输出的光接收定时作为输入数据输入到机器学习模型M，并获取机器学习模型M的输出结果作为与到测量对象的距离相对应的时间tre。
测量装置1生成包括从获取的时间tre到测量对象的距离的数据(步骤S3)。
如上所述，测量装置1通过使用光接收定时输入至其的机器学习模型来识别与到测量对象的距离相对应的时间tre，从而测量装置1不需要生成直方图，并且可以缩短对距离进行测量的时间。此外，生成直方图所需的处理变得不必要，并且测量装置1可以减少用于对距离进行测量的处理负荷。此外，不需要用于生成直方图的存储器，并且可以减小测量装置1的电路规模。
<测距系统的配置>
图4是示出根据本公开的实施例的测距系统的配置的示例的框图。图4所示的测距系统6包括测量装置1、光源2、存储装置7、控制装置4、光学系统5和成像装置8。
光源2例如是激光二极管，并且被驱动以发射脉冲形式的激光。作为光源2，可以应用发射激光的竖直腔面发射激光器(VCSEL)作为面光源。本公开不限于此，并且可以应用以下配置，其中将激光二极管布置在一条线上的阵列用作光源2，并且在垂直于该线的方向上扫描从激光二极管阵列发射的激光。此外，可以应用以下配置，其中使用激光二极管作为单个光源，并且在水平和竖直方向上扫描从激光二极管发射的激光。
测量装置1包括多个光接收元件。多个光接收元件布置成例如二维点阵形状以形成光接收表面。测量装置1基于多个光接收元件的输出信号，通过使用机器学习来识别与到测量对象的距离相对应的时间tre，并生成距离数据。例如，计算出的距离数据存储在存储装置7中。光学系统5将从外部入射的光引入到光接收面，该光接收面包括在测量装置1中。顺便提及，在下文中，包括光源2和测量装置1的装置也被称为测距装置。
例如，成像装置8是捕获存在测量对象的主体空间的RGB图像的RGB相机。
控制装置4控制测距系统6的整个操作。例如，控制装置4向测量装置1提供光发射触发信号，该光发射触发信号是用于使光源2发光的触发。测量装置1导致光源2在基于光发射触发信号的定时发射光，并且存储表示光发射定时的时间tem。此外，例如，控制装置4响应于来自外部的指令，为测量装置1设置在测距时的模式。
控制装置4基于由成像装置8捕获的RGB图像，控制测量装置1用于机器学习的机器学习模型M的切换。测量装置1根据测量对象的类型，例如，根据控制装置4的控制，选择机器学习模型M。
[测量装置的配置]
图5是示出根据本公开的实施例的测量装置1的配置的示例的框图。如图5所示，测量装置1包括像素阵列单元100、测距处理单元101、像素控制单元102、总体控制单元103、时钟生成单元104、光发射控制单元105、接口(I/F)单元106和模型存储单元107。
例如，总体控制单元103根据预先包含的程序来控制测量装置1的总体操作。此外，总体控制单元103还可以根据从外部提供的外部控制信号执行控制。时钟生成单元104基于从外部提供的参考时钟信号，生成在测量装置1中使用的一个或多个时钟信号。光发射控制单元105根据从外部提供的光发射触发信号生成指示光发射定时的光发射控制信号。光发射控制信号被提供给光源2并且还被提供给测距处理单元101。
像素阵列单元100是包括多个像素10、10等的光接收单元，这些像素以二维点阵形状布置并包括相应的光接收元件。每个像素10的操作由像素控制单元102根据总体控制单元103的指令来控制。例如，像素控制单元102控制每个像素10，使得一次读出每个像素10的输出信号。此外，像素10包括例如作为光接收元件的单光子雪崩二极管(SPAD)元件。
测距处理单元101基于从每个像素10读取的输出信号来测量到测量对象的距离D。测距处理单元101包括转换单元110、识别单元111、数据生成单元112和模型切换单元113。
转换单元110将从像素阵列单元100提供的输出信号转换为数字信息。从像素阵列单元100提供的输出信号对应于包括在像素10中、与像素信号对应的光接收元件接收光的定时被输出。转换单元110将提供的输出信号转换为指示定时的数字值的时间信息。像素阵列单元100的所有像素10的输出信号被输入到转换单元110。转换单元110将所有输出信号转换为时间信息，并将时间信息输出到识别单元111。
识别单元111包括深度神经网络(DNN)111a，其是机器学习模型的示例。DNN 111a是具有基于通过机器学习设计的人脑神经回路(神经网络)的多级结构的算法，以从与所有像素10的每个输出信号对应的时间信息(以下，也称为每个像素10的时间信息)中识别与到测量对象的距离D对应的时间信息(以下，也称为测量对象的时间信息)。顺便提及，DNN111a是示例，并且识别单元111可以使用任意格式的模型(学习装置)作为机器学习模型，例如回归模型(例如SVM)。
识别单元111通过将从转换单元110输入的每个像素10的时间信息输入到DNN111a并执行DNN处理来识别测量对象的时间信息。然后，识别单元111将从DNN 111a输出的DNN结果作为识别结果输出到数据生成单元112。
数据生成单元112根据从识别单元111输入的DNN结果生成输出数据，并将输出数据输出到存储装置7。具体地，数据生成单元112基于由识别单元111识别的测量对象的时间信息来计算到测量对象的距离D，生成输出数据，并将输出数据输出到I/F单元106。
模型切换单元113切换识别单元111的机器学习模型。例如，模型切换单元113基于来自控制装置4的指令读取存储在模型存储单元107中的模型，并将该模型提供给DNN111a。
由数据生成单元112生成的输出数据被提供给I/F单元106。例如，I/F单元106是移动工业处理器接口(MIPI)，并且将输出数据输出到例如存储装置7。或者，I/F单元106可以将输出数据输出到控制装置4或外部装置(未示出)。
(测量装置的层叠结构)
这里，将参考图6示意性地描述测量装置1的层叠结构。图6是示出根据本公开的实施例的测量装置1的层叠结构的示例的示意图。如图6所示，测量装置1包括其上布置有像素阵列单元100的第一基板P1、其上布置有转换单元110的第二基板P2、以及其上布置有识别单元111的第三基板P3。
如图6所示，像素阵列单元100布置在第一基板P1上。顺便提及，像素阵列单元100的像素10的光接收元件可以布置在第一基板P1上，并且包括在像素10中的其他电路配置可以布置在除第一基板P1之外的基板上，例如第二基板P2。
转换单元110布置在第二基板P2上。例如，在转换单元110包括用于每个像素10的时间到数字转换电路110a的情况下，对应于每个像素10的时间到数字转换电路布置在第二基板P2上。
这里，时间到数字转换电路(TDC)110a测量提供来自像素10的输出信号的时间，并将测量的时间转换为基于数字值的时间信息。如上所述，TDC 110a是为一个像素10生成一条时间信息的电路，并且转换单元110具有例如与像素10的数量相同数量的TDC 110a。
例如，TDC 110a包括计数器，该计数器从光源2发射光的发射定时到像素10接收光的光接收定时的时间进行计数。计数器与从光发射控制单元105提供的光发射控制信号同步地开始时间测量(计数)。计数器根据从像素10提供的输出信号的反转定时结束时间测量。TDC 110a向识别单元111输出通过将计数器的时间测量开始到结束的计数数量转换为数字值而获得的时间信息。
例如，为了接合图6所示的第一基板P1和第二基板P2，使用用于将形成在接合表面上的铜电极彼此连接的所谓Cu-Cu接合。可替代地，例如，为了接合第一基板P1和第二基板P2，可以使用所谓的直接接合(其中接合表面被平坦化，并且两者都通过电子力接合)，凸块接合等。
识别单元111布置在第三基板P3上。顺便提及，除了识别单元111之外，诸如数据生成单元112和总体控制单元103的逻辑电路可以布置在第三基板P3上。可替代地，诸如数据生成单元112、模型切换单元113和总体控制单元103的逻辑电路可以布置在另一基板(未示出)上。
时间信息从所有TDC 110a提供给布置在第三基板P3上的识别单元111。识别单元111通过识别作为机器学习模型的输入的从所有TDC 110a提供的每个像素10的时间信息来识别测量对象的时间信息。
例如，为了接合图6所示的第二基板P2和第三基板P3，使用用于将形成在接合表面上的铜电极彼此连接的所谓Cu-Cu接合。可替代地，例如，为了接合第二基板P2和第三基板P3，可以使用所谓的直接接合(其中各个接合表面被平坦化，并且两者都通过电子力接合)，凸块接合等。
如上所述，在本公开的实施例中，像素阵列单元100、转换单元110和识别单元111布置在不同的基板(第一基板P1至第三基板P3)上，并且测量装置1同时测量所有像素10的光接收时间。结果，识别单元111可以基于所有像素10的输出信号来识别测量对象的时间信息。因此，测量装置1可以检测到测量对象的距离D，而不生成直方图，并且不需要用于生成直方图的处理和存储器。
顺便提及，这里已经描述了像素阵列单元100、转换单元110和识别单元111布置在不同基板(第一基板P1至第三基板P3)上的示例，但本公开不限于此。例如，像素阵列单元100、转换单元110和识别单元111可以布置在一个基板上。
这里，已经描述了一次读取所有像素10的输出信号的情况作为示例，但是读取像素10的方法不限于此。例如，可以针对预定区域中的每个像素10读取输出信号。可替代地，例如，可以针对每个像素10、行或列读出输出信号。在这种情况下，可以包括用于存储由测量装置1为每个像素10读取的输出信号(或通过将输出信号转换为时间而获得的时间信息)的存储器。
(机器学习模型)
接下来，将参考图7至图9描述识别单元111用于识别距离D的机器学习模型。如上所述，与所有像素10的输出信号相对应的时间信息被输入到识别单元111。识别单元111通过将每个像素10的时间信息输入到DNN 11a并执行DNN处理来识别测量对象的时间信息。
将参考图7描述机器学习模型的神经网络的示例。图7是用于描述神经网络的概要的图。
如图7所示，神经网络40包括输入层41、中间层42和输出层43的三种类型的层，并且具有其中包括在每一层中的节点通过链接连接的网络结构。图7中的圆圈对应节点，箭头对应链接。当输入数据被输入到输入层41时，按照从输入层41到中间层42和从中间层42到输出层43的顺序执行节点处的计算和链接处的加权，并且从输出层43输出输出数据。顺便提及，在神经网络中，具有预定数量或更多层的神经网络也称为深度神经网络(DNN)或深度学习。
图7中所示的神经网络40仅仅是一个示例，并且可以具有任何网络配置，只要能够实现期望的功能。例如，在图7的示例中，为了简化描述，示出了输出层43的节点数为1的情况，但是例如，在分类模型的情况下，输出层43的节点数可以为多个(例如，待分类的类数)。
顺便提及，已知神经网络可以近似任意函数。神经网络可以利用反向传播等计算方法学习适合教师数据的网络结构。因此，通过神经网络对模型进行配置，将模型从表达能力的限制中解脱出来，即模型被设计在人能够理解的范围内。
顺便提及，识别单元111用于识别时间信息的机器学习模型不限于DNN 111a，并且可以由各种网络配置。例如，机器学习模型可以是任意格式的模型(学习装置)，例如回归模型(例如支持向量机(SVM))。例如，机器学习模型可以是诸如非线性回归模型和线性回归模型的各种回归模型。
识别单元111用于识别时间信息的机器学习模型根据测量对象的类型而切换。将参考图8和9描述这一点。图8和9是用于描述机器学习模型的示例的图。
从光源2发射的光被测量对象反射，并被测量装置1接收。此时，到达测量装置1的反射光量根据测量对象的类型而变化。
如图8所示，在测量对象为汽车的情况下，大部分照射光被例如形成为平坦表面的主体部分反射，并被测量装置1接收。因此，在与到测量对象的距离相对应的光接收定时tc附近接收反射光的像素10的数量大于接收环境光的像素10的数量。
因此，如图8的曲线图所示，光接收定时的分布成为在包括光接收定时tc的预定范围内接收反射光的像素数增加的分布。顺便提及，在图8所示的曲线图中，纵轴表示每个bin的频率，横轴表示bin(时间t)，并且示出了每个像素的光接收定时与像素数量之间的关系。换言之，图8所示的曲线图是示出接收反射光的像素数量大的时间的曲线图。
另一方面，如图9所示，在测量对象是树的情况下，照射光的一部分在树的表面上不规则地反射，因此到达测量装置1的反射光比汽车的情况下的反射光少。因此，如图9所示，在与到测量对象的距离相对应的光接收定时tt附近的光接收定时的分布增加，但是与测量对象为汽车的情况相比，在光接收定时tt附近接收反射光的像素数量减少。
如上所述，光接收定时的分布不仅根据到测量对象的距离D而改变，而且根据测量对象的类型而改变。就这一点而言，在本公开的实施例中，例如，针对诸如汽车、建筑物、道路、行人或树的每种类型的测量对象学习机器学习模型。结果，可以提高测量对象的时间信息的识别精度。
顺便提及，假设机器学习模型是基于作为教师数据具有与每种类型的测量对象的时间信息相关联的光接收定时的分布的监督学习预先构造的。此外，假设将构造的机器学习模型预先存储在模型存储单元107中。识别单元111基于来自模型切换单元113的指令，通过从模型存储单元107读取机器学习模型来切换用于识别时间信息的机器学习模型。
顺便提及，机器学习模型的构造不限于上述每种类型的测量对象。例如，机器学习模型可能针对主体空间中的每个场景构造。具体来说，例如，机器学习模型可能针对白天或夜晚等每个时间，针对雨天或晴天等每个天气，或者针对国家、地区、城区或山区等每个地方构造。例如，在白天和夜晚之间，由每个像素10接收的除了反射光之外的环境光发生变化。此外，在雨天的情况下，像素10的光接收定时由于雨滴的反射而改变。此外，道路状况、标志和周围环境因国家、地区、城区和山区而异。因此，通过针对主体空间中各个场景构造机器学习模型，可以提高在主体空间中测量对象的时间信息的识别精度。此外，例如，在白天在城区中识别到汽车的距离D的情况下，可以针对场景和测量对象的类型的每个组合构造机器学习模型。
(通过机器学习模型的距离识别)
接下来，将参考图10描述识别单元111对测量对象的时间信息的识别。图10是用于描述识别单元111对时间信息的识别的图。在下文中，光源2的照射光的发射也被称为射出。
例如，识别单元111获取通过转换单元110对每次射出转换来自像素阵列单元100的输出信号而获得的时间信息。识别单元111将针对每次射出获取的时间信息输入到DNN111a，并获取与测量对象的距离D相对应的时间信息的识别结果。
例如，如图10所示，将描述光源2发射照射光N次的情况作为示例。此时，光源2的第n次照射被称为第n次射出(n＝1到N)。识别单元111依次获取与光源2的第1至第N次射出相对应的如图10所示的分布的时间信息。
当对第一至第N次射出中的每一个获取像素10的时间信息时，识别单元111依次向DNN 111a输入时间信息，以识别测量对象的时间信息。例如，在图10所示的示例中，识别单元111获取与第一射出对应的时间信息t1作为DNN 11a的识别结果，并将时间信息t1输出到数据生成单元112。类似地，识别单元111获取与第n次射出相对应的时间tn(n＝2到N)作为DNN 11a的识别结果，并将时间tn输出到数据生成单元112。
例如，当从识别单元111顺序地获取第一至第N次射出的测量对象的时间信息t1至tN时，数据生成单元112基于上述等式(1)计算与每次射出对应的到测量对象的距离D。顺便提及，从识别单元111输出的时间信息t1到tN对应于等式(1)中的tem-tre。
以这种方式，数据生成单元112可以针对第一至第N次射出中的每一个计算到测量对象的距离D，或者数据生成单元112可以针对多次射出中的每一个计算到测量对象的距离D。此时，数据生成单元112可以使用多次射出中的测量对象的时间信息的平均值来计算距离D。
可替代地，数据生成单元112可以确定测量对象的时间信息的值是否已经收敛，并且使用确定为已经收敛的射出的时间信息来计算距离D。顺便提及，在时间信息的值收敛并且数据生成单元112计算距离D的情况下，数据生成单元112可以确定识别单元111的识别已经结束，并结束测量对象的距离的测量。
顺便提及，虽然这里已经描述了基于光源2多次发射的光来计算距离D的情况，但例如，测量装置1可以以一次射出结束距离D的测量。即，识别单元111可以对对应于一次射出获取的每个像素10的时间信息执行DNN处理，以识别测量对象的时间信息，并且当数据生成单元112计算距离D时，可以结束测量装置1对距离D的测量。以这种方式，当使用机器学习模型计算距离D时，测量装置1可以用一个最短的射出测量距离D，并且可以缩短距离D的测量时间。
[控制装置]
在下文中，将参考图11详细描述控制装置4。控制装置4控制测距系统，并控制通过模型切换单元113的机器学习模型的切换。这里，将主要描述控制装置4执行机器学习模型的切换控制的点。顺便提及，图11是示出根据本公开的实施例的控制装置4的配置示例的框图。
例如，控制装置4由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外，控制装置4可以包括存储要使用的程序、计算参数等的只读存储器(ROM)，以及临时存储适当改变的参数等的随机存取存储器(RAM)。
控制装置4基于成像装置8的捕获图像检测测量对象并识别主体空间中的场景，并且执行测量装置1的机器学习模型的切换控制。具体地，控制装置4用作获取单元401、提取单元402、场景识别单元403、测距确定单元406、模型选择单元404和通知单元405。
获取单元401从成像装置8获取RGB图像。例如，获取单元401可以获取关于RGB图像的成像时间、成像地点等的信息。这样的信息可以从成像装置8获取，或者可以从诸如GPS传感器(未示出)的传感器获取。这样的传感器可以包括在测距系统6中，或者可以是外部传感器。
提取单元402从RGB图像中提取测量对象。例如，提取单元402执行模板匹配之类的图像处理，并从RGB图像中提取诸如树、车辆或道路之类的测量对象。此外，例如，提取单元402可以从RGB图像的颜色信息中提取天空区域、包括道路的地面区域等。可替代地，提取单元402可以使用诸如DNN的机器学习模型来提取测量对象、天空区域、地面区域等。
场景识别单元403从RGB图像识别主体空间中的场景。可替代地，场景识别单元403可以根据关于RGB图像的成像时间、成像地点等的信息来识别场景。此外，场景识别单元403可以经由网络(未示出)从外部装置等获取场景识别所需的信息。
这里，例如，场景是指示由诸如季节、时间、天气或地点等外围信息表示的主体空间的信息。例如，在从RGB图像识别场景的情况下，场景识别单元403根据RGB图像的亮度识别主体空间是白天还是夜间。此外，场景识别单元403可以基于提取单元402的提取结果来识别场景。例如，在提取单元402检测到建筑物、行人、汽车等作为测量对象的情况下，场景识别单元403识别主体空间是城区。
顺便提及，场景识别单元403的场景识别不限于基于RGB图像的场景识别，并且可以从RGB图像以外的信息识别场景。例如，场景识别单元403可以从RGB图像的成像日期和时间识别主体空间的季节、时间等。此外，场景识别单元403可以从RGB图像的成像位置识别主体空间的位置。场景识别单元403可以基于例如雨水检测传感器的检测结果和RGB图像来识别主体空间中的天气。如上所述，场景识别单元403可以基于多个传感器等的检测结果来识别主体空间中的场景。可替代地，可以经由网络从外部装置获取时间信息、天气等。
可替代地，场景识别单元403可以使用诸如DNN的机器学习模型来识别主体空间中的场景。在这种情况下，场景识别单元403可以向DNN输入RGB图像，并且除了RGB图像之外，还可以向DNN输入诸如成像日期和时间以及雨水检测传感器的检测结果的信息。
以这种方式，例如，场景识别单元403基于包括RGB图像的传感器的检测结果来识别主体空间中的场景。例如，场景识别单元403识别主体空间是“在日本”、“城区”、“晴天”和“傍晚”。
测距确定单元406基于提取单元402的提取结果和场景识别单元403的识别结果，确定用于测量距离D的测距位置(测距点)。此外，测距确定单元406确定与光发射系统有关的各种参数的值，例如光源2的照射的方向、功率和脉冲形状。此外，测距确定单元406选择与光接收系统有关的各种参数的值，例如像素阵列单元100的曝光周期和帧速率。
这里，将参考图12和图13来描述由测距确定单元406确定的测距位置(测距点)。图12和图13是用于描述由测距确定单元406确定的测距位置的图。
顺便提及，这里，如图12所示，假设提取单元402从RGB图像M1中提取树Tr、道路R、汽车C1、房屋H、行人Pe和天空区域SR。此时，测距确定单元406基于提取单元402的提取结果，确定对其测量距离D的测量对象，该测量对象存在于主体空间中。此外，测距确定单元406确定对其测量距离D的测量对象的位置。
具体地，例如，测距确定单元406确定在图12中由“+”指示的五个点处测量到行人Pe的距离D。例如，对于每种类型的测量对象，预先确定每个测量对象的要测量的距离D的数量N1，并且测距确定单元406根据数量N1确定RGB图像M1中的测距位置，换句话说，确定从光源2发射的光的方向。
测距确定单元406在测量对象是诸如行人Pe或汽车C1的移动体的情况下，将针对每种类型的测量对象确定的测量数量N1设置为最大，并且在测量对象是诸如树木Tr或房屋H的静止体的情况下，将测量数量N1设置为小于移动体的情况(见图12)。此外，在诸如道路R的背景中，测量数量N1可以小于静止体的数量。此外，不需要在没有测量对象的区域(例如天空区域SR)中测量距离D。即，由于认为在天空区域SR中不存在测量对象，所以光源2不需要朝向天空区域SR发射光。就这一点而言，测距确定单元406确定除了天空区域SR之外测量到测量对象的距离D。
以这种方式，测距确定单元406基于由提取单元402提取的测量对象的类型和在RGB图像中的位置来确定从光源2发射的光的方向(测距位置)。
可替代地，例如，如图13所示，在提取单元402提取侧向的汽车C2的情况下，测距确定单元406确定一个位置A1作为用于测量到汽车C2的距离D的测量位置。这是因为，在汽车C2侧向的情况下，汽车C2的侧面基本上是平的，因此，与侧面的测量位置无关，到汽车C2的距离D不发生很大变化。如上所述，在测量对象具有平坦表面的情况下，测距确定单元406将平坦表面的代表位置确定为测距位置。结果，测距系统6可以减少由测量装置1测量到测量对象的距离D的次数。
顺便提及，这里，测距确定单元406确定一个代表性位置，但本发明不限于此。测距确定单元406可以确定多个代表性位置。
测距确定单元406可以通过使用场景识别单元403的识别结果来根据场景确定测距位置。例如，在主体空间的时区为“夜间”的情况下，测距确定单元406可以将到测量对象的距离D的测量数量N1设置为大于时区为“白天”的情况下的测量数量。即，在时区为“夜间”的情况下，测距确定单元406可以确定测量位置，使得在比“白天”的情况下更多的测量位置处测量到测量对象的距离D。
返回图11，例如，模型选择单元404基于提取单元402的提取结果和场景识别单元403的识别结果，选择由测量装置1用于针对由测距确定单元406确定的每个测距位置装置识别测量对象的距离D的机器学习模型。
具体地，例如，在提取单元402提取行人的情况下，模型选择单元404选择通过以行人作为正确答案数据的监督学习构造的机器学习模型。以这种方式，例如，模型选择单元404根据由提取单元402提取的测量对象的类型来选择机器学习模型。
或者，模型选择单元404可以通过使用场景识别单元403的识别结果来根据场景选择机器学习模型。例如，在主体空间中的天气为“下雨”的情况下，模型选择单元404选择基于在雨天等中收集的测量数据构造的机器学习模型。以这种方式，模型选择单元404基于场景的识别结果选择适合于场景的机器学习模型。
例如，模型选择单元404可以基于提取单元402的提取结果和场景识别单元403的识别结果来选择机器学习模型。例如，预先将机器学习模型与相关关键词相关联，模型选择单元404选择与提取结果和识别结果相同的关键词相关联的机器学习模型。具体地，例如，在提取结果为“汽车”并且场景识别结果为“白天”和“下雨”的情况下，模型选择单元404将提取结果和场景识别结果与多个机器学习模型相关联的关键字进行比较，并选择结果与关键字之间具有最高重合度的机器学习模型。
可替代地，模型选择单元404可以使用机器学习来执行模型选择。在这种情况下，模型选择单元404通过将提取结果和场景识别结果输入到作为机器学习模型的示例的DNN，并执行DNN处理来选择用于距离D的测量的机器学习模型。
通知单元405将模型选择单元404的选择结果通知测量装置1。例如，通知单元405将指定由模型选择单元404选择的机器学习模型的信息通知测量装置1。此外，在模型选择单元404选择光发射系统和与光接收系统相关的参数的值的情况下，将选择的参数值通知给测量装置1或光源2。
[测距处理过程]
接下来，将描述由测距系统6执行的测距处理过程的示例。首先，将描述由控制装置4进行的模型选择处理，然后将描述由测量装置1进行的测量处理过程。
(模型选择处理)
图14是示出根据本公开的实施例的模型选择处理的过程的示例的流程图。
如图14所示，控制装置4从成像装置8获取RGB图像(步骤S201)。接下来，控制装置4通过从RGB图像提取特征量来提取测量对象(步骤S202)。
随后，控制装置4识别RGB图像的场景(步骤S203)。控制装置4基于在步骤S202中提取的测量对象和在步骤S203中识别的场景来确定测量对象的距离D的测距位置(步骤S204)。
控制装置4为每个测距位置选择机器学习模型(步骤S205)，并将确定的测距位置和对应的机器学习模型通知测量装置1(步骤S206)。
(测量处理)
图15是示出根据本公开的实施例的测量处理的过程的示例的流程图。
如图15所示，测量装置1首先基于来自控制装置4的通知和测距位置，切换用于由识别单元111进行识别的机器学习模型(步骤S101)。随后，测量装置1控制光源2发光(步骤S102)。
在所有像素10中，测量装置1测量从光源2发光到像素10接收光的时间(步骤S103)。测量装置1通过使用机器学习模型从所有像素10中的时间的测量结果识别测量对象的时间信息(步骤S104)。测量装置1基于识别出的测量对象的时间信息，生成包括到测量对象的距离D的数据(步骤S105)。
在上文中，如上所述，根据本公开的实施例的测量装置1包括多个光接收元件(像素10)和识别单元111。多个光接收元件布置在第一基板P1上，并且当接收从光源2发射并由测量对象反射的光时输出信号。识别单元111布置在与第一基板P1不同的第二基板(对应于上述实施例的第三基板P3)上，并且通过使用机器学习模型基于多个光接收元件的输出信号识别到测量对象的距离D。
结果，测量装置1可以基于多个光接收元件的输出信号识别测量对象的时间信息，并且可以减少测量到测量对象的距离D所需的处理时间。此外，由于测量装置1不生成直方图并且不需要存储器，因此与使用直方图测量距离D相比，可以减少用于参数调整的时间和精力，并提高精度。
[修改例]
顺便提及，在上述实施例中，控制装置4基于RGB图像选择机器学习模型，但本公开不限于此。例如，测量装置1可以基于所有像素10的时间信息选择机器学习模型。
例如，如图16所示，假设像素10的时间信息的分布在特定区域中不是密集的而是随机的。在这种情况下，测量装置1的模型切换单元113根据这种分布选择机器学习模型，并切换要在识别单元111的识别中使用的机器学习模型。例如，模型切换单元113可以从转换单元110获取像素10的时间信息的分布，或者可以从识别单元111获取分布。顺便提及，图16是示出像素10的时间信息的分布的示例的图。
可替代地，例如，测量装置1的模型切换单元113可以基于这种分布来改变与光发射系统相关的各种参数的值，例如光源2的照射的方向、功率和脉冲形状。例如，在像素10的时间信息具有如图16所示的随机分布的情况下，模型切换单元113改变各种参数的值，使得当确定到测量对象的距离D长时增加照射功率，或者当确定在照射方向上没有测量对象时改变照射方向。例如，模型切换单元113将改变的参数输出到光发射控制单元105。可替代地，光发射控制单元105可以基于这种分布改变各种参数。
如图17所示，假设像素10的时间信息的分布是在特定区域中集中的分布。即，在像素10的光接收定时的检测结果为饱和分布的情况下，测量装置1的模型切换单元113根据该分布选择机器学习模型，并切换识别单元111的识别中使用的机器学习模型。顺便提及，图17是示出像素10的时间信息的分布的另一示例的图。
可替代地，例如，测量装置1的模型切换单元113可以基于这种分布来改变与光发射系统相关的各种参数的值，例如光源2的照射的方向、功率和脉冲形状。例如，模型切换单元113将改变的参数输出到光发射控制单元105。可替代地，光发射控制单元105可以基于这种分布改变各种参数。
顺便提及，这里，测量装置1改变光发射系统的各种参数。然而，可以改变光接收系统的各种参数，例如光接收灵敏度。
如上所述，测量装置1基于像素10的时间信息切换机器学习模型或改变光发射系统或光接收系统的各种参数，由此测量装置1可以提高到测量对象的距离D的测量精度。
在上述实施例中，测量装置1的识别单元111识别测量对象的时间信息，但本公开不限于此。测量装置1的识别单元111可以将每个像素10的时间信息输入到DNN 111a，以识别到测量对象的距离D。以这种方式，识别单元111识别与到测量对象的距离D相关的信息，例如测量对象的距离D或时间信息。
顺便提及，在上述实施例中，控制装置4基于成像装置8的成像结果来选择机器学习模型，但也可以基于另一传感器装置的感测结果来选择机器学习模型。
例如，控制装置4可以基于诸如近红外光(IR)传感器、短波红外(SWIR)传感器、中波红外(MWIR)传感器或长波红外(LWIR)传感器的红外传感器的感测结果代替成像装置8来选择机器学习模型。可替代地，控制装置4可以基于激光成像检测和测距(LIDAR)传感器的感测结果来选择机器学习模型，该激光成像检测和测距传感器用于基于与从光源2发射的光的频带不同的频带中的光来测量距离D。此外，控制装置4可以基于无线电检测和测距(RADAR)传感器的感测结果来选择机器学习模型。
可替代地，控制装置4可以通过组合包括上述成像装置8的各种传感器的感测结果来选择机器学习模型。
识别单元111可以通过使用上述各种传感器的感测结果来识别测量对象的时间信息。在这种情况下，上述各种传感器的输出被输入到识别单元111。识别单元111通过将每个像素10的时间信息和上述各种传感器的输出输入到DNN 111a并执行DNN处理来识别测量对象的时间信息。如上所述，还通过使用各种传感器的输出，可以提高识别单元111对测量对象的时间信息的识别精度。
顺便提及，在上述实施例中，测量装置1切换机器学习模型以测量到测量对象的距离D，但本公开不限于此。例如，在一个机器学习模型可以对应于多种类型的测量对象的情况下，测量装置1可以通过使用一个机器学习模型来测量到测量对象的距离D。可替代地，即使在测量装置1测量到诸如汽车等特定测量对象的距离D的情况下，测量装置1也可以通过使用例如汽车专用的一个机器学习模型来测量距离D。
例如，在本实施例中，已经描述了其中数据生成单元112和模型切换单元113设置在测量装置1内部的示例。然而，数据生成单元112和模型切换单元113可以设置应用处理器(其设置在测距装置外部)中装置。
可替代地，例如，在本实施例中，已经描述了其中测距确定单元406和模型选择单元404设置在控制装置4内部的示例。然而，测距确定单元406和模型选择单元404可以设置在测量装置1中。在这种情况下，通过在模型切换单元113中包括模型选择单元404的功能，可以在测量装置1中提供模型选择单元404。
[效果]
根据该实施例和修改例的测量装置1包括：多个光接收元件(像素10)，其布置在第一基板P1上，并且当接收从光源2发射并由测量对象反射的光时输出信号；以及识别单元111，其布置在与第一基板P1不同的第三基板P3上，并且通过使用机器学习模型(DNN 111A)基于多个光接收元件的输出信号识别关于到测量对象的距离D的信息。
结果，测量装置1可以在不生成直方图的情况下测量到测量对象的距离D，并且可以减少测量距离D所需的处理时间。
根据该实施例和修改例的测量装置1进一步包括时间测量单元(转换单元110)，其基于多个光接收元件的输出信号，测量从光源2发光的光发射定时到光接收元件接收光的光接收定时的时间，并获取测量值。识别单元111通过使用机器学习模型识别关于距离D的信息，在机器学习模型中输入了与多个光接收元件对应的多个测量值。
结果，测量装置1可以在不生成直方图的情况下测量到测量对象的距离D，并且可以减少测量距离D所需的处理时间。
根据该实施例和修改例的识别单元111基于当光源2发光一次时由时间测量单元(转换单元110)测量的测量值来识别关于距离D的信息。
以这种方式，识别单元111通过光源2的一次光发射来识别关于距离D的信息，由此测量装置1可以减少距离D的测量时间。
当光源2发光多次时，根据该实施例和修改例的识别单元111基于时间测量单元(转换单元110)响应于每次光发射而测量的测量值来识别关于距离D的信息。
以这种方式，识别单元111通过光源2的多次光发射来识别关于距离D的信息，由此测量装置1可以提高距离D的测量精度。
根据该实施例和修改例的识别单元111在确定已经识别出关于距离D的信息的情况下结束关于距离D的信息的识别。
以这种方式，在识别单元111识别关于距离D的信息的情况下，识别处理结束，由此测量装置1可以提高距离D的测量精度。
根据该实施例和修改例的识别单元111使用神经网络作为机器学习模型来识别关于距离D的信息。
因此，测量装置1可以提高距离D的测量精度。
根据该实施例和修改例的第一基板P1和第三基板P3之间的连接是铜电极之间的连接。
结果，改进了设计测量装置1的自由度，并且可以缩小测量装置1的尺寸。
根据该实施例和修改例的测距装置包括：光源2，其向测量对象发射光；多个光接收元件(像素10)，其布置在第一基板P1上，并且当接收从测量对象反射的光时输出信号；以及识别单元111，其布置在与第一基板P1不同的第三基板P3上，并且通过使用机器学习模型(DNN 111a)基于多个光接收元件的输出信号识别关于到测量对象的距离D的信息。
结果，测距装置可以在不生成直方图的情况下测量到测量对象的距离D，并且可以减少测量距离D所需的处理时间。
[根据本公开的技术的应用示例]
接下来，将描述本公开的实施例和修改例的应用示例。图18是示出使用可以应用上述实施例和修改例的测量装置1的使用示例的图。
如上所述的测量装置1可以用于例如如下所述的诸如可见光、红外光、紫外光和X射线的感测光的各种情况。
·捕获图像以供观看的装置，例如数码相机或具有相机功能的便携式装置。
·一种装置，例如捕获汽车的前、后、周围、内部等图像的车载传感器，监视行驶的车辆和道路的监视相机，测量车辆之间距离等的测距传感器，用于交通以支持安全驾驶，例如自动停车和识别驾驶员的状态。
·用于家用电器的装置，例如电视机、冰箱和空调，以捕获用户手势的图像并且根据手势操作装置。
·用于医疗或保健的装置，例如内窥镜或通过接收红外光进行血管造影的装置。
·用于安全的装置，例如用于预防犯罪的监视相机或用于身份认证的相机。
·用于美容护理的装置，例如用于拍摄皮肤的皮肤测量仪器或用于拍摄头皮的显微镜。
·用于运动的装置，例如动作相机或运动用可穿戴相机等。
·用于农业的装置，例如用于监测田地和庄稼状态的相机。
(移动体应用示例)
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体上的装置，例如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动体、飞机、无人机、船舶和机器人。
图19是示出车辆控制系统的示意性配置示例的框图，车辆控制系统是可以应用根据本公开的技术的移动体控制系统的示例。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图19所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040以及集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、音频图像输出单元12052和车载网络I/F(接口)12053。
驱动系统控制单元12010根据各种程序控制与车辆驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作驱动力生成装置的控制装置，诸如用于生成车辆驱动力的内燃机或驱动电机、用于将驱动力传递到车轮的驱动力传递机构、调节车辆的转向角的转向机构，以及生成车辆制动力的制动装置等。
车身系统控制单元12020根据各种程序控制安装到车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统，智能钥匙系统，电动车窗装置或各种灯(例如头灯、尾灯、刹车灯、信号灯或雾灯)的控制装置。在这种情况下，可以将从替代键的便携式装置发送的无线电波或各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入，并控制车辆的门锁装置、电动车窗装置、灯等。
车辆外部信息检测单元12030检测安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031捕获车辆外部的图像，并且接收捕获的图像。基于接收到的图像，车辆外部信息检测单元12030可以针对人、车辆、障碍物、标志、路面上的字符等执行物体检测处理或距离检测处理。
成像单元12031是接收光并且输出与接收的光量对应的电信号的光学传感器。成像单元12031可以输出作为图像的电信号，或者可以输出作为测量距离的信息的电信号。另外，成像单元12031接收的光可以是可见光，或者诸如红外线的不可见光。
车辆内部信息检测单元12040检测车辆内部的信息。例如，检测驾驶员状态的驾驶员状态检测单元12041连接到车辆内部信息检测单元12040。驾驶员状态检测单元12041包括例如对驾驶员成像的相机，并且车辆内部信息检测单元12040可基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或集中程度，或者可确定驾驶员是否正在瞌睡。
微型计算机12051可以基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获取的车辆内部或外部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制命令输出至驱动系统控制单元12010。例如，微型计算机12051可以执行协作控制，以实现高级驾驶员辅助系统(ADAS)的功能为目标，包括车辆的碰撞避免或撞击减轻、基于车间距的跟随行驶、车辆速度保持行驶、车辆的碰撞警告和车辆的车道偏离警告等。
微型计算机12051基于车辆外部信息检测单元12030或车辆内部信息检测单元12040获取的车辆附近的信息来控制驱动力生成装置、转向机构、制动装置等，从而执行以车辆自主行驶的自动驾驶等为目的的协同控制，而不依赖于驾驶员的操作。
微型计算机12051可以基于由车辆外部信息检测单元12030获取的车辆外部信息将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以通过根据车辆外部信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置控制前照灯来执行协作控制，以实现防止眩光的目的，例如从远光灯切换到近光灯。
音频图像输出单元12052将音频和图像中的至少一个的输出信号发送到能够在视觉上或听觉上向车辆的乘员或车辆外部通知信息的输出装置。在图19的示例中，音频扬声器12061，显示单元12062和仪表板12063被示出为输出装置。显示单元12062可以包括例如车载显示器和平视显示器中的至少一个。
图20是示出成像单元12031的安装位置的示例的图。
在图20中，包括成像单元12101、12102、12103、12104和12105作为成像单元12031。
例如，成像单元12101、12102、12103、12104和12105设置在诸如车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置。设置在前鼻上的成像单元12101和设置在车辆内部的挡风玻璃的上部的成像单元12105主要获取车辆12100的前方的图像。设置在侧镜上的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后侧的图像。设置在车辆内部的挡风玻璃的上部的成像单元12105主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
顺便提及，图20示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前鼻处的成像单元12101的成像范围，成像范围12112和12113分别表示设置在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114表示设置在后保险杠或后门处的成像单元12104的成像范围。例如，通过叠加由成像单元12101至12104捕获的图像数据，获得从上方观看的车辆12100的俯视图像。
成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051基于从成像单元12101至12104获得的距离信息，获得到成像范围12111至12114中的每个三维物体的距离和距离的时间变化(相对于车辆12100的相对速度)，从而特别提取在车辆12100的行驶路径上最接近车辆12100的三维物体，该三维物体并且在与车辆12100基本相同的方向上以预定速度(例如，0km/h以上)行驶，作为前方车辆。此外，微型计算机12051可以在相对于前方车辆前方预先设定要确保的车辆间距离，并且执行自动制动控制(包括随动停止控制)、自动加速控制(包括随动起动控制)等。如上所述，可以执行以车辆自主行驶的自动驾驶等为目的的协同控制，而不依赖于驾驶员的操作。
例如，基于从成像单元12101至12104获得的距离信息，微型计算机12051可以将关于三维物体的三维物体数据分类为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆等其他三维物体，提取三维物体数据，并将该三维物体数据用于障碍物的自动避障。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够在视觉上识别的障碍物和难以在视觉上识别的障碍物。然后，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险，并且当存在碰撞风险等于或高于设定值的碰撞可能性时，微型计算机可以通过经由音频扬声器12061或显示单元12062向驾驶员输出警报或经由驱动系统控制单元12010执行强制减速或回避转向，执行用于防止碰撞的驾驶辅助。
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定成像单元12101至12104的捕获图像中是否存在行人来识别行人。这种行人识别通过例如提取由作为红外照相机的成像单元12101至12104捕获的图像中的特征点的过程以及对指示对象的轮廓的一系列特征点执行模式匹配处理以确定对象是否是行人的过程来执行。当微型计算机12051确定在由成像单元12101至12104捕获的图像中存在行人并且识别出行人时，音频图像输出单元12052控制显示单元12062叠加并显示方形轮廓线，以强调所识别的行人。此外，音频图像输出单元12052可以控制显示单元12062在期望位置显示表示行人的图标等。
在上文中，已经描述了可应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以应用于上述配置中的成像单元12031。具体地，图4中的测距系统6可以应用于成像单元12031。通过将根据本公开的技术应用到成像单元12031，可以提高到车辆周围障碍物的距离的计算速度。
尽管上文已经描述了本公开的实施例，但本公开的技术范围不限于目前的上述实施例，并且可以在不脱离本公开的主旨的情况下进行各种修改。此外，该部件可以在不同的实施例和修改中适当地组合。
本说明书中描述的效果仅是示例而非限制性的，并且可以存在其他效果。
顺便提及，本技术也可以如下所示配置。
(1)
一种测量装置，包括：
多个光接收元件，其布置在第一基板上，并且当接收从光源发射并由测量对象反射的光时输出信号；以及
识别单元，其布置在与所述第一基板不同的第二基板上，并且通过使用机器学习模型基于所述多个光接收元件的所述输出信号识别关于到所述测量对象的距离的信息。
(2)
根据(1)所述的测量装置，进一步包括：
时间测量单元，其基于所述多个光接收元件的所述输出信号，测量从所述光源发光的光发射定时到所述光接收元件接收所述光的光接收定时的时间，并获取测量值，其中
所述识别单元通过使用所述机器学习模型识别关于所述距离的所述信息，其中输入了与所述多个光接收元件对应的多个测量值。
(3)
根据(2)所述的测量装置，其中，当所述光源发光一次时，所述识别单元基于由所述时间测量单元测量的所述测量值来识别关于所述距离的所述信息。
(4)
根据(2)所述的测量装置，其中，当所述光源发光多次时，所述识别单元基于所述时间测量单元响应于每次发光而测量的所述测量值来识别关于所述距离的所述信息。
(5)
根据(4)所述的测量装置，其中，在确定识别了关于所述距离的所述信息的情况下，所述识别单元结束关于所述距离的所述信息的所述识别。
(6)
根据(1)至(5)中任一项所述的测量装置，其中，所述识别单元通过使用神经网络作为所述机器学习模型来识别关于所述距离的所述信息。
(7)
根据(1)至(6)中任一项所述的测量装置，其中，所述第一基板和所述第二基板之间的连接是铜电极之间的连接。
(8)
一种测距装置，包括：
光源，其向测量对象发射光；
多个光接收元件，其布置在第一基板上，并且当接收由所述测量对象反射的光时输出信号；以及
识别单元，其布置在与所述第一基板不同的第二基板上，并且通过使用机器学习模型基于所述多个光接收元件的所述输出信号识别关于到所述测量对象的距离的信息。
参考符号列表
1 测量装置
2 光源
4 控制装置
6 测距系统
8 成像装置
10 像素
100 像素阵列单元
107 模型存储单元
110 转换单元
111 识别单元
112 数据生成单元
113 模型切换单元
401 获取单元
402 提取单元
403 场景识别单元
404 模型选择单元
405 通知单元
406 测距确定单元。

Claims (8)

1.一种测量装置，包括：
多个光接收元件，布置在第一基板上，并且所述多个光接收元件当接收从光源发射并由测量对象反射的光时输出信号；以及
识别单元，布置在与所述第一基板不同的第二基板上，并且所述识别单元通过使用机器学习模型基于所述多个光接收元件的输出信号识别关于到所述测量对象的距离的信息。
2.根据权利要求1所述的测量装置，进一步包括：
时间测量单元，基于所述多个光接收元件的所述输出信号，测量从所述光源发光的光发射定时到所述光接收元件接收所述光的光接收定时的时间，并获取测量值，其中
所述识别单元通过使用以与所述多个光接收元件各自对应的多个测量值作为输入的所述机器学习模型识别关于所述距离的所述信息。
3.根据权利要求2所述的测量装置，其中，当所述光源发光一次时，所述识别单元基于由所述时间测量单元测量的所述测量值识别关于所述距离的信息。
4.根据权利要求2所述的测量装置，其中，当所述光源发光多次时，所述识别单元基于所述时间测量单元响应于每次发光所测量的所述测量值识别关于所述距离的信息。
5.根据权利要求4所述的测量装置，其中，在判定出识别了关于所述距离的信息的情况下，所述识别单元结束关于所述距离的信息的识别。
6.根据权利要求5所述的测量装置，其中，所述识别单元通过使用神经网络作为所述机器学习模型识别关于所述距离的信息。
7.根据权利要求6所述的测量装置，其中，所述第一基板和所述第二基板之间的连接是铜电极之间的连接。
8.一种测距装置，包括：
光源，向测量对象照射光；
多个光接收元件，布置在第一基板上，并且所述多个光接收元件当接收由所述测量对象反射的光时输出信号；以及
识别单元，布置在与所述第一基板不同的第二基板上，并且所述识别单元通过使用机器学习模型基于所述多个光接收元件的输出信号识别关于到所述测量对象的距离的信息。
CN202080055841.6A 2019-08-13 2020-08-04 测量装置和测距装置 Pending CN114207472A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019148675 2019-08-13
JP2019-148675 2019-08-13
PCT/JP2020/029766 WO2021029270A1 (ja) 2019-08-13 2020-08-04 測定装置および測距装置

Publications (1)

Publication Number Publication Date
CN114207472A true CN114207472A (zh) 2022-03-18

Family

ID=74569568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080055841.6A Pending CN114207472A (zh) 2019-08-13 2020-08-04 测量装置和测距装置

Country Status (8)

Country Link
US (1) US20220268890A1 (zh)
EP (1) EP4015992A4 (zh)
JP (1) JPWO2021029270A1 (zh)
KR (1) KR20220043125A (zh)
CN (1) CN114207472A (zh)
DE (1) DE112020003847T5 (zh)
TW (3) TWI748588B (zh)
WO (1) WO2021029270A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230306712A1 (en) * 2022-03-24 2023-09-28 Objectvideo Labs, Llc Dual descriptor data for object recognition in low light conditions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
JP2002286844A (ja) * 2001-03-28 2002-10-03 Denso Corp 距離測定装置
EP2936052B1 (en) * 2012-12-19 2021-04-28 Basf Se Detector for optically detecting at least one object
JP6477083B2 (ja) 2015-03-19 2019-03-06 株式会社豊田中央研究所 光学的測距装置
EP3358369A4 (en) * 2015-09-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US9760837B1 (en) * 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
JP2018129374A (ja) * 2017-02-07 2018-08-16 ソニーセミコンダクタソリューションズ株式会社 半導体装置および半導体装置の製造方法
WO2019044487A1 (ja) * 2017-08-28 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、及び、測距方法
US10983219B2 (en) * 2017-10-13 2021-04-20 The Regents Of The University Of Michigan Material-sensing light imaging, detection, and ranging (LIDAR) systems
US20190212445A1 (en) * 2018-01-10 2019-07-11 Integrated Device Technology, Inc. Laser distance sensing using prior measurement information

Also Published As

Publication number Publication date
TW202208877A (zh) 2022-03-01
TWI748588B (zh) 2021-12-01
TWI839653B (zh) 2024-04-21
US20220268890A1 (en) 2022-08-25
TW202204931A (zh) 2022-02-01
TWI839646B (zh) 2024-04-21
JPWO2021029270A1 (zh) 2021-02-18
KR20220043125A (ko) 2022-04-05
WO2021029270A1 (ja) 2021-02-18
TW202111351A (zh) 2021-03-16
DE112020003847T5 (de) 2022-05-19
EP4015992A1 (en) 2022-06-22
EP4015992A4 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
EP3968273A1 (en) Image recognition device, solid-state imaging device, and image recognition method
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
CN113302448A (zh) 光接收装置和距离测量装置
US20220128690A1 (en) Light receiving device, histogram generating method, and distance measuring system
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
JP2021067534A (ja) 測距装置
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2021059682A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
US20220268890A1 (en) Measuring device and distance measuring device
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
JP2020153909A (ja) 受光装置および測距装置
WO2020255855A1 (ja) 測距装置および測距方法
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020129474A1 (ja) 測距装置および計測装置
US12050268B2 (en) System to measure a distance to an object without addition of a distance measuring sensor
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
WO2020153262A1 (ja) 計測装置および測距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination