CN116897306A - 距离测量装置及其控制方法和距离测量系统 - Google Patents

距离测量装置及其控制方法和距离测量系统 Download PDF

Info

Publication number
CN116897306A
CN116897306A CN202280015855.4A CN202280015855A CN116897306A CN 116897306 A CN116897306 A CN 116897306A CN 202280015855 A CN202280015855 A CN 202280015855A CN 116897306 A CN116897306 A CN 116897306A
Authority
CN
China
Prior art keywords
sample point
distance
sample
rule
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280015855.4A
Other languages
English (en)
Inventor
中村宪一郎
森内优介
佐佐木贵之
藤冈干修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116897306A publication Critical patent/CN116897306A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技术涉及能够布置像素阵列的样本点以获得更多距离信息的距离测量装置、距离测量装置的控制方法以及距离测量系统。距离测量装置包括：像素阵列，在像素阵列中，用于接收通过从物体反射照射光而获得的反射光的像素以矩阵布置；确定单元，其将像素阵列的像素中的一些确定为用于检测距离信息的样本点；以及存储单元，其存储样本点状态表和样本点移动规则表，样本点状态表存储样本点距离信息，样本点移动规则表存储样本点移动规则，其中，确定单元基于样本点状态表和样本点移动规则表更新样本点位置信息。本技术可以应用于例如在深度方向上检测距被摄体的距离的距离测量系统。

Description

距离测量装置及其控制方法和距离测量系统
技术领域
本技术涉及距离测量装置、其控制方法和距离测量系统，并且更具体地涉及能够布置像素阵列的样本点以获得更多的距离信息的距离测量装置、其控制方法和距离测量系统。
背景技术
近年来，通过飞行时间(ToF)方法测量距离的距离测量装置(在下文中，也被称为深度相机)已经引起了关注。存在采用ToF方法之中的直接ToF方法的距离测量装置。在直接ToF方法中，被称为单光子雪崩二极管(SPAD)的光电检测器分别布置在光接收像素中，以及直接测量从发射照射光的定时至接收到反射光的定时的飞行时间来计算距物体的距离。在通过直接ToF方法的距离测量中，为了减少由环境光等引起的噪声，将照射光的发射和其反射光的接收重复预定次数(例如，几次到几百次)，以生成照射光的飞行时间的直方图，并基于与直方图的峰相对应的飞行时间计算距物体的距离。
测量飞行时间的时间测量单元、生成直方图的直方图生成单元和检测直方图的峰的峰检测单元的电路规模相对大。因此，一般难以针对所有的像素提供上面的单元。因此，可以生成的直方图的数目小于像素阵列的像素的总数目。
鉴于此，使像素阵列中的仅一些像素作为样本点执行光接收操作，或者将多个相邻的像素视为一个大像素(被称为多像素)作为样本点生成直方图。在这种情况下，用于生成直方图的样本点的数目小于像素阵列的像素的总数目。
在用比像素阵列的像素的总数目小的样本点数目生成距离信息的情况下，如何布置像素阵列中的样本点对于获得更多的距离信息是重要的。
例如，专利文献1公开了随着距物体的距离较短而增加样本点的密度，随着环境光噪声较大而降低样本点的密度的方法。
注意，专利文献2公开了用照射光照射距离测量装置的像素阵列的指定区域的技术。
文献列表
专利文献
专利文献1：日本专利申请公开号2020-112443。
专利文献2：日本专利申请公开号：2020-076619。
发明内容
本发明要解决的问题
专利文献1中所公开的技术以像素阵列的行为单位改变样本点，并从预先准备的几种采样图案中选择一种采样图案。因此，样本点的布置被限制并可以被进一步改善。
本技术鉴于这样的情况被提出，并可以布置像素阵列的样本点，以获得更多的距离信息。
问题的解决方案
根据本技术第一方面的距离测量装置包括：像素阵列，在像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置；确定单元，其将像素阵列的像素中的一些像素确定为用于检测距离信息的样本点；以及存储单元，其存储样本点状态表和样本点移动规则表，样本点状态表存储样本点的距离信息，样本点移动规则表存储样本点移动规则，其中，确定单元基于样本点状态表和样本点移动规则表更新样本点的位置信息。
在根据本技术第二方面的控制距离测量装置的方法中，距离测量装置包括像素阵列，在像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置，距离测量装置将像素阵列的像素中的一些像素确定为用于检测距离信息的样本点，将样本点的距离信息存储在样本点状态表中，以及基于样本点状态表和存储样本点移动规则的样本点移动规则表更新样本点的位置信息。
根据本技术的第三方面的距离测量系统包括：发射照射光的照明装置；以及接收通过从物体反射照射光而获得的反射光的距离测量装置，其中：距离测量装置包括：像素阵列，在像素阵列中，接收反射光的像素以矩阵布置；确定单元，其将像素阵列的像素中的一些像素确定为用于检测距离信息的样本点；以及存储单元，其存储样本点状态表和样本点移动规则表，样本点状态表存储样本点的距离信息，样本点移动规则表存储样本点的移动规则，以及确定单元基于样本点状态表和样本点移动规则表更新样本点的位置信息。
在本技术的第一方面至第三方面的任一个中，将像素阵列的像素中的一些像素确定为用于检测距离信息的样本点，在像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置，将样本点的距离信息存储在样本点状态表中，以及基于样本点状态表和存储样本点移动规则的样本点移动规则表更新样本点的位置信息。
距离测量装置和距离测量系统可以是独立的装置或者是包含在另一装置中的模块。
附图说明
图1示出根据本公开内容的距离测量系统的实施方式的配置示例的框图。
图2是示出距离测量系统的详细配置示例的框图。
图3示出了样本点状态表。
图4示出了样本点移动规则表。
图5示出了样本点位置信息更新处理的第一示例。
图6示出了样本点位置信息更新处理的第一示例。
图7示出了样本点位置信息更新处理的第一示例。
图8示出了样本点位置信息更新处理的第二示例。
图9示出了样本点位置信息更新处理的第二示例。
图10是示出距离测量系统的距离图像生成处理的流程图。
图11示出了移动规则表的另一示例。
图12示出了计算距离的置信度的示例。
图13示出了计算距离的置信度的示例。
图14是示出根据本公开内容的距离测量系统的另一实施方式的配置示例的框图。
图15是示出在亮度观察模式下距离测量装置的详细配置的框图。
具体实施方式
在下文中，将参照附图描述用于执行本技术的模式(在下文中，被称为实施方式)。注意，在本说明书和附图中，具有基本上相同的功能配置的部件将用相同的附图标记表示，并且多余的描述将被省略。将按照以下顺序进行描述。
1.距离测量系统的配置示例
2.距离测量装置的详细配置示例
3.样本点更新处理的第一示例
4.样本点更新处理的第二示例
5.距离图像生成处理的流程图
6.移动规则的另一示例
7.计算距离的置信度的示例
8.距离测量系统的另一配置示例
9.亮度观察模式的配置示例
10.结论。
<1.距离测量系统的配置示例>
图1是示出根据本公开内容的距离测量系统的实施方式的配置示例的框图。
图1中的距离测量系统1是通过使用例如飞行时间(ToF)方法测量距物体的距离并输出距离的系统。此处，距离测量系统1通过ToF方法之中的直接ToF方法测量距离。直接ToF方法是通过直接测量从发射照射光的定时至接收到反射光的定时的飞行时间来计算距物体的距离的方法。
距离测量系统1可以与RGB相机(未示出)一起使用，该相机对包括物体13等的被摄体进行成像。在距离测量系统1与作为外部装置的RGB相机一起使用的情况下，距离测量系统1将与RGB相机的成像范围相同的范围设置为距离测量范围，并生成距离图像作为由RGB相机捕获的被摄体的距离信息。
距离测量系统1包括照明装置11和距离测量装置12，并测量距作为被摄体的预定物体13的距离。更具体地，当从上层主机装置供应距离测量指令时，距离测量系统1将照射光的发射和其反射光的接收重复预定次数(例如，几次至几百次)。距离测量系统1基于重复执行预定次数的照射光的发射和反射光的接收来生成照射光的飞行时间的直方图，并基于与直方图的峰相对应的飞行时间计算距物体13的距离。
照明装置11基于从距离测量装置12供应的光发射控制信号和光发射触发用照射光照射预定物体13。照射光是例如具有大约850nm至940nm的范围内的波长的红外光(IR光)。照明装置11至少包括光发射单元31和光发射驱动单元32。照明装置11可以包括投影透镜和衍射光学元件(两者未示出)。
光发射单元31包括，例如垂直腔表面发射激光器(VCSEL)阵列，在该垂直腔表面发射激光器(VCSEL)阵列中，以平面方式布置作为光源的多个VCSEL并且每个VCSEL在光发射驱动单元32的控制下发射光/不发射光。VCSEL的光单元(光源的大小)和VCSEL发射光的位置(发光位置)可以在光发射驱动单元32的控制下被改变。
光发射驱动单元32包括例如，微处理器、LSI、激光驱动驱动器等，并基于从距离测量装置12的控制单元51供应的光发射控制信号来控制VCSEL的光单元(光源的大小)和VCSEL发射光的位置(发光位置)。此外，光发射驱动单元32根据从距离测量装置12的控制单元51供应的光发射触发来控制VCSEL的光发射定时。光发射触发是例如，具有“高(1)”和“低(0)”的两个值的脉冲波形，并且“高”表示发射照射光的定时。
当距离测量指令被供应时，距离测量装置12确定光发射条件，例如，光源的大小或发光位置。然后，距离测量装置12基于确定的光发射条件生成光发射控制信号和光发射触发，将光发射控制信号和光发射触发输出至照明装置11，并使照明装置11发射照射光。此外，距离测量装置12通过接收由物体13反射的照射光的反射光来计算距物体13的距离，并将其结果输出至上层主机装置作为距离图像。距离测量装置12包括控制单元51、像素驱动单元52、光接收单元53、信号处理单元54以及输入/输出单元55。
距离测量装置12的控制单元51包括例如，现场可编程门阵列(FPGA)、数字信号处理器(DSP)、微处理器等。当经由输入/输出单元55从上层主机装置获取距离测量指令时，控制单元51确定光发射条件，并将与确定的光发射条件相对应的光发射控制信号和光发射触发供应至照明装置11的光发射驱动单元32。光发射触发也被供应至信号处理单元54作为开始对飞行时间进行计数的定时通知。
此外，控制单元51根据确定的光发射条件确定光接收单元53的哪个像素被设置为活动像素，并将用于指定活动像素的样本点控制信息供应至像素驱动单元52。活动像素是检测光子的入射的像素。不检测光子的入射的像素被称为非活动像素。
光接收单元53包括以矩阵二维地布置像素的像素阵列。光接收单元53的每个像素包括作为光电转换元件的单光子雪崩二极管(SPAD)。SPAD通过在高电场PN结区(倍增区)对通过光电转换生成的载波进行倍增瞬间地检测一个光子。光接收单元53的每个活动像素在检测到光子的入射时将指示光子已经被检测到的检测信号输出至信号处理单元54。
信号处理单元54基于重复执行预定次数(例如，几次至几百次)的照射光的发射和反射光的接收生成从照射光的发射到其反射光的接收的时间(计数值)的直方图。用于生成直方图的单元(直方图生成单元)可以是单像素单元或者可以是多像素单元，在该多像素单元中，多个相邻像素被视为一个大像素(被称为多像素)。然后，信号处理单元54检测生成的直方图的峰以确定从照明装置11发射的光被反射并从物体13返回的时间，基于确定的时间和光的速度获得距物体13的距离，并生成距离图像。生成的距离图像经由输入/输出单元55输出至上层主机装置。信号处理单元54包括例如，现场可编程门阵列(FPGA)、数字信号处理器(DSP)、逻辑电路等。
输入/输出单元55将从上层主机装置供应的距离测量指令供应至控制单元51。此外，输入/输出单元55将从信号处理单元54供应的距离图像输出至上层主机装置。输入/输出单元55可以包括，例如，符合移动产业处理器接口(MIPI)的通信接口等。
如上所述配置的距离测量装置12具有两种模式，即作为操作模式的距离测量模式和亮度观察模式。距离测量模式是以下模式，其中，光接收单元53中包括的多个像素中的一些像素被设置为活动像素，其余像素被设置为非活动像素，以及基于通过活动像素检测的距离生成距离图像并输出距离图像。同时，亮度观察模式是以下模式，其中，将光接收单元53的所有像素设置为活动像素，以及生成亮度图像，在亮度图像中，对一定期间输入的光子的数目进行计数作为亮度值(像素值)。
在距离测量模式中，距离测量装置12在光接收单元53的像素阵列中设置多个样本点，针对每个样本点生成直方图，通过检测直方图的峰获得距物体13的距离，并生成距离图像。样本点可以包括单像素或者可以包括多像素。然而，设置在像素阵列中的样本点的数目小于像素阵列的像素的总数目。如上所述，在不使用像素阵列的所有像素而使用像素中的仅一些像素的情况下，如何布置像素阵列中的样本点对获得物体13的更多距离信息是重要的。距离测量装置12通过控制小于像素阵列的像素的总数目的样本点的数目生成距离图像，以最佳地布置样本点。
<2.距离测量装置的详细配置示例>
图2是具有操作模式是距离测量模式的情况下的距离测量装置12的更详细的配置示例的距离测量系统1的框图。
距离测量装置12包括控制单元51、像素驱动单元52、光接收单元53、信号处理单元54以及输入/输出单元55。注意，图2省略了在距离测量指令被输入至输入/输出单元55的情况下从输入/输出单元55向控制单元51供应的控制信号。
控制单元51包括确定单元61，判定单元62以及存储单元63，并且存储单元63存储样本点状态表71和样本点移动规则表72。
信号处理单元54包括多路复用器80、时间测量单元811至81Q、直方图生成单元821至82Q、峰检测单元831至83Q、以及距离计算单元84。也就是说，信号处理单元54包括Q(Q>1)个时间测量单元81、Q个直方图生成单元82以及Q个峰检测单元83，并可以生成Q个直方图。Q的值与可设置的样本点的最大数目相对应，并小于光接收单元53的像素阵列的像素的总数目。然而，Q的值可以与光接收单元53的像素的总数目相同。在Q的值与光接收单元53的像素的总数目相同的情况下，在为了降低功耗或提高处理速度而通过将要生成的直方图的数目设置成小于像素阵列的像素的总数目来执行操作的情况下，可以执行稍后描述的样本点的最佳布置控制。
当经由输入/输出单元55从上层主机装置供应距离测量指令时，确定单元61确定照明装置11的光发射单元31的光发射条件。也就是说，确定单元61确定VCSEL的光单元(光源的大小)和VCSEL发射光的位置，并将指示使VCSEL阵列中的哪个VCSEL发射光的光发射控制信号供应至照明装置11的光发射驱动单元32。在本实施方式中，为了简化描述，使VCSEL阵列中的所有VCSEL发射具有均匀亮度的光。然而，如稍后所描述，发光位置可以根据样本位置的布置等被限于VCSEL阵列的一部分。在将光发射控制信号传送至光发射驱动单元32或通过将光发射触发与光发射控制信号一起供应而将光发射控制信号传送至光发射驱动单元32之后，确定单元61使光发射单元31开始发射光。
此外，确定单元61确定样本点相对于光接收单元53的像素阵列的初始位置，生成与初始位置相对应的样本点状态表71，并将样本点状态表71存储在存储单元63中。确定单元61基于样本点状态表71将用于指定活动像素的样本点控制信息供应至像素驱动单元52和多路复用器80。样本点控制信息包括指示光接收单元53的像素阵列的活动像素的信息和指示多像素的构成单元的信息。
当通过使用初始位置处的样本点生成第一距离图像并且存储单元63的样本点状态表71被更新时，判定单元62将样本点状态表71的更新通知给确定单元61。当从判定单元62获取样本点状态表71的更新通知时，确定单元61基于样本点状态表71和样本点移动规则表72更新样本点的位置信息。具体地，确定单元61基于样本点状态表71中记录的每个样本点的当前距离信息和样本点移动规则表72中记录的移动规则更新样本点的位置信息。随着样本点的位置信息被更新，样本点状态表71也被更新。确定单元61基于经更新的样本点状态表71生成样本点控制信息，并将样本点控制信息供应至像素驱动单元52和多路复用器80。通过将距离图像的生成和基于所生成的距离图像而更新样本点状态表71重复预定次数，像素阵列的样本点被更新至最佳布置。注意，样本点移动规则表72不仅可以包括每个样本点的单个样本点移动规则，还可以包括应用于所有样本点的整体规则。
判定单元62确定存储单元63中存储的样本点状态表71是否已经被更新。在确定样本点状态表71已经被更新的情况下，判定单元62将样本点状态表71的更新通知给确定单元61。
将参照图3和图4描述存储单元63中存储的样本点状态表71和样本点移动规则表72。
图3示出了样本点状态表71的示例。
样本点状态表71存储关于在光接收单元53的像素阵列中设置的多个样本点中的每一个的信息。在图3的样本点状态表71中，在像素阵列中设置n(n>0)个样本点。
在样本点状态表71中，对像素阵列中设置的n个样本点中的每一个给出用于标识样本点的样本点ID(样本点标识信息)。此外，样本点状态表71存储每个样本点的位置信息、距离信息、置信度信息、亮度信息以及规则ID。
位置信息是指示形成样本点的多像素的位置的信息。具体地，位置信息包括：作为多像素的代表位置的像素位置(X坐标、Y坐标)；多像素宽度，所述多像素宽度是X方向上多像素的像素的数目；以及多像素高度，所述多像素高度是Y方向上多像素的像素的数目。在样本点包括一个像素的情况下，多像素宽度和多像素高度为“1”。
距离信息是关于在样本点处计算的距离的信息。距离信息可以存储至少过去两帧(两次)的距离信息，使得可以检测距离的变化。具体地，在最新时间t处计算的距离(t)和在紧接其前的时间(t-1)处计算的距离(t-1)可以被记录。可以存储过去几帧(即三帧或更多帧)的距离信息。
置信度信息是指示在样本点处计算的距离的置信度的信息。也可以针对作为距离信息的相同数目的帧记录置信度信息。然而，稍后将描述置信度的具体计算示例，例如，可以基于直方图中峰被检测到的直条的计数值(直方图的高度)与除峰的直条之外的直条的计数值之间的差来计算置信度。
亮度信息是指示在样本点处计算的亮度的信息。也可以针对作为距离信息的相同数目的帧记录亮度信息。亮度信息可以是例如，在直方图中峰被检测到的直条的计数值(直方图的高度)。可替选地，可以使用通过将操作模式改变到亮度观察模式而测量的亮度值或由作为外部装置的RGB相机捕获的图像的亮度值。
规则ID是指示应用于样本点的规则的规则标识信息。与规则ID相对应的具体规则在样本点移动规则表72中描述。
图4示出了样本点移动规则表72的示例。
在样本点移动规则表72中，可以针对每个规则ID限定“条件”、“操作”以及“约束”的项。
“条件”指示样本点执行由“操作”限定的移动操作的条件。在样本点不满足“条件”中描述的内容的情况下，不执行由项“操作”限定的移动操作。“无条件”指示在没有任何条件的情况下执行由“操作”限定的移动操作。
“操作”指示在样本点满足“条件”中描述的内容的情况下对样本点执行的移动操作。
“约束”指示在由“操作”限定的移动操作被执行的情况下的约束条件。也就是说，由“操作”限定的操作在满足“约束”中描述的条件的同时被执行。“约束”可以被省略。
图4的样本点移动规则表72限定例如将不移动样本点的处理无条件地应用于样本点作为规则ID＝1。作为规则ID＝2，限定将随机移动样本点的处理无条件地应用于样本点。
作为规则ID＝3，限定将如下处理无条件地应用于样本点：将样本点移动至相邻的周围八个像素之中的与检测距离比本样本点更短的更多的样本点接触的位置。
作为规则ID＝4，限定在本样本点的距离未改变的条件下将如下处理无条件地应用于样本点：将样本点移动至相邻的周围八个像素之中的与检测到距离的变化的更多的样本点接触的位置。
作为规则ID＝5，限定在过去W(W>0)帧期间距离未改变的条件下将样本点在周围V(V>0)像素的范围内随机移动。
因为如上所述在样本点移动规则表72中适当地设置所需移动规则，所以可以根据目的实现各种样本点更新算法。样本点移动规则表72的内容可以由例如上层主机装置改变。
返回至图2的描述，确定单元61参照样本点移动规则表72对每个样本点执行样本点状态表71中指定的规则ID的操作，并更新样本点的位置信息。随着样本点的位置信息被更新，样本点状态表71也被更新。
注意，图4的样本点移动规则表72针对每个样本点限定单独的样本点移动规则，但是，除上述规则之外，确定单元61可以限定并执行共同应用于所有样本点的整体规则。在执行整体规则的情况下，确定单元61在基于样本点移动规则表72针对每个样本点应用单独规则之后执行整体规则。整体规则可以预先作为共同规则被纳入，或者多个整体规则可以被存储在存储单元63如样本点移动规则表72中，以及要应用的整体规则可以适当地被切换。
作为整体规则的示例，例如，可以限定以下内容。
(A)在应用基于样本点移动规则表72的单独规则之后，在存在距离信息未被测量达预定时段(帧的预定数目)的区域的情况下，样本点被推测地布置在该区域中。
(B)在应用基于样本点移动规则表72的单独规则之后，在存在距离信息未被改变达预定时段(帧的预定数目)的样本点的情况下，样本点被移动至初始位置。在这种情况下，必须存储每个样本点的初始位置。
像素驱动单元52基于从确定单元61供应的样本点控制信息控制活动像素和非活动像素。换言之，像素驱动单元52控制光接收单元53的每个像素的光接收操作的开/关。当在光接收单元53中设置为活动像素的每个像素中检测到光子的入射时，指示已经检测到光子的检测信号被作为像素信号输出至信号处理单元54的多路复用器80。
多路复用器80基于从确定单元61供应的样本点控制信息将从光接收单元53的活动像素供应的像素信号分配给时间测量单元811至81N中的任一个。更具体地，多路复用器80适当地选择形成光接收单元53的样本点的一个或更多个活动像素的像素信号，并执行控制以将所选择的像素信号供应至在光接收单元53中设置的每个样本点的相同时间测量单元81i(i＝1至Q中的任一个)。
虽然在图2中未示出，但从控制单元51输出至照明装置11的光发射驱动单元32的光发射触发也被供应至信号处理单元54的时间测量单元81i至81Q。基于由光发射触发指示的光发射定时和从样本点的每个活动像素供应的像素信号，时间测量单元81i生成与从光发射单元31发射照射光时至活动像素接收到反射光时的时间相对应的计数值。生成的计数值被供应至相对应的直方图生成单元82i。时间测量单元81i也被称为时间数字转换器(TDC)。
直方图生成单元82i基于从时间测量单元81i供应的计数值创建计数值的直方图。生成的直方图的数据被供应至相对应的峰检测单元83i。
峰检测单元83i基于从直方图生成单元82i供应的直方图的数据检测直方图的峰。峰检测单元83i将与直方图的检测到的峰相对应的计数值供应至距离计算单元84。
距离计算单元84以样本点为单位基于与从峰检测单元831至83N的每一个供应的直方图的峰相对应的计数值计算照射光的飞行时间。此外，距离计算单元84基于计算的飞行时间计算距被摄体的距离，并生成存储作为计算结果的距离作为像素值的距离图像。生成的距离图像经由输入/输出单元55输出至上层主机装置并也被供应至控制单元51，以及样本点状态表71的距离信息等被更新。
在操作模式是距离测量模式的情况下，如上所述配置距离测量装置12。
<3.样本点更新处理的第一示例>
接下来，将描述由确定单元61执行的基于样本点状态表71和样本点移动规则表72的样本点位置信息更新处理。
首先，将参照图5至图7描述样本点位置信息更新处理的第一示例。
第一示例是以下示例，其中，将图4中的样本点移动规则表72的规则ID＝3应用于像素阵列的所有样本点，并更新样本点的位置信息。
图5的A示出了由确定单元61确定的样本点相对于光接收单元53的像素阵列的初始位置。
在图5的A中，为了简单起见，每个样本点被设置为一个像素，以及白色圆圈(○)表示设置为活动像素的像素，即样本点，而黑色圆圈(●)表示设置为非活动像素的像素。在图5的A中的示例中，样本点分散地布置在整个像素阵列中作为样本点的初始位置，以均匀地分布。
图5的B示出了应用于像素阵列中的每个样本点集合的移动规则。
图5的B中的白色圆圈指示将规则ID＝3(即，无条件地执行如下处理的规则：将样本点移动至相邻的周围八个像素之中的与检测距离比本样本点短的更多个样本点接触的位置)作为移动规则应用于样本点。图5的B中的白色圆圈的位置与图5的A中的样本点的位置相对应。
通过使用图5的A中的样本点的初始位置在时间t处生成的距离图像DEP(t)被示出在图6的左侧上。
在图6的距离图像DEP(t)中，针对图5的A中的样本点计算的距离由灰色值指示。
具体地，在图6的距离图像DEP(t)中，计算的距离被分类成三个距离，即最短的第一距离(在下文中，也被称为短距离)、中间的第二距离(在下文中，也被称为中间距离)以及最长的第三距离(在下文中，也被称为长距离)，以及每个样本点由与计算的距离相对应的黑色圆圈、点图案或白色圆圈表示。由白色表示的样本点是已经观察到短距离的样本点。由点图案表示的样本点是已经观察到中间距离的样本点。由黑色表示的样本点是已经观察到长距离的样本点。关于与作为被摄体的物体13的关系，短距离在与物体13的前表面(面对距离测量装置12的表面)相对应的样本点处被观察，以及中间距离在与物体13的其他表面相对应的样本点处被观察。此外，长距离在与除物体13之外的背景相对应的样本点处被观察。距离图像DEP(t)可以从样本点状态表71中存储的距离信息而掌握。
确定单元61通过使用由距离图像DEP(t)指示的距离信息对每个样本点应用规则ID＝3，并更新样本点的位置信息。位置信息被更新之后的光接收单元53的样本点被示出在图6的右侧上。
在图6的右侧上的光接收单元53的样本点中，阴影圆表示其位置通过位置信息更新处理已经从初始位置(也就是说，从图5的A中的白色圆圈(○)的位置)移动的样本点。
当看到经过更新处理的样本点的位置时，样本点已经移动至成像场景的短距离部分，具体地，移动至物体13的区域。因此，可以针对短距离获得具有较高空间分辨率的距离图像。
将参照图7描述以下示例，其中，将规则ID＝3的移动规则应用于图6的距离图像DEP(t)中的大量样本点之中的区域101中包括的18个样本点，并更新位置信息。
关于区域101中包括的18个样本点，为了方便起见，最左边的样本点由a1表示，该样本点的紧右边的样本点由a2表示，以及样本点在光栅扫描方向上由a2、a3、...、a18表示。
首先，确定单元61确定是否基于规则ID＝3的移动规则移动样本点a1的样本位置，具体地，确定单元61关注样本点a1周围5×5位置的距离信息，并确定是否可以在将样本点a1移动至周围八个像素中的任一个的情况下使样本点a1与比当前样本位置更短的距离点接触。在周围八个像素之中，样本点不能移动至样本点的当前位置或像素阵列区域外面的位置，并且因此可以省略关于样本点的当前位置或像素阵列区域外面的位置的确定。关于样本点a1，不存在可以与比当前样本位置更短的距离点接触的位置，并且因此确定单元61不移动样本位置。
接下来，确定单元61确定是否基于规则ID＝3的移动规则移动样本点a2的样本位置。具体地，确定单元61关注样本点a2周围5×5位置的距离信息，并确定是否可以在将样本点a2移动至周围八个像素中的任一个的情况下使样本点a2与比当前样本位置更短的距离点接触。当样本点a2在当前样本位置的向下方向上移动时，可以使样本点a2与由点图案指示的中间距离样本点接触。因此，确定单元61将样本位置移动至由虚线指示的在向下方向上的位置。
接下来，确定单元61确定是否基于规则ID＝3的移动规则移动样本点a3的样本位置。具体地，确定单元61关注样本点a3周围5×5位置的距离信息，并确定是否可以在将样本点a3移动至周围八个像素中的任一个的情况下使样本点a3与比当前样本位置更短的距离点接触。当样本a3在当前样本位置的向下方向上移动时，可以使样本点a3与由点图案指示的中间距离样本点接触。因此，确定单元61将样本位置移动至由虚线指示的在向下方向上的位置。
接下来，确定单元61确定是否基于规则ID＝3的移动规则移动样本点a4的样本位置。具体地，确定单元61关注样本点a4周围5×5位置的距离信息，并确定是否可以在将样本点a4被移动至周围八个像素中的任一个的情况下使样本点a4与比当前样本位置更短的距离点接触。关于样本点a4，不存在可以使与比当前样本位置更短的距离点接触的位置，并且因此确定单元61不移动样本位置。
类似地，也对于样本点a5至样本点a18，确定是否基于规则ID＝3的移动规则移动每个样本位置，并且在确定可以使样本点与比当前样本位置更短的距离点接触的情况下，移动样本位置。
图7中的在样本点更新处理完成之后的区域101(上至样本点a18)与图6中光接收单元53的区域101相同。
<4.样本点更新处理的第二示例>
接下来，将参照图8和图9描述样本点位置信息更新处理的第二示例。
在上述第一示例中，一个规则，即规则ID＝3，被应用于像素阵列的所有样本点。在第二示例中，将描述以下示例，其中，通过将整个像素阵列划分成多个区域并对各区域应用不同的规则来将多个规则应用于整个像素阵列。
更具体地，确定单元61将规则ID＝1应用于像素阵列的视角附近的外围区域中的样本点，将规则ID＝4应用于外围区域内的内部区域中的样本点，并更新样本点的位置信息。
图8的A示出了由确定单元61确定的样本点相对于光接收单元53的像素阵列的初始位置。因为初始位置与上述第一示例的初始位置相似，所以省略了对其的描述。注意，也在第二示例中，为了简单起见，样本点被认为成一个像素。
图8的B示出了应用于像素阵列中的每个样本点集合的移动规则。
图8的B中的黑色圆圈表示应用规则ID＝1的移动规则的样本点。在规则ID＝1的移动规则中，无条件地执行不移动样本点的位置的处理。也就是说，无论检测距离如何，黑色圆圈样本点的位置不移动。该移动规则为了防止在连续距离测量中遗漏检测从距离测量范围的视角的外面出现的物体的目的而设置。
同时，图8的B中的白色圆圈表示应用规则ID＝4的移动规则的样本点。在规则ID＝4的移动规则中，无条件地执行如下处理：将样本点移动至相邻的周围八个像素之中的与检测到距离的变化的更多个样本点接触的位置。
根据ID＝4的移动规则，必须知道距离的变化，并且因此要求两帧的距离图像。因此，第一，测定单元61在初始位置处的样本点中将光照射和光发射重复预定次数，从而生成两帧的距离图像，即在时间(t-1)处的距离图像DEP(t-1)和在随后的时间(t)处的距离图像DEP(t)。
图9中的距离图像DEP(t-1)和距离图像DEP(t)是图像，其中，针对初始位置处的样本点计算的距离由灰色值指示。两帧的距离图像DEP(t-1)和DEP(t)所指示的样本点中的黑色、点图案和白色的含义与第一示例的含义相似。在第二示例中，如图9的右上方中所示，在两帧的距离测量期间，物体13在由箭头指示的右方向上移动。因此，物体13在距离图像中的位置在距离图像DEP(t-1)与距离图像DEP(t)之间不同。距离图像DEP(t-1)和距离图像DEP(t)可以从样本点状态表71中存储的距离信息而掌握。
确定单元61计算距离图像DEP(t-1)和距离图像DEP(t)的相对应样本点之间的距离差，并生成距离差图像DIF(t)。
在图9的距离差图像DIF(t)中，每个样本点由黑色、点图案或白色表示。在示例中，计算的距离差被分类成三种类型：距离差从近到远变化的距离变化(在下文中，也被称为长距离变化)，无距离变化，以及距离差从远到近变化的距离变化(在下文中，也被称为短距离变化)。由黑色表示的样本点是已经观察到长距离变化的样本点。由点图案表示的样本点是已经观察到无距离变化的样本点。由白色表示的样本点是已经观察到短距离变化的样本点。
如在参照图7描述的处理中，基于距离差图像DIF(t)，确定单元61关注应用了规则ID＝4的样本点周围5×5位置的距离差，并确定是否可以在将样本点移动至周围8个像素中任一个的情况下使样本点与比当前样本位置有更多距离变化的点接触。当针对应用规则ID＝4的所有样本点完成位置信息更新处理时，光接收单元53的更新的样本点被示出在图9的右侧上。
当看到经受更新处理的样本点的位置时，样本点已经移动靠近在成像场景中移动的物体13。因此，可以获得具有较高移动耐受能力的距离图像。
在上述样本点更新处理的第一示例和第二示例中，每个样本点包括一个像素，以及确定单元61参照样本点的当前位置周围的5×5像素的距离信息，并执行控制，以将样本点移动至周围3×3八个像素之中与样本点移动规则表72中的“操作”匹配的像素。距离信息的参考范围(即5×5像素)和可移动范围(即3×3像素)仅仅是示例，并且范围不限于此。此外，距离信息的参考范围和样本点的可移动范围也可以根据样本点是否包括多个相邻像素或一个像素而改变。确定单元61基于样本点周围的第一周边区域(参考范围)的距离信息应用移动规则，确定是否将样本点移动至比第一周边区域小的第二周边区域(可移动范围)的预定位置，并更新样本点的位置信息。
<5.距离图像生成处理的流程图>
接下来，将参照图10的流程图描述距离测量系统1的距离图像生成处理的整体流程。处理在例如从上层主机装置供应距离测量指令的情况下开始。
第一，在步骤S11中，距离测量装置12的确定单元61确定光发射条件，并基于确定的光发射条件向照明装置11的光发射驱动单元32输出指示使VCSEL阵列中的哪个VCSEL发射光的光发射控制信号。例如，将使整个VCSEL阵列发射具有均匀亮度的光的光发射控制信号从距离测量装置12输出至照明装置11。
在步骤S12中，确定单元61确定样本点相对于光接收单元53的像素阵列的初始位置，生成与确定的初始位置相对应的样本点状态表71，并将样本点状态表存储在存储单元63中。
在步骤S13中，确定单元61基于样本点状态表71生成样本点控制信息，并将样本点控制信息供应至像素驱动单元52和多路复用器80。
在步骤S14中，确定单元61生成光发射触发，将光发射触发输出至照明装置11的光发射驱动单元32，并开始发射照射光。光发射驱动单元32基于光发射触发打开和关闭光发射单元31的预定VCSEL。光发射触发也被供应至信号处理单元54的时间测量单元811至81Q。
在步骤S15中，距离测量装置12开始光接收操作并生成距离图像。更具体地，像素驱动单元52基于从确定单元61供应的样本点控制信息驱动作为活动像素的预定像素。当光子在活动像素中被检测时，指示检测的检测信号作为像素信号经由多路复用器80输出至信号处理单元54。信号处理单元54的多路复用器80执行控制，使得以样本点为单位基于样本点控制信息将从每个活动像素供应的像素信号供应至预定时间测量单元81i。时间测量单元81i生成与照射光的飞行时间相对应的计数值，并将计数值供应至相对应的直方图生成单元82i。直方图生成单元82i基于从时间测量单元81i供应的计数值创建计数值的直方图。峰检测单元83i基于从直方图生成单元82i供应的直方图的数据检测直方图的峰。距离计算单元84以样本点为单位基于与从峰检测单元831至83N中的每一个供应的直方图的峰相对应的计数值计算照射光的飞行时间。距离计算单元84基于计算的飞行时间计算距被摄体的距离，并生成存储作为计算结果的距离的距离图像作为像素值。生成的距离图像经由输入/输出单元55输出至上层主机装置并且也被供应至控制单元51，以及样本点状态表71的距离信息等被更新。距离图像可以不被输出至上层主机装置。
在步骤S16中，判定单元62监测存储单元63的样本点状态表71，并确定样本点状态表71是否已经被更新。判定单元62重复步骤S16中的处理，直到确定样本点状态表71已经被更新。
然后，在步骤S16中确定样本点状态表71已经被更新的情况下，处理进行至步骤S17，并且判定单元62将样本点状态表71的更新通知给确定单元61。
在步骤S18中，确定单元61从判定单元62获取样本点状态表71的更新通知，并基于样本点状态表71和样本点移动规则表72更新每个样本点的位置信息。更具体地，基于样本点状态表71中记录的每个样本点的当前距离信息和样本点移动规则表72中记录的移动规则更新样本点的位置信息。例如，在将规则ID＝3应用于每个样本点的情况下，执行如上述样本点更新处理的第一示例中的位置信息更新处理。随着样本点的位置信息被更新，样本点状态表71也被更新。
在步骤S19中，确定单元61将整体规则应用于所有样本点并更新样本点的位置信息。例如，在存在距离信息未被采样达长时段的区域的情况下，确定单元61在区域中执行推测布置样本点的处理作为整体规则。
在步骤S20中，控制单元51的确定单元61确定是否结束距离测量。例如，在将距离图像生成并输出预先确定的预定次数的情况下，确定单元61确定结束距离测量。此外，例如，确定单元61可以在其位置信息被更新(改变)的样本点的数目等于或小于预定值的情况下确定结束距离测量。
在步骤S20中确定距离测量尚未结束的情况下，处理返回至步骤S13，并重复上述步骤S13至步骤S20。因此，距离测量系统1接收来自更新的样本点的反射光，并再次生成距离图像。
同时，在步骤S20中确定距离测量结束的情况下，处理进行至步骤S21，以及控制单元51或信号处理单元54将最近生成的距离图像输出至上层主机装置作为最终的距离测量结果并结束距离图像生成处理。在上述步骤S15中每次将生成的距离图像输出至上层主机装置的情况下，可以省略步骤S20中的处理。
在对图10中的距离图像生成处理的流程图的以上描述中，已经描述了以下示例，其中，规则ID＝3作为应用于样本点的移动规则被应用，并且样本点的位置信息被更新。
同时，例如，在规则ID＝4作为应用于样本点的移动规则被应用的情况下，如样本点更新处理的第二示例中所描述，需要两个距离图像。在这种情况下，距离测量装置12在上述步骤S15中生成两个距离图像，并且然后在步骤S16中以及在步骤S16之后执行处理。
根据上述距离图像生成处理，距离测量装置12通过基于样本点状态表71和样本点移动规则表72更新样本点的位置信息来生成距离图像，从而在适合于距离测量的目的的样本位置处生成距离图像。例如，可以移动样本点以获得针对短距离具有较高空间分辨率的距离图像，或者可以移动样本点以获得具有较高移动耐受能力的距离图像。
在上述距离图像生成处理中，照明装置11通过使整个VCSEL阵列发射光来发射照射光，但根据光接收单元53的样本点的位置，VCSEL发射光的位置可以限于VCSEL阵列的一部分。这可以减少照明装置11的功耗。
<6.移动规则的另一示例>
图11示出了样本点移动规则表72的“条件”、“操作”以及“约束”的另一示例。
例如，在过去D1帧(D1>0)期间不存在距离变化作为“条件”的情况下，可以应用以下“操作”中的任一个。此外，可以设置以下“约束”中的任一个。
作为“操作”，
可以应用以下操作中的任一个：
-在周围R个像素(R>0)的范围内随机移动样本点，
-检测距离测量范围内的亮度梯度，并沿着亮度梯度移动样本点，
-获取距离测量范围的法线信息，并将样本点朝向平面的边缘移动，以及
-将样本点朝向测量的距离的低置信度或物体识别的低置信度移动。
距离测量范围内的亮度梯度可以通过获取外部RGB相机的图像来获得，或者可以从通过在亮度观察模式下操作距离测量装置12而获得的亮度图像来获得。可替选地，亮度梯度也可以基于其中直方图的峰被检测的直条的计数值从亮度图像中来获得。法线信息可以从获取与物体的表面(平面)垂直的法线信息的外部装置等来获取，或者可以使用亮度图像或距离图像通过预定算法来获取。作为距离的置信度，可以使用样本点状态表71的置信度信息。物体识别的置信度仅需要从使用RGB相机的图像的识别处理的结果来获取。
作为“约束”，
可以设置以下约束中的任一个：
-使得难以接近已经布置的样本点，
-使得容易接近未执行采样达预定时段的区域，
-当距离在D2帧(D2>0)内没有变化时，返回至初始样本位置，以及
-无论距离是否变化，不移动视角周围的样本点。
移动规则不限于上述示例，并且可以是其他示例。可以根据距离测量的目的、要捕获的物体的特性、距离测量范围的环境条件等适当地改变存储单元63的样本点状态表71和样本点移动规则表72。
<7.计算距离的置信度的示例>
接下来，将描述计算图3的样本点状态表71中记录的距离的置信度的方法的示例。
距离的置信度可以是基于测量的距离与真实距离之间的误差的置信度，基于用于计算的距离的信号的确定性(SN比)的置信度等。在下文中，将描述计算基于SN比的距离的置信度的方法。
在样本点中，基于反射光的直方图中具有最高高度的直条的计数值来计算距离。所有直条包括由环境光引起的噪声成分，并且因此当由反射光引起的直方图的高度不充足时，难以可靠地选择用于计算距离的直条。也就是说，认为的是，当反射光是信号并且环境光是噪声时，距离测量结果可以随着信噪比更高而更可靠。
因此，在某个像素中，计算反射光被检测的直条的计数值(直方图中的高度)距由环境光引起的所有其他直条的计数值多远来作为置信度。
图12示出了环境光和反射光被捕获的直方图的概念图。
某个直条的计数值λ遵循泊松分布。已知在λ大约大于10的情况下，泊松分布可以近似成具有平均值λ和方差λ＝σ2的正态分布。在距离测量装置12中，计数值λ通常是几千到几万，并且因此可以使用对正态分布的上述近似。
具体地，当环境光恒定并且反射光未被检测的所有直条的计数值的平均由λn表示时，各直条的计数值具有正态分布，在该正态分布中，平均和方差为λn。此外，当由λs表示仅反射光的直条的计数值的平均时，反射光被捕获的直条的计数值包括反射光和环境光二者，并且因此具有正态分布，在该正态分布中，平均和方差为(λs+λn)。
在正态分布中，其中，通过捕获仅环境光获得的平均和方差为λn，计数值的最大值等于或小于(λn+σn)、(λn+2σn)、(λn+3σn)处的概率分别为68.27％、95.45％和99.73％，其中，标准偏差由
在正态分布中，其中，通过捕获反射光和环境光获得的平均和方差为(λs+λn)，计数值的最小值等于或大于(λs+λn-σs)、(λs+λn-2σs)、(λs+λn-3σs)处的概率分别为68.27％、95.45％和99.73％，其中，标准偏差由表示。
当置信度区间由1σ表示时，环境光的计数值的最大值与(反射光+环境光)的计数值的最小值之间的差cntdiff由以下表达式(1)给出：
cntdiff＝(λs+λn-σs)-(λn+σn)
＝λs-σs-σn……(1)。
可以通过将上面的表达式(1)中的cntdiff除以与置信度区间1σ相对应的值(σs+σn)从下面的表达式(2)获得距离的置信度cnf：
[数学式1]
当表达式(2)的置信度cnf为“0”时，可以说直条的计数值不是由环境光噪声而是由反射光引起的概率为68.27％。当置信度cnf为“1”和“2”时，置信度分别与置信度区间2σ和3σ相对应，并且直条的计数值不是由环境光噪声而是由反射光引起的概率分别为95.45％和99.73％。在下文中，类似地，反射光的计数值λs可以与环境光的计数值λn可靠地分开，因为置信度cnf的值较大。因此，置信度变得较高。
此外，在表达式(2)的置信度cnf为负的情况下，由于反射光的计数值λs或环境光的计数值λn的变化，环境光的计数值λn可能意外地超过反射光的计数值λs，如在图13的左侧上的直方图中。因此，可以确定置信度低。这发生在不能够获得足够的SN比的情况下，因为环境光的影响大并且反射光的发射强度弱。在这样的情况下，如在图13的右侧上的直方图中，可以通过增加发射照射光的次数以增加反射光的计数的数目来提高SN比。这是因为通过增加计数的数目可以相对减少变化的影响，因为具有反射光的直条比仅具有环境光的直条具有大的平均计数值。如上所述，距离测量装置12也可以设置照射光的发射的次数(计数的次数)，以根据环境光的发射强度获得所需的SN比。
<8.距离测量系统的另一配置示例>
图14是示出根据本公开内容的距离测量系统的另一实施方式的配置示例的框图。
图14的距离测量系统1具有外部装置351和信号处理装置352被进一步添加至图1中所示的第一实施方式的配置等。
外部装置351包括例如，对包括物体13的被摄体进行成像的RGB相机等。RGB相机作为外部装置351向信号处理装置352供应通过对被摄体成像而获得的图像信号图像。
信号处理装置352包括例如，通用个人计算机、FPGA、DSP、微处理器等，并处理从外部装置351供应的图像信号。例如，信号处理装置352包括图像处理单元361，并且图像处理单元361对输入的图像信号执行预定处理(诸如，去马赛克处理、YUV转换处理、法线检测处理、物体识别处理)。经由距离测量装置12的输入/输出单元55将由信号处理装置352生成的彩色图像供应至控制单元51。
注意，信号处理装置352可以作为外部装置351的一部分被纳入。
在提供RGB相机作为外部装置351的情况下，例如，从信号处理装置352供应的彩色图像的亮度值可以用作图3中的样本点状态表71的亮度信息。在信息(诸如法线信息和物体识别的置信度)作为移动规则的“操作”是所需的情况下，图像处理单元361可以计算信息并将信息供应至距离测量装置12。确定单元61还使用由外部装置351检测的数据来基于样本点移动规则表72更新样本点的位置信息。
外部装置351可以是除RGB相机之外的装置或传感器。除RGB相机之外的装置的示例包括对红外线(远红外线、近红外线)进行成像的IR相机、间接ToF方法的距离测量传感器(距离测量装置)、以及基于事件的视觉传感器(EVS)。间接ToF方法的距离测量传感器是以下距离测量传感器，其检测从发射照射光处的定时到接收到反射光处的定时的飞行时间作为相位差，并测量距物体的距离。此外，EVS是包括像素的传感器，该像素对光学信号进行光电转换并基于像素信号输出光学信号的时间亮度变化作为事件信号(事件数据)。EVS是异步相机或地址控制相机，因为与一般的图像传感器不同，EVS不与垂直同步信号同步地捕获图像，以在垂直同步信号的周期下输出一帧(屏幕)的帧数据，但是仅在事件发生时的定时处输出事件数据。
例如，在检测远红外线的热相机被用作外部装置351的情况下，可以检测与距离测量范围相同的范围内的温度，并实现根据温度移动样本点的算法(移动规则)。
通过提供外部装置351，可以获取除距离测量装置12可以从其获取距离信息的样本点的位置之外的信息。因此，也可以通过使用信息来内插距离信息。
<9.亮度观察模式的配置示例>
如上所述，距离测量装置12具有两种模式，即，作为操作模式的距离测量模式和亮度观察模式。因为在亮度观察模式下可以生成亮度图像，所以在亮度观察模式下生成的亮度图像的亮度值可以用作图3中的样本点状态表71的亮度信息。
将参照图15描述在操作模式为亮度观察模式的情况下距离测量装置12的详细配置。
图15是示出在操作模式为亮度观察模式的情况下距离测量装置12的详细配置示例的框图。
在图15中，对图2中距离测量模式下的距离测量装置12的配置所共有的部分给出相同的附图标记，并且适当地省略其描述。
在其操作模式为亮度观察模式的距离测量装置12中，信号处理单元54包括光子计数单元3011至301P和亮度图像生成单元302。然而，省略时间测量单元811至81Q、直方图生成单元821至82Q、峰检测单元831至83Q以及距离计算单元84。距离测量装置12的其他配置与图2中的配置相似。
在操作模式为亮度观察模式的情况下，P(P>0)个像素被设置为光接收单元53中的活动像素，所述光接收单元53中的活动像素与信号处理单元54中提供的P个光子计数单元3011至301P相对应。多路复用器80将光接收单元53的活动像素一对一地连接至光子计数单元301，并将光接收单元53的每个活动像素的像素信号供应至相对应的光子计数单元301。
光子计数单元301j(j＝1至P中的任一个)对在作为一个帧的预定时段内已经反应的光接收单元53的相对应活动像素的SPAD的次数(也就是说，光子进入的次数)进行计数。然后，光子计数单元301j将计数结果供应至亮度图像生成单元302。在光子计数单元3011至301P的数目P等于光接收单元53的像素的总数目的情况下，可以在一个帧中生成一个亮度图像。然而，在数目P小于光接收单元53的像素的总数目的情况下，通过切换活动像素在多个帧中生成一个亮度图像。亮度图像生成单元302生成亮度图像，其中，在每个像素中测量的光子计数结果是像素值(亮度值)，并将亮度图像供应至控制单元51。因此，存储单元63的样本点状态表71中的亮度信息被更新。生成的亮度图像可以经由输入/输出单元55输出至上层主机装置。
注意，可以不以一个像素为单位，而是以多像素(多个像素)为单位执行光子计数结果。
如上所述，也可以使用通过将操作模式设置成亮度观察模式而获得的亮度图像的亮度信息。然而，在距离测量模式与亮度观察模式之间切换操作模式的同时，必须驱动距离测量装置，并且因此生成距离图像的帧速率为1/2或更少。
<10.结论>
距离测量装置12可以布置像素阵列的样本点，以通过基于样本点状态表71和样本点移动规则表72更新样本点的位置信息而获得更多的距离信息。
更具体地，距离测量装置12的确定单元61基于样本点状态表71中描述的样本点的距离信息和样本点移动规则表72中描述的样本点的移动规则更新样本点的位置信息。
例如，通过参考样本点的当前位置周围5×5像素的距离信息将样本点移动至在3×3周围像素之中与样本点移动规则表72的“操作”匹配的像素。在样本点被移动至与其检测距离比自己样本点短的更多个样本点接触的位置作为“操作”的情况下，可以针对短距离获得具有较高空间分辨率的距离图像。此外，在样本点被移动至与距离的变化已经被检测到的更多个样本点接触的位置作为“操作”的情况下，可以获得具有较高移动耐受能力的距离图像。
存储单元63的样本点移动规则表72可以根据距离测量的目的被改写。例如，样本点移动规则表72通过从外部装置诸如上层主机装置传送被更新。因此，样本点的位置信息可以通过任意算法被更新。确定单元61可以将样本点移动规则表72中描述的移动规则所需的信息存储在样本点状态表71中。
本技术的实施方式不限于上述实施方式，并且在不背离本技术要点的情况下，可以进行各种修改。
在本说明书中，系统是指一组多个部件(装置、模块(部分)等)，并且所有的部件是否在同一壳体中不重要。因此，容纳在单独的壳体中并且经由网络连接的多个装置以及其中多个模块被容纳在一个壳体中的一个装置都是系统。
注意，本说明书中所描述的效果仅仅是示例并不限于此，并且可以提供除本说明书中所描述的效果之外的效果。
注意，本技术可以具有以下配置。
(1)一种距离测量装置，包括：
像素阵列，在所述像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置；
确定单元，所述确定单元将所述像素阵列的所述像素中的一些像素确定为用于检测距离信息的样本点；以及
存储单元，所述存储单元存储样本点状态表和样本点移动规则表，所述样本点状态表存储所述样本点的距离信息，所述样本点移动规则表存储所述样本点的移动规则，其中：
所述确定单元基于所述样本点状态表和所述样本点移动规则表更新所述样本点的位置信息。
(2)根据(1)所述的距离测量装置，其中：
所述样本点状态表至少存储所述样本点的所述距离信息和指示应用于所述样本点的所述移动规则的规则标识信息，
所述样本点移动规则表存储与所述规则标识信息相对应的所述移动规则，以及
所述确定单元通过对所述样本点执行所述样本点移动规则表中描述的所述规则标识信息的所述移动规则来更新所述样本点的所述位置信息。
(3)根据(1)或(2)所述的距离测量装置，其中：
所述确定单元基于所述样本点周围的第一周边区域的所述距离信息应用所述移动规则，确定是否将所述样本点移动至小于所述第一周边区域的第二周边区域中的预定位置，并更新所述样本点的所述位置信息。
(4)根据(1)至(3)中任一项所述的距离测量装置，其中：
所述确定单元将一个移动规则应用于整个像素阵列并更新所述样本点的所述位置信息。
(5)根据(1)至(4)中任一项所述的距离测量装置，其中：
所述确定单元将所述整个像素阵列划分成多个区域，将不同的移动规则应用于各区域，并更新所述样本点的所述位置信息。
(6)根据(5)所述的距离测量装置，其中：
所述多个区域包括视角周围的外围区域和所述外围区域内的内部区域。
(7)根据(1)至(6)中任一项所述的距离测量装置，其中：
所述确定单元基于所述样本点移动规则表更新所述样本点的所述位置信息，并且然后还通过将共同的整体规则应用于所有样本点来更新所述样本点的所述位置信息。
(8)根据(7)所述的距离测量装置，其中：
所述整体规则是将所述样本点布置在所述距离信息未被测量达预定时段的位置处的规则。
(9)根据(7)所述的距离测量装置，其中：
所述整体规则更新距离信息未被改变达预定时段的样本点的规则。
(10)根据(1)至(9)中任一项所述的距离测量装置，其中：
所述样本点移动规则表包括以下规则作为所述移动规则，在该规则中，将所述样本点移动至所述样本点周围的区域中的与其检测距离比本样本点短的更多个样本点接触的位置。
(11)根据(1)至(10)中任一项所述的距离测量装置，其中：
所述样本点移动规则表包括以下规则作为所述移动规则，在该规则中，将所述样本点移动至所述样本点周围的区域中的与其短距离变化未被检测到的更多个样本点接触的位置。
(12)根据(1)至(11)中任一项所述的距离测量装置，其中：
所述样本点移动规则表包括以下规则作为所述移动规则，在该规则中，将所述样本点移动至所述样本点周围的区域中的随机位置。
(13)根据(1)至(12)中任一项所述的距离测量装置，其中：
所述移动规则被限定成使得当所述样本点满足预定条件时执行预定移动。
(14)根据(1)至(13)中任一项所述的距离测量装置，其中：
所述移动规则包括限定移动所述样本点的所述位置信息的方法的操作以及用于执行所述操作的条件。
(15)根据(1)至(14)中任一项所述的距离测量装置，其中：
所述移动规则包括限定移动所述样本点的所述位置信息的方法的操作、用于执行所述操作的条件以及所述操作的约束条件。
(16)根据(1)至(15)中任一项所述的距离测量装置，其中：
所述样本点状态表还存储所述样本点的所述距离信息的置信度或所述样本点的亮度信息，以及
所述确定单元也通过使用所述样本点的所述距离信息的所述置信度或所述样本点的所述亮度信息来更新所述样本点的所述位置信息。
(17)根据(1)至(16)中任一项所述的距离测量装置，其中：
所述确定单元也获取由外部装置检测的数据，以及
所述确定单元也通过使用由所述外部装置检测的数据来更新所述样本点的所述位置信息。
(18)一种控制距离测量装置的方法，其中：
所述距离测量装置包括像素阵列，在所述像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置，所述距离测量装置进行如下操作：
将所述像素阵列的所述像素中的一些像素确定为用于检测距离信息的样本点；
将所述样本点的距离信息存储在样本点状态表中；以及
基于所述样本点状态表和存储所述样本点的移动规则的样本点移动规则表更新所述样本点的位置信息。
(19)一种距离测量系统，包括：
照明装置，所述照明装置发射照射光；以及
距离测量装置，所述距离测量装置接收通过从物体反射照射光而获得的反射光，其中：
所述距离测量装置包括：
像素阵列，在所述像素阵列中，接收所述反射光的像素以矩阵布置；
确定单元，所述确定单元将所述像素阵列的所述像素中的一些像素确定为用于检测距离信息的样本点；以及
存储单元，所述存储单元存储样本点状态表和样本点移动规则表，所述样本点状态表存储所述样本点的距离信息，所述样本点移动规则表存储所述样本点的移动规则；以及
所述确定单元基于所述样本点状态表和所述样本点移动规则表更新所述样本点的位置信息。
附图标记列表
1. 距离测量系统
11 照明装置
12 距离测量装置
13 物体
31 光发射单元
32 光发射驱动单元
51 控制单元
52 像素驱动单元
53 光接收单元
54 信号处理单元
55 输入/输出单元
61 确定单元
62 判定单元
63 存储单元
71 样本点状态表
72 样本点移动规则表
80 多路复用器
81 时间测量单元
82 直方图生成单元
83 峰检测单元
84 距离计算单元
301 光子计数单元
302 亮度图像生成单元
351 外部装置
352 信号处理装置
361 图像处理单元

Claims (19)

1.一种距离测量装置，包括：
像素阵列，在所述像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置；
确定单元，所述确定单元将所述像素阵列的所述像素中的一些像素确定为用于检测距离信息的样本点；以及
存储单元，所述存储单元存储样本点状态表和样本点移动规则表，所述样本点状态表存储所述样本点的距离信息，所述样本点移动规则表存储所述样本点的移动规则，
其中所述确定单元基于所述样本点状态表和所述样本点移动规则表更新所述样本点的位置信息。
2.根据权利要求1所述的距离测量装置，其中
所述样本点状态表至少存储所述样本点的所述距离信息和指示应用于所述样本点的所述移动规则的规则标识信息，
所述样本点移动规则表存储与所述规则标识信息相对应的所述移动规则，以及
所述确定单元通过对所述样本点执行所述样本点移动规则表中描述的所述规则标识信息的所述移动规则来更新所述样本点的所述位置信息。
3.根据权利要求1所述的距离测量装置，其中
所述确定单元基于所述样本点周围的第一周边区域的所述距离信息应用所述移动规则，确定是否将所述样本点移动至小于所述第一周边区域的第二周边区域中的预定位置，并更新所述样本点的所述位置信息。
4.根据权利要求1所述的距离测量装置，其中
所述确定单元将一个移动规则应用于整个像素阵列并更新所述样本点的所述位置信息。
5.根据权利要求1所述的距离测量装置，其中
所述确定单元将整个像素阵列划分成多个区域，将不同的移动规则应用于各区域，并更新所述样本点的所述位置信息。
6.根据权利要求5所述的距离测量装置，其中
所述多个区域包括视角周围的外围区域和所述外围区域内的内部区域。
7.根据权利要求1所述的距离测量装置，其中
所述确定单元基于所述样本点移动规则表更新所述样本点的所述位置信息，并且然后还通过将共同的整体规则应用于所有样本点来更新所述样本点的所述位置信息。
8.根据权利要求7所述的距离测量装置，其中：
所述整体规则是将所述样本点布置在距离信息未被测量达预定时段的位置处的规则。
9.根据权利要求7所述的距离测量装置，其中：
所述整体规则是更新距离信息未被改变达预定时段的样本点的规则。
10.根据权利要求1所述的距离测量装置，其中：
所述样本点移动规则表包括以下规则作为所述移动规则，在该规则中，将所述样本点移动至所述样本点周围的区域中的与其检测距离比本样本点短的更多个样本点接触的位置。
11.根据权利要求1所述的距离测量装置，其中：
所述样本点移动规则表包括以下规则作为所述移动规则，在该规则中，将所述样本点移动至所述样本点周围的区域中的与其短距离变化未被检测到的更多个样本点接触的位置。
12.根据权利要求1所述的距离测量装置，其中：
所述样本点移动规则表包括以下规则作为所述移动规则，在该规则中，将所述样本点移动至所述样本点周围的区域中的随机位置。
13.根据权利要求1所述的距离测量装置，其中：
所述移动规则被限定成使得当所述样本点满足预定条件时执行预定移动。
14.根据权利要求1所述的距离测量装置，其中：
所述移动规则包括限定移动所述样本点的所述位置信息的方法的操作以及用于执行所述操作的条件。
15.根据权利要求1所述的距离测量装置，其中：
所述移动规则包括限定移动所述样本点的所述位置信息的方法的操作、用于执行所述操作的条件以及所述操作的约束条件。
16.根据权利要求1所述的距离测量装置，其中：
所述样本点状态表还存储所述样本点的所述距离信息的置信度或所述样本点的亮度信息，以及
所述确定单元也通过使用所述样本点的所述距离信息的所述置信度或所述样本点的所述亮度信息来更新所述样本点的所述位置信息。
17.根据权利要求1所述的距离测量装置，其中：
所述确定单元也获取由外部装置检测的数据，以及
所述确定单元也通过使用由所述外部装置检测的所述数据来更新所述样本点的所述位置信息。
18.一种控制距离测量装置的方法，其中：
所述距离测量装置包括像素阵列，在所述像素阵列中，接收通过从物体反射照射光而获得的反射光的像素以矩阵布置，所述距离测量装置进行如下操作：
将所述像素阵列的所述像素中的一些像素确定为用于检测距离信息的样本点；
将所述样本点的距离信息存储在样本点状态表中；以及
基于所述样本点状态表和存储所述样本点的移动规则的样本点移动规则表更新所述样本点的位置信息。
19.一种距离测量系统，包括：
照明装置，所述照明装置发射照射光；以及
距离测量装置，所述距离测量装置接收通过从物体反射照射光而获得的反射光，其中：
所述距离测量装置包括：
像素阵列，在所述像素阵列中，接收所述反射光的像素以矩阵布置；
确定单元，所述确定单元将所述像素阵列的所述像素中的一些像素确定为用于检测距离信息的样本点；以及
存储单元，所述存储单元存储样本点状态表和样本点移动规则表，所述样本点状态表存储所述样本点的距离信息，所述样本点移动规则表存储所述样本点的移动规则；以及
所述确定单元基于所述样本点状态表和所述样本点移动规则表更新所述样本点的位置信息。
CN202280015855.4A 2021-02-26 2022-01-13 距离测量装置及其控制方法和距离测量系统 Pending CN116897306A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021030423 2021-02-26
JP2021-030423 2021-02-26
PCT/JP2022/000818 WO2022181097A1 (ja) 2021-02-26 2022-01-13 測距装置およびその制御方法、並びに、測距システム

Publications (1)

Publication Number Publication Date
CN116897306A true CN116897306A (zh) 2023-10-17

Family

ID=83048808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280015855.4A Pending CN116897306A (zh) 2021-02-26 2022-01-13 距离测量装置及其控制方法和距离测量系统

Country Status (4)

Country Link
US (1) US20240134015A1 (zh)
JP (1) JPWO2022181097A1 (zh)
CN (1) CN116897306A (zh)
WO (1) WO2022181097A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240045035A1 (en) * 2022-08-05 2024-02-08 Meta Platforms Technologies, Llc Source-camera assembly with light path for a reference pixel

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316820A (ja) * 1998-04-30 1999-11-16 Toshiba Corp 行動計測方法および行動計測装置および制御装置および電子的装置および記録媒体
JP2002024986A (ja) * 2000-07-06 2002-01-25 Nippon Signal Co Ltd:The 歩行者検出装置
US8810436B2 (en) * 2011-03-10 2014-08-19 Security Identification Systems Corporation Maritime overboard detection and tracking system
JP7428136B2 (ja) * 2018-11-22 2024-02-06 コニカミノルタ株式会社 情報処理装置、情報処理システム、および情報処理方法

Also Published As

Publication number Publication date
WO2022181097A1 (ja) 2022-09-01
JPWO2022181097A1 (zh) 2022-09-01
US20240134015A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
EP2924992B1 (en) Method and apparatus for obtaining 3d image
EP3163316B1 (en) Apparatus and method for obtaining a depth image
JP2019049480A (ja) 距離測定装置
TWI460615B (zh) 用於光學巡覽之動態可重組態的像素陣列
EP2841989B1 (en) Method and apparatus for generating an infrared illumination beam with a variable illumination pattern
CN111427048B (zh) 一种ToF深度测量装置、控制方法及电子设备
CN111965625B (zh) 用于激光雷达的校正方法及装置、环境感知系统
US10616561B2 (en) Method and apparatus for generating a 3-D image
CN113366383B (zh) 摄像头装置及其自动聚焦方法
US20220057520A1 (en) Distance measurement apparatus and distance measurement method
CN109991581B (zh) 飞行时间获取方法和飞行时间相机
CN111988594B (zh) 图像处理设备及其控制方法、摄像设备、监视系统和介质
CN116897306A (zh) 距离测量装置及其控制方法和距离测量系统
CN117015724A (zh) 飞行时间解调电路、飞行时间解调方法、飞行时间成像装置、飞行时间成像装置控制方法
US20230254603A1 (en) Systems and methods for structured light depth computation using single photon avalanche diodes
CN110545390B (zh) 飞行时间传感器及方法
EP3474541A1 (en) 3d camera system with rolling-shutter image sensor and array of addressable light sources
CN114761824A (zh) 飞行时间感测方法
US20160232679A1 (en) Distance measurement system applicable to different reflecting surfaces and operating method thereof
WO2022168500A1 (ja) 測距装置およびその制御方法、並びに、測距システム
US20230078063A1 (en) Distance measurement device and distance measurement system
CN110954917A (zh) 一种深度测量装置和深度测量方法
Shin Computational imaging with small numbers of photons
CN117616310A (zh) 物体检测装置及物体检测方法
JP2012198337A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination