CN113439195A - 使用动态视觉传感器和图案投影的三维成像和感测 - Google Patents

使用动态视觉传感器和图案投影的三维成像和感测 Download PDF

Info

Publication number
CN113439195A
CN113439195A CN202080015207.XA CN202080015207A CN113439195A CN 113439195 A CN113439195 A CN 113439195A CN 202080015207 A CN202080015207 A CN 202080015207A CN 113439195 A CN113439195 A CN 113439195A
Authority
CN
China
Prior art keywords
events
pixels
processor
image sensor
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080015207.XA
Other languages
English (en)
Inventor
G·希康
M·布兰比拉
克斯阿维埃·拉戈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Professe Co
Prophesee SA
Original Assignee
Professe Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Professe Co filed Critical Professe Co
Publication of CN113439195A publication Critical patent/CN113439195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

在一个具体实施中，提供了一种三维图像感测系统，所述三维图像感测系统包括至少一个处理器，所述至少一个处理器从图像传感器检测基于由与多个投影线图案相关联的电磁脉冲引起的反射且与所述图像传感器的一个或多个第一像素相对应的一个或多个第一事件。所述至少一个处理器还：从所述图像传感器检测基于所述反射且与所述图像传感器的一个或多个第二像素相对应的一个或多个第二事件；识别与所述一个或多个第二事件和所述一个或多个第一事件相对应的线；基于所识别的线计算所述一个或多个第一像素和所述一个或多个第二像素的三维射线；以及基于所述三维射线和平面方程计算针对所述一个或多个第一像素和所述一个或多个第二像素的三维图像点。

Description

使用动态视觉传感器和图案投影的三维成像和感测
技术领域
本公开一般涉及图像感测和处理领域。更具体地而非限制地，本公开涉及用于三维成像和感测的计算机实现的系统和方法。另外，本公开还涉及使用基于事件的图像传感器进行的三维图像感测。本文所公开的图像传感器和技术可用于各种应用和视觉系统，诸如安全系统、自主车辆以及其他受益于快速且高效的三维感测和检测的系统。
背景技术
现存的三维图像感测系统包括那些产生场景深度图的系统。此类感测系统具有缺点，包括空间和/或时间分辨率低。此类三维图像感测系统还具有其他缺点，包括计算成本太高和/或具有其他处理限制。
例如，飞行时间相机系统通常直接测量深度。在此类相机中，使用激光投影仪发射调制信号，并通过测量发射信号与从所观察场景中对象的反射之间的时间移位来估计距离。根据具体实施，飞行时间系统通常每秒生成多达60张深度图像。然而，大多数飞行时间相机的空间分辨率低(例如，100,000像素或更低)。此外，激光投影仪的使用不允许在低功率应用中使用飞行时间相机，同时保持高范围和高空间分辨率。
立体相机是基于这样一种想法，即可以将一个视图中的点与另一视图中的点进行匹配。立体相机使用两个相机的相对位置来估计空间中点的三维位置。然而，立体相机通常具有有限的图像密度，因为只能测量来自纹理环境的检测点。此外，立体相机的计算成本很高，因此时间分辨率低，并且在低功率应用中的使用受到限制。
结构光相机的功能类似于立体相机，但使用图案投影仪代替第二相机。通过定义投影图案，结构光相机无需使用第二相机即可执行三角测量。结构光解决方案通常具有更高的空间分辨率(例如，高达300,000像素)。然而，结构光相机的计算成本很高和/或通常具有低时间分辨率(例如，大约30fps)。可增加时间分辨率，但以空间分辨率为代价。与飞行时间相机类似，结构光相机在低功率应用中的使用受限(例如，范围和空间分辨率受限)。
主动立体图像传感器组合了被动立体和结构光技术。具体地，投影仪投影图案，所述图案可被两个相机识别。这两个图像中的图案的匹配允许通过三角测量来估计匹配点处的深度。在图案不易解码的情况下(诸如室外环境、远程模式等)，主动立体可恢复为被动立体。因此，主动立体如结构光技术和立体技术存在时间分辨率低，并且在低功率应用中的使用受到限制。
已开发了一些集成了基于事件的相机的结构光系统。在这些系统中，激光束以给定频率投影单个闪烁点。然后，相机可检测由闪烁点引起的对比度变化，而基于事件的相机可以非常高的时间准确性检测到此类变化。检测给定激光频率下对比度的变化允许系统将闪烁点产生的事件与场景中的其他事件区分开来。在一些具体实施中，由两个相机检测投影点，并且使用三角测量重建与闪烁点相对应的点处的深度。在申请人Prophesee开发的其他系统中，投影仪可对投影到场景中的点脉冲中的图案或符号进行编码。然后，基于事件的图像传感器可检测从场景反射的相同图案或符号，并使用投影图案的位置和检测图案的位置进行三角测量，以确定场景中对应点的深度。
当在图像中的随机位置一次仅投影一个点时，时间分辨率会直接随所用点位置的数量而降低。此外，即使系统被实现为同时投影多个点，场景也可能需要稳定，直到整个时间码被解码。因此，这种方法可能无法重建动态场景。
发明内容
本公开的实施方案提供了解决前述缺点的计算机实现的系统和方法。在本公开中，提供了用于三维图像感测的系统和方法，其具有诸如计算效率高以及与动态场景兼容的优点。对于本实施方案，生成的数据可包括深度信息，允许场景的三维重建(例如，作为点云)。另外，本公开的实施方案可用于诸如增强现实、机器人技术等的低功率应用，同时仍提供与其他较高功率解决方案相比质量相当或甚至更高的数据。
本公开的实施方案可投影包括电磁脉冲图案的线并且在图像传感器处接收那些图案的反射。在一些实施方案中，投影仪(例如，激光投影仪)可将投影线变形为曲线。因此，如全文所用，“线”可指几何线或曲线。此外，线可包括具有不同强度的多个点，使得线可包括虚线等。图案可被索引到投影仪的空间坐标，并且图像传感器可通过接收反射的像素的位置来索引所接收的反射。因此，本公开的实施方案可基于投影仪和像素的空间坐标对深度进行三角测量。
通过使用线，与基于点的方法相比，本公开的实施方案可更快并且可增大密度。此外，与点相比，线可能需要更少的控制信号用于投影仪，从而降低功率消耗。
为了说明动态场景，本公开的实施方案可使用状态机来识别与投影线相对应的反射曲线。此外，在一些实施方案中，状态机还可在时间上跟踪所接收的跨图像传感器的像素移动的图案。因此，即使不同的像素接收图案的不同部分，也可计算深度。因此，如上所解释，本公开的实施方案可解决现有技术提出的技术问题。
本公开的实施方案还可提供更高的时间分辨率。例如，通过使用已知图案的三角测量(例如，所存储的图案和/或从图案的投影仪提供给执行三角测量的处理器的图案)而不是匹配捕获图像中的点来保持低延时。此外，使用状态机可在不牺牲延时的情况下提高准确性。与蛮力激光线扫描相比，本公开的实施方案可减少延时和对抖动的敏感性。此外，本公开的实施方案可提高区分开环境光和来自投影线的反射的准确性。
在一些实施方案中，可通过使用基于事件的图像传感器来进一步提高时间分辨率。这种传感器可基于像素处的照度变化超过阈值来捕获场景中的事件。异步传感器可检测投影到场景中的图案，同时减少生成的数据量。因此，可提高时间分辨率。
此外，在一些实施方案中，由于使用基于事件的图像传感器而导致的数据减少可允许提高每个像素处的光采样率，例如从每秒30次或每秒60次(即，典型CMOS图像传感器的帧速率)提高到更高的速率，诸如每秒1,000次、每秒10,000次以及更多。与现存技术相比，更高的光采样率提高了图案检测的准确性。
在一个实施方案中，一种用于检测三维图像的系统可包括：投影仪，所述投影仪被配置为将包括电磁脉冲的多条线投影到场景上；图像传感器，所述图像传感器包括多个像素并且被配置为检测场景中由所投影的多条线引起的反射；以及至少一个处理器。至少一个处理器可被配置为：从图像传感器检测基于检测到的反射且与图像传感器的一个或多个第一像素相对应的一个或多个第一事件；从图像传感器检测基于检测到的反射且与图像传感器的一个或多个第二像素相对应的一个或多个第二事件；以及识别与一个或多个第二事件和一个或多个第一事件相对应的投影线。此外，在一些实施方案中，至少一个处理器可被配置为基于所识别的线计算三维图像点。更进一步地，至少一个处理器可被配置为：基于所识别的线计算一个或多个第一像素和一个或多个第二像素的三维射线；以及基于三维射线和与所识别线相关联的平面方程计算三维图像点。附加地或替代地，可使用二次曲面方程来计算三维图像点。
在此类实施方案中，至少一个处理器还可被配置为确定与多条线相关联的多个图案。此外，一个或多个第一事件可对应于与多条线相关联的多个图案的开始。此外，一个或多个第二事件可对应于与多条线相关联的多个图案的结束。
在这些实施方案的任一实施方案中，投影仪可被配置为同时投影每条线的一个或多个点。替代地，投影仪可被配置为顺序地投影每条线的一个或多个点。
在这些实施方案中的任一实施方案中，多个图案可包括至少两个不同的脉冲长度，所述至少两个不同的脉冲长度分隔一定时长。附加地或替代地，多个图案可包括多个脉冲，所述多个脉冲分隔不同时长。附加地或替代地，多个图案可包括具有用于对符号进行编码的所选择的频率、相移或占空比中的至少一个的脉冲。
在这些实施方案中的任一实施方案中，投影仪可被配置为将多条线投影到场景中的多个空间位置。此外，空间位置中的至少一个可对应于第一图案，并且空间位置中的至少另一个可对应于第二图案。
在这些实施方案中的任一实施方案中，投影仪可被配置为在多个不同的投影时间投影多条线中的一个或多个点。此外，投影时间中的至少一个可对应于一个或多个第一事件中的至少一个，并且投影时间中的至少另一个可对应于一个或多个第二事件中的至少一个。
在这些实施方案中的任一实施方案中，图像传感器的每个像素可包括检测器，所述检测器电连接到至少一个第一光敏元件并且被配置为当作为照射在至少一个第一光敏元件上的光的亮度的函数的模拟信号与条件匹配时生成触发信号。在一些实施方案中，可提供至少一个第二光敏元件，所述至少一个第二光敏元件被配置为响应于触发信号而输出作为照射在至少一个第二光敏元件上的光的亮度的函数的信号。更进一步地，至少一个第一光敏元件可包括至少一个第二光敏元件。在这些实施方案中的任一实施方案中，至少一个处理器可从第一光敏元件和第二光敏元件中的至少一个接收一个或多个第一信号，其中一个或多个第一信号可在条件为递增条件时具有正极性，而在条件为递减条件时具有负极性。因此，至少一个处理器还可被配置为对一个或多个第一信号的极性进行解码以获得一个或多个第一事件或一个或多个第二事件。附加地或替代地，至少一个处理器还可被配置为丢弃以大于阈值的时间量分隔的一个或多个第一信号中的任一个和/或丢弃与不在预定范围内的光学带宽相关联的一个或多个第一信号中的任一个。
在这些实施方案的任一实施方案中，至少一个第一光敏元件可包括至少一个第二光敏元件。与一些实施方案一致，可移除曝光测量电路，使得图像传感器仅输出来自条件检测器的事件。因此，第一光敏元件和第二光敏元件可包括仅由条件检测器使用的单个元件。
替代地，至少一个第一光敏元件和至少一个第二光敏元件可至少部分是不同的元件。
在这些实施方案的任一实施方案中，所述系统还可包括光学滤波器，所述光学滤波器被配置为阻挡与不在预定范围内的波长相关联的任何反射。
在这些实施方案中的任一实施方案中，多个图案可包括在电磁脉冲中编码的一组独特符号。替代地，多个图案可包括在电磁脉冲中编码的一组准独特符号。例如，符号在几何定义的空间内可能是独特的。在此类实施方案中，几何定义的空间可包括多条线中的一条。
在这些实施方案中的任一实施方案中，至少一个处理器可被配置为基于多个图案中的哪个图案由一个或多个第一事件和一个或多个第二事件表示来确定平面方程。附加地或替代地，至少一个处理器可被配置为确定与多条线相关联的多个平面方程并且选择与一个或多个第一事件和一个或多个第二事件相关联的线以确定多个平面方程中的相关联平面方程。
在这些实施方案中的任一实施方案中，至少一个处理器可被配置为基于多条射线和相关联平面方程的交汇处来计算三维图像点。在此类实施方案中，多条射线可源自传感器并且表示场景中与一个或多个第一像素和一个或多个第二像素相对应的一组三维点。
例如，直线在三维(3D)空间中的投影对应于3D平面，其对应的平面方程可包括a′X+b′Y+c′Z+d′＝0(方程1)，其中X、Y和Z为3D空间中位于平面上的点的坐标，并且a'、b'、c'和d'为定义平面的常数。原点是位于(0,0,0)位置的相机光学中心。对于传感器上位于第i像素行和第j像素列的像素(i,j)，可使用传感器校准参数(x,y,f)来识别3D空间中的像素位置，其中f是根据针孔相机模型的焦距。投影到传感器上(i,j)的所有3D点都位于穿过(x,y,f)和光学中心(0,0,0)的3D射线上。对于射线上的所有3D点，都存在由以下(方程2)定义的标量常数λ：
Figure BDA0003217638150000071
为了对投影仪的3D平面与相机的3D射线的交汇处的3D点进行三角测量，可将方程2注入方程1中：
a′λx+b′λy+c′λf+d′＝0
得出
Figure BDA0003217638150000072
并且
Figure BDA0003217638150000081
在一些实施方案中，投影是进入3D空间的曲线。这不再是平面，而是曲面。因此，与基于上述平面方程的三角测量操作相反，可使用另一种三角测量操作。例如，可使用一般方程的二次曲面模型：
Figure BDA0003217638150000082
其中Q为3x3矩阵，P为三维行向量，并且R为标量常数。通过将方程2注入二次曲面方程并求解λ，可在来自相机的3D射线与3D表面的交汇处对3D点进行三角测量。
在这些实施方案的任一实施方案中，至少一个处理器可被配置为基于一个或多个第一事件初始化一个或多个状态机。更进一步地，至少一个处理器可被配置为在存储器或存储设备中存储最终状态机，所述最终状态机包括一个或多个初始化状态机和用于将一个或多个第一事件连接到一个或多个第二事件的候选者。因此，至少一个处理器还可被配置为使用所存储的状态机来确定后续事件的候选者。
在这些实施方案中的任一实施方案中，确定用于将一个或多个第二事件连接到一个或多个第一事件的候选者可使用多个图案和一个或多个所存储的状态机。附加地或替代地，可在一个或多个第一事件之后对一个或多个第二事件加时间戳，使得候选者将一个或多个第一事件在时间上连接到一个或多个第二事件。
在这些实施方案的任一实施方案中，检测一个或多个第一事件可包括从图像传感器接收一个或多个第一信号以及基于一个或多个第一信号检测一个或多个第一事件。附加地或替代地，检测一个或多个第一事件可包括从图像传感器接收一个或多个第一信号，其中一个或多个第一信号对一个或多个第一事件进行编码。
在一个实施方案中，成像系统可包括多个像素和至少一个处理器。每个像素可包括：第一光敏元件；检测器，所述检测器电连接到第一光敏元件并且被配置为当作为照射在第一光敏元件上的光的亮度的函数的模拟信号与条件匹配时生成触发信号。任选地，还可提供一个或多个第二光敏元件，所述一个或多个第二光敏元件被配置为输出作为照射在一个或多个第二光敏元件上的光的亮度的函数的信号。在一些实施方案中，至少一个处理器可被配置为：从一个或多个第二光敏元件检测基于检测到的来自场景的反射并且响应于来自检测器的触发信号且与多个像素中的一个或多个第一像素相对应的一个或多个第一事件；基于一个或多个第一事件初始化一个或多个状态机；基于所接收的第二信号，从一个或多个第二光敏元件检测基于检测到的来自场景的反射并且响应于来自检测器的触发信号且与多个像素中的一个或多个第二像素相对应的一个或多个第二事件；确定用于将一个或多个第二事件连接到一个或多个第一事件的一个或多个候选者；以及使用一个或多个候选者，识别与一个或多个第二事件和一个或多个第一事件相对应的投影线。此外，在一些实施方案中，至少一个处理器可被配置为：基于所识别的线计算一个或多个第一像素和一个或多个第二像素的三维射线；以及基于三维射线计算针对一个或多个第一像素和一个或多个第二像素的三维图像点。在一些实施方案中，另外，可基于与投影到场景上的对应于所识别线的线相关联的平面方程来计算三维图像点。在其他实施方案中，可利用基于曲线和前述二次曲面方程进行的三角测量运算。
在此类实施方案中，至少一个处理器还可被配置为确定与投影到场景上的包括电磁脉冲的多条线相关联的多个图案，其中确定多个图案可包括接收定义由时间间隔分隔的振幅的数字信号。例如，可从与投影仪相关联的控制器接收定义由时间间隔分隔的振幅的数字信号，所述投影仪被配置为根据多个图案投影多个电磁脉冲。附加地或替代地，可从存储图案的至少一个非暂时性存储器中检索定义由时间间隔分隔的振幅的数字信号。
在上述实施方案中的任一实施方案中，第一光敏元件可包括一个或多个第二光敏元件。此外，在一些实施方案中，不存在第二光敏元件。
在一个实施方案中，一种用于检测三维图像的方法可包括：确定与包括由投影仪发射到场景上的电磁脉冲的多条线相对应的多个图案；从图像传感器检测基于由多个电磁脉冲引起的反射且与图像传感器的一个或多个第一像素相对应的一个或多个第一事件；基于一个或多个第一事件初始化一个或多个状态机；从图像传感器检测基于反射且与图像传感器的一个或多个第二像素相对应的一个或多个第二事件；确定用于将一个或多个第二事件连接到一个或多个第一事件的一个或多个候选者；使用一个或多个候选者，识别与一个或多个第二事件和一个或多个第一事件相对应的投影线；基于所识别的线计算一个或多个第一像素和一个或多个第二像素的三维射线；以及基于三维射线和与对应于所识别线的线中的一条线相关联的平面方程，计算针对一个或多个第一像素和一个或多个第二像素的三维图像点。
在一个实施方案中，一种用于检测三维图像的系统可包括：投影仪，所述投影仪被配置为将包括电磁脉冲的多条线投影到场景上；图像传感器，所述图像传感器包括多个像素并且被配置为检测场景中由所投影的多条线引起的反射；以及至少一个处理器。至少一个处理器可被配置为：将多个符号编码为与多条线相关联的多个图案，所述多个符号与多条线的至少一个空间性质有关；命令投影仪将多个图案投影到场景上；从图像传感器检测基于检测到的反射且与图像传感器的一个或多个第一像素相对应的一个或多个第一事件；基于一个或多个第一事件初始化一个或多个状态机；从图像传感器检测基于检测到的反射且与图像传感器的一个或多个第二像素相对应的一个或多个第二事件；确定用于将一个或多个第二事件连接到一个或多个第一事件的一个或多个候选者；使用一个或多个候选者和一个或多个状态机，对一个或多个第一事件和一个或多个第二事件进行解码以获得至少一个空间性质；以及基于传感器上的一个或多个第一事件和一个或多个第二事件的位置以及至少一个空间性质，计算针对一个或多个第一像素和一个或多个第二像素的三维图像点。
本公开的附加目的和优点将在以下具体实施方式中部分阐述，并且部分将由描述中而变得明显，或可以通过本公开的实践来学习。本公开的目的和优点将通过所附权利要求中特别指出的要素和组合来实现和获得。
应当理解，前述一般描述和以下具体实施方式都只是示例性的和说明性的，并不限制所公开的实施方案。
附图说明
构成本说明书的一部分的附图示出了各种实施方案，并且连同描述一起用来解释所公开的实施方案的原理和特征。在附图中：
图1A是根据本公开的实施方案的示例性摩尔状态机的示意表示。
图1B是根据本公开的实施方案的示例性米里状态机的示意表示。
图2A是根据本公开的实施方案的示例性图像传感器的示意表示。
图2B是根据本公开的实施方案的示例性异步图像传感器的示意表示。
图3A是根据本公开的实施方案的使用具有图像传感器的图案投影仪的系统的示意表示。
图3B是根据本公开的实施方案的使用射线和相关联平面方程的交汇处来确定三维图像点的图形表示。
图4A是根据本公开的实施方案的通过状态机变换的示例性电磁图案的示意表示。
图4B是根据本公开的实施方案的使用状态机识别曲线的图形表示。
图5A是根据本公开的实施方案的用于检测三维图像的示例性方法的流程图。
图5B是根据本公开的实施方案的用于检测三维图像的另一示例性方法的流程图。
图6是根据本公开的实施方案的示例性状态机解码的图形说明。
图7是与本公开的实施方案一致的用于将来自图像传感器的事件连接成集群的示例性方法的流程图。
图8是根据本公开的实施方案的使用检测到的振幅变化进行的示例性符号编码的图形说明。
图9是与本公开的实施方案一致的用于检测事件突发的示例性方法的流程图。
具体实施方式
所公开的实施方案涉及用于通过感测光的投影图案(诸如一个或多个线图案)的反射来捕获三维图像的系统和方法。所公开的实施方案还涉及用于将诸如同步或异步图像传感器的图像传感器用于三维成像的技术。有利的是，示例性实施方案可提供快速且高效的三维图像感测。本公开的实施方案可在各种应用和视觉系统中实现和使用，诸如自主车辆、机器人、增强现实以及其他受益于快速且高效的三维图像检测的系统。
本公开的实施方案可通过硬件、软件和/或固件的任何合适的组合来实现。本公开的部件和特征可用由硬件处理器实现的可编程指令来实现。在一些实施方案中，还提供了一种包括指令的非暂时性计算机可读存储介质，并且指令可由至少一个处理器执行以用于执行本文所公开的操作和方法。常见形式的非暂时性介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、任何具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM或任何其他闪存存储器、NVRAM、高速缓存、寄存器、任何其他存储器芯片或盒式磁带、以及它们的联网版本。在一些实施方案中，与本公开一致的系统可包括一个或多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。在联网布置中，可提供与系统通信的一个或多个服务器和/或数据库。
尽管本文一般参考成像传感器描述了本公开的实施方案，但应当理解，此类系统可为相机、LIDAR或另一成像系统的一部分。此外，尽管结合投影仪(诸如激光投影仪)描述了一些实施方案，但应当理解，此类部件可与本文描述的图像传感器和/或处理器分开。
本公开的实施方案可使用状态机来沿与投影到场景中的线相对应的曲线连接反射。附加地或替代地，本公开的实施方案可使用状态机来跟踪跨图像传感器的一个或多个像素的反射。因此，状态机可描述光图案的投影线到跟踪反射的变换，从而允许再创建场景的任何动态部分以及静态部分。与本公开一致的状态机可通过硬件、软件和/或固件的任何合适的组合来实现。
如本文所用，“图案”可指具有一个或多个特性的光脉冲的任何组合。例如，图案可包括：至少两个不同振幅，所述至少两个不同振幅分隔一定时长；至少两个不同波长，所述至少两个不同波长分隔一定时长；至少两个不同的脉冲长度，所述至少两个不同的脉冲长度分隔一定时长；多个脉冲，所述多个脉冲分隔不同时长；等等。此外，图案可具有用于对符号进行编码的频率、相移或占空比中的至少一者(例如，如下文关于图7的示例性实施方案所解释)。因此，“图案”不必是规则的，而是可包括形成图案的脉冲的不规则组合。
图1A是与本公开的实施方案一致的示例性摩尔状态机100的示意表示。在图1A的示例中，取决于输入(例如，输入101a和101b)是否满足某些条件(例如，条件105a和105b)，一个或多个状态(例如，状态103a和103b)可变换为不同的状态(例如，状态107a和107b)。另外的状态可针对新条件测试来自先前状态的输出，或者可生成不同的输出(例如，输出109a和109b)。
图1B是与本公开的实施方案一致的示例性米里状态机150的示意表示。图1B的米里状态机150与图1A的摩尔状态机100等效。与摩尔状态机100不同，米里状态机150可直接基于对状态的输入来改变状态。因此，图1A的状态103a和103b可用图1B的状态153替换。
状态机(诸如图1A和图1B中所描绘的状态机)可用来描述一种状态到另一种状态的任何基于条件的变换。因此，本公开的实施方案可搜索状态机，所述状态机将光的投影图案(诸如线)变换为由来自光的投影图案的反射引起的图像传感器的一个或多个状态，诸如在图像传感器的像素上形成的预期曲线。因此，这些状态机将跨像素的反射的不同部分连接起来，以便重建(和解码)投影图案。另外，如果反射在时间上移动，则状态机可将跨像素的反射的各部分连接起来。因此，状态机可在时间和空间上连接事件。因此，即使场景中存在物理动力学(例如，场景中一个或多个对象的横向运动、场景中一个或多个对象的旋转运动、场景中一个或多个对象的照明或反射率的增加等)，本公开的实施方案也可识别投影图案。
图2A是与本公开的实施方案一致的在三维成像系统中使用的图像传感器像素200的示意表示。像素200可以是阵列(例如，正方形、圆形或由阵列像素形成的任何其他规则或不规则形状)中的多个像素中的一个。
如本文所用，“像素”是指基于照射在像素上的光输出数据的图像传感器的最小元件。在一些实施方案中，像素可更大或包括更多部件，因为它可包括两个或更多个光敏元件、其他电路等，例如，如下面描述的图2B中所描绘。
尽管本公开涉及单个像素处正在接收的投影图像引起的反射，但投影图案可包括足够数量的光子以便覆盖多个像素并被多个像素接收。因此，本文描述的三角测量可基于多个像素的平均位置和/或包括多个三角测量，所述多个三角测量包括多个像素中的每个像素的位置。
如图2A中所描绘的，光敏元件201可基于照射在元件201上的光的亮度生成电信号(例如，电压、电流等)。如本文所用，光敏元件可包括光电二极管(例如，p-n结或PIN结构)或被配置为将光转换为电信号的任何其他元件。光电二极管可生成与照射在光电二极管上的光的强度成比例或作为其函数的电流(例如，Iph)。
如图2A中所进一步描绘的，测量电路205可将来自元件201的电流转换成模拟信号以供读出。测量电路205可响应于外部控制信号(例如，外部时钟周期)而激活。附加地或替代地，测量电路205可将来自元件201的信号转换成模拟信号，所述模拟信号被存储(例如，存储在由像素200访问的片上和/或片外存储器(未示出)中)，直到接收到外部控制信号。响应于外部控制信号，测量电路205可将所存储的模拟信号(图2A中的“数字像素数据”)传输到读出系统。
尽管图2A中未描绘，但使用了像素200的图像传感器可包括行和列仲裁器或其他定时电路，以便根据时钟周期触发像素阵列，如上所解释。此外，如上所述，定时电路可管理模拟信号到读出系统的传输，从而避免冲突。读出系统可将来自像素阵列的模拟信号转换为数字信号以便在三维成像中使用。
图2B是在三维成像系统中使用的图像传感器像素250的示意表示。像素250可以是阵列(例如，正方形、圆形或由阵列像素形成的任何其他规则或不规则形状)中的多个像素中的一个。
如图2B中所描绘的，光敏元件251可基于照射在元件251上的光的亮度生成电信号。像素250还可包括条件检测器255(CD)。在图2B的示例中，检测器255电连接到光敏元件251(PDCD)并且被配置成当作为照射到光敏元件251上的光的亮度的函数的模拟信号与条件匹配时生成触发信号(在图2B的示例中标记为“触发”)。例如，条件可包括模拟信号是否超过阈值(例如，电压或电流电平)。模拟信号可包括电压信号或电流信号。
在图2B的示例中，光敏元件253可基于照射在元件253上的光的亮度生成电信号。像素250还可包括曝光测量电路257。在图2B的示例中，曝光测量电路257可被配置为生成作为照射在光敏元件253(PDEM)上的光的亮度的函数的测量结果。曝光测量电路257可响应于触发信号生成测量结果，如图2B所示。尽管在图2B中被描绘为使用曝光测量电路257，但一些实施方案可直接从光敏元件253读取测量结果(例如，使用控制和读出系统259)并且省略曝光测量电路257。
在一些实施方案中，曝光测量电路257可包括模拟到数字转换器。此类实施方案的示例公开于以下申请中：2018年6月27日提交的且标题为“具有多个超级像素的图像传感器(Image Sensor with a Plurality of Super-Pixels)”的美国临时专利申请号62/690,948；以及2018年12月17日提交的且标题为“具有多个超级像素的图像传感器(ImageSensor with a Plurality of Super-Pixels)”的美国临时专利申请号62/780,913。这些申请的公开内容以引用方式完全并入本文。在此类实施方案中，当测量结果完成和/或传输到外部读出系统时，曝光测量电路257可重置条件检测器255(例如，使用图2B中未示出的“清除”信号)。
在一些实施方案中，曝光测量电路257可将测量结果异步地输出到读出和控制系统259。这可使用例如异步事件读出(AER)通信协议或其他合适的协议来执行。在其他实施方案中，可使用外部控制信号(例如，在图2B中标记为“控制”)对来自曝光测量电路257的读出进行计时。此外，如图2B中所描绘的，在一些实施方案中，还可使用例如异步事件读出(AER)通信协议或其他合适的协议将来自检测器259的触发输出到读出和控制系统259。
图2B中所描绘的像素250的示例公开于美国专利号8,780,240和美国专利号9,967,479中。这些专利以引用方式并入本文。
尽管被描绘为不同的光敏元件，但在一些实施方案中，光敏元件251和253可包括在条件检测器255和曝光测量电路257之间共享的单个元件。此类实施方案的示例公开于2018年4月30日提交的且标题为“用于异步的、基于时间的图像感测的系统和方法(Systemsand Methods for Asynchronous,Time-Based Image Sensing)”的欧洲专利申请号18170201.0中。该申请的公开内容通过引用并入本文。
此外，尽管描绘为具有一个条件检测器和一个曝光测量电路，但一些实施方案可包括共享条件检测器的多个曝光测量电路，使得触发信号导致多个测量结果被捕获。此类实施方案的示例公开于以下申请中：2018年6月27日提交的且标题为“具有多个超级像素的图像传感器(Image Sensor with a Plurality of Super-Pixels)”的美国临时专利申请号62/690,948；以及2018年12月17日提交的且标题为“具有多个超级像素的图像传感器(Image Sensor with a Plurality of Super-Pixels)”的美国临时专利申请号62/780,913。这些申请的公开内容以引用方式并入本文。
在其他实施方案中，可移除曝光测量电路，使得图像传感器仅输出来自条件检测器的事件。因此，光敏元件251和253可包括仅由条件检测器255使用的单个元件。
尽管图2B中未描绘，但使用了像素250的图像传感器可包括行和列线或其他读出电路，使得可从图像传感器读出像素250生成的事件。此外，定时电路可管理模拟信号到读出系统的传输，从而避免冲突。在这些实施方案中的任一实施方案中，读出系统可将来自像素阵列的模拟信号转换为数字信号以便在三维成像中使用。
图3A是用于三维成像的系统300的示意表示。如图3A所示，投影仪301可根据一种或多种图案(例如，图3A中的图案303a、303b和303c)发射电磁脉冲线。尽管描绘为使用三种图案，但可使用任何数量种的图案。由于每个图案可对应于三维场景305的一小部分，因此可使用大量(例如，数千或甚至数十万个)图案。
投影仪301可包括一个或多个激光发生器或被配置为根据一种或多种图案投影电磁脉冲线的任何其他设备。在一些实施方案中，投影仪301可为点投影仪。因此，投影仪301可被配置为在投影点的同时沿线扫掠，以便将线投影到3D场景305中。替代地，投影仪301可包括激光投影仪，所述激光投影仪被配置为沿线的一些或所有部分同时投影光，从而形成线。
附加地或替代地，投影仪301可包括屏幕或被配置为将来自投影仪301的光过滤成线的其他滤波器。尽管图3A中未描绘，但投影仪301可包括控制器，所述控制器被配置为接收命令或检索所存储的图案，所存储的图案控制线的生成和到场景305中的投影。
在一些实施方案中，投影仪301可被配置为将多条线投影到场景305中的多个空间位置。空间位置可对应于下文进一步描述的图像传感器309的不同像素(或像素组)。附加地或替代地，投影仪301可被配置为在多个不同的投影时间投影多条线。
在一些实施方案中，投影仪301可被配置为投影多个频率，例如以便增加图案内的多样性。在其他实施方案中，投影仪301可被配置为使用单个频率(或频率范围)，例如以便将图案引起的反射与场景305中的噪声区分开来。以举例的方式，频率可在50Hz和几kHz之间(例如，1kHz、2kHz、3kHz等)。
投影线或其他图案可能引起来自场景305的反射。在图3A的示例中，图案303a、303b和303c分别引起反射307a、307b和307c。尽管在时间上显示为恒定的，但由于场景305中的动力学，反射可随时间改变角度。可使用状态机搜索来重建这些动力学，如下文进一步所解释。
反射可由图像传感器309捕获。在一些实施方案中，图像传感器309可以是基于事件的传感器。如上所解释，图像传感器309可包括图2A的像素200的阵列、图2B的像素250的阵列或任何其他像素的阵列，与读出系统耦合。图像传感器309生成的信号可由包括至少一个处理器(图中未示出)的系统处理。如下所解释，系统可重新创建场景305中的任何动力学和/或计算场景305的三维图像点。
即使图案303a、303b和303c沿直线布置(如图3A所示)，反射307a、307b和307c也可在图像传感器309的像素上形成曲线。例如，场景305内的变化的深度以及动力学可扭曲图案303a、303b和303c以形成曲线。此外，场景305内的变化的深度以及动力学可进一步扭曲曲线以包括图像传感器309的像素上的不连续处和/或拐点。系统300可使用状态机搜索来识别在图像传感器309上捕获的与投影线(例如，编码图案303a、303b和303c)相对应的曲线(例如，由反射307a、307b和307c形成)，如下文进一步所解释。
图3B是使用来自所接收事件的三维射线和相关联线的平面方程的三维成像300的图形表示。如图3B所示，来自投影仪301的每条线可与对应的平面方程311相关联。例如，平面方程311可包括a'X+b'Y+c'Z+d'＝0，其中a'、b'、c'和d'为定义平面的常数，并且其中X、Y和Z是包括场景305(图3B中未示出)的三维空间中的坐标。尽管被描绘为是有限的，但平面方程311可定义无限平面。如上所述，在一些实施方案中，投影仪301(例如，激光投影仪)可将投影线变形为曲线。因此，“线”可指几何线或曲线。在线弯曲的实施方案中，平面方程311可描述与线的曲率相对应地翘曲的三维表面，而不是直平面。因此，如本文所用，“平面方程”可指用于几何平面或翘曲的三维表面的方程。
如上文关于图3A所解释，图像传感器309所接收的对应事件可映射到来自投影仪301的对应线引起的反射曲线。例如，与图像传感器309通信的处理器(未示出)可使用状态机来跨时间连接事件以确定曲线。此外，在一些实施方案中，所连接的事件可跨图像传感器309的像素散布。曲线也可具有如上文参考图3B所述的对应平面方程313，但处理器不需要计算平面方程313来计算场景305的三维点(图3B中未示出)。此外，以举例的方式，处理器可针对沿所识别曲线的每个点计算源自图像传感器309的多条射线。
例如，直线在三维(3D)空间中的投影对应于3D平面，其对应的平面方程可包括a′X+b′Y+c′Z+d′＝0(方程1)，其中X、Y和Z为3D空间中位于平面上的点的坐标，并且a'、b'、c'和d'为定义平面的常数。原点是位于(0,0,0)位置的相机光学中心。对于传感器上位于第i像素行和第j像素列的像素(i,j)，可使用传感器校准参数(x,y,f)来识别3D空间中的像素位置，其中f是根据针孔相机模型的焦距。投影到传感器上的(i,j)的所有3D点都位于穿过(x,y,f)和光学中心(0,0,0)的3D射线上。对于射线上的所有3D点，都存在由以下(方程2)定义的标量常数λ：
Figure BDA0003217638150000201
为了对投影仪的3D平面与相机的3D射线的交汇处的3D点进行三角测量，可将方程2注入方程1中：
a′λx+b′λy+c′λf+d′＝0
得出
Figure BDA0003217638150000211
并且
Figure BDA0003217638150000212
在一些实施方案中，投影是进入3D空间的曲线。在这种情况下，这不再是平面，而是曲面。因此，与基于上文引用的平面方程的三角测量操作相反，可使用另一种三角测量操作。例如，可使用一般方程的二次曲面模型：
Figure BDA0003217638150000213
其中Q为3x3矩阵，P为三维行向量，并且R为标量常数。通过将方程2注入二次曲面方程并求解λ，可在来自相机的3D射线与3D表面的交汇处对3D点进行三角测量。
与一些实施方案一致，处理器可进一步选择与平面方程311交汇的射线(图3B的示例中的射线315)。例如，处理器可通过将图像传感器309所接收的反射中的图案(或编码符号)映射到与对应于平面方程311的线相关联的图案来选择与平面方程311交汇的射线，如下文进一步所解释。
图4A是与本公开一致的通过场景内的几何变换的电磁图案的示意表示。如上文参考图1A和图1B的示例所解释，状态机可描述电磁图案的任何时间失真或其任何空间失真。例如，时间失真可禁止以图案的特性编码的符号的解码。例如，空间失真可跨接收图案的图像传感器的多个像素散布符号。
图4A描绘了通过场景内的几何变换为不同时间图案的示例性图案。例如，几何400通过延迟所描绘的图案来变换所述图案。在另一示例(未示出)中，几何可通过将脉冲在时间上移动得更接近来变换所描绘的图案。尽管投影和反射之间存在这种失真，但通过使用状态机来连接事件，本公开的实施方案可将所接收的曲线映射到投影线，而不管变换原本可能会抑制图案的正确解码。
尽管图4A中未示出，但场景的几何可附加地或替代地跨空间变换图案，使得在图像传感器(例如，图像传感器309)的不同像素处接收图案的不同部分。因此，可使用一个或多个状态机将任何检测到的图案映射回投影图案，无论是使用至少一个处理器计算的，还是搜索已知状态机的数据库等等。
在另一示例中，图4B描绘了使用状态机将反射曲线映射到投影线的图形表示。例如，如图4B所示，投影线可映射到多条曲线(在一些实施方案中，甚至是无限可能的曲线)。因此，如果与图像传感器(例如，图像传感器309)相关联的处理器接收到与由在图像传感器处所接收的反射(例如，由投影线引起)生成的信号相对应的事件，则处理器可确定用于跨像素连接事件以解码与投影线相关联的图案的状态机候选者。在一些实施方案中，处理器还可将跨像素的事件连接成曲线。因此，处理器可使用所确定的候选者来识别多条曲线中的哪条曲线对应于投影线。
图5A是与本公开的实施方案一致的用于检测三维图像的示例性方法500的流程图。可使用至少一个处理器来执行图5A的方法500。至少一个处理器可作为微处理器集成在与图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)相同的芯片上或作为处理系统的一部分单独提供。如本文进一步公开的，为了发送和接收信号，至少一个处理器可与系统的投影仪和图像传感器进行电通信。
在步骤501处，至少一个处理器可确定与多条线相关联的多个图案，所述多条线包括由投影仪(例如，图3的投影仪301)发射到场景(例如，图3的场景305)上的电磁脉冲。例如，如上所解释，确定多个图案可包括接收定义由时间间隔分隔的振幅的数字信号(例如，使用连接到至少一个发射器的片上总线，所述至少一个发射器被配置为通过至少一个网络进行通信、通信到至少一个存储器等)。在此类实施方案中，可从与投影仪相关联的控制器接收定义由时间间隔分隔的振幅的数字信号，所述投影仪被配置为根据多个图案投影多个电磁脉冲。附加地或替代地，可从存储图案的至少一个非暂时性存储器中检索定义由时间间隔分隔的振幅的数字信号。
在一些实施方案中，至少一个处理器还可向投影仪发送命令，所述投影仪被配置为将多个电磁脉冲投影到场景上，使得投影仪根据图案发射多个电磁脉冲。例如，至少一个处理器可使用以下各项来向投影仪发送命令：片上总线；导线或其他片外总线；至少一个发射器，所述至少一个发射器被配置为通过至少一根总线、导线或网络进行通信；或它们的任何组合。
如上文进一步所解释，图案可包括一定时段内的任何系列的电磁辐射脉冲。例如，图案可通过沿图案的时间段的振幅和/或时间长度来定义一个或多个脉冲。因此，多个图案可包括：至少两个不同的振幅，其分隔一定时长；至少两个不同的波长，其分隔一定时长；至少两个不同的脉冲长度，其分隔一定时长；多个脉冲，其分隔不同的时长；等等。此外，如上所述，所述图案可具有所选择的用于对符号进行编码的频率、相移或占空比中的至少一个(参见例如以下关于图7的解释)。
在一些实施方案中，至少一个处理器可将多个符号编码为多个图案。如上所解释，多个图案可与多条线相关联。所述符号可包括字母、数字或编码成电磁图案的任何其他通信内容。在一些实施方案中，多个符号与多条线的至少一个空间性质有关。例如，多个符号可对电磁脉冲的预期频率或亮度、与电磁脉冲相关联的空间位置(诸如投影脉冲的投影仪的空间坐标)等进行编码。
再次参考图5A，在步骤503处，至少一个处理器可基于由多个电磁脉冲引起的反射从图像传感器接收一个或多个第一信号。例如，如上所解释，测量电路205可将来自光敏元件201的信号转换成模拟信号，所述模拟信号是照射在光敏元件201上的光的亮度的函数。至少一个处理器可从测量电路205接收模拟信号作为一个或多个第一信号，或者可基于模拟信号从与测量电路205通信的模拟到数字转换器接收数字信号。附加地或替代地，如上所解释，条件检测器255(CD)可在基于照射在光敏元件251上的光的第一模拟信号超过预定阈值时生成触发信号(例如，图2B的示例中的“设置”信号)，并且曝光测量电路257可响应于触发信号将来自光敏元件253的信号转换成第二模拟信号，所述第二模拟信号是照射在光敏元件253上的光的亮度的函数。至少一个处理器可从曝光测量电路257接收第二模拟信号作为一个或多个第一信号，或者可基于第二模拟信号从与曝光测量电路257通信(或形成曝光测量电路的一部分)的模拟到数字转换器接收数字信号。
在步骤505处，至少一个处理器可基于所接收的第一信号检测与图像传感器的一个或多个第一像素相对应的一个或多个第一事件。例如，可基于一个或多个第一信号中的两个信号之间的极性变化、一个或多个第一信号中幅值大于一个或多个阈值的两个信号之间的幅值变化等来检测事件。如本文所用，“极性变化”可指在一个或多个第一信号中检测到的振幅变化(增大或减小)。在使用了基于事件的图像传感器(诸如图2B的图像传感器250)的实施方案中，一个或多个第一信号本身可对一个或多个第一事件进行编码。因此，至少一个处理器可通过区分一个或多个第一信号来检测一个或多个第一事件。
在一些实施方案中，至少一个处理器可基于由图像传感器用一个或多个第一信号编码的地址将一个或多个第一事件与一个或多个第一像素相关联。例如，图像传感器(或与图像传感器通信的读出系统)可对一个或多个第一信号所源自的像素的地址进行编码。因此，至少一个处理器可基于用一个或多个第一信号编码的地址将一个或多个第一事件与一个或多个第一像素相关联。在此类实施方案中，至少一个处理器适于从一个或多个第一信号解码并获得地址。
在步骤507处，至少一个处理器可基于一个或多个第一事件初始化一个或多个状态机。例如，至少一个处理器可针对一个或多个第一像素初始化状态机。此外，在一些实施方案中，至少一个处理器可针对相邻像素初始化状态机。如下所解释，关于图6，初始化可包括识别多个图案中与引起一个或多个第一事件的部分的预期反射相对应的部分。
在步骤509处，至少一个处理器可使用图像传感器来基于反射接收一个或多个第二信号。例如，至少一个处理器可从图2A的图像传感器200、图2B的图像传感器250等接收一个或多个第二信号。在使用同步图像传感器的实施方案中，可能已在不同的时钟周期中捕获了一个或多个第二信号。在使用异步图像传感器的实施方案中，可能已在一个或多个第一信号之后的任何时间捕获了一个或多个第二信号。在使用异步图像传感器的实施方案中，可对读出进行计时，使得至少一个处理器在与其接收一个或多个第一信号不同的时钟周期中接收一个或多个第二信号。
在步骤511处，至少一个处理器可基于所接收的第二信号检测与图像传感器的一个或多个第二像素相对应的一个或多个第二事件。例如，至少一个处理器可基于一个或多个第二信号中的两个信号之间的极性变化、一个或多个第二信号中幅值大于一个或多个阈值的两个信号之间的振幅变化等来检测一个或多个第二事件。在使用基于事件的图像传感器(诸如图2B的图像传感器250)的实施方案中，一个或多个第一信号本身可对一个或多个第二事件进行编码。
在步骤513处，至少一个处理器可确定用于将一个或多个第二事件连接到一个或多个第一事件的候选者。例如，如下文关于图6所解释，候选者可基于一个或多个第二像素相对于一个或多个第一像素的位置。附加地或替代地，与基于多个图案所预期的那些不同的振幅、极性等的任何变化都应封装在候选者中。在一些实施方案中，至少一个处理器可使用多个图案和一个或多个状态机来确定候选者。
如图4B中所描绘的，候选者可将一个或多个第二事件和一个或多个第一事件连接以识别图像传感器上的曲线。附加地或替代地，候选者可将一个或多个第二事件与一个或多个第一事件连接以校正从一个或多个第一像素到一个或多个第二像素的反射漂移。例如，可在一个或多个第一事件之后对一个或多个第二事件加时间戳，使得候选者将一个或多个第一事件在时间上连接到一个或多个第二事件。在上文所解释的图4A中描绘了此类时间映射的一个示例。
再次参考图5A的示例，方法500可以是递归的。例如，至少一个处理器可对来自图像传感器的每一组新信号(例如，在下一时钟周期中生成和/或接收)重复步骤509、511和513。然后，在步骤513中，跨像素的信号的任何变化可触发状态机搜索。这可重复预定时间段或直到检测到对应于多个图案的结束的一个或多个最终事件。
在步骤515处，至少一个处理器可使用候选者来识别由一个或多个第二事件和一个或多个第一事件形成的曲线。例如，如上文关于图4B所解释，至少一个处理器可将一个或多个第一事件和一个或多个第二事件连接以在图像传感器的像素上形成曲线，从而消除映射到投影线的其他(可能是无限的)可能曲线。
步骤515还可包括基于所识别的曲线计算一个或多个第一像素和一个或多个第二像素的三维射线。例如，如图3B中所描绘的，至少一个处理器可针对所识别曲线内的点计算源自图像传感器的射线。
作为步骤515的一部分，至少一个处理器还可基于三维射线和与对应于所识别曲线的线中的一条线相关联的平面方程来计算针对一个或多个第一像素和一个或多个第二像素的三维图像点。例如，如图3B中所描绘的，三维点可包括源自图像传感器的射线与相关联的平面方程之间的交汇处。如上所解释，所接收反射内的导致一个或多个第一事件和一个或多个第二事件连接成所识别曲线的图案(或编码符号)可映射到相关联的平面方程。例如，至少一个处理器可访问用于投影仪的控制器、存储一个或多个平面方程的非暂时性存储器等，以便将图案映射到相关联的平面方程。
例如，如果像素生成了一系列信号，其事件映射到多个图案中的一个图案(例如，通过完全已知的状态机)，则来自该像素的三维射线可投影到使用图案确定的平面方程。在一些实施方案中，所述图案可对被索引或以其他方式指示与所述图案相关联的平面方程的一个或多个符号进行编码。因此，至少一个处理器可获得平面方程，并基于在来自图像传感器的信号中编码的地址来提取从其接收反射的像素的位置(例如，用于产生三维射线)。
在一些实施方案中，可在每次事件接收时识别或预测图案，从而增加时间密度，同时保持与代码相关联的延时。如果代码是循环的或相关联的，则可将该识别从代码的一次传输带到下一次传输，这可使得能够在接收到正解码的代码时预测该代码(即，可预测代码与先前获得的代码相同，只要所接收的比特与代码一致)。
如果多个图案中的一个图案引起跨多个像素散布的反射(例如，由于场景中的动态运动)，则最终像素(例如，生成对应于多个图案中的一个图案的结束的最终信号的像素)处的三维点可使用源自最终像素的三维射线并基于与所述图案相关联的平面方程来确定。然后，至少一个处理器可从最终信号向后(在时间上)进行，以针对接收反射的多个像素中的其他像素使状态机结束。例如，图像传感器可对来自像素的每个测量结果的时间戳进行编码，使得至少一个处理器具有针对先前像素的过去时间戳以及针对最近像素的时间戳。因此，这些其他像素处的三维点可使用源自所述其他像素的三维射线并基于与图案相关联的平面方程来确定，并且这些点可与过去的时间戳相关联。
作为步骤515的补充或替代，方法500可包括使用候选者和一个或多个状态机来对一个或多个第一事件和一个或多个第二事件进行解码以获得至少一个空间性质。例如，至少一个空间性质可包括与图案相关联的平面方程，使得至少一个处理器可使用解码的平面方程来确定三维点。附加地或替代地，至少一个空间性质可包括频率、亮度等，使得至少一个处理器可在将一个或多个第一事件和一个或多个第二事件映射到对应的图案时使用解码的至少一个空间性质。
图5B是与本公开的实施方案一致的用于检测三维图像的另一示例性方法550的流程图。可使用至少一个处理器来执行图5B的方法550。至少一个处理器可作为微处理器集成在与图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)相同的芯片上或作为处理系统的一部分单独提供。如本文进一步公开的，为了发送和接收信号，至少一个处理器可与系统的投影仪和图像传感器进行电通信。此外，如本文所公开的，图像传感器可包括多个像素并且可被配置为检测由投影图案引起的场景中的反射。
在步骤551处，至少一个处理器可基于反射来检测与图像传感器的一个或多个第一像素相对应的一个或多个第一事件。如本文所公开的，反射可由投影仪(例如，图3的投影仪301)发射到场景(例如，图3的场景305)上的多个电磁脉冲引起。以举例的方式，可基于一个或多个第一信号中的两个信号之间的极性变化、一个或多个第一信号中幅值大于一个或多个阈值的两个信号之间的振幅变化等来检测事件。如本文所用，“极性变化”可指在一个或多个第一信号中检测到的振幅变化(增大或减小)。在使用基于事件的图像传感器(诸如图2B的图像传感器250)的实施方案中，基于反射生成的一个或多个第一信号本身可对一个或多个第一事件进行编码。因此，至少一个处理器可通过区分一个或多个第一信号来检测一个或多个第一事件。
在一些实施方案中，至少一个处理器可基于由图像传感器用一个或多个第一信号编码的地址将一个或多个第一事件与一个或多个第一像素相关联。例如，图像传感器(或与图像传感器通信的读出系统)可对一个或多个第一信号所源自的像素的地址进行编码。因此，至少一个处理器可基于用一个或多个第一信号编码的地址将一个或多个第一事件与一个或多个第一像素相关联。在此类实施方案中，至少一个处理器适于从一个或多个第一信号解码并获得地址。
反射可由投影仪(例如，图3的投影仪301)发射到场景(例如，图3的场景305)上的多个电磁脉冲引起。如上所解释，投影脉冲可包括跨多条线投影的多个图案。
在步骤553处，至少一个处理器可基于一个或多个第一事件初始化一个或多个状态机。例如，至少一个处理器可针对一个或多个第一像素初始化状态机。此外，在一些实施方案中，至少一个处理器可针对相邻像素初始化状态机。如下所解释，关于图6，初始化可包括识别多个图案中与引起一个或多个第一事件的部分的预期反射相对应的部分。
在步骤555处，至少一个处理器可基于反射来检测与图像传感器的一个或多个第二像素相对应的一个或多个第二事件。例如，至少一个处理器可基于一个或多个第二信号中的两个信号之间的极性变化、一个或多个第二信号中幅值大于一个或多个阈值的两个信号之间的振幅变化等来检测一个或多个第二事件。在使用基于事件的图像传感器(诸如图2B的图像传感器250)的实施方案中，一个或多个第二信号本身可对一个或多个第二事件进行编码。此外，如上文关于步骤551所解释，反射可由投影仪(例如，图3的投影仪301)发射到场景(例如，图3的场景305)上的多个电磁脉冲引起。
在步骤557处，至少一个处理器可确定用于将一个或多个第二事件连接到一个或多个第一事件的一个或多个候选者。例如，如下文关于图6所解释，候选者可基于一个或多个第二像素相对于一个或多个第一像素的位置。附加地或替代地，与基于多个图案所预期的那些不同的振幅、极性等的任何变化都应封装在候选者中。在一些实施方案中，至少一个处理器可使用多个图案和一个或多个状态机来确定候选者。
如图4B中所描绘的，候选者可将一个或多个第二事件和一个或多个第一事件连接以识别图像传感器上的曲线。附加地或替代地，候选者可将一个或多个第二事件与一个或多个第一事件连接以校正从一个或多个第一像素到一个或多个第二像素的反射漂移。例如，可在一个或多个第一事件之后对一个或多个第二事件加时间戳，使得候选者将一个或多个第一事件在时间上连接到一个或多个第二事件。在上文所解释的图4A中描绘了此类时间映射的一个示例。
再次参考图5B的示例，方法550可以是递归的。例如，至少一个处理器可对来自图像传感器的每一组新信号(例如，在下一时钟周期中生成和/或接收)重复步骤555和557。然后，在步骤557中，跨像素的信号的任何变化可触发状态机搜索。这可重复预定时间段或直到检测到对应于多个图案的结束的一个或多个最终事件。
在步骤559处，至少一个处理器可使用一个或多个候选者来识别与一个或多个第二事件和一个或多个第一事件相对应的投影线。例如，如上文关于图4B所解释，至少一个处理器可例如基于来自具有与投影线相关联的图案的投影仪的信号、所存储的投影线图案的数据库等将一个或多个第一事件和一个或多个第二事件连接以在图像传感器的像素上形成曲线并将所述曲线映射到投影线。
在步骤561处，至少一个处理器可基于所识别线计算一个或多个第一像素和一个或多个第二像素的三维射线。例如，如图3B中所描绘的，至少一个处理器可针对所识别曲线内的点计算源自图像传感器的射线。
在步骤563处，至少一个处理器可基于三维图像射线和与对应于所识别线的线中的一条线相关联的平面方程来计算针对一个或多个第一像素和一个或多个第二像素的三维图像点。例如，如图3B中所描绘的，三维点可包括源自图像传感器的射线与相关联的平面方程之间的交汇处。如上所解释，所接收反射内的导致一个或多个第一事件和一个或多个第二事件连接成所识别曲线的图案(或编码符号)可映射到相关联的平面方程。例如，至少一个处理器可访问用于投影仪的控制器、存储一个或多个平面方程的非暂时性存储器等，以便将图案映射到相关联的平面方程。
例如，如果像素生成了一系列信号，其事件映射到多个图案中的一个图案(例如，通过完全已知的状态机)，则来自该像素的三维射线可投影到使用图案确定的平面方程。在一些实施方案中，所述图案可对被索引或以其他方式指示与所述图案相关联的平面方程的一个或多个符号进行编码。因此，至少一个处理器可获得平面方程，并基于在来自图像传感器的信号中编码的地址来提取从其接收反射的像素的位置(例如，用于产生三维射线)。
如果多个图案中的一个图案引起跨多个像素散布的反射(例如，由于场景中的动态运动)，则最终像素(例如，生成对应于多个图案中的一个图案的结束的最终信号的像素)处的三维点可使用源自最终像素的三维射线并基于与所述图案相关联的平面方程来确定。然后，至少一个处理器可从最终信号向后(在时间上)进行，以针对接收反射的多个像素中的其他像素使状态机结束。例如，图像传感器可对来自像素的每个测量结果的时间戳进行编码，使得至少一个处理器具有针对先前像素的过去时间戳以及针对最近像素的时间戳。因此，这些其他像素处的三维点可使用源自所述其他像素的三维射线并基于与图案相关联的平面方程来确定，并且这些点可与过去的时间戳相关联。
作为步骤559的补充或替代，方法500可包括使用候选者和一个或多个状态机来对一个或多个第一事件和一个或多个第二事件进行解码以获得至少一个空间性质。例如，至少一个空间性质可包括与图案相关联的平面方程，使得至少一个处理器可使用解码的平面方程来确定三维点。附加地或替代地，至少一个空间性质可包括频率、亮度等，使得至少一个处理器可在将一个或多个第一事件和一个或多个第二事件映射到对应的图案时使用解码的至少一个空间性质。
与本公开一致，投影图案(例如，来自图3的投影仪301)可对被索引到投影图案位置的一个或多个符号进行编码。图6是示出允许跨多个像素解码此类符号的状态机搜索(例如，基于图5A的步骤507和步骤513的递归执行)或基于图5B的步骤553和步骤557的递归执行)的示例的图。如图6中所描绘的，步骤610(其可例如对应于图5A的步骤507或图5B的步骤553)可包括基于在第一像素处检测到的一个或多个初始事件来初始化状态机(例如，在步骤610中被描绘为对“1”符号进行编码)。初始事件可基于从第一像素所接收的一个或多个信号。也可在第一像素处检测到一个或多个后续事件(例如，在步骤620中被描绘为对“0”符号进行编码)。这些后续事件通过完全已知的状态机链接到初始事件。因此，连接“1”符号和“0”符号以形成一组符号的开始，所述符号被索引到投影对应图案的位置。
在动态场景的情况下，可在不同于第一像素的像素处接收一个或多个后续事件(例如，在步骤630中被描绘为对“0”符号进行编码)，如状态机所预期的。因此，如图6所示，至少一个处理器可搜索相邻像素(由阴影区域表示)以将这些后续事件与先前事件(在图6的示例中在步骤610和620中所描绘的对符号进行编码的事件)连接。因此，先前事件的状态机可保持未完成(例如，状态机保持在“1”之后是“0”)，并且新的候选状态机(描述“1”之后是“0”，然后再次是“0”)被添加到不同的像素。
在步骤640处，可在与步骤630不同的像素处接收一个或多个后续事件(例如，描绘为对“1”符号进行编码)，如状态机所预期的。因此，如图6所示，至少一个处理器可再次搜索相邻像素(由阴影区域表示)以将这些后续事件与先前事件(在图6的示例中在步骤630中所描绘的对符号进行编码的事件)连接。因此，先前事件的状态机可能保持未完成(例如，状态机保持在“1”之后是两个“0”)，并且新的候选状态机(描述“1”之后是两个“0”，之后是“1”)添加到不同的像素。
与本公开一致，当检测到一个或多个事件对应于多个图案中的一个或多个的结束时(例如，对结束索引到投影对应图案的位置的符号序列的符号进行编码)，至少一个处理器可完成当前像素的状态机，然后在时间上向后进行以完成针对先前事件的像素的状态机。附加地或替代地，当已接收到足够数量的事件(例如，第一事件、第二事件等)时，至少一个处理器可完成状态机，使得至少一个处理器可区分多个投影图案。
附加地或替代地，对于图6的解码过程，本公开的实施方案可使用用于三角测量的不完整状态机以及最终状态机。例如，可使用与该像素相关联的当前状态机将每个解码的符号映射到最可能的图案，并使用索引到最可能图案的投影仪的位置来用该像素的位置进行三角测量。因此，即使状态机是不完整的，因为尚未检测到图案的结束，根据已解码的符号的数量(在当前像素处或在一个或多个先前像素处)，三角测量也可以不同程度的准确性发生。附加地或替代地，至少一个处理器可假设当前正在解码的图案与先前在相同或附近像素处所接收的图案相同。例如，当投影仪向场景中的相同位置连续重复地发射相同图案时，至少一个处理器可执行这一假设。
在一些实施方案中，可在符号中对一个或多个错误校正进行编码。例如，图案结束时的一个或多个附加符号可包括错误校正符号，诸如校验和(如校验位、奇偶校验位等)或其他块校正码。附加地或替代地，可在图案之间添加一个或多个附加符号以形成卷积校正码或其他连续校正码。作为此类错误校正的补充或替代，投影仪还可被配置为在时间循环中投影图案，使得系统能够反复接收相同图案。因此，一个丢失的图案将导致一个丢失的深度计算，但不会影响整个三维图像系列，除了单个帧丢失。此外，可使用来自相邻帧的外推来恢复这个丢失的帧。
尽管使用“0”和“1”来描绘，但可基于与电磁脉冲的特性相对应的符号字典(例如，与特定符号相关联地存储脉冲的特性)来使用任意数量的符号。拥有更大的字典可允许生成一组长度较短的独特图案。
此外，尽管使用简单相邻搜索来描述，但状态机搜索可沿核线或用于搜索的像素的任何其他适当区域来进行。例如，如关于图4B所解释，状态机搜索可沿一条或多条预期曲线进行以识别对应于投影线的曲线。此外，图7描绘了用于将使用图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)检测到的事件连接成集群的示例性方法700。
图7是与本公开的实施方案一致的用于将来自图像传感器的事件连接成集群的示例性方法700的流程图。图7的方法700可使用至少一个处理器来执行，无论是作为微处理器集成在与图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)相同的芯片上还是作为处理系统的一部分单独提供。如本文进一步公开的，为了发送和接收信号，至少一个处理器可与图像传感器进行电通信。
在步骤701处，至少一个处理器可从图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)接收事件。如上文关于方法500的步骤505所述，事件可包括来自基于事件的图像传感器的信号或从连续图像传感器的信号中提取的事件(例如，使用时钟电路)。
在步骤703处，如果满足至少一个连接性标准，则至少一个处理器可将所接收的事件连接到最近的事件。例如，至少一个处理器可确定所接收的事件和最近的事件之间的时间距离，并且如果时间距离满足阈值，则将它们连接。附加地或替代地，至少一个处理器可确定所接收的事件和最近的事件之间的空间距离，并且如果空间距离满足阈值，则将它们连接。因此，至少一个连接性标准可包括时间阈值、空间阈值或它们的任何组合。在一个组合示例中，可基于满足多个时间阈值中的哪一个来调整空间阈值。在此示例中，时间上更接近的事件可能预期在空间上更接近。在另一组合示例中，可基于满足多个空间阈值中的哪一个来调整时间阈值。在此示例中，空间上更接近的事件可能预期在时间上更接近。
在步骤705处，至少一个处理器可确定针对其他最近事件是否满足至少一个连接性标准。例如，至少一个处理器可使用至少一个连接性标准来查找与所接收事件相关的所有其他最近事件
在步骤707处，至少一个处理器可合并与满足至少一个连接性标准的所有最近事件相关联的集群标识符。因此，来自步骤703和705的满足至少一个连接性标准的所有最近事件将被分配与在步骤701处所接收的事件的集群标识符相同的集群标识符。
在步骤709处，至少一个处理器可将集群作为一组相关事件输出。例如，可输出具有相同集群标识符的所有事件。
可用于方法700的示例性实施方案和特征描述于2019年1月30日提交的且标题为“处理来自基于事件的传感器的信息的方法(Method of Processing Information froman Event-Based Sensor)”的欧洲专利申请号19154401.4中。该申请的公开内容以引用方式并入本文。
方法700的集群算法可用于执行图6的搜索，而不是搜索相邻像素。例如，步骤703和705的连接性标准可用于识别应搜索哪些像素。此外，任何已具有相同集群标识符的像素也可包括在搜索中。
附加地或替代地，方法700可用于对从图像传感器所接收的原始事件进行集群，使得每个集群随后被解码，并且该集群的解码的符号经由状态机连接。因此，可在集群之后执行解码和连接以降低噪声，而不是对每个符号进行解码并顺序地连接符号。
图8是示出用于基于从图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)的信号检测到的事件进行符号编码的两种技术的图。如图8的示例800中所示，检测到的事件可表示从图像传感器的信号检测到的投影脉冲的开始和结束。例如，可跨时间跟踪图2A的图像传感器200上的光的亮度，并且可从中检测到振幅的增大或减小，其中增大可指示投影脉冲的开始，并且对应的减小可指示投影脉冲的结束。在另一示例中，图2B的图像传感器250是基于事件的，因此由此产生的任何信号都可表示引起触发信号的振幅的增大或减小。可使用检测到的变化对可能的图案进行解码，从而允许识别接收到哪个图案。尽管示例800中未示出，但不同的脉冲可编码不同的符号；例如，脉冲1、3和4可编码“1”符号，而脉冲2可编码“0”符号。因此，示例800可解码为“1011”。
在图8的示例850中，检测到的脉冲之间的所确定时间用于解码。例如，可跨时间跟踪图2A的图像传感器200上的光的亮度，并且可从中检测到振幅的变化。在另一示例中，图2B的图像传感器250是基于事件的，因此由此产生的任何信号都可表示引起触发信号的振幅的变化。可使用脉冲之间的时间空间对可能的图案进行解码，而允许识别接收到哪个图案。尽管示例850中未示出，但不同的时间空间可编码不同的符号。例如，在示例850中，脉冲1和2之间、脉冲3和4之间以及脉冲4和图案的结束之间的空间可编码“1”符号；另一方面，脉冲2和3之间的空间可编码“0”符号。因此，与示例800类似，示例850可解码为“1011”。
用于匹配的其他技术(图8中未描绘)可包括多次跟踪检测到的光的振幅并基于此识别接收到哪个图案。例如，可跨时间跟踪图2A的图像传感器200上的光的亮度，并且可从中检测到振幅的变化。在另一示例中，图2B的图像传感器250是基于事件的，因此由此产生的任何信号都可表示引起触发信号的振幅的变化。可使用对应于特定振幅的符号和/或对应于特定振幅的时间长度的符号来解码可能的图案，从而允许识别接收到哪个图案。
在另一示例中，可跨时间跟踪图2A的图像传感器200上的光的频率，并且可从中检测到频率的变化。可使用对应于特定频率的符号和/或对应于特定频率的时间长度的符号来解码可能的图案，从而允许识别接收到哪个图案。
虽然图8中未描绘，但一些检测到的事件可能会被丢弃。例如，执行三维成像的至少一个处理器可丢弃以大于阈值的时间量和/或以小于阈值的时间量分隔的任何数字信号。通过分别使用基于软件或逻辑的低通滤波器和/或高通滤波器，系统可进一步提高图案检测的准确性并降低噪声。低带通滤波器和/或高带通滤波器可在软件中实现，或者它们可在固件或硬件中实现，例如通过集成到图2A的测量电路205、图2B的曝光测量电路257、连接到图像传感器的读出系统等来实现。例如，带通滤波器的硬件具体实施可包括修改传感器的模拟设置。
类似地，执行三维成像的至少一个处理器可附加地或替代地丢弃与不在预定阈值范围内的带宽相关联的任何数字信号。例如，将多个图案发射到场景上的投影仪可被配置为在特定频率(以及因此带宽)范围内投影电磁脉冲。因此，系统可使用带宽滤波器(在硬件和/或软件中)来过滤噪声并且仅捕获与投影仪发射的频率相对应的频率。附加地或替代地，系统可使用带宽滤波器(在硬件和/或软件中)来过滤高频光和/或低频光以便降低噪声。
作为上述软件和/或硬件带通和/或频率滤波器的补充或替代，系统可包括一个多个光学滤波器，用于过滤来自场景的照射在图像传感器上的光。例如，关于图2A和图2B，光学滤波器可被配置为阻挡与不在预定范围内的波长相关联的任何反射。
在一些实施方案中，本公开的实施方案可使用事件突发来编码符号，而不是使用如示例800中所描绘的单个事件或如示例850中所描绘的单个事件之间的定时。例如，图9描绘了用于使用图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)检测事件突发的示例性方法900。
图9是与本公开的实施方案一致的用于检测事件突发的示例性方法900的流程图。图9的方法900可使用至少一个处理器来执行，无论是作为微处理器集成在与图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)相同的芯片上还是作为处理系统的一部分单独提供。如本文进一步公开的，为了发送和接收信号，至少一个处理器可与图像传感器进行电通信。
在步骤901处，至少一个处理器可从图像传感器(例如，图2A的图像传感器200、图2B的图像传感器250等)接收事件。如上文关于方法500的步骤505所述，事件可包括来自基于事件的图像传感器的信号或从连续图像传感器的信号中提取的事件(例如，使用时钟电路)。
在步骤903处，至少一个处理器可验证事件的极性。例如，至少一个处理器可确定极性是否与事件预期的极性匹配，如果预期多个增大或减小则与先前事件相同，或者如果预期极性改变则与先前事件不同。例如，投影图案可被配置为生成多个(例如，2个、3个等)事件，以便发信号通知递增信号或递减信号。此多个事件可允许在步骤903处过滤噪声。如果极性无效，则至少一个处理器可丢弃所述事件并在步骤901处以新事件重新开始，如图9中所描绘的。附加地或替代地，如果极性无效，则至少一个处理器可丢弃当前突发并且使用来自步骤901的事件作为新的潜在突发的开始。
在步骤905处，如果时间上与先前事件相距太远(例如，如果时间差超过阈值)，则至少一个处理器可丢弃所接收的事件。因此，至少一个处理器可避免连接时间上太远以致不能形成单个突发的一部分的事件。如果事件太远，则至少一个处理器可丢弃所述事件并在步骤901处以新事件重新开始，如图9中所描绘的。附加地或替代地，如果事件太远，则至少一个处理器可丢弃当前突发并且使用来自步骤901的事件作为新的潜在突发的开始。
在步骤907处，至少一个处理器可使相关联像素的事件计数器递增。例如，相关联像素可包括从其接收步骤901的事件的像素。事件计数器可包括在步骤901的递归执行时所接收的整数计数事件，这些事件根据步骤903和905在同一突发内符合条件。
在步骤909处，当事件计数器超过事件阈值时，至少一个处理器可提取突发。例如，事件阈值可包括2到10个事件。在其他实施方案中，可使用更大的事件阈值。如果突发被提取，则至少一个处理器可重置事件计数器。如果事件计数器没有超过事件阈值，则至少一个处理器可返回到步骤901而不重置事件计数器。因此，可在步骤907处检测到根据步骤903和905在同一突发内符合条件的附加事件并将它们添加到事件计数器。
在一些实施方案中，方法900还可包括如果在时间上离当前突发的第一事件太远，则丢弃所接收的事件。因此，方法900可防止噪声导致突发无意中扩展到阈值之外。
附加地或替代地，方法900可按区域跟踪多个事件，使得仅在区域内而不是跨单个像素或整个图像传感器检测突发。因此，方法900可允许在图像传感器的不同部分上检测并发突发。
每当丢弃事件时，至少一个处理器可重置事件计数器。替代地，在一些实施方案中，即使在丢弃事件时，至少一个处理器也可存储对应的事件计数器。一些实施方案可使用保存和丢弃的组合。例如，如果在步骤903处丢弃事件，则可保存事件计数器，但如果在步骤905处丢弃事件，则可重置事件计数器。
方法900的示例性实施方案的详细描述描述于2019年1月30日提交的且标题为“处理来自基于事件的传感器的信号的方法和装置(Method and Apparatus of Processing aSignal from an Event-Based Sensor)”的国际专利申请号PCT/EP2019/051919中。该申请的公开内容通过引用并入本文。
从方法900提取的突发可包括符号(例如，用作编码图案的一部分)。例如，通过使用突发来编码符号而不是单个事件，系统可提高准确性并降低噪声。附加地或替代地，从方法900提取的突发可包括形成编码图案的一组符号。例如，通过使用突发对图案进行编码，系统可在时间上以更高的准确性和降低的噪声来区分不同的图案。
尽管使用图2A或图2B的架构来描述，但也可使用适于基于照射在一个或多个光敏元件(例如，光电二极管)上的光的亮度来捕获信号的任何图像传感器。因此，晶体管、电容器、开关和/或被布置为执行这种捕获的其他电路部件的任何组合可用于本公开的系统中。此外，本公开的系统可使用任何同步图像传感器(诸如图2A的图像传感器200)或任何基于事件的图像传感器(诸如图2B的图像传感器250)。
虽然已参考计算三维射线和三维图像点描述了某些实施方案，但与本公开一致的系统可执行其他操作和/或在其他应用中使用。例如，在一些实施方案中，提取反射的像素的位置可用于重建三维场景或检测三维对象(诸如人或另一对象)。在此类实施方案中，作为系统校准的结果，像素位置可对应于三维位置。
本公开的实施方案可通过例如使用查找表或机器学习来计算三维点，而不必执行三角测量操作。在一些实施方案中，可由至少一个处理器使用所存储的查找表来根据特定像素位置i、j上的所识别线来确定三维点。附加地或替代地，机器学习可用于从校准系统的像素位置确定三维点。
在更进一步的实施方案中，像素差异可用于分析目的。例如，假设视差(“d”)是指在传感器上观察投影线的位置(“x”)与作为投影仪上的等效像素发射投影线的位置(“x_L”)之间的像素差异，表示为d＝x–x_L。在一些实施方案中，在应用中甚至可直接使用位置“x”，而不需要直接知晓“x_L”，其中它例如可通过机器学习提取。在此类应用中，可根据“x”像素坐标和相关联的视差计算三维点，以分割背景和前景。例如，至少一个处理器可在不重建深度的情况下对视差测量结果进行阈值处理(例如，d<＝阈值为背景，而d>＝阈值为前景)。例如，在汽车或监视应用中，可能需要移除地面上的点相对对象上的点。作为进一步的示例，可直接从视差接收并执行面部、对象和/或手势识别。
在对对象边界框或感兴趣区域(ROI)内的视差进行积分(如平均)之后，可估计对象在传感器的ROI中的深度。此外，在一些实施方案中，使用逆深度模型的同步定位和映射(SLAM)应用可使用视差作为比例替换。
出于说明目的，已呈现了前述描述。前述描述并非穷举性的，并且不限于所公开的精确形式或实施方案。考虑到所公开的实施方案的说明和实践，实施方案的修改和适应将是明显的。例如，所描述的具体实施包括硬件，但与本公开一致的系统和方法可用硬件和软件来实现。此外，虽然某些部件已被描述为彼此耦合，但这些部件可彼此集成或以任何合适的方式分布。
此外，虽然在本文描述了说明性实施方案，但范围包括具有基于本公开的等效元件、修改、省略、组合(例如，跨各种实施方案的各方面)、适应和/或变更的任何和所有实施方案。权利要求中的要素应基于权利要求中使用的语言进行广义解释，而不限于本说明书中或申请过程中描述的示例，这些示例应被解释为非排他性的。此外，所公开方法的步骤可以任何方式修改，包括重新排序步骤和/或插入或删除步骤。
除了上文引用的专利和申请外，以下每项申请的全部内容均通过引用由此并入本文：2019年2月22日提交的标题为“用于三维成像和感测的系统和方法(Systems andMethods for Three-Dimensional Imaging and Sensing)”的美国申请号62/809,557；2019年2月26日提交的标题为“用于三维成像和感测的系统和方法(Systems and Methodsfor Three-Dimensional Imaging and Sensing)”的美国申请号62/810,926；以及2020年1月23日提交的标题为“用于三维成像和感测的系统和方法(Systems and Methods forThree-Dimensional Imaging and Sensing)”的美国申请号62/965,149。
本公开的特征和优点从详细说明书中是明显的，因此所附权利要求旨在涵盖落入本公开的真实精神和范围内的所有系统和方法。如本文所用，不定冠词“一(a和an)”表示“一个或多个”。类似地，复数术语的使用不一定表示复数，除非它在给定的上下文中是明确的。除非另有明确指示，否则诸如“和”或“或”的词表示“和/或”。此外，由于通过研究本公开将很容易发生许多修改和变化，因此不希望将本公开限制于所示和所述的确切构造和操作，并且相应地可采取落入本公开的范围内的所有合适的修改和等效物。
通过考虑本文公开的实施方案的说明和实践，其他实施方案将是明显的。本说明书和示例旨在被视为仅为示例性的，所公开的实施方案的真实范围和精神由所附权利要求来指示。

Claims (20)

1.一种用于检测三维图像的系统，所述系统包括：
投影仪(301)，所述投影仪被配置为将包括电磁脉冲的多条线投影到场景(305)上；以及
图像传感器(309)，所述图像传感器包括多个像素并且被配置为检测所述场景(305)中由所投影的多条线引起的反射；其特征在于还包括：
至少一个处理器，所述至少一个处理器被配置为：
基于检测到的反射，检测(551)来自所述图像传感器的且与所述图像传感器的一个或多个第一像素相对应的一个或多个第一事件，
基于所述检测到的反射，检测(555)来自所述图像传感器的且与所述图像传感器的一个或多个第二像素相对应的一个或多个第二事件，
识别(559)与所述一个或多个第二事件和所述一个或多个第一事件相对应的投影线，以及
基于所识别的线计算(563)三维图像点。
2.根据权利要求1所述的系统，其中所述至少一个处理器还被配置为基于所述所识别的线计算(561)所述一个或多个第一像素和所述一个或多个第二像素的三维射线，并且基于所述三维射线和与所述所识别的线相关联的平面方程计算(563)所述三维图像点。
3.根据权利要求1所述的系统，其中所述至少一个处理器还被配置为确定与所述多条线相关联的多个图案，并且其中所述一个或多个第一事件对应于与所述多条线相关联的所述多个图案的开始，优选地其中所述一个或多个第二事件对应于与所述多条线相关联的所述多个图案的结束。
4.根据权利要求1所述的系统，其中所述投影仪被配置为同时或顺序地投影每条线的一个或多个点。
5.根据任一前述权利要求所述的系统，其中所述多个图案包括以下各项中的一个：至少两个不同的脉冲长度，所述至少两个不同的脉冲长度分隔一定时长；多个脉冲，所述多个脉冲分隔不同的时长；或脉冲，所述脉冲具有用于对符号进行编码的所选择的频率、相移或占空比中的至少一个。
6.根据任一前述权利要求所述的系统，其中所述投影仪(301)被配置为将所述多条线投影到所述场景中的多个空间位置，优选地其中所述多个空间位置中的至少一个对应于第一图案，并且所述多个空间位置中的至少另一个对应于第二图案。
7.根据任一前述权利要求所述的系统，其中所述投影仪(301)被配置为在多个不同的投影时间投影所述多条线的一个或多个点，优选地其中所述投影时间中的至少一个对应于所述一个或多个第一事件中的至少一个，并且所述投影时间中的至少另一个对应于所述一个或多个第二事件中的至少一个。
8.根据任一前述权利要求所述的系统，其中所述图像传感器(309)的每个像素包括：
检测器，所述检测器电连接到至少一个第一光敏元件并且被配置为当作为照射在所述至少一个第一光敏元件上的光的亮度的函数的模拟信号与条件匹配时生成触发信号。
9.根据权利要求8所述的系统，其还包括至少一个第二光敏元件，所述至少一个第二光敏元件被配置为响应于所述触发信号而输出作为照射在所述至少一个第二光敏元件上的光的亮度的函数的信号，优选地其中所述至少一个第一光敏元件包括所述至少一个第二光敏元件，或其中所述至少一个处理器还被配置为从所述第一光敏元件和所述第二光敏元件中的至少一个接收一个或多个第一信号，并且其中所述一个或多个第一信号在所述条件为递增条件时具有正极性，而在所述条件为递减条件时具有负极性，并且优选地其中所述至少一个处理器还被配置为对所述一个或多个第一信号的极性进行解码以获得所述一个或多个第一事件，和/或其中所述至少一个处理器还被配置为丢弃以大于阈值的时间量分隔的所述一个或多个第一信号中的任一个或与不在预定范围内的光学带宽相关联的所述一个或多个第一信号中的任一个。
10.根据权利要求2-9中任一项所述的系统，其中所述至少一个处理器还被配置为：基于所述多个图案中的哪个图案由所述一个或多个第一事件和所述一个或多个第二事件表示来确定所述平面方程；确定与所述多条线相关联的多个平面方程并选择与所述一个或多个第一事件和所述一个或多个第二事件相关联的所述线以确定所述多个平面方程的相关联平面方程；或基于所述多条射线和所述相关联平面方程的交汇处来计算所述三维图像点，优选地其中所述多条射线源自所述传感器并表示所述场景中对应于所述一个或多个第一像素和所述一个或多个第二像素的一组三维点。
11.根据任一前述权利要求所述的系统，其中所述至少一个处理器还被配置为：基于所述一个或多个第一事件初始化一个或多个状态机；以及存储包括所述一个或多个初始化状态机和用于将所述一个或多个第一事件连接到所述一个或多个第二事件的候选者的最终状态机，优选地其中所述至少一个处理器还被配置为使用所存储的最终状态机来确定后续事件的候选者，其中确定用于将所述一个或多个第二事件连接到所述一个或多个第一事件的所述候选者使用所述多个图案和所述所存储的最终状态机中的一个或多个最终状态机，和/或其中在所述一个或多个第一事件之后对所述一个或多个第二事件加时间戳，使得所述候选者将所述一个或多个第一事件在时间上连接到所述一个或多个第二事件。
12.根据任一前述权利要求所述的系统，其中为了检测所述一个或多个第一事件，所述至少一个处理器还被配置为从所述图像传感器接收一个或多个第一信号并基于所述一个或多个第一信号检测所述一个或多个第一事件，或其中为了检测所述一个或多个第一事件，所述至少一个处理器还被配置为从所述图像传感器接收一个或多个第一信号，其中所述一个或多个第一信号对所述一个或多个第一事件进行编码。
13.根据任一前述权利要求所述的系统，其中所述多条线包括几何线、曲线、或虚线或具有变化强度的多个点中的至少一者。
14.根据权利要求1所述的系统，其中所述至少一个处理器还被配置为：
将多个符号编码为与所述多条线相关联的多个图案，所述多个符号与所述多条线的至少一个空间性质有关，
命令所述投影仪将所述多个图案投影到所述场景上，
基于所述一个或多个第一事件，初始化(553)一个或多个状态机，
确定(557)用于将所述一个或多个第二事件连接到所述一个或多个第一事件的一个或多个候选者，
使用所述一个或多个候选者和所述一个或多个状态机，对所述一个或多个第一事件和所述一个或多个第二事件进行解码以获得所述至少一个空间性质，以及
基于所述传感器上的所述一个或多个第一事件和所述一个或多个第二事件的位置以及所述至少一个空间性质，计算(563)针对所述一个或多个第一像素和所述一个或多个第二像素的三维图像点。
15.一种成像系统，其包括：
多个像素，每个像素包括：
第一光敏元件，以及
根据权利要求8的用于检测三维图像的系统。
16.根据权利要求15所述的成像系统，其中所述至少一个处理器还被配置为确定与投影到所述场景上的包括电磁脉冲的多条线相关联的多个图案，并且其中为了确定所述多个图案，所述至少一个处理器被配置为接收定义由时间间隔分隔的振幅的数字信号。
17.根据权利要求16所述的成像系统，其中从与投影仪相关联的控制器接收定义由所述时间间隔分隔的所述振幅的所述数字信号，所述投影仪被配置为根据所述多个图案投影多个电磁脉冲，或者从存储所述多个图案的至少一个非暂时性存储器中检索定义由所述时间间隔分隔的所述振幅的所述数字信号。
18.根据权利要求15至17中任一项所述的成像系统，其中所述第一光敏元件包括一个或多个第二光敏元件。
19.根据权利要求15所述的成像系统，其还包括一个或多个第二光敏元件，所述一个或多个第二光敏元件被配置为输出作为照射在所述一个或多个第二光敏元件上的光的亮度的函数的信号，优选地其中所述第一光敏元件包括所述一个或多个第二光敏元件。
20.一种用于检测三维图像的方法，所述方法包括：
确定(501)与包括由投影仪发射到场景上的电磁脉冲的多条线相对应的多个图案；
从图像传感器(309)检测(505)基于由所述多个电磁脉冲引起的反射且与所述图像传感器的一个或多个第一像素相对应的一个或多个第一事件；
从所述图像传感器(309)检测(511)基于所述反射且与所述图像传感器的一个或多个第二像素相对应的一个或多个第二事件；
识别(559)与所述一个或多个第二事件和所述一个或多个第一事件相对应的投影线；
基于所识别的线计算(561)所述一个或多个第一像素和所述一个或多个第二像素的三维射线；以及
基于所述三维射线和与对应于所述所识别的线的所述多条线中的一条线相关联的平面方程，计算(563)针对所述一个或多个第一像素和所述一个或多个第二像素的三维图像点。
CN202080015207.XA 2019-02-22 2020-02-21 使用动态视觉传感器和图案投影的三维成像和感测 Pending CN113439195A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962809557P 2019-02-22 2019-02-22
US62/809,557 2019-02-22
US201962810926P 2019-02-26 2019-02-26
US62/810,926 2019-02-26
US202062965149P 2020-01-23 2020-01-23
US62/965,149 2020-01-23
PCT/EP2020/054685 WO2020169834A1 (en) 2019-02-22 2020-02-21 Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection

Publications (1)

Publication Number Publication Date
CN113439195A true CN113439195A (zh) 2021-09-24

Family

ID=69646011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080015207.XA Pending CN113439195A (zh) 2019-02-22 2020-02-21 使用动态视觉传感器和图案投影的三维成像和感测

Country Status (6)

Country Link
US (1) US20220092804A1 (zh)
EP (1) EP3903061A1 (zh)
JP (1) JP2022521093A (zh)
KR (1) KR20210127950A (zh)
CN (1) CN113439195A (zh)
WO (1) WO2020169834A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4006485A1 (en) 2020-11-25 2022-06-01 Prophesee Method for automatically adapting a pattern projection rate in an active perception system
AT524572B1 (de) * 2021-05-26 2022-07-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands
WO2024022682A1 (en) * 2022-07-27 2024-02-01 Sony Semiconductor Solutions Corporation Depth sensor device and method for operating a depth sensor device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226221A (ja) * 2011-04-21 2012-11-15 Hitachi Consumer Electronics Co Ltd ３次元画像表示装置
CN106091984A (zh) * 2016-06-06 2016-11-09 中国人民解放军信息工程大学 一种基于线激光的三维点云数据获取方法
CN107209007A (zh) * 2014-11-20 2017-09-26 曼蒂斯影像有限公司 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
KR20170127865A (ko) * 2016-05-13 2017-11-22 충남대학교산학협력단 통합픽셀로 구성된 거리영상센서

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700669B1 (en) * 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US20040151635A1 (en) * 2003-01-31 2004-08-05 Leproust Eric M. Array fabrication using deposited drop splat size
US20040222987A1 (en) * 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US7908154B2 (en) * 2008-10-27 2011-03-15 MedSleuth, Inc. System and method for generating a medical history
CN103069250B (zh) * 2010-08-19 2016-02-24 佳能株式会社 三维测量设备、三维测量方法
CN103748612B (zh) * 2011-01-24 2018-04-27 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
JP2013124884A (ja) * 2011-12-13 2013-06-24 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
EP3047647B1 (en) 2013-09-16 2020-05-27 Prophesee Dynamic, single photodiode pixel circuit and operating method thereof
JP6537237B2 (ja) * 2013-11-05 2019-07-03 キヤノン株式会社 情報処理装置および方法
JP6420572B2 (ja) * 2014-06-13 2018-11-07 キヤノン株式会社 計測装置およびその方法
US10444006B2 (en) * 2015-08-19 2019-10-15 Faro Technologies, Inc. Three-dimensional imager
US11373321B2 (en) * 2017-11-08 2022-06-28 Samsung Electronics Co., Ltd. Projector including meta-lens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226221A (ja) * 2011-04-21 2012-11-15 Hitachi Consumer Electronics Co Ltd ３次元画像表示装置
CN107209007A (zh) * 2014-11-20 2017-09-26 曼蒂斯影像有限公司 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
KR20170127865A (ko) * 2016-05-13 2017-11-22 충남대학교산학협력단 통합픽셀로 구성된 거리영상센서
CN106091984A (zh) * 2016-06-06 2016-11-09 中国人民解放军信息工程大学 一种基于线激光的三维点云数据获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN BRANDLI 等: "Adaptive pulsed laser line extraction for terrain reconstruction using a dynamic vision sensor", FRONTIERS IN NEUROSCIENCE, vol. 7, pages 1 - 9, XP055142635, DOI: 10.3389/fnins.2013.00275 *
T.LEROUX 等: "Event-based structured light for depth reconstruction using frequency tagged light patterns", ARXIV.ORG, pages 1 - 8 *

Also Published As

Publication number Publication date
EP3903061A1 (en) 2021-11-03
US20220092804A1 (en) 2022-03-24
WO2020169834A1 (en) 2020-08-27
JP2022521093A (ja) 2022-04-05
KR20210127950A (ko) 2021-10-25

Similar Documents

Publication Publication Date Title
US11624835B2 (en) Processing of LIDAR images
US10417786B2 (en) Markers in 3D data capture
Scharstein et al. High-accuracy stereo depth maps using structured light
US10302424B2 (en) Motion contrast depth scanning
CN113439195A (zh) 使用动态视觉传感器和图案投影的三维成像和感测
US9514537B2 (en) System and method for adaptive depth map reconstruction
US20150292884A1 (en) Motion-sensor device having multiple light sources
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
WO2013052781A1 (en) Method and apparatus to determine depth information for a scene of interest
CN110689577B (zh) 单相机环境中主动式刚体的位姿定位方法及相关设备
US11099009B2 (en) Imaging apparatus and imaging method
CN101834986A (zh) 成像装置、运动体检测方法、运动体检测电路和程序
US20220205835A1 (en) Systems and methods for imaging and sensing vibrations
US10049454B2 (en) Active triangulation calibration
Schraml et al. An event-driven stereo system for real-time 3-D 360 panoramic vision
JP7401550B2 (ja) 動体視覚センサおよびパターン投影を用いる３次元撮像および感知
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
CN104200456A (zh) 一种用于线结构光三维测量的解码方法
WO2015198148A2 (en) Active triangulation calibration
US12000692B2 (en) Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection
CN114761825A (zh) 飞行时间成像电路、飞行时间成像系统、飞行时间成像方法
RU2778496C1 (ru) Коррекция многолучевой интерференции и распознавание материалов на основе структурированной подсветки без уменьшения частоты кадров
Ta Asynchronous Event-Feature Detection and Tracking for SLAM Initialization
Ambrosch et al. Embedded stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination