CN113126105A - 三维测距方法和装置 - Google Patents

三维测距方法和装置 Download PDF

Info

Publication number
CN113126105A
CN113126105A CN201911397605.8A CN201911397605A CN113126105A CN 113126105 A CN113126105 A CN 113126105A CN 201911397605 A CN201911397605 A CN 201911397605A CN 113126105 A CN113126105 A CN 113126105A
Authority
CN
China
Prior art keywords
scene
light
scene image
image
light pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911397605.8A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruifu Technology Beijing Co ltd
Rayz Technologies Co Ltd
Original Assignee
Ruifu Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruifu Technology Beijing Co ltd filed Critical Ruifu Technology Beijing Co ltd
Priority to CN201911397605.8A priority Critical patent/CN113126105A/zh
Priority to US17/789,990 priority patent/US20230057655A1/en
Priority to PCT/CN2020/140953 priority patent/WO2021136284A1/zh
Publication of CN113126105A publication Critical patent/CN113126105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开提供了一种三维测距方法和装置。一种三维测距装置，包括：光源单元，配置为发射光脉冲，以照射待测场景；光学传递单元，配置为控制光脉冲经由待测场景中物体反射后的反射光的传递；感光器单元，配置为接收经光学传递单元后的光，以执行成像；以及处理器单元，配置为控制光源单元、光学传递单元以及感光器单元，并且基于感光器单元的成像结果，确定待测场景的场景距离信息，其中，光脉冲至少包括第一光脉冲和第二光脉冲，并且第一光脉冲的第一脉冲包络经由光学传递单元处理之后的第一处理后脉冲包络和第二光脉冲的第二脉冲包络经由光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。

Description

三维测距方法和装置
技术领域
本公开涉及光学测距领域，更具体地，本公开涉及三维测距方法和三维测距装置。
背景技术
随着诸如自动驾驶、3D影音和游戏、智能手机导航、智能机器人等应用场景的出现，实时和精确地确定进行场景的深度测量变得越来越重要。
目前，存在多种测量场景深度的方法。传统的三角测距随着测距距离的增加，距离分辨率变得不断劣化。而随着激光技术的发展，利用激光进行场景深度的测量普遍。一种方法是向待测场景发射调制光信号，接收由待测场景中对象的反射的光，进而通过调解接收光确定待测场景中对象的距离。由于这是一种点到点的测量方式，因此需要大量的扫描以获取场景的深度信息，并且其空间分辨率受限。另一种方法使用预定照明模式的光照明待测场景，使用预先获得的标定信息获取待测场景的深度信息。此外，另一种方法是飞行时间测距法，其发射调制信号，并且使用与处于调制信号的四个不同相位的单个光敏像素相关联的四个传感器获得返回的信号相对于发射信号的相对相位偏移，从而确定深度信息。
现有的这些测距方法通常需要专用的硬件配置，测距设备体积大且笨重，并且测距的空间分辨率低、或测距视场窄、或测试距离短。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种三维测距方法和三维测距装置。
根据本公开的一个方面，提供了一种三维测距装置，包括：光源单元，配置为发射光脉冲，以照射待测场景；光学传递单元，配置为控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递；感光器单元，配置为接收经所述光学传递单元后的光，以执行成像；以及处理器单元，配置为控制所述光源单元、所述光学传递单元以及所述感光器单元，并且基于所述感光器单元的成像结果，确定所述待测场景的场景距离信息，其中，所述光脉冲至少包括第一光脉冲和第二光脉冲，并且所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。
此外，根据本公开实施例的三维测距装置，其中，所述光源单元配置为同时或者顺序发射不同波长、不同偏振、以及不同空间结构和/或时间结构的光脉冲。
此外，根据本公开实施例的三维测距装置，其中，所述感光器单元配置为同时或顺序执行逐像素或逐区域的成像。
此外，根据本公开实施例的三维测距装置，其中，所述感光器单元获取对应于第一光脉冲的第一场景图像、对应于第二光脉冲的第二场景图像、以及所述待测场景的背景场景图像，所述处理器单元基于所述背景场景图像、所述第一场景图像和所述第二场景图像，获取所述待测场景的场景距离信息。
此外，根据本公开实施例的三维测距装置，其中，所述背景场景图像是在非所述第一光脉冲和所述第二光脉冲波段对所述待测场景成像所获得的背景场景图像，和/或在无所述第一光脉冲和无所述第二光脉冲在所述第一光脉冲和所述第二光脉冲波段所述待测场景成像所获得的背景场景图像。
此外，根据本公开实施例的三维测距装置，其中，所述处理器单元基于所述第一场景图像、所述第二场景图像以及所述背景场景图像生成多个子区域组成的目标区域图像，其中所述子区域包括简单图元和/或超像素区域，并且基于所述第一场景图像、所述第二场景图像、以及所述目标区域图像，生成所述目标区域的场景距离信息。
此外，根据本公开实施例的三维测距装置，其中，利用深度神经网络生成所述目标区域图像。
此外，根据本公开实施例的三维测距装置，其中，基于所述第一场景图像、所述第二场景图像以及所述背景场景图像，所述深度神经网络被预先优化来进行子区域分割和场景距离信息生成。
此外，根据本公开实施例的三维测距装置，其中，利用已经采集的实时场景图像，再利用仿真产生与所述实时场景图像对应的虚拟3D世界的子区域数据标定，同时再利用预先标定的现实世界图像和子区域数据标定，和/或再利用至少一个其它所述的三维测距装置所收集的场景图像和数据标定，实时地更新所述深度神经网络。
此外，根据本公开实施例的三维测距装置，其中，所述深度神经网络的输出由仿真的虚拟3D世界的数据标定为含三维信息简单的图元和/或超像素子区域，所述简单的图元和/或超像素子区域被用于生成所述目标区域的场景距离信息。
此外，根据本公开实施例的三维测距装置，还包括：分光器单元，配置为将经由所述待测场景中物体反射后的反射光导向所述光学传递单元，将由所述待测场景中物体反射后的光导向所述感光器单元，其中，所述感光器单元包括至少第一感光器子单元和第二感光器子单元，所述第一感光器子单元配置为对所述反射光执行成像，并且所述第二感光器子单元配置为对所述自然光反射光执行成像；其中，所述第一感光器子单元至少还包括对空间分布不均匀光脉冲执行生成的不均匀光脉冲场景图像，并且基于背景场景图像、至少所述第一场景图像和所述第二场景图像、所述目标区域图像和/或所述不均匀光脉冲场景图像，生成所述场景距离信息。
此外，根据本公开实施例的三维测距装置，其中，所述三维测距装置被安装在汽车上，所述光源单元由所述汽车的左大灯和/或右大灯配置。
此外，根据本公开实施例的三维测距装置，其中，所述光学传递单元包括第一光学传递子单元和第二光学传递子单元，所述感光器单元包括第一感光器子单元和第二感光器子单元，所述三维测距装置还包括第一分光器子单元和第二分光器子单元，所述第一光学传递子单元、第一分光器子单元和所述第一感光器子单元构成第一子光路，用于对所述光脉冲成像；所述第二光学传递子单元、第二分光器子单元和所述第二感光器子单元构成第二子光路，用于对所述可见光成像，所述处理器单元控制经由所述第一子光路和/或所述第二子光路交替成像或同时成像，其中，基于至少所述背景场景图像、至少所述第一场景图像和所述第二场景图像、以及所述目标区域图像，生成所述场景距离信息。
此外，根据本公开实施例的三维测距装置，还包括：放大器单元，配置在所述光源单元之后，用于放大所述光脉冲，或者配置在所述第一光学传递子单元或第一分光器子单元之后，用于放大所述反射光。
此外，根据本公开实施例的三维测距装置，其中，所述处理器单元还配置为输出所述待测场景的场景距离信息以及场景图像，所述场景图像包括几何图像、流光图像。
根据本公开的另一个方面，提供了一种三维测距方法，包括：发射光脉冲，以照射待测场景；控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递；为接收经所述光学传递单元后的光，以执行成像；以及基于所述成像的结果，确定所述待测场景的场景距离信息，其中，所述光脉冲至少包括第一光脉冲和第二光脉冲，并且所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法包括：为同时或者顺序发射不同波长、不同偏振、以及不同空间结构和/或时间结构的光脉冲。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法包括：同时或顺序执行逐像素或逐区域的成像。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法包括：获取对应于第一光脉冲的第一场景图像、对应于第二光脉冲的第二场景图像、以及所述待测场景的背景场景图像；以及基于所述背景场景图像、所述第一场景图像和所述第二场景图像，获取所述待测场景的场景距离信息。
此外，根据本公开实施例的三维测距方法，其中，所述背景场景图像是在非所述第一光脉冲和所述第二光脉冲波段对所述待测场景成像所获得的背景场景图像，和/或在无所述第一光脉冲和无所述第二光脉冲在所述第一光脉冲和所述第二光脉冲波段所述待测场景成像所获得的背景场景图像。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法包括：基于所述第一场景图像、所述第二场景图像以及所述背景场景图像生成多个子区域组成的目标区域图像，并且基于所述第一场景图像、所述第二场景图像、以及所述目标区域图像，生成所述目标区域的场景距离信息。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法还包括：基于所述第一场景图像、所述第二场景图像以及所述背景场景图像，预先优化深度神经网络，以进行子区域分割和场景距离信息生成。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法还包括：利用已经采集的实时场景图像，再利用仿真产生与所述实时场景图像对应的虚拟3D世界的子区域数据标定，同时再利用预先标定的现实世界图像和子区域数据标定，和/或再利用至少一个其它所述的三维测距装置所收集的场景图像和数据标定，实时地更新所述深度神经网络。
此外，根据本公开实施例的三维测距方法，其中，所述深度神经网络的输出由仿真的虚拟3D世界的数据标定为含三维信息简单的图元和/或超像素子区域，所述简单的图元和/或超像素子区域被用于生成所述目标区域的场景距离信息。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法还包括：将经由所述待测场景中物体反射后的反射光导向所述光学传递单元，将由所述待测场景中物体反射后的光导向所述感光器单元，其中，所述感光器单元包括至少第一感光器子单元和第二感光器子单元，所述第一感光器子单元配置为对所述反射光执行成像，并且所述第二感光器子单元配置为对所述自然光反射光执行成像，其中，所述第一感光器子单元至少还包括对空间分布不均匀光脉冲执行生成的不均匀光脉冲场景图像，并且基于背景场景图像、至少所述第一场景图像和所述第二场景图像、所述目标区域图像以及所述不均匀光脉冲场景图像，生成所述场景距离信息。
此外，根据本公开实施例的三维测距方法，其中，所述光学传递单元包括第一光学传递子单元和第二光学传递子单元，所述感光器单元包括第一感光器子单元和第二感光器子单元，所述三维测距装置还包括第一分光器子单元和第二分光器子单元，所述第一光学传递子单元、第一分光器子单元和所述第一感光器子单元构成第一子光路，用于对所述光脉冲成像；所述第二光学传递子单元、第二分光器子单元和所述第二感光器子单元构成第二子光路，用于对所述可见光成像，其中，所述三维测距方法还包括：控制经由所述第一子光路和所述第二子光路交替成像或同时成像，其中，基于至少所述背景场景图像、至少所述第一场景图像和所述第二场景图像、以及所述目标区域图像，生成所述场景距离信息。
此外，根据本公开实施例的三维测距方法，其中，所述三维测距方法还包括：为输出所述待测场景的场景距离信息以及场景图像，所述场景图像包括几何图像、流光图像。
如以下将详细描述的，根据本公开实施例的三维测距方法和装置通过使用标准的CCD或CMOS图像传感器，通过可控的照明和传感器曝光成像，在无需扫描和窄视场限制的情况下，实现了精确和实时的深度信息获取。此外，因为没有采用额外的机械部件，而且所使用诸如的CCD或CMOS的器件可以批量生产，从而增加了系统的可靠性、稳定性，同时降低了成本。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是概述根据本公开实施例的三维测距方法和装置的应用场景的示意图；
图2是概述根据本公开一个实施例的三维测距方法的流程图；
图3是进一步图示根据本公开实施例的三维测距方法和装置的应用场景的示意图；
图4是进一步图示根据本公开实施例的三维测距方法和装置的应用场景的示意图；
图5是进一步图示根据本公开实施例的三维测距方法和装置的应用场景的示意图；以及
图6是进一步图示根据本公开实施例的三维测距方法的流程图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
首先，参照图1示意性地描述本公开的应用场景。图1是概述根据本公开实施例的三维测距方法和装置的应用场景的示意图。
如图1所示，根据本公开实施例的三维测距装置10对于待测场景1040执行测距。在本公开的一个实施例中，所述三维测距装置10例如配置在自动驾驶系统中。所述三维测距装置10对车辆的行驶场景(例如，街道、高速路等)中的物体进行相对距离的测量，获取的场景距离信息将用于无人驾驶的定位、可行驶区域检测、车道标识线检测、障碍物检测、动态物体跟踪、障碍物分类识别等功能的实现。在本公开的另一实施例中，所述三维测距装置10例如配置在AR/VR影音游戏系统中。通过所述三维测距装置10对用户所处环境进行场景距离信息测量，从而精准定位用户在三维空间中的位置，增强用于在游戏中的真实体验感。在本公开的另一实施例中，所述三维测距装置10例如配置在智能机器人系统中。通过所述三维测距装置10对机器人所处工作环境进行场景距离信息测量，从而实现对所处工作环境的建模以及机器人的智能路径规划。
如图1示意性地示出，根据本公开实施例的三维测距装置10包括光源单元101、光学传递单元102、感光器单元103和处理器单元104。
所述光源单元101配置为发射光脉冲λ1、λ2，以照射待测场景1040。在本公开的实施例中，根据实际具体的应用场景，所述光源单元101可以配置为在处理器单元104的控制下，同时或者顺序发射不同波长、不同偏振、以及不同空间结构的光脉冲(例如，结构光)和/或时间结构(调频连续波(FMCW))的光脉冲。在本公开的一个实施例中，所述三维测距装置10可以配置在汽车上，所述光源单元101由所述汽车的左大灯和/或右大灯配置。
所述光学传递单元102配置为控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递。在本公开的实施例中，根据实际具体的应用场景，所述光学传递单元102可以配置为在处理器单元104的控制下，允许特定波长、偏振的光脉冲通过，并且对通过的光脉冲的包络进行处理。在本公开的实施例中，所述光学传递单元102例如可以实现为光闸(optical gate)。
所述感光器单元103配置为接收经所述光学传递单元102后的光，以执行成像。在本公开的实施例中，根据实际具体的应用场景，所述感光器单元103可以配置为在处理器单元104的控制下，同时或顺序执行逐像素或逐区域的成像。在本公开的实施例中，所述感光器单元103例如可以每四个像素分别布置RGBL滤光片(RBG滤光片对应于普通的可见光光谱，L对应于激光光谱)，从而同时记录可见光和激光图像。可替代地，所述感光器单元103可以包括分别用于可见光和激光的感光器子单元。
所述处理器单元104配置为控制所述光源单元101、所述光学传递单元102以及所述感光器单元103，并且基于所述感光器单元103的成像结果，确定所述待测场景1400的场景距离信息。
如图1示意性地示出的，所述光脉冲至少包括第一光脉冲λ1和第二光脉冲λ2，所述第一光脉冲λ1的第一脉冲包络经由所述光学传递单元102处理之后的第一处理后脉冲Λ1包络和所述第二光脉冲λ2的第二脉冲包络经由所述光学传递单元102处理之后的第二处理后脉冲Λ2包络的比为随时间变化的单调函数。第一处理后脉冲Λ1例如是光脉冲包络随时间处理的单调下降斜波，而第二处理后脉冲Λ2例如是光脉冲包络是不随时间变化的方波。可替代地，第一处理后脉冲Λ1还可以是光脉冲包络随时间处理的下降或上升斜波，而第二处理后脉冲Λ2是与之不同的上升或下降斜波。也就是说，在根据本公开实施例的三维测距方法中，需要满足所述第一处理后脉冲Λ1的第一脉冲包络和所述第二处理后脉冲Λ2的第二脉冲包络的比为随时间变化的单调函数。这种所述第一光脉冲λ1的第一脉冲包络和所述第二光脉冲λ2的第二脉冲包络之间的单调函数关系将被记录，以用于所述处理器单元104随后的场景距离信息确定。
对于利用包络之间为单调函数关系的至少两个光脉冲确定场景距离信息，其原理说明如下。
在t＝0时刻发射第一光脉冲，第一光脉冲时长为Δ1，第一光脉冲的光脉冲包络为f1(t)。即，t＝0是第一发光开始时间，Δ1是第一发光结束时间。假设待测场景中存在两个物体，分别是处于相对远处的物体1和处于相对近处的物体2，并且假设物体表面反射率分别为R1和R2。对于物体1，从T1时刻开始，经由物体1反射的第一光脉冲开始返回。(T1+t11)是第一曝光开始时间，并且(T1+t12)是第一曝光结束时间。对于物体2，从T2时刻开始，经由物体2反射的第一光脉冲开始返回。(T2+t21)是第一曝光开始时间，并且(T2+t22)是第一曝光结束时间。第一曝光开始时间和第一曝光结束时间之差即为对于第一光脉冲的第一曝光时间τ1。此外，对于物体1，第一光脉冲的发射和反射进行的距离分别为r11和r12；对于物体2，第一光脉冲的发射和反射进行的距离分别为r21和r22。
同样地，在t＝0时刻发射第二光脉冲，第二光脉冲时长为Δ2，第二光脉冲的光脉冲包络为f2(t)。即，t＝0是第二发光开始时间，Δ2是第一发光结束时间。需要理解的是，将第一光脉冲和第二光脉冲示出为都在t＝0时刻发射仅仅是示意性地，而实际上第一光脉冲和第二光脉冲可以同时发射或者不同时顺序发射。对于物体1，从T3时刻开始，经由物体1反射的第二光脉冲开始返回。(T3+t31)是第一曝光开始时间，并且(T3+t32)是第二曝光结束时间。对于物体2，从T4时刻开始，经由物体2反射的第二光脉冲开始返回。(T4+t41)是第二曝光开始时间，并且(T4+t42)是第二曝光结束时间。第二曝光开始时间和第二曝光结束时间之差即为对于第二光脉冲的第二曝光时间τ2，第二光脉冲的第二曝光时间τ2可以等于第一光脉冲的第一曝光时间τ1。
如此，第一光脉冲对于物体1上的像素1和物体2上的像素2的曝光量1和2可以表示为：
Figure BDA0002346728200000091
Figure BDA0002346728200000092
第二光脉冲对于物体1上的像素1和物体2上的像素2的曝光量3和4可以表示为：
Figure BDA0002346728200000093
Figure BDA0002346728200000094
其中C1和C2分别是常数，与像素1和2代表空间相关，与时间无关。容易理解的是，对于像素1和像素2成像获得的图像输出值与各自的曝光量成正比。
在本公开的一个实施例中，控制所述第一曝光时间满足第一预定时长，使得经由所述待测场景中每个点反射的所述第一光脉冲的至少一部分能在所述第一曝光时间用于获取所述第一场景图像，并且控制所述第二曝光时间满足第二预定时长，使得经由所述待测场景中每个点反射的所述第二光脉冲的至少一部分能在所述第二曝光时间用于获取所述第二场景图像。
对于一个像素1或2来说，在不考虑背景光曝光的理想情况下，通过第一光脉冲和第二光脉冲两次曝光的曝光量比g表示为：
Figure BDA0002346728200000101
Figure BDA0002346728200000102
如果考虑背景光曝光的情况下，则通过第一光脉冲和第二光脉冲两次曝光的曝光量比g表示为：
Figure BDA0002346728200000103
Figure BDA0002346728200000104
T1到T4都与距离D相关，t11、t12、t31、t32、t21、t22、t41、t42、τ1和τ2为可控参数，那么仅需要控制f1(t)/f2(t)满足为单调变化函数，则g(D)成为距离的D的单调函数。因此，对于特定像素，通过测量该像素的两次曝光量，就可以通过两次曝光量的比值确定该像素的距离信息D。
因此，在所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数的情况下，所述感光器单元103获取对应于第一光脉冲λ1的第一场景图像M2、对应于第二光脉冲λ2的第二场景图像M3、以及所述待测场景的1400背景场景图像(如下所述包括M1和M4)，所述处理器单元104基于所述背景场景图像(M1和M4)、所述第一场景图像M2和所述第二场景图像M3，获取所述待测场景1400的场景距离信息。
具体地，所述背景场景图像是在非所述第一光脉冲和所述第二光脉冲波段对所述待测场景成像所获得的背景场景图像(即，不论有无激光脉冲发射，控制感光器单元103不对激光脉冲波段执行成像，仅对自然光波段执行成像所获得的背景场景图像M4)，和/或在无所述第一光脉冲和无所述第二光脉冲在所述第一光脉冲和所述第二光脉冲波段所述待测场景成像所获得的背景场景图像(即，无激光脉冲发射的情况下，控制感光器单元103对激光脉冲波段执行成像，不对自然光波段执行成像所获得的背景场景图像M1)。
在本公开的一个实施例中，所述处理器单元104基于所述第一场景图像M2、所述第二场景图像M3以及所述背景场景图像(M1和M4)生成多个子区域组成的目标区域图像M5，并且基于所述第一场景图像M2、所述第二场景图像M3、以及所述目标区域图像M5，生成所述目标区域的场景距离信息。在该实施例中，所述处理器单元104利用预先训练的神经网络，基于所述第一场景图像M2、所述第二场景图像M3以及所述背景场景图像(M1和M4)对所述待测场景中的目标区域进行子区域分割，并且自动执行场景距离信息生成。
在本公开的一个实施例中，所述深度神经网络的输出由仿真的虚拟3D世界的数据标定为含三维信息简单的图元和/或超像素子区域，所述简单的图元和/或超像素子区域被用于生成所述目标区域的场景距离信息。通常，一般的用于图像识别的神经网络的输出目标(数据标定)是物体的方框图(边界)和方框图所代表的物体名称如苹果、树、人、自行车、汽车、等等。而本实施例中的输出是简单的图元：三角型、长方形、圆等等。换句话说，在所述三维测距装置的处理中，目标对象被识别/简化为“简单的图元”(包括亮点和尺寸，所谓“简单图元”)，原始图像和简单图元都是生成的所述目标区域的场景距离信息的一部分。
进一步地，在整个处理过程中，利用已经采集的实时场景图像，再利用仿真产生与所述实时场景图像对应的虚拟3D世界的子区域数据标定，同时再利用预先标定的现实世界图像和子区域数据标定，和/或再利用至少一个其它所述的三维测距装置所收集的场景图像和数据标定，实时地更新所述深度神经网络。
图2是概述根据本公开一个实施例的三维测距方法的流程图。图2是参照图1概述的根据本公开实施例的三维测距装置的基本流程图。
如图2所示，根据本公开一个实施例的三维测距方法包括以下步骤。
在步骤S201中，发射光脉冲，以照射待测场景。
在本公开的实施例中，根据实际具体的应用场景，可以同时或者顺序发射不同波长、不同偏振、以及不同空间结构的光脉冲(例如，结构光)和/或时间结构(调频连续波(FMCW))的光脉冲。
在步骤S202中，控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递。
在本公开的实施例中，根据实际具体的应用场景，允许特定波长、偏振的光脉冲通过，并且对通过的光脉冲的包络进行处理。
在步骤S203中，为接收经所述传递后的光，以执行成像。
在本公开的实施例中，根据实际具体的应用场景，可以同时或顺序执行逐像素或逐区域的成像。在本公开的实施例中，所述感光器单元103例如可以每四个像素分别布置RGBL滤光片(RBG滤光片对应于普通的可见光光谱，L对应于激光光谱)，从而同时记录可见光和激光图像。可替代地，所述感光器单元103可以包括分别用于可见光和激光的感光器子单元。
在步骤S204中，基于成像结果，确定所述待测场景的场景距离信息。
在本公开的实施例中，所述光脉冲至少包括第一光脉冲和第二光脉冲，并且所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。
根据如上参照图1描述的基本测距原理，在步骤S203中，获取对应于第一光脉冲的第一场景图像M2、对应于第二光脉冲的第二场景图像M3、以及所述待测场景的背景场景图像(M1和M4)。在步骤S204中，基于所述背景场景图像、所述第一场景图像和所述第二场景图像，获取所述待测场景的场景距离信息。
更具体地，在本公开的实施例中，在步骤S204中，利用预先优化深度神经网络，基于所述第一场景图像M2、所述第二场景图像M3以及所述背景场景图像(M1和M4)生成多个子区域组成的目标区域图像M5，并且基于所述第一场景图像M2、所述第二场景图像M3、以及所述目标区域图像M5，生成所述目标区域的场景距离信息。
以下，进一步参照图3到图5描述根据本公开实施例的三维测距方法和装置的具体应用场景。
图3是进一步图示根据本公开实施例的三维测距方法和装置的应用场景的示意图。如图3所示，根据本公开实施例的三维测距装置10进一步包括分光器单元105，配置为将经由所述待测场景中物体1041反射后的反射光导向所述光学传递单元102，以及将由所述待测场景中物体1041反射后的光导向所述感光器单元103。所述感光器单元103包括至少第一感光器子单元1031和第二感光器子单元1032。所述第一感光器子单元1031配置为对激光波段的所述反射光执行成像。例如无激光脉冲发射的情况下，所述第一感光器子单元1031对激光脉冲波段执行成像，不对自然光波段执行成像所获得的背景场景图像M1；并且在有激光脉冲发射的情况下，所述第一感光器子单元1031获取对应于第一光脉冲λ1的第一场景图像M2、对应于第二光脉冲λ2的第二场景图像M3。所述第二感光器子单元1032配置为对所述自然光反射光执行成像。例如，不论有无激光脉冲发射，所述第二感光器子单元1032不对激光脉冲波段执行成像，仅对自然光波段执行成像所获得的背景场景图像M4。此外，所述第一感光器子单元1031至少还包括对空间分布不均匀光脉冲执行生成的不均匀光脉冲场景图像M6。
由配置有深度神经网络的处理器单元104基于背景场景图像(M1和M4)、至少所述第一场景图像M2和所述第二场景图像M3，对目标区域进行子区域分割，生成所述目标区域图像M5，并且获得所述场景距离信息。在本公开的一个实施例中，所述场景距离信息呈现为3D距离点云图R(i,j)＝F(M1,M2,M3,M4,M5,M6)。根据本公开实施例的三维测距装置10输出2D可视图和3D距离点云图。
图4是进一步图示根据本公开实施例的三维测距方法和装置的应用场景的示意图。如图4所示，根据本公开实施例的三维测距装置10的光学传递单元102进一步包括第一光学传递子单元1021和第二光学传递子单元1022。第一光学传递子单元1021和第二光学传递子单元1022可以配置有不同的光通过函数，以便对通过的激光脉冲包络进行不同的处理。在执行激光波段成像时，使得相应波段的光脉冲通过，并且在执行可见光波段成像时，使得相应波段的可见光通过。所述感光器单元103包括第一感光器子单元1031和第二感光器子单元1032。第一感光器子单元1031和第二感光器子单元1032可以交替执行曝光，以提高空间像素匹配精度。此外，第一感光器子单元1031和第二感光器子单元1032可以同时执行曝光，以提高动态物体的测距精度。此外，所述三维测距装置10的分光器单元105进一步包括第一分光器子单元1051和第二分光器子单元1052。第一分光器子单元1051和第二分光器子单元1052可以用于分开激光和可见光，并且可以受控地分开不同波长、偏振、角度的激光脉冲。容易理解的是，上述组件的个数和配置位置并非限制性的。
所述第一光学传递子单元1021、第一分光器子单元1051和所述第一感光器子单元1031构成第一子光路，用于对所述光脉冲成像；所述第二光学传递子单元1022、第二分光器子单元1052和所述第二感光器子单元1032构成第二子光路，用于对所述可见光成像。所述处理器单元104控制经由所述第一子光路和所述第二子光路交替成像或同时成像。由配置有深度神经网络的处理器单元104，基于至少所述背景场景图像(M1和M4)、至少所述第一场景图像M2和所述第二场景图像M3、以及所述目标区域图像M5，生成所述场景距离信息。
图5是进一步图示根据本公开实施例的三维测距方法和装置的应用场景的示意图。如图5所示，根据本公开实施例的三维测距装置10进一步的配置有放大器单元106(包括第一放大器子单元1061和第二放大器子单元1062)，其可以配置在所述光源单元101之后，用于放大所述光脉冲，或者配置在所述第一光学传递子单元1021或分光器单元105之后，用于放大所述反射光。
图6是进一步图示根据本公开实施例的三维测距方法的流程图。
如图6所示，根据本公开又一实施例的三维测距方法包括以下步骤。
在步骤S601中，预先优化深度神经网络，以进行子区域分割和场景距离信息生成。
也就是说，根据本公开又一实施例的三维测距方法需要对用于测距的深度神经网络执行训练。
在步骤S602中，发射光脉冲，以照射待测场景。
在本公开的实施例中，根据实际具体的应用场景，可以同时或者顺序发射不同波长、不同偏振、以及不同空间结构的光脉冲(例如，结构光)和/或时间结构(调频连续波(FMCW))的光脉冲。
在步骤S603中，控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递。
在本公开的实施例中，根据实际具体的应用场景，允许特定波长、偏振的光脉冲通过，并且对通过的光脉冲的包络进行处理。具体地，例如可以采用参照图3到图5描述的配置。
在步骤S604中，为接收经所述传递后的光，以执行成像。
在本公开的实施例中，根据实际具体的应用场景，可以同时或顺序执行逐像素或逐区域的成像。在本公开的实施例中，所述感光器单元103例如可以每四个像素分别布置RGBL滤光片(RBG滤光片对应于普通的可见光光谱，L对应于激光光谱)，从而同时记录可见光和激光图像。可替代地，所述感光器单元103可以包括分别用于可见光和激光的感光器子单元。
在步骤S605中，基于成像结果，确定所述待测场景的场景距离信息。
在本公开的实施例中，所述光脉冲至少包括第一光脉冲和第二光脉冲，并且所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。
根据如上参照图1描述的基本测距原理，在步骤S604中，获取对应于第一光脉冲的第一场景图像M2、对应于第二光脉冲的第二场景图像M3、以及所述待测场景的背景场景图像(M1和M4)。在步骤S204中，基于所述背景场景图像、所述第一场景图像和所述第二场景图像，获取所述待测场景的场景距离信息。
更具体地，在本公开的实施例中，在步骤S605中，利用在步骤S601预先优化深度神经网络，基于所述第一场景图像M2、所述第二场景图像M3以及所述背景场景图像(M1和M4)生成多个子区域组成的目标区域图像M5，并且基于所述第一场景图像M2、所述第二场景图像M3、以及所述目标区域图像M5，生成所述目标区域的场景距离信息。
在步骤S606中，实时地更新所述深度神经网络。
更具体地，在本公开的实施例中，利用已经采集的实时场景图像，再利用仿真产生与所述实时场景图像对应的虚拟3D世界的子区域数据标定，同时再利用预先标定的现实世界图像和子区域数据标定，和/或再利用至少一个其它所述的三维测距装置所收集的场景图像和数据标定，实时地更新所述深度神经网络。
在步骤S607中，输出所述待测场景的场景距离信息以及场景图像。
在本公开的一个实施例中，所述深度神经网络的输出由仿真的虚拟3D世界的数据标定为含三维信息简单的图元和/或超像素子区域，所述简单的图元和/或超像素子区域被用于生成所述目标区域的场景距离信息。通常，一般的用于图像识别的神经网络的输出目标(数据标定)是物体的方框图(边界)和方框图所代表的物体名称如苹果、树、人、自行车、汽车、等等。而本实施例中的输出是简单的图元：三角型、长方形、圆等等。换句话说，在所述三维测距装置的处理中，目标对象被识别/简化为“简单的图元”(包括亮点和尺寸)，原始图像和简单图元都是生成的所述目标区域的场景距离信息的一部分。根据本公开实施例的三维测距方法输出2D可视图和3D距离点云图。
以上，参照附图描述了根据本公开实施例的三维测距方法和装置，其使用标准的CCD或CMOS图像传感器，通过可控的激光照明和传感器曝光成像，在无需扫描和窄视场限制的情况下，通过利用深度神经网络实现了精确和实时的深度信息获取。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (23)

1.一种三维测距装置，包括：
光源单元，配置为发射光脉冲，以照射待测场景；
光学传递单元，配置为控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递；
感光器单元，配置为接收经所述光学传递单元后的光，以执行成像；以及
处理器单元，配置为控制所述光源单元、所述光学传递单元以及所述感光器单元，并且基于所述感光器单元的成像结果，确定所述待测场景的场景距离信息，
其中，所述光脉冲至少包括第一光脉冲和第二光脉冲，并且所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。
2.如权利要求1所述的三维测距装置，其中，所述光源单元配置为同时或者顺序发射不同波长、不同偏振、以及不同空间结构和/或时间结构的光脉冲。
3.如权利要求1或2所述的三维测距装置，其中，所述感光器单元配置为同时或顺序执行逐像素或逐区域的成像。
4.如权利要求1到3的任一项所述的三维测距装置，其中，所述感光器单元获取对应于第一光脉冲的第一场景图像、对应于第二光脉冲的第二场景图像、以及所述待测场景的背景场景图像，
所述处理器单元基于所述背景场景图像、所述第一场景图像和所述第二场景图像，获取所述待测场景的场景距离信息。
5.如权利要求1到4所述的三维测距装置，其中，所述背景场景图像是在非所述第一光脉冲和所述第二光脉冲波段对所述待测场景成像所获得的背景场景图像，和/或在无所述第一光脉冲和无所述第二光脉冲在所述第一光脉冲和所述第二光脉冲波段所述待测场景成像所获得的背景场景图像。
6.如权利要求4或5所述的三维测距装置，其中，所述处理器单元基于所述第一场景图像、所述第二场景图像以及所述背景场景图像生成多个子区域组成的目标区域图像，其中，所述子区域包括简单图元和/或超像素区域，并且
基于所述第一场景图像、所述第二场景图像、以及所述目标区域图像，生成所述目标区域的场景距离信息。
7.如权利要求6所述的三维测距装置，其中，利用深度神经网络生成所述目标区域图像。
8.如权利要求7所述的三维测距装置，其中，基于所述第一场景图像、所述第二场景图像以及所述背景场景图像，所述深度神经网络被预先优化来进行子区域分割和场景距离信息生成。
9.如权利要求8所述的三维测距装置，其中，利用已经采集的实时场景图像，再利用仿真产生与所述实时场景图像对应的虚拟3D世界的子区域数据标定，同时再利用预先标定的现实世界图像和子区域数据标定，和/或再利用至少一个其它所述的三维测距装置所收集的场景图像和数据标定，实时地更新所述深度神经网络。
10.如权利要求9所述的三维测距装置，其中，所述深度神经网络的输出由仿真的虚拟3D世界的数据标定为含三维信息简单的图元和/或超像素子区域，所述简单的图元和/或超像素子区域被用于生成所述目标区域的场景距离信息。
11.如权利要求1到10的任一项所述的三维测距装置，还包括：
分光器单元，配置为将经由所述待测场景中物体反射后的反射光导向所述光学传递单元，将由所述待测场景中物体反射后的光导向所述感光器单元，
其中，所述感光器单元包括至少第一感光器子单元和第二感光器子单元，
所述第一感光器子单元配置为对所述反射光执行成像，并且
所述第二感光器子单元配置为对所述自然光反射光执行成像；
其中，所述第一感光器子单元至少还包括对空间分布不均匀光脉冲执行生成的不均匀光脉冲场景图像，并且
基于背景场景图像、至少所述第一场景图像和所述第二场景图像、所述目标区域图像和/或所述不均匀光脉冲场景图像，生成所述场景距离信息。
12.如权利要求1到11的任一项所述的三维测距装置，其中，所述三维测距装置被安装在汽车上，所述光源单元由所述汽车的左大灯和/或右大灯配置。
13.如权利要求1到12的任一项所述的三维测距装置，其中，所述光学传递单元包括第一光学传递子单元和/或第二光学传递子单元，所述感光器单元包括第一感光器子单元和/或第二感光器子单元，
所述三维测距装置还包括第一分光器子单元和/或第二分光器子单元，
所述第一光学传递子单元、第一分光器子单元和所述第一感光器子单元构成第一子光路，用于对所述光脉冲成像；
所述第二光学传递子单元、第二分光器子单元和所述第二感光器子单元构成第二子光路，用于对所述可见光成像，
所述处理器单元控制经由所述第一子光路和/或所述第二子光路交替成像或同时成像，
其中，基于至少所述背景场景图像、至少所述第一场景图像和所述第二场景图像、以及所述目标区域图像，生成所述场景距离信息。
14.如权利要求13的所述的三维测距装置，还包括：
放大器单元，配置在所述光源单元之后，用于放大所述光脉冲，或者配置在所述第一光学传递子单元或第一分光器子单元之后，用于放大所述反射光。
15.如权利要求1到14的任一项所述的三维测距装置，其中，所述处理器单元还配置为输出所述待测场景的场景距离信息以及场景图像，所述场景图像包括几何图像、流光图像。
16.一种三维测距方法，包括：
发射光脉冲，以照射待测场景；
控制所述光脉冲经由所述待测场景中物体反射后的反射光的传递；
接收经所述传递后的光，以执行成像；以及
基于所述成像的结果，确定所述待测场景的场景距离信息，
其中，所述光脉冲至少包括第一光脉冲和第二光脉冲，并且所述第一光脉冲的第一脉冲包络经由所述光学传递单元处理之后的第一处理后脉冲包络和所述第二光脉冲的第二脉冲包络经由所述光学传递单元处理之后的第二处理后脉冲包络的比为随时间变化的单调函数。
17.如权利要求16所述的三维测距方法，其中，所述三维测距方法包括：
为同时或者顺序发射不同波长、不同偏振、以及不同空间结构和/或时间结构的光脉冲。
18.如权利要求16或17所述的三维测距方法，其中，所述三维测距方法包括：
同时或顺序执行逐像素或逐区域的成像。
19.如权利要求16到18的任一项所述的三维测距方法，其中，所述三维测距方法包括：
获取对应于第一光脉冲的第一场景图像、对应于第二光脉冲的第二场景图像、以及所述待测场景的背景场景图像；以及
基于所述背景场景图像、所述第一场景图像和所述第二场景图像，获取所述待测场景的场景距离信息。
20.如权利要求16到19的任一项所述的三维测距方法，其中，所述背景场景图像是在非所述第一光脉冲和所述第二光脉冲波段对所述待测场景成像所获得的背景场景图像，和/或在无所述第一光脉冲和无所述第二光脉冲在所述第一光脉冲和所述第二光脉冲波段所述待测场景成像所获得的背景场景图像。
21.如权利要求19或20所述的三维测距方法，其中，所述三维测距方法包括：
基于所述第一场景图像、所述第二场景图像以及所述背景场景图像生成多个子区域组成的目标区域图像，其中，所述子区域包括简单图元和/或超像素区域，并且
基于所述第一场景图像、所述第二场景图像、以及所述目标区域图像，生成所述目标区域的场景距离信息。
22.如权利要求21所述的三维测距方法，其中，所述三维测距方法还包括：
基于所述第一场景图像、所述第二场景图像以及所述背景场景图像，预先优化深度神经网络，以进行子区域分割和场景距离信息生成。
23.如权利要求22所述的三维测距方法，其中，所述三维测距方法还包括：
利用已经采集的实时场景图像，再利用仿真产生与所述实时场景图像对应的虚拟3D世界的子区域数据标定，同时再利用预先标定的现实世界图像和子区域数据标定，和/或再利用至少一个其它所述的三维测距装置所收集的场景图像和数据标定，实时地更新所述深度神经网络。
CN201911397605.8A 2019-12-30 2019-12-30 三维测距方法和装置 Pending CN113126105A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911397605.8A CN113126105A (zh) 2019-12-30 2019-12-30 三维测距方法和装置
US17/789,990 US20230057655A1 (en) 2019-12-30 2020-12-29 Three-dimensional ranging method and device
PCT/CN2020/140953 WO2021136284A1 (zh) 2019-12-30 2020-12-29 三维测距方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911397605.8A CN113126105A (zh) 2019-12-30 2019-12-30 三维测距方法和装置

Publications (1)

Publication Number Publication Date
CN113126105A true CN113126105A (zh) 2021-07-16

Family

ID=76687303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911397605.8A Pending CN113126105A (zh) 2019-12-30 2019-12-30 三维测距方法和装置

Country Status (3)

Country Link
US (1) US20230057655A1 (zh)
CN (1) CN113126105A (zh)
WO (1) WO2021136284A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992277A (zh) * 2021-10-22 2022-01-28 安天科技集团股份有限公司 一种光信号中的数据传输检测方法、系统、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112844B (zh) * 2008-07-29 2013-04-24 微软国际控股私有有限公司 成像系统
US8593507B2 (en) * 2008-08-03 2013-11-26 Microsoft International Holdings B.V. Rolling camera system
US8681321B2 (en) * 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US20130235160A1 (en) * 2012-03-06 2013-09-12 Microsoft Corporation Optical pulse shaping
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
US9874630B2 (en) * 2015-01-30 2018-01-23 Microsoft Technology Licensing, Llc Extended range gated time of flight camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992277A (zh) * 2021-10-22 2022-01-28 安天科技集团股份有限公司 一种光信号中的数据传输检测方法、系统、设备及介质
CN113992277B (zh) * 2021-10-22 2023-09-22 安天科技集团股份有限公司 一种光信号中的数据传输检测方法、系统、设备及介质

Also Published As

Publication number Publication date
US20230057655A1 (en) 2023-02-23
WO2021136284A1 (zh) 2021-07-08

Similar Documents

Publication Publication Date Title
CN110914705B (zh) 用于集成lidar照明功率控制的设备、系统和方法
CN110832349B (zh) 全景彩色lidar系统和用于lidar系统的方法
US10901090B2 (en) TOF camera system and a method for measuring a distance with the system
CN103649674B (zh) 测量设备以及信息处理设备
CN110691983A (zh) 具有结构光及集成照明和检测的基于lidar的3-d成像
US20170046845A1 (en) 3d point clouds
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
TW201721514A (zh) 基於場景之捕獲影像而產生之距離圖
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
CN108495113B (zh) 用于双目视觉系统的控制方法和装置
US11803982B2 (en) Image processing device and three-dimensional measuring system
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN114072697B (zh) 一种模拟连续波lidar传感器的方法
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
CN109901141B (zh) 一种标定方法及装置
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
CN113126105A (zh) 三维测距方法和装置
CN112213730B (zh) 三维测距方法和装置
US9176229B2 (en) Three-dimensional distance measuring method and associated system
CN109618085B (zh) 电子设备和移动平台
Langmann Wide area 2D/3D imaging: development, analysis and applications
KR101866764B1 (ko) 통합픽셀로 구성된 거리영상센서
WO2019066724A1 (en) LIGHT PROJECTION SYSTEMS
US20240067094A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination