CN113970757A - 一种深度成像方法及深度成像系统 - Google Patents

一种深度成像方法及深度成像系统 Download PDF

Info

Publication number
CN113970757A
CN113970757A CN202010716865.3A CN202010716865A CN113970757A CN 113970757 A CN113970757 A CN 113970757A CN 202010716865 A CN202010716865 A CN 202010716865A CN 113970757 A CN113970757 A CN 113970757A
Authority
CN
China
Prior art keywords
laser
detection unit
photoelectric detection
target object
scanning angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010716865.3A
Other languages
English (en)
Inventor
余恺
俞锋
菲利普·贝努瓦
屈丰广
张朝龙
曾佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010716865.3A priority Critical patent/CN113970757A/zh
Priority to PCT/CN2021/107301 priority patent/WO2022017366A1/zh
Publication of CN113970757A publication Critical patent/CN113970757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开一种深度成像方法及深度成像系统。以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭；光电传感器的每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息；对目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得目标物体的超分辨率深度图像。本申请技术方案对光电传感器上光电探测单元的累计曝光时间大大缩短，降低功耗，提升帧率和成像速度；转换出的信号具有较高的信噪比，有利于提升目标物体深度图像的成像质量。

Description

一种深度成像方法及深度成像系统
技术领域
本申请涉及成像技术领域，尤其涉及一种深度成像方法及深度成像系统。
背景技术
随着科技的发展，计算机视觉被广泛应用到人们日常生活和各行各业，比如地理测绘成像、遥感、汽车自动驾驶、自主车辆，协作机器人、三维景深测量以及消费电子等领域。雷达是实现计算机视觉的一种重要技术。雷达包括但不限于激光雷达、毫米波雷达、可见光雷达。3D摄像机是雷达系统的一种应用实例，该实例性系统组成包括：激光脉冲发射端、激光脉冲接收端、时间数字转换器(Time to Digital Converter,TDC)、控制系统。
雷达工作场景中，激光脉冲发射端产生光脉冲并将其发射到环境中，光脉冲经环境中的目标物体反射后，由接收端接收。接收端将接收到的光子转换为电信号再提供给TDC。TDC参考脉冲的发射时刻对返回光子的延时进行量化，再放入给定宽度的时间网格中。当发射的脉冲数足够多时，时间网格中事件的个数可以形成直方图。直方图中最高的位置对应于脉冲的飞行时间(Time Of Flight,TOF)，通过TOF可以计算出目标物体的距离。
光电传感器通常可作为接收端来检测光脉冲。深度成像在计算机视觉等领域的应用非常广泛。随着深度成像应用需求的不断丰富，深度成像对分辨率的需求也越来越高。然而，受半导体工艺和体积的限制，光电传感器上光电探测单元的分辨率难以满足实际需求。
目前可以通过点阵超分技术解决深度成像的高分辨率需求与光电传感器的低分辨率性能的矛盾，在光电传感器的原有分辨率基础上构建虚拟的尺寸更小的超分像素，进而使光电传感器的分辨率提升，以满足深度成像的高分辨率需求。深度成像使用的3D摄像机的收发模组通常具有一定的基线距离，导致收发位置失配，失配偏移量又称为视差。视差以光电探测单元的个数作为度量单元，视差随目标距离而变化。由于视差的存在，在目标距离未知的条件下，光电传感器无法确定激光光斑所在的光电探测单元的位置。因此，往往需要全部打开周围的光电探测单元来检测接收到脉冲的光电探测单元。然而，在强环境光场景下全开光电探测单元所产生的功耗是芯片无法承受的。同时，受TDC数目限制，多个光电探测单元共用一个TDC，全开光电探测单元时仅有一个光电探测单元中有目标信号，其余光电探测单元检测到的均为噪声，严重降低了TDC接收信号的信噪比，进而难以从直方图中确定信号光。
目前，可以采取分时开启光电探测单元的方式来检测光斑的位置。以分时开启的方式，每个光电探测单元依次曝光一定的时间，但是该检测方式的曝光次数较多且曝光时间长，导致系统功耗非常高，帧率下降，深度成像速度较慢。如果为了降低曝光次数和曝光时间，则目前只能同时对多个光电探测单元采取全开操作，降低了直方图的信噪比，因此降低了信号光的检出概率。
发明内容
本申请提供了一种深度成像方法及深度成像系统，以在保证信噪比的同时降低系统功耗，实现高帧率的点阵超分，提升深度成像的速度。
第一方面，本申请提供一种深度成像方法，包括：
以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；
在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭；所述光电传感器包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；
根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息；
对所述目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得所述目标物体的超分辨率深度图像。
可选地，在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭，具体包括：
确定每个脉冲发射周期内待轮询的光电探测单元；
确定每个所述待轮询的光电探测单元对应的时间窗口；
根据所述时间窗口轮询控制每个所述待轮询的光电探测单元开启和关闭。
可选地，在每个扫描角度下以脉冲发射周期发射激光脉冲，具体包括：
在每个扫描角度持续多个所述脉冲发射周期按照点阵投射方式向所述目标物体发射激光脉冲，以同时在所述光电传感器上形成多个激光光斑；
所述确定每个脉冲发射周期内待轮询的光电探测单元，具体包括：
获得激光器的视场中相邻两个激光光斑的最小间隔；
根据无视差的光电探测单元和所述最小间隔，确定每个脉冲发射周期内每个激光光斑对应的待轮询的光电探测单元。
可选地，获得激光器的视场中相邻两个激光光斑的最小间隔，具体包括：
根据所述激光器与所述光电传感器的基线距离、所述光电传感器的最小探测距离、所述光电探测单元的横向视场角和横向分辨率，获得所述激光器的视场中相邻两个激光光斑的最小间隔。
可选地，确定每个所述待轮询的光电探测单元对应的时间窗口，具体包括：
确定每个所述待轮询的光电探测单元相对于无视差的光电探测单元的偏移范围；
根据所述偏移范围以及偏移与距离的对应关系，确定激光光斑落在每个所述待轮询的光电探测单元时对应的距离范围；
根据所述距离范围以及距离与时间延迟的对应关系，确定每个所述待轮询的光电探测单元能够接收到激光光斑的飞行时间范围；所述飞行时间范围作为所述时间窗口。
可选地，根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息，具体包括：
根据当前的扫描角度下在脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，生成当前的扫描角度对应的直接飞行时间直方图；
在所述直接飞行时间直方图中寻峰，确定当前的扫描角度下激光光斑对应的飞行时间；
根据所述飞行时间以及飞行时间与距离的对应关系，获得当前的扫描角度下激光光斑的距离信息作为该激光光斑的深度信息。
可选地，在所述获得当前的扫描角度下激光光斑的距离信息作为该激光光斑的深度信息之后，所述方法还包括：
根据偏移与距离的对应关系获得所述距离信息对应的偏移量；所述偏移量的整数部分指示目标光电探测单元相对于无视差的光电探测单元偏移的光电探测单元的个数，所述目标光电探测单元为激光光斑所在的光电探测单元，所述偏移量的小数部分指示所述目标光电探测单元中接收到所述激光光斑的超分位置；
根据所述偏移量和所述光电传感器的超分倍数，确定当前的扫描角度下在所述目标光电探测单元中探测到所述激光光斑的超分像素，以构建深度信息与超分像素的对应关系；
所述对所述目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，具体包括：
对所述目标物体扫描完成后，利用所述深度信息与超分像素的对应关系将各个扫描角度下激光光斑的深度信息拼接起来。
可选地，以不同的扫描角度扫描目标物体，具体包括：
在以下一个扫描角度扫描所述目标物体之前调节激光光路，以形成所述下一个扫描角度。
第二方面，本申请提供一种深度成像系统，包括：激光器、控制器、选通元件、光电传感器、时间数字转换器和处理器；所述控制器连接所述激光器；所述光电传感器包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；所述选通开关连接所述光电传感器的所有所述光电探测单元；所述控制器和所述处理器分别连接所述时间数字转换器；所述时间数字转换器还通过所述选通开关连接光电探测单元；
所述控制器，用于控制所述激光器以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；
所述选通开关，用于在每个脉冲发射周期内轮询控制所述光电传感器上的光电探测单元开启和关闭；开启的光电探测单元用于接收所述目标物体反射的光信号，并将所述光信号转换为电信号；
所述时间数字转换器，用于根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号以及当前的扫描角度下各脉冲的发射时间得到飞行时间，并将所述飞行时间转化为计数值；
所述处理器，用于根据所述时间数字转换器转化的计数值和所述电信号形成当前的扫描角度对应的直接飞行时间直方图；根据所述直接飞行时间直方图得到当前的扫描角度下激光光斑的深度信息；当所述激光器对所述目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得所述目标物体的超分辨率深度图像。
可选地，所述激光器包括：激光光源、准直透镜、偏转镜、分光元件和驱动装置；
所述激光光源用于发射激光束，所述激光束包括按照脉冲发射周期发射的激光脉冲；
所述准直透镜用于将所述激光束准直并发送给所述偏转镜；
所述偏转镜与所述驱动装置连接，用于将来自所述准直透镜的激光束反射到所述分光元件；期间，所述偏转镜在所述驱动装置的带动下进行周期性的偏转；
所述分光元件用于将接收到的激光束分光为多束，再向所述目标物体投射多束激光。
从以上技术方案可以看出，本申请实施例至少具有以下优点：
本申请提供的深度成像方法中，以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭；光电传感器包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息；对目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得目标物体的超分辨率深度图像。由于每个脉冲发射周期内光电探测单元是轮询开启，因此相比于分时开启光电探测单元，对光电传感器上光电探测单元的累计曝光时间大大缩短，进而，可以降低功耗，提升帧率和深度成像速度。此外，相比于同时全开光电探测单元的方式，轮询开启的方式保证在某时间开启的光电探测单元不受邻近的其他光电探测单元干扰，转换出的信号具有较高的信噪比，进而，保证较高的有效信号检出概率，有利于提升目标物体深度图像的成像质量。
附图说明
图1为一种点阵超分示意图；
图2为一种发射视场与接收视场的关系示意图；
图3为一种偏移量与距离的关系示意图；
图4为多种不同距离下单个光电探测单元的视场在RX视场中的实际尺寸示意图；
图5为本申请实施例提供的一种深度成像方法的流程图；
图6为一种激光器点阵投射示意图；
图7为本申请实施例提供的扫描角度变化时多个激光光斑在超分像素的位置变化示意图；
图8为本申请实施例提供的横向上其他光电探测单元相对于无视差的光电探测单元的偏移范围示意图；
图9为本申请实施例提供的一个脉冲发射周期内各个待轮询的光电探测单元SPAD0～SPAD4的轮询时序示意图；
图10为本申请实施例提供的一种直接飞行时间直方图的示意图；
图11为本申请实施例提供的一种点阵发射视差示意图；
图12为本申请实施例提供的另一种深度成像方法的流程图；
图13为本申请实施例提供的一种深度成像系统的结构示意图；
图14为本申请实施例提供的一种激光器的结构示意图。
具体实施方式
在进行深度成像时，若光电传感器的分辨率难以满足成像需求时，可以利用点阵超分技术提升分辨率。下面结合附图简要介绍点阵超分技术。
图1为点阵超分示意图。如图1所示，一个光电探测单元的尺寸对应4×4个超分像素，4×4个光电探测单元共用一个TDC。光电探测单元中超分像素的尺寸与激光光斑的尺寸匹配，例如，激光光斑直径为K，将光电探测单元进行划分为多个K×K尺寸的超分像素。此外，激光光斑的直径也可以略小于超分像素的尺寸。
图2为发射视场与接收视场的关系示意图。图2中，TX表示激光器，RX表示光电传感器。贯穿TX的虚线表示激光器的基线，贯穿RX的虚线表示光电传感器的基线。如图2所示，TX与RX的基线存在一定的距离。在图2中，横向表示偏移，纵向表示距离。由于基线距离的存在，导致光的收发位置失配，且失配的偏移量(又称为视差)与距离成反比。
图3为偏移量与距离的关系示意图。在本申请实施例中，偏移量以光电探测单元的个数衡量，例如：偏移3个光电探测单元。以横向偏移为例，实际含义是横向偏移了3个光电探测单元的尺寸。如图3所示，距离越远，偏移量越小；距离越近，偏移量越大。
公式(1)示出偏移量的计算方式：
Figure BDA0002598502360000051
公式(1)中，σ表示偏移量，dbaseline表示基线距离，dspad表示给定距离时单个光电探测单元的视场对应实际视场中的尺寸。如公式(1)，在基线距离一定的情况下，单个光电探测单元的视场对应实际视场中的尺寸与偏移量成反比。结合偏移量与距离的关系可知，单个光电探测单元的视场对应实际视场中的尺寸与距离成正比。
图4展示了多种不同距离下单个光电探测单元的视场在RX视场中的实际尺寸。如图3所示，在与RX越近的距离，单个光电探测单元对应RX视场中的尺寸较小；在与RX较远的距离，单个光电探测单元对应RX视场中的尺寸较大。
公式(2)示出单个光电探测单元的视场对应实际视场中的尺寸的计算方式：
Figure BDA0002598502360000052
公式(2)中，dspad表示单个光电探测单元的视场对应实际视场中的尺寸，Dist表示距离，FOVh表示光电探测单元的横向视场角，Nh表示光电探测单元的横向分辨率。
结合公式(1)和公式(2)得到偏移量与距离的关系式：
Figure BDA0002598502360000053
点阵超分的前提是预先知道光斑在待超分的光电探测单元中的具体位置，而不依赖于光电传感器的输出。即，预知所发射的激光脉冲形成的光斑在光电传感器上的精确位置。目前，分时开启光电探测单元的方式需要依次开启可能探测到光斑的光电探测单元，并检测这些光电探测单元转换信号后形成的直方图中是否存在激光脉冲，以确定光斑的位置。但是分时开启意味着多次的曝光次数和曝光时间，导致系统功耗成倍增加，帧率成倍下降。另一种同一时间全开光电探测单元的方式容易检测到大量的环境光，降低了直方图信噪比，有效信号容易被噪声掩盖，导致光脉冲难以被检出，从而难以确定光斑位置。
由以上描述可知，目前应用点阵超分技术进行深度成像时，高成像信噪比和低系统功耗的要求很难兼顾。
基于上述问题，在本申请中提供了一种深度成像方法及深度成像系统。本申请技术方案中，在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭，缩短了光电探测单元的曝光时间，减少曝光次数，如此节省系统功耗，提升帧率，提升深度成像速度。此外，增强了直方图的信噪比，提升了有效信号的检出率。为便于理解本申请技术方案，以下结合实施例和附图进行详细说明。
方法实施例：
参见图5，该图为本申请实施例提供的一种深度成像方法的流程图。如图5所示，该深度成像方法包括：
步骤501：以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲。
目标物体是指深度成像需要呈现的物体，根据深度图像的实际需求，目标物体可能是人、动物、建筑物等。此处对目标物体的类型不进行限定。本申请实施例中，采用激光器向目标物体发射光脉冲，再由光电传感器接收从目标物体反射的光脉冲。激光的准直性较好，投射到目标物体上时形成光斑，光电传感器则具体对目标物体上的光斑进行探测。
在实际应用中，可以采用多种类型的激光器，例如工作在红外波段的激光器或工作在可见光波段的激光器。光电传感器的探测波段则要与激光器的工作波段匹配，以此实现对所形成光斑的有效探测。
为全面地对目标物体进行扫描以便后续深度成像，可以对目标物体进行二维线扫描。由于二维线扫描可以拆分为若干独立的一维线扫描，以下介绍中，均以横向的一维线扫描为例进行描述。
本申请实施例中，激光器对目标物体的扫描角度不断变化。可以通过在激光器内部调节激光光路来改变扫描角度，也可以不改变激光器内部的激光光路，而是整体调节激光器的位置来改变扫描角度。激光光路调整后形成下一个扫描角度，接着再以下一个扫描角度进行扫描，直到覆盖整个接收视场的超分扫描完成。为提升扫描效率，可以令激光器出射激光点阵，进而当发射激光脉冲时能够在目标物体的表面形成多个激光光斑。图6为一种激光器点阵投射示意图。
本申请实施例中，光电传感器包括多个光电探测单元。光电传感器上光电探测单元按照横向和纵向规律排布。每个光电探测单元的横向尺寸可以与纵向尺寸相同，也可以与纵向尺寸不同。作为示例，光电探测单元可以为单光子雪崩二极管(Single PhotonAvalanche Diode,SPAD)或者雪崩式光电二极管(Avalanche Photon Diode,APD)。此处对于光电探测单元的具体类型不做限定。
每个光电探测单元依据激光光斑的尺寸划分为多个超分像素。例如，激光光斑的直径为D，光电探测单元的横向尺寸和纵向尺寸均为4D，则可以将每个光电探测单元划分为4*4个超分像素。将光电探测单元依据激光光斑的尺寸划分为多个超分像素，目的是后续以光斑被各个超分像素探测时记录的深度信息进行深度成像，满足对深度成像的高分辨率要求。
为便于理解，本申请实施例提供了扫描角度变化时多个激光光斑在超分像素的位置变化示意图，如图7。在图7的左侧和右侧分别表示前后两个扫描角度下激光光斑001～002在光电传感器的光电转换单元中超分像素的位置变化。由图7可知，当扫描角度变化一次时，各个激光光斑001～002在光电传感器上整体横向偏移了1个超分像素。
在以不同的扫描角度扫描目标物体时，在每个扫描角度均以预设的脉冲发射周期发射激光脉冲，目的是累积足够的光子数以便于后续获得激光光斑的深度信息。脉冲发射周期可以按照实际需求设定，例如，设定脉冲发射周期为100ns。
步骤502：在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭。
在扫描角度不变的情况下，光电传感器探测到激光器在不同脉冲发射周期发射的激光脉冲形成的光斑的超分像素的位置是不变的。但是在探测阶段，接收激光光斑处反射的光信号的具体的光电探测单元，以及该光电探测单元上接收激光光斑处反射的光信号的具体的超分像素均是未知的。
本申请实施例中，为了节省功耗，提升帧率和深度成像速度，提出通过轮训方式控制光电探测单元开闭的实现方案。具体地，如本步骤描述，在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭。
在上文对图3的介绍中，目标物体的距离越远，TX视场与RX视场的偏移量越小。本申请实施例中可以预先标定目标距离无限远、TX和RX不存在视差时的光电探测单元作为无视差的光电探测单元。以该无视差的光电探测单元的位置作为参考位置衡量其他各光电探测单元的偏移量。参见图8，横向上其他光电探测单元相对于无视差的光电探测单元的偏移范围示意图。如图8所示，光电探测单元Spad i的偏移范围为[σi-1，σi]。
根据公式(3)可知光电探测单元的偏移量与目标物体的距离的关系。因此结合公式(3)得到偏移范围[σi-1，σi]对应的距离范围[dimin，dimax]，该距离范围的上限dimax和下限dimin表达式如下：
Figure BDA0002598502360000071
Figure BDA0002598502360000072
在进行深度成像时，可以通过激光器发出的光脉冲的飞行时间得到目标物体的距离。距离与飞行时间的关系式如下：
Figure BDA0002598502360000073
公式(6)中，Δt表示飞行时间，c表示光速。因此，根据公式(4)～(6)可以得到光电探测单元探测的目标物体的距离范围[di-1，di]对应的飞行时间范围[tinit_i，tend_i]，飞行时间范围[tinit_i，tend_i]的下限和上限的表达式如下：
Figure BDA0002598502360000074
Figure BDA0002598502360000075
在脉冲发射周期内轮询控制光电探测单元开启之前，可以首先基于确定待轮询的光电探测单元。其后每个待轮训的光电探测单元相对于无视差的光电探测单元的偏移范围，结合偏移与距离的关系得到激光光斑落在每个待轮询的光电探测单元时对应的距离范围，在基于距离与时间延迟的对应关系确定每个待轮询的光电探测单元能够接收到激光光斑的飞行时间范围，将飞行时间范围作为轮询该光电探测单元的时间窗口。如此，确定出每个待轮询的光电探测单元对应的时间窗口。接着，根据时间窗口轮询控制每个待轮询的光电探测单元开启和关闭。
以图8所示光电探测单元Spad i为例，结合公式(7)和公式(8)求得的飞行时间范围[tinit_i，tend_i]，在每个脉冲发射周期内，将tinit_i作为开启Spad i的时刻，将tend_i作为关闭Spad i的时刻。为便于理解，图9示例性地展示了一个脉冲发射周期内各个待轮询的光电探测单元SPAD0～SPAD4的轮询时序。如图9所示，在该脉冲发射周期内依次按照相应的时间窗口轮询控制SPAD0开启，控制SPAD0关闭(控制SPAD1开启)，控制SPAD1关闭(控制SPAD2开启)，控制SPAD2关闭(控制SPAD3开启)，控制SPAD3关闭(控制SPAD4开启)，控制SPAD4关闭。
通过上述方式，在每个脉冲发射周期内，仅在每个待轮询的光电探测单元可能探测到相应距离的激光光斑的时间窗口内对该光电探测单元使能，避免浪费曝光时间，也降低检测到环境光的几率。
步骤503：根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息。
结合前述步骤502，当光电探测单元开启时，即有可能采集到信号光或环境光。实际应用中，在一个脉冲发射周期内被轮询开启的用于探测某个激光光斑的多个光电探测单元中，仅有一个光电探测单元探测到该激光光斑，下文将该光电探测单元称为目标光电探测单元。可以理解的是，随着扫描角度的变化，目标光电探测单元也发生变化。目标光电探测单元探测到信号光(或信号光+环境光)，其余的光电探测单元探测到环境光。
为了获得目标物体的深度图像，该目标光电探测单元所探测的激光光斑具体的深度信息。下面描述实现过程：
根据当前的扫描角度下在脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，生成当前的扫描角度对应的直接飞行时间直方图。直接飞行时间直方图的横轴表示时间，纵轴表示计数值。图10为直接飞行时间直方图的示意图。通过在直方图中寻峰即可得到计数值最高的柱形对应的时间，以该时间作为当前的扫描角度下激光光斑对应的飞行时间。根据飞行时间以及飞行时间与距离的对应关系，如公式(6)，将前一步从直方图得到的飞行时间代入公式(6)中，即可获得当前的扫描角度下激光光斑的距离信息。该距离信息表征了目标光电探测单元探测到的该激光光斑的深度信息。
需要说明的是，步骤501至步骤503均是循环执行的。
步骤504：对目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得目标物体的超分辨率深度图像。
以一维线扫描为例，每改换一次扫描角度，在目标物体的扫描位置变化，即同一激光束透射至目标物体的位置发生改变。并且，光电传感器上接收该同一激光光斑的超分像素的位置横向变化，变化尺度为一个超分像素。
如步骤503的描述，在每个扫描角度下获得了激光光斑的深度信息，因此可以按照每个扫描角度下接收激光光斑的超分像素之间的位置联系，拼接获得目标物体的完整的超分辨率深度图像。
以上即为本申请实施例提供的深度成像方法。该方法中以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭；光电传感器包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息；对目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得目标物体的超分辨率深度图像。
由于每个脉冲发射周期内光电探测单元是轮询开启，因此相比于分时开启光电探测单元，对光电传感器上光电探测单元的累计曝光时间大大缩短，进而，可以降低功耗，提升帧率和深度成像速度。此外，相比于同时全开光电探测单元的方式，轮询开启的方式保证在某时间开启的光电探测单元不受邻近的其他光电探测单元干扰，转换出的信号具有较高的信噪比，进而，保证较高的有效信号检出概率，有利于提升目标物体深度图像的成像质量。
在轮询开启模式下，精确控制每个光电探测单元在一个脉冲发射周期内使能的时间窗口，精确接收各距离可能返回的光子，尽可能地降低环境光的干扰。由于在一个脉冲发射周期内，多个光电探测单元开启的时间内收集到的环境光的光子数等价于在已有技术中单个光电探测单元一直开启的时间内收集到的环境光的光子数，且信号光的检出等价于全开所有光电探测单元，因此不会丢失信号量，并大大节省系统功耗。
当利用激光器对目标物体进行扫描时，为提升扫描效率可以同时向目标物体投射多束激光束。这些激光束可能是平行出射的，也可能非平行出射。以下描述中以平行出射为例进行描述。
参见图11，该图为点阵发射视差示意图。图11中实心圆点表示TX视场中不同的激光光斑，空心圆圈表示RX视场中不同的激光光斑。结合图11不难看出，如果单次轮询控制涉及的光电探测单元过多，有可能在轮询后得到两个或两个以上有效的激光光斑的光信号。此时，容易将较弱的光信号误作为环境光的噪声信号忽略掉。为避免此问题的发生，可以在轮询前首先确定基于单个激光光斑待轮询的光电探测单元。
以下结合实施例和附图描述本申请实施例提供的另一种深度成像方法。
参见图12，该图为本申请实施例提供的另一种深度成像方法的流程图。如图12所示，该深度成像方法包括：
步骤1201：以不同的扫描角度扫描目标物体，在每个扫描角度持续多个脉冲发射周期按照点阵投射方式向目标物体发射激光脉冲，以同时在光电传感器上形成多个激光光斑。
以不同扫描角度形成的多个激光光斑分别参见图7的左侧和图7的右侧。
步骤1202：根据激光器与光电传感器的基线距离、光电传感器的最小探测距离、光电探测单元的横向视场角和横向分辨率，获得激光器的视场中相邻两个激光光斑的最小间隔。
激光器与光电传感器的基线距离可以通过预先标定确定。每个光电传感器的探测能力包括最大探测距离和最小探测距离。最小探测距离可以从光电传感器的出厂参数中获得，也可以通过多次测试获得。光电探测单元的横向视场角和横向分辨率也可以从出厂参数获得。
本申请实施例中为了确定每个脉冲发射周期内每个激光光斑对应的待轮询的光电探测单元，防止一轮轮询探测到一个以上的激光光斑，首先计算激光器的视场(TX视场)中相邻两个激光光斑的最小间隔。对于每个激光光斑，以最小间隔来确定待轮询的光电探测单元。
激光器的视场中相邻两个激光光斑的最小间隔计算公式如下：
Figure BDA0002598502360000101
公式(9)中，Nspot表示TX视场中相邻两个激光光斑的最小间隔，dbaseline表示激光器与光电传感器的基线距离，Distmin表示光电传感器的最小探测距离，FOVh表示光电探测单元的横向视场角，Nh表示光电探测单元的横向分辨率。
Figure BDA0002598502360000102
为向上取整符号，在向上取整符号中为最小探测距离对应的最大偏移量。本申请实施例中将该最大偏移量的上取整结果的基础上加1，以此得到的最终数值作为激光器视场中相邻两个激光光斑的最小间隔。最小间隔用光电探测单元的个数来表示。
步骤1203：根据无视差的光电探测单元和最小间隔，确定每个脉冲发射周期内每个激光光斑对应的待轮询的光电探测单元。
例如，Nspot＝4是指连续的4个光电探测单元作为某一激光光斑对应的待轮询的光电探测单元，而后面连续的4个光电探测单元则要作为相邻的激光光斑对应的待轮询的光电探测单元。以图7为例，最小间隔为4，图中光电探测单元701～704为激光光斑001对应的待轮询的光电探测单元，光电探测单元705～708为激光光斑002对应的待轮询的光电探测单元。
按照公式(9)计算得到的最小间隔Nspot来确定某一激光光斑对应的待轮询的Nspot个光电探测单元不会在一个脉冲发射周期内探测到累计1个以上的激光光斑。如此，降低了确定信号光的难度，避免漏检信号光，增强了信号光检测的针对性和准确性。
步骤1204：确定每个待轮询的光电探测单元对应的时间窗口。
本步骤实现方式参见公式(7)～(8)和图8。
步骤1205：根据时间窗口轮询控制每个待轮询的光电探测单元开启和关闭。
为便于理解本步骤实现方式，请参照图9。
步骤1206：根据当前的扫描角度下在脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，生成当前的扫描角度对应的直接飞行时间直方图。
当目标物体在当前的脉冲发射周期内被S个激光光束投射(S为大于1的整数)，则可以生成S幅直接飞行时间直方图。每幅直接飞行直方图的最大计数值对应的时间为相应的激光光斑的飞行时间。直方图的示例可参照图10。
步骤1207：在直接飞行时间直方图中寻峰，确定当前的扫描角度下激光光斑对应的飞行时间。
步骤1208：根据飞行时间以及飞行时间与距离的对应关系，获得当前的扫描角度下激光光斑的距离信息作为该激光光斑的深度信息。
以上步骤1207至步骤1208的实现方式均已在前述实施例中进行过相关的描述，此处不再赘述。通过飞行时间求得激光光斑深度信息的计算方式参见公式(6)。
为顺利拼接各扫描角度下激光光斑的深度信息，以形成包含目标物体的完整超分辨率深度图像，可以通过以下步骤来确定接收激光光斑处反射的激光光束的超分像素所在的目标光电探测单元以及该超分像素在目标光电探测单元的位置(即超分位置)。
步骤1209：根据偏移与距离的对应关系获得距离信息对应的偏移量。
基于公式(3)可以得到当前的扫描角度下激光光斑的距离信息对应的偏移量表达式：
Figure BDA0002598502360000111
公式(10)中，dobj表示当前扫描角度下某个激光光斑的距离信息，σobj表示该距离信息对应的偏移量。
根据公式(10)计算得到的偏移量通常包括整数部分和小数部分。其中，整数部分指示目标光电探测单元相对于无视差的光电探测单元偏移的光电探测单元的个数，目标光电探测单元即为该激光光斑所在的光电探测单元。偏移量的小数部分则指示目标光电探测单元中接收到激光光斑的超分位置。
以σobj＝3.25为例，表示目标光电探测单元相对于无视差的光电探测单元偏移了3个光电探测单元。为了准确确定目标光电探测单元上接收到激光光斑的超分像素，需要执行以下步骤1210。
步骤1210：根据偏移量和光电传感器的超分倍数，确定当前的扫描角度下在目标光电探测单元中探测到激光光斑的超分像素，以构建深度信息与超分像素的对应关系。
以下公式表达了接收激光光斑的超分像素的确定方式：
Figure BDA0002598502360000112
公式(11)中，lrx表示目标光电探测单元中探测到激光光斑的超分像素的序数，Nsupres表示光电传感器的超分倍数，σobj表示该激光光斑的距离信息对应的偏移量。
Figure BDA0002598502360000113
为向下取整符号，
Figure BDA0002598502360000114
为向上取整符号。如图7示例，一个光电探测单元横向包括4个超分像素，因此超分倍数为4。lrx的取值为1～Nsupres之间的整数。当Nsupres＝4时，则lrx＝1，2，3，4。以σobj＝3.25为例，根据公式(11)计算得到探测到激光光斑的超分像素的序数为1，表示接收该激光光斑的超分像素是目标光电探测单元沿激光光斑的移动方向的第1个超分像素。
如此，构建了目标光电探测单元沿激光光斑的移动方向的第1个超分像素与该激光光斑的深度信息的对应关系。在以点阵投射方式向目标物体发射激光脉冲的场景下，每个扫描角度均可以得到多个超分像素与激光光斑深度信息的对应关系。需要说明的是，步骤1201至步骤1210是循环进行的。因此，通过循环执行步骤1201至步骤1210，能够构建出每个接收过激光光斑的超分像素激光光斑深度信息的对应关系。
步骤1211：对目标物体扫描完成后，利用深度信息与超分像素的对应关系将各个扫描角度下激光光斑的深度信息拼接起来。
以图7为例，将激光光斑001在光电探测单元701的第1个超分像素的深度信息与在光电探测单元701的第2个超分像素的深度信息按照两个超分像素的位置关联拼接起来，以此类推。
在以上实施例中，通过步骤1202获得最小间隔，再通过步骤1203以最小间隔为依据确定每个脉冲发射周期内每个激光光斑对应的待轮询的光电探测单元，降低了确定信号光的难度，避免漏检信号光，增强了信号光检测的针对性和准确性。通过步骤1210构建深度信息与超分像素的对应关系，提升各个目标物体的各位置深度信息的拼接效率，提升深度成像速度。
基于前述实施例提供的深度成像方法，相应地，本申请还提供一种深度成像系统。以下结合实施例和附图介绍该系统。
系统实施例：
参见图13，该图为本申请实施例提供的深度成像系统的结构示意图。如图13所示，深度成像系统包括：
激光器1301、控制器1302、选通元件1303、光电传感器1304、时间数字转换器TDC和处理器1305；
其中，控制器1302连接激光器1301。控制器1302，用于控制激光器1301以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲。
在一种可能的实现方式中，由控制器1302设定激光器1301的脉冲发射周期，激光器1301根据控制器1302提供的脉冲控制信号，以上述脉冲发射周期发射激光脉冲。
在另一种可能的实现方式中，控制器1302可以控制激光器1301的扫描角度。当控制器1302向激光器1301发射扫描角度调节信号时，激光器1301根据该扫描角度调节信号调节扫描角度。
光电传感器1304包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素。光电探测单元可以为SPAD或者APD。此处对于光电探测单元的具体类型不做限定。图13中，仅以SPAD 1、SPAD 2、SPAD 3……SPAD N为示例表示不同的光电探测单元。
选通开关1303连接光电传感器1304的所有光电探测单元。选通开关1303，用于在每个脉冲发射周期内轮询控制光电传感器1304上的光电探测单元开启和关闭。开启的光电探测单元用于接收目标物体反射的光信号(即反射的激光光束)，并将光信号转换为电信号。
控制器1302和处理器1305分别连接时间数字转换器TDC。
时间数字转换器TDC还通过选通开关1303连接光电传感器1304的各个光电探测单元。时间数字转换器TDC，用于根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号(同时也提供了探测到光信号的时间)以及当前的扫描角度下各脉冲的发射时间得到飞行时间，并将飞行时间转化为计数值。
处理器1305，用于根据时间数字转换器TDC转化的计数值和电信号形成当前的扫描角度对应的直接飞行时间直方图；根据直接飞行时间直方图得到当前的扫描角度下激光光斑的深度信息；当激光器1301对目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得目标物体的超分辨率深度图像。
以上即为本申请实施例提供的深度成像系统。由于每个脉冲发射周期内光电探测单元是轮询开启，因此相比于分时开启光电探测单元，对光电传感器上光电探测单元的累计曝光时间大大缩短，进而，可以降低功耗，提升帧率和深度成像速度。此外，相比于同时全开光电探测单元的方式，轮询开启的方式保证在某时间开启的光电探测单元不受邻近的其他光电探测单元干扰，转换出的信号具有较高的信噪比，进而，保证较高的有效信号检出概率，有利于提升目标物体深度图像的成像质量。
在轮询开启模式下，精确控制每个光电探测单元在一个脉冲发射周期内使能的时间窗口，精确接收各距离可能返回的光子，尽可能地降低环境光的干扰。由于在一个脉冲发射周期内，多个光电探测单元开启的时间内收集到的环境光的光子数等价于在已有技术中单个光电探测单元一直开启的时间内收集到的环境光的光子数，且信号光的检出等价于全开所有光电探测单元，因此不会丢失信号量，并大大节省系统功耗。
可选地，深度成像系统还可以进一步包括存储器，存储器与处理器连接，用于存储直接飞行时间直方图。
本申请实施例提供了上述激光器的一种示例实现方式。参见图14，该图示意了一种激光器的结构。如图14所示，激光器包括：激光光源13011、准直透镜13012、偏转镜13013、分光元件13014和驱动装置13015。
其中，激光光源13011用于发射激光束，激光束包括按照脉冲发射周期发射的激光脉冲；
准直透镜13012用于将激光束准直并发送给偏转镜；
偏转镜13013与驱动装置13015连接，用于将来自准直透镜13012的激光束反射到分光元件13014；期间，偏转镜13013在驱动装置13015的带动下进行周期性的偏转。偏转镜13013与驱动装置13015机械连接和/或电性连接。
分光元件13014用于将接收到的激光束分光为多束，再向目标物体投射多束激光。根据分光元件13014的设计，投射出的多束激光可能相互平行，也可能成有夹角。
当控制器1302控制图14所示的激光器调节扫描角度时，具体可以是将扫描角度调节信号发送给驱动装置13015，进而驱动装置13015根据扫描角度调节信号带动偏转镜13013旋转。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种深度成像方法，其特征在于，包括：
以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；
在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭；所述光电传感器包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；
根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息；
对所述目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得所述目标物体的超分辨率深度图像。
2.根据权利要求1所述的深度成像方法，其特征在于，所述在每个脉冲发射周期内轮询控制光电传感器上的光电探测单元开启和关闭，具体包括：
确定每个脉冲发射周期内待轮询的光电探测单元；
确定每个所述待轮询的光电探测单元对应的时间窗口；
根据所述时间窗口轮询控制每个所述待轮询的光电探测单元开启和关闭。
3.根据权利要求2所述的深度成像方法，其特征在于，所述在每个扫描角度下以脉冲发射周期发射激光脉冲，具体包括：
在每个扫描角度持续多个所述脉冲发射周期按照点阵投射方式向所述目标物体发射激光脉冲，以同时在所述光电传感器上形成多个激光光斑；
所述确定每个脉冲发射周期内待轮询的光电探测单元，具体包括：
获得激光器的视场中相邻两个激光光斑的最小间隔；
根据无视差的光电探测单元和所述最小间隔，确定每个脉冲发射周期内每个激光光斑对应的待轮询的光电探测单元。
4.根据权利要求3所述的深度成像方法，其特征在于，所述获得激光器的视场中相邻两个激光光斑的最小间隔，具体包括：
根据所述激光器与所述光电传感器的基线距离、所述光电传感器的最小探测距离、所述光电探测单元的横向视场角和横向分辨率，获得所述激光器的视场中相邻两个激光光斑的最小间隔。
5.根据权利要求2所述的深度成像方法，其特征在于，所述确定每个所述待轮询的光电探测单元对应的时间窗口，具体包括：
确定每个所述待轮询的光电探测单元相对于无视差的光电探测单元的偏移范围；
根据所述偏移范围以及偏移与距离的对应关系，确定激光光斑落在每个所述待轮询的光电探测单元时对应的距离范围；
根据所述距离范围以及距离与时间延迟的对应关系，确定每个所述待轮询的光电探测单元能够接收到激光光斑的飞行时间范围；所述飞行时间范围作为所述时间窗口。
6.根据权利要求1所述的深度成像方法，其特征在于，所述根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，得到当前的扫描角度下激光光斑的深度信息，具体包括：
根据当前的扫描角度下在脉冲发射周期内轮询开启的各个光电探测单元提供的电信号，生成当前的扫描角度对应的直接飞行时间直方图；
在所述直接飞行时间直方图中寻峰，确定当前的扫描角度下激光光斑对应的飞行时间；
根据所述飞行时间以及飞行时间与距离的对应关系，获得当前的扫描角度下激光光斑的距离信息作为该激光光斑的深度信息。
7.根据权利要求6所述的深度成像方法，其特征在于，在所述获得当前的扫描角度下激光光斑的距离信息作为该激光光斑的深度信息之后，所述方法还包括：
根据偏移与距离的对应关系获得所述距离信息对应的偏移量；所述偏移量的整数部分指示目标光电探测单元相对于无视差的光电探测单元偏移的光电探测单元的个数，所述目标光电探测单元为激光光斑所在的光电探测单元，所述偏移量的小数部分指示所述目标光电探测单元中接收到所述激光光斑的超分位置；
根据所述偏移量和所述光电传感器的超分倍数，确定当前的扫描角度下在所述目标光电探测单元中探测到所述激光光斑的超分像素，以构建深度信息与超分像素的对应关系；
所述对所述目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，具体包括：
对所述目标物体扫描完成后，利用所述深度信息与超分像素的对应关系将各个扫描角度下激光光斑的深度信息拼接起来。
8.根据权利要求1所述的深度成像方法，其特征在于，所述以不同的扫描角度扫描目标物体，具体包括：
在以下一个扫描角度扫描所述目标物体之前调节激光光路，以形成所述下一个扫描角度。
9.一种深度成像系统，其特征在于，包括：激光器、控制器、选通元件、光电传感器、时间数字转换器和处理器；所述控制器连接所述激光器；所述光电传感器包括多个光电探测单元，每个光电探测单元依据激光光斑的尺寸划分为多个超分像素；所述选通开关连接所述光电传感器的所有所述光电探测单元；所述控制器和所述处理器分别连接所述时间数字转换器；所述时间数字转换器还通过所述选通开关连接光电探测单元；
所述控制器，用于控制所述激光器以不同的扫描角度扫描目标物体，在每个扫描角度下以脉冲发射周期发射激光脉冲；
所述选通开关，用于在每个脉冲发射周期内轮询控制所述光电传感器上的光电探测单元开启和关闭；开启的光电探测单元用于接收所述目标物体反射的光信号，并将所述光信号转换为电信号；
所述时间数字转换器，用于根据脉冲发射周期内轮询开启的各个光电探测单元提供的电信号以及当前的扫描角度下各脉冲的发射时间得到飞行时间，并将所述飞行时间转化为计数值；
所述处理器，用于根据所述时间数字转换器转化的计数值和所述电信号形成当前的扫描角度对应的直接飞行时间直方图；根据所述直接飞行时间直方图得到当前的扫描角度下激光光斑的深度信息；当所述激光器对所述目标物体扫描完成后，拼接各个扫描角度下激光光斑的深度信息，获得所述目标物体的超分辨率深度图像。
10.根据权利要求9所述的深度成像系统，其特征在于，所述激光器包括：激光光源、准直透镜、偏转镜、分光元件和驱动装置；
所述激光光源用于发射激光束，所述激光束包括按照脉冲发射周期发射的激光脉冲；
所述准直透镜用于将所述激光束准直并发送给所述偏转镜；
所述偏转镜与所述驱动装置连接，用于将来自所述准直透镜的激光束反射到所述分光元件；期间，所述偏转镜在所述驱动装置的带动下进行周期性的偏转；
所述分光元件用于将接收到的激光束分光为多束，再向所述目标物体投射多束激光。
CN202010716865.3A 2020-07-23 2020-07-23 一种深度成像方法及深度成像系统 Pending CN113970757A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010716865.3A CN113970757A (zh) 2020-07-23 2020-07-23 一种深度成像方法及深度成像系统
PCT/CN2021/107301 WO2022017366A1 (zh) 2020-07-23 2021-07-20 一种深度成像方法及深度成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010716865.3A CN113970757A (zh) 2020-07-23 2020-07-23 一种深度成像方法及深度成像系统

Publications (1)

Publication Number Publication Date
CN113970757A true CN113970757A (zh) 2022-01-25

Family

ID=79585292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010716865.3A Pending CN113970757A (zh) 2020-07-23 2020-07-23 一种深度成像方法及深度成像系统

Country Status (2)

Country Link
CN (1) CN113970757A (zh)
WO (1) WO2022017366A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114994704A (zh) * 2022-08-04 2022-09-02 中国科学院西安光学精密机械研究所 基于圆周扫描路径的非视域成像方法、系统及存储介质
WO2023155093A1 (zh) * 2022-02-17 2023-08-24 华为技术有限公司 探测装置及探测方法
CN118011408A (zh) * 2024-02-04 2024-05-10 深圳市三劲科技有限公司 一种基于飞行时间的景深拍摄方法及设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115056818B (zh) * 2022-06-22 2024-04-09 中车青岛四方车辆研究所有限公司 3d测量模组异步控制方法、装置和轨道车辆三维检测系统
CN115588037A (zh) * 2022-09-27 2023-01-10 杭州海康机器人股份有限公司 一种数据采集设备、方法、装置及存储介质
CN115685242B (zh) * 2022-10-31 2024-05-31 哈尔滨工业大学 一种探测激光延时反馈的控制系统
CN116300377B (zh) * 2023-03-06 2023-09-08 深圳市镭神智能系统有限公司 一种时间数字转换器与激光雷达
CN116400379B (zh) * 2023-06-08 2023-09-12 合肥国家实验室 单光子激光雷达三维成像系统和三维成像方法
CN117928386B (zh) * 2024-03-22 2024-05-31 四川拓及轨道交通设备股份有限公司 一种便携式双目接触网几何参数检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015868A1 (en) * 2013-07-11 2015-01-15 Sick Ag Optoelectric Sensor and Method for the Detection and Distance Determination of Objects
CN105549029A (zh) * 2016-01-19 2016-05-04 中国工程物理研究院流体物理研究所 一种照明扫描叠加成像系统及方法
KR20170054203A (ko) * 2015-11-09 2017-05-17 삼성전자주식회사 이미징 장치의 동작 방법
CN110609293A (zh) * 2019-09-19 2019-12-24 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法
WO2020070311A1 (de) * 2018-10-04 2020-04-09 Iris-Gmbh Infrared & Intelligent Sensors Bildgebender sensor
CN111175769A (zh) * 2020-02-14 2020-05-19 深圳奥锐达科技有限公司 一种离轴扫描距离测量系统
CN111427230A (zh) * 2020-03-11 2020-07-17 深圳市安思疆科技有限公司 基于时间飞行的成像方法及3d成像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3391076A1 (en) * 2015-12-20 2018-10-24 Apple Inc. Light detection and ranging sensor
DE102017223102A1 (de) * 2017-12-18 2019-06-19 Robert Bosch Gmbh Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten
KR20200110451A (ko) * 2018-02-13 2020-09-23 센스 포토닉스, 인크. 고분해능 장거리 플래시 lidar를 위한 방법들 및 시스템들

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015868A1 (en) * 2013-07-11 2015-01-15 Sick Ag Optoelectric Sensor and Method for the Detection and Distance Determination of Objects
KR20170054203A (ko) * 2015-11-09 2017-05-17 삼성전자주식회사 이미징 장치의 동작 방법
CN105549029A (zh) * 2016-01-19 2016-05-04 中国工程物理研究院流体物理研究所 一种照明扫描叠加成像系统及方法
WO2020070311A1 (de) * 2018-10-04 2020-04-09 Iris-Gmbh Infrared & Intelligent Sensors Bildgebender sensor
CN110609293A (zh) * 2019-09-19 2019-12-24 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法
CN111175769A (zh) * 2020-02-14 2020-05-19 深圳奥锐达科技有限公司 一种离轴扫描距离测量系统
CN111427230A (zh) * 2020-03-11 2020-07-17 深圳市安思疆科技有限公司 基于时间飞行的成像方法及3d成像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155093A1 (zh) * 2022-02-17 2023-08-24 华为技术有限公司 探测装置及探测方法
CN114994704A (zh) * 2022-08-04 2022-09-02 中国科学院西安光学精密机械研究所 基于圆周扫描路径的非视域成像方法、系统及存储介质
CN114994704B (zh) * 2022-08-04 2022-12-27 中国科学院西安光学精密机械研究所 基于圆周扫描路径的非视域成像方法、系统及存储介质
CN118011408A (zh) * 2024-02-04 2024-05-10 深圳市三劲科技有限公司 一种基于飞行时间的景深拍摄方法及设备

Also Published As

Publication number Publication date
WO2022017366A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
CN113970757A (zh) 一种深度成像方法及深度成像系统
CN110609293B (zh) 一种基于飞行时间的距离探测系统和方法
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US7800739B2 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
CN111025317B (zh) 一种可调的深度测量装置及测量方法
US7554652B1 (en) Light-integrating rangefinding device and method
WO2021051479A1 (zh) 一种基于插值的飞行时间测量方法及测量系统
CN111830530A (zh) 一种距离测量方法、系统及计算机可读存储介质
KR102226359B1 (ko) 스캔 모드를 변경하는 3차원 스캐닝 라이다 센서
CN111025321B (zh) 一种可变焦的深度测量装置及测量方法
WO2021238213A1 (zh) 一种基于tof的深度测量装置、方法及电子设备
CA2716980C (en) Light-integrating rangefinding device and method
WO2022206031A1 (zh) 确定噪声水平的方法、激光雷达以及测距方法
CN112470026A (zh) 激光雷达及其探测方法、存储介质和探测系统
CN111796295A (zh) 一种采集器、采集器的制造方法及距离测量系统
US20240248181A1 (en) Methods and devices for peak signal detection
CN111025319B (zh) 一种深度测量装置及测量方法
CN116930920A (zh) 激光雷达及激光雷达控制方法
CN114488173A (zh) 一种基于飞行时间的距离探测方法和系统
CN213091889U (zh) 一种距离测量系统
CN116559846A (zh) 用于全固态激光雷达的光子探测方法、装置与激光雷达
CN114814880A (zh) 一种激光雷达探测参数调整控制方法及装置
CN113820725A (zh) 一种执行飞行时间测量的系统、方法及电子设备
WO2024113328A1 (zh) 探测方法、阵列探测器、阵列发射器、探测装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination