CN112887627B - 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质 - Google Patents

Abstract

本发明公开一种方法包括获取在高照度下捕捉的第一图像帧的范围数据和强度数据，该第一图像帧包括高反射率物体和低反射率物体的图像，该高反射率对象的图像饱和；获取以降低的照度下捕捉的第二图像帧的范围数据强度数据，该第二图像帧包括高反射率物体的图像，低反射率物体的图像不可见；以及识别第一图像帧上的饱和区域。该方法还包括在所识别的饱和区域和第二图像帧上的对应区域之间执行互相关操作，以识别饱和区域中的区域，所识别出的区域与第一图像帧上的高反射率物体的预期大小相对应，并用第二图像帧中的对应区域替换饱和区域中的识别区域。

Description

增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机 器可读介质

技术领域

本发明的实施例总体上涉及遥感，更具体地涉及对同一场景进行多次曝光并组合多个图像帧以增加成像设备(如光探测和测距(LiDAR)设备)的动态范围的方法。

背景技术

LiDAR设备可以通过利用激光脉冲照射环境中的物体并测量物体反射脉冲来测量到该物体的距离。LiDAR设备通常利用高级光学器件和旋转组件来创建广阔的视野，但是这种实现方式往往体积庞大且昂贵。固态激光雷达传感器往往成本较低，但其尺寸仍然较大。

与在照相机中一样，高反射率的物体可能会使LiDAR检测器饱和。饱和会导致高反射率物体看起来比预期的要大，并且可能会阻止LiDAR设备识别与高反射率物体相邻的低反射率物体。

该问题可以通过在具有模拟光电探测器的机械LiDAR设备中使用增益控制来解决，该增益可以通过调节光电探测器的灵敏度来控制。但是，增益控制对于在其光电检测器中使用单光子雪崩二极管(SPAD)的LiDAR设备无效，因为SPAD本质上是纯粹的数字，这使得增益控制变得不切实际。

发明内容

本发明描述一种将不同曝光的图像帧进行组合的方法从而增加成像装置(LiDAR设备)的动态范围。一种示例性方法包括获取在高照度下捕捉的第一图像帧的范围数据和强度数据，该第一图像帧包括高反射率物体和低反射率物体的图像，该高反射率对象的图像饱和；获取以降低的照度下捕捉的第二图像帧的范围数据强度数据，该第二图像帧包括高反射率物体的图像，低反射率物体的图像不可见；以及识别第一图像帧上的饱和区域。该方法还包括在所识别的饱和区域和第二图像帧上的对应区域之间执行互相关操作，以识别饱和区域中的区域，所识别出的区域与第一图像帧上的高反射率物体的预期大小相对应，并用第二图像帧中的对应区域替换饱和区域中的识别区域。

本发明还描述一种被配置为执行以上方法的电子电路和一种其内存储有指令的非暂时性机器可读介质。

附图说明

在附图中通过示例而非限制的方式展示本公开的实施例，其中相同的附图标记指示相同的元件。

图1示出了可以在其中实现本发明的方法实施例的LiDAR设备的示例。

图2进一步示出了根据一个实施例的LiDAR设备。

图3A-3B示出了根据一个实施例的处于高照度和降低照度的光电检测器。

图4示出了根据一个实施例的成像处理组件如何将在不同照度下捕捉的图像组合。

图5A-5B示出了根据一个实施例的在不同照度下的触发宏像素的示例。

图6示出根据一个实施例的增加LiDAR设备的动态范围的方法的过程。

图7示出了根据一个实施例的用于将在不同强度的照度下捕捉的不同图像帧进行组合的系统。

图8示出了根据一个实施例的用于将在不同强度的照度下捕捉的图像帧进行组合的过程。

图9A-9B示出了根据一个实施例的获得合成图像帧的示例。

图10示出根据一个实施例的增加LiDAR设备的动态范围的方法的过程。

具体实施方式

以下描述和附图是说明性的，并且不应解释为限制性的。以下描述了许多具体细节以提供对各种实施例的透彻理解。但是，在某些情况下，出于实施例的简要讨论，一些众所周知的或常规的细节没有描述。

如上所述，高反射率物体可能导致LiDAR设备的光电检测器饱和，从而导致图像失真。例如，饱和图像的尺寸可能看起来比其支持的尺寸更大，甚至可能会遮蔽同一场景中近距离的低反射率物体。

为了解决上述问题，本发明提供了用于捕捉具有不同反射率水平的物体的系统和方法。在一个实施例中，LiDAR设备可以使用相差一个或多个数量级的激光脉冲依次照射具有高反射率物体和低反射率物体的场景。该LiDAR 设备可以使用互相关将所述图像帧与在降低照度条件下捕捉的一个或多个图像帧进行组合，以获得合成图像帧。该合成图像帧可以以预期大小显示高反射率物体和低反射率物体，并具有增加的动态范围。LiDAR设备的动态范围即为LiDAR设备能够捕捉的光强度范围。

根据第一方面，本文描述了一种增加LiDAR设备的动态范围的方法包括：在第一时间向场景发射高照度，该场景包括高反射率物体和低反射率物体；第二次向场景发出降低的照度；检测在高照度下捕捉的第一图像帧上的饱和区域；以及响应于检测到饱和区域，将在高照度下捕捉的第一图像帧和在降低照度下捕捉的第二图像帧进行组合。

高照度和降低的照度连续地发射。例如，在发射高照度与发射降低的照度之间可以有三或四微秒的时间间隔。

在一个实施例中，高照度的强度是降低照度的强度的多倍。在一个示例中，高照度的强度可以比降低照度的强度强一个或多个数量级，使得第一图像帧上的高反射率物体的图像被饱和，而低反射率物体在第一个图像帧上的图像达到预期大小；并且第二图像帧上的高反射率物体的图像达到预期大小，而第二图像帧上的低反射率物体的图像不可见。

在一个实施例中，将第一图像帧和第二图像帧进行组合包括：将第一图像帧上的高反射率物体的图像的一部分替换为第二图像帧上的高反射率物体的图像。

在一个实施例中，在检测第一图像帧上的饱和区域之前，向场景发射一个或多个其他降低的照度；在组合第一图像帧和第二图像帧以获得合成图像帧之后，将所述合成图像帧与在一个或多个降低的照度的每一个处捕捉的图像帧进行组合。

在一个实施例中，所述LiDAR设备被配置为读取安装所述LiDAR设备的主对象的速度，并基于主对象的速度在一段时间内延迟发射下一个高照度。

根据第二方面，本文描述了一种将不同曝光的图像帧进行组合的成像算法以增加LiDAR的动态范围。

在一个实施例中，示例性方法包括获取在高照度下捕捉的第一图像帧的范围数据和强度数据，该第一图像帧包括高反射率物体的图像和低反射率物体的图像，其中该高反射率物体的图像饱和；获取以低照度拍摄的第二图像帧的范围数据强度数据，所述第二图像帧包括高反射率物体的图像，其中低反射率物体不可见；在第一图像帧上识别饱和区域。该方法还包括在所识别的饱和区域和第二图像帧上的对应区域之间执行互相关操作，以识别饱和区域中的一区域，所识别的区域与第一图像上的高反射率物体的预期大小相对应；并用第二图像帧中的对应区域替换饱和区域中的识别区域。

在一个实施例中，在替换从饱和区域中识别出的区域之后，对与对应区域相关的强度数据和范围数据执行梯度步以对该对应区域进行去噪。此外，在替换从饱和区域中识别出的区域之前，对与识别区域相关的强度数据和距离数据执行梯度步，以对饱和区域中的识别出的区域进行去噪。

在一个实施例中，根据示例性方法，以用第二图像帧的对应区域对饱和区域的其余部分进行更新。在每个互相关操作之后，可以针对与饱和区域的其余部分相关的强度数据和范围数据执行梯度步，以对饱和区域的更新后的其余部分进行去噪。对范围数据执行梯度步是指对范围数据定义的数据点拟合一个连续的光滑曲面。

在一个实施例中，该方法还包括在经过一段时间的延迟之后，在第一图像帧和在高照度下捕捉的另一图像帧之间执行自相关，以去除第一图像帧中的暗像素。用第二图像帧中的对应区域替换饱和区域中的识别区域进一步包括：用与第二图像帧中的对应区域相关的范围数据和强度数据来替换与所述识别出的区域相关的强度数据和范围数据。

本发明实施例中的方法的操作顺序可以调整，某些操作也可以根据实际需要进行组合或删除。

本文描述的实施例可包括存储可执行计算机程序指令的非暂时性机器可读介质，当计算机程序指令由一个或多个数据处理系统执行时，该可执行计算机程序指令可导致一个或多个数据处理系统执行本文所述的一个或多个方法。该指令可以存储在非易失性存储器中，如闪存或其他形式的存储器。实施例也可以作为系统来实施。

以上概述不包括本公开中所有实施例的详尽列举。可以从本公开中描述的各个方面和实施例的所有合适的组合中实施本公开中的所有装置和方法。

固态LiDAR设备

图1展示为根据一个实施例可以在其中实施本发明的方法实施例的 LiDAR设备示例。

该LiDAR设备可以是固态LiDAR设备101，其可以通过用激光脉冲 (激光束)照射环境中的物体来测量到物体的距离。反射的激光脉冲和波长的返回时间的差异可用于创建环境的点云。点云可以提供空间位置和深度信息，以用于识别和跟踪物体。

如图1所示，该LiDAR设备101包括激光脉冲发射单元104、激光脉冲扫描器105、激光脉冲接收单元109和控制单元107。该激光脉冲发射单元104 可以包括一个或多个可发射包含不同频率的光子的短脉冲激光束的激光发射器。激光脉冲发射单元可以发射激光点或线性激光束。在某些实施例中，可以使用扩散器来增加激光点的大小，包括将所述激光点的形状改变为激光束。

在一个实施例中，激光脉冲发射单元104可发射线性激光束。在该实施例中，该激光脉冲发射单元104使用多个快轴准直器(FAC)来准直来自激光源阵列的激光束、用于将准直的激光束转换为平行激光束的柱面透镜阵列以及用于减小平行激光束的间距棱镜阵列对。激光脉冲发射单元104还可以包括第一柱面透镜，用于将来自棱镜阵列对的激光束聚焦到MEMS镜上，该MEMS 镜将激光束作为线性激光束重定向到预定方向。

例如，在图1中，激光脉冲发射单元104发射出射激光脉冲束113。该出射激光脉冲束113可以由激光脉冲扫描仪105使用各种构件(包括微机电系统(MEMS)反射镜以及一个或多个光学相控阵列(OPA)朝一个或多个方向转向或扫描。该一个或多个方向中的每一个可以被称为转向方向或扫描方向。与每个转向方向相关联的竖直角度和水平角度可以分别被称为转向角度或扫描角度。激光脉冲扫描仪105可以使一个或多个激光脉冲束朝某个转向方向转向。每个激光脉冲束可以具有固定数量的脉冲。

控制单元107可以包括以硬件、软件、固件或其组合实现的控制逻辑。该控制单元107可以以协调的方式驱动LiDAR设备101的其他单元或子系统 104、105和109，并可以执行一种或多种数据处理算法以执行一种或多种用于信号滤波和目标检测操作。例如，控制单元107可以使激光脉冲发射单元104 和激光脉冲扫描仪105同步，使得激光脉冲扫描仪105可对水平视场进行多线扫描。

激光脉冲接收单元109可以使用一个或多个成像透镜(例如，成像透镜115)收集从目标物体103反射的一个或多个激光脉冲束(例如，激光脉冲束 112)，并将一个或多个光电探测器(例如，光电探测器117)上的激光脉冲束聚焦。该光电检测器可为高灵敏度光电二极管。该光电探测器可以将激光脉冲的反射光束中的光子转换为电。激光脉冲接收单元109可以将入射在每个光电检测器上的返回信号发送到控制单元107以进行处理。

在一个实施例中，激光脉冲发射单元104中的激光二极管可以以脉冲模式操作，其中脉冲以固定间隔(例如，每几微秒)重复。可以根据LiDAR设备101的预定性能参数来选择用于为激光二极管提供适当的偏置和调制电流的激光二极管和激光驱动电路。示例性地，性能参数可以包括所需的最大扫描空间范围和分辨率。

高动态范围LiDAR设备

图2进一步示出了根据一个实施例的LiDAR设备101。在该实施例中，控制单元107还可包括激光功率控制器215，成像处理组件217和饱和度检测器 219。

饱和度检测器219可以用软件、硬件或固件来实现，并且可以检测光电检测器117上的饱和度。激光功率控制器109可以向激光脉冲发射单元104 发送控制命令以发射不同的强度激光束201、203。成像处理组件217可以处理由光电检测器117捕捉的图像，该处理包括将在各种强度的照度下在不同时间捕捉的图像帧进行组合，并对图像帧进行去噪。成像处理组件217的该种特征可以增加LiDAR设备101的动态范围。

在一个实施例中，LiDAR设备101可以向具有高反射率物体211和低反射率物体209的场景发射激光高强度输出激光束210。高反射率物体例如道路标志和建筑安全设备。低反射率物体209例如道路上的轮胎。

在一个应用场景中，其上安装有LiDAR设备101的自动驾驶车辆在特定环境中行驶，并在车辆前方遇到相邻的道路标志和黑色轮胎。在高功率照度(简称高照度)201处，反射的激光束205可以在与高反射率物体211相对应的区域中在光电检测器117上产生饱和213。

在一个实施例中，饱和度检测器219可以通过比较宏像素中的SPAD 的数量和入射在宏像素上的光子计数来识别饱和区域213。例如，如果光电检测器117中的每个宏像素包括9个SPAD，且30个光子入射在宏像素上，则饱和检测器219可以确定该宏像素为饱和。

激光功率控制器215可以被编程为指示激光脉冲发射单元104在不同时间产生不同强度的激光脉冲以照亮场景。在一个实施例中，如上所述，激光功率控制器215可以指示激光脉冲发射单元104产生高照度和一种或多种降低的照度，而与场景中物体的反射特性无关。

在另一个实施例中，仅当在以高照度(例如高强度激光束201)捕捉的图像上检测到饱和时，激光功率控制器215才可以指示激光发射单元104产生降低的照度(例如低强度激光束203)。

在另一个实施例中，在基于由初始高照度产生的饱和度检测到高反射率物体后，如果LiDAR设备101确定高反射率物体将在某一特定范围内持续存在一段时间，则该LiDAR设备101可能会停止产生高照度。相反，LiDAR设备 101仅在该时间段内发射低照度。时间段长度可以基于许多因素而定，包括安装 LiDAR设备的主对象的速度，特定环境中障碍物的类型以及高反射率物体最初探测时的距离。

在一个实施例中，LIDAR设备101可以被配置为读取由容纳物体上的速度传感器测量的主对象(例如，自动驾驶车辆)的速度。或者，可以将速度传感器嵌入LiDAR设备中以测量LiDAR设备自身的速度。

光电检测器117可以从高照度捕捉第一图像帧，并从降低的照度捕捉第二图像帧。在第一图像帧中，高反射率物体211饱和，并且在图像帧饱和的情况下以大于其预期大小出现；而低反射率物体209以预期大小出现。在第二图像帧中，由于反射率降低导致相应的宏像素不再饱和，因此高反射率物体211 以其预期的大小出现；而由于在光电探测器117的相应宏像素上没有记录任何光子，因此低反射率物体209不可见。

成像处理组件217可以使用互相关技术来组合两个图像帧，以识别高反射率物体211的图像在第一图像帧上的预期位置，并用高反射率物体211的图像来更新在第二图像帧上的图像。在将两个图像帧组合之后，可以生成以各自预期大小包含高反射率物体211和低反射率物体209的合成图像帧。

图3A-3B示出了根据一个实施例的处于高照度和降低照度的光电检测器117。

在图3A中，示出了由于高照度而在光电检测器117上触发的宏像素。如本公开中所使用的，宏像素也称为最大像素，且将固定数量的SPAD排列成一个微型SPAD阵列。在图3A中示出了包括9个SPAD的宏像素304的示例。光电检测器117包括多个类似于宏像素304的宏像素，多个宏像素形成更大的 SPAD阵列301。

如图3A所示，在高照度场景下，来自低反射率目标209的反射激光束可以触发两个宏像素，形成低反射率物体209的不饱和图像303。来自高反射率物体211的激光束可以导致与高反射率物体211的实际图像307相对应的饱和区域。实际图像307包括相邻的宏像素305和与高反射率物体211的图像309 的预期图像相对应的6个宏像素。实际图像307大于高反射率物体211的预期图像309。

图3B示出了在降低的照度下在光电检测器117上触发的宏像素。在一种实施方式中，高照度可以由100瓦的激光源(例如，激光发射单元104)产生，而降低的照度可以由5瓦的激光源产生。

因此，在高照度条件下，对应于图像303和307的每个宏像素上的光子计数将成比例地减少到该宏像素上的光子计数的二十分之一。由于在相应的宏像素中记录了0个光子，光子计数的减少将导致低反射率物体209在SPAD 阵列301上不可见，并且由于从邻近的宏像素305移除了饱和度，高反射率物体则以其预期大小显示。

图4示出了根据一个实施例的成像处理组件217如何将在不同照度下捕捉的图像组合。如图4所示，成像处理组件217可以获得在高照度下捕捉的图像帧A 402和在降低的照度下捕捉的图像帧B 403。

图像帧A 402包括预期大小的低反射率物体的图像401和高反射率物体的饱和图像405。该饱和图像405大于高反射率物体的预期图像407。由于降低的照度导致每个对应的宏像素记录0个光子，故图像帧B 409在其预期位置 409处未示出低反射率物体。然而，由于照度的降低，高反射率的物体将不会在光电检测器(例如，图3A和图3B中的光电检测器117)上产生饱和，因此其将以其预期大小410出现。

成像处理组件217可以使用互相关技术和去噪技术来将两个图像帧 402和403组合以获得合成图像帧404，该合成图像帧404包括来自图像帧A 402 的图像401和来自图像帧A 403的图像410。

图5A-5B示出了根据一个实施例的在不同照度下的触发的宏像素的示例。

图5A示出了在高照度(100瓦激光束)下的触发的宏像素。来自高反射率物体的反射激光束使12个宏像素503饱和。饱和区域503包括与预期的高反射率物体图像相对应的宏像素(每个都示出30的光子数)和一个或多个相邻的SPAD 502(光子数未示出)。在图5A中，宏像素上的每个数字表示该宏像素在高照度下接收的光子数。由于每个宏像素包括9个SPAD，因此该宏像素最多可以记录9个来自高照度的光子，且忽略超过9个光子的任何光子。

因此，高反射率物体的图像比其预期图像501要大。来自低反射率物体的反射激光束触发两个宏像素505，分别记录3个光子和4个光子。因此，低反射率物体以其预期大小出现。

在图5B中，在降低的照度(5瓦激光束)下，与高反射率物体的预期图像501相对应的每个宏像素上的光子数在理论上减少到1.5(但实际上，将记录1个或2个光子)。理论上，其余饱和区域中的每个宏像素在理论上都接收0.5 个光子(实际上，记录0个或1个光子)。对应于低反射率图像505的两个宏像素将记录0个光子，从而使图像505不可见。

在将来自图5A和图5B的两个图像帧组合之后，图像505和图像501 将显示在合成图像帧上。

图6示出了根据一个实施例的增加LiDAR设备的动态范围的方法的过程600。可以通过处理逻辑来执行过程600，该处理逻辑可以包括软件、硬件、固件或其组合。例如，过程600可以由图1中描述的控制单元107执行。

在步骤601中，处理逻辑发送信号或命令以使LiDAR设备的激光脉冲发射单元在第一时间向场景发射高照度，该场景包括高反射率物体和低反射率物体。在步骤603中，处理逻辑发送信号或命令以使激光脉冲发射单元在第二时间朝场景发射降低的照度。在步骤605中，处理逻辑检测在高照度下捕捉的第一图像帧上的饱和区域。在步骤607中，响应于检测到饱和区域，处理逻辑将在高照度下捕捉的第一图像帧和在降低的照度下捕捉的第二图像帧进行组合。

图像组合

如上所述，LiDAR设备101可以使用不同强度的照度来捕捉场景的多个图像帧。初始照度可以是高功率照度，其中每个后续照度的强度降低例如一个或多个数量级。可将多个帧组合成一个合成图像帧。

图7示出了根据一个实施例的用于组合在不同强度的照度下捕捉的不同图像帧的系统。如图7所示，成像处理组件217包括图像加载器701，图像合并器703和图像去噪器705。

在一个实施例中，对于每个场景，所述激光雷达装置101可以发射至少两种照度，第一照度具有最大的强度，而后的每一照度具有减小的强度。在本公开中，两种照度用于说明本文所述的各种实施例。在一个示例实施方式中，第一照度可以是100瓦，第二照度可以是5瓦。

成像处理组件217可以使用图像加载器701加载在第一照度下捕捉的第一图像帧和在第二照度下捕捉的第二图像帧。对于每个图像帧，图像加载器 7-1可以图像帧的加载范围数据和强度数据。成像器加载器701可以调用饱和度检测器219，饱和度检测器219可以基于在光检测器117上的每个宏像素上的光子计数与预先配置的阈值(例如，宏像素中的SPAD数量)之间的对比值来搜索第一图像帧的强度数据中的饱和度。如果搜索到饱和度，则图像加载器701 可以调用图像合并器803以合并两个图像帧。

在一个实施例中，图像合并器703可以使用互相关技术来识别第一图像帧上的饱和区域，并且用来自第二图像帧的对应图像替换该饱和区域。图像去噪器705可以使用梯度步对组合图像帧的范围数据和强度数据进行去噪。

图8示出了根据一个实施例的用于将在不同强度的照度下捕捉的图像帧进行组合的过程800。该处理过程800可以由处理逻辑来执行，该处理逻辑可以包括软件、硬件、固件或其组合。例如，该处理过程800可以由控制单元107 执行，如图1所示。

如图8所示，在步骤801中，处理逻辑加载以高照度捕捉的第一图像帧，包括获取第一图像帧的强度数据和范围数据。该第一图像帧包括高反射率物体的图像和低反射率物体的图像。该高反射率物体的图像为饱和，且比在图像未饱和时呈现的预期尺寸的要大。

在步骤803中，处理逻辑加载以降低的照度捕捉的第二图像帧，包括获取第二图像帧的强度数据和范围数据。降低的照度的强度可以比高照度的强度小一个或多个数量级，或者降低的照度的强度可以为高照度的强度的很小一分数比例。两种照度之间的比例是可以配置的。例如，降低的照度的强度可以为高照度的强度的二十分之一。由于第二图像帧没有饱和，在第二图像帧出现的高反射率物体的图像具有预期大小。而低反射率物体在第二图像帧上不可见。

如本文所使用的，图像帧是点云，其包含测量激光束强度的强度数据和描述该点云中每个LiDAR数据点的位置(例如，XYZ坐标)的范围数据。当激光束入射到宏像素上时，激光束的强度可以由入射在宏像素上的光子数量来表示。如本文中还使用的，在照度下捕捉图像帧意味着当照度的一部分被反射回并入射在光电检测器(例如，图1中的光电检测器117)上时捕捉图像帧。

在步骤805中，处理逻辑基于图像帧的强度数据在第一图像帧上搜索饱和区域。例如，处理逻辑可以基于宏像素上的光子计数来确定一个或多个宏像素是否饱和。如果一个宏像素中的光子计数达到或超过该宏像素中SPAD的数量，则该宏像素处于饱和状态。

在步骤807中，处理逻辑识别饱和度区域，并使用交互相关将第二图像帧上的高反射率物体的图像更新为识别的饱和度区域。互相关技术可用于在两个图像帧上追踪强度数据和范围数据的移动，并对该移动进行比较，从而确定移动相互匹配的程度以及它们最匹配的点。互相关操作仅在两个图像帧上的高反射率物体的两个图像之间基于其强度数据和范围数据进行。由于在两个图像帧上的低反射率物体的两个图像之间都不会饱和，因此不会执行互相关操作。在该实施例中，仅当其中一个图像饱和，且低反射率物体的两个图像均不饱和时，处理逻辑才执行互相关操作。

在互相关操作之后，可以从第一图像帧中的饱和区域中识别与第二图像帧上的高反射率物体的图像相对应的区域。可以用来自第二图像帧的高反射率物体的图像代替饱和区域中的识别区域。

在步骤809中，处理逻辑执行梯度步以对第一图像帧的范围数据进行去噪。该操作中的梯度为第一图像帧的范围数据中的方向变化。可以对第一图像帧的范围数据采取梯度步处理。在梯度步处理中，可以使用代数点集曲面 (APSS)算法对表示第一图像帧的点云进行去噪，该算法将光滑连续表面拟合到范围数据定义的点集上。

在步骤811中，执行梯度步以对第一图像帧上的强度数据进行去噪。此操作中的梯度是强度数据的方向变化。梯度步可以识别数据点是否为孤立点。如果该点是场景的一部分，则梯度会很小，这是因为物理物体通常不会快速变化。没有相邻数据点的随机数据点往往具有较高梯度。执行梯度步以去除具有高梯度的随机数据点。

可以重复上述步骤805-811 810次以获得第一图像帧上的高反射率物体的清晰图像。在多次迭代之后，步骤805-811的最终结果是包括处于其预期大小的低反射率物体的图像和处于其预期大小的高反射率物体的图像的合成图像帧，其包括处于其预期大小的低反射率物体的图像和处于其预期大小的高反射率物体的图像。此外，两个梯度步可以并行执行以改善LiDAR设备的性能。

在步骤813中，如果可以确定包括高反射率物体和低反射率物体的场景不在随后的一段时间内变化，则可以更新照度图(即，输出激光束的光子强度)以避免过饱和。

图9A-9B示出了根据一个实施例的获得合成图像帧的示例。这些图显示了从光电探测器上的4x 7宏像素阵列捕捉的高反射率物体和低反射率物体的图像帧。每个宏像素中心的数字代表每次照度时该宏像素上的光子计数。

图9A示出了高照度的场景，其中饱和区域903代表高反射率物体的实际图像尺寸，而饱和区域903内的区域905代表高反射率物体的预期图像尺寸。如图所示，由于饱和，实际图像尺寸比预期图像尺寸要大。区域907为低反射率物体的实际图像尺寸。图9A还展示与高反射率物体的实际图像相邻的一些像素(即，示出光子计数在1至5范围内的宏像素)904。这些宏像素由于高反射率物体的实际图像的饱和而记录光子，且它们不是高反射率物体的实际图像的一部分。

图9B示出了降低照度的场景。在该示例中，降低的照度的强度为高照度的强度的二十分之一。由于降低的照度导致没有光子计数被记录，故低反射率913的图像不可见。暗像素区域906在降低的照度下大部分接收0个光子。先前饱和区域909中的4个宏像素911中的每个均接收2个光子或1个光子，并且先前饱和区域909中的其余宏像素接收到0个光子或1个光子。在降低的照度下，高反射率物体的期望图像911与实际图像的尺寸相同，两者均对应于在降低的照度下不再饱和的4个宏像素。

在获得两个图像帧的距离数据和强度数据之后，成像处理组件可以首先检查在高照度下捕捉的图像帧上是否可以找到饱和区域。因为在该示例中，饱和区域在图像帧上，所以成像处理组件可以在高照度下捕捉的高反射率物体的实际图像与在低照度下捕捉的图像的相应区域之间执行互相关。

在多次迭代递归过程的第一迭代期间，成像处理组件可以在图9A所示的高照度图像帧上搜索饱和区域903，然后在区域903和图9B中示出的降低的照度的图像帧上的对应区域909之间执行互相关。由此，成像处理组件可以识别出区域905与高反射率物体的预期大小相对应。

在从降低的照度图像帧中对应的区域911替换区域905之前，可以对强度数据采取梯度步以对与区域905相关的强度数据进行去噪。例如，当区域 905在每个宏像素中不具有30的光子计数时，可能在强度数据中产生噪声(在图9A中未示出该噪声宏像素)。该梯度步可以去除噪声宏像素，从而可以确定需要替换的精确区域。

去噪之后，成像处理组件可以用对应的区域911替换区域905。在替换之后，可以对与该区域相关的范围数据进行梯度步，对范围数据定义的数据点拟合一个光滑连续的曲面。

在多迭代递归过程的第二次迭代期间，成像处理组件可以继续在高照度图像帧中搜索饱和，然后在饱和度区域903的其余部分(即，宏像素(光子计数为10)和降低照度的图像帧中的相应区域之间执行另一个互相关。在相关之后，可以用相应的宏像素上的光子计数来更新饱和度903区域的其余部分。结果，饱和区域903的其余部分可能以0或1的光子计数结束。具有1的光子计数的宏像素为噪声像素，需要通过去噪步骤去除。

递归过程可以在预定的迭代次数(例如3次)之后或在所有饱和区域都已更新时终止。

在一个实施例中，成像处理组件可能需要执行自相关以从高照度图像帧中去除暗像素904，这是由于低照度图像帧不具有暗像素，因此不能通过互相关去除暗像素。自相关为一系列信号与它们自身的延迟副本的函数，它们为延迟的函数。在该实施例中，可以高照度图像帧以及在延迟一段时间之后在高照度下捕捉的另一图像帧之间执行自相关。随着延迟，场景可能已发生变化，原始的高反射率物体可能不在那里而导致光电探测器上出现暗像素。因此，这种自相关可以去除第一高照度图像帧上的暗像素。

图10是示出了根据一个实施例的增加LiDAR设备的动态范围的方法的过程1000。可以通过处理逻辑来执行该过程1000，该处理逻辑可以包括软件、硬件、固件或其组合。例如，过程1000可以由图1中描述的控制单元107执行。

在步骤1001中，处理逻辑获取在高照度下捕捉的第一图像帧的范围数据和强度数据，该第一图像帧包括高反射率物体的图像和低反射率物体的图像，其中高反射率物体饱和。在步骤1003中，处理逻辑获取在降低的照度捕捉的第二图像帧的范围数据和强度数据，该第二图像帧包括高反射率物体的图像，而低反射率物体不可见。在步骤1005中，处理逻辑识别第一图像帧上的饱和区域。在步骤1007中，处理逻辑在所识别的饱和区域与第二图像帧上的对应区域之间执行互相关操作以识别饱和区域中的一区域，所识别的区域对应于第一个图像帧上的高反射率物体的预期大小。在步骤1009中，处理逻辑用第二图像帧中的对应区域替换饱和区域中的所识别的区域。

如上文所示和所述的一些或全部组件可以以软件、硬件或其组合来实现。例如，这样的组件可以被实现为安装并存储在永久性存储设备中的软件，该软件可以由处理器(未示出)加载并在存储器中执行以执行贯穿本申请描述的过程或操作。可选地，这样的组件可以被实现为被编程或嵌入到诸如硬件(例如，集成电路(例如专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))的专用硬件中的可执行代码，可以通过相应的驱动程序和/或操作系统从应用程序进行访问。此外，可以将这样的组件实现为处理器或处理器核心中的特定硬件逻辑，作为可由软件组件经由一个或多个特定指令访问的指令集的一部分。

前文已按照对计算机内存中的数据位的操作的算法和符号表示的方式给出部分详细描述。这些算法描述和表示是数据处理领域的技术人员用来最有效地向本领域的其他技术人员传达其工作实质的方式。这里，算法通常被认为是导致预期结果的自一致的操作序列。这些操作为需要对物理量进行物理操纵的操作。

所有这些和类似的术语都与相应的物理量相联系，并且仅仅是应用于这些物理量的方便标签。除非从上面的讨论明显另外指出，否则应理解为，在整个描述中，利用诸如以下权利要求中所阐述的术语的讨论是指计算机系统或类似电子计算设备的动作和过程。将计算机系统的寄存器和内存中表示为物理 (电子)量的数据进行操作和转换，将其他数据类似地表示为计算机系统内存或寄存器或其他此类信息存储、传输或显示设备中的物理量。

本公开的实施例还涉及一种用于执行本文中的操作的设备。这样的计算机程序被存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器 (例如计算机)可读的形式存储信息的任何构件。例如，机器可读(例如，计算机可读)介质包括机器(例如计算机)可读存储介质(例如只读存储器 (“ROM”)、随机存取存储器(“RAM”)、磁盘)存储介质、光学存储介质、闪存设备)。

上述图中描述的处理或方法可以通过处理逻辑来执行，处理逻辑包括硬件(例如电路、专用逻辑等)、软件(例如，体现在非暂时计算机可读介质上的) 或两者的组合。尽管上述过程或方法是按照一些顺序操作描述的，但值得注意的是，所描述的一些操作可以不同的顺序执行。而且，有些操作可能是并行执行的，而不是顺序执行的。

本公开的实施例未参照任何特定的编程语言进行描述。应当理解，可以使用多种编程语言来实现如本文所述的本公开的实施例的教导。

在前述说明书中，已经参考本公开的特定示例性实施例描述了本公开的实施例。显而易见的是，在不脱离如所附权利要求书中阐述的本公开的更广泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性而不是限制性的。

Claims (18)

1.一种增加光检测测距LiDAR设备的动态范围的方法，包括：

获取高照度的激光脉冲拍摄的第一图像帧的范围数据和强度数据，所述第一图像帧包括高反射率物体和低反射率物体的图像，其中所述高反射率物体的图像饱和；

获取以降低的照度的激光脉冲拍摄的第二图像帧的范围数据强度数据，所述第二图像帧包括所述高反射率物体的图像，其中所述第二图像帧的所述高反射率物体的图像达到预期大小，低反射率物体的图像不可见，所述第一图像帧和所述第二图像帧均为点云；

识别所述第一图像帧上的饱和区域；

在所识别出的所述饱和区域和所述第二图像帧上的对应区域之间执行互相关运算，以识别所述饱和区域中的一区域，所识别出的所述区域与所述第一图像帧上的所述高反射率物体的预期大小相对应；以及

用所述第二图像帧中的一对应区域替换所述饱和区域中识别出的所述区域。

2.根据权利要求1所述的方法，其特征在于，还包括：

在替换从所述饱和区域中识别出的所述区域之后，对与所述对应区域相关的强度数据和范围数据执行梯度步，以对所述对应区域进行去噪。

3.根据权利要求1所述的方法，其特征在于，还包括：

在替换从所述饱和区域中识别出的所述区域之前，对与所述区域相关的强度数据和范围数据执行梯度步，以对所识别出的所述区域进行去噪。

4.根据权利要求1所述的方法，其特征在于，还包括：

执行一个或多个互相关操作，以用所述第二图像帧的所述对应区域对所述饱和区域的其余部分进行更新；

在每个互相关操作之后，对与所述饱和区域的其余部分相关的强度数据和范围数据执行梯度步，以对所述饱和区域的更新后的其余部分进行降噪。

5.根据权利要求4所述的方法，其特征在于：对所述范围数据执行梯度步指对所述范围数据定义的数据点拟合一个连续的光滑曲面。

6.根据权利要求4所述的方法，其特征在于，还包括：

在一段时间的延迟之后，在所述第一图像帧和在所述高照度下捕捉的另一个图像帧之间执行自相关，以去除所述第一图像帧中的暗像素。

7.根据权利要求1所述的方法，其特征在于：用所述第二图像帧中的一对应区域替换所述饱和区域中所识别出的所述区域进一步包括：用与所述第二图像帧中的所述对应区域相关的范围数据和强度数据来替换与所识别出的所述区域相关的强度数据和范围数据。

8.一种光检测测距LiDAR设备，包括电子电路，所述电子电路被配置为执行以下操作：

获取高照度的激光脉冲拍摄的第一图像帧的范围数据和强度数据，所述第一图像帧包括高反射率物体和低反射率物体的图像，其中所述高反射率物体的图像饱和；

获取以降低的照度的激光脉冲拍摄的第二图像帧的范围数据强度数据，所述第二图像帧包括所述高反射率物体的图像，其中所述第二图像帧的所述高反射率物体的图像达到预期大小，所述低反射率物体的图像不可见，所述第一图像帧和所述第二图像帧均为点云；

识别所述第一图像帧上的饱和区域；

在所识别出的所述饱和区域和所述第二图像帧上的对应区域之间执行互相关运算，以识别所述饱和区域中的一区域，所识别出的所述区域与所述第一图像帧上的所述高反射率物体的预期大小相对应；以及

将在所述饱和区域中识别出的所述区域替换为所述第二图像帧中的对应区域。

9.根据权利要求8所述的设备，其特征在于，所述操作还包括：

在替换饱和区域中的识别区域之后，对与对应区域有关的强度数据和范围数据执行梯度步骤以对对应区域进行去噪。

10.根据权利要求8所述的设备，其特征在于，所述操作还包括：

在替换从所述饱和区域中识别出的所述区域之前，对与所述区域相关的强度数据和范围数据执行梯度步，以对所识别出的所述区域进行去噪。

11.根据权利要求8所述的设备，其特征在于，所述操作还包括：

执行一个或多个互相关操作，以用所述第二图像帧的所述对应区域对所述饱和区域的其余部分进行更新；

在每个互相关操作之后，对与所述饱和区域的其余部分相关的强度数据和范围数据执行梯度步，以对所述饱和区域的更新后的其余部分进行降噪。

12.根据权利要求11所述的设备，其特征在于：对所述范围数据执行梯度步指对所述范围数据定义的数据点拟合一个连续的光滑曲面。

13.根据权利要求11所述的设备，其特征在于，所述操作还包括：

在一段时间的延迟之后，在所述第一图像帧和在所述高照度下捕捉的另一个图像帧之间执行自相关，以去除所述第一图像帧中的暗像素。

14.根据权利要求8所述的设备，其特征在于：用所述第二图像帧中的所述对应区域替换所述饱和区域中的所识别的所述区域进一步包括：用与所述第二图像帧中的对应区域相关的范围数据和强度数据来替换与所识别出的所述区域相关的强度数据和范围数据。

15.一种其内存储有指令的非暂时性机器可读介质，所述指令在由一处理器执行时使所述处理器执行如权利要求1所述的方法。

16.根据权利要求15所述的非暂时性机器可读介质，其特征在于，所述方法还包括：

在替换饱和区域中的识别区域之后，对与对应区域有关的强度数据和范围数据执行梯度步骤以对对应区域进行去噪。

17.根据权利要求15所述的非暂时性机器可读介质，其特征在于，所述方法还包括：

在替换从所述饱和区域中识别出的所述区域之前，对与所述区域相关的强度数据和范围数据执行梯度步，以对所识别出的所述区域进行去噪。

18.根据权利要求15所述的非暂时性机器可读介质，其特征在于，所述方法还包括：

执行一个或多个互相关操作，以用所述第二图像帧的所述对应区域对所述饱和区域的其余部分进行更新；

在每个互相关操作之后，对与所述饱和区域的其余部分相关的强度数据和范围数据执行梯度步，以对所述饱和区域的更新后的其余部分进行降噪。

Images