CN116299496A

CN116299496A - 估计对象反射率的方法、处理装置和存储介质

Info

Publication number: CN116299496A
Application number: CN202211533562.3A
Authority: CN
Inventors: D·兰科; R·迪茨
Original assignee: Aptiv Technologies Ltd
Current assignee: Aptiv Technologies Ltd
Priority date: 2021-12-20
Filing date: 2022-12-01
Publication date: 2023-06-23
Also published as: EP4198553A1; US20230194666A1

Abstract

估计对象反射率的方法、处理装置和存储介质。一种估计LIDAR系统(20)中的对象(26)反射率的方法。该方法包括接收多个LIDAR扫描周期的LIDAR数据，以及通过在多个扫描周期上累积所记录的返回信号来根据所述LIDAR数据生成数据集(43)。在所述数据集中识别与所述对象(26)相关联的数据特征(46)，并且识别所述数据特征(46)的一个或更多个参数。然后可以基于所述一个或更多个参数来确定所述对象(26)的估计反射率。

Description

估计对象反射率的方法、处理装置和存储介质

技术领域

本公开涉及估计光探测和测距(LIDAR)系统中的对象反射率的方法、以及相关联的处理装置和非暂时性计算机可读存储介质。本发明尤其涉及用于在汽车应用中使用的汽车LIDAR系统的方法。

背景技术

近年来，基于飞行时间(TOF)LIDAR的传感器由于能够在变化的距离上精确地测量对象并获得高角度分辨率而变得更广泛地用于汽车应用中。随着自主驾驶的日益流行，这种载具通常具有一个或更多个LIDAR装置，其可以包括单光子雪崩二极管(SPAD)器件的阵列。为了测量到对象的距离，在多个扫描周期内多次照射视场，以在各个SPAD器件中累积足够的信号。这些照射与返回传感器的反射返回光的记录同步。这样，各个SPAD器件用作TOF传感器，并用于收集关于在各个帧中入射到其上的光的三维位置和强度的信息。

作为该过程的一部分，如图1所例示，为各个SPAD器件有效地创建直方图，该直方图记录各个周期的预定定时窗口(T_window)内的激活定时，在多个周期上累积直方图计数。因此，可以通过测量直方图上探测到的峰10的平均返回时间(τ_peak)来确定到对象的距离(R_obj)：

r_obj＝(c·τ_peak)/2

其中，c是光速。

传统的基于SPAD的LIDAR系统的问题源于以下事实：对于各个SPAD探测器像素，在两个连续激活之间存在恢复时间或停滞时间。因此，在高光子入射率下，探测器会变得饱和。这样，SPAD探测器的响应度一直线性直到某一入射光子率然后变平，或者在可瘫痪探测器的情况下甚至可能降低。因此，探测器可以在某个水平上被有效地屏蔽，使得其不再能够记录实际真实的入射光子率。这是重要的，因为所记录的入射光子率与被探测对象的反射率密切相关，而被探测对象的反射率又被LIDAR系统用来提供关于该对象性质的重要信息。例如，诸如壁和阻挡层的固体结构通常具有高反射率。这样，停滞时间的影响意味着在由于高光子率而探测到这样的对象的情况下会产生模糊和/或错误的场景信息。同样地，在较短的探测范围，其中也存在高反射光子率，也会出现模糊和错误的场景信息。

为了解决上述问题，一些LIDAR系统降低发射的激光功率和/或降低传感器的探测器灵敏度。这样，如果开始观察到饱和，则系统试图控制入射光子率以保持在探测器的线性区域内。然而，这种解决方案牺牲了可实现的性能范围，并且还需要逐帧地对发射器功率和/或传感器灵敏度进行附加控制，这又增加了成本。此外，因为这些减轻技术仅可以应用于传感器的大的部分，而不是单独的像素，所以在相同视场中的低反射率对象的探测受到严重损害。另一缓和技术利用了较大的SPAD传感器，其中各个像素由作为子像素的多个独立SPAD元件组成，这些子像素对于每次测量被合并在一起。这样，传感器可以增加在另一SPAD元件的停滞时间内对一个SPAD元件的事件进行计数的概率，从而允许提取高反射率。然而，需要较大的传感器尺寸增加了系统的复杂性，并且最重要的是增加了所涉及的成本。

因此，需要解决传统LIDAR系统中的上述缺点。

发明内容

根据第一个方面，提供了一种用于估计LIDAR系统中的对象反射率的方法，所述方法包括以下步骤：接收多个LIDAR扫描周期的LIDAR数据；通过在所述多个扫描周期上累积所记录的返回信号来根据所述LIDAR数据生成数据集；识别所述数据集中与所述对象相关联的数据特征；识别所述数据特征的一个或更多个参数；以及基于所述一个或更多个参数来确定所述对象的估计反射率。

这样，可以提供一种改进的处理LIDAR数据的方法，其允许在入射光子率的范围内改进对象反射率确定。由此减轻了由SPAD探测器停滞时间的影响引起的在SPAD LIDAR传感器中的固有限制。因此，允许在不增加LIDAR系统整体的成本或复杂性的情况下改进LIDAR成像。

在实施方式中，识别数据特征的一个或更多个参数的步骤和确定对象的估计反射率的步骤包括应用机器学习模型。这样，可以使用经过训练的机器学习模型来估计对象反射率。训练数据可以包括多个对象的所测量的入射光子率，这些对象对于特定LIDAR传感器具有已知反射率。这样，对于特定LIDAR系统，可以优化反射率响应分布。

在实施方式中，识别数据特征的一个或更多个参数的步骤包括将分布函数拟合到数据特征。

在实施方式中，数据特征是峰值，并且将分布函数拟合到数据特征的步骤包括识别峰值的上升沿，并且将分布函数的上升沿拟合到峰值的上升沿。这样，与反射对象相关联的数据特征的起始在累积计数中通过其在噪声基底之上的起始高度来探测。然后使用相关联的合并间隔来指定用于拟合分布函数的起始位置。这样，使用其中传感器受停滞时间影响最小的测量返回信号来拟合分布函数，以提高仿真值的准确性。

在实施方式中，将分布函数拟合到数据特征的步骤包括识别数据集中的累积信号计数的下降，以及基于数据集中的下降的位置调整分布函数的宽度。这样，当传感器停滞阻塞噪声和信号光子时发生的SPAD探测器元件中的瘫痪效应被用于指定用于拟合分布函数的结束位置。因此，瘫痪可用于识别与反射对象相关联的信号在积分计数中何时不再可被探测，从而改进拟合分布函数的准确性。

在实施方式中，分布函数是高斯分布。这样，正态分布可以用于所仿真的反射率响应，在由峰值指定的均值之上和之下具有相等数量的测量结果。

在实施方式中，生成数据集的步骤包括生成直方图。

在实施方式中，将分布函数拟合到数据特征的步骤包括将分布函数的形状拟合到直方图。这样，可以使用图像处理来将所测量的直方图计数的形状图形地拟合到分布函数的形状。

在实施方式中，确定估计反射率的步骤包括对被拟合的分布函数的计数进行积分。这样，被拟合的分布函数的仿真累积计数可用于估计真实累积信号。因此，其表示被探测对象的反射率，而与传感器记录的所测量的返回信号无关。

在实施方式中，确定估计反射率的步骤包括使用拟合分布函数仿真入射光束。这样，分布函数提供了在传感器具有线性反射率响应的情况下将被测量的真实累积信号的估计。

根据第二个方面，提供了一种用于估计LIDAR系统中的对象反射率的处理装置，该处理装置包括：输入端，用于接收多个LIDAR扫描周期的LIDAR数据；以及处理器，用于通过在所述多个扫描周期上累积所记录的返回信号来根据所述LIDAR数据生成数据集，识别所述数据集中与对象相关联的数据特征，以及识别所述数据特征的一个或更多个参数，并且基于所述一个或更多个参数确定所述对象的估计反射率。这样，可以提供一种改进的LIDAR处理装置，其能够通过仿真反射信号来补偿SPAD传感器中的固有缺点，而没有停滞时间的影响。此外，由于可以通过数字信号处理来实现改进的LIDAR输出，而不需要较大或较复杂的传感器，因此可以提供成本有效的解决方案。

在实施方式中，处理器包括机器学习模块，并且机器学习模块识别数据特征的一个或更多个参数并使用机器学习模型来确定对象的估计反射率。

在实施方式中，处理器包括拟合模块，并且拟合模块通过将分布函数拟合到数据特征来识别数据特征的一个或更多个参数。

在实施方式中，数据特征是峰值，并且处理器被配置为识别峰值的上升沿，并将分布函数的上升沿拟合到峰值的上升沿。

在实施方式中，处理器被配置为识别数据集中的累积信号计数的下降，并且基于数据集中的下降的位置调整分布函数的宽度。

根据第三方面，提供了一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储计算机程序，所述计算机程序包括当由计算机执行时使得所述计算机执行以下步骤的指令：接收多个LIDAR扫描周期的LIDAR数据；通过在多个扫描周期上累积所记录的返回信号，根据所述LIDAR数据生成数据集；识别所述数据集中与所述对象相关联的数据特征；识别所述数据特征的一个或更多个参数；并且基于所述一个或更多个参数确定所述对象的估计反射率。这样，改进的数字信号处理可以作为软件提供，允许通过例如更新它们的控制器或电子控制单元软件来安装在现有的LIDAR系统上。

附图说明

现在将参照附图描述示例性实施方式，其中：

图1示出了单个SPAD像素随时间的累积直方图计数；

图2示出了根据示例性实施方式的汽车LIDAR系统的俯视图；

图3示出了根据示例性实施方式的LIDAR装置的示意图；

图4a示出了例示在长距离处在不同反射率下SPAD阵列的积分峰值计数的数目的图；

图4b和图4c示出了图4a中的低反射率和高反射率的拟合直方图计数；

图5a示出了例示在短距离在不同反射率下SPAD阵列的积分峰值计数的数目的图；以及

图5b和图5c示出了图5a中的低反射率和高反射率的拟合直方图计数。

具体实施方式

图2示出了根据示例性实施方式的汽车LIDAR系统20的俯视图。LIDAR系统20包括安装在载具周围的多个LIDAR装置21至24。各个LIDAR装置包括控制器，发射器和传感器，下面参照图3详细描述。LIDAR装置21至24一起提供载具周围的组合视场。诸如行人或建筑物之类的对象26可以进入LIDAR装置21至24中的一个或更多个的视场，以由LIDAR系统20探测。

图3示出了图2所示的LIDAR装置21至24之一的示意图。各个LIDAR装置21至24包括控制器31、发射器33和传感器32。在使用中，在多个扫描周期期间，控制器31控制其发射器33发射一系列输出信号或光脉冲34以照射其视场。这些信号或脉冲34反射离开位于装置的视场中的对象26并返回反射光36，反射光由传感器32探测。在这期间由传感器32捕获的光子被记录在数据集中作为一系列扫描周期上的累积计数。如下面进一步详细讨论的，对象26的反射率越高，反射回传感器32上的光子数越大。

在该实施方式中，控制器31累积传感器计数并执行数字信号处理以产生输出数据。然而，在其它实施方式中，控制器31可以将记录的数据输出到中央处理器来数字信号处理。例如，可以在位于载具中别处的电子控制单元中执行处理。

现在将描述数字信号处理方法。如上所述，传感器31在多个扫描周期上接收LIDAR数据，并且由控制器31通过对多个扫描周期上的累积计数进行合并来生成数据集。因此，形成了具有合并到多个时间间隔中的累积/积分信号计数的数据集。然后在数据集中识别与对象相关联的数据特征，并且将分布函数拟合到该数据特征以重新仿真由于LIDAR传感器32的饱和而丢失的数据。通过这样恢复未探测到的丢失数据，可以计算对象的较准确的估计反射率。下面参照图4a至图4c和图5a至图5c进一步详细描述该过程。

关于这一点，图4a示出了例示对于测量到的分布峰值41和理论的分布峰值42，对象反射率与积分峰值计数之间的关系的图，在这种情况下对于较长距离的对象。如上所述，随着对象26的反射率增加，反射回传感器31的光子数也增加。这由理论曲线42示出，其示出了反射率和积分计数值之间的线性关系。然而，实际上，由于停滞时间对传感器内的SPAD元件的饱和效应，测量到的积分计数值41不呈现这种线性关系。相反，所测量的曲线41在较低的反射率下基本上是线性的，但是响应随着反射率增加而减小，导致由于饱和而导致的变平。

图4b示出了针对长距离处的低反射率对象的示例累积直方图43计数。如图所示，存在与对象26相关联的峰46形式的显著数据特征。因此，如果理论分布峰值被拟合于此，如高斯分布函数44所示，它基本上遵循测量直方图43中的峰值46的形状。这样，在这种情况下可以看出，传感器31的响应因此是线性的，因此对峰值46的累积计数求和或对高斯分布函数44的估计计数的积分都可以用于指示对象的反射率。

与上述相反，图4c示出了在类似的长距离下高反射率对象26的累积直方图43。在这种情况下，与对象26相关的峰值46不太明显，因为增加的反射率导致SPAD元件的饱和。因此，对该峰值46的累积计数求和将提供对象反射率的较不准确的指示。然而，如果将上述高斯分布函数44再次拟合到所测量的直方图计数43中的峰值46，则控制器31能够对线性进行仿真。特别地，控制器31通过将高斯曲线的上升沿与由测量峰值46的初始斜率指定的数据特征的上升沿相匹配来拟合分布函数44。该上升沿在数据集中的位置提供表示第一反射返回信号的累积计数的参数。这样，这些返回信号受饱和度影响最小，从而提供分布函数44的准确拟合。一旦拟合，分布函数44仿真线性反射率响应，并因此有效地允许通过对分布函数44的估计累积计数进行积分来恢复不饱和返回信号。即，积分可用于计算高斯44之下的面积，从而指示从对象26反射的光子的真实总累积计数。因此，其表示所讨论的对象的反射率。

当在短距离处探测到对象时，上述饱和效应甚至更显著。在这一点上，图5a示出了例示对于短距离对象对于测量分布峰值51和理论分布峰值42，对象反射率与积分峰值计数之间的关系的图。如图所示，理论曲线42再次显示反射率和累计计数值之间的线性关系。相反测量曲线51从线性相关中下降得较快，表明随着反射率增加，传感器很快变得饱和。

当短距离观察低反射率对象和高反射率对象时，在直方图计数中也可以看到上述效应。在这方面，图5b示出了在短距离观察的低反射率对象的入射光子率计数直方图。如图所示，在与对象26相关联的测量计数43中再次存在非常显著的峰值46，其与理想化的高斯分布函数44相匹配。这与图5c形成对比，图5c示出了在短距离观察的高反射率对象26的入射光率计数直方图。

在图5c的情况下，由停滞时间引起的饱和效应在测量计数43中产生非常静音的峰值46。这是由于从对象26反射回的高光子率。这样，当在直方图上从左到右移动时，随着SPAD元件在稍后的时间窗中更加饱和，测量的计数43快速降低。此外，一旦经过真实的峰值光子强度，所测量的光子率实际上开始降低，导致直方图中的下降59。该下降59由传感器元件的瘫痪导致，当高入射光子率造成停滞时间阻塞随后的噪声探测时发生该瘫痪。这样，数据集中下降59的位置可以用作指示与对象26相关联的最后信号光子到达的点的参数。在这种情况下，如连同图4c所示的示例，高斯分布函数44可以使用控制器31内的处理再次拟合到测量的直方图计数43的峰值46。这使得高斯峰值44左侧的初始上升沿倾斜与峰值46的上升沿相匹配。同时，下降59由控制器31识别并用于设置分布函数44的宽度。因此，这些参数的组合可用于将分布函数44拟合到实际测量计数43中的峰值46并确定大小，以仿真线性反射率响应。这样，通过对分布函数44的计数进行积分降低恢复未饱和的累积返回信号计数。如在上面的示例中，这允许确定所讨论的对象26的反射率，虽然大部分入射光子率数据未被记录。

通过以上所述，可以提供一种用于估计光入射率范围内的反射率的改进的LIDAR方法、处理装置和非暂时性计算机可读存储介质。有利地，这绕过了传感器的饱和效应的固有限制，并且可以提供改进的反射率确定和图像输出分辨率，而不增加LIDAR系统的成本或复杂性。

应当理解，上述实施方式仅出于说明的目的示出了应用。实际上，实施方式可以应用于许多不同的配置，详细的实施方式对于本领域技术人员来说是易于实现的。

就此而论，例如，虽然上面的示例在将分布函数拟合到直方图中的信号峰值的上下文中描述了该技术，但是应当理解，数据处理可以不需要生成直方图。例如，在一些实施方式中，实现机器学习模型的控制器可用于从数据集识别与对象相关联的数据特征，并基于该数据特征的参数来估计反射率。例如，可以使用算法和包括针对具有已知反射率的多个对象的所测量的入射光子率的训练数据来训练机器学习模型。

Claims

1.一种估计光探测和测距LIDAR系统中的对象反射率的方法，所述方法包括以下步骤：

接收多个LIDAR扫描周期的LIDAR数据；

通过在所述多个LIDAR扫描周期上累积所记录的返回信号，根据所述LIDAR数据生成数据集；

识别所述数据集中与所述对象相关联的数据特征；识别所述数据特征的一个或更多个参数；并且

基于所述一个或更多个参数确定所述对象的估计反射率。

2.根据权利要求1所述的方法，其中，识别所述数据特征的所述一个或更多个参数的步骤和确定所述对象的所述估计反射率的步骤包括应用机器学习模型。

3.根据权利要求1所述的方法，其中，识别所述数据特征的所述一个或更多个参数的步骤包括将分布函数拟合到所述数据特征。

4.根据权利要求3所述的方法，其中，所述数据特征是峰值，并且将所述分布函数拟合到所述数据特征的步骤包括识别所述峰值的上升沿，并且将所述分布函数的上升沿拟合到所述峰值的所述上升沿。

5.根据权利要求3所述的方法，其中，将所述分布函数拟合到所述数据特征的步骤包括：识别所述数据集中的累积信号计数中的下降，并且基于所述数据集中的所述下降的位置来调整所述分布函数的宽度。

6.根据权利要求3所述的方法，其中，所述分布函数是高斯分布函数。

7.根据权利要求3所述的方法，其中，生成所述数据集的步骤包括生成直方图。

8.根据权利要求7所述的方法，其中，将所述分布函数拟合到所述数据特征的步骤包括将所述分布函数的形状拟合到所述直方图。

9.根据权利要求3所述的方法，其中，确定所述估计反射率的步骤包括对被拟合的分布函数的计数进行积分。

10.一种估计光探测和测距LIDAR系统中的对象反射率的处理装置，所述处理装置包括：

输入端，用于接收多个LIDAR扫描周期的LIDAR数据；以及

处理器，用于通过在所述多个LIDAR扫描周期上累积所记录的返回信号来根据所述LIDAR数据生成数据集，识别所述数据集中与对象相关联的数据特征，以及识别所述数据特征的一个或更多个参数，并且基于所述一个或更多个参数来确定所述对象的估计反射率。

11.根据权利要求10所述的处理装置，其中，所述处理器包括机器学习模块，并且所述机器学习模块识别所述数据特征的所述一个或更多个参数，并使用机器学习模型来确定所述对象的估计反射率。

12.根据权利要求10所述的处理装置，其中，所述处理器包括拟合模块，并且所述拟合模块通过将分布函数拟合到所述数据特征来识别所述数据特征的所述一个或更多个参数。

13.根据权利要求12所述的处理装置，其中，所述数据特征是峰值，并且所述处理器被配置为识别所述峰值的上升沿，并将所述分布函数的上升沿拟合到所述峰值的所述上升沿。

14.根据权利要求12或13所述的处理装置，其中，所述处理器被配置为识别所述数据集中的累积信号计数中的下降，并且基于所述数据集中的所述下降的位置来调整所述分布函数的宽度。

15.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储计算机程序，所述计算机程序包括当由计算机执行时使得所述计算机执行根据权利要求1至9中任一项所述的方法。