CN115902838A - 利用摄像头数据自动检测激光雷达对载具的对准状态 - Google Patents

Abstract

载具中的系统包括：用于获取激光雷达坐标系中的激光雷达数据的激光雷达系统，用于获取摄像头坐标系的摄像头数据的摄像头，以及用于自动确定对准状态的处理电路，所述对准状态导致激光雷达到载具变换矩阵，所述激光雷达到载具变换矩阵将激光雷达数据从激光雷达坐标系投影到载具坐标系以提供激光雷达到载具数据。使用摄像头数据确定对准状态。

Description

利用摄像头数据自动检测激光雷达对载具的对准状态

技术领域

本主题公开涉及使用摄像头数据自动检测激光雷达到载具对准状态。

背景技术

载具(例如，汽车、卡车、建筑设备、农场设备)越来越多地包括获取关于载具及其环境的信息的传感器。该信息有助于载具的半自主或自主操作。例如，传感器(例如，摄像头、无线电雷达系统、激光雷达系统、惯性测量单元(IMU)、转向角传感器)可以促进半自主操纵，诸如自动制动、碰撞避免或自适应巡航控制。通常，如摄像头、无线电雷达系统和激光雷达系统的传感器具有与载具坐标系不同的坐标系。传感器坐标系必须与载具坐标系正确对准，以从传感器获取容易适用于载具操作的信息。因此，期望使用摄像头数据提供激光雷达到载具对准状态的自动检测。

发明内容

在一个示例性实施例中，载具中的系统包括：用于获取激光雷达坐标系中的激光雷达数据的激光雷达系统，用于获取摄像头坐标系中的摄像头数据的摄像头，以及用于自动确定对准状态的处理电路，该对准状态导致激光雷达到载具变换矩阵，该激光雷达到载具变换矩阵将激光雷达数据从激光雷达坐标系投影到载具坐标系以提供激光雷达到载具数据。使用摄像头数据确定对准状态。

除了本文描述的一个或多个特征之外，所述摄像头的视场的至少一部分在重叠区域中与所述激光雷达系统的视场重叠。

除了本文描述的一个或多个特征之外，所述处理电路使用所述激光雷达到载具变换矩阵将所述激光雷达数据投影到所述载具坐标系，然后使用载具到摄像头变换矩阵来获取表示所述激光雷达数据到所述摄像头坐标系的投影的激光雷达到摄像头数据。

除了本文描述的一个或多个特征之外，处理电路从激光雷达到摄像头数据中提取激光雷达特征数据，并从摄像头数据中提取摄像头特征数据，激光雷达特征数据和摄像头特征数据对应于边缘点。

除了本文描述的一个或多个特征之外，处理电路从激光雷达特征数据和摄像头特征数据中识别对应的对，针对每个对计算激光雷达特征数据和摄像头特征数据之间的距离，并通过将针对每个对计算的距离求平均来计算平均距离。

除了本文描述的一个或多个特征之外，所述处理电路基于确定所述平均距离是否超过阈值来自动确定对准状态。

除了本文描述的一个或多个特征之外，处理电路使用摄像头数据来识别对象。

除了本文描述的一个或多个特征之外，对于每个对象，处理电路确定激光雷达到摄像头数据中对应于对象的点的数量，并基于点的数量低于阈值点数来声明错失的对象。

除了本文描述的一个或多个特征之外，处理电路还确定错失的对象的数量。

除了本文描述的一个或多个特征之外，处理电路还基于确定错失的对象的数量是否超过阈值来自动确定对准状态。

在另一示例性实施例中，一种方法包括：配置载具中的激光雷达系统以获取激光雷达坐标系中的激光雷达数据，配置载具中的摄像头以获取摄像头坐标系中的摄像头数据，以及配置处理电路以自动确定导致激光雷达到载具变换矩阵的对准状态，所述激光雷达到载具变换矩阵将激光雷达数据从激光雷达坐标系投影到载具坐标系以提供激光雷达到载具数据。使用摄像头数据确定对准状态。

除了本文描述的一个或多个特征之外，所述摄像头的视场的至少一部分在重叠区域中与所述激光雷达系统的视场重叠。

除了本文描述的一个或多个特征之外，该方法还包括使用激光雷达到载具变换矩阵将激光雷达数据投影到载具坐标系，然后使用载具到摄像头变换矩阵来获取表示激光雷达数据到摄像头坐标系的投影的激光雷达到摄像头数据。

除了本文描述的一个或多个特征之外，该方法还包括从激光雷达到摄像头数据中提取激光雷达特征数据，并从摄像头数据中提取摄像头特征数据，激光雷达特征数据和摄像头特征数据对应于边缘点。

除了本文描述的一个或多个特征之外，该方法还包括从激光雷达特征数据和摄像头特征数据中识别对应的对，针对每个对计算激光雷达特征数据和摄像头特征数据之间的距离，以及通过将针对每个对计算的距离求平均来计算平均距离。

除了本文描述的一个或多个特征之外，所述方法还包括基于确定所述平均距离是否超过阈值来自动确定对准状态。

除了本文描述的一个或多个特征之外，该方法还包括使用摄像头数据来识别对象。

除了本文描述的一个或多个特征之外，该方法还包括：对于每个对象，确定与对象相对应的激光雷达到摄像头数据的点的数量，并且基于点的数量低于阈值点数来声明错失的对象。

除了本文描述的一个或多个特征之外，该方法还包括确定错失的对象的数量。

除了本文描述的一个或多个特征之外，该方法还包括基于确定错失的对象的数量是否超过阈值来自动确定对准状态。

当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点是显而易见的。

附图说明

其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中：

图1是包括激光雷达到载具对准状态的自动检测的载具的框图；

图2是根据示例性实施例的执行激光雷达坐标系和载具坐标系之间的对准状态的自动检测的方法的处理流程；以及

图3是根据另一示例性实施例的执行激光雷达坐标系和载具坐标系之间的对准状态的自动检测的方法的处理流程。

具体实施例

以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。

如前所述，诸如激光雷达系统的传感器具有与载具坐标系不同的坐标系。因此，来自激光雷达系统的信息(例如，载具周围的对象的位置)必须通过变换矩阵投影到载具坐标系，以便使用该信息以直接的方式控制载具操作。变换矩阵本质上是两个坐标系之间的对准的表示。也就是说，对准过程是找到变换矩阵的过程。因此，当两个坐标系正确对准时，变换矩阵将激光雷达信息正确地投影到载具坐标系，并且当两个坐标系未对准时，变换矩阵不会将激光雷达信息正确地投影到载具坐标系。知道对准状态(即，对准或未对准)对于根据需要校正变换矩阵是重要的。此外，随时间监测对准状态(例如，动态地检测对准状态)是重要的，因为老化、振动、事故或其他因素可能改变对准状态。

确保激光雷达系统与载具之间的对准的现有方法涉及手动观察激光雷达坐标系中的激光雷达点云和投影到载具坐标系的那些相同的激光雷达点云，以确定在变换矩阵中是否存在在投影的激光雷达点云中可见的未对准。该方法具有若干缺点，包括所需的时间以及评估不适于在载具操作期间实时执行的事实。

本文详述的系统和方法的实施例涉及使用摄像头数据自动检测激光雷达到载具对准状态(即，对准或未对准)。具体地，经由激光雷达到载具变换矩阵和载具到摄像头变换矩阵将激光雷达数据投影到摄像头坐标系。假设载具到摄像头变换矩阵是正确的，则可以详细地确定激光雷达到载具的对准状态。出于解释的目的，激光雷达数据被描述为被变换到摄像头坐标系(部分地基于激光雷达到载具变换矩阵)。然而，可以替代地根据一个或多个实施例基于摄像头数据被变换到激光雷达坐标系或者基于激光雷达数据和摄像头数据被变换到载具坐标系来验证对准状态。根据详细描述的不同示例性实施例，使用特征数据或对象识别来确定对准状态。

根据示例性实施例，图1是包括使用摄像头数据自动检测激光雷达到载具对准状态的载具100的框图。检测对准状态是指确定现有变换矩阵是否将数据从激光雷达坐标系115正确地投影到载具坐标系105(即，对准状态是对准的)或不正确地投影到载具坐标系105(即，对准状态是未对准的)。图1所示的示例性载具100是汽车101。载具被示出为包括具有激光雷达坐标系115的激光雷达系统110和具有摄像头坐标系125的摄像头120。除了载具坐标系105、激光雷达坐标系115和摄像头坐标系125之外，还示出了世界坐标系102。世界坐标系102不变，而其他坐标系105、115、125可以随着载具100的运动而移位。然而，该运动不改变坐标系(例如，激光雷达到载具坐标系、载具到摄像头坐标系)之间的正确变换矩阵(即，对准状态)，除非激光雷达系统110或摄像头120的安装取向改变。

虽然示出了一个激光雷达系统110和一个摄像头120，但是示例性图示不旨在就传感器的数量或位置进行限制。载具100可以包括在载具100周围的任何位置处的任何数量的激光雷达系统110、摄像头120或其他传感器140(例如，雷达系统、IMU、诸如全球定位系统(GPS)的全球导航卫星系统(GNSS))。例如，其他传感器140可以提供定位信息(例如，载具100的位置和取向)。此外，虽然图1中示出了两个示例性对象150a、150b，但是一个或多个传感器可以检测到任何数量的对象150。激光雷达视场(FOV)111和摄像头FOV 121被示出了轮廓。如所指示的，两个视场111、121具有重叠区域122。如前所述，变换矩阵有助于将数据从一个坐标系投影到另一个坐标系。还注意到，对准两个坐标系的过程是确定将数据从一个坐标系投影到另一个坐标系的变换矩阵的过程。未对准是指该变换矩阵中的误差。

载具100包括控制载具100的一个或多个操作的控制器130。控制器130可以执行激光雷达系统110与载具100之间的对准过程(即，确定激光雷达坐标系115与载具坐标系105之间的变换矩阵)。控制器130可以另外实现参考图2和图3讨论的过程，以使用摄像头数据来确定激光雷达系统110与载具100之间的对准状态。控制器130可以包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适的部件。

图2是根据示例性实施例的使用摄像头数据执行激光雷达坐标系115和载具坐标系之间的对准状态的自动检测的方法200的处理流程。参考图2和图3讨论的实施例依赖于激光雷达系统110的FOV 111，其与摄像头120的FOV 121具有重叠(即，重叠区域122)，如在图1的示例性场景中所示。

在框210处，所述过程包括从激光雷达系统110获取激光雷达数据且从摄像头120获取摄像头数据。在框220处，执行激光雷达到载具变换、然后执行载具到摄像头变换涉及使用两个变换矩阵。首先，使用现有的激光雷达到载具变换矩阵来执行激光雷达坐标系115到载具坐标系105的变换。与该现有激光雷达到载具变换矩阵相对应的对准状态是感兴趣的。接下来，使用载具到摄像头变换矩阵将激光雷达到载具变换的结果从载具坐标系105进一步变换到摄像头坐标系125。

在框230处，该过程包括从摄像头坐标系125中的激光雷达数据(在框220处获取)获取激光雷达特征数据，并且从摄像头数据(在框210处获取)获取摄像头特征数据。特征是指单独可测量的性质或特性。根据示例性实施例，感兴趣的激光雷达特征数据和摄像头特征数据涉及边缘点(例如，车道标记、道路边缘、灯杆、另一载具的轮廓)。可以使用诸如主成分分析(PCA)、激光雷达测距和映射(LOAM)或Canny边缘检测器的已知技术来获取特征数据。在框240处，识别激光雷达特征数据和摄像头特征数据之间的对。例如，将一对识别为距给定摄像头特征数据点最接近的激光雷达特征数据点。确定每对的激光雷达特征数据点和摄像头特征数据点之间的距离，并且作为框240处的处理的一部分而计算所有对的平均距离。

在框250处，检查平均距离是否高于阈值。也就是说，检查平均而言激光雷达特征数据点和摄像头特征数据点是否远于阈值。如果是，则在框260处将未对准确定为对准状态。为了清楚起见，未对准的指示可能意味着激光雷达到载具的变换矩阵、载具到摄像头的变换矩阵或两者都是错误的。相反，如果框250处的检查指示，平均而言，激光雷达特征数据点和摄像头特征数据点不远于阈值，则在框270处，将对准确定为对准状态。在这种情况下，激光雷达到载具变换矩阵和载具到摄像头变换矩阵都是正确的。

图3是根据另一示例性实施例的执行激光雷达坐标系115和载具坐标系105之间的对准状态的自动检测的方法300的处理流程。在框310处，类似于在框210处，所述过程包括，使用激光雷达系统110获取激光雷达坐标系115中的激光雷达数据，且使用摄像头120获取摄像头坐标系125中的摄像头数据。在框320处，与框220类似，执行激光雷达到载具变换、然后执行载具到摄像头变换涉及使用两个变换矩阵。首先，使用现有的激光雷达到载具变换矩阵来执行激光雷达坐标系115到载具坐标系105的变换。与该现有激光雷达到载具变换矩阵相对应的对准状态是感兴趣的。接下来，使用载具到摄像头变换矩阵将激光雷达到载具变换的结果从载具坐标系105进一步变换到摄像头坐标系125。

在框330处，使用摄像头数据识别一个或多个对象150涉及使用已知算法来执行图像处理。示例性对象检测技术涉及仅看一次(YOLO)系统或基于区域的卷积神经网络(R-CNN)。在框340处，对于使用摄像头数据识别的每个对象150，确定摄像头坐标系125中对应于对象150的激光雷达点的数量。基于摄像头坐标系125中的激光雷达点与使用摄像头数据检测到的对象的位置之间的距离(例如，距离低于预定义阈值)来判断对应性。如果来自摄像头坐标系125中激光雷达数据的阈值点数不对应于使用摄像头数据检测到的给定对象，则该对象被认为被变换的激光雷达数据错失(missed)。以这种方式，在框340处，确定根据摄像头坐标系125中激光雷达数据错失的、使用摄像头数据检测到的一个或多个对象150的数量。

在框350处，完成错失对象的数量是否大于阈值的检查。如果变换到摄像头坐标系125中的激光雷达数据错失了使用摄像头数据检测到的一个或多个对象150中的多于阈值数量的对象，则在框360处将未对准确定为对准状态。为了清楚起见，未对准的指示可能意味着激光雷达到载具变换矩阵、载具到摄像头变换矩阵或两者都是错误的。相反，如果在框350处的检查指示摄像头坐标系125中的激光雷达数据未错失使用摄像头数据检测到的一个或多个对象150中的超过阈值数量的对象，则在框370处将对准确定为对准状态。在这种情况下，激光雷达到载具变换矩阵和载具到摄像头变换矩阵都是正确的。

虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替换其元件。另外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本公开不旨在限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种载具中的系统，包括：

激光雷达系统，被配置为获取激光雷达坐标系中的激光雷达数据；

摄像头，被配置为获取摄像头坐标系中的摄像头数据；以及

处理电路，被配置为自动确定导致激光雷达到载具变换矩阵的对准状态，所述激光雷达到载具变换矩阵将所述激光雷达数据从所述激光雷达坐标系投影到载具坐标系以提供激光雷达到载具数据，其中，使用所述摄像头数据确定对准状态。

2.根据权利要求1所述的系统，其中摄像头的视场的至少一部分与所述激光雷达系统的视场在一重叠区域中重叠。

3.根据权利要求1所述的系统，其中所述处理电路被配置为使用所述激光雷达到载具变换矩阵将所述激光雷达数据投影到所述载具坐标系，然后使用载具到摄像头变换矩阵来获取表示所述激光雷达数据到所述摄像头坐标系的投影的激光雷达到摄像头数据。

4.根据权利要求3所述的系统，其中，所述处理电路被配置为从所述激光雷达到摄像头数据中提取激光雷达特征数据并从所述摄像头数据中提取摄像头特征数据，所述激光雷达特征数据和所述摄像头特征数据对应于边缘点，所述处理电路被配置为从所述激光雷达特征数据和所述摄像头特征数据中识别对应的对，以针对每个对计算所述激光雷达特征数据和所述摄像头特征数据之间的距离，并且通过将针对每个对计算的距离求平均来计算平均距离，并且所述处理电路被配置为基于确定平均距离是否超过阈值来自动确定对准状态。

5.根据权利要求3所述的系统，其中，所述处理电路被配置为使用所述摄像头数据识别对象，对于每个对象，所述处理电路被配置为确定所述激光雷达到摄像头数据中与所述对象相对应的点的数量，并且基于所述点的数量低于阈值点数来声明错失的对象，所述处理电路被配置为确定错失的对象的数量，并且处理电路被配置为基于确定错失的对象的数量是否超过阈值来自动确定对准状态。

6.一种方法，包括：

配置载具中的激光雷达系统以获取激光雷达坐标系中的激光雷达数据；

配置所述载具中的摄像头以获取摄像头坐标系中的摄像头数据；以及

配置处理电路以自动确定导致激光雷达到载具变换矩阵的对准状态，所述激光雷达到载具变换矩阵将所述激光雷达数据从所述激光雷达坐标系投影到载具坐标系以提供激光雷达到载具数据，其中使用所述摄像头数据确定对准状态。

7.根据权利要求6所述的方法，其中所述摄像头的视场的至少一部分与所述激光雷达系统的视场在一重叠区域中重叠。

8.根据权利要求6所述的方法，还包括：使用所述激光雷达到载具变换矩阵将所述激光雷达数据投影到所述载具坐标系，然后使用载具到摄像头变换矩阵来获取激光雷达到摄像头数据，所述激光雷达到摄像头数据表示所述激光雷达数据到所述摄像头坐标系的投影。

9.根据权利要求8所述的方法，还包括：从所述激光雷达到摄像头数据中提取激光雷达特征数据，并从所述摄像头数据中提取摄像头特征数据，所述激光雷达特征数据和所述摄像头特征数据对应于边缘点，从所述激光雷达特征数据和所述摄像头特征数据中识别对应的对，针对每个对，计算所述激光雷达特征数据和所述摄像头特征数据之间的距离，并通过将针对每个对计算的距离求平均来计算平均距离，以及基于确定所述平均距离是否超过阈值来自动确定对准状态。

10.根据权利要求8所述的方法，还包括使用所述摄像头数据识别对象，针对每个对象，确定所述激光雷达到摄像头数据的与所述对象相对应的点的数量，并且基于所述点的数量低于阈值点数来声明错失的对象，确定所述错失的对象的数量，以及基于确定所述错失的对象的数量是否超过阈值来自动确定对准状态。

Images