CN113639782A - 车载传感器的外参标定方法和装置、设备和介质 - Google Patents

车载传感器的外参标定方法和装置、设备和介质 Download PDF

Info

Publication number
CN113639782A
CN113639782A CN202110931101.0A CN202110931101A CN113639782A CN 113639782 A CN113639782 A CN 113639782A CN 202110931101 A CN202110931101 A CN 202110931101A CN 113639782 A CN113639782 A CN 113639782A
Authority
CN
China
Prior art keywords
vehicle
time
mounted sensor
value
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110931101.0A
Other languages
English (en)
Inventor
张家馨
隋伟
张骞
黄畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202110931101.0A priority Critical patent/CN113639782A/zh
Publication of CN113639782A publication Critical patent/CN113639782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

公开一种车载传感器的外参标定方法和装置、电子设备及存储介质，其中，车载传感器的外参标定方法包括：基于获取到车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定车载传感器在当前时刻的姿态观测值；基于当前时刻的姿态观测值，确定车载传感器在当前时刻的外参修正值；利用当前时刻的外参修正值对车载传感器的静态外参标定值进行修正。本公开实施例可以实时高精度的恢复车载传感器相对于路面的准确外参。

Description

车载传感器的外参标定方法和装置、设备和介质
技术领域
本公开涉及计算机辅助驾驶技术，尤其是一种车载传感器的外参标定方法和装置、电子设备及存储介质。
背景技术
车辆采用辅助驾驶或自动驾驶模式在道路上行驶时，需要基于车载传感器的外参来进行后续感知处理，而车载传感器出场设置的外参在车辆实际行驶过程中会存在偏差。
因此，如何实时高精度的恢复车载传感器相对于路面的准确外参成为当前亟需解决的问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种车载传感器的外参标定方法和装置、电子设备及存储介质。
根据本公开实施例的一个方面，提供了一种车载传感器的外参标定方法，包括：基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值；基于所述当前时刻的姿态观测值，确定所述车载传感器在当前时刻的外参修正值；利用所述当前时刻的外参修正值对所述车载传感器的静态外参标定值进行修正。
根据本公开实施例的另一个方面，提供了一种车载传感器的外参标定装置，包括：观测值确定单元，被配置为：基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值；标定值确定单元，被配置为：基于所述当前时刻的姿态观测值，确定所述车载传感器在当前时刻的外参修正值；标定执行单元，被配置为：利用所述当前时刻的外参修正值对所述车载传感器的静态外参标定值进行修正。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的外参标定方法。
根据本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的外参标定方法。
基于本公开上述实施例提供的车载传感器的外参标定方法和装置、电子设备及存储介质，通过车载传感器采集的历史传感数据结合当前实时传感数据，估计车载传感器在当前时刻的姿态观测值，然后基于所述车载传感器在当前时刻的姿态观测值确定出当前时刻外参修正值，由于外参修正值表征的是车载传感器静态外参标定值与实际外参之间的差异，因此通过修正值对车载传感器静态外参标定值进行动态标定，可实时高精度地恢复车载传感器相对于路面的准确外参。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的场景图；
图2是本公开一示例性实施例提供的车载传感器的外参标定方法的流程示意图；
图3是图2中步骤201一示例性实施例的流程示意图；
图4是图2中步骤201另一示例性实施例的流程示意图；
图5是图2中步骤201又一示例性实施例的流程示意图；
图6是图2中步骤202一示例性实施例的流程示意图；
图7是本公开一示例性实施例提供的车载传感器的外参标定装置的结构示意图；
图8是图7中观测值确定单元701一示例性实施例的结构示意图；
图9是图7中观测值确定单元701另一示例性实施例的结构示意图；
图10是图7中标定值确定单元702一示例性实施例的结构示意图；
图11是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，随着智能驾驶领域相关技术的不断发展，越来越多的车辆可应用无人驾驶功能在道路上行驶，当车辆采用辅助驾驶或自动驾驶模式在道路上行驶时，车载传感器相对于车辆所在行驶道路的路面的外参(例如，高度、角度等)是感知后处理的重要因素(例如，车辆测距、车道线建模等)；然而在实际行驶过程中，由于路面起伏使车辆底盘颠簸导致车载传感器抖动，从而使得所述车载传感器相对于路面的实际外参与出厂设置标定的外参存在一定偏差。
相关技术中，利用车载传感器采集的当前时刻参数来恢复所述车载传感器的外参，但是其结果误差较大。其原因在于：以车载传感器为摄像头为例，相关技术从所述摄像头采集的当前单帧图像中获取车道线等路面信息，而这一从当前单帧图像恢复地面信息的过程，实际上是从二维图像获取路面三维信息，因此存在较大误差，从而导致恢复的摄像头外参误差较大；进而影响后续处理器基于所述车载传感器采集的传感参数而执行的感知后处理的精度。
示例性概述
图1是本公开的技术方案所适用的一种场景图，包括图1在内的连续多帧场景图组成场景视频。在场景视频中，车辆在道路上行驶，车载传感器为车辆前置摄像头，采集的传感数据为路面图像帧。
参照图1，右下角就是车辆前置摄像头拍摄的图像，在对应的场景视频中人眼几乎观察不到前置摄像头的抖动。但是实际上由于路面轻微的起伏、以及车辆底盘的缓冲，会导致车辆前置摄像头的高频振动(这种抖动主要在俯仰角方向上)，在不对前置摄像头的外参进行修正(即摄像头外参保持出厂设定的静态外参)情况下，直接对前置摄像头拍摄的路面图像进行逆透视变换(IPM，inverse perspective mapping)，就会得到图1左上角所示的图像，在视频中可以清晰地看到图像明显的抖动，这是因为IPM图像明显放大了摄像头俯仰角抖动的效果。
如果采用本公开的技术方案对所述前置摄像头的外参进行逐帧修正，然后对拍摄到的路面图像进行逆透视变换，就会得到图1右上角所示的图像，在视频中可以清晰地看到图像抖动减弱，相对于左上角图像更稳定。因此，采用本公开的技术方案对车载传感器的外参进行修正，可以实时高精度的恢复车载传感器相对于路面的准确外参，进而可以提高基于所述车载传感器采集的传感参数而执行的感知后处理的精度。
图1左下角所示图像是车辆行驶过程中车辆前置摄像头的俯仰角基于时间的关系图。其中，黑色的点是俯仰角，可以看到俯仰角在抖动中缓慢上升，黑色的线是抽离出来的低频信号，而黑色的小竖线就是抖动的高频信号，这些高频信号就是对所述车载前置摄像头外参进行修正所需的修正量。
示例性方法
实施例1:
图2是本公开一示例性实施例提供的车载传感器的外参标定方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤201、步骤202以及步骤103，具体地对各步骤进行如下说明。
步骤201，基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值。
如上所述，本实施例可应用于电子设备，基于此本实施例外参标定方法的执行主体可以为服务器、车载控制单元等。
如能理解的，可通过多种适用地方式获取所述车载传感器采集的实时传感数据以及历史传感数据。例如，执行主体为车载控制单元为例，车载传感器可通过有线或无线的方式与所述车载控制单元通信，以传输其采集的传感数据。其中，所述有线通信的方式，例如可以为车载传感器通过固定线路与所述车载控制单元数据接收端连接；所述无线通信的方式，例如可以为车载传感器通过移动网络(4G、5G)或Wi-Fi与所述车载控制单元数据接收端连接。
在本公开中，对所述车载传感器的类型不做限制；例如所述车载传感器可以包括但不限于车辆前置摄像头、惯性测量单元(IMU)以及激光雷达。
所述预设时刻可根据车载传感器的类型以及工作频率设置。所述车载传感器为车辆前置摄像头为例，假设所述车载摄像头的工作频率为30FPS(每秒30拍帧画面)，则所述预设时刻可以为当前时刻之前1/30、2/30、...、N/30秒，其中N取值范围0至30，且N为正整数。所述在当前时刻的实时传感数据为车辆前置摄像头在当前时刻拍摄的图像；在当前时刻之前预设时刻的历史传感数据即为车辆前置摄像头在当前时刻之前N/30秒时拍摄的图像。
所述姿态观测值为帧间姿态观测值，其中“帧”是指所述车载传感器采集的数据帧，所述帧间姿态观测值是指车载传感器的坐标系在两个数据帧(例如，当前时刻数据帧、与在当前时刻之前预设时刻数据帧)之间对应的姿态变化量，所述姿态至少包括旋转和/或平移。此外，通过对所述帧间姿态观测值的叠加可得到绝对姿态观测值，其中所述绝对姿态观测值表征的物理意义为所述车载传感器的坐标系在当前时刻数据帧与初始时刻数据帧(第0帧)之间对应的姿态变化量。
步骤202，基于所述当前时刻的姿态观测值，确定所述车载传感器在当前时刻的外参修正值。
步骤203，利用所述当前时刻的外参修正值对所述车载传感器的静态外参标定值进行修正。
这里需要说明的是，所述外参修正值即为上文图1中所述的黑色的小竖线表征的高频信号。所述静态外参标定值是指所述车载传感器的外参出厂设定值。
基于本公开上述实施例提供的车载传感器的外参标定方法，通过车载传感器采集的历史传感数据结合当前实时传感数据，估计车载传感器在当前时刻的姿态观测值，然后基于所述车载传感器在当前时刻的姿态观测值确定出当前时刻外参修正值，由于外参修正值表征的是车载传感器静态外参标定值与实际外参之间的差异，因此通过修正值对车载传感器静态外参标定值进行动态标定，可实时高精度地恢复车载传感器相对于路面的准确外参。
本公开可通过多种可用的方式实现上述步骤201，基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值。例如，可通过下面将描述的基于里程计方法流程的实施例2、实施例3以及实施例4来实现。
实施例2:
如图3所示，在上述图2所示实施例1的基础上，所述步骤201可包括如下步骤：
步骤301，对所述实时传感数据与历史传感数据分别进行特征检测，得到相互匹配的特征点。
如能理解的，上述步骤301可以通过任何可用的方式实现。例如，可通过以下步骤3011至步骤3013实现。在步骤3011中、对所述实时传感数据和历史传感数据分别进行特征提取，得到所述实时传感数据中的实时特征点和所述历史传感数据中的历史特征点；在步骤3012中、对所述实时特征点和所述历史特征点分别进行特征描述，确定每个实时特征点的描述符以及每个历史特征点的描述符；在步骤3013中、基于所述每个实时特征点的描述符以及每个历史特征点的描述符对所述实时特征点和所述历史特征点进行匹配，确定出相互匹配的实时特征点和历史特征点。
步骤302，基于所述相互匹配的特征点，确定所述车载传感器在当前时刻的姿态观测值。
如能理解的，上述步骤302可以通过任何可用的方式实现。例如，可通过以下步骤3021至步骤3022实现。在步骤3021中，将所述相互匹配的实时特征点和历史特征点进行随机抽样一致性验算，得到所述随机抽样一致性方法输出的基本矩阵；在步骤3022中，对基于所述基本矩阵确定的本质矩阵进行奇异值分解，得到旋转矩阵和/或平移矩阵，所述旋转矩阵和/或平移矩阵作为所述车载传感器在当前时刻的姿态观测值。
本实施例中，所述车载传感器可为车辆前置摄像头，所述实时传感数据为和历史传感数据可分别为所述车辆前置摄像头拍摄的实时图像和历史图像。其中所述车载摄像头可以为单目摄像头或双目摄像头；本实施例的上述步骤3011至步骤3013、以及步骤3021至步骤3022构成了基于摄像头的里程计方法流程。
具体地，对于步骤3011，可通过以下方式从实时图像中提取实时特征点或从历史图像中提取历史特征点。例如，基于图像的亮度进行提取或者基于图像的边界进行提取，常用方法包括SIFT、SURT、FAST以及ORB等。
所述实时特征点或历史特征点在各自的图像空间中具有明确的位置，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、噪声也保持一定程度的稳定性，因此即使所述车辆前置摄像头拍摄的实时图像或历史图像的局部或全局存在如光照和/或亮度变化等的扰动，特征点对上述旋转、尺度缩放等变换仍然稳定，可以被重复可靠地计算出来。
对于步骤3012以及步骤3013，所述描述符是用于描述特征点周围的图像补丁值的向量，其作用是在“特征点匹配”步骤3013中将实时图像与历史图像中相似特征点彼此分配。
所述描述符例如可以为二进制描述符。下面基于二进制描述举例说明步骤3012。所述二进制描述符的核心思想是仅依赖强度信息(即图像本身)，基于此，可将所述实时特征点与历史特征点周围的像素信息分别编码为一串二进制数字得到所述实时特征点的描述符以及历史特征点的描述符，所述描述符作为一种数字“指纹”，用于区分一个特征点和另一个特征点。
在步骤3103中进行特征点匹配时，可基于上述数字“指纹”进行比较，从而有效地确定出相互匹配的实时特征点和历史特征点。所述“匹配”即可指上述实时特征点对应的描述符与历史特征点的描述符一致。
对于步骤3021，虽然利用描述符确定了相互匹配的实时特征点和历史特征点，为了避免误匹配，可利用随机抽样一致性方法对相互匹配的实时特征点和历史特征点进行验算。
具体地，以相互匹配的实时特征点和历史特征点作为随机抽样一致性方法的输入，其中一个实时特征点和历史特征点匹配对作为一个观测数据，多个实时特征点和历史特征点匹配对构成观测数据集。
所述随机抽样一致性方法基于观测数据集寻找最优参数矩阵，使得满足该最优参数矩阵的观测数据个数最多。鉴于图像空间可利用三维直角坐标系表达，因此参数矩阵H为3阶矩阵，通常令参数矩阵中h33＝1(下标表示参数矩阵H中参数的位置，例如这里h33的下标33表示该参数位于参数矩阵H中的第3行第3列)，则参数矩阵H还有8个未知参数需要求解，即至少需要8个线性方程(也即利用4组观测数据)求解。
具体地，S1、随机从观测数据集中抽取至少4个样本数据(需要说明的是，样本数据中的4个实时特征点不能共线、4个历史特征点也不能共线)，计算出参数矩阵H；S2、计算观测数据集中每个观测数据与参数矩阵H的投影误差，如果误差小于预设投影误差阈值，将对应观测数据加入内点集I；S3、如果当前内点集I元素个数大于最优内点集I_best元素个数，更新所述最优内点集I_best＝I，同时更新迭代次数k；S4、如果迭代次数k大于预设迭代次数阈值，则退出，否则迭代次数加1，并重复上述步骤S1至S4。
迭代结束后，从最优内点集I_best随机选取至少4个样本数据，计算参数矩阵H作为最优参数矩阵，即所述基本矩阵F。
对于步骤3022，由于本质矩阵是归一化图像坐标下的基本矩阵的特殊情况，那么可以基于公式(1)，利用摄像头的内参矩阵K和基于矩阵F确定出本质矩阵E。
E＝KT*F*K (1)
然后利用奇异值分解(SVD，Singular Value Decomposition)方法对所述本质矩阵E进行计算，例如采用公式(2)
Svd(E)＝[U，S，V] (2)
得到左奇异矩阵U、对角矩阵S以及右奇异矩阵V；其中将左奇异矩阵U中最后一列作为平移矩阵T，将左奇异矩阵U与右奇异矩阵V的转置相乘结果作为旋转矩阵。
在本实施例中，基于车载摄像头拍摄的当前时刻图像数据以及在当前时刻之前预设时刻拍摄的历史图像数据，确定出车载摄像头在当前时刻的姿态观测值，由于同时考虑了当前时刻图像数据和历史图像数据，因此可以避免仅利用当前时刻实时图像数据恢复地面信息而导致的误差问题，从而提高了下一步基于姿态观测值估计外参修正值的精度。
实施例3:
如图4所示，在上述图2所示实施例1的基础上，所述步骤201可包括如下步骤：
步骤401、对所述实时传感数据与历史传感数据分别进行特征检测，得到相互匹配的特征点。
如能理解的，上述步骤401可以通过任何可用的方式实现。例如，可以通过步骤4011至步骤4013实现。在步骤4011中，计算所述实时传感数据和历史传感数据中的每个数据的曲率值；在步骤4012中，选取所述实时传感数据中曲率值大于曲率阈值的数据作为实时特征点，选取所述历史传感数据中曲率值大于曲率阈值的数据作为历史特征点；在步骤4013中，基于所述实时特征点和所述历史特征点，确定相互匹配的特征点。
步骤402、基于所述相互匹配的特征点，确定所述车载传感器在当前时刻的姿态观测值。
如能理解的，上述步骤402可以通过任何可用的方式实现。例如，可以通过步骤4021实现。在步骤4021中，将所述相互匹配的特征点输入点云配准模型，得到相互匹配的实时特征点相对于历史特征点的旋转矩阵和/或平移矩阵，作为所述车载传感器在当前时刻的姿态观测值。
本实施例中，所述车载传感器可为车载激光雷达，所述实时传感数据为和历史传感数据可分别为所述车辆激光雷达采集的路面实时点云和历史点云。本实施例的上述步骤4011至步骤4013、以及步骤4021构成了基于激光雷达的里程计方法流程。
需要说明的是，激光雷达可以通过扫描的方式采集被扫描空间中点的位置信息，按照激光雷达的工作频率，激光雷达刷新一次就完成一次扫描，对应采集到的空间中的若干点组成一帧点云数据。其中点的位置可以用三维直角坐标系表示，例如(x，y，z)；或者也可以利用极坐标表达，例如距离和方位角。本实施例以下描述以直角坐标系描述点的位置。
具体地，对于步骤4011，可采用任何可用方式计算实时点云和历史点云中每个点的曲率值。以计算实时点云中的点为例，对于实时点云中的每个点p，确定p点附近m个近邻点，qi为点p的第i个近临点，取值i为1到m、且为正整数；qi法向量为Mi，在p点建立局部正交直角坐标系L{p，X，Y，N}，其中N表示p点法向量；X和Y为正交的单位向量；在L中，p点坐标为(0，0，0)，qi坐标为(xi，yi，zi)，Mi坐标为(nxi，nyi，nzi)。基于此可利用以下公式(3)估计p点相对于qi的法曲率
Figure BDA0003211259460000117
Figure BDA0003211259460000112
其中，α是向量N与pqi之间的夹角，β是向量N与Mi之间的夹角。进一步地，基于上述公式(3)可计算出p点相对于m个近邻点中每一个的法曲率，然后取均值作为p点的曲率值。类似地，历史点云中每个点的曲率值也可参照上述方案计算。
点云中曲率值大于曲率阈值的点为边缘点，反之曲率值小于曲率阈值的点为平面点。由于边缘点相较于平面点更容易匹配，因此在于步骤4022中，选取实时点云中曲率值大于曲率阈值的边缘点作为实时特征点，选取历史点云中曲率值大于曲率阈值的边缘点作为历史特征点。
对于步骤4013，可分别构建实时特征点和历史特征点的特征描述子，具体地，特征描述子可包括特征点的方向、位置以及尺度信息，用于标识对应的特征点，通过匹配特征点的特征描述子，即可以从所述实时特征点和所述历史特征点中估计出相互匹配特征点。
对于步骤4021，所述点云配准可采用以下方式实现，具体地构建一个目标函数(4)，该目标函数(4)表征的物理意义是所有相互匹配特征点之间的欧式距离平方和，目标函数值越小，说明匹配特征点越匹配。
Figure BDA0003211259460000113
其中，
Figure BDA0003211259460000114
是第i个实时特征点，
Figure BDA0003211259460000115
是第i个历史特征点，i取值正整数；
Figure BDA0003211259460000116
是一对相互匹配的特征点，总共有Np对相互匹配特征点；R是旋转矩阵，T是平移矩阵。
将所述相互匹配特征点带入目标函数，采用最小二乘法进行求解；在目标函数值最小化情况下，确定对应的旋转矩阵R和初始平移矩阵T，即得到所述实时特征点相对于历史特征点的旋转矩阵和/或平移矩阵。
在本实施例中，基于车载激光雷达采集的当前时刻的实时点云以及在当前时刻之前预设时刻采集的历史点云，可以确定出车载激光雷达在当前时刻的姿态观测值，由于同时考虑了当前时刻实时点和历史点云，因此可以避免仅利用当前时刻实时点云恢复地面信息而导致的误差问题，从而提高了下一步基于姿态观测值估计外参修正值的精度。
实施例4:
如图5所示，在上述图2所示实施例1的基础上，所述步骤201可包括如下步骤501至步骤503。
步骤501、计算所述实时传感数据与历史传感数据之间的第一类传感数据差值、以及第二类传感数据差值。
步骤502、基于所述第一类传感数据差值和所述第二类传感数据差值，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的平移矩阵以及在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的旋转矩阵。
如能理解的，上述步骤502可以通过任何可用的方式实现。例如，步骤5021、基于所述第一类传感数据差值在所述当前时刻与所述预设时刻之间执行积分计算，得到所述车载传感器在所述当前时刻与所述预设时刻之间的第一参数变化量；步骤5022、基于所述第二类传感数据差值在所述当前时刻与所述预设时刻之间执行积分计算，得到所述车载传感器在所述当前时刻与所述预设时刻之间的第二参数变化量；步骤5023、基于所述第一参数变化量，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的平移矩阵；步骤5024、基于所述第二参数变化量，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的旋转矩阵。
步骤503、基于所述旋转矩阵和/或平移矩阵，确定所述车载传感器在当前时刻的姿态观测值。
在本实施例中，所述车载传感器可为车载IMU(惯性测量单元)，所述实时传感数据包括基于车辆坐标系的三坐标轴方向上的实时加速度、以及所述车辆相对于导航坐标系的三个坐标轴方向上的实时角速度；所述历史传感数据包括基于车辆坐标系的三坐标轴方向上的历史加速度、以及所述车辆相对于导航坐标系的三个坐标轴方向上的历史角速度。
本实施例的上述步骤501至步骤503构成了基于车载IMU的里程计方法流程，适用于利用车载IMU采集传感参数的工作场景。
对于步骤501，在上述车载IMU工作场景下，所述第一类传感数据为加速度，所述第二类传感数据为角速度。基于此，所述第一类传感数据差值为所述实时加速度与所述历史加速度之间的加速度差值；类似地，所述第二类传感数据差值为所述实时角速度与所述历史角速度之间的角速度差值。
对于车载IMU也可基于其工作频率确定其采集的相邻数据帧之间的时间间隔，基于此所述预设时刻也可参照实施例1中描述，这里不赘述。
对于步骤5021，可以为以所述加速度差值作为被积分对象，以当前时刻与所述预设时刻分别作为积分的上下限做一次积分计算，得到车载IMU在所述当前时刻与所述预设时刻之间的速度变化量，如果将相邻帧之间的时间间隔看作单位时间，那么实际上所述速度变化量也就是车载IMU的位移变化量，即所述第一参数变化量。
对于步骤5022，可以为以所述角速度差值作为被积分对象，以当前时刻与所述预设时刻分别作为积分的上下限做一次积分计算，得到车载IMU在所述当前时刻与所述预设时刻之间的角度变化量，即所述第二参数变化量。
对于步骤5023，由于实时加速度和历史加速度是基于车辆坐标系的，因此步骤5021直接计算得到车载IMU的位移变化量是基于车辆坐标系的，还需根据预设的车载坐标系与导航坐标系之间的转换关系，将所述车载IMU的位移变化量转换到导航坐标系中。进一步地，将所述导航坐标系中的位移变化量向量化，得到所述平移矩阵。对于步骤5024，将所述车载IMU的角度变化量向量化，得到所述旋转矩阵。优选地，步骤503中，可以接将基于所述导航坐标系的平移矩阵和旋转矩阵作为所述车载IMU的姿态观测值。
在本实施例中，利用车载IMU采集的基于车辆坐标系的三坐标轴方向上的实时加速度以及历史加速度、所述车辆相对于导航坐标系的三个坐标轴方向上的实时角速度以及历史角速度，可以确定出车载IMU在当前时刻的姿态观测值，由于同时考虑了实时加速度以及历史加速度、实时角速度以及历史角速度，因此可以避免仅利用实时加速度以及实时角速度恢复地面信息而导致的误差问题，从而提高了下一步基于姿态观测值估计外参修正值的精度。
实施例5:
如图6所示，在上述图2实施例1至实施例4的基础上，所述步骤202基于所述当前时刻姿态观测值，确定所述车载传感器在当前时刻的外参修正值可通过以下方式实现。具体地，
在步骤601中、将基于所述当前时刻的姿态观测值确定的绝对姿态观测值通过卡尔曼滤波，得到所述车载传感器在当前时刻的姿态预测值。
这里，如前文所述，所述姿态观测值为帧间姿态观测值，其中“帧”是指所述车载传感器采集的数据帧，所述帧间姿态观测值是指车载传感器的坐标系在两个数据帧(例如，当前时刻数据帧、与在当前时刻之前预设时刻数据帧)之间对应的姿态变化量，所述姿态至少包括旋转和/或平移。此外，通过对所述帧间姿态观测值的叠加可得到绝对姿态观测值，其中所述绝对姿态观测值表征的物理意义为所述车载传感器的坐标系在当前时刻数据帧与初始时刻数据帧(第0帧)之间对应的姿态变化量。
可将所述绝对姿态观测值(作为绝对姿态)状态量输入卡尔曼滤波器，从而得到所述车载传感器在当前时刻的姿态预测值。其中优选地卡尔曼滤波器参数如下：
转移矩阵
Figure BDA0003211259460000141
观测噪声R＝1；过程噪声
Figure BDA0003211259460000142
协方差初始化
Figure BDA0003211259460000143
观测函数H＝[1 0]。
本实施例的上述卡尔曼滤波器参数适用于车辆在轻微起伏的路面上行驶的多数情况。实际工作过程中，由于车辆在一段时间内会连续行驶，相应的车载传感器也就会连续的采集数据上传给里程计(例如，参照上述实施例2至4的里程计)，进而里程计输出当前时刻的姿态观测值(帧间姿态)，将该当前时刻的帧间姿态与之前时刻的帧间姿态逐一叠加即可得到对应当前时刻的绝对姿态观测值。
卡尔曼滤波器根据连续输入的绝对姿态观测值进行状态量估计，即得到预测所述当前时刻的姿态预测值，然后利用上述的协方差矩阵P来存储不同时刻的绝对姿态观测值，作为历史信息。
在步骤602中、基于所述绝对姿态观测值与所述当前时刻的姿态预测值，确定所述车载传感器在当前时刻的外参修正值。
如能理解的，可以通过任何可用方式确定所述车载传感器在当前时刻的外参修正值。例如，可以先计算所述绝对姿态观测值与所述当前时刻的姿态预测值的差值；然后基于所述差值，确定所述车载传感器在当前时刻的外参修正值，即可以将所述差值作为所述车载传感器在当前时刻的外参修正值。
本实施例中，以所述当前时刻的姿态观测值确定的绝对姿态观测值作为卡尔曼滤波的输入，利用卡尔曼滤波的状态方程进行估计，得到所述车载传感器在当前时刻的姿态预测值，由于在卡尔曼滤波的状态估计过程中，绝对姿态观测值参考了历史帧数据(即，帧间姿态)以及当前帧数据，其中历史帧数据记录了车载传感器外参的历史变化信息，因此本实施例的方法得出的在当前时刻的姿态预测值的精度更高，进而确定的外参修正值也更精确。此外由于卡尔曼滤波计算量小，因此节约计算资源，计算耗时少，响应速度更快。
实施例6:
在上述图2实施例1至5的基础上，所述步骤203可通过以下方式实现。具体地，将所述当前时刻外参修正值与所述车载传感器的静态外参标定值相加，将相加所得和值作为所述车载传感器在当前时刻的真实外参。
在上述图2实施例1至6的基础上，所述外参标定方法还包括从所述外参修正值中提取出路面法向量和路面高度；根据所述路面法向量和路面高度，确定所述车载传感器在当前时刻的路面方程。
这里，所述路面方程与所述外参修正值本质上等价，进行转换的作用是增加本公开方案的适用范围。有些硬件设备或软件方法仅支持路面方程形式的参数，不支持旋转矩阵、平移矩阵形式的参数。
以从“外参修正值”转换到“路面方程”为例，转换过程可简述如下：从旋转矩阵R第三列,提取出路面的法向量(A,B,C)；从平移矩阵T的最后一个数,提取相机到路面的高度D；得到路面方程:Ax+By+Cz+D＝0。
综上所述，本公开技术方案，可以基于车载传感器采集的当前数据帧以及历史数据帧进行确定帧间姿态(当前时刻的姿态观测值)，并基于帧间姿态确定当前时刻的绝对姿态观测值，然后以绝对姿态观测值作为输入利用卡尔曼滤波预测车载传感器的当前时刻的姿态预测值，最后基于绝对姿态观测值与当前时刻的姿态预测值之间的差值作为外参修正值，对所述车载传感器的静态外参进行修正。利用本公开的方案，由于利用历史帧数据进行估计，可提高估计精度，采用卡尔曼滤波可节约计算资源；另外本公开的方案还可以扩展到IMU、激光雷达等视觉传感器以外的应用场景，扩大适用范围。
本公开实施例提供的任一种车载传感器的外参标定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车载传感器的外参标定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种图像处理方法。下文不再赘述。
示例性装置
应理解，本文中前述实施例关于用于车载传感器的外参标定方法所描述的具体特征，也可类似地应用于以下车载传感器的外参标定装置中进行类似扩展。为简化起见，未对其进行详细描述。
图7是本公开示例性实施例提供的车载传感器的外参标定装置的一结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图7所示的车载传感器的外参标定装置700包括：观测值确定单元701、标定值确定单元702以及标定执行单元703。
观测值确定单元701被配置为基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值；标定值确定单元702被配置为基于所述当前时刻的姿态观测值，确定所述车载传感器在当前时刻的外参修正值；标定执行单元703被配置为利用所述当前时刻的外参修正值对所述车载传感器的静态外参标定值进行修正。
图8是图7中观测值确定单元701一示例性实施例的结构示意图。
如图8所示，观测值确定单元701包括：特征检测模块801被配置为对所述实时传感数据与历史传感数据分别进行特征检测，得到相互匹配的特征点；第一处理模块802被配置为基于所述相互匹配的特征点，确定所述车载传感器在当前时刻的姿态观测值。
在一可选实施例中，特征检测模块801被进一步配置为对所述实时传感数据和历史传感数据分别进行特征提取，得到所述实时传感数据中的实时特征点和所述历史传感数据中的历史特征点；对所述实时特征点和所述历史特征点分别进行特征描述，确定每个实时特征点的描述符以及每个历史特征点的描述符；基于所述每个实时特征点的描述符以及每个历史特征点的描述符对所述实时特征点和所述历史特征点进行匹配，确定出相互匹配的实时特征点和历史特征点。
在一可选实施例中，第一处理模块802被进一步配置为将所述相互匹配的实时特征点和历史特征点进行随机抽样一致性验算，得到所述随机抽样一致性方法输出的基本矩阵；对基于所述基本矩阵确定的本质矩阵进行奇异值分解，得到旋转矩阵和/或平移矩阵，所述旋转矩阵和/或平移矩阵作为所述车载传感器在当前时刻的姿态观测值。
在一可选实施例中，特征检测模块801被进一步配置为计算所述实时传感数据和历史传感数据中的每个数据的曲率值；选取所述实时传感数据中曲率值大于曲率阈值的数据作为实时特征点，选取所述历史传感数据中曲率值大于曲率阈值的数据作为历史特征点；基于所述实时特征点和所述历史特征点，确定相互匹配的特征点。
在一可选实施例中，第一处理模块802所述第一处理模块被进一步配置为将所述相互匹配的特征点输入点云配准模型，得到相互匹配的实时特征点相对于历史特征点的旋转矩阵和/或平移矩阵，作为所述车载传感器在当前时刻的姿态观测值。
图9是图7中观测值确定单元701另一示例性实施例的结构示意图。
如图9所示，观测值确定单元701包括：数据预处理模块901被配置为计算所述实时传感数据与历史传感数据之间的第一类传感数据差值、以及第二类传感数据差值；第二处理模块902被配置为基于所述第一类传感数据差值和所述第二类传感数据差值，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的平移矩阵以及在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的旋转矩阵；第三处理模块903被配置为基于所述旋转矩阵和/或平移矩阵，确定所述车载传感器在当前时刻的姿态观测值。
在一可选实施例中，第二处理模块902被进一步配置为基于所述第一类传感数据差值在所述当前时刻与所述预设时刻之间执行积分计算，得到所述车载传感器在所述当前时刻与所述预设时刻之间的第一参数变化量；基于所述第二类传感数据差值在所述当前时刻与所述预设时刻之间执行积分计算，得到所述车载传感器在所述当前时刻与所述预设时刻之间的第二参数变化量；基于所述第一参数变化量，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的平移矩阵；基于所述第二参数变化量，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的旋转矩阵。
图10是图7中标定值确定单元702一示例性实施例的结构示意图。
如图10所示，标定值确定单元702包括：滤波模块1001被配置为将基于所述当前时刻的姿态观测值确定的绝对姿态观测值通过卡尔曼滤波，得到所述车载传感器在当前时刻的姿态预测值；第四处理模块1002被配置为基于所述绝对姿态观测值与所述当前时刻的姿态预测值，确定所述车载传感器在当前时刻的外参修正值。
在一可选实施例中，第四处理模块1002被进一步配置为计算所述绝对姿态观测值与所述当前时刻的姿态预测值的差值；基于所述差值，确定所述车载传感器在当前时刻的外参修正值。
在一可选实施例中，所述外参标定装置还包括参数转换模块被配置为从所述外参修正值中提取出路面法向量和路面高度；根据所述路面法向量和路面高度，确定所述车载传感器在当前时刻的路面方程。
在一可选实施例中，标定执行单元被进一步配置为将所述当前时刻外参修正值与所述车载传感器的静态外参标定值相加，将相加所得和值作为所述车载传感器在当前时刻的真实外参。
综上所述，本公开技术方案，可以基于车载传感器采集的当前数据帧以及历史数据帧进行确定帧间姿态(当前时刻的姿态观测值)，并基于帧间姿态确定当前时刻的绝对姿态观测值，然后以绝对姿态观测值作为输入利用卡尔曼滤波预测车载传感器的当前时刻的姿态预测值，最后基于绝对姿态观测值与当前时刻的姿态预测值之间的差值作为外参修正值，对所述车载传感器的静态外参进行修正。利用本公开的方案，由于利用历史帧数据进行估计，可提高估计精度，采用卡尔曼滤波可节约计算资源；另外本公开的方案还可以扩展到IMU、激光雷达等视觉传感器以外的应用场景，弥补技术空白，扩大适用范围。
示例性电子设备
图11是本公开一示例性实施例提供的电子设备的结构图。
如图11所示，电子设备包括一个或多个处理器101和存储器102。
处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本公开的各个实施例的车载传感器的外参标定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、图像、点云等各种内容。
在一个示例中，电子设备还可以包括：输入装置103和输出装置104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是单机设备时，该输入装置103可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置103还可以包括例如键盘、鼠标等等。
该输出装置104可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置104可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车载传感器的外参标定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车载传感器的外参标定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种车载传感器的外参标定方法，包括：
基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值；
基于所述当前时刻的姿态观测值，确定所述车载传感器在当前时刻的外参修正值；
利用所述当前时刻的外参修正值对所述车载传感器的静态外参标定值进行修正。
2.根据权利要求1所述的外参标定方法，其中，所述基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值，包括：
对所述实时传感数据与历史传感数据分别进行特征检测，得到相互匹配的特征点；
基于所述相互匹配的特征点，确定所述车载传感器在当前时刻的姿态观测值。
3.根据权利要求2所述的外参标定方法，其中，所述对所述实时传感数据与历史传感数据分别进行特征检测，得到相互匹配的特征点，包括：
对所述实时传感数据和历史传感数据分别进行特征提取，得到所述实时传感数据中的实时特征点和所述历史传感数据中的历史特征点；
对所述实时特征点和所述历史特征点分别进行特征描述，确定每个实时特征点的描述符以及每个历史特征点的描述符；
基于所述每个实时特征点的描述符以及每个历史特征点的描述符对所述实时特征点和所述历史特征点进行匹配，确定出相互匹配的实时特征点和历史特征点。
4.根据权利要求2所述的外参标定方法，其中，对所述实时传感数据与历史传感数据分别进行特征检测，得到相互匹配的特征点，包括：
计算所述实时传感数据和历史传感数据中的每个数据的曲率值；
选取所述实时传感数据中曲率值大于曲率阈值的数据作为实时特征点，选取所述历史传感数据中曲率值大于曲率阈值的数据作为历史特征点；
基于所述实时特征点和所述历史特征点，确定相互匹配的特征点。
5.根据权利要求1所述的外参标定方法，其中，所述基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值，包括：
计算所述实时传感数据与历史传感数据之间的第一类传感数据差值、以及第二类传感数据差值；
基于所述第一类传感数据差值和所述第二类传感数据差值，确定在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的平移矩阵以及在当前时刻所述车载传感器的导航坐标系相对于在当前时刻之前预设时刻所述车载传感器的导航坐标系的旋转矩阵；
基于所述旋转矩阵和/或平移矩阵，确定所述车载传感器在当前时刻的姿态观测值。
6.根据权利要求1所述的外参标定方法，其中，所述基于所述当前时刻姿态观测值，确定所述车载传感器在当前时刻的外参修正值，包括：
将基于所述当前时刻的姿态观测值确定的绝对姿态观测值通过卡尔曼滤波，得到所述车载传感器在当前时刻的姿态预测值；
基于所述绝对姿态观测值与所述当前时刻的姿态预测值，确定所述车载传感器在当前时刻的外参修正值。
7.根据权利要求1所述的外参标定方法，其中，利用所述当前时刻外参修正值对所述车载传感器的静态外参标定值进行修正，包括：
将所述当前时刻外参修正值与所述车载传感器的静态外参标定值相加，将相加所得和值作为所述车载传感器在当前时刻的真实外参。
8.根据权利要求1所述的外参标定方法，其中，所述外参标定方法还包括：
从所述外参修正值中提取出路面法向量和路面高度；
根据所述路面法向量和路面高度，确定所述车载传感器在当前时刻的路面方程。
9.一种车载传感器的外参标定装置，包括：
观测值确定单元，被配置为：基于获取到所述车载传感器采集在当前时刻的实时传感数据、以及在当前时刻之前预设时刻的历史传感数据，确定所述车载传感器在当前时刻的姿态观测值；
标定值确定单元，被配置为：基于所述当前时刻的姿态观测值，确定所述车载传感器在当前时刻的外参修正值；
标定执行单元，被配置为：利用所述当前时刻的外参修正值对所述车载传感器的静态外参标定值进行修正。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的外参标定方法。
11.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的外参标定方法。
CN202110931101.0A 2021-08-13 2021-08-13 车载传感器的外参标定方法和装置、设备和介质 Pending CN113639782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110931101.0A CN113639782A (zh) 2021-08-13 2021-08-13 车载传感器的外参标定方法和装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110931101.0A CN113639782A (zh) 2021-08-13 2021-08-13 车载传感器的外参标定方法和装置、设备和介质

Publications (1)

Publication Number Publication Date
CN113639782A true CN113639782A (zh) 2021-11-12

Family

ID=78421527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931101.0A Pending CN113639782A (zh) 2021-08-13 2021-08-13 车载传感器的外参标定方法和装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113639782A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235527A (zh) * 2022-07-20 2022-10-25 上海木蚁机器人科技有限公司 传感器外参标定方法、装置以及电子设备
CN115388914A (zh) * 2022-10-28 2022-11-25 福思(杭州)智能科技有限公司 传感器的参数标定方法、装置、存储介质和电子装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN110044371A (zh) * 2018-01-16 2019-07-23 华为技术有限公司 一种车辆定位的方法以及车辆定位装置
CN111145263A (zh) * 2019-10-14 2020-05-12 广东星舆科技有限公司 一种基于车载的摄像机自动标定方法
CN111239757A (zh) * 2020-03-12 2020-06-05 湖南大学 一种路面特征参数自动提取方法及系统
CN111316284A (zh) * 2019-02-13 2020-06-19 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质
CN111707272A (zh) * 2020-06-28 2020-09-25 湖南大学 一种地下车库自动驾驶激光定位系统
CN112180362A (zh) * 2019-07-05 2021-01-05 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备
CN112304307A (zh) * 2020-09-15 2021-02-02 浙江大华技术股份有限公司 一种基于多传感器融合的定位方法、装置和存储介质
CN112461258A (zh) * 2019-09-06 2021-03-09 北京三快在线科技有限公司 一种参数修正的方法及装置
CN112485773A (zh) * 2020-11-09 2021-03-12 中国人民解放军军事科学院国防科技创新研究院 激光雷达与倾角传感器的外参信息标定方法
CN112577479A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 基于地图元素数据的多传感器融合车辆定位方法及装置
CN112639883A (zh) * 2020-03-17 2021-04-09 华为技术有限公司 一种相对位姿标定方法及相关装置
CN112654886A (zh) * 2020-05-27 2021-04-13 华为技术有限公司 外参标定方法、装置、设备及存储介质
CN112810625A (zh) * 2021-04-19 2021-05-18 北京三快在线科技有限公司 一种轨迹修正的方法及装置
CN113137968A (zh) * 2020-01-16 2021-07-20 浙江舜宇智能光学技术有限公司 基于多传感器融合的重定位方法、重定位装置和电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN110044371A (zh) * 2018-01-16 2019-07-23 华为技术有限公司 一种车辆定位的方法以及车辆定位装置
CN111316284A (zh) * 2019-02-13 2020-06-19 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质
CN112180362A (zh) * 2019-07-05 2021-01-05 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备
CN112461258A (zh) * 2019-09-06 2021-03-09 北京三快在线科技有限公司 一种参数修正的方法及装置
CN112577479A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 基于地图元素数据的多传感器融合车辆定位方法及装置
CN111145263A (zh) * 2019-10-14 2020-05-12 广东星舆科技有限公司 一种基于车载的摄像机自动标定方法
CN113137968A (zh) * 2020-01-16 2021-07-20 浙江舜宇智能光学技术有限公司 基于多传感器融合的重定位方法、重定位装置和电子设备
CN111239757A (zh) * 2020-03-12 2020-06-05 湖南大学 一种路面特征参数自动提取方法及系统
CN112639883A (zh) * 2020-03-17 2021-04-09 华为技术有限公司 一种相对位姿标定方法及相关装置
CN112654886A (zh) * 2020-05-27 2021-04-13 华为技术有限公司 外参标定方法、装置、设备及存储介质
CN111707272A (zh) * 2020-06-28 2020-09-25 湖南大学 一种地下车库自动驾驶激光定位系统
CN112304307A (zh) * 2020-09-15 2021-02-02 浙江大华技术股份有限公司 一种基于多传感器融合的定位方法、装置和存储介质
CN112485773A (zh) * 2020-11-09 2021-03-12 中国人民解放军军事科学院国防科技创新研究院 激光雷达与倾角传感器的外参信息标定方法
CN112810625A (zh) * 2021-04-19 2021-05-18 北京三快在线科技有限公司 一种轨迹修正的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235527A (zh) * 2022-07-20 2022-10-25 上海木蚁机器人科技有限公司 传感器外参标定方法、装置以及电子设备
CN115388914A (zh) * 2022-10-28 2022-11-25 福思(杭州)智能科技有限公司 传感器的参数标定方法、装置、存储介质和电子装置

Similar Documents

Publication Publication Date Title
US10867189B2 (en) Systems and methods for lane-marker detection
WO2020107930A1 (zh) 摄像头位姿确定方法和装置以及电子设备
CN107563308B (zh) 基于粒子群优化算法的slam闭环检测方法
CN110517324B (zh) 基于变分贝叶斯自适应算法的双目vio实现方法
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
CN112509047A (zh) 基于图像的位姿确定方法、装置、存储介质及电子设备
CN113639782A (zh) 车载传感器的外参标定方法和装置、设备和介质
KR102458242B1 (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
CN113137968B (zh) 基于多传感器融合的重定位方法、重定位装置和电子设备
US10089549B1 (en) Valley search method for estimating ego-motion of a camera from videos
CN112907620A (zh) 相机位姿的估计方法、装置、可读存储介质及电子设备
CN114757301A (zh) 车载视觉感知方法和装置、可读存储介质、电子设备
WO2023082822A1 (zh) 图像数据的处理方法和装置
CN114170325A (zh) 确定单应性矩阵的方法、装置、介质、设备和程序产品
CN114013449A (zh) 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN115147683A (zh) 位姿估计网络模型的训练方法、位姿估计方法及装置
CN114882465A (zh) 视觉感知方法、装置、存储介质和电子设备
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
CN111932637B (zh) 一种车身相机外参自适应标定方法和装置
CN113592706A (zh) 调整单应性矩阵参数的方法和装置
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN113936042B (zh) 一种目标跟踪方法、装置和计算机可读存储介质
CN114937250A (zh) 车身相对位姿计算方法、装置、车辆、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination