CN117788606A - 激光雷达与相机的标定方法、装置、电子设备及存储介质 - Google Patents
激光雷达与相机的标定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117788606A CN117788606A CN202311866814.9A CN202311866814A CN117788606A CN 117788606 A CN117788606 A CN 117788606A CN 202311866814 A CN202311866814 A CN 202311866814A CN 117788606 A CN117788606 A CN 117788606A
- Authority
- CN
- China
- Prior art keywords
- transformation matrix
- optimized
- camera
- loss function
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 86
- 239000011159 matrix material Substances 0.000 claims description 184
- 230000009466 transformation Effects 0.000 claims description 183
- 230000006870 function Effects 0.000 claims description 81
- 238000005457 optimization Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供了一种激光雷达与相机的标定方法、装置、电子设备及存储介质，通过将由激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像生成的若干标定点对中，各采样点的三维坐标转换为相机坐标系下的二维采样点坐标，并根据各二维采样点坐标和标定点对中特征点坐标的坐标误差，逐渐优化初始变换矩阵，最终获得能够准确表征所述激光雷达与所述相机的相对位置和姿态的目标变换矩阵。因此，本发明能够简单地根据各二维采样点坐标和标定点对中特征点的坐标误差，高效地实现激光雷达与相机的联合标定，来解决智能汽车在实际装配后的各传感器之间的相对坐标与设计软件导出的相对坐标存在误差的问题。
Description
技术领域
本发明涉及传感器标定技术领域，尤其涉及一种激光雷达与相机的标定方法、装置、电子设备及存储介质。
背景技术
近年来，随着智能汽车产业的迅速发展，环境感知技术已成为智能汽车领域不可或缺的一环，在保障智能汽车的自动化以及智能化发挥着极为重要的作用。环境感知技术主要依靠激光雷达和相机摄像头两种核心测距传感元件。其中，相机摄像头用于获取周围路况信息并进行图像数字处理，激光雷达用于获取物体的三维信息。而环境感知技术是通过将激光雷达与相机摄像头融合，来实现精准的空间物体定位与追踪。
在汽车系统的设计阶段，设计师会根据汽车系统的基本框架和布局，设计各传感器的安装位置以及它们的交互方式。但设计阶段只根据理论分析以及模拟假设来将激光雷达与相机摄像头进行融合，在实际制造和装配过程中，由于各种因素(如机器精度、操作人员技能等)，很难保证每个传感器的实际装配位置与设计位置完全一致。这就会导致实际装配后的各传感器之间的相对坐标与设计软件导出的坐标存在误差。
因此，亟需一种在智能汽车制造和装配后将激光雷达与相机摄像头进行重新标定的方法，来提高智能汽车的定位和感知精度。
发明内容
本发明实施例提供涉及一种激光雷达与相机的标定方法、装置、电子设备及存储介质，能有效解决智能汽车在实际装配后的各传感器之间的相对坐标与设计软件导出的相对坐标存在误差的问题。
本发明一实施例提供一种激光雷达与相机的标定方法，包括：
根据激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像，生成若干标定点对；其中，所述标定点对由所述点云数据中一采样点和所述拍摄图像中对应的一特征点所构成；
根据所述激光雷达与所述相机的设计参数，生成一用于表征所述激光雷达与所述相机相对位置和相对姿态的初始变换矩阵；
根据所述初始变换矩阵以及若干所述标定点对，重复进行变换矩阵优化操作，直至生成目标变换矩阵；
根据所述目标变换矩阵，确定所述激光雷达与所述相机的相对位置和相对姿态，完成所述激光雷达与所述相机的标定；
其中，所述变换矩阵优化操作，包括：
获取待优化变换矩阵；其中，在初始时所述待优化变换矩阵为初始变换矩阵；
根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标；
通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值；
在确定所述损失函数值不收敛时，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵；
在确定所述损失函数值收敛时，将所述待优化变换矩阵作为目标变换矩阵。
进一步的，所述根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标，包括：
根据所述待优化变换矩阵，将所述点云数据中各采样点在激光雷达坐标系下的第一三维坐标转换为相机坐标系的第二三维坐标；
根据所述相机投影方程以及相机参数，将各所述第二三维坐标转换为二维采样点坐标。
进一步的，所述通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值，包括：
通过以下损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值：
其中，F为所述损失函数值，n为所述标定点对的总数，pixelx为所述特征点坐标中的横坐标，pixely为所述特征点坐标中的纵坐标，px为所述二维采样点坐标中的横坐标，py为所述二维采样点坐标中的纵坐标。
进一步的，所述根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵，包括：
通过所述损失函数向所述待优化变换矩阵求偏导，得到目标偏导数：
其中，为所述目标偏导数，T0为所述待优化变换矩阵；
根据预设的学习率以及所述目标偏导数，优化所述待优化变换矩阵，并将优化后的待优化变换矩阵，作为下一次进行变换矩阵优化操作所需的待优化变换矩阵。
本发明另一实施例提供了一种激光雷达与相机的标定装置，包括：
标定点对获取模块，用于根据激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像，生成若干标定点对；其中，所述标定点对由所述点云数据中一采样点和所述拍摄图像中对应的一特征点所构成；
初始变换矩阵获取模块，用于根据所述激光雷达与所述相机的设计参数，生成一用于表征所述激光雷达与所述相机相对位置和相对姿态的初始变换矩阵；
变换矩阵优化模块，用于根据所述初始变换矩阵以及若干所述标定点对，重复进行变换矩阵优化操作，直至生成目标变换矩阵；
标定模块，用于根据所述目标变换矩阵，确定所述激光雷达与所述相机的相对位置和相对姿态，完成所述激光雷达与所述相机的标定；
其中，所述变换矩阵优化操作，包括：
获取待优化变换矩阵；其中，在初始时所述待优化变换矩阵为初始变换矩阵；
根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标；
通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值；
在确定所述损失函数值不收敛时，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵；
在确定所述损失函数值收敛时，将所述待优化变换矩阵作为目标变换矩阵。
进一步的，所述变换矩阵优化模块，根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标，包括：
根据所述待优化变换矩阵，将所述点云数据中各采样点在激光雷达坐标系下的第一三维坐标转换为相机坐标系的第二三维坐标；
根据所述相机投影方程以及相机参数，将各所述第二三维坐标转换为二维采样点坐标。
进一步的，所述变换矩阵优化模块，通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值，包括：
通过以下损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值：
其中，F为所述损失函数值，n为所述标定点对的总数，pixelx为所述特征点坐标中的横坐标，pixely为所述特征点坐标中的纵坐标，px为所述二维采样点坐标中的横坐标，py为所述二维采样点坐标中的纵坐标。
进一步的，所述变换矩阵优化模块，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵，包括：
通过所述损失函数向所述待优化变换矩阵求偏导，得到目标偏导数：
其中，为所述目标偏导数，T0为所述待优化变换矩阵；
根据预设的学习率以及所述目标偏导数，优化所述待优化变换矩阵，并将优化后的待优化变换矩阵，作为下一次进行变换矩阵优化操作所需的待优化变换矩阵。
本发明另一实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项发明实施例所述的一种激光雷达与相机的标定方法。
本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如上述任意一项发明实施例所述的一种激光雷达与相机的标定方法。
通过实施本发明具有如下有益效果：
本发明提供了一种激光雷达与相机的标定方法、装置、电子设备及存储介质，所述方法通过将由激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像生成的若干标定点对中，各采样点的三维坐标转换为相机坐标系下的二维采样点坐标，并根据各二维采样点坐标和标定点对中特征点坐标的坐标误差，逐渐优化初始变换矩阵，最终获得能够准确表征所述激光雷达与所述相机的相对位置和相对姿态的目标变换矩阵。因此，本发明能够简单地根据各二维采样点坐标和标定点对中特征点的坐标误差，高效地实现激光雷达与相机的联合标定，来解决智能汽车在实际装配后的各传感器之间的相对坐标与设计软件导出的相对坐标存在误差的问题。
附图说明
图1是本发明一实施例提供的一种激光雷达与相机的标定方法的流程示意图。
图2是本发明一实施例提供的一种激光雷达与相机的标定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种激光雷达与相机的标定方法的流程示意图，包括：
S1、根据激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像，生成若干标定点对；其中，所述标定点对由所述点云数据中一采样点和所述拍摄图像中对应的一特征点所构成；
在本发明一优选的实施例中，通过将装配好后的车辆驶入标定室内，并开启车辆中的各传感器，以使车辆各传感器对标定物进行拍摄或探测，并根据探测标定物生成的点云数据以及拍摄标定物生成的拍摄图像，自动生成若干标定点对。需要说明的是，本实施例通过已知匹配算法，例如最小二乘法、RANSAC等方法，来自动完成采样点和特征点的匹配，生成若干标定点对。
S2、根据所述激光雷达与所述相机的设计参数，生成一用于表征所述激光雷达与所述相机相对位置和相对姿态的初始变换矩阵；
在本发明一优选的实施例中，根据从智能车辆的设计软件中导出所述激光雷达与所述相机的设计参数，生成所述初始变换矩阵，其中，所述设计参数为，设计师根据汽车系统的基本框架和布局，设计的激光雷达与相机的位置参数和姿态参数。
S3、根据所述初始变换矩阵以及若干所述标定点对，重复进行变换矩阵优化操作，直至生成目标变换矩阵；
其中，所述变换矩阵优化操作，包括：
S31、获取待优化变换矩阵；其中，在初始时所述待优化变换矩阵为初始变换矩阵；
S32、根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标；
优选的，所述根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标，包括：
S321、根据所述待优化变换矩阵，将所述点云数据中各采样点在激光雷达坐标系下的第一三维坐标转换为相机坐标系的第二三维坐标；
在本发明一优选的实施例中，为提高标定精度，需统一激光雷达与相机之间的坐标系，即把点云数据的若干采样点从激光雷达的坐标系转换到相机坐标系，使得两个传感器之间的数据能够正确地对齐。
S322、根据所述相机投影方程以及相机参数，将各所述第二三维坐标转换为二维采样点坐标。
在本发明一优选的实施例中，所述相机参数包括：内部参数以及外部参数；根据以下所述相机投影方程、内部参数以及外部参数，将各所述第二三维坐标转换为二维采样点坐标：
其中，(u,v)为所述二维采样点坐标，(XW，YW，ZW)为所述第二三维坐标，为所述内部参数，/>为所述外部参数。
S33、通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值；
优选的，所述通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值，包括：
S331、通过以下损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值：
其中，F为所述损失函数值，n为所述标定点对的总数，pixelx为所述特征点坐标中的横坐标，pixely为所述特征点坐标中的纵坐标，px为所述二维采样点坐标中的横坐标，py为所述二维采样点坐标中的纵坐标。
在本发明一优选的实施例中，通过所述损失函数可计算各所述二维采样点坐标与对应的特征点坐标之间的误差，并求得其对应的损失函数值。根据所述损失函数值能够准确地评估，当前的待优化变换矩阵是否能够准确表征相机与激光雷达的相对位置及姿态。其中，需要说明的是，(px，py)相当于步骤S322中所说的(u,v)。
S34、在确定所述损失函数值不收敛时，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵；
优选的，所述根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵，包括：
S341、通过所述损失函数向所述待优化变换矩阵求偏导，得到目标偏导数：
其中，为所述目标偏导数，T0为所述待优化变换矩阵；
S342、根据预设的学习率以及所述目标偏导数，优化所述待优化变换矩阵，并将优化后的待优化变换矩阵，作为下一次进行变换矩阵优化操作所需的待优化变换矩阵。
在本发明一优选的实施例中，基于学习率能够每次迭代优化中矩阵调整的步长，为使得变换矩阵的优化过程更加稳定，且最终的目标变换矩阵能够更加准确地表达相机与激光雷达的相对位置及姿态，本实施例将学习率设定为0.05。
需要进一步说明的是，通过所述目标偏导数确定所述待优化变换矩阵的优化方向。
S35、在确定所述损失函数值收敛时，将所述待优化变换矩阵作为目标变换矩阵。
在本发明一优选的实施例中，当计算得到的损失函数值相比与之前计算得到的损失函数值更大时，确定所述损失函数值收敛，并将当前的待优化变换矩阵作为目标变换矩阵。容易理解的是，如果新的损失函数值比之前的更小，说明迭代过程是有益的，应该继续进行。否则，可能已经找到了一个不错的解，或者继续迭代可能不会带来进一步的改进。在这种情况下，迭代过程可以停止。
S4、根据所述目标变换矩阵，确定所述激光雷达与所述相机的相对位置和相对姿态，完成所述激光雷达与所述相机的标定；
本发明实施例提供了一种激光雷达与相机的标定方法，通过将由激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像生成的若干标定点对中，各采样点的三维坐标转换为相机坐标系下的二维采样点坐标，并根据各二维采样点坐标和标定点对中特征点坐标的坐标误差，逐渐优化初始变换矩阵，最终获得能够准确表征所述激光雷达与所述相机的相对位置和相对姿态的目标变换矩阵。因此，本发明能够简单地根据各二维采样点坐标和标定点对中特征点的坐标误差，高效地实现激光雷达与相机的联合标定，来解决智能汽车在实际装配后的各传感器之间的相对坐标与设计软件导出的相对坐标存在误差的问题。
参见图2，是本发明一实施例提供的一种激光雷达与相机的标定装置的结构示意图，包括：
标定点对获取模块，用于根据激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像，生成若干标定点对；其中，所述标定点对由所述点云数据中一采样点和所述拍摄图像中对应的一特征点所构成；
初始变换矩阵获取模块，用于根据所述激光雷达与所述相机的设计参数，生成一用于表征所述激光雷达与所述相机相对位置和相对姿态的初始变换矩阵；
变换矩阵优化模块，用于根据所述初始变换矩阵以及若干所述标定点对，重复进行变换矩阵优化操作，直至生成目标变换矩阵；
其中，所述变换矩阵优化操作，包括：
获取待优化变换矩阵；其中，在初始时所述待优化变换矩阵为初始变换矩阵；
根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标；
通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值；
优选的，所述变换矩阵优化模块，通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值，包括：
通过以下损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值：
其中，F为所述损失函数值，n为所述标定点对的总数，pixelx为所述特征点坐标中的横坐标，pixely为所述特征点坐标中的纵坐标，px为所述二维采样点坐标中的横坐标，py为所述二维采样点坐标中的纵坐标。
在确定所述损失函数值不收敛时，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵；
优选的，所述变换矩阵优化模块，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵，包括：
通过所述损失函数向所述待优化变换矩阵求偏导，得到目标偏导数：
其中，为所述目标偏导数，T0为所述待优化变换矩阵；
根据预设的学习率以及所述目标偏导数，优化所述待优化变换矩阵，并将优化后的待优化变换矩阵，作为下一次进行变换矩阵优化操作所需的待优化变换矩阵。
在确定所述损失函数值收敛时，将所述待优化变换矩阵作为目标变换矩阵。
标定模块，用于根据所述目标变换矩阵，确定所述激光雷达与所述相机的相对位置和相对姿态，完成所述激光雷达与所述相机的标定；
本发明实施例提供的一种激光雷达与相机的标定装置，通过将由激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像生成的若干标定点对中，各采样点的三维坐标转换为相机坐标系下的二维采样点坐标，并根据各二维采样点坐标和标定点对中特征点坐标的坐标误差，逐渐优化初始变换矩阵，最终获得能够准确表征所述激光雷达与所述相机的相对位置和相对姿态的目标变换矩阵。因此，本发明能够简单地根据各二维采样点坐标和标定点对中特征点的坐标误差，高效地实现激光雷达与相机的联合标定，来解决智能汽车在实际装配后的各传感器之间的相对坐标与设计软件导出的相对坐标存在误差的问题。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
所述领域的技术人员可以清楚地了解到，为了方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。
本发明另一实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项发明实施例所述的一种激光雷达与相机的标定方法。
电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明另一实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种激光雷达与相机的标定方法，其特征在于，包括：
根据激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像，生成若干标定点对；其中，所述标定点对由所述点云数据中一采样点和所述拍摄图像中对应的一特征点所构成；
根据所述激光雷达与所述相机的设计参数，生成一用于表征所述激光雷达与所述相机相对位置和相对姿态的初始变换矩阵；
根据所述初始变换矩阵以及若干所述标定点对，重复进行变换矩阵优化操作，直至生成目标变换矩阵；
根据所述目标变换矩阵，确定所述激光雷达与所述相机的相对位置和相对姿态，完成所述激光雷达与所述相机的标定；
其中，所述变换矩阵优化操作，包括：
获取待优化变换矩阵；其中，在初始时所述待优化变换矩阵为初始变换矩阵；
根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标；
通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值；
在确定所述损失函数值不收敛时，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵；
在确定所述损失函数值收敛时，将所述待优化变换矩阵作为目标变换矩阵。
2.如权利要求1所述的一种激光雷达与相机的标定方法，其特征在于，所述根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标，包括：
根据所述待优化变换矩阵，将所述点云数据中各采样点在激光雷达坐标系下的第一三维坐标转换为相机坐标系的第二三维坐标；
根据所述相机投影方程以及相机参数，将各所述第二三维坐标转换为二维采样点坐标。
3.如权利要求2所述的一种激光雷达与相机的标定方法，其特征在于，所述通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值，包括：
通过以下损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值：
其中，F为所述损失函数值，n为所述标定点对的总数，pixelx为所述特征点坐标中的横坐标，pixely为所述特征点坐标中的纵坐标，px为所述二维采样点坐标中的横坐标，py为所述二维采样点坐标中的纵坐标。
4.如权利要求3所述的一种激光雷达与相机的标定方法，其特征在于，所述根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵，包括：
通过所述损失函数向所述待优化变换矩阵求偏导，得到目标偏导数：
其中，为所述目标偏导数，T0为所述待优化变换矩阵；
根据预设的学习率以及所述目标偏导数，优化所述待优化变换矩阵，并将优化后的待优化变换矩阵，作为下一次进行变换矩阵优化操作所需的待优化变换矩阵。
5.一种激光雷达与相机的标定装置，其特征在于，包括：
标定点对获取模块，用于根据激光雷达探测标定物生成的点云数据以及相机拍摄标定物生成的拍摄图像，生成若干标定点对；其中，所述标定点对由所述点云数据中一采样点和所述拍摄图像中对应的一特征点所构成；
初始变换矩阵获取模块，用于根据所述激光雷达与所述相机的设计参数，生成一用于表征所述激光雷达与所述相机相对位置和相对姿态的初始变换矩阵；
变换矩阵优化模块，用于根据所述初始变换矩阵以及若干所述标定点对，重复进行变换矩阵优化操作，直至生成目标变换矩阵；
标定模块，用于根据所述目标变换矩阵，确定所述激光雷达与所述相机的相对位置和相对姿态，完成所述激光雷达与所述相机的标定；
其中，所述变换矩阵优化操作，包括：
获取待优化变换矩阵；其中，在初始时所述待优化变换矩阵为初始变换矩阵；
根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标；
通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值；
在确定所述损失函数值不收敛时，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵；
在确定所述损失函数值收敛时，将所述待优化变换矩阵作为目标变换矩阵。
6.如权利要求5所述的一种激光雷达与相机的标定装置，其特征在于，所述变换矩阵优化模块，根据所述待优化变换矩阵以及预设的相机投影方程，计算所述点云数据中各采样点在相机坐标系下的二维采样点坐标，包括：
根据所述待优化变换矩阵，将所述点云数据中各采样点在激光雷达坐标系下的第一三维坐标转换为相机坐标系的第二三维坐标；
根据所述相机投影方程以及相机参数，将各所述第二三维坐标转换为二维采样点坐标。
7.如权利要求6所述的一种激光雷达与相机的标定装置，其特征在于，所述变换矩阵优化模块，通过预设的损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值，包括：
通过以下损失函数，计算各所述二维采样点坐标与对应的特征点坐标之间的误差，生成对应的损失函数值：
其中，F为所述损失函数值，n为所述标定点对的总数，pixelx为所述特征点坐标中的横坐标，pixely为所述特征点坐标中的纵坐标，px为所述二维采样点坐标中的横坐标，py为所述二维采样点坐标中的纵坐标。
8.如权利要求7所述的一种激光雷达与相机的标定装置，其特征在于，所述变换矩阵优化模块，根据所述损失函数优化所述待优化变换矩阵，生成下一次进行变换矩阵优化操作所需的待优化变换矩阵，包括：
通过所述损失函数向所述待优化变换矩阵求偏导，得到目标偏导数：
其中，为所述目标偏导数，T0为所述待优化变换矩阵；
根据预设的学习率以及所述目标偏导数，优化所述待优化变换矩阵，并将优化后的待优化变换矩阵，作为下一次进行变换矩阵优化操作所需的待优化变换矩阵。
9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的一种激光雷达与相机的标定方法。
10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至4中任意一项所述的一种激光雷达与相机的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311866814.9A CN117788606A (zh) | 2023-12-29 | 2023-12-29 | 激光雷达与相机的标定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311866814.9A CN117788606A (zh) | 2023-12-29 | 2023-12-29 | 激光雷达与相机的标定方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117788606A true CN117788606A (zh) | 2024-03-29 |
Family
ID=90390877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311866814.9A Pending CN117788606A (zh) | 2023-12-29 | 2023-12-29 | 激光雷达与相机的标定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788606A (zh) |
-
2023
- 2023-12-29 CN CN202311866814.9A patent/CN117788606A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109521403B (zh) | 多线激光雷达的参数标定方法及装置、设备及可读介质 | |
| CN109946680B (zh) | 探测系统的外参数标定方法、装置、存储介质及标定系统 | |
| CN111612852B (zh) | 用于验证相机参数的方法和装置 | |
| CN113436238A (zh) | 点云配准精度的评估方法、装置和电子设备 | |
| CN113787522B (zh) | 消除机械臂累积误差的手眼标定方法 | |
| CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| CN111080682A (zh) | 点云数据的配准方法及装置 | |
| US20240001558A1 (en) | Robot calibration method, robot and computer-readable storage medium | |
| CN114758005A (zh) | 激光雷达与相机外参标定方法及装置 | |
| CN112102417B (zh) | 确定世界坐标的方法和装置 | |
| CN112097772B (zh) | 机器人及其地图构建方法和装置 | |
| CN110673114B (zh) | 校准三维相机深度的方法、装置、计算机装置及存储介质 | |
| CN111656404B (zh) | 图像处理方法、系统及可移动平台 | |
| CN117788606A (zh) | 激光雷达与相机的标定方法、装置、电子设备及存储介质 | |
| CN114882115B (zh) | 车辆位姿的预测方法和装置、电子设备和存储介质 | |
| CN116224255A (zh) | 一种基于雷达数据的相机检测数据校准方法及系统 | |
| CN112489111B (zh) | 相机外参标定方法、装置及相机外参标定系统 | |
| CN115018922A (zh) | 畸变参数标定方法、电子设备和计算机可读存储介质 | |
| CN114966578A (zh) | 基于拍摄设备的雷达外参标定方法、装置和计算机设备 | |
| CN113706505A (zh) | 一种去除深度图像中局外点的圆柱拟合方法和装置 | |
| CN116046017B (zh) | 一种测量路径的校准方法、装置、存储介质和计算机设备 | |
| CN113129437B (zh) | 一种标志物的空间坐标确定方法及装置 | |
| CN114663524B (zh) | 多相机在线标定方法、装置、电子设备和计算机可读介质 | |
| CN117493775B (zh) | 数据链的相对导航方法、装置、电子设备及存储介质 | |
| CN117475399B (zh) | 车道线拟合方法、电子设备及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |