CN116381649A - 联合标定方法、设备和存储介质 - Google Patents
联合标定方法、设备和存储介质 Download PDFInfo
- Publication number
- CN116381649A CN116381649A CN202211743752.8A CN202211743752A CN116381649A CN 116381649 A CN116381649 A CN 116381649A CN 202211743752 A CN202211743752 A CN 202211743752A CN 116381649 A CN116381649 A CN 116381649A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- registration
- infrared
- coarse
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000005457 optimization Methods 0.000 claims abstract description 47
- 230000001360 synchronised effect Effects 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 102
- 230000006870 function Effects 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 56
- 239000011159 matrix material Substances 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本申请提供一种联合标定方法、设备及存储介质，所述方法包括：获取针对温控标定板的粗配准红外图像、以及与粗配准红外图像同步的粗配准点云；基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，实现精准且简便的红外拍摄设备与激光雷达设备的联合标定。
Description
技术领域
本申请涉及图像处理领域，尤其是涉及一种红外拍摄设备与激光雷达设备的联合标定方法、智能处理设备和计算机可读存储介质。
背景技术
在现代自动驾驶系统中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，并为预测和规划提供可靠的观察结果。然而，单一传感器不可避免的存在局限性，为了提高系统的稳健性，一般采取多传感器融合的方案。感知系统的输入一般是多传感器数据(来自摄像头的图像数据、来自LiDAR的点云、高精地图等)，并且会预测道路上关键要素的几何和语义信息。高质量的融合感知结果可作为轨迹预测和路径规划等后续步骤的可靠依据。作为广泛使用的车载传感器，激光雷达和拍摄设备融合可以实现3D目标检测，能够获取目标物体的位置、类别、大小和方向等信息。
为了实现激光雷达和相机的信息交互和取长补短，需要对两者进行精准标定。然而，如何实现一种精准且简便的红外拍摄设备与激光雷达设备的联合标定已成为当务之急。
发明内容
有鉴于此，本申请提供一种红外拍摄设备与激光雷达设备的联合标定方法、装置、智能处理设备和计算机可读存储介质，可以通过粗配准和精配准两个标定阶段，将目标标定和无目标标定两种标定方法的优点进行结合，实现精准且简便的红外拍摄设备与激光雷达设备的联合标定。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种红外拍摄设备与激光雷达设备的联合标定方法，包括：
获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云；
基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；
获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；
基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
第二方面，本申请实施例提供一种红外拍摄设备与激光雷达设备的联合标定装置，包括：
粗配准数据获取模块，用于获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与所述粗配准红外图像同步的粗配准点云；
粗配准外参参数确定模块，用于基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；
精配准数据获取模块，用于获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；
精配准外参参数得到模块，用于基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
第三方面，本申请实施例提供一种智能处理设备，包括处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的红外拍摄设备与激光雷达设备的联合标定方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时本申请任一实施例所述的红外拍摄设备与激光雷达设备的联合标定方法。
本申请上述实施例提供的红外拍摄设备与激光雷达设备的联合标定方法、装置、智能处理设备以及计算机存储介质，可以获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云，并基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数以及红外拍摄设备与激光雷达设备之间的粗配准外参参数。如此，将针对温控标定板同步采集的粗配准红外图像与粗配准点云作为粗配准数据，进行外参参数的粗配准标定，可以实现基于温控标定板的有目标标定，提供一个较为准确的粗配准外参参数。获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云，并基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，将粗配准外参参数作为初始迭代值，对粗配准外参参数进行迭代优化，得到匹配效果最好的精配准外参参数，从而通过将标定流程划分为粗配准和精配准两个阶段，可以将基于温控标定板的有目标标定与可基于实际场景的无目标标定的优点相结合，使得红外拍摄设备与激光雷达之间的联合标定精准，可以适用于红外拍摄设备与激光雷达之间不同距离的精准标定，并且无需人工操作，使得红外拍摄设备与激光雷达之间的联合标定操作简便，便于工程化落地。
附图说明
图1示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的应用系统的示意图；
图2示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定方法的流程示意图；
图3示出本申请实施例提供的另一种红外拍摄设备与激光雷达设备的联合标定方法的流程示意图；
图4示出本申请实施例提供的一种粗配准方法的流程示意图；
图5示出本申请实施例提供的一种精配准方法的流程示意图；
图6示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定装置的结构示意图；
图7示出本申请提供的一种智能处理设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
联合标定的作用是建立点云的点与图像像素之间的对应关系，需要标定红外相机与激光雷达之间的外参参数，从而通过外参参数将雷达坐标系下的点投影到红外拍摄设备三维坐标系下。同时，还需要标定红外设备的内参参数，从而通过内参参数可以将红外拍摄设备三维坐标系下的点投影在成像平面上。
图1示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的应用系统的示意图，如图1所示，应用系统可以包括组合传感器11、智能处理设备12和车载显示设备13。其中，组合传感器11可以包括红外拍摄设备和激光雷达设备。红外拍摄设备和激光雷达设备固定在一起。智能处理设备12可以用于针对红外拍摄设备采集的红外图像与激光雷达设备采集的点云执行本申请任一实施例提供的红外拍摄设备与激光雷达设备的联合标定方法。车载显示设备13可以用于显示智能处理设备12输出数据。
本申请实施例一方面，提供一种红外拍摄设备与激光雷达设备的联合标定方法，可以应用于如图1所示的智能处理设备。图2示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定方法的流程示意图，如图2所示，该红外拍摄设备与激光雷达设备的联合标定方法可以包括但不限于S21、S22、S23、S24和S25。
S21，获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云。
这里，温控标定板可以为温度可控的标定板。温控标定板可以为棋盘格标定板、二维码板、圆点标定板以及其他特制标定板等。例如，在温控标定板上有黑白方格阵列形成的棋盘图案层，并且在棋盘格内交替分布温度可控的正方向加热片。
粗配准红外图像可以为高辐射区与低辐射区交替出现的红外图像。在本申请实施例中，红外拍摄设备针对温控标定板进行图像采集，可以形成高辐射区与低辐射区交替出现的红外图像。需要说明的是，每帧粗配准红外图像可以为针对温控标定板每种摆放姿态采集的。
与粗配准红外图像同步的粗配准点云，可以为激光雷达针对温控标定板不同摆放姿态采集的、且与粗配准红外图像时间同步的点云。点云包含每一个点的三位坐标数据、颜色信息、反射强度以及回波次数等。
在本申请实施例中，多次变换温控标定板的朝向和位置(即摆放姿态)，红外拍摄设备与激光雷达对每次发生变化的温控标定板进行数据采集。由于激光雷达和红外拍摄设备的频率和触发时刻不同，因此，需要对点云和红外图像进行时间同步处理，提取同一时刻的点云与红外图像分别作为粗配准点云和粗配准红外图像。
S22，基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与激光雷达设备之间的粗配准外参参数。
这里，内参参数可以用于反应红外拍摄设备的自身的属性，可以包括但不限于焦距、主光轴点位置以及像素与真实环境的大小比例等。内参参数可以表示成内参矩阵K，内参矩阵K可以为：
其中，fx可以表示为使用像素来描述x轴方向焦距的长度。fy可以表示使用像素来描述y轴方向焦距的长度。[cx，cy]T可以为主光轴点坐标，一般为图像的中心，单位为像素。
粗配准外参参数可以为激光雷达和红外拍摄设备之间的粗配准外参参数，可以表示雷达坐标系和相机坐标系之间的相互变换关系。粗配准外参参数可以包括旋转参数Rcl和平移参数Tcl。
在本申请实施例中，可以通过基于温控标定板的标定方法，确定红外拍摄设备的内参参数以及红外拍摄设备与激光雷达设备的粗配准外参参数。
S23，获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云。
这里，目标场景可以包括目标对象。目标对象可以为以下至少之一：车辆、行人、地面标志线条和道路两侧的柱状物体。其中，道路两侧的柱状物体可以为路灯、交通信号灯和电线杆等。
精配准红外图像可以为红外拍摄设备针对目标场景采集的红外图像。精配准点云可以为激光雷达针对目标场景采集的点云。精配准红外图像和精配准点云为同时间采集的数据。也就是说，一帧精配准红外图像对应一帧精配准点云。
在本申请实施例中，红外拍摄设备和激光雷达在同一时间针对同一个目标场景进行采集，从而分别生成时间同步的精配准红外图像和精配准点云。
S24，基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
这里，精配准外参参数可以为激光雷达和红外拍摄设备之间的精配准外参参数，可以表示雷达坐标系和相机坐标系之间的相互变换关系。精配准外参参数可以包括旋转参数和平移参数。
由于精配准红外图像和精配准点云是针对同一目标场景同步采集的数据。理论上，在精配准红外图像和精配准点云中目标场景各对象区域理应一一对应。因此，可以基于精配准点云中特征点与精配准红外图像的投影误差，对粗配准外参参数进行迭代优化，从而得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，通过精配准外参参数可以使得精配准红外图像和精配准点云对齐。
在上述实施例中，可以获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云，并基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数以及红外拍摄设备与激光雷达设备之间的粗配准外参参数。如此，将针对温控标定板同步采集的粗配准红外图像与粗配准点云作为粗配准数据，进行外参参数的粗配准标定，可以实现基于温控标定板的有目标标定，提供一个较为准确的粗配准外参参数。获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云，并基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，将粗配准外参参数作为初始迭代值，对粗配准外参参数进行迭代优化，得到匹配效果最好的精配准外参参数，从而通过将标定流程划分为粗配准和精配准两个阶段，可以将基于温控标定板的有目标标定与可基于实际场景的无目标标定的优点相结合，使得红外拍摄设备与激光雷达之间的联合标定精准，可以适用于红外拍摄设备与激光雷达之间不同距离的精准标定，并且无需人工操作，使得红外拍摄设备与激光雷达之间的联合标定操作简便，便于工程化落地。
此外，由于该标定方法可以应用于出厂前自动标定和用户实时自动标定，对场景的依赖性低。
在一些实施例中，在S21，获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云之前，该红外拍摄设备与激光雷达设备的联合标定方法还可以包括：
调整红外拍摄设备的成像效果。
这里，成像效果可以包括但不限于对比度等。通过调整红外拍摄设备的成像效果，使得图像中交替的高低辐射区形成的角点更加清晰。
在一些实施例中，S22，基于所述粗配准红外图像和所述粗配准点云，确定所述红外拍摄设备的内参参数，并根据所述红外拍摄设备的内参参数确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数，包括：
检测每帧粗配准红外图像中的角点坐标，基于每帧角点坐标确定红外拍摄设备的内参参数、以及每帧粗配准红外图像对应的温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标；
针对每帧粗配准点云中提取温控标定板成像区域的标定板点云，将标定板点云进行平面拟合，得到每帧粗配准点云对应的温控标定板在雷达坐标系下的第二法向量和第二中心点坐标；
根据红外拍摄设备的内参参数、第一中心点坐标、第二中心点坐标、第一法向量以及第二法向量，确定红外拍摄设备与激光雷达设备之间的粗配准外参参数。
这里，角点坐标可以为温控标定板的角点的像素坐标。在本申请实施例中，可以通过角点检测法检测每帧粗配准红外图像中的角点坐标。需要说明的是，每帧粗配准红外图像的角点坐标可以为多个。
相机坐标系可以为在红外拍摄设备上建立的坐标系，也可以称做视点坐标系，为从红外拍摄设备的角度描述物体位置而定义。相机坐标系为xyz轴构成的直角坐标系，其中，x轴和y轴与图像坐标系的x轴和y轴平行，z轴为相机光轴，和成像平面垂直。相机坐标系需要满足右手法则。
像素坐标系是图像像素坐标系，是一个u轴和v轴构成的二维直角坐标系。其中，像素坐标系的原点在成像平面的左上角，u轴平行于成像平面水平向右，v轴垂直与u轴向下。
雷达坐标系可以为在激光雷达上建立的坐标系，是为了从激光雷达的角度描述物体位置而定义。雷达坐标系也是xyz轴构成的直角坐标系，其中，z轴和激光雷达旋转轴重合并指向上，XY构成的平面与地平面平行。
第一法向量可以为温控标定板在相机坐标系下的法向量，即温控标定板所在的图像平面的法向量。第一中心点坐标可以为在相机坐标系下温控标定板的中心点坐标，即温控标定板的中心点的像素坐标。
第二法向量可以为温控标定板在雷达坐标系下的法向量，即温控标定板拟合平面的法向量。第二中心点坐标可以为在雷达坐标系下温控标定板的中心点坐标，即温控标定板的中心点的雷达坐标。
在本申请实施例中，可以根据多帧粗配准红外图像，确定红外拍摄设备的内参参数，得到每帧粗配准红外图像对应的温控标定板的第一法向量与第一中心点坐标。以及，可以根据多帧粗配准点云，确定每帧粗配准点云对应的温控标定板的第二法向量与第二中心点坐标。
粗配准外参参数可以为激光雷达和红外拍摄设备之间的粗配准外参参数，可以表示雷达坐标系和相机坐标系之间的相互变换关系。粗配准外参参数可以包括旋转参数Rcl和平移参数Tcl。
在本申请实施例中，可以根据在相同时刻下温控标定板在相机坐标系下的第一法向量与在雷达坐标系下的第二法向量，确定粗配准外参参数的旋转参数Rcl。以及，根据红外拍摄设备的内参参数、在相同时刻下温控标定板在相机坐标系下的第一中心点坐标与在雷达坐标系下的第二中心点坐标，确定粗配准外参参数的平移参数Tcl。
在上述实施例中，可以通过对温控标定采集的每帧粗配准红外图像进行角点检测，得到各帧的角点坐标。基于各帧角点坐标，可以确定红外拍摄设备的内参参数，以及温控标定板在各帧中的第一法向量以及第一中点坐标。并且通过提取每帧粗配准点云中标定板点云，并对标定板点云进行平面拟合，得到温控标定在各帧中的第二法向量以及第二中心点坐标，从而可以通过温控板在同一时刻下的第一法向量、第二法向量、第一中心点和第二中心点，得到粗配准外参参数。如此，将有目标标定作为粗配准阶段，可以得到一个较为准确的粗配准外参参数，并且可以使得标定结果对场景的依赖性较低。
在一些实施例中，基于每帧角点坐标确定红外拍摄设备的内参参数、以及每帧粗配准红外图像对应的温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标，包括：
基于每帧角点坐标以及温控标定板的尺寸，得到每帧粗配准红外图像对应的温控标定板在像素坐标系下的第一中心点坐标；
根据像素坐标系与世界坐标系的第一转换关系以及每帧角点坐标，确定红外拍摄设备的内参参数，以及得到每帧粗配准红外图像对应的世界坐标系到像素坐标系的旋转参数；
将旋转参数进行罗德里格斯变换，得到各帧粗配准红外图像对应的温控标定板在相机坐标系下的第一法向量。
这里，温控标定板的尺寸可以为表面图案层的阵列尺寸。在本申请实施例中，可以首先根据温控标定板的尺寸确定温控标定板的中心点对应的角点，然后根据每帧粗配准红外图像的角点坐标，确定每帧粗配准红外图像中温控标定板的中心点坐标。例如，温控标定板为6行6列的黑白棋盘格时，温控标定板的中心点可以为第3行第3列角点。将每帧粗配准红外图像中第3行第3列角点的像素坐标作为每帧第一中心点坐标。
世界坐标系，用于描述环境中任何物体的位置，是一个三维直角坐标系。世界坐标系的方向可以任意。在本申请实施例中，世界坐标系各轴的方向可以与相机坐标系相同。并且，世界坐标系到相机坐标系只涉及旋转和平移，为刚体变换。
第一转换关系为像素坐标系与世界坐标系之间的转换关系，可以表示为：
其中，[Xw，Yw，Zw]T为角点的世界坐标，[u，v]T为角点的像素坐标，K为相机内参参数，[cx，cy]T为主光轴点，一般为图像的中心；fx和fy为焦距，RC和TC分别为世界坐标系到相机坐标系的旋转参数和平移参数，ZC为尺度因子。
在本申请实施例，可以建立温控标定板的角点的世界坐标，基于第一转换关系，以及多组角点的像素坐标与世界坐标，可以求解出红外拍摄设备的内参参数以及每帧粗配准红外图像对应的对应旋转参数Rc。
需要说明的是，每帧粗配准红外图像对应一组角点的像素坐标。角点的世界坐标固定不变，可以以最左上的角点为原点。
罗德里格斯变换可以为在三维空间中，旋转矩阵可以对旋转向量进行刚性的旋转变换。旋转矩阵与旋转向量之间的变换关系可以表示为：
其中，R为旋转矩阵，r为旋转向量，θ为旋转角度，I为单位矩阵。
在本申请实施例中，根据公式(3)可以将每帧粗配准红外图像对应的对应旋转参数Rc分别进行罗德里格斯变换，得到各帧粗配准红外图像对应的温控标定板在相机坐标系下的第一法向量。
在上述实施例，通过多帧的角点坐标，可以准确求解出内参参数以及温控标定板的第一中点坐标。并且通过罗德里格斯变换可以准确求解第一法向量。
在一些实施例中，针对每帧粗配准点云中提取温控标定板成像区域的标定板点云，将标定板点云进行平面拟合，得到每帧粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量和第二中心点坐标，包括：
对每帧粗配准点云进行滤波，得到各帧粗配准点云中温控标定板成像区域的标定板点云；
将标定板点云进行平面拟合，得到各帧粗配准点云的标定板平面点云；
根据各帧标定板平面点云，得到各帧粗配准点云对应的温控标定板在雷达坐标系下的第二法向量；
根据温控标定板的几何尺寸以及各帧标定板平面点云，得到各帧粗配准点云对应的第二中心点坐标。
这里，滤波可以为基于距离阈值进行的直通滤波。在本申请实施例中，可以为在每帧粗配准点云中根据距离阈值进行直通滤波，从而可以滤除温控标定板的背景区域，得到温控标定板成像区域的标定板点云。
平面拟合的方法有多种，如最小二乘平面拟合法，基于随机抽样一致(RANdomSAmple Consensus，RANSAC)的平面拟合法等。
在本申请实施例中，可以通过平面拟合算法，在各帧标定板点云中拟合出一个标定板平面，得到各帧的标定板平面点云。
第二法向量的计算过程可以为，根据各帧标定板平面点云计算各帧的协方差矩阵，根据各帧协方差矩阵，计算各帧协方差矩阵的最小特征值对应的特征向量，将各帧对应的特征向量进行单位化可以得到各帧的第二法向量。
具体地，标定板平面上点云中点的数量为m，每个点可表示为[X1 X2 X3],计算每个点的均值，每个点减去均值后可以表示为变量矩阵X。变量矩阵X可以表示为：
根据变量矩阵X可得到协方差矩阵C，根据
求出满足Cn＝λn的最小特征向量n，其中，λ为特征向量n对应的特征值。将最小特征向量n进行单位化即可得到第二法向量。
第二中心点坐标的计算过程可以为，根据温控标定板的几何尺寸确定温控标定板的中心所在位置，然后根据温控标定板的中心所在位置，从各帧标定板平面点云中确定出各帧温控标定板的第二中心点坐标。
此外，还可以采用其它方法计算第二法向量和第二中心点坐标，如找到各帧中温控标定板中每个线的起点和终点，并以中间线为分界线找到4条边界，然后通过直线拟合，得到四个顶点坐标，然后根据4个顶点坐标，计算各帧的第二中心点坐标和第二法向量。在本申请实施例中，对第二中心坐标与第二法向量的计算方法不做限制。
在上述实施例中，通过滤波和平面拟合，可以准确提取标定板的平面点云，从而可以准确且快速求解第二法向量与第二中心点坐标。
在一些实施例中，根据红外拍摄设备的内参参数、第一中心点坐标、第二中心点坐标、第一法向量以及第二法向量，确定红外拍摄设备与激光雷达设备之间的粗配准外参参数，包括：
根据第一法向量和第二法向量之间的旋转角度确定原始旋转参数，基于原始旋转参数，根据基于第一法向量和第二法向量构建的第一优化函数，对原始旋转参数进行迭代，得到初始旋转参数；
基于初始旋转参数以及红外拍摄设备的内参参数，将每帧第二中心点坐标投影至对应的粗配准红外图像，基于第二中心点坐标的投影坐标与对应的第一中心点坐标之间的距离构建第二优化函数，对初始外参参数进行迭代，得到红外拍摄设备与激光雷达设备之间的粗配准外参参数。
这里，旋转角度可以用于描述在同一时刻下，温控标定板的第一法向量与第二法向量之间的旋转。在本申请实施例中，可以根据多组第一法向量与第二法向量，得到多个旋转角度。根据旋转角度与旋转参数之间的转换关系，基于多个旋转角度得到原始旋转参数。
可选地，旋转角度可以通过欧拉角来描述。其中，欧拉角可以包括翻滚角roll，偏航角yaw，倾斜角pitch。roll、pitch、yaw分别为坐标系绕着x轴、y轴和Z轴逆时针转动的角度，其角度表示为γ，β，α。欧拉角与旋转参数Rcl的转换关系可以表示为：
需要说明的是，一个欧拉角可以得到一个候选旋转参数，对所有候选旋转参数取平均值，将平均值作为原始旋转参数。
第一优化函数是根据同一时刻下的第一法向量和第二法向量构建的，用于优化原始旋转参数。第一优化函数的构建思想是第一法向量与经过旋转后的第二法向量平行，也就是，第一法向量与经过旋转后的第二法向量之间的乘积为1。第一优化函数f1可以表示为：
其中，nl表示第二法向量，nc表示第一法向量，
表示原始旋转参数。
在本申请实施例，通过不断调节原始旋转参数，使得第一优化函数接近1，如此，完成对原始旋转参数的迭代优化，得到初始旋转参数。
这里，将每帧第二中心点坐标投影至对应的所述粗配准红外图像，可以为像素坐标系与激光雷达坐标系之间的转换关系，将每帧第二中心点坐标投影至对应的粗配准红外图像。
像素坐标系与激光雷达坐标系之间的转换关系可以为：
其中，K为红外设备的内参参数，[X1 Y1 Z1]T为空间点在激光雷达坐标系中的三维坐标，(u，v)T为空间点在红外图像上的投影坐标，ZC为尺度因子，旋转参数Rcl可以是旋转参数，Tcl可以是平移参数。Tcl可以表示激光雷达坐标系原点和相机坐标系原点之间的位置偏差。
粗配准外参参数可以包括旋转参数Rcl和平移参数Tcl。第二优化函数可以根据第二中心点坐标的投影坐标与对应的第一中心点坐标之间的距离构建。初始外参参数可以包括初始的旋转参数和初始平移参数。其中，初始的旋转参数可以设置为前述优化迭代得到的初始旋转参数。初始平移参数可以任意设置。
在本申请实施例中，将初始外参参数作为迭代初始值，通过不断调整初始外参参数，使得第二优化函数不断逼近0，如此，完成对初始外参参数的不断迭代优化，得到红外拍摄设备与激光雷达设备之间的粗配准外参参数。
在一些实施例中，S24，基于精配准红外图像和所述精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与所述激光雷达设备之间的精配准外参参数，包括：
对精配准红外图像进行特征提取，确定目标特征区域，对精配准点云进行特征提取，确定目标特征点云；
基于目标特征区域和目标特征点云构建损失函数，并利用损失函数对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
这里，目标特征区域可以为目标对象的成像区域。目标特征点云可以为表征目标对象表面特征的点的集合。
在本申请实施例中，可以通过目标检测方法对精配准红外图像进行特征提取，确定精配准红外图像中的目标特征区域。其中，目标检测方法可以包括但不限于阈值分割方法、边缘分割方法、语义分割方法以及基于神经网络的目标检测方法等。
以及，可以通过三维目标点云提取方法对精配准点云进行特征提取，确定目标特征点云。其中，三维目标点云提取方法可以包括但不限于基于投影的方法和基于神经网络的深度学习方法等。
这里，基于目标特征区域和目标特征点云构建损失函数，可以为基于粗配准外参参数，将一帧精配准点云中的目标特征点云投影至对应的精配准红外图像，根据基于目标特征点云落入目标特征区域的点数与目标特征点云的总点数构建的损失函数。
将目标特征点云投影至对应的精配准红外图像可以为，将目标特征点云的坐标从雷达坐标系转换成像素坐标系。
目标特征点云落入目标特征区域的点数可以为，投影后的目标特征点云中的空间点落入到对应的目标特征区域的数量。目标特征点云的总点数可以为目标特征点云所包含的全部空间点的数量。
损失函数可以基于目标特征点云落入目标特征区域的点数与目标特征点云的总点数构建，可以用于评价投影后的目标特征点云与目标特征区域的匹配程度。可选地，损失函数可以为1与目标特征点云落入目标特征区域的点数与目标特征点云的总点数的比值之间的差值，表示为：
其中，m为目标特征点云落入目标特征区域的点数，M为目标特征点云的总点数。
此外，损失函数还可以为目标特征点云落入目标特征区域的点数与目标特征点云的总点数的比值。在本申请实施例中，对损失函数的形式不做限制。
在本申请实施例中，将粗配准外参参数作为迭代的初始值，通过不断迭代优化外参参数，使得损失函数不断逼近于目标值，从而得到精配准外参参数。具体地，根据粗配准外参参数与内参参数，将一帧精配准点云中的目标特征点云投影至对应的精配准红外图像，确定目标特征点云落入目标特征区域的点数，从而根据目标特征点云落入目标特征区域的点数与目标特征点云的总点数，确定损失函数的初始值。在初始值不为目标值的时候，调节粗配准外参参数，重新计算损失函数，如此，完成一次精配准外参参数的迭代优化。重复上述迭代优化过程，直到损失函数趋近于目标值，从而得到精配准外参参数。
需要说明的是，目标值可以根据目标函数设定。可选地，目标值可以为0或者1。
在上述实施例中，将针对目标场景同步采集的精配准红外图像和精配准点云作为精配准数据，并基于投影后的目标特征点云与目标特征区域的匹配程度构建损失函数，以及将粗配准外参参数作为初始迭代值，对粗配准外参参数进行迭代优化，得到匹配效果最好的精配准外参参数。
在一些实施例中，对精配准红外图像进行特征提取，确定目标特征区域，对精配准点云进行特征提取，确定目标特征点云，可以包括：
通过预训练的语义分割模型对精配准红外图像进行特征提取，确定目标对象的目标特征区域；
对精配准点云进行滤波处理，得到感兴趣区域的点云；
根据目标对象的类型对应的特征提取方法，从感兴趣区域的点云中提取表征对应目标对象的目标特征点云。
这里，预训练的语义分割模型可以基于神经网络构建的模型，可以将红外图像分割成具有一定语义含义的区域块，并且识别出每个区域块的语义类别，输出一个逐像素语义标注的分割图像。
在本申请实施例中，通过预训练的语义分割模型对精配准红外图像进行特征提取，提取的目标对象主要分为四类：车辆、行人、地面标志线条以及道路两侧的路灯，交通信号灯，电线杆等柱状物体，从而根据提取结果可以确定各个目标对象的目标特征区域。
目标特征点云可以为一个目标对象表面特征点的集合。一个目标特征点云对应一个目标对象。感兴趣区域可以为包括目标对象的区域。在精配准点云中，目标对象主要分为4类：车辆、行人、地面标志线条以及道路两侧的路灯，交通信号灯，电线杆等柱状物体。
在本申请实施例，可以首先根据距离阈值对进行直通滤波去除非感兴趣区域内的点云，得到感兴趣区域的点云。然后，在感兴趣区域内的点云中采用不同的特征提取方法提取不同类型的目标对象的特征点云。
在上述实施例中，通过语义分割的特征提取方法，可以从精配准红外图像精确提取目标特征区域。以及通过滤波以及不同的特征方法，可以从精配准点云中准确提取出目标特征点云。
在一些实施例中，可以在红外图像特征提取过程中，识别出精配准红外图像包括的目标对象的类型，然后在点云特征提取过程中，选取与目标对象类型对应的特征提取方法，进行特征提取。如此，可以针对性选择特征提取方法，快速且准确完成特征点云的提取。
在一些实施例中，在通过预训练的语义分割模型对所述精配准红外图像进行特征提取，确定目标对象对应的类型及其目标特征区域之后，该红外拍摄设备与激光雷达设备的联合标定方法还包括：
基于目标特征区域，生成与精配准红外图像对应的蒙版图像。
这里，蒙版图像可以为目标特征区域与背景区域存在区别的图像。在本申请实施例中，基于目标特征区域，确定精配准红外图像中除目标特征区域外的背景区域，将背景区域进行遮挡，生成蒙版图像。
在上述实施例中，生成蒙版图像，可以使得精配准红外图像中目标特征区域与背景区域形成区分，便于后续快速且准确计算目标特征点云落入目标特征区域的点数。
在一些实施例中，基于目标特征区域和目标特征点云构建损失函数，可以包括：
基于粗配准外参参数，将一帧精配准点云中的目标特征点云投影至对应的蒙版图像；
根据基于目标特征点云落入蒙版图像的目标特征区域的点数与目标特征点云的总点数构建的损失函数。
这里，由于蒙版图像是基于精配准红外图像生成的，因此，可以根据公式(7)，将一帧精配准点云中的目标特征点云投影至对应的蒙版图像。
在本申请实施例中，根据粗配准外参参数与内参参数，将一帧精配准点云中的目标特征点云投影至对应的蒙版图像，确定目标特征点云落入目标特征区域的点数，从而根据目标特征点云落入目标特征区域的点数与目标特征点云的总点数，确定损失函数的初始值。在初始值不为目标值的时候，调节粗配准外参参数，重新计算损失函数，如此，完成一次精配准外参参数的迭代优化。重复上述迭代优化过程，直到损失函数趋近于目标值，从而得到精配准外参参数。
在一些实施例中，根据目标对象的类型，从感兴趣区域的点云中提取表征对应目标对象的目标特征点云，包括：
在目标对象包括地面标志线的情况下，对感兴趣区域内的点云进行平面拟合，提取地面点云，根据距离与激光强度的关联关系，确定地面点云的激光强度值，根据激光强度值与激光强度阈值的大小关系，提取地面标志线的目标特征点云。
这里，感兴趣区域中每个空间点的激光反射强度可以根据距离与激光反射强度的关联关系确定。其中，距离是指空间点与激光雷达之间的距离。
由于相较于周围地面点云，地面标志线对激光呈高亮反射，具有较大的反射强度值，并且该反射强度与距离呈正相关。因此，距离与激光反射强度的关联关系可以表示成：
其中，I表示激光反射强度，a，b为拟合出的激光反射强度与距离的关系系数，x，y，z为空间点的距离信息。
在本申请实施例中，可以对感兴趣区域内的点云进行RANSAC平面拟合，提取地面点云。然后根据地面点云中每个空间点的雷达坐标，按照公式(9)计算地面点云中每个空间点的激光强度值。比较每个空间点的激光强度值与激光强度阈值的大小，筛选出激光强度值大于激光强度阈值的空间点，从而提取出地面标志线的目标特征点云。如此，通过激光强度阈值筛选方法可以准确提取地面标志物的特征点云。
在一些实施例中，根据目标对象的类型对应的特征提取方法，从感兴趣区域的点云中提取表征对应目标对象的目标特征点云，包括：
在目标对象包括人和/或车的情况下，对感兴趣区域的点云进行滤波，得到缩小后感兴趣区域的点云，以及对缩小后感兴趣区域的点云进行形态学滤波，提取人和/或车的目标特征点云。
这里，滤波可以为直通滤波。对感兴趣区域的点云进行滤波可以缩小感兴趣区域，去除道路两侧物体的点云，得到缩小后感兴趣区域的点云。
由于地面并不完全是水平平面，存在渐变式的高度变化，并且车辆、行人等物体存在突变式的高度变化。因此，平面拟合法不能完全将地面和非地面点云进行完全划分。从而在本申请实施例中，可以根据上述高度变化规律对缩小后感兴趣区域的点云进行形态学滤波，可以分别提取出地面点云和非地面点云，非地面点云内包含的即地面上的人、车等目标对象。如此，通过形态学滤波可以准确提取人和/或车的特征点云。
在一些实施例中，根据目标对象的类型对应的特征提取方法，从感兴趣区域的点云中提取表征对应目标对象的目标特征点云，包括：
在目标对象包括路边的柱状物体的情况下，将感兴趣区域的点云划分成多个上下贯通的体素柱，对多个体素柱的高度进行阈值判断，提取路边的柱状物体的目标特征点云。
这里，体素柱可以为多个体素构成。体素可以为体积元素，可以是三维空间上的最小单位。阈值判断可以为根据高度阈值进行的判断。高度阈值可以根据激光雷达安装高度确定，而激光雷达安装高度可以根据地面与雷达水平面之间的平面距离对激光雷达的安装高度确定。
在本申请实施例中，可以根据RANSAC平面拟合提取到地面点云平面，得到地面点云平面的平面方程，从而得到地面与雷达水平面之间的平面距离。地面点云平面的平面方程可以表示为：
Ax+By+Cz+D＝0 (10)
其中，A、B、C和D为方程系数。D可以表示地面与雷达水平面之间的平面距离。
在本申请实施例中，可以先将感兴趣区域的点云体素化，划分出多个上下贯通的体素柱，然后对每个体素柱内的最高点进行阈值判断，确定出高于高度阈值的体素柱。
由于高于高度阈值的体素柱内可能存在信号灯、路灯等杆状物，但是也可能同时存在建筑物、树木之类等物体。因此，还需要对高于高度阈值的体素柱内的点云继续进行RANSAC柱面拟合，并对拟合的柱状物体点云再次进行高度阈值判断，从而通过再次进行高度阈值判断是为了减少将没有枝叶的树干拟合成杆状物误判为目标对象的概率，如此，可以筛选出包含柱状物体的体素柱，提取出路边的柱状物体的目标特征点云。
在一些实施例中，在基于所述精配准红外图像和所述精配准点云，对所述粗配准外参参数进行迭代优化，得到所述红外拍摄设备与所述激光雷达设备之间的精配准外参参数之后，该红外拍摄设备与激光雷达设备的联合标定方法还可以包括：
基于另一帧精配准数据对精配准外参参数进行验证；
这里，验证方法可以为根据精配准外参参数，计算另一帧精配准对应的损失函数的得值，确定损失函数的得值是否在0附近，即确定损失函数的得值在预设范围内，如果在，则验证通过。如果不在，则验证不通过。其中，预设范围可以为-0.03至0.003。如此，通过另一帧精配准数据对精配准外参参数进行验证，可以准确验证精配准外参参数的准确性。
为了完整理解红外拍摄设备与激光雷达设备的联合标定方法，本申请实施例还提供另一种红外拍摄设备与激光雷达设备的联合标定方法。图3示出本申请实施例提供的另一种红外拍摄设备与激光雷达设备的联合标定方法的流程示意图，如图3所示，红外拍摄设备与激光雷达设备的联合标定方法包括：
S31，获取采集的粗配准数据。
这里，粗配准数据可以为针对温控标定板采集的数据，可以包括粗配准红外图像和粗配准点云。粗配准红外图像可以由红外拍摄设备针对温控标定板采集的，粗配准点云可以由激光雷达针对温控标定板采集的。其中，温控标定板可以为棋盘格标定板。
在本申请实施例中，通过采集装置采集粗配准数据，还对采集粗配准数据进行时间同步处理。也就是，通过多次变换标定板的朝向和位置，同时采集激光雷达和红外相机数据。由于激光雷达和红外相机的频率和触发时刻不同，需要对点云和红外图像进行时间同步处理，提取同一时刻的数据帧进行后续标定。
S32，基于粗配准数据进行外参参数的粗配准，得到粗配准的外参参数。
这里，外参参数的粗配准可以为针对标定板进行的粗配准。
S32，获取采集的精配准数据。
这里，精配准数据可以为针对目标场景采集的数据，可以包括精配准红外图像和精配准点云。精配准红外图像可以由红外拍摄设备针对温控标定板采集的，精配准点云可以由激光雷达针对温控标定板采集的。
S33，基于精配准数据和内参参数进行外参参数的精配准，得到精配准外参参数。
这里，精配准可以为基于自然场景的精配准。
在上述实施例中，将标定流程分为粗配准和精配准两阶段，从而将有目标标定和无目标标定两种算法的优缺点进行结合，可适用于不同距离的精准标定。在粗配准阶段可以自动识别不同放置位置的标定板，精配准阶段可以自动识别参照物特征，从而在整个标定过程无需手动操作，便于工程化落地。此外，还可以应用于出厂前自动标定和用户实时自动标定，对场景的依赖性低。
图4示出本申请实施例提供的一种粗配准方法的流程示意图，如图4所示，S32，基于粗配准数据进行外参参数的粗配准，得到粗配准的外参参数，可以包括：
S41，调整粗配准红外图像的成像效果。
这里，对初始红外图像的对比度等参数进行调整，提高红外图像的成像效果，使得红外图像中交替的高低辐射区形成的角点更加清晰。如此，针对低分辨率、缺乏色彩信息的红外图像，进行了细节和对比度增强处理，使得红外图像的特征提取更加简单。
S42，对调整后的红外图像进行角点检测以及内参标定，得到内参参数、棋盘格在像素坐标系下的第一法向量和第一中心点坐标。
这里，利用角点检算法得到角点的像素坐标，根据角点坐标可以得到标定板的第一中心点坐标，同时利用角点坐标根据公式(2)可以计算内参矩阵和标定板在相机坐标系下的第一法向量。
S43，对粗配准点云进行直通滤波，得到棋盘格点云的区域。
S44，对区域内的点云进行平面拟合，得到平面内的棋盘格的点云，棋盘格在雷达坐标系下的第二中点坐标和第二法向量。
这里，在区域内的点云中根据距离阈值进行直通滤波滤除周围的背景信息，得到只有棋盘格点云的区域，然后对区域内的点云进行平面拟合得到平面内的棋盘格点云。根据棋盘格的几何尺寸和棋盘格的点云可以计算得到棋盘格中心点在雷达坐标系下的第二中心点坐标。
S45，计算棋盘格的点云的协方差矩阵，根据棋盘格的点云的协方差矩阵，得到第二法向量。
这里，根据棋盘格的点云通过计算其协方差矩阵，并计算协方差矩阵的最小特征值对应的特征向量，并进行单位化得到的向量为棋盘格的点云在激光雷达坐标系的第二法向量。
S46，计算同一时刻下的第一法向量和第二法向量之间的欧拉角，并根据欧拉角确定原始旋转矩阵(即原始旋转参数)。
这里，提取同一时刻下棋盘格在相机坐标系下的第一法向量和在雷达坐标系下的第二法向量，根据同一时刻下的第一法向量与第二法向量之间的欧拉角，然后根据公式(5)确定原始旋转矩阵。
S47，以原始旋转矩阵作为初值，分别根据第一法向量和第二法向量，以及第一中心点坐标和第二中点坐标进行迭代优化，得到粗配准外参参数。
这里，利用S42和S44分别获取内参参数和标定板位姿构建标定平面，然后根据法向量与中心点进行迭代优化，得到粗配准外参参数。
具体地，将棋盘格在相机坐标系的法向量与在雷达坐标系的法向量互相平行作为优化迭代目标，即通过调整原始旋转矩阵，使得第一法向量与经旋转后的第二法向量的乘积接近1，将最后的调整结果作为初始旋转矩阵。
利用像素坐标系与激光雷达坐标系之间的关系将雷达标定板中心点投影至红外图像中，计算其投影中心点与图像中标定板中心点的距离，并根据该距离对外参参数进行迭代优化。即以初始旋转参数作为初始值，通过调整外参参数，使得距离接近0，将最后的调整结果作为粗配准外参参数。
图5示出本申请实施例提供的一种精配准方法的流程示意图，如图5所示，S33，基于精配准数据和内参参数进行外参参数的精配准，得到精配准外参参数，可以包括：
S51，对精配准红外图像进行语义分割，得到目标特征区域。
S52，基于目标特征区域，得到蒙版图像。
S53，基于内参参数，对蒙版图像去畸变。
S54，对精配准点云进行直通滤波，提取到目标特征点云，分别转入S55，S57，S511。
S55，对目标特征点云进行平面拟合，转入S56。
S56，根据自适应强度阈值提取地面标志线的特征点云，转入S512。
S57，对目标特征点云再次进行直通滤波，转入S58。
S58，基于形态学滤波提取地面上人和车辆的特征点云，转入S512。
S59，对目标特征点云再次进行体素柱划分，得到多个体素柱，转入S510，
S510，对多个体素柱进行高度阈值判断，转入S511。
S511，对高于高度阈值的体素柱，进行RANSAC柱面拟合和高度阈值判断，提取路边柱状物的特征点云，转入S512。
S512，将特征点云投影于蒙版图像，确定落入目标特征区域的投影点。
这里，将S56、S58和S512得到的特征点云可以基于粗配准外参参数投影于蒙版图像。
S513，根据落入目标特征区域的投影点的数目构建的优化约束(即损失函数)，对外参参数进行迭代优化，得到精配准外参参数。
这里，优化约束可以由落入目标特征区域的投影点的数目与目标特征区域的像素的总数目构建。优化约束可以表示成公式(8)。将粗配准外参参数作为初始值，将特征点云投影至蒙版图像，确定优化约束的初始值，然后不断调整粗配准外参参数，使得优化约束不断逼近0，得到精配准外参参数。
S514，基于另一帧精配准数据检查确认精配准外参参数。
这里，基于另一帧精配准数据得到的优化约束值是否在0附近，来检查确认精配准外参参数是否正确。如果在，则检查通过。如果不在，则检查不通过，需要重新进行标定。
S515，在检查通过的情况下，输出精配准外参参数。
本申请实施例又一方面，还提供一种红外拍摄设备与激光雷达设备的联合标定装置。图6示出一种红外拍摄设备与激光雷达设备的联合标定装置的结构示意图，如图6所示，该红外拍摄设备与激光雷达设备的联合标定装置可以包括：
粗配准数据获取模块61，用于获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与所述粗配准红外图像同步的粗配准点云；
粗配准外参参数确定模块62，用于基于粗配准红外图像和所述粗配准点云，确定红外拍摄设备的内参参数，并根据所述红外拍摄设备的内参参数确定红外拍摄设备与激光雷达设备之间的粗配准外参参数；
精配准数据获取模块63，用于获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；
精配准外参参数得到模块64，用于基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
在上述实施例中，可以获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云，并基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数以及红外拍摄设备与激光雷达设备之间的粗配准外参参数。如此，将针对温控标定板同步采集的粗配准红外图像与粗配准点云作为粗配准数据，进行外参参数的粗配准标定，可以实现基于温控标定板的有目标标定，提供一个较为准确的粗配准外参参数。获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云，并基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，将粗配准外参参数作为初始迭代值，对粗配准外参参数进行迭代优化，得到匹配效果最好的精配准外参参数，从而通过将标定流程划分为粗配准和精配准两个阶段，可以将基于温控标定板的有目标标定与可基于实际场景的无目标标定的优点相结合，使得红外拍摄设备与激光雷达之间的联合标定精准，可以适用于红外拍摄设备与激光雷达之间不同距离的精准标定，并且无需人工操作，使得红外拍摄设备与激光雷达之间的联合标定操作简便，便于工程化落地。
在一些实施例，粗配准外参参数确定模块62，可以包括：
第一法向量与中心点坐标得到模块，用于检测每帧所述粗配准红外图像中的角点坐标，基于每帧所述角点坐标确定所述红外拍摄设备的内参参数、以及每帧粗配准红外图像对应的温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标；
第二法向量与中心点坐标得到模块，用于针对每帧粗配准点云中提取温控标定板成像区域的标定板点云，将标定板点云进行平面拟合，得到每帧粗配准点云对应的温控标定板在雷达坐标系下的第二法向量和第二中心点坐标；
粗配准外参参数确定子模块，用于根据红外拍摄设备的内参参数、第一中心点坐标、第二中心点坐标、第一法向量以及第二法向量，确定红外拍摄设备与激光雷达设备之间的粗配准外参参数。
在一些实施例中，第一法向量与中心点坐标得到模块，包括：
基于每帧角点坐标以及所述温控标定板的尺寸，得到每帧粗配准红外图像对应的温控标定板在像素坐标系下的第一中心点坐标；
根据像素坐标系与世界坐标系的第一转换关系以及每帧角点坐标，确定红外拍摄设备的内参参数，以及得到每帧粗配准红外图像对应的世界坐标系到像素坐标系的旋转参数；
将旋转参数进行罗德里格斯变换，得到各帧粗配准红外图像对应的温控标定板在相机坐标系下的第一法向量。
在一些实施例中，第二法向量与中心点坐标得到模块，包括：
标定板点云得到子模块，用于对每帧粗配准点云进行滤波，得到各帧粗配准点云中温控标定板成像区域的标定板点云；
标定板点云得到子模块，用于将标定板点云进行平面拟合，得到各帧粗配准点云的标定板平面点云；
第二法向量得到子模块，用于根据各帧标定板平面点云，得到各帧粗配准点云对应的温控标定板在雷达坐标系下的第二法向量；
第二中心点坐标得到子模块，用于根据温控标定板的几何尺寸以及各帧标定板平面点云，得到各帧粗配准点云对应的温控标定板在雷达坐标系下的第二中心点坐标。
在一些实施例，粗配准外参参数确定子模块，可以包括：
初始旋转参数得到单元，用于根据第一法向量和第二法向量之间的旋转角度确定原始旋转参数，基于原始旋转参数，根据基于第一法向量和第二法向量构建的第一优化函数，对原始旋转参数进行迭代，得到初始旋转参数；
粗配准外参参数得到单元，用于基于初始旋转参数以及红外拍摄设备的内参参数，将每帧第二中心点坐标投影至对应的粗配准红外图像，基于第二中心点坐标的投影坐标与对应的第一中心点坐标之间的距离构建第二优化函数，对初始外参参数进行迭代，得到红外拍摄设备与激光雷达设备之间的粗配准外参参数。
在一些实施例中，精配准外参参数得到模块64包括：
特征提取子模块，用于对精配准红外图像进行特征提取，确定目标特征区域，对精配准点云进行特征提取，确定目标特征点云；
精配准外参参数得到子模块，用于基于目标特征区域和目标特征点云构建损失函数，并利用损失函数对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
在一些实施例中，特征提取子模块，可以包括：
目标特征区域提取单元，用于通过预训练的语义分割模型对精配准红外图像进行特征提取，确定目标对象的目标特征区域；
感兴趣点云得到单元，用于对精配准点云进行滤波处理，得到感兴趣区域的点云；
目标特征点云提取单元，用于根据目标对象的类型对应的特征提取方法，从感兴趣区域的点云中提取表征对应目标对象的目标特征点云。
在一些实施例中，目标特征点云提取单元，可以具体用于：
在目标对象包括地面标志线的情况下，对感兴趣区域内的点云进行平面拟合，提取地面点云，根据距离与激光强度的关联关系，确定地面点云的激光强度值，根据激光强度值与激光强度阈值的大小关系，提取地面标志线的目标特征点云；
在目标对象包括人和/或车的情况下，对感兴趣区域的点云进行滤波，得到缩小后感兴趣区域的点云，以及对缩小后感兴趣区域的点云进行形态学滤波，提取所述人和/或车的目标特征点云；
在目标对象包括路边的柱状物体的情况下，将感兴趣区域的点云划分成多个上下贯通的体素柱，对多个体素柱的高度进行阈值判断，提取路边的柱状物体的目标特征点云。
需要说明的是：上述实施例提供的红外拍摄设备与激光雷达设备的联合标定装置在实现红外拍摄设备与激光雷达设备的联合标定方法过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或部分方法步骤。另外，上述实施例提供的红外拍摄设备与激光雷达设备的联合标定装置与红外拍摄设备与激光雷达设备的联合标定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例另一方面，还提供一种智能处理设备。图7示出本申请提供的一种智能处理设备的结构示意图，如图7所示，智能处理设备可以包括处理器71及存储器72，所述存储器72内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本申请任一实施例所述的红外拍摄设备与激光雷达设备的联合标定方法，智能处理设备与前述实施例提供的红外拍摄设备与激光雷达设备的联合标定方法能够达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述红外拍摄设备与激光雷达设备的联合标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。所述计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种红外拍摄设备与激光雷达设备的联合标定方法，其特征在于，包括：
获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与所述粗配准红外图像同步的粗配准点云；
基于所述粗配准红外图像和所述粗配准点云，确定所述红外拍摄设备的内参参数，并根据所述红外拍摄设备的内参参数确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；
获取所述红外拍摄设备与所述激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；
基于所述精配准红外图像和所述精配准点云，对所述粗配准外参参数进行迭代优化，得到所述红外拍摄设备与所述激光雷达设备之间的精配准外参参数。
2.根据权利要求1所述的联合标定方法，其特征在于，所述基于所述粗配准红外图像和所述粗配准点云，确定所述红外拍摄设备的内参参数，并根据所述红外拍摄设备的内参参数确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数，包括：
检测每帧所述粗配准红外图像中的角点坐标，基于每帧所述角点坐标确定所述红外拍摄设备的内参参数、以及每帧所述粗配准红外图像对应的所述温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标；
针对每帧所述粗配准点云中提取温控标定板成像区域的标定板点云，将所述标定板点云进行平面拟合，得到每帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量和第二中心点坐标；
根据所述红外拍摄设备的内参参数、所述第一中心点坐标、所述第二中心点坐标、所述第一法向量以及所述第二法向量，确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数。
3.根据权利要求2所述的联合标定方法，其特征在于，所述基于每帧所述角点坐标确定所述红外拍摄设备的内参参数、以及每帧所述粗配准红外图像对应的所述温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标，包括：
基于每帧所述角点坐标以及所述温控标定板的尺寸，得到每帧所述粗配准红外图像对应的所述温控标定板在像素坐标系下的第一中心点坐标；
根据所述像素坐标系与世界坐标系的第一转换关系以及每帧所述角点坐标，确定所述红外拍摄设备的内参参数，以及得到每帧所述粗配准红外图像对应的所述世界坐标系到所述像素坐标系的旋转参数；
将所述旋转参数进行罗德里格斯变换，得到各帧所述粗配准红外图像对应的所述温控标定板在相机坐标系下的第一法向量。
4.根据权利要求2所述的联合标定方法，其特征在于，所述针对每帧所述粗配准点云中提取温控标定板成像区域的标定板点云，将所述标定板点云进行平面拟合，得到每帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量和第二中心点坐标，包括：
对每帧所述粗配准点云进行滤波，得到各帧所述粗配准点云中温控标定板成像区域的标定板点云；
将所述标定板点云进行平面拟合，得到各帧所述粗配准点云的标定板平面点云；
根据各帧所述标定板平面点云，得到所述各帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量；
根据所述温控标定板的几何尺寸以及各帧所述标定板平面点云，得到各帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二中心点坐标。
5.根据权利要求2所述的联合标定方法，其特征在于，所述根据所述红外拍摄设备的内参参数、所述第一中心点坐标、所述第二中心点坐标、所述第一法向量以及所述第二法向量，确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数，包括：
根据所述第一法向量和所述第二法向量之间的旋转角度确定原始旋转参数，基于原始旋转参数，根据基于所述第一法向量和所述第二法向量构建的第一优化函数，对所述原始旋转参数进行迭代，得到初始旋转参数；
基于所述初始旋转参数以及所述红外拍摄设备的内参参数，将每帧所述第二中心点坐标投影至对应的所述粗配准红外图像，基于所述第二中心点坐标的投影坐标与对应的所述第一中心点坐标之间的距离构建第二优化函数，对初始外参参数进行迭代，得到所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数。
6.根据权利要求1所述的联合标定方法，其特征在于，所述基于所述精配准红外图像和所述精配准点云，对所述粗配准外参参数进行迭代优化，得到所述红外拍摄设备与所述激光雷达设备之间的精配准外参参数，包括：
对所述精配准红外图像进行特征提取，确定目标特征区域，对所述精配准点云进行特征提取，确定目标特征点云；
基于所述目标特征区域和所述目标特征点云构建损失函数，并利用所述损失函数对所述粗配准外参参数进行迭代优化，得到所述红外拍摄设备与所述激光雷达设备之间的精配准外参参数。
7.根据权利要求6所述的联合标定方法，其特征在于，所述对所述精配准红外图像进行特征提取，确定目标特征区域，对所述精配准点云进行特征提取，确定目标特征点云，包括：
通过预训练的语义分割模型对所述精配准红外图像进行特征提取，确定目标对象的目标特征区域；
对所述精配准点云进行滤波处理，得到感兴趣区域的点云；
根据目标对象的类型对应的特征提取方法，从所述感兴趣区域的点云中提取表征对应所述目标对象的目标特征点云。
8.根据权利要求7所述的联合标定方法，其特征在于，所述根据目标对象的类型对应的特征提取方法，从所述感兴趣区域的点云中提取表征对应目标对象的目标特征点云，包括：
在所述目标对象包括地面标志线的情况下，对所述感兴趣区域内的点云进行平面拟合，提取地面点云，根据距离与激光强度的关联关系，确定地面点云的激光强度值，根据激光强度值与激光强度阈值的大小关系，提取地面标志线的目标特征点云；
在所述目标对象包括人和/或车的情况下，对所述感兴趣区域的点云进行滤波，得到缩小后感兴趣区域的点云，以及对所述缩小后感兴趣区域的点云进行形态学滤波，提取所述人和/或车的目标特征点云；
在所述目标对象包括路边的柱状物体的情况下，将所述感兴趣区域的点云划分成多个上下贯通的体素柱，对所述多个体素柱的高度进行阈值判断，提取所述路边的柱状物体的目标特征点云。
9.一种智能处理设备，其特征在于，包括处理器与存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述红外拍摄设备与激光雷达设备的联合标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时实现如权利要求1至8中任一项所述的红外拍摄设备与激光雷达设备的联合标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211743752.8A CN116381649A (zh) | 2022-12-30 | 2022-12-30 | 联合标定方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211743752.8A CN116381649A (zh) | 2022-12-30 | 2022-12-30 | 联合标定方法、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116381649A true CN116381649A (zh) | 2023-07-04 |
Family
ID=86975682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211743752.8A Pending CN116381649A (zh) | 2022-12-30 | 2022-12-30 | 联合标定方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116381649A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116859356A (zh) * | 2023-09-05 | 2023-10-10 | 上海几何伙伴智能驾驶有限公司 | 基于旋转矩阵优化求解的车载4d毫米波雷达自标定方法 |
-
2022
- 2022-12-30 CN CN202211743752.8A patent/CN116381649A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116859356A (zh) * | 2023-09-05 | 2023-10-10 | 上海几何伙伴智能驾驶有限公司 | 基于旋转矩阵优化求解的车载4d毫米波雷达自标定方法 |
| CN116859356B (zh) * | 2023-09-05 | 2023-11-17 | 上海几何伙伴智能驾驶有限公司 | 基于旋转矩阵优化求解的车载4d毫米波雷达自标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109813251B (zh) | 用于三维测量的方法、装置以及系统 | |
| CN104574406B (zh) | 一种360度全景激光与多个视觉系统间的联合标定方法 | |
| US10909395B2 (en) | Object detection apparatus | |
| CN106529495A (zh) | 一种飞行器的障碍物检测方法和装置 | |
| CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN115439424A (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN112270713A (zh) | 标定方法以及装置、存储介质、电子装置 | |
| CN109255808B (zh) | 基于倾斜影像的建筑物纹理提取方法和装置 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
| CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN113221648B (zh) | 一种基于移动测量系统的融合点云序列影像路牌检测方法 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN116381649A (zh) | 联合标定方法、设备和存储介质 | |
| CN116597264A (zh) | 融合二维图像语义的三维点云目标检测方法 | |
| CN106023189A (zh) | 一种基于匹配优化的光场数据深度重建方法 | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN113219472A (zh) | 一种测距系统和方法 | |
| CN110580468A (zh) | 一种基于影像匹配点云的单木结构参数提取的方法 | |
| Pfeiffer et al. | Ground truth evaluation of the Stixel representation using laser scanners | |
| Nguyen et al. | Calibbd: Extrinsic calibration of the lidar and camera using a bidirectional neural network | |
| CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 | |
| Kim et al. | An automatic robust point cloud registration on construction sites |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |