CN112184828B - 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 - Google Patents
激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 Download PDFInfo
- Publication number
- CN112184828B CN112184828B CN202010850381.8A CN202010850381A CN112184828B CN 112184828 B CN112184828 B CN 112184828B CN 202010850381 A CN202010850381 A CN 202010850381A CN 112184828 B CN112184828 B CN 112184828B
- Authority
- CN
- China
- Prior art keywords
- point
- external parameter
- division
- points
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims description 50
- 238000005192 partition Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 17
- 241000282326 Felis catus Species 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 101100494773 Caenorhabditis elegans ctl-2 gene Proteins 0.000 description 6
- 101100112369 Fasciola hepatica Cat-1 gene Proteins 0.000 description 6
- 101100005271 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cat-1 gene Proteins 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Abstract
本申请公开了一种激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆，涉及自动驾驶、智能交通、计算机视觉与深度学习技术领域。具体实现方案为：获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据；对点云数据和图像数据进行处理，以确定点云数据中包括的不同物体间的第一分割点、图像数据中包括的不同物体间的第二分割点；根据每组外参值对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点；根据每个第一分割点的深度值、每个第一分割点对应的第二分割点的梯度值，计算每组外参值的互相关系数；根据每组外参值的互相关系数，从各组外参值中选取目标外参值。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及自动驾驶、智能交通、计算机视觉与深度学习技术领域，提出一种激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆。
背景技术
随着自动驾驶技术的发展，车载传感器的功能也越来越强大，常见的传感器包括激光雷达与摄像头，其中，激光雷达用于获取车辆周围物体的三维位置信息，摄像头用于获取物体的二维信息以及颜色信息等。通过对激光雷达以及摄像头进行外参标定以使得其对应的信息可以相互融合，从而使得自动驾驶车辆能够更加准确地感知周围环境，以保证自动驾驶的安全性。
相关技术中，通常通过使用标定板实现激光雷达与摄像头的外参标定。具体的，可以利用激光雷达与摄像头分别对标定板进行数据采集，以生成标定板对应的激光点云数据与图像数据，之后分别在激光点云数据与图像数据中分割出标定板对应的区域，并将从激光点云数据中分割出的区域与从图像数据中分割出的区域进行对齐，以获取激光雷达与摄像头之间的坐标系转换关系，从而实现激光雷达与摄像头之间的外参标定。但是，这种标定方法，需要使用专业的标定板，便捷性和实时性较差。
发明内容
本申请提供了一种用于激光雷达与摄像头的外参标定的方法、装置、电子设备、自动驾驶车辆以及存储介质。
根据本申请的一方面，提供了一种激光雷达与摄像头的外参标定方法，包括：获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点、每个所述第一分割点的深度值、以及每个所述第二分割点的梯度值，其中，所述第一分割点为所述点云数据中不同物体间的分割点、所述第二分割点为所述图像数据中不同物体间的分割点；根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点；根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数；以及根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值。
根据本申请的另一方面，提供了一种激光雷达与摄像头的外参标定装置，包括：获取模块，用于获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；第一确定模块，用于对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点、每个所述第一分割点的深度值、以及每个所述第二分割点的梯度值，其中，所述第一分割点为所述点云数据中不同物体间的分割点、所述第二分割点为所述图像数据中不同物体间的分割点；第二确定模块，用于根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点；计算模块，用于根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数；以及选取模块，用于根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值。
根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的激光雷达与摄像头的外参标定方法。
根据本申请的又一方面，提供了一种自动驾驶车辆，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的激光雷达与摄像头的外参标定方法。
根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前所述的激光雷达与摄像头的外参标定方法。
根据本申请的技术方案，解决了相关技术中，通过使用标定板实现激光雷达与摄像头的外参标定的方法，需要使用专业的标定板，便捷性和实时性较差的问题。通过获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据，并对点云数据和图像数据分别进行处理，以确定点云数据中包括的不同物体间的各个第一分割点、图像数据中包括的不同物体间的各个第二分割点，之后根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点，进而根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数，以根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。由此，通过筛选出点云数据与图像数据中不同物体之间的分割点，以确定出点云数据与图像数据中纹理变化明显的区域，并根据多组外参值分别将点云数据中的第一分割点投影至图像数据中，以根据各第一分割点的深度值及投影后对应的第二分割点的梯度值，衡量各组外参值的准确性，从而无需专业标定板，提升了外参标定的实时性和便捷性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例所提供的一种激光雷达与摄像头的外参标定方法的流程示意图；
图2为本申请实施例所提供的另一种激光雷达与摄像头的外参标定方法的流程示意图；
图3为本申请实施例所提供的再一种激光雷达与摄像头的外参标定方法的流程示意图；
图4为本申请实施例提供的一种激光雷达与摄像头的外参标定装置的结构示意图；
图5为用来实现本申请实施例的激光雷达与摄像头的外参标定方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例针对相关技术中，通过使用标定板实现激光雷达与摄像头的外参标定的方法，需要使用专业的标定板，便捷性和实时性较差的问题，提出一种激光雷达与摄像头的外参标定方法。
下面参考附图对本申请提供的激光雷达与摄像头的外参标定方法、装置、电子设备、自动驾驶车辆及存储介质进行详细描述。
图1为本申请实施例所提供的一种激光雷达与摄像头的外参标定方法的流程示意图。
如图1所示，该激光雷达与摄像头的外参标定方法，包括以下步骤：
步骤101，获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据。
需要说明的是，本申请实施例的激光雷达与摄像头的外参标定方法可以由本申请实施例的激光雷达与摄像头的外参标定装置执行，本申请实施例的激光雷达与摄像头的外参标定装置可以配置在任意电子设备中，以执行本申请实施例的激光雷达与摄像头的外参标定方法。比如，可以配置在自动驾驶车辆中用于车辆控制的电子设备中，以对自动驾驶车辆中的激光雷达与摄像头的外参进行标定。
其中，待标定的各组外参值，是指通过预设的规则生成的激光雷达与摄像头之间的多组外参值。比如，本申请实施例的激光雷达与摄像头的外参标定方法应用在对自动驾驶车辆的激光雷达与摄像头的外参进行在线标定的场景时，待标定的各组外参值，可以是激光雷达与摄像头使用过的各组历史外参值；也可以是以激光雷达与摄像头当前的外参值为参考，以一定的窗口长度对当前的外参值进行调整，生成的多组外参值。
在本申请实施例中，根据预设的规则获取到待标定的各组外参值后，可以控制激光雷达与摄像头在同一时刻对同一场景进行数据采集，以获取激光雷达采集的电云数据，以及摄像头采集的与激光雷达采集的点云数据对应的图像数据。
比如，本申请实施例的激光雷达与摄像头的外参标定方法应用在对自动驾驶车辆的激光雷达与摄像头的外参进行在线标定的场景时，可以控制自动驾驶车辆中的激光雷达和摄像头同时对街景进行数据采集，以获取激光雷达采集的点云数据，以及摄像头采集的与点云数据对应的图像数据。
步骤102，对点云数据和图像数据分别进行处理，以确定点云数据中包括的各个第一分割点、图像数据中包括的各个第二分割点、每个第一分割点的深度值、以及每个第二分割点的梯度值，其中，第一分割点为点云数据中不同物体间的分割点、第二分割点为图像数据中不同物体间的分割点。
需要说明的是，在对外参进行标定时，可以根据多组外参值将点云数据中的点云点投影至图像数据中，若点云点与投影后生成的像素点表示场景中的同一点或相近的点，则可以确定该组外参值较准确；比如，激光雷达与摄像头在同一时刻采集了包含一只猫和一只狗的同一场景的点云数据与图像数据，假设点云数据中的点云点A为狗眼睛对应的一个点，若将点云点A根据一组外参值投影至图像数据中后，对应的像素点也为狗眼睛对应的一个点，则可以确定该组外参值较准确。若点云点与投影后生成的像素点不是表示场景中的同一点或相近的点，则可以确定该组外参值不准确；比如，在上例中，若将点云点A根据一组外参值投影至图像数据中后，对应的像素点为狗耳朵对应的一个点，则可以确定该组外参值不准确。而对于点云数据与图像数据中纹理变化不明显的区域，由于邻域点云点的深度值、邻域像素点的梯度值、像素值都差异较小，从而不容易判断将纹理变化不明显的区域中的点云点投影后，生成的像素点是否与点云点表示相同的点，从而导致外参标定的鲁棒性较差。
在本申请实施例中，由于点云数据中不同物体的交界处，以及图像数据中不同物体的交界处，通常是纹理变化比较明显的区域，从而可以用于对激光雷达与摄像头的外参进行标定，以提升外参标定的准确性。
作为一种可能的实现方式，可以利用基于深度学习的分割模型，分别对点云数据和图像数据进行识别处理，以生成对点云数据中不同物体的分割结果，以及对图像数据中不同物体的分割结果，进而将点云数据中不同物体之间的分割线对应的点云点，确定为点云数据中包括的各个第一分割点，以及将图像数据中不同物体之间的分割线对应的像素点，确定为图像数据中包括的各个第二分割点。
需要说明的是，对点云数据和图像数据进行处理时所使用的分割模型，可以是不同的。实际使用时，可以根据实际需要选择合适的用于三维数据的分割模型对点云数据进行处理，以及选择合适的用于图像数据的分割模型对图像数据进行处理。
在本申请实施例中，由于根据点云点的深度值与可以表征点云点是否位于点云数据中纹理变化明显的区域，像素点的梯度值可以标注像素点是否位于图像数据中纹理变化明显的区域。具体的，点云点的深度值越大，表示该点云点所在点云数据区域的纹理变化越明显；同样的，像素点的梯度值越大，表示该像素点所在图像区域的纹理变化越明显。因此，可以在确定出点云数据中包括的各个第一分割点，与图像数据中包括的各个第二分割点之后，还可以根据每个第一分割点与激光线方向之间的距离，确定每个第一分割点的深度值，以及根据每个第二分割点的像素值及其邻域像素点的像素值，确定每个第二分割点的梯度值，以在后续步骤中用于判断各组外参值的准确度。
步骤103，根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点。
在本申请实施例中，在已知激光雷达与摄像头之间的外参值的情况下，可以利用外参值对点云数据进行投影处理，以确定在该组外参值下，点云数据中的点云点在图像数据中的二维坐标，即在该组外参值下，计算出的点云点在图像数据中对应的像素点。
作为一种可能的实现方式，确定出点云数据中包括的各个第一分割点之后，对于一组参考外参值，可以利用每组外参值对点云数据进行投影处理，以确定每个第一分割点在图像数据中对应的参考像素点。若第一分割点对应的参考像素点为图像数据中包括的第二分割点，则可以将该参考像素点确定为该第一分割点对应的第二分割点；若第一分割点对应的参考像素点不是图像数据中包括的第二分割点，则可以将该第一分割点丢弃，不参与后续的处理步骤。
步骤104，根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数。
在本申请实施例中，如果在一组外参值下，第一分割点的深度值与其对应的第二分割点的梯度值都较大，则可以确定第一分割点在点云数据中与第二分割点在点云数据中都处于纹理变化较明显的区域，且都是不同物体的分割点，则可以确定第一分割点与其对应的第二分割点表示场景中同一个点或邻近点的可能性较大，即该组外参值的准确度较大；如果在一组外参值下，第一分割点的深度值较大且其对应的第二分割点的梯度值较小，或者第一分割点的深度值较小且其对应的第二分割点的梯度值较大，则可以确定第一分割点在点云数据中与第二分割点在点云数据中可能处于不同的区域，则可以确定第一分割点与其对应的第二分割点可能表示场景中同一个点或邻近点的可能性较小，即该组外参值的准确度较小。
因此，在本申请实施例中，可以根据在每组外参值下，每个第一分割点的深度值与每个第一分割点对应的第二分割点的梯度值，确定每组外参值对应的互相关系数，以通过互相关系数衡量每组外参值的准确度。
作为一种可能的实现方式，在一组外参值下，可以将一个第一分割点的深度值与其对应的第二分割点的梯度值的乘积，确定为该第一分割点的互相关系数，进而将每个第一分割点的互相关系数之和，确定为该组外参值的互相关系数。
举例来说，点云数据中包含n个第一分割点，则在一组外参值下，该组外参值的互相关系数可以表示为其中，ai为点云数据中包括的第i个第一分割点的深度值，bi为第i个第一分割点对应的第二分割点的梯度值，n为点云数据中包括的第一分割点的数量，i为第一分割点的序号。
步骤105，根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。
在本申请实施例中，由于外参值对应的互相关系数与外参值的准确度相关联，从而可以根据外参值的互相关系数与准确度之间的关系，从各组外参值中选取准确度最高的外参值，确定为目标外参值。
根据本申请实施例的技术方案，通过获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据，并对点云数据和图像数据分别进行处理，以确定点云数据中包括的不同物体间的各个第一分割点、图像数据中包括的不同物体间的各个第二分割点，之后根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点，进而根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数，以根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。由此，通过筛选出点云数据与图像数据中不同物体之间的分割点，以确定出点云数据与图像数据中纹理变化明显的区域，并根据多组外参值分别将点云数据中的第一分割点投影至图像数据中，以根据各第一分割点的深度值及投影后对应的第二分割点的梯度值，衡量各组外参值的准确性，从而无需专业标定板，提升了外参标定的实时性和便捷性。
在本申请一种可能的实现形式中，还可以根据从点云数据与图像数据的边界点中选取不同物体的分割点，并根据与分割点关联的物体类型确定分割点的属性，以对参与外参标定的边界点进行限定，以降低噪声干扰，提升外参标定的准确性和稳定性。
下面结合图2，对本申请实施例提供的激光雷达与摄像头的外参标定方法进行进一步说明。
图2为本申请实施例所提供的另一种激光雷达与摄像头的外参标定方法的流程示意图。
如图2所示，该激光雷达与摄像头的外参标定方法，包括以下步骤：
步骤201，获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据。
上述步骤201的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤202，对点云数据和图像数据分别进行目标识别，以确定点云数据中包括的各个点云点分别对应的各个第一类别标签，以及图像数据中包括的各个像素点分别对应的各个第二类别标签。
其中，第一类别标签，是指点云数据中包括的不同物体的类别标签，第二类别标签，是指图像数据中包括的不同物体的类别标签。
在本申请实施例中，可以预先训练对点云数据进行目标识别的第一目标识别模型，以及预先训练对图像数据进行目标识别的第二目标识别模型，从而可以利用第一目标识别模型对点云数据进行识别处理，以确定点云数据中包括的各物体，以及各物体的类别，进而将物体的类别确定为物体对应的点云点的第一类别标签。相应的，可以利用第二目标识别模型对图像数据进行识别处理，以确定图像数据中包括的各物体，以及各物体的类别，进而将物体的类别确定为物体对应的像素点的第二类别标签。
举例来说，点云数据与图像数据是在同一时刻采集的两只狗和一只猫的数据，则通过第一目标识别模型对点云数据进行目标识别，可以确定A狗对应的各点云点的第一类别标签为“dog1”，B狗对应的各点云点的第一类别标签为“dog2”，猫对应的点云点的第一类别标签为“cat1”；相应的，通过第二目标识别模型对图像数据进行目标识别，可以确定A狗对应的各像素点的第二类别标签为“dog1”，B狗对应的各像素点的第二类别标签为“dog2”，猫对应的像素点的第二类别标签为“cat1”。
步骤203，从各个点云点中，抽取分别与不同第一类别标签对应的点云点相邻的点云点作为第一分割点。
在本申请实施例中，若点云点对应的第一类别标签与其相邻的任意一个点云点对应的第一类别标签不相同，则可以确定该点云点为不同物体的交界点，从而可以将该点云点确定为第一分割点。
步骤204，从各个像素点中，抽取分别与不同第二类别标签对应的像素点相邻的像素点作为第二分割点。
在本申请实施例中，若像素点对应的第二类别标签与其相邻的任意一个像素点对应的第二类别标签不相同，则可以确定该像素点为不同物体的交界点，从而可以将该像素点确定为第二分割点。
步骤205，根据与每个第一分割点相邻的各个点云点对应的第一类别标签，确定每个第一分割点的第一属性。
在本申请实施例中，确定出第一分割点之后，还可以根据与第一分割点相邻的不同物体，确定第一分割点的第一属性，以确定第一分割点具体为点云数据中哪个物体的分割点。具体的，可以根据第一分割点相邻的点云点的第一类别标签，确定第一分割点的第一属性。
举例来说，若第一分割点为A狗与猫的分割点，A狗对应的点云点的第一类别标签为“dog1”，猫对应的点云点的第一类别标签为“cat1”；若与第一分割点C相邻的各点云点中既包括第一类别标签为“dog1”的点云点，又包括第一类别标签为“cat1”的点云点，则可以确定第一分割点C为点云数据中A狗与猫的分割点，从而可以将第一分割点C的第一属性确定为“dog1-cat1”。
步骤206，根据与每个第二分割点相邻的各个像素点对应的第二类别标签，确定每个第二分割点的第二属性。
在本申请实施例中，确定出第二分割点之后，还可以根据与第二分割点相邻的不同物体，确定第二分割点的第二属性，以确定第二分割点具体为图像数据中哪个物体的分割点。具体的，可以根据第一分割点相邻的像素点的第二类别标签，确定第二分割点的第二属性。
举例来说，若第二分割点为A狗与猫的分割点，A狗对应的像素点的第二类别标签为“dog1”，猫对应的像素点的第二类别标签为“cat1”；若与第二分割点D相邻的各像素点中既包括第二类别标签为“dog1”的像素点，又包括第二类别标签为“cat1”的像素点，则可以确定第二分割点D为图像数据中A狗与猫的分割点，从而可以将第二分割点D的第二属性确定为“dog1-cat1”。
进一步的，为了提升分割点确定的准确性，还可以首先确定出点云数据与图像数据中的边界点，进而从边界点中选取分割点。即在本申请实施例一种可能的实现形式中，上述方法，还可以包括：
获取点云数据中的每个点云点对应的深度值及图像数据中的每个像素点对应的梯度值；
根据每个点云点对应的深度值，确定点云数据中包括的各个第一边界点；
根据每个像素点对应的梯度值，确定图像数据中包括的各个第二边界点；
对各个第一边界点和各个第二边界点分别进行处理，以确定第一边界点中包含的各第一分割点，以及第二边界点中包含的各个第二分割点。
作为一种可能的实现方式，可以确定出点云数据中每个点云点的深度值，以及图像数据中每个像素点的梯度值，进而将点云数据中包括的深度值大于第一阈值的点云点，确定为第一边界点，以及将图像数据中包括的梯度值大于第二阈值的像素点确定为第二边界点。之后，采用与上述实施例中相同的方式，对点云数据与图像数据分别进行目标识别处理，进而根据目标识别结果，将点云数据中既是第一边界点又是分割点的点云点，确定为第一分割点；以及将图像数据中既是第二边界点又是分割点的像素点，确定为第二分割点。从而提升了分割点确定的准确性，进而进一步提升了外参标定的准确性和可靠性。
步骤207，根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点。
上述步骤207的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤208，根据每个第一分割点的第一属性，在每组外参值下与对应的第二分割点的第二属性间的匹配度，确定每个第一分割点的权重值。
在本申请实施例中，由于第一分割点的第一属性可以表征第一分割点具体为点云数据中哪两个物体的分割点，而第二分割点的第二属性可以表征第二分割点具体为图像数据中哪两个物体的分割点。从而，根据外参值将第一分割点进行投影之后，确定的第一分割点对应的第二分割点的第二属性与该第一分割点的第一属性的匹配度，可以反映该组外参值是否准确。具体的，根据一组外参值，对点云数据进行投影之后，第一分割点的第一属性与其对应的第二分割点的第二属性的匹配度越高，则可以说明该组外参值越准确，从而可以根据第一分割点的第一属性与其对应的第二分割点的第二属性的匹配度，确定第一分割点的权重，以通过第一分割点的属性值对参与外参标定的数据进行限制，降低噪声影响，提升外参标定的准确性和稳定性。
作为一种可能的实现方式，在一组外参值下，可以将第一分割点的第一属性与其对应的第二分割点的第二属性间的匹配度，确定为第一分割点的权重值。
作为另一种可能的实现方式，在一组外参值之下，还可以在第一分割点的第一属性与其对应的第二分割点的第二属性相同时，将第一分割点的权重值确定为1；在第一分割点的第一属性与其对应的第二分割点的第二属性不相同时，将第一分割点的权重值确定为0。
步骤209，根据每个第一分割点的深度值与对应的第二分割点的梯度值的乘积、及每个第一分割点的权重值，确定每组外参值对应的互相关系数。
在本申请实施例中，由于利用一组外参值，对点云数据进行投影之后，第一分割点的第一属性与其对应的第二分割点的第二属性间的匹配度越高，则说明该组外参值的准确度越高；即第一分割点的权重值越高，则说明该组外参值的准确度越高。并且，由于第一分割点位于点云数据中纹理变化明显的区域，第二分割点位于图像数据中纹理变化明显的区域，从而第一分割点的深度值与第二分割点的梯度值都较大。从而可以将在一组外参值下，第一分割点的深度值、其对应的第二分割点的梯度值与该第一分割点的权重值的乘积，确定为该第一分割点的互相关系数，进而将每个第一分割点的互相关系数之和，确定为该组外参值的互相关系数。从而，可以使得外参值的互相关系数越大时，外参值的准确性越高。
举例来说，在第一分割点的第一属性与其对应的第二分割点的第二属性相同时，第一分割点的权重值为1；在第一分割点的第一属性与其对应的第二分割点的第二属性不相同时，第一分割点的权重值为0。从而，在每组外参下，可以将每个第一属性与其对应的第二分割点的第二属性相同的第一分割点的深度值，与其对应的第二分割点的梯度值的乘积之和，确定为每组外参值的互相关系数。
步骤210，将对应的互相关系数最大的所述外参值，确定为目标外参值。
在本申请实施例中，由于外参值对应的互相关系数越大，说明外参值的准确度越高，从而可以将多组外参值中对应的互相关系数最大的外参值，确定为目标外参值。
根据本申请实施例的技术方案，通过从激光雷达采集的点云数据的第一边界点中选取不同物体的第一分割点，以及从摄像头采集的图像数据的第二边界点中选取不同物体的第二分割点，并根据与第一分割点相邻的点云点的第一类别标签，确定第一分割点的第一属性，以及根据与第二分割点相邻的像素点的第二类别标签，确定第二分割点的第二属性，进而根据利用每组外参值对点云数据进行投影后，每个第一分割点的第一属性与深度值，以及与其对应的第二分割点的第二属性与梯度值，确定每组外参值对应的互相关系数，并将互相关系数最大的外参值确定为目标外参值。由此，通过对点云数据和图像数据中的边界点和分割点的类别标签，限制参与外参标定的数据点，以降低噪声干扰，从而不仅无需使用标定板，提升了外参标定的便捷性和实时性，而且进一步提升了外参标定的准确性和稳定性。
在本申请实施例中，可以通过角度测量设备等粗略计算出激光雷达与摄像头之间的粗略外参值，进而通过在粗略外参值附近以一定的步长进行穷举，以生成多组待标定的外参值，进而从多组外参值中选取准确度最高外参值，作为标定后的目标外参值，从而提升了外参标定的适用性和实时性。
下面结合图3，对本申请实施例提供的激光雷达与摄像头的外参标定方法进行进一步说明。
图3为本申请实施例所提供的再一种激光雷达与摄像头的外参标定方法的流程示意图。
如图3所示，该激光雷达与摄像头的外参标定方法，包括以下步骤：
步骤301，获取激光雷达对应的第一坐标系与摄像头对应的第二坐标系之间的初始外参值，其中，初始外参值为图纸标称值或手量值。
在本申请实施例中，由于本申请实施例的激光雷达与摄像头的外参标定方法，不需要精确的初始外参值，从而可以直接根据激光雷达与摄像头所在实体的设计图纸，确定激光雷达与摄像头之间的初始外参值，即可以将外参值的图纸标称值确定初始外参值。
作为另一种可能的实现方式，还可以在激光雷达与摄像头安装固定之后，使用测量设备测量激光雷达与摄像头之间的外参值，作为初始外参值，即可以将手量值确定为初始外参值。
需要说明的是，由于本申请实施例的激光雷达与摄像头的外参标定方法，不需要精确的初始外参值作为参考，适用场景较广，从而提升了外参标定的适用性。
步骤302，基于预设步长对初始外参值进行调整，以生成待标定的各组外参值。
在本申请实施例中，确定出初始外参值之后，可以利用预设步长对初始外参值进行调整，与生成待标定的各组外参值。在外参值中包括多个参数时，对于不同的参数，还可以预设不同的步长，以分别对初始外参值中的各参数进行调整，生成待标定的多组外参值。
作为一种可能的实现方式，在外参值中包括六个自由度分别对应的参数值时，可以分别预设六个自由度分别对应的预设步长，以根据各自由度对应的预设步长，分别对各自由度的初始值进行调整，以生成多组待标定的外参值。具体的，待标定的外参值可以通过以下公式进行表示。
Rx+mRx·ΔRx
Ry+mRy·ΔRy
Rz+mRz·ΔRz
tx+mtx·Δtx
ty+mty·Δty
tz+mtz·Δtz
其中，Rx、Ry、Rz、tx、ty、tz，分别为初始外参值中六个自由度分别对应的参数值，ΔRx、ΔRy、ΔRz、Δtx、Δty、Δtz，分别为六个自由度分别对应的预设步长，mRx、mRy、mRz、mtx、mty、mtz均为取值范围[-k,k]的整数，其中，k为正整数。
需要说明的是，实际使用时，每个自由度对应的预设步长，以及mRx、mRy、mRz、mtx、mty、mtz的取值范围，可以根据实际需要预设，本申请实施例对此不做限定。比如，k的取值可以为5，即mRx、mRy、mRz、mtx、mty、mtz的取值范围为[-5,5]，从而可以按照上述方法可以生成116组待标定的外参值。
步骤303，获取激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据。
步骤304，对点云数据和图像数据分别进行处理，以确定点云数据中包括的各个第一分割点、图像数据中包括的各个第二分割点、每个第一分割点的深度值、以及每个第二分割点的梯度值，其中，第一分割点为点云数据中不同物体间的分割点、第二分割点为图像数据中不同物体间的分割点。
上述步骤303-304的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤305，根据每组外参值包括的旋转矩阵和平移矩阵，对第一分割点进行坐标转换，以确定在每组所述外参值下，第一分割点在第二坐标系中的三维坐标。
在本申请实施例中，激光雷达与摄像头的外参中可以包括激光雷达对应的第一坐标系与摄像头对应的第二坐标系，在六个自由度上的旋转平移关系，从而待标定的每组外参值中可以包括旋转矩阵与平移矩阵。根据每组外参值中的旋转矩阵与平移矩阵，可以对点云数据中的各第一分割点进行坐标转换，以确定在每组外参值下，每个第一分割点在第二坐标系中的三维坐标。具体的，坐标转换的过程可以通过以下公式进行表示。
其中，为第一像素点在第二坐标系中的三维坐标，/>为第一像素点在第一坐标系中的三维坐标，R为外参值中的旋转矩阵，t为外参值中的平移矩阵。
步骤306，根据在每组外参值下，第一分割点在第二坐标系中的三维坐标、及摄像头的内参，确定在每组外参值下，第一分割点在图像数据中对应的第二分割点。
在本申请实施例中，确定出在每组外参值下，第一分割点在第二坐标系中的三维坐标之后，可以根据摄像头的内参对第一分割点在第二坐标系中的三维坐标进行转换，以生成第一分割点在图像数据中对应的第二分割点。具体的，确定第一分割点在图像数据中对应的第二分割点的过程可以通过以下公式进行表示。
x'＝x/z
y'＝y/z
u＝fx·x”+cx
v＝fy·y”+cy
其中，r2＝x'2+y'2，k1、k2、k3、k4、k5、p1、p2为摄像头的畸变参数，fx为摄像头在x方向的焦距，fy为摄像头在y方向的焦距，(cx,cy)为摄像图的光轴与成像平面的焦点坐标。
步骤307，根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数。
步骤308，根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。
上述步骤307-308的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
根据本申请实施例的技术方案，通过测量设备或设计图纸等粗略计算出激光雷达与摄像头之间的初始外参值，进而通过在初始外参值附近以预设步长进行穷举，以生成多组待标定的外参值，进而从多组外参值中选取准确度最高外参值，作为标定后的目标外参值。由此，通过穷举的方式在初始外参值附近选取多组参考外参值，并对对点云数据和图像数据中的边界点和分割点的类别标签，限制参与外参标定的数据点，从而不仅降低了噪声干扰，提升了外参标定的准确性和稳定性，而且无需精确的初始外参值作为参考，进一步外参标定的适用性和实时性。
为了实现上述实施例，本申请还提出一种激光雷达与摄像头的外参标定装置。
图4为本申请实施例提供的一种激光雷达与摄像头的外参标定装置的结构示意图。
如图4所示，该激光雷达与摄像头的外参标定装置40，包括：
获取模块41，用于获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据；
第一确定模块42，用于对点云数据和图像数据分别进行处理，以确定点云数据中包括的各个第一分割点、图像数据中包括的各个第二分割点、每个第一分割点的深度值、以及每个第二分割点的梯度值，其中，第一分割点为点云数据中不同物体间的分割点、第二分割点为图像数据中不同物体间的分割点；
第二确定模块43，用于根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点；
计算模块44，用于根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数；以及
选取模块45，用于根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。
在实际使用时，本申请实施例提供的激光雷达与摄像头的外参标定装置，可以被配置在任意电子设备中，以执行前述激光雷达与摄像头的外参标定方法。
根据本申请实施例的技术方案，通过获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据，并对点云数据和图像数据分别进行处理，以确定点云数据中包括的不同物体间的各个第一分割点、图像数据中包括的不同物体间的各个第二分割点，之后根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点，进而根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数，以根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。由此，通过筛选出点云数据与图像数据中不同物体之间的分割点，以确定出点云数据与图像数据中纹理变化明显的区域，并根据多组外参值分别将点云数据中的第一分割点投影至图像数据中，以根据各第一分割点的深度值及投影后对应的第二分割点的梯度值，衡量各组外参值的准确性，从而无需专业标定板，提升了外参标定的实时性和便捷性。
在本申请一种可能的实现形式中，上述第一确定模块42，包括：
第一确定单元，用于对点云数据和图像数据分别进行目标识别，以确定点云数据中包括的各个点云点分别对应的各个第一类别标签，以及图像数据中包括的各个像素点分别对应的各个第二类别标签；
第一抽取单元，用于从各个点云点中，抽取分别与不同第一类别标签对应的点云点相邻的点云点作为第一分割点；以及
第二抽取单元，用于从各个像素点中，抽取分别与不同第二类别标签对应的像素点相邻的像素点作为第二分割点。
进一步的，在本申请另一种可能的实现形式中，上述激光雷达与摄像头的外参标定装置40，还包括：
第三确定模块，用于根据与每个第一分割点相邻的各个点云点对应的第一类别标签，确定每个第一分割点的第一属性；以及
第四确定模块，用于根据与每个第二分割点相邻的各个像素点对应的第二类别标签，确定每个第二分割点的第二属性。
进一步的，在本申请再一种可能的实现形式中，上述第一确定模块42，包括：
第一获取单元，用于获取点云数据中的每个点云点对应的深度值及图像数据中的每个像素点对应的梯度值；
第二确定单元，用于根据每个点云点对应的深度值，确定点云数据中包括的各个第一边界点；
第三确定单元，用于根据每个像素点对应的梯度值，确定图像数据中包括的各个第二边界点；以及
第四确定单元，用于对各个第一边界点和各个第二边界点分别进行处理，以确定第一边界点中包含的各第一分割点，以及第二边界点中包含的各个第二分割点。
进一步的，在本申请又一种可能的实现形式中，上述计算模块44，包括：
第五确定单元，用于根据每个第一分割点的第一属性，在每组外参值下与对应的第二分割点的第二属性间的匹配度，确定每个第一分割点的权重值；以及
第六确定单元，用于根据每个第一分割点的深度值与对应的第二分割点的梯度值的乘积、及每个第一分割点的权重值，确定每组外参值对应的互相关系数。
进一步的，在本申请又一种可能的实现形式中，上述获取模块41，包括：
第二获取单元，用于获取激光雷达对应的第一坐标系与摄像头对应的第二坐标系之间的初始外参值，其中，初始外参值为图纸标称值或手量值；以及
生成单元，用于基于预设步长对初始外参值进行调整，以生成待标定的各组外参值。
进一步的，在本申请另一种可能的实现形式中，上述每组外参值包括旋转矩阵和平移矩阵，上述第二确定模块43，包括：
第七确定单元，用于根据每组外参值包括的旋转矩阵和平移矩阵，对第一分割点进行坐标转换，以确定在每组外参值下，第一分割点在第二坐标系中的三维坐标；以及
第八确定单元，用于根据在每组外参值下，第一分割点在第二坐标系中的三维坐标、及摄像头的内参，确定在每组外参值下，第一分割点在图像数据中对应的第二分割点。
进一步的，在本申请再一种可能的实现形式中，上述选取模块45，包括：
第九确定单元，用于将对应的互相关系数最大的外参值，确定为目标外参值。
需要说明的是，前述对图1、图2、图3所示的激光雷达与摄像头的外参标定方法实施例的解释说明也适用于该实施例的激光雷达与摄像头的外参标定装置40，此处不再赘述。
根据本申请实施例的技术方案，通过从激光雷达采集的点云数据的第一边界点中选取不同物体的第一分割点，以及从摄像头采集的图像数据的第二边界点中选取不同物体的第二分割点，并根据与第一分割点相邻的点云点的第一类别标签，确定第一分割点的第一属性，以及根据与第二分割点相邻的像素点的第二类别标签，确定第二分割点的第二属性，进而根据利用每组外参值对点云数据进行投影后，每个第一分割点的第一属性与深度值，以及与其对应的第二分割点的第二属性与梯度值，确定每组外参值对应的互相关系数，并将互相关系数最大的外参值确定为目标外参值。由此，通过对点云数据和图像数据中的边界点和分割点的类别标签，限制参与外参标定的数据点，以降低噪声干扰，从而不仅无需使用标定板，提升了外参标定的便捷性和实时性，而且进一步提升了外参标定的准确性和稳定性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的激光雷达与摄像头的外参标定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个电子设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的激光雷达与摄像头的外参标定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的激光雷达与摄像头的外参标定方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的激光雷达与摄像头的外参标定方法对应的程序指令/模块(例如，附图4所示的获取模块41、第一确定模块42、第二确定模块43、计算模块44及选取模块45)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的激光雷达与摄像头的外参标定方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据激光雷达与摄像头的外参标定方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至激光雷达与摄像头的外参标定方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
激光雷达与摄像头的外参标定方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与激光雷达与摄像头的外参标定方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请的实施例，本申请还提供了一种自动驾驶车辆，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行如前所述的激光雷达与摄像头的外参标定方法。
根据本申请实施例的技术方案，通过获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与点云数据对应的图像数据，并对点云数据和图像数据分别进行处理，以确定点云数据中包括的不同物体间的各个第一分割点、图像数据中包括的不同物体间的各个第二分割点，之后根据每组外参值，对点云数据进行投影处理，以确定在每组外参值下，每个第一分割点在图像数据中对应的第二分割点，进而根据每个第一分割点的深度值、及每个第一分割点对应的第二分割点的梯度值，计算每组外参值对应的互相关系数，以根据每组外参值对应的互相关系数，从各组外参值中选取目标外参值。由此，通过筛选出点云数据与图像数据中不同物体之间的分割点，以确定出点云数据与图像数据中纹理变化明显的区域，并根据多组外参值分别将点云数据中的第一分割点投影至图像数据中，以根据各第一分割点的深度值及投影后对应的第二分割点的梯度值，衡量各组外参值的准确性，从而无需专业标定板，提升了外参标定的实时性和便捷性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种激光雷达与摄像头的外参标定方法，包括：
获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；
对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点、每个所述第一分割点的深度值、以及每个所述第二分割点的梯度值，其中，所述第一分割点为所述点云数据中不同物体间的分割点、所述第二分割点为所述图像数据中不同物体间的分割点；
根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点；
根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数；以及
根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值；
其中，所述对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点，包括：
对所述点云数据和所述图像数据分别进行目标识别，以确定所述点云数据中包括的各个点云点分别对应的各个第一类别标签，以及所述图像数据中包括的各个像素点分别对应的各个第二类别标签；
从所述各个点云点中，抽取分别与不同第一类别标签对应的点云点相邻的点云点作为第一分割点；以及
从所述各个像素点中，抽取分别与不同第二类别标签对应的像素点相邻的像素点作为第二分割点；
其中，每组所述外参值包括旋转矩阵和平移矩阵，所述根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点，包括：
根据每组所述外参值包括的旋转矩阵和平移矩阵，对所述第一分割点进行坐标转换，以确定在每组所述外参值下，所述第一分割点在第二坐标系中的三维坐标；以及
根据在每组所述外参值下，所述第一分割点在所述第二坐标系中的三维坐标、及所述摄像头的内参，确定在每组所述外参值下，所述第一分割点在所述图像数据中对应的第二分割点。
2.如权利要求1所述的方法，其中，在所述对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点之后，还包括：
根据与每个所述第一分割点相邻的各个点云点对应的第一类别标签，确定每个所述第一分割点的第一属性；以及
根据与每个所述第二分割点相邻的各个像素点对应的第二类别标签，确定每个所述第二分割点的第二属性。
3.如权利要求2所述的方法，其中，所述对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点，包括：
获取所述点云数据中的每个点云点对应的深度值及所述图像数据中的每个像素点对应的梯度值；
根据每个所述点云点对应的深度值，确定所述点云数据中包括的各个第一边界点；
根据每个所述像素点对应的梯度值，确定所述图像数据中包括的各个第二边界点；以及
对所述各个第一边界点和所述各个第二边界点分别进行处理，以确定所述第一边界点中包含的所述各第一分割点，以及所述第二边界点中包含的所述各个第二分割点。
4. 如权利要求2所述的方法，其中，所述根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数，包括：
根据每个所述第一分割点的第一属性，在每组所述外参值下与对应的第二分割点的第二属性间的匹配度，确定每个所述第一分割点的权重值；以及
根据每个所述第一分割点的深度值与对应的所述第二分割点的梯度值的乘积、及每个所述第一分割点的权重值，确定每组所述外参值对应的互相关系数。
5. 如权利要求1所述的方法，其中，所述获取待标定的各组外参值，包括：
获取所述激光雷达对应的第一坐标系与所述摄像头对应的第二坐标系之间的初始外参值，其中，所述初始外参值为图纸标称值或手量值；以及
基于预设步长对所述初始外参值进行调整，以生成所述待标定的各组外参值。
6.如权利要求1-5任一所述的方法，其中，所述根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值，包括：
将对应的互相关系数最大的所述外参值，确定为所述目标外参值。
7.一种激光雷达与摄像头的外参标定装置，包括：
获取模块，用于获取待标定的各组外参值、激光雷达采集的点云数据、及摄像头采集的与所述点云数据对应的图像数据；
第一确定模块，用于对所述点云数据和所述图像数据分别进行处理，以确定所述点云数据中包括的各个第一分割点、所述图像数据中包括的各个第二分割点、每个所述第一分割点的深度值、以及每个所述第二分割点的梯度值，其中，所述第一分割点为所述点云数据中不同物体间的分割点、所述第二分割点为所述图像数据中不同物体间的分割点；
第二确定模块，用于根据每组所述外参值，对所述点云数据进行投影处理，以确定在每组所述外参值下，每个所述第一分割点在所述图像数据中对应的第二分割点；
计算模块，用于根据每个所述第一分割点的深度值、及每个所述第一分割点对应的第二分割点的梯度值，计算每组所述外参值对应的互相关系数；以及
选取模块，用于根据每组所述外参值对应的互相关系数，从所述各组外参值中选取目标外参值；
其中，所述第一确定模块，包括：
第一确定单元，用于对所述点云数据和所述图像数据分别进行目标识别，以确定所述点云数据中包括的各个点云点分别对应的各个第一类别标签，以及所述图像数据中包括的各个像素点分别对应的各个第二类别标签；
第一抽取单元，用于从所述各个点云点中，抽取分别与不同第一类别标签对应的点云点相邻的点云点作为第一分割点；以及
第二抽取单元，用于从所述各个像素点中，抽取分别与不同第二类别标签对应的像素点相邻的像素点作为第二分割点；
其中，每组所述外参值包括旋转矩阵和平移矩阵，所述第二确定模块，包括：
第七确定单元，用于根据每组所述外参值包括的旋转矩阵和平移矩阵，对所述第一分割点进行坐标转换，以确定在每组所述外参值下，所述第一分割点在第二坐标系中的三维坐标；以及
第八确定单元，用于根据在每组所述外参值下，所述第一分割点在所述第二坐标系中的三维坐标、及所述摄像头的内参，确定在每组所述外参值下，所述第一分割点在所述图像数据中对应的第二分割点。
8. 如权利要求7所述的装置，其中，还包括：
第三确定模块，用于根据与每个所述第一分割点相邻的各个点云点对应的第一类别标签，确定每个所述第一分割点的第一属性；以及
第四确定模块，用于根据与每个所述第二分割点相邻的各个像素点对应的第二类别标签，确定每个所述第二分割点的第二属性。
9.如权利要求8所述的装置，其中，所述第一确定模块，包括：
第一获取单元，用于获取所述点云数据中的每个点云点对应的深度值及所述图像数据中的每个像素点对应的梯度值；
第二确定单元，用于根据每个所述点云点对应的深度值，确定所述点云数据中包括的各个第一边界点；
第三确定单元，用于根据每个所述像素点对应的梯度值，确定所述图像数据中包括的各个第二边界点；以及
第四确定单元，用于对所述各个第一边界点和所述各个第二边界点分别进行处理，以确定所述第一边界点中包含的所述各第一分割点，以及所述第二边界点中包含的所述各个第二分割点。
10. 如权利要求8所述的装置，其中，所述计算模块，包括：
第五确定单元，用于根据每个所述第一分割点的第一属性，在每组所述外参值下与对应的第二分割点的第二属性间的匹配度，确定每个所述第一分割点的权重值；以及
第六确定单元，用于根据每个所述第一分割点的深度值与对应的所述第二分割点的梯度值的乘积、及每个所述第一分割点的权重值，确定每组所述外参值对应的互相关系数。
11. 如权利要求7所述的装置，其中，所述获取模块，包括：
第二获取单元，用于获取所述激光雷达对应的第一坐标系与所述摄像头对应的第二坐标系之间的初始外参值，其中，所述初始外参值为图纸标称值或手量值；以及
生成单元，用于基于预设步长对所述初始外参值进行调整，以生成所述待标定的各组外参值。
12.如权利要求7-11任一所述的装置，其中，所述选取模块，包括：
第九确定单元，用于将对应的互相关系数最大的所述外参值，确定为所述目标外参值。
13. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14. 一种自动驾驶车辆，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010850381.8A CN112184828B (zh) | 2020-08-21 | 2020-08-21 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010850381.8A CN112184828B (zh) | 2020-08-21 | 2020-08-21 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184828A CN112184828A (zh) | 2021-01-05 |
| CN112184828B true CN112184828B (zh) | 2023-12-05 |
Family
ID=73924140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010850381.8A Active CN112184828B (zh) | 2020-08-21 | 2020-08-21 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184828B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327296B (zh) * | 2021-06-28 | 2022-04-12 | 浙江大学 | 基于深度加权的激光雷达与相机在线联合标定方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定系统和方法 |
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
| WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
| CN110782497A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 相机外参的标定方法、装置 |
| CN111192331A (zh) * | 2020-04-09 | 2020-05-22 | 浙江欣奕华智能科技有限公司 | 一种激光雷达和相机的外参标定方法及装置 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
| CN111383279A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
| CN111553859A (zh) * | 2020-04-29 | 2020-08-18 | 清华大学 | 一种激光雷达点云反射强度补全方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11067693B2 (en) * | 2018-07-12 | 2021-07-20 | Toyota Research Institute, Inc. | System and method for calibrating a LIDAR and a camera together using semantic segmentation |
| US10878282B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Segmentation processing of image data for LiDAR-based vehicle tracking system and method |
-
2020
- 2020-08-21 CN CN202010850381.8A patent/CN112184828B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定系统和方法 |
| WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111383279A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
| CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
| CN110782497A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 相机外参的标定方法、装置 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
| CN111192331A (zh) * | 2020-04-09 | 2020-05-22 | 浙江欣奕华智能科技有限公司 | 一种激光雷达和相机的外参标定方法及装置 |
| CN111553859A (zh) * | 2020-04-29 | 2020-08-18 | 清华大学 | 一种激光雷达点云反射强度补全方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 三维激光雷达-相机间外参的高效标定方法;刘今越;唐旭;贾晓辉;杨冬;李铁军;;仪器仪表学报(第11期);67-75 * |
| 基于点云中心的激光雷达与相机联合标定方法研究;康国华;张琪;张晗;徐伟证;张文豪;;仪器仪表学报(第12期);121-129 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184828A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111965624B (zh) | 激光雷达与相机的标定方法、装置、设备和可读存储介质 | |
| CN111563923B (zh) | 获得稠密深度图的方法及相关装置 | |
| CN108419446B (zh) | 用于激光深度图取样的系统及方法 | |
| EP3869399A2 (en) | Vehicle information detection method and apparatus, electronic device, storage medium and program | |
| CN111401208B (zh) | 一种障碍物检测方法、装置、电子设备及存储介质 | |
| CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
| CN112652016B (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN111401251B (zh) | 车道线提取方法、装置、电子设备及计算机可读存储介质 | |
| CN111612852B (zh) | 用于验证相机参数的方法和装置 | |
| CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
| CN112509057B (zh) | 相机外参标定方法、装置、电子设备以及计算机可读介质 | |
| JP2021119507A (ja) | 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム | |
| CN112560684B (zh) | 车道线检测方法、装置、电子设备、存储介质以及车辆 | |
| CN111666876B (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
| CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN111079079B (zh) | 数据修正方法、装置、电子设备及计算机可读存储介质 | |
| CN113674421B (zh) | 3d目标检测方法、模型训练方法、相关装置及电子设备 | |
| US10055817B2 (en) | Systems and methods for determining pupillary distance and scale | |
| WO2021195886A1 (zh) | 距离确定方法、可移动平台及计算机可读存储介质 | |
| CN111652103B (zh) | 室内定位方法、装置、设备以及存储介质 | |
| CN116188893A (zh) | 基于bev的图像检测模型训练及目标检测方法和装置 | |
| CN112241716A (zh) | 训练样本的生成方法和装置 | |
| CN112184828B (zh) | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 | |
| CN111767843A (zh) | 三维位置预测方法、装置、设备以及存储介质 | |
| CN113325381B (zh) | 用于处理数据的方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211013 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |