CN114076936A - 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 - Google Patents
联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 Download PDFInfo
- Publication number
- CN114076936A CN114076936A CN202010845148.0A CN202010845148A CN114076936A CN 114076936 A CN114076936 A CN 114076936A CN 202010845148 A CN202010845148 A CN 202010845148A CN 114076936 A CN114076936 A CN 114076936A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- camera
- laser
- image
- evaluated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 73
- 238000013507 mapping Methods 0.000 claims abstract description 104
- 238000002310 reflectometry Methods 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请涉及一种联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质，包括：根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。再计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积，通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。因为重叠面积越大，则说明激光点云数据对应的点云与相机所拍摄的图像在空间上对齐的准确率越高，即说明待评估联合标定参数的准确性越高。因此，采用该联合标定参数的精度评估方法不需要通过人眼来判断，提高了对联合标定参数进行精度评估的效率，避免浪费人力物力。
Description
技术领域
本申请涉及相机标定技术领域，特别是涉及一种联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质。
背景技术
随着自动驾驶或无人驾驶技术的不断发展，自动驾驶或无人驾驶将逐渐步入人们的日常生活中，为人们的生活带来便利。其中，自动驾驶或无人驾驶技术所面临的核心问题是：车辆的视觉感知能力不足，无法形成对整体道路交通坏境的全面感知，使得车辆行驶安全性得不到全面保障。
近些年出现了通过激光雷达与相机一起来提高车辆的视觉感知能力的方案。显然，在这个方案里激光雷达与相机联合标定所得的标定结果的精度，对于后续激光点云数据与图像数据的准确融合至关重要。传统方法中，对标定结果的精度进行评估主要是通过激光点云边缘和图像边缘的重合度来进行评估。若激光点云边缘和图像边缘两者的重合度较好，则证明标定结果的精度高；反之，若出现错位现象，则说明标定结果存在误差，需要重新进行标定优化。
传统的精度评估方式往往需要用人眼来判断激光点云边缘和图像边缘的重合度，显然采用人眼判断的方式容易受主观意识的影响并且效率较低，严重浪费人力物力。
发明内容
本申请实施例提供一种联合标定参数的精度评估方法、装置、服务器、计算机可读存储介质，可以提高精度评估的效率，避免浪费人力物力。
一种联合标定参数的精度评估方法，包括：
获取同一时刻、同一场景下采集的图像和激光点云数据，所述图像为通过相机拍摄得到，所述激光点云数据为通过激光雷达采集得到；
根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积；
通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
一种联合标定参数的精度评估装置，包括：
数据采集模块，用于获取同一时刻、同一场景下采集的图像和激光点云数据，所述图像为通过相机拍摄得到，所述激光点云数据为通过激光雷达采集得到；
点云映射模块，用于根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
重叠面积计算模块，用于计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积；
精度评估模块，用于通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。
上述联合标定参数的精度评估方法、装置、服务器、计算机可读存储介质，根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。再计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积，通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。因为重叠面积越大，则说明激光点云数据对应的点云与相机所拍摄的图像在空间上对齐的准确率越高，即说明待评估联合标定参数的准确性越高。因此，采用该联合标定参数的精度评估方法不需要通过人眼来判断，提高了对联合标定参数进行精度评估的效率，避免浪费人力物力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中联合标定参数的精度评估方法的应用场景图；
图2为一个实施例中联合标定参数的精度评估方法的流程图；
图3为图2中通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估方法的流程图；
图4为一个实施例中激光雷达相对于相机的待评估联合标定参数的计算过程的流程图；
图5为图2中将激光点云数据对应的点云映射到图像上得到映射点云方法的流程图；
图6为一个具体的实施例中联合标定参数的精度评估方法的流程图；
图7为一个实施例中联合标定参数的精度评估装置的结构框图；
图8为另一个实施例中联合标定参数的精度评估装置的结构框图；
图9为一个实施例中服务器的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
图1为一个实施例中联合标定参数的精度评估方法的应用场景图。如图1所示，该应用环境包括激光雷达120、相机140及服务器160。获取同一时刻、同一场景下采集的图像和激光点云数据，图像为通过相机拍摄得到，激光点云数据为通过激光雷达采集得到；根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积；通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。
其中，相机在提取目标的特征方面有较大优势，却不能准确获取目标的速度和位置。而激光雷达探测距离远，测量精度高，能够准确获取物体的三维信息和速度信息，但成本高，缺少RGB信息，且在恶劣天气下，如雨天、雾天等无法正常工作。因此，将激光雷达与相机两者进行融合，就可以发挥各自的优势。在融合的基础上，进行信息交互，最大限度地获取周边环境信息。
图2为一个实施例中联合标定参数的精度评估方法的流程图，如图2所示，提供了一种联合标定参数的精度评估方法，应用于服务器，包括步骤220至步骤280。
步骤220，获取同一时刻、同一场景下采集的图像和激光点云数据，图像为通过相机拍摄得到，激光点云数据为通过激光雷达采集得到。
在对激光雷达与相机进行联合标定时，首先，将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。然后，通过相机拍摄得到图像，通过激光雷达在同一时刻、同一场景下采集得到激光点云数据。最后，服务器从相机所采集到的图像及激光雷达所采集到的激光点云数据中，获取同一时刻对应的图像和与图像对应的激光点云数据，组成一对数据。在对激光雷达与相机进行联合标定时，可以是获取多对这样的数据。其中，同一个目标对应多个激光点云数据。
具体的，分别获取到激光雷达与相机的系统时间戳，分别计算激光雷达与工控机的系统时间差值、相机与工控机的系统时间差值。再通过同一台工控机同时采集激光点云数据和图像对应的数据，基于激光雷达与工控机的系统时间差值、相机与工控机的系统时间差值，将激光点云数据和图像对应的数据的系统时间戳转换到工控机的时间轴上，即可获取时间同步(同一时刻)的激光雷达数据和图像对应的数据。
步骤240，根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。
具体的，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
另外，激光雷达本来就位于世界坐标系中，而相机位于相机坐标系，相机所拍摄出的图像位于像素坐标系中。且相机坐标系能够与世界坐标系相互转换，相机坐标系能够与像素坐标系相互转换。因此，服务器在计算激光雷达相对于相机的待评估联合标定参数时，可以通过世界坐标系作为桥梁，根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的待评估联合标定参数。其中，联合标定参数也可以称之为外参矩阵。
然后，根据相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的待评估外参矩阵，通过透射变换矩阵将激光点云数据对应的点云映射到图像上得到映射点云，如此就建立了激光点云与图像上的像素之间的对应关系。
步骤260，计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积。
服务器在将激光点云数据对应的点云映射到图像上得到映射点云之后，获取同一目标在图像上的点云目标框与图像识别目标框。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积就可以验证出激光雷达相对于相机的初始联合标定参数(外参矩阵)的准确性。其中，联合标定参数也可以称之为外参矩阵。
步骤280，通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。
因为重叠面积越大，则说明激光点云数据对应的点云(下称为激光点云)与相机所拍摄的图像在空间上对齐的准确率越高。则服务器就可以通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。
本申请实施例中，服务器根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。再计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积，通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。因为重叠面积越大，则说明激光点云数据对应的点云与相机所拍摄的图像在空间上对齐的准确率越高，即说明待评估联合标定参数的准确性越高。因此，采用该联合标定参数的精度评估方法不需要通过人眼来判断，提高了对联合标定参数进行精度评估的效率，避免浪费人力物力。
在一个实施例中，如图3所示，步骤280，通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估，包括：
步骤282，计算重叠面积与激光点云目标框的面积的比值。
具体的，对于同一目标计算在图像上的激光点云目标框SL与图像识别目标框SC之间的重叠面积SOA(overlap_area)，然后，计算该重叠面积SOA与该目标对应的激光点云目标框SL的面积的比值Rj(ratio)。例如，假设从图像上共选取了j个目标，则对于每一个目标都计算出了一个重叠面积与该目标对应的激光点云目标框的面积的比值Rj(ratio)。其中，
SOA＝SL∩SC (1-1)
步骤284，对各个目标对应的重叠面积与激光点云目标框的面积的比值计算均值、方差或标准差。
再对各个目标对应的重叠面积与激光点云目标框的面积的比值Ri(ratio)计算均值、方差或标准差，即对Rj(ratio)计算出均值Mean、方差或标准差。以均值Mean为例，解释其计算过程，具体如下：
步骤286，根据均值、方差或标准差对激光雷达相对于相机的待评估联合标定参数进行精度评估。
具体的，因为重叠面积越大，则说明激光点云数据对应的点云与相机所拍摄的图像在空间上对齐的准确率越高，即说明待评估联合标定参数的准确性越高。因此，对各个目标对应的重叠面积与激光点云目标框的面积的比值计算均值、方差或标准差。再根据均值、方差或标准差就能够实现对激光雷达相对于相机的待评估联合标定参数进行精度评估。
本申请实施例中，依据重叠面积，再计算各个目标对应的重叠面积与激光点云目标框的面积的比值计算均值、方差或标准差。再根据均值、方差或标准差就能够实现对激光雷达相对于相机的待评估联合标定参数进行精度评估。采用该联合标定参数的精度评估方法不需要通过人眼来判断，提高了对联合标定参数进行精度评估的效率，避免浪费人力物力。
在一个实施例中，根据均值、方差或标准差对激光雷达相对于相机的待评估联合标定参数进行精度评估，包括：
若均值、方差或标准差大于等于预设阈值，则激光雷达相对于相机的待评估联合标定参数的精度符合预设精度阈值；
若均值、方差或标准差小于预设阈值，则激光雷达相对于相机的待评估联合标定参数的精度不符合预设精度阈值。
具体的，预设阈值为对各个目标对应的重叠面积与激光点云目标框的面积的比值Ri(ratio)所计算出的均值Mean、方差或标准差对应的阈值。该预设阈值为经过多次实验所得出的待评估联合标定参数的精度符合预设精度阈值时候所对应的均值、方差或标准差阈值。例如，在本申请实施例中该预设阈值可以为70％、80％等，当然，本申请并不对此进行限定。
因此，通过判断均值、方差或标准差与预设阈值之间的大小，实现对激光雷达相对于相机的待评估联合标定参数进行精度评估。若均值、方差或标准差大于等于预设阈值，则激光雷达相对于相机的待评估联合标定参数的精度符合预设精度阈值。若均值、方差或标准差小于预设阈值，则激光雷达相对于相机的待评估联合标定参数的精度不符合预设精度阈值。
本申请实施例中，为各个目标对应的重叠面积与激光点云目标框的面积的比值Ri(ratio)所计算出的均值、方差或标准差设置预设阈值，通过判断均值、方差或标准差与预设阈值之间的大小，实现对激光雷达相对于相机的待评估联合标定参数进行精度评估。通过均值、方差或标准差将精度评估进行了量化，避免了通过人眼来进行精度评估所带来的主观差异性。
在一个实施例中，还提供一种联合标定参数的精度评估方法，包括：若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数，对所述激光雷达相对于所述相机的待评估联合标定参数进行重新计算。
具体的，若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则需要对待评估联合标定参数进行重新计算，即进行更新。其中，对待评估联合标定参数进行重新计算的过程，与激光雷达相对于所述相机的待评估联合标定参数的计算过程一致。具体为：根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，根据所述概率分布图构建目标函数；通过所述目标函数调整所述待评估联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为重新计算后的所述激光雷达相对于所述相机的待评估联合标定参数。
本申请实施例中，若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则需要对待评估联合标定参数进行重新计算。如此，基于待评估联合标定参数，按照激光雷达相对于所述相机自标定的过程不断更新待评估联合标定参数，直到输出精度符合预设精度阈值的联合标定参数。采用该联合标定参数的精度评估方法不需要通过人眼来判断，提高了对联合标定参数进行精度评估的效率，避免浪费人力物力。
在一个实施例中，在计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积之前，包括：
针对图像中的每一个目标，在图像上获取目标对应的激光映射点云的外接框作为激光点云目标框；采用图像检测算法对图像进行图像识别得到图像识别目标框；
获取同一目标在图像上的激光点云目标框及图像识别目标框。
具体的，激光雷达对于一个目标一般会采集到多个激光点云，那么将激光点云映射到图像上之后对于一个目标就也相应得到了多个激光映射点云。因此，在图像上就可以获取激光映射点云的最小外接框构成激光点云目标框。其中，最小外接框可以是矩形框，也可以是圆形框等，本申请对此不做限定。
对于通过相机拍摄所得的图像，通过图像检测算法对目标进行图像识别得到图像识别目标框，同理，此处的图像识别目标框的形状可以为圆形框，也可以为矩形框，本申请并不对目标框的形状进行限制。示例性的，激光点云目标框与图像识别目标框最好为同一种形状的目标框，便于比较。其中，图像检测算法可以是基于深度学习的神经网络算法等，本申请对此不做限定。
因为相机所拍摄的图像上包含了多个目标，所以，需要从图像上获取同一目标对应的激光点云目标框及图像识别目标框。即将图像上的激光点云目标框及图像识别目标框，进行组合得到同一目标对应的激光点云目标框及图像识别目标框。
本申请实施例中，针对图像中的每一个目标，在图像上获取目标对应的激光映射点云的外接框作为激光点云目标框，对图像进行图像识别得到图像识别目标框。获取同一目标对应的激光点云目标框及图像识别目标框，实现了将同一目标的激光点云目标框，与相机所拍摄的图像上同一目标的图像识别目标框之间在空间上进行匹配，从而，便于后续根据目标框匹配的程度进行激光雷达与相机联合标定。
在一个实施例中，如图4所示，激光雷达相对于相机的待评估联合标定参数的计算过程，包括：
步骤320，根据相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。
具体的，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
另外，激光雷达本来就位于世界坐标系中，而相机位于相机坐标系，相机所拍摄出的图像位于像素坐标系中，且相机坐标系能够与世界坐标系相互转换，相机坐标系能够与像素坐标系相互转换。因此，服务器在计算激光雷达相对于相机的初始联合标定参数时，可以通过世界坐标系作为桥梁，根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。其中，联合标定参数也可以称之为外参矩阵。
然后，根据相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始外参矩阵，通过透射变换矩阵将激光点云数据对应的点云映射到图像上得到映射点云，如此就建立了激光点云与图像上的像素之间的对应关系。
步骤340，基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图，根据概率分布图构建目标函数。
因为激光点云的反射率与映射点云的灰度值之间存在强相关性，所以就可以基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图，根据概率分布图构建目标函数。激光点云数据中包含了丰富的信息，包括三维坐标(X，Y，Z)、颜色、分类值、强度值、时间、反射率等，本申请对此不做限定。根据激光雷达打到目标物体的发射功率和接收器所接收的目标物体的接收功率计算目标的发射率。在真实的测试环境中，随着距离增加，光路的衰减将极大地影响物体的反射率。
服务器在将激光点云数据对应的点云映射到图像上得到映射点云之后，就可以从图像上获取映射点云的灰度值。再从激光点云数据中获取每一个点云的反射率，就可以基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图。其中，概率分布图包括直方图、饼状图或曲线图等，本申请对此不做限定。例如，对于直方图，可以对激光点云数据中点云的反射率进行统计，得出由一系列高度不等的纵向条纹或线段来表示激光点云数据中点云的反射率的分布情况。在直方图中一般用横轴表示数据类型，纵轴表示分布情况。也可以采用直方图对映射点云的灰度值进行统计，得出映射点云的灰度值的分布情况。当然，还可以采用直方图对激光点云数据中点云的反射率、映射点云的灰度值两者进行统计，得出激光点云数据中点云的反射率、映射点云的灰度值的分布情况。
当然，除了采用直方图的形式来表示，还可以采用饼状图或曲线图等形式来表示激光点云数据中点云的反射率的分布情况、映射点云的灰度值的分布情况及激光点云数据中点云的反射率、映射点云的灰度值两者的分布情况。
在基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图之后，就可以根据概率分布图构建目标函数。具体的，目标函数也称之为损失函数(lossfunction)或代价函数(cost function)。
步骤360，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的待评估联合标定参数。
服务器就可以通过目标函数不断调整初始联合标定参数直到目标函数的值满足预设阈值。预设阈值可以是预先根据实际情况设定的。在目标函数的值满足预设阈值之后，输出调整后的外参矩阵作为激光雷达相对于相机的待评估外参矩阵，完成激光雷达与相机联合标定的过程。其中，联合标定参数也可以称之为外参矩阵。
本申请实施例中，服务器将激光点云数据对应的点云映射到图像上得到映射点云。再基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图，根据概率分布图构建目标函数，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的待评估联合标定参数。因为激光点云的反射率与映射点云的灰度值之间存在强相关性，所以就可以基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图，根据概率分布图构建目标函数，进而得到待评估联合标定参数。通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
在一个实施例中，概率分布图包括反射率直方图、灰度直方图及联合直方图，基于激光点云数据中的反射率、映射点云的灰度值构建概率分布图，包括：
基于激光点云数据中的反射率构建反射率直方图；
基于映射点云的灰度值构建灰度直方图；
根据反射率、灰度值及激光雷达相对于相机的初始联合标定参数之间的关系，基于反射率直方图及灰度直方图构建联合直方图。
具体的，因为激光点云的反射率与映射点云的灰度值之间存在强相关性，所以就可以基于激光点云数据中点云的反射率、映射点云的灰度值构建概率分布图，根据概率分布图构建目标函数。其中，概率分布图包括直方图、饼状图或曲线图等，本申请对此不做限定。
在本申请实施例中以直方图为例，基于激光点云数据中点云的反射率、映射点云的灰度值构建直方图，包括：基于激光点云数据中点云的反射率构建反射率直方图；基于映射点云的灰度值构建灰度直方图；基于反射率直方图及灰度直方图构建联合直方图。
在构建反射率直方图时，获取激光点云数据中所有点云的反射率。对激光点云数据中所有点云的反射率进行统计，得出每种反射率出现的次数。基于每种反射率出现的次数，以反射率的数值为横轴，以该反射率出现的次数为纵轴，得到反射率直方图。在反射率直方图中用x来表示反射率的值，用X来表示反射率的值的数据集，用pX(x)来表示反射率直方图中反射率x的概率值。
在构建灰度直方图时，获取所有映射点云的灰度值。对所有映射点云的灰度值进行统计，得出灰度值出现的次数。基于每种灰度值出现的次数，以反灰度值为横轴，以该灰度值出现的次数为纵轴，得到灰度直方图。在灰度直方图中用y来表示灰度值，用Y来表示反射率的值的数据集，用pY(y)来表示灰度直方图中灰度值y的概率值。
在构建联合直方图时，获取激光点云数据中所有点云的反射率，再获取所有映射点云的灰度值。对激光点云数据中所有点云的反射率、该点云对应的映射点云的灰度值进行统计，得出由点云的反射率x、该点云对应的映射点云的灰度值y所构成的一组数值(x,y)，并统计该组数值(x,y)出现的次数。基于该组数值出现的次数，以该组数值(x,y)为横轴，以该组数值出现的次数为纵轴，得到联合直方图。在联合直方图中用x来表示反射率的值、用y来表示灰度值，用(X,Y)来表示反射率的值的数据集，用pXY(x,y)来表示联合直方图中该组数值(x,y)的概率值。
本申请实施例中，基于激光点云数据中点云的反射率构建反射率直方图，基于映射点云的灰度值构建灰度直方图，基于反射率直方图及灰度直方图构建联合直方图。构建出了这三种直方图之后，从而，便于后续根据这三种直方图构建目标函数。并通过目标函数计算出激光雷达相对于相机的目标联合标定参数。
在一个实施例中，如图5所示，步骤240，根据激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云，包括：
步骤242，计算相机的内参矩阵、相机的畸变系数。
由相机标定得到相机的内参矩阵及相机的畸变系数。其中，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
其中，相机的畸变系数可以划分为径向畸变、切向畸变。
步骤244，获取激光点云数据在世界坐标系中的坐标。
对于激光雷达，因为激光雷达本来就使用的是世界坐标系，所以直接就获取到了激光点云数据在世界坐标系中的坐标。其中，世界坐标系由Xw、Yw、Zw构成。
步骤246，将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算激光点云数据对应的点云在像素坐标系中的坐标。
经过上述计算分别得到了相机的内参矩阵A、相机的畸变系数K、激光雷达相对于相机的初始外参矩阵[RT]及激光点云数据在世界坐标系中的坐标(XW,YW,ZW)。联合标定参数也可以称之为外参矩阵。其中，透射变换矩阵为：
其中，
将相机的内参矩阵A、相机的畸变系数K、激光雷达相对于相机的初始外参矩阵[RT]及激光点云数据在世界坐标系中的坐标(XW,YW,ZW)输入至透射变换矩阵，就可以计算出激光点云数据对应的点云在像素坐标系中的坐标(μ,ν)。
计算出激光点云数据对应的点云在像素坐标系中的坐标(μ,ν)的过程如下：
x′＝x/z y′＝y/z (1-6)
其中，r2＝x′2+y′2
u＝fx*x″+cx v＝fy*y″+cy
(1-9)
其中，k1,k2,k3,k4,k5,k6表示径向畸变系数，p1,p2表示切向畸变系数。
步骤248，从图像上提取点云在像素坐标系中的坐标处的像素点，作为映射点云。
在计算出激光点云数据对应的点云在像素坐标系中的坐标(μ,ν)之后，就实现了将激光点云数据对应的点云映射到图像上得到映射点云。具体的，从图像上提取点云在像素坐标系中的坐标(μ,ν)处的像素点，作为映射点云。对于一开始进行激光雷达与相机进行联合标定时，所选取的每一个激光雷达点云数据对应的点云都映射到图像上得到映射点云。
本申请实施例中，首先，获取激光点云数据在世界坐标系中的坐标。然后，将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算激光点云数据对应的点云在像素坐标系中的坐标。从图像上提取点云在像素坐标系中的坐标处的像素点，作为映射点云。实现了将激光点云与相机所拍摄的图像之间在空间上进行匹配，从而，便于后续进行联合标定参数的精度评估。且通过透射变换矩阵可以对畸变矫正后的图像数据进行计算，也可以对未经过畸变矫正的图像数据进行计算，适用性更广。
在一个具体的实施例中，如图6所示，提供了一种联合标定参数的精度评估方法，包括：
步骤602，调整激光雷达和相机到合适角度，组装激光雷达和相机的融合套件；
步骤604，获取同一时刻、同一场景下采集的图像和与图像对应的激光点云数据；
步骤606，计算激光雷达相对于相机的初始外参矩阵；
步骤608，根据透射变换矩阵，将激光点云数据对应的点云映射到图像上得到映射点云；
步骤610，在图像上获取激光映射点云构成的激光点云目标框，对图像进行图像识别得到图像识别目标框；
步骤612，计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积；
步骤614，计算重叠面积与激光点云目标框的面积的比率；对各个目标对应的重叠面积与激光点云目标框的面积的比率计算Mean、均值、方差或标准差；
步骤616，判断均值Mean、方差或标准差是否大于等于70％，若是，则进入步骤618；若否，则进入步骤720；
步骤618，判断出激光雷达相对于相机的待评估联合标定参数的精度符合预设精度阈值；
步骤620，判断出激光雷达相对于相机的待评估联合标定参数的精度不符合预设精度阈值。
本申请实施例中，根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。再计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积，通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。因为重叠面积越大，则说明激光点云数据对应的点云与相机所拍摄的图像在空间上对齐的准确率越高，即说明待评估联合标定参数的准确性越高。因此，采用该联合标定参数的精度评估方法不需要通过人眼来判断，提高了对联合标定参数进行精度评估的效率，避免浪费人力物力。
在一个实施例中，如图7所示，提供了一种联合标定参数的精度评估装置700，包括：
数据采集模块720，用于获取同一时刻、同一场景下采集的图像和激光点云数据，图像为通过相机拍摄得到，激光点云数据为通过激光雷达采集得到；
点云映射模块740，用于根据激光雷达相对于相机的待评估联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；
重叠面积计算模块760，用于计算同一目标在图像上的激光点云目标框与图像识别目标框之间的重叠面积；
精度评估模块780，用于通过重叠面积对激光雷达相对于相机的待评估联合标定参数进行精度评估。
在一个实施例中，精度评估模块780，包括：
比值计算单元，用于计算重叠面积与激光点云目标框的面积的比值；
均值计算单元，用于对各个目标对应的重叠面积与激光点云目标框的面积的比值计算均值、方差或标准差；
精度评估单元，用于根据均值、方差或标准差对激光雷达相对于相机的待评估联合标定参数进行精度评估。
在一个实施例中，精度评估单元，还用于若均值、方差或标准差大于等于预设阈值，则激光雷达相对于相机的待评估联合标定参数的精度符合预设精度阈值；若均值、方差或标准差小于预设阈值，则激光雷达相对于相机的待评估联合标定参数的精度不符合预设精度阈值。
在一个实施例中，如图8所示，提供了一种联合标定参数的精度评估装置700，还包括：
目标框获取模块750，用于针对图像中的每一个目标，在图像上获取目标对应的激光映射点云的外接框作为激光点云目标框；采用图像检测算法对图像进行图像识别得到图像识别目标框；获取同一目标在图像上的激光点云目标框及图像识别目标框。
在一个实施例中，提供了一种联合标定参数的精度评估装置700，还包括：重新计算模块，用于若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数，对所述激光雷达相对于所述相机的待评估联合标定参数进行重新计算。
在一个实施例中，提供了一种联合标定参数的精度评估装置700，还包括：
待评估联合标定参数计算模块，用于根据相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；基于激光点云数据中的反射率、映射点云的灰度值构建概率分布图，根据概率分布图构建目标函数；通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的待评估联合标定参数。
在一个实施例中，概率分布图包括反射率直方图、灰度直方图及联合直方图，待评估联合标定参数计算模块，还用于基于激光点云数据中点云的反射率构建反射率直方图；基于映射点云的灰度值构建灰度直方图；基于反射率直方图及灰度直方图构建联合直方图。
在一个实施例中，点云映射模块740，包括：
相机的内参矩阵、畸变系数计算单元，用于计算相机的内参矩阵、相机的畸变系数；
坐标获取单元，用于获取激光点云数据在世界坐标系中的坐标；
透射变换单元，用于将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算激光点云数据对应的点云在像素坐标系中的坐标；
映射点云获取单元，用于从图像上提取点云在像素坐标系中的坐标处的像素点，作为映射点云。
上述联合标定参数的精度评估装置中各个模块的划分仅用于举例说明，在其他实施例中，可将联合标定参数的精度评估装置按照需要划分为不同的模块，以完成上述联合标定参数的精度评估装置的全部或部分功能。
图9为一个实施例中服务器的内部结构示意图。如图9所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该服务器可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取同一时刻、同一场景下采集的图像和激光点云数据，所述图像为通过相机拍摄得到，所述激光点云数据为通过激光雷达采集得到；根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积；通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：所述通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估，包括：计算所述重叠面积与所述激光点云目标框的面积的比值；对各个目标对应的所述重叠面积与所述激光点云目标框的面积的比值计算均值、方差或标准差；根据所述均值、方差或标准差对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：在所述计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积之前，包括：针对所述图像中的每一个目标，在所述图像上获取所述目标对应的激光映射点云的外接框作为激光点云目标框；采用图像检测算法对所述图像进行图像识别得到图像识别目标框；获取同一目标在所述图像上的激光点云目标框及图像识别目标框。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：所述根据所述均值、方差或标准差对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估，包括：若所述均值、方差或标准差大于等于预设阈值，则所述激光雷达相对于所述相机的待评估联合标定参数的精度符合预设精度阈值；若所述均值、方差或标准差小于预设阈值，则所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数，对所述激光雷达相对于所述相机的待评估联合标定参数进行重新计算。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：所述激光雷达相对于所述相机的待评估联合标定参数的计算过程，包括：根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，根据所述概率分布图构建目标函数；通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的待评估联合标定参数。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：所述概率分布图包括反射率直方图、灰度直方图及联合直方图，所述基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，包括：基于所述激光点云数据中的反射率构建反射率直方图；基于所述映射点云的灰度值构建灰度直方图；根据所述反射率、所述灰度值及所述激光雷达相对于所述相机的初始联合标定参数之间的关系，基于所述反射率直方图及所述灰度直方图构建联合直方图。
在一个实施例中，提供了一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，该计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：所述根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：计算所述相机的内参矩阵、所述相机的畸变系数；获取所述激光点云数据在世界坐标系中的坐标；将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数及所述激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述激光点云数据对应的点云在像素坐标系中的坐标；从所述图像上提取所述点云在像素坐标系中的坐标处的像素点，作为映射点云。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：获取同一时刻、同一场景下采集的图像和激光点云数据，所述图像为通过相机拍摄得到，所述激光点云数据为通过激光雷达采集得到；根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积；通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：所述通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估，包括：计算所述重叠面积与所述激光点云目标框的面积的比值；对各个目标对应的所述重叠面积与所述激光点云目标框的面积的比值计算均值、方差或标准差；根据所述均值、方差或标准差对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：在所述计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积之前，包括：针对所述图像中的每一个目标，在所述图像上获取所述目标对应的激光映射点云的外接框作为激光点云目标框；采用图像检测算法对所述图像进行图像识别得到图像识别目标框；获取同一目标在所述图像上的激光点云目标框及图像识别目标框。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：所述根据所述均值、方差或标准差对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估，包括：若所述均值、方差或标准差大于等于预设阈值，则所述激光雷达相对于所述相机的待评估联合标定参数的精度符合预设精度阈值；若所述均值、方差或标准差小于预设阈值，则所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数，对所述激光雷达相对于所述相机的待评估联合标定参数进行重新计算。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：所述激光雷达相对于所述相机的待评估联合标定参数的计算过程，包括：根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，根据所述概率分布图构建目标函数；通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的待评估联合标定参数。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：所述概率分布图包括反射率直方图、灰度直方图及联合直方图，所述基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，包括：基于所述激光点云数据中的反射率构建反射率直方图；基于所述映射点云的灰度值构建灰度直方图；根据所述反射率、所述灰度值及所述激光雷达相对于所述相机的初始联合标定参数之间的关系，基于所述反射率直方图及所述灰度直方图构建联合直方图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：所述根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：计算所述相机的内参矩阵、所述相机的畸变系数；获取所述激光点云数据在世界坐标系中的坐标；将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数及所述激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述激光点云数据对应的点云在像素坐标系中的坐标；从所述图像上提取所述点云在像素坐标系中的坐标处的像素点，作为映射点云。
本申请实施例中提供的联合标定参数的精度评估装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行联合标定参数的精度评估方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种联合标定参数的精度评估方法，其特征在于，包括：
获取同一时刻、同一场景下采集的图像和激光点云数据，所述图像为通过相机拍摄得到，所述激光点云数据为通过激光雷达采集得到；
根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积；
通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
2.根据权利要求1所述的方法，其特征在于，所述通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估，包括：
计算所述重叠面积与所述激光点云目标框的面积的比值；
对各个目标对应的所述重叠面积与所述激光点云目标框的面积的比值计算均值、方差或标准差；
根据所述均值、方差或标准差对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
3.根据权利要求2所述的方法，其特征在于，在所述计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积之前，包括：
针对所述图像中的每一个目标，在所述图像上获取所述目标对应的激光映射点云的外接框作为激光点云目标框；采用图像检测算法对所述图像进行图像识别得到图像识别目标框；
获取同一目标在所述图像上的激光点云目标框及图像识别目标框。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述均值、方差或标准差对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估，包括：
若所述均值、方差或标准差大于等于预设阈值，则所述激光雷达相对于所述相机的待评估联合标定参数的精度符合预设精度阈值；
若所述均值、方差或标准差小于预设阈值，则所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述激光雷达相对于所述相机的待评估联合标定参数的精度不符合预设精度阈值，则根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数，对所述激光雷达相对于所述相机的待评估联合标定参数进行重新计算。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述激光雷达相对于所述相机的待评估联合标定参数的计算过程，包括：
根据所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，根据所述概率分布图构建目标函数；
通过所述目标函数调整所述初始联合标定参数直到所述目标函数的值满足预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的待评估联合标定参数。
7.根据权利要求6所述的方法，其特征在于，所述概率分布图包括反射率直方图、灰度直方图及联合直方图，所述基于所述激光点云数据中的反射率、所述映射点云的灰度值构建概率分布图，包括：
基于所述激光点云数据中的反射率构建反射率直方图；
基于所述映射点云的灰度值构建灰度直方图；
根据所述反射率、所述灰度值及所述激光雷达相对于所述相机的初始联合标定参数之间的关系，基于所述反射率直方图及所述灰度直方图构建联合直方图。
8.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：
计算所述相机的内参矩阵、所述相机的畸变系数；
获取所述激光点云数据在世界坐标系中的坐标；
将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的待评估联合标定参数及所述激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述激光点云数据对应的点云在像素坐标系中的坐标；
从所述图像上提取所述点云在像素坐标系中的坐标处的像素点，作为映射点云。
9.一种联合标定参数的精度评估装置，其特征在于，包括：
数据采集模块，用于获取同一时刻、同一场景下采集的图像和激光点云数据，所述图像为通过相机拍摄得到，所述激光点云数据为通过激光雷达采集得到；
点云映射模块，用于根据所述激光雷达相对于所述相机的待评估联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
重叠面积计算模块，用于计算同一目标在所述图像上的激光点云目标框与图像识别目标框之间的重叠面积；
精度评估模块，用于通过所述重叠面积对所述激光雷达相对于所述相机的待评估联合标定参数进行精度评估。
10.一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的联合标定参数的精度评估方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的联合标定参数的精度评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845148.0A CN114076936A (zh) | 2020-08-20 | 2020-08-20 | 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845148.0A CN114076936A (zh) | 2020-08-20 | 2020-08-20 | 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114076936A true CN114076936A (zh) | 2022-02-22 |
Family
ID=80282122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010845148.0A Pending CN114076936A (zh) | 2020-08-20 | 2020-08-20 | 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114076936A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862808A (zh) * | 2022-05-18 | 2022-08-05 | 亿咖通(湖北)技术有限公司 | 虚线框精度的确定方法、装置、设备及存储介质 |
| CN115761000A (zh) * | 2022-11-06 | 2023-03-07 | 卢米纳科技(深圳)有限公司 | 基于视觉激光的清洗标定方法和系统 |
| CN115797401A (zh) * | 2022-11-17 | 2023-03-14 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
-
2020
- 2020-08-20 CN CN202010845148.0A patent/CN114076936A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862808A (zh) * | 2022-05-18 | 2022-08-05 | 亿咖通(湖北)技术有限公司 | 虚线框精度的确定方法、装置、设备及存储介质 |
| CN114862808B (zh) * | 2022-05-18 | 2023-11-17 | 亿咖通(湖北)技术有限公司 | 虚线框精度的确定方法、装置、设备及存储介质 |
| CN115761000A (zh) * | 2022-11-06 | 2023-03-07 | 卢米纳科技(深圳)有限公司 | 基于视觉激光的清洗标定方法和系统 |
| CN115761000B (zh) * | 2022-11-06 | 2023-08-29 | 卢米纳科技(深圳)有限公司 | 基于视觉激光的清洗标定方法和系统 |
| CN115797401A (zh) * | 2022-11-17 | 2023-03-14 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028A (zh) * | 2022-11-17 | 2023-08-15 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028B (zh) * | 2022-11-17 | 2024-02-06 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114076936A (zh) | 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 | |
| CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
| CN111274976B (zh) | 基于视觉与激光雷达多层次融合的车道检测方法及系统 | |
| CN109949372B (zh) | 一种激光雷达与视觉联合标定方法 | |
| CN109389135B (zh) | 一种图像筛选方法及装置 | |
| US11210801B1 (en) | Adaptive multi-sensor data fusion method and system based on mutual information | |
| CN114076937A (zh) | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN110889829B (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN114076918A (zh) | 毫米波雷达、激光雷达与相机联合标定方法和装置 | |
| EP3621041A1 (en) | Three-dimensional representation generating system | |
| CN115797454B (zh) | 一种鸟瞰图视角下多摄像机融合感知方法及装置 | |
| CN114549654A (zh) | 一种车载相机的外参标定方法、装置、设备及存储介质 | |
| CN114076935A (zh) | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN111898532A (zh) | 一种图像处理方法、装置、电子设备及监控系统 | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
| CN113344796A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN112396016B (zh) | 一种基于大数据技术的人脸识别系统 | |
| CN114076919A (zh) | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN114332215A (zh) | 多传感标定方法、装置、计算机设备和存储介质 | |
| CN111753901A (zh) | 一种数据融合方法、装置、系统及计算机设备 | |
| WO2022179164A1 (zh) | 一种点云数据处理方法、训练数据处理方法及装置 | |
| CN115546716A (zh) | 一种基于双目视觉的输电线路周边火灾源头定位方法 | |
| CN112364693B (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 | |
| CN114612873A (zh) | 数据处理方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |