CN114529615B - 雷达标定方法、装置及存储介质 - Google Patents

雷达标定方法、装置及存储介质 Download PDF

Info

Publication number
CN114529615B
CN114529615B CN202210417592.1A CN202210417592A CN114529615B CN 114529615 B CN114529615 B CN 114529615B CN 202210417592 A CN202210417592 A CN 202210417592A CN 114529615 B CN114529615 B CN 114529615B
Authority
CN
China
Prior art keywords
point
line
constraints
matrix
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210417592.1A
Other languages
English (en)
Other versions
CN114529615A (zh
Inventor
徐刚
裴昊
刘佩文
张燎
严涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Nanjing Hawkeye Electronic Technology Co Ltd
Original Assignee
Southeast University
Nanjing Hawkeye Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Nanjing Hawkeye Electronic Technology Co Ltd filed Critical Southeast University
Priority to CN202210417592.1A priority Critical patent/CN114529615B/zh
Publication of CN114529615A publication Critical patent/CN114529615A/zh
Application granted granted Critical
Publication of CN114529615B publication Critical patent/CN114529615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种雷达标定方法、装置及存储介质，其中，所述方法包括：获取同一时间下相机的二维图像和雷达的二维点云图；在二维图像中确定表征检测目标的线段及获取二维点云图中与线段位置对应的多个点以组成点线对集合；确定满足预设条件的多个点线对并构建多个点线约束，随机从多个点线约束中选取预设数量的点线约束作为目标点线约束。转换为线性约束后求线性约束的闭式解并得到转换矩阵初始解；使用剩下的点线约束对转换矩阵初始解进行非线性优化以获得用于标定雷达的精确转换矩阵。本发明所提供的技术方案能够解决现有技术中通过标定板进行雷达标定导致标定时间和人工成本高，且使用点对点约束直接解转换矩阵易导致模型鲁棒性差的技术问题。

Description

雷达标定方法、装置及存储介质
技术领域
本发明涉及雷达技术领域，尤其涉及一种雷达标定方法、装置及存储介质。
背景技术
雷达和相机是车载系统中的重要的传感器，对物体识别和定位起着关键的作用，两者都可用于进行车道检测，雷达和相机各有优缺点。其中，相机识别障碍物的能力较强，且可以对障碍物进行细致分类，但是相机难以对物体进行精准定位，且采集数据时受环境光的限制。雷达探测距离较远且能够准确获取物体的三维信息，但识别障碍物的能力较弱，难以对物体进行分类。
将雷达与相机的功能进行融合可以相互取长补短，提升雷达系统的性能，其中，两者相融合时首要解决的问题是如何对雷达和相机进行联合标定。相机成像后，物体存在于相机图片的像素坐标系中，雷达采集数据后，物体存在于雷达坐标系中，标定算法即根据相机的二维图像和雷达采集的数据来确定雷达坐标系到像素坐标系的欧式转换矩阵。
现有技术中，雷达和相机联合标定的方法中，大多采用使用特制标定板进行离线 标定的方法。具体来说，在一个矩形标定板中心放置一个角反，然后在图片上进行矩形识 别，找出图片中的标定板从而计算出标定板在图片上的中心坐标
Figure DEST_PATH_IMAGE001
。用雷达识别空间 内的角反位置
Figure DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
分别为雷达坐标系下物体的 距离和方位角。通过在视野范围内放置多个标定板或用一个标定板多次采样的方式来获取
Figure DEST_PATH_IMAGE006
个点对
Figure DEST_PATH_IMAGE007
，通过该
Figure 655599DEST_PATH_IMAGE006
个点构建点对点的约束，最后配合线性求解闭式解或非线性优 化求解最优解的方式来计算雷达坐标系到像素坐标系的欧式转换矩阵。
现有技术中的标定方法至少存在以下三个技术问题：
1、使用标定板进行标定的方法对场景的要求较高，需要固定的空旷场景，并需要 操作人员实地安放标定板以获取稳定测量点对
Figure DEST_PATH_IMAGE008
。标定过程需要花费大量的时间成 本、人力成本、测试场景成本和设备成本。
2、现有技术中，通过使用点对点的约束来直接解算欧式转换矩阵，并没有通过额外的冗余信息对标定结果进行二次优化，导致数学模型的鲁棒性较差，测量精度较低。
3、在雷视传感器完成部署后，再次测量时需要重现之前的测试场景，鉴于环境的多变性和不确定性，在现实应用中，很难在工作场景内进行二次标定。
发明内容
本发明提供了一种雷达标定方法、装置及存储介质，旨在有效解决现有技术中通过标定板进行雷达标定导致标定时间和人工成本高，且点对点约束解欧式转换矩阵易导致模型鲁棒性差的技术问题。
根据本发明的一方面，本发明提供一种雷达标定方法，所述方法包括：
针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；
在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；
在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；
求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；
根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
进一步地，所述在所述二维图像中确定表征所述检测目标的线段包括：
基于霍夫变换方法在所述二维图像中确定所述线段。
进一步地，所述获取所述二维点云图中与所述线段位置对应的多个点包括：
通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
进一步地，所述在所述点线对集合中获取满足预设条件的多个点线对包括：
基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。
进一步地，所述将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：
在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；
基于直接线性变换将所述目标点线约束转换为对应的线性约束。
进一步地，所述求解所述线性约束的闭式解包括：
基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
进一步地，所述根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵包括：
根据所述多个点线约束并基于LM算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
进一步地，所述基于霍夫变换方法在所述二维图像中确定所述线段包括：
（1）对所述二维图像进行高斯模糊处理；
（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；
（3）根据边缘检测算法获取所述目标区域的边缘特征图；
（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；
（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
进一步地，所述基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对包括：
（1）在所述点线对集合中随机选取8个点线对作为内点；
（2）基于直接线性变换算法估算所述内点所对应的数据模型；
（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵H，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
进一步地，所述根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：
针对每个所述点线对，执行如下操作：
（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的 点在雷达坐标系中的坐标，基于所述转换矩阵
Figure DEST_PATH_IMAGE009
将所述线段对应的点在雷达坐标系中的坐 标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：
Figure DEST_PATH_IMAGE010
；
对应的矩阵表达式为:
Figure DEST_PATH_IMAGE011
，
其中，
Figure DEST_PATH_IMAGE012
为所述线段在图像坐标系中的表达式，
Figure DEST_PATH_IMAGE013
为所 述线段对应的点在所述雷达坐标系中的坐标，
Figure DEST_PATH_IMAGE014
为所述线段对应的点在所述图像 坐标系中的坐标；
（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE016
的表达式如下：
Figure DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
的表达式如下：
Figure DEST_PATH_IMAGE019
其中， h为所述转换矩阵H 按行展开后的表达式，
Figure DEST_PATH_IMAGE020
表征该点线对中的线段与对 应的点之间的线性关系。
进一步地，所述基于奇异值分解算法求解所述线性约束的闭式解包括：
对每个所述线性约束对应的
Figure 598278DEST_PATH_IMAGE020
做奇异值分解以得到下式：
Figure DEST_PATH_IMAGE021
，
其中，矩阵
Figure DEST_PATH_IMAGE022
为m * m的酉矩阵，矩阵
Figure DEST_PATH_IMAGE023
为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵
Figure DEST_PATH_IMAGE024
为n * n的酉矩阵；
将所述矩阵
Figure 338615DEST_PATH_IMAGE024
的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解
Figure DEST_PATH_IMAGE025
。
进一步地，所述根据所述多个点线约束并基于LM算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵包括：
将所述
Figure DEST_PATH_IMAGE026
转换为向量以作为模型的初始值；
根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述LM算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
根据本发明的另一方面，本发明还提供了一种雷达标定装置，其特征在于，所述装置包括：
数据采集模块，用于针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；
点线对集合构建模块，用于在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；
线性约束构建模块，用于在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；
求解模块，用于求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；
优化模块，用于根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
根据本发明的另一方面，本发明还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一雷达标定方法。
通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：
在本发明所公开的技术方案中，在雷达和相机的联合标定方法中，将空间内有直线特征的强反射物体作为标定中的检测目标，在相机的二维图形上检测表示该物体的线段，在雷达数据中获取该物体附近的点目标，以构建点线约束来求解欧式转换矩阵。本方案不需要额外的标定板就可以实现雷达和相机的在线联合标定，为了确定精确的转换矩阵，使用冗余的点线约束配合RANSAC算法估计出数学模型需要的内点，以减少噪声对模型的影响。另外，在通过直接线性变换方法估算出转换矩阵的解析解后，通过全局迭代优化算法对转换矩阵进行二次修正。该方法可以实现在线自标定，在雷达和相机的联合标定过程中，只需要人工远程操作就可以实现标定，因此便于在无人值守的场景中使用，减少了人工成本。该自标定方法还便于在工作环境内再次进行标定，且不需要标定板等额外的工具，减少了设备成本。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的一种雷达坐标系和相机坐标系的示意图；
图2为本发明实施例提供的一种雷达标定方法的步骤流程图；
图3为本发明实施例提供的一种雷达标定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
在本发明所公开的技术方案中，默认使用2D雷达和普通的单目摄像头，两个传感 器的安装的相对关系和坐标系的定义如图1所示。其中
Figure DEST_PATH_IMAGE027
为雷达坐标系，
Figure DEST_PATH_IMAGE028
为相 机坐标系，
Figure DEST_PATH_IMAGE029
为像素坐标系，默认所有坐标系都是右手系。其中，在雷达坐标系中，2D雷 达默认的全部点目标的高度相同，即
Figure DEST_PATH_IMAGE030
=0或为某一固定数值。
令相机坐标系为转换的主坐标系，设相机获取的二维图像中的一点
Figure DEST_PATH_IMAGE031
和雷 达数据中的一点
Figure DEST_PATH_IMAGE032
是相互关联的，根据相机投影模型可以得到如下的转换关系：
Figure DEST_PATH_IMAGE033
其中
Figure DEST_PATH_IMAGE034
为3 x 4的齐次内参矩阵，可以由MATLAB或OpenCV中的相机矫正模块计算 获取。本发明默认内参矩阵
Figure DEST_PATH_IMAGE035
为已知信息，不对内矩阵的求取做解释。
雷达和相机的联合标定，本质上是求解两者之间的外参矩阵
Figure DEST_PATH_IMAGE036
。其中
Figure DEST_PATH_IMAGE037
表示相 机坐标系坐标原点在雷达坐标系下的坐标
Figure DEST_PATH_IMAGE038
。
Figure DEST_PATH_IMAGE039
为3 x 3的矩阵，旋转矩阵
Figure 708547DEST_PATH_IMAGE039
的第一 行
Figure DEST_PATH_IMAGE040
表示相机坐标系下雷达坐标系
Figure DEST_PATH_IMAGE041
轴的坐标；第二行
Figure DEST_PATH_IMAGE042
表示相机 坐标系下雷达坐标系
Figure DEST_PATH_IMAGE043
轴的坐标；第三行
Figure 913264DEST_PATH_IMAGE042
表示相机坐标系下雷达坐标系
Figure DEST_PATH_IMAGE044
轴 的坐标。通过外参可以让雷达坐标系经过平移和旋转后对齐相机坐标系。本发明的目的是 直接通过算法得到转换矩阵
Figure 846585DEST_PATH_IMAGE009
，其中
Figure DEST_PATH_IMAGE045
,得到转换矩阵
Figure 984305DEST_PATH_IMAGE009
后可以用
Figure DEST_PATH_IMAGE046
直接计算外参矩阵
Figure 446510DEST_PATH_IMAGE036
。
下面根据图2详细介绍本发明中的雷达标定方法。
图2所示为本发明实施例所提供的雷达标定方法的步骤流程图，所述雷达标定方法包括：
步骤101： 针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；
步骤102：在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；
步骤103：在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；
步骤104：求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；
步骤105：根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
下面对上述步骤101-104进行具体描述。
在上述步骤101中，针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图。
示例性地，获取相机的摄像头拍摄的二维图像，并获取雷达采集的二维点云图，其中，相机拍摄二维图形的时间和雷达采集二维点云图时的时间为同一时间，具体来说，相机中的时间戳和雷达中的时间戳保持一致。另外，二维图形和二维点云图中的检测目标也保持一致，其中，检测目标上有近似直线的边缘线，例如马路边上的路沿，路沿上有至少一条近似直线的边缘线。
在上述步骤102中，在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合。
示例性地，在二维图像中重点找出和检测目标相对应的点，举例来说，如果检测目标为路沿，则找出相机拍摄的照片中路沿上近似直线的边缘线所对应的线段。二维点云图中没有直观的线段，根据线段位置确定出多个点。然后将每个点与二维图像中的线段进行关联，形成点线对集合。
在上述步骤103中，在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束。
示例性地，在点线对集合中，有些点线对的点的误差较大，并没有和线段相对应，所以在求转换矩阵之前，需要根据RANSAC算法对点线对进行筛选，通过RANSAC算法迭代估计符合模型的点线对，将选出的点线对当作符合模型的内点，并抛弃其它不符合模型的离散点。
当筛选出点线对以后，通过算法构建点线约束。在计算转换矩阵时，通过对测量精度和算法复杂度的综合权衡，确定选择的点线对的个数，有些步骤中并不需要对所有的点线束都进行计算，而是根据具体需求在点线约束中选取预设数量的点线约束。为了后续的计算，被选择的点线对被转换为对应的线性约束。
在上述步骤104中，求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解。
示例性地，在本发明所公开的技术方案中，并不是将直接求出的转换矩阵作为最终结果，而是先求出转换矩阵初始解，具体来说，首先求解线性约束的闭式解，进而计算得到转换矩阵初始解。
在上述步骤105中，根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
示例性地，为了获取雷达坐标系到像素坐标系的精确的欧式转换矩阵，并不是通过一次算法的求解结果作为最终的转换矩阵，而是根据满足预设条件的其它的点线对来对转换矩阵初始解进行非线性优化，以获得用于标定雷达的精确转换矩阵。
在本发明所公开的技术方案中，在雷达和相机的联合标定方法中，将空间内有直线特征的强反射物体作为标定中的检测目标，在相机的二维图形上检测表示该物体的线段，在雷达数据中获取该物体附近的点目标，以构建点线约束来求解欧式转换矩阵。本方案不需要额外的标定板就可以实现雷达和相机的在线联合标定，为了确定精确的转换矩阵，使用冗余的点线约束配合RANSAC算法估计出数学模型需要的内点，以减少噪声对模型的影响。另外，在通过直接线性变换方法估算出转换矩阵的解析解后，通过全局迭代优化算法对转换矩阵进行二次修正。该方法可以实现在线自标定，在雷达和相机的联合标定过程中，只需要人工远程操作就可以实现标定，因此便于在无人值守的场景中使用，减少了人工成本。该自标定方法还便于在工作环境内再次进行标定，且不需要标定板等额外的工具，减少了设备成本。
进一步地，在本发明所公开的技术方案中，在上述步骤102中，所述在所述二维图像中确定表征所述检测目标的线段包括：
基于霍夫变换方法在所述二维图像中确定所述线段。
示例性地，通过基于霍夫变换方法在二维图像中确定出检测目标所对应的线段。霍夫变换是一种特征检测算法，被广泛应用在图像分析、计算机视觉以及数位影像处理。霍夫变换主要用来辨别找出物件中的特征，例如线段。在霍夫变换方法中，给定一个要辨别的形状的种类，算法会在参数空间中执行投票来决定物体的形状，具体通过累加空间里的局部最大值来确定。霍夫变换能识别任何形状，最经典的是侦测图片中的直线。
进一步地，在上述步骤102中，所述获取所述二维点云图中与所述线段位置对应的多个点包括：
通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
示例性地，操作人员观察并对比二维图像和二维点云图，在二维点云图中的点集里确定线段所对应的区域，并人工选取线段对应的点。
进一步地，在上述步骤103中，所述在所述点线对集合中获取满足预设条件的多个点线对包括：
基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。
示例性地，使用随机抽样一致方法（Random sample consensus，RANSAC）对点线对进行迭代计算，估计出满足预设条件的点线对，筛除产生误差比较大的点线对，可以提高计算精确度。随机抽样一致算法主要用于解决样本中的外点问题，最多可处理50%的外点情况。其基本思想是通过反复选择数据中的一组随机子集来达成目标。具体步骤为：首先，被选取的子集被假设为局内点，对应有一个模型适用于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；其次，用得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点；再次，如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理；然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。最后，通过估计局内点与模型的错误率来评估模型。在这个过程中，需要被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为它比现有的模型更好而被选用。
进一步地，在上述步骤103中，所述将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：
在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；
基于直接线性变换将所述目标点线约束转换为对应的线性约束。
示例性地，经过随机抽样一致方法对点线对进行筛选以后，保留的点线对为误差较小的多个点线对，在该多个点线对组成的多个点线约束中，随机选取预设数量的点线约束以作为目标点线约束，目标点线约束是指用于后续计算步骤的数据，其中，预设数量可以根据计算精度和算法复杂度来权衡确定，预设数量越大，则测量精度越高，但是相应的，预设数量越大，算法越复杂，处理时间会对应增加。其中，一个点线约束对应一个线性约束，通过线性约束矩阵算出的转换矩阵H本质上有8个自由度，因此需要8个或者8个以上的线性约束，即预设数量不小于8。
进一步地，在上述步骤104中，所述求解所述线性约束的闭式解包括：
基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
示例性地，在求线性约束的闭式解时，用到的算法为最小二乘法或奇异值分解算法。
最小二乘法（ordinary least squares）又称最小平方法，是一种数学优化方法，通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小，最小二乘法是一种在误差估计、不确定度、系统辨识及预测等数据处理中广泛应用的数学工具。最小二乘法有线性特性、无偏性和最小方差性等特性。线性特性，指估计量分别是样本观测值的线性函数，即估计量和观测值的线性组合；无偏性，指参数估计量的期望值分别等于总体真实参数；最小方差性，又称有效性，指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。
奇异值分解（Singular Value Decomposition， SVD）是在线性代数中一种重要的矩阵分解，不但可用在降维算法中的特征分解，还可以用于推荐系统，在机器学习、信号处理、统计学中有重要应用。奇异值分解的目的是提取一个矩阵最重要的特征，所有的矩阵都可以进行奇异值分解。
进一步地，在上述步骤105中，所述根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵包括：
根据所述多个点线约束并基于LM算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
示例性地，根据闭式解得到转换矩阵初始解后，该转换矩阵初始解只是根据随机选取的预设数量的点线约束来计算出的，并没有用到其它冗余数据，所以存在一定的误差，为了提高计算精度，使用随机采样一致性方法（RANSAC）筛选出的多个点线约束来对转换矩阵初始解进行优化。具体来说，基于LM算法对转换矩阵初始解进行非线性优化，以获得精确转换矩阵。
Levenberg-Marquardt（LM）算法，中文为列文伯格-马夸尔特法，是最优化算法中的一种，最优化是寻找使得函数值最小的参数向量，可广泛应用于数据分析、最优设计或电子设计等。LM算法是使用最广泛的非线性最小二乘算法，是一种利用梯度求最大（小）值的算法，形象的说，属于“爬山”法的一种，又同时具有梯度法和牛顿法的优点，寻优速度较快。
进一步地，在上述步骤102中，所述基于霍夫变换方法在所述二维图像中确定所述线段包括：
（1）对所述二维图像进行高斯模糊处理；
（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；
（3）根据边缘检测算法获取所述目标区域的边缘特征图；
（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；
（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
示例性地，通过使用霍夫变换方法来检测出二维图像中的线段，对于二维平面内 的线段，可由坐标原点到直线的距离
Figure DEST_PATH_IMAGE047
和向量
Figure DEST_PATH_IMAGE048
与
Figure DEST_PATH_IMAGE049
轴的夹角
Figure DEST_PATH_IMAGE050
表示为
Figure DEST_PATH_IMAGE051
进而得到线段
Figure DEST_PATH_IMAGE052
的参数空间方程
Figure DEST_PATH_IMAGE053
。然后全零初始一个二维参数累加矩阵，将二维平面内所 有可能在同一线段上的点
Figure DEST_PATH_IMAGE054
代入参数空间方程内进行投票，最终二维参数累加矩阵中 值最大的网格对应的参数
Figure DEST_PATH_IMAGE055
，确定的直线就是待检测的线段。在本发明所公开的技术方案 中，霍夫变换的具体流程如下：
（1）对所述二维图像进行高斯模糊处理。
示例性地，输入待检测的二维图形，对二维图形进行高斯模糊处理，以减少图像细节对算法的影响，提高图片边缘特征的检测效率。
（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域。
示例性地，如果事先已经明确线段在二维图像中的大概位置，可以设置对应区域的掩码矩阵，来固定算法主要处理的感兴趣区域。如果事先已经明确线段在二维图像中的大概颜色，可以设置对应颜色的掩码矩阵，来固定算法主要处理的颜色区域。
（3）根据边缘检测算法获取所述目标区域的边缘特征图。
示例性地，使用canny等边缘检测算法，获取感兴趣区域内的边缘特征图。
（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线。
（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
示例性地，通过操作人员来人工选择霍夫变换的线段，例如图片中强反射物如路沿所对应的线段。
进一步地，在上述步骤103中，所述基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对包括：
（1）在所述点线对集合中随机选取8个点线对作为内点；
（2）基于直接线性变换算法估算所述内点所对应的数据模型；
（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵H，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
示例性地，随机采样一致性算法（RANSAC）使用迭代的方式从一群包含噪点或离散 点(outlier)的观测数据中，估算符合数学模型的参数以筛除离散点。通过步骤102中人工 选取可能属于强反射物如路沿上的雷达点
Figure DEST_PATH_IMAGE056
和线段检测模块中对应的直线
Figure DEST_PATH_IMAGE057
，构成观测所用的点线对集合
Figure DEST_PATH_IMAGE058
。由于人工选择的不确定性和雷达设备可能产生的误差，导致 点线对集合内的数据存在离散值，因此需要使用RANSAC算法筛除点线对集合内的离散值。
RANSAC算法的流程中需要用到重投影误差。如果已知转换矩阵
Figure 545048DEST_PATH_IMAGE009
，和一点雷达点 目标
Figure DEST_PATH_IMAGE059
以及与其关联的直线
Figure DEST_PATH_IMAGE060
。则雷达点目标经过转换矩阵
Figure 219743DEST_PATH_IMAGE009
，投影到图片上的点为
Figure DEST_PATH_IMAGE061
。因此重投影误差定义为点
Figure DEST_PATH_IMAGE062
到直线
Figure 946390DEST_PATH_IMAGE060
的距离
Figure DEST_PATH_IMAGE063
。
RANSAC算法的具体流程如下：
（1）在所述点线对集合中随机选取8个点线对作为内点。
示例性地，从点线对集合中随机选取8个点线对，作为符合数学模型的内点。
（2）基于直接线性变换算法估算所述内点所对应的数据模型。
示例性地，使用直接线性变换DLT估算符合内点的模型。
（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵H，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
示例性地，将点线对集合中剩下的点线对带入模型，计算平均重投影误差。例如，迭代100次，记录最小平均重投影误差，以及此时DLT算法估算出的转换矩阵H。RANSAC迭代结束条件为：已达到最大迭代次数，或当前最小平均重投影误差小于预设的第一阈值，例如第一阈值位0.2。如果直到算法迭代结束，最小平均重投影误差依然大于预设的第一阈值，可认为观测的点线对集合存在较大误差，需要重新矫正设备，重新采样观测数据。
进一步地，在上述步骤103中，所述根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：
针对每个所述点线对，执行如下操作：
（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的 点在雷达坐标系中的坐标，基于所述转换矩阵
Figure 110655DEST_PATH_IMAGE009
将所述线段对应的点在雷达坐标系中的坐 标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：
Figure 86701DEST_PATH_IMAGE010
；
对应的矩阵表达式为:
Figure 96246DEST_PATH_IMAGE011
，
其中，
Figure 474137DEST_PATH_IMAGE012
为所述线段在图像坐标系中的表达式，
Figure 543725DEST_PATH_IMAGE013
为所 述线段对应的点在所述雷达坐标系中的坐标，
Figure DEST_PATH_IMAGE064
为所述线段对应的点在所述图像 坐标系中的坐标；
（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：
Figure 7067DEST_PATH_IMAGE015
，
Figure 820302DEST_PATH_IMAGE016
的表达式如下：
Figure DEST_PATH_IMAGE065
Figure 52700DEST_PATH_IMAGE018
的表达式如下：
Figure DEST_PATH_IMAGE066
其中， h为所述转换矩阵H 按行展开后的表达式，
Figure 293189DEST_PATH_IMAGE020
表征该点线对中的线段与对 应的点之间的线性关系。
进一步地，在上述步骤104中，所述基于奇异值分解算法求解所述线性约束的闭式解包括：
对每个所述线性约束对应的
Figure DEST_PATH_IMAGE067
做奇异值分解以得到下式：
Figure DEST_PATH_IMAGE068
，
其中，矩阵
Figure 712669DEST_PATH_IMAGE022
为m * m的酉矩阵，矩阵
Figure DEST_PATH_IMAGE069
为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵
Figure DEST_PATH_IMAGE070
为n * n的酉矩阵；
将所述矩阵
Figure 798437DEST_PATH_IMAGE070
的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解
Figure DEST_PATH_IMAGE071
。
进一步地，在上述步骤105中，所述根据所述多个点线约束并基于LM算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵包括：
将所述转换矩阵初始解
Figure DEST_PATH_IMAGE072
转换为向量以作为模型的初始值；
根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述LM算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
示例性地，LM算法常用来解决非线性的最小二乘问题，通过对参数进行迭代估计 的方式，获取最小二乘问题的最优解。结合前文的推导，在该步骤中，需要求解的最优化问 题
Figure DEST_PATH_IMAGE073
, s.t.
Figure DEST_PATH_IMAGE074
。设
Figure DEST_PATH_IMAGE075
表示第
Figure DEST_PATH_IMAGE076
个待检测的点 在参数
Figure DEST_PATH_IMAGE077
下的误差。
根据牛顿法的思路，设每次迭代参数
Figure 557445DEST_PATH_IMAGE016
时，
Figure 234414DEST_PATH_IMAGE016
都改变
Figure DEST_PATH_IMAGE078
，即迭代后点
Figure 141190DEST_PATH_IMAGE076
对应的误差为
Figure DEST_PATH_IMAGE079
。根据泰勒公式上式可展开为
Figure DEST_PATH_IMAGE080
。其中
Figure DEST_PATH_IMAGE081
表示函 数
Figure DEST_PATH_IMAGE082
在观测点
Figure 499490DEST_PATH_IMAGE076
处对参数
Figure 706481DEST_PATH_IMAGE016
的一阶导数。
现在考虑带入所有观测点，在参数改变
Figure 819930DEST_PATH_IMAGE078
的情况下。整个观测数据的误差为
Figure DEST_PATH_IMAGE083
。
用矩阵表示上式，获得的公式如下式所示：
Figure DEST_PATH_IMAGE084
，
对上式求导，并令一阶导数为0，得到
Figure DEST_PATH_IMAGE085
。其中
Figure DEST_PATH_IMAGE086
称作雅可比矩 阵，
Figure 682844DEST_PATH_IMAGE086
矩阵的每一行对应上面提到的
Figure 641573DEST_PATH_IMAGE081
。LM算法还需要在上述公式中加入非负的阻尼系数
Figure DEST_PATH_IMAGE087
。 最终得到
Figure DEST_PATH_IMAGE088
。
Figure DEST_PATH_IMAGE089
为参数数量大小的单位矩阵。因此每一步迭代时，参 数的变化量
Figure DEST_PATH_IMAGE090
。
相对应的，在本发明所公开的技术方案中， LM算法的流程为：
将所述转换矩阵初始解
Figure 640753DEST_PATH_IMAGE025
转换为向量以作为模型的初始值。
示例性地，输入DLT模块估算的所述转换矩阵初始解
Figure 659525DEST_PATH_IMAGE025
,将其转换为向量
Figure 806472DEST_PATH_IMAGE016
以作为模 型的初始解。
根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述LM算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差。
示例性地，将RANSAC模块输出的点线对集合中的每个观测点
Figure DEST_PATH_IMAGE091
转换为
Figure DEST_PATH_IMAGE092
。将点线对集合转换为
Figure DEST_PATH_IMAGE093
矩阵，并计算转换矩阵初始解
Figure 37733DEST_PATH_IMAGE025
对应的初始平均重投影误差
Figure DEST_PATH_IMAGE094
。
设置LM算法的最大迭代次数，开始迭代。每次迭代结束后更新向量，计算参数的更 新量
Figure DEST_PATH_IMAGE095
，以
Figure DEST_PATH_IMAGE096
的方式更新参数。
其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵。
示例性地，更新参数为
Figure DEST_PATH_IMAGE097
后，计算整个点线对集合的平均重投影误差
Figure DEST_PATH_IMAGE098
。如果
Figure 891420DEST_PATH_IMAGE098
小于预设的最小阈值，或达到了最大迭代次数，则退出迭代，输出最终参数。
否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
示例性地，如果
Figure DEST_PATH_IMAGE099
，增大阻尼系数
Figure 549934DEST_PATH_IMAGE087
，如果
Figure DEST_PATH_IMAGE100
减小阻尼系数
Figure 184178DEST_PATH_IMAGE087
，若当前得到的 平均重投影误差小于初始平均重投影误差，则减小阻尼系数后进行后续迭代。
基于与本发明实施例的一种雷达标定方法同样的发明构思，本发明还提供了一种雷达标定装置，请参考图3，所述装置包括：
数据采集模块201，用于针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；
点线对集合构建模块202，用于在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；
线性约束构建模块203，用于在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；
求解模块204，用于求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；
优化模块205，用于根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
示例性地，所述点线对集合构建模块202进一步用于：
基于霍夫变换方法在所述二维图像中确定所述线段。
示例性地，所述点线对集合构建模块202进一步用于：
通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
示例性地，所述线性约束构建模块203进一步用于：
基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。
示例性地，所述线性约束构建模块203进一步用于：
在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；
基于直接线性变换将所述目标点线约束转换为对应的线性约束。
示例性地，所述求解模块204进一步用于：
基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
示例性地，所述优化模块205进一步用于：
根据所述多个点线约束并基于LM算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
示例性地，所述点线对集合构建模块202进一步用于：
（1）对所述二维图像进行高斯模糊处理；
（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；
（3）根据边缘检测算法获取所述目标区域的边缘特征图；
（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；
（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
示例性地，所述线性约束构建模块203进一步用于：
（1）在所述点线对集合中随机选取8个点线对作为内点；
（2）基于直接线性变换算法估算所述内点所对应的数据模型；
（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵H，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
示例性地，所述线性约束构建模块203进一步用于：
针对每个所述点线对，执行如下操作：
（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的 点在雷达坐标系中的坐标，基于所述转换矩阵
Figure 484709DEST_PATH_IMAGE009
将所述线段对应的点在雷达坐标系中的坐 标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：
Figure DEST_PATH_IMAGE101
；
对应的矩阵表达式为:
Figure 255219DEST_PATH_IMAGE011
，
其中，
Figure 615793DEST_PATH_IMAGE012
为所述线段在图像坐标系中的表达式，
Figure 737333DEST_PATH_IMAGE013
为所 述线段对应的点在所述雷达坐标系中的坐标，
Figure 841555DEST_PATH_IMAGE064
为所述线段对应的点在所述图像 坐标系中的坐标；
（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：
Figure 466572DEST_PATH_IMAGE015
，
Figure 998047DEST_PATH_IMAGE016
的表达式如下：
Figure DEST_PATH_IMAGE102
Figure 341304DEST_PATH_IMAGE018
的表达式如下：
Figure 249217DEST_PATH_IMAGE066
其中， h为所述转换矩阵H 按行展开后的表达式，
Figure 994319DEST_PATH_IMAGE067
表征该点线对中的线段与对 应的点之间的线性关系。
示例性地，所述求解模块204进一步用于：
对每个所述线性约束对应的
Figure 696696DEST_PATH_IMAGE067
做奇异值分解以得到下式：
Figure 261669DEST_PATH_IMAGE068
，
其中，矩阵
Figure 707694DEST_PATH_IMAGE022
为m * m的酉矩阵，矩阵
Figure 572882DEST_PATH_IMAGE069
为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵
Figure 446160DEST_PATH_IMAGE070
为n * n的酉矩阵；
将所述矩阵
Figure 764009DEST_PATH_IMAGE070
的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解
Figure 748146DEST_PATH_IMAGE071
。
示例性地，所述优化模块205进一步用于：
将所述转换矩阵初始解
Figure 467840DEST_PATH_IMAGE072
转换为向量以作为模型的初始值；
根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述LM算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
此外，所述的雷达标定装置其它方面以及实现细节与前面所描述的雷达标定方法相同或相似，在此不再赘述。
根据本发明的另一方面，本发明还提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一雷达标定方法。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (13)

1.一种雷达标定方法，其特征在于，所述方法包括：
针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；
在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；
在所述点线对集合中随机选取预设数量的点线对，基于随机抽样一致方法对所述预设数量的点线对和所述点线对集合中剩余的点线对进行迭代，并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，当所述最小平均重投影误差小于预设的第一阈值时迭代结束以得到当前的多个点线对，以及基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵H，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图像和所述二维点云图；
根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；
求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；
根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
2.如权利要求1所述的方法，其特征在于，所述在所述二维图像中确定表征所述检测目标的线段包括：
基于霍夫变换方法在所述二维图像中确定所述线段。
3.如权利要求2所述的方法，其特征在于，所述获取所述二维点云图中与所述线段位置对应的多个点包括：
通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
4.如权利要求3所述的方法，其特征在于，所述将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：
在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；
基于直接线性变换将所述目标点线约束转换为对应的线性约束。
5.如权利要求4所述的方法，其特征在于，所述求解所述线性约束的闭式解包括：
基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
6.如权利要求5所述的方法，其特征在于，所述根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵包括：
根据所述多个点线约束并基于LM算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
7.如权利要求6所述的方法，其特征在于，所述基于霍夫变换方法在所述二维图像中确定所述线段包括：
（1）对所述二维图像进行高斯模糊处理；
（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；
（3）根据边缘检测算法获取所述目标区域的边缘特征图；
（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；
（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
8.如权利要求7所述的方法，其特征在于，所述在所述点线对集合中随机选取预设数量的点线对，基于随机抽样一致方法对所述预设数量的点线对和所述点线对集合中剩余的点线对进行迭代包括：
（1）在所述点线对集合中随机选取8个点线对作为内点；
（2）基于直接线性变换算法估算所述内点所对应的数据模型；
（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代。
9.如权利要求8所述的方法，其特征在于，所述根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：
针对每个所述点线对，执行如下操作：
（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的点在雷达坐标系中的坐标，基于所述转换矩阵
Figure 501713DEST_PATH_IMAGE001
将所述线段对应的点在雷达坐标系中的坐标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：
Figure 258316DEST_PATH_IMAGE002
；
对应的矩阵表达式为:
Figure 709545DEST_PATH_IMAGE003
，
其中，
Figure 472970DEST_PATH_IMAGE004
为所述线段在图像坐标系中的表达式，
Figure 461655DEST_PATH_IMAGE005
为所述线段对应的点在所述雷达坐标系中的坐标，
Figure 603923DEST_PATH_IMAGE006
为所述线段对应的点在所述图像坐标系中的坐标；
（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：
Figure 288370DEST_PATH_IMAGE007
，
Figure 945616DEST_PATH_IMAGE008
的表达式如下：
Figure 737992DEST_PATH_IMAGE009
Figure 203608DEST_PATH_IMAGE010
的表达式如下：
Figure 259289DEST_PATH_IMAGE011
其中， h为所述转换矩阵H 按行展开后的表达式，
Figure 75935DEST_PATH_IMAGE012
表征该点线对中的线段与对应的点之间的线性关系。
10.如权利要求9所述的方法，其特征在于，所述基于奇异值分解算法求解所述线性约束的闭式解包括：
对每个所述线性约束对应的
Figure 878194DEST_PATH_IMAGE013
做奇异值分解以得到下式：
Figure 932737DEST_PATH_IMAGE014
，
其中，矩阵
Figure 690478DEST_PATH_IMAGE015
为m * m的酉矩阵，矩阵
Figure 197682DEST_PATH_IMAGE016
为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵
Figure 3964DEST_PATH_IMAGE017
为n * n的酉矩阵；
将所述矩阵
Figure 975331DEST_PATH_IMAGE018
的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解
Figure 576077DEST_PATH_IMAGE019
。
11.如权利要求10所述的方法，其特征在于，所述根据所述多个点线约束并基于LM算法对所述转换矩阵初始解
Figure 632895DEST_PATH_IMAGE019
进行非线性优化以获得所述精确转换矩阵包括：
将所述转换矩阵初始解
Figure 774026DEST_PATH_IMAGE019
转换为向量以作为模型的初始值；
根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述LM算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
12.一种雷达标定装置，其特征在于，所述装置包括：
数据采集模块，用于针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；
点线对集合构建模块，用于在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；
点线对获取模块，用于在所述点线对集合中随机选取预设数量的点线对，基于随机抽样一致方法对所述预设数量的点线对和所述点线对集合中剩余的点线对进行迭代，并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，当所述最小平均重投影误差小于预设的第一阈值时迭代结束以得到当前的多个点线对，以及基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵H，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图像和所述二维点云图；
线性约束构建模块，用于根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；
求解模块，用于求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；
优化模块，用于根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
13.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1至11中任一项所述的雷达标定方法。
CN202210417592.1A 2022-04-21 2022-04-21 雷达标定方法、装置及存储介质 Active CN114529615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210417592.1A CN114529615B (zh) 2022-04-21 2022-04-21 雷达标定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210417592.1A CN114529615B (zh) 2022-04-21 2022-04-21 雷达标定方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114529615A CN114529615A (zh) 2022-05-24
CN114529615B true CN114529615B (zh) 2022-07-08

Family

ID=81627765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417592.1A Active CN114529615B (zh) 2022-04-21 2022-04-21 雷达标定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114529615B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249270B (zh) * 2022-09-22 2022-12-30 广州市德赛西威智慧交通技术有限公司 一种雷视一体机自动重标注方法及系统
CN116381633B (zh) * 2023-06-05 2023-08-15 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097795A (ja) * 2016-12-16 2018-06-21 日本電信電話株式会社 法線推定装置、法線推定方法、及び法線推定プログラム
CN113608236A (zh) * 2021-08-03 2021-11-05 哈尔滨智兀科技有限公司 一种基于激光雷达及双目相机的矿井机器人定位建图方法
CN114022552A (zh) * 2021-11-03 2022-02-08 广东电网有限责任公司 一种融合激光雷达和相机的目标定位方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097795A (ja) * 2016-12-16 2018-06-21 日本電信電話株式会社 法線推定装置、法線推定方法、及び法線推定プログラム
CN113608236A (zh) * 2021-08-03 2021-11-05 哈尔滨智兀科技有限公司 一种基于激光雷达及双目相机的矿井机器人定位建图方法
CN114022552A (zh) * 2021-11-03 2022-02-08 广东电网有限责任公司 一种融合激光雷达和相机的目标定位方法及相关装置

Also Published As

Publication number Publication date
CN114529615A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN114529615B (zh) 雷达标定方法、装置及存储介质
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
WO2014049372A1 (en) Determination of position from images and associated camera positions
CN112381890B (zh) 一种基于点线特征的rgb-d视觉slam方法
Sturm et al. Focal length calibration from two views: method and analysis of singular cases
CN111144349A (zh) 一种室内视觉重定位方法及系统
CN108759788A (zh) 无人机影像定位定姿方法及无人机
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN114140539A (zh) 一种室内物体的位置获取方法和装置
CN115511878A (zh) 一种边坡地表位移监测方法、装置、介质及设备
Xinmei et al. Passive measurement method of tree height and crown diameter using a smartphone
CN115222905A (zh) 基于视觉特征的空地多机器人地图融合方法
CN109883400B (zh) 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
Hasheminasab et al. Multiscale image matching for automated calibration of UAV-based frame and line camera systems
CN117392237A (zh) 一种鲁棒的激光雷达-相机自标定方法
CN111735447A (zh) 一种仿星敏式室内相对位姿测量系统及其工作方法
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及系统
Röwekämper et al. Automatic extrinsic calibration of multiple laser range sensors with little overlap
CN115311336A (zh) 多相机的图像配准方法、装置、设备及存储介质
CN114445591A (zh) 地图构建方法、系统、设备以及计算机存储介质
CN114359425A (zh) 正射图像生成方法及装置、正射指数图生成方法及装置
CN113554754A (zh) 一种基于计算机视觉的室内定位方法
CN113240749A (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant