CN114200430A - 激光雷达与相机的标定方法、系统、设备及存储介质 - Google Patents

激光雷达与相机的标定方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114200430A
CN114200430A CN202111508739.XA CN202111508739A CN114200430A CN 114200430 A CN114200430 A CN 114200430A CN 202111508739 A CN202111508739 A CN 202111508739A CN 114200430 A CN114200430 A CN 114200430A
Authority
CN
China
Prior art keywords
laser
calibration
camera
coordinate system
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111508739.XA
Other languages
English (en)
Inventor
谭黎敏
张蒙
顾荣琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Westwell Information Technology Co Ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202111508739.XA priority Critical patent/CN114200430A/zh
Publication of CN114200430A publication Critical patent/CN114200430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了激光雷达与相机的标定方法、系统、设备及存储介质，该方法包括以下步骤：提供一标定载体，标定载体的表面包括网格排列的黑方块、白方块和通孔，激光雷达与相机对准标定载体，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure DDA0003404437310000011
根据获得的图像中标定板不同位姿时的角点坐标
Figure DDA0003404437310000012
求得摄像机内参矩阵K及畸变参数s，根据每个位姿i下的图像角点坐标
Figure DDA0003404437310000013
及激光坐标系内通孔的顶点坐标
Figure DDA0003404437310000014
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei，从Ei中选取一个重投影误差最小的外参矩阵E。本发明能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。

Description

激光雷达与相机的标定方法、系统、设备及存储介质
技术领域
本发明涉及AI光学识别领域，具体地说，涉及用于激光雷达与相机的标定方法、系统、设备及存储介质。
背景技术
随着全球贸易的不断发展，港口集装箱堆场的作业量密度也越来越高，这在提高成本的同时也给工作人员带来了更高强度的工作。而随着无人驾驶技术的不断更迭，无人集卡的出现成为解决这一难题的方法。在过去，无人集卡安装的传感器一般为GPS和单目相机，因为无法获取三维信息，这种传感器很难感知距离和位置。而如今，许多无人车通过引入相机和激光雷达传感器，弥补了这一缺陷。但多传感器之间会存在不同方位上的偏差，这会给高精度数据的决策输入过多噪声。若采用手动标定的方式，不仅无法满足无人集卡在路径规划方面高精度定位的要求，还会需求大量的高价值劳动力。
因此，本发明提供了一种激光雷达与相机的标定方法、系统、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供激光雷达与相机的标定方法、系统、设备及存储介质，克服了现有技术的困难，能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
本发明的实施例提供一种激光雷达与相机的标定方法，包括以下步骤：
S110、提供一标定载体，所述标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；
S120、固定激光雷达与相机对准所述标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure BDA0003404437290000021
下标j表示第j个角点；
S130、根据所述步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000022
求得摄像机内参矩阵K及畸变参数s；
S140、根据每个位姿i下的图像角点坐标
Figure BDA0003404437290000023
及激光坐标系内通孔的顶点坐标
Figure BDA0003404437290000024
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei；
S150、从Ei中选取一个重投影误差最小的外参矩阵E。
优选地，所述标定载体为一张共计a×b个方块的棋盘格贴，在部分白色方块所在位置镂空形成n个已知边长的矩形通孔，相邻的所述矩形通孔至少隔行隔列排列，n为小于所述棋盘格贴中白色方块的总数的自然数。
优选地，所述步骤S140中，不同标定载体位姿i下，激光雷达坐标系下标定板通孔顶点坐标
Figure BDA0003404437290000025
的计算步骤如下：
S141、每个激光点
Figure BDA0003404437290000026
都采集到三维坐标信息
Figure BDA0003404437290000027
和一个反射强度信息
Figure BDA0003404437290000028
记初始标定载体所在位置为Q0，通过预估标定板在激光坐标系中的位置，预设坐标阈值将除标定板上之外的激光点进行第一次过滤，获得第一剩余激光雷达点云集合Ui0；
S142、将所述第一剩余激光雷达点云集合Ui0中计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、所述标定板短边边长的W倍为直径设立一个球体，进行第二次过滤，除去球体外的激光点，获得第二剩余激光雷达点云集合Ui1，以Ui1内的剩余所有激光点坐标对标定载体所在的平面进行平面拟合，记录该平面参数为l(a，b，c，d)，W的取值范围是0.6至0.9；
S143、将所述第一剩余激光雷达点云集合Ui0中激光点到拟合平面l的距离小于等于预设阈值Ds作为过滤条件，进行第三次过滤，获得激光雷达点云簇Ui；
S144、根据所述拟合平面l，求得一变换矩阵Mi1，对投射在标定板上的激光雷达点云簇Ui经该变换后，被移动至激光坐标系中的YOZ平面，记移动后的标定板位置为Qi，记该变换到该位置下点云簇Ui内标定板通孔顶点坐标为
Figure BDA0003404437290000031
则
Figure BDA0003404437290000032
S145、在激光坐标系下YOZ面上构建一个与所述标定载体相同的虚拟标定板，所述虚拟标定板在该位置时左下角与O点重合，两边分别位于Y轴与Z轴上，其上通孔角点为
Figure BDA0003404437290000033
根据预设的匹配误差函数Cost计算，获得一个变换矩阵Mi2，所述变换矩阵Mi2包含绕x轴的旋转，以及沿y轴和z轴的平移，使得点云簇Ui经过矩阵Mi2变换后与所述虚拟标定板重合，则满足
Figure BDA0003404437290000034
S146、通过已求得的变换矩阵Mi1、Mi2获得所述通孔的角点在激光坐标系下原始坐标
Figure BDA0003404437290000035
优选地，所述步骤S142中包括：将所述激光坐标系以垂直向上为z轴正方向，所述激光雷达的前方为x轴正方向，所述激光雷达的向左方向为y轴正方向，其中x，y轴构成水平平面，使用Ransac算法来求解所述激光雷达点云集合Ui1所在平面的平面方程，设平面方程为aX+bY+cZ+d＝0，且(a，b，c)为单位向量，从Ui1中随机挑选出4个激光点的坐标，求解出a、b、c、d的值，将Ui1中所有激光点代入当前aX+bY+cZ+d＝0中，统计距离此平面距离小于阈值Df的激光点的个数np；重复m次，选出np最大时的a、b、c、d值，即为最佳拟合平面参数l(a，b，c，d)。
优选地，所述激光雷达点云簇Ui所在平面的平面参数为l(a，b，c，d)，则所述平面对应的法向量为(a，b，c)，则所述平面对应的旋转矩阵
Figure BDA0003404437290000041
变换后将点云簇Ui变换至与YOZ平行；记激光点云簇Ui内所有激光雷达点坐标均值为
Figure BDA0003404437290000042
则令Mi1＝(Ri1，ti1)，使得激光点云簇Ui经Mi1变换后与YOZ面重合，记变换位置后的激光点云簇U′i。
优选地，对经过变换矩阵Mi1变换后的所述激光点云簇U′i，施加平移、旋转，记参数为(dy，dz，dθ)，其中dy表示沿y轴的平移，dz表示沿z轴的平移，dθ表示绕x轴的旋转，dθ对应旋转矩阵为
Figure BDA0003404437290000043
位移矩阵为
Figure BDA0003404437290000044
令
Figure BDA0003404437290000045
经
Figure BDA0003404437290000046
变换后激光点云簇U′i变换位置后为U′i’，将U′i’内的激光点投影至YOZ面，然后统计所述虚拟标定板上，方形通孔区域与非通孔区域内激光点个数分别为numA、numB，设权重分别为weightA、weightB，weightA、weightB的比值设为
Figure BDA0003404437290000047
则得到如下目标函数：
Cost＝numA*weightA+numB*weightB；
用于判断变换位置后的激光点云U′i’，能否与虚拟标定板准确重合，获得最小目标函数Cost值对应最优平移和旋转参数；平移、旋转参数的取值范围通过标定载体与激光雷达的相对位置来确定，平移的距离一般不超过所述标定载体的短边边长的一半，旋转的角度通过事先摆放好标定载体使得其不超过30°，在取值范围内使用网格搜索法找出使得Cost值最小的最佳平移、旋转参数记为变换矩阵Mi2。
优选地，所述步骤S130中根据所述步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000051
求得摄像机内参矩阵K及畸变参数s，包括以下步骤：
S131、采集不同位姿下图像内所述标定载体的黑白格角点坐标
Figure BDA0003404437290000052
S132、根据张氏标定法计算摄像头的内参，获得摄像机的内参矩阵K及畸变参数s(k1，k2，p1，p2，k3)；
S133、记相机坐标系下各角点三维坐标为
Figure BDA0003404437290000053
则根据针孔模型由相机三维空间到图像平面的变换由公式
Figure BDA0003404437290000054
表示，其中
Figure BDA0003404437290000055
f为相机焦距，u0，v0为相机光心投影在图像平面下与图像中心的差值，
Figure BDA0003404437290000056
代表去畸变处理前的图像点坐标；
S134、获得
Figure BDA0003404437290000057
S135、考虑相机透镜畸变，根据相机畸变模型，相机去畸变的公式
Figure BDA0003404437290000058
记为
Figure BDA0003404437290000059
S136、结合公式(1)(2)(3)，将相机三维坐标系下的标定板黑白格角点
Figure BDA00034044372900000510
投影至图像上的坐标为
Figure BDA00034044372900000511
即
Figure BDA00034044372900000512
优选地，所述步骤S150中从Ei中选取一个重投影误差最小的外参矩阵E，包括以下步骤：
S151、记每个位姿i下激光雷达坐标系到图像坐标系的外参矩阵为Ei，则
Figure BDA0003404437290000061
S152、结合公式(4)、(5)，将激光雷达坐标系下的三维点投影至图像平面上，记为
Figure BDA0003404437290000062
则投影误差记为
Figure BDA0003404437290000063
则根据投影误差迭代优化求解外参矩阵Ei；
S153、对不同位姿下求得的外参矩阵Ei所对应的重投影误差
Figure BDA0003404437290000064
进行排序，将所述重投影误差最小时的外参矩阵Ei作为最佳外参矩阵E。
优选地，还包括以下步骤：
S160、根据所述摄像机的内参矩阵K获得相机坐标系到图像坐标系的第一变换矩阵，根据所述摄像机的外参矩阵E获得激光坐标系到相机坐标系的第二变换矩阵，通过所述第一变换矩阵和第二变换矩阵，获得激光坐标系到图像坐标系的第三变换矩阵。
本发明的实施例还提供一种激光雷达与相机的标定系统，用于实现上述的激光雷达与相机的标定方法，激光雷达与相机的标定系统包括：
标定载体模块，提供一标定载体，所述标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；
激光点云模块，固定激光雷达与相机对准所述标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure BDA0003404437290000065
下标j表示第j个角点；
内参矩阵模块，根据所述激光点云模块获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000071
求得摄像机内参矩阵K及畸变参数s；
外参矩阵模块，根据每个位姿i下的图像角点坐标
Figure BDA0003404437290000072
及激光坐标系内通孔的顶点坐标
Figure BDA0003404437290000073
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei；以及
外参排序模块，从Ei中选取一个重投影误差最小的外参矩阵E。
本发明的实施例还提供一种激光雷达与相机的标定设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述激光雷达与相机的标定方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述激光雷达与相机的标定方法的步骤。
本发明的激光雷达与相机的标定方法、系统、设备及存储介质，能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的激光雷达与相机的标定方法的流程图。
图2至6是本发明的激光雷达与相机的标定方法的实施过程示意图。
图7是本发明的激光雷达与相机的标定系统的结构示意图。
图8是本发明的激光雷达与相机的标定设备的结构示意图。以及
图9是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 标定载体
11 黑色方块
12 白色方块
13 矩形通孔
14 角点
15 顶点
2 激光雷达
3 双目相机
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。
虽然在一些实例中术语第一、第二等在本文中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
图1是本发明的激光雷达与相机的标定方法的流程图。如图1所示，本发明的激光雷达与相机的标定方法，包括以下步骤：
S110、提供一标定载体，标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔。
S120、固定激光雷达与相机对准标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure BDA0003404437290000101
下标j表示第j个角点。
S130、根据步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000102
求得摄像机内参矩阵K及畸变参数s。
S140、根据每个位姿i下的图像角点坐标
Figure BDA0003404437290000103
及激光坐标系内通孔的顶点坐标
Figure BDA0003404437290000104
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei。
S150、从Ei中选取一个重投影误差最小的外参矩阵E。
在一个优选实施例中，标定载体为一张共计a×b个方块的棋盘格贴，在部分白色方块所在位置镂空形成n个已知边长的矩形通孔，相邻的矩形通孔至少隔行隔列排列，n为小于棋盘格贴中白色方块的总数的自然数。
在一个优选实施例中，步骤S140中，不同标定载体位姿i下，激光雷达坐标系下标定板通孔顶点坐标
Figure BDA0003404437290000105
的计算步骤如下：
S141、每个激光点
Figure BDA0003404437290000106
都采集到三维坐标信息
Figure BDA0003404437290000107
和一个反射强度信息
Figure BDA0003404437290000108
记初始标定载体所在位置为Q0，通过预估标定板在激光坐标系中的位置，预设坐标阈值将除标定板上之外的激光点进行第一次过滤，获得第一剩余激光雷达点云集合Ui0。
S142、将第一剩余激光雷达点云集合Ui0中计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、标定板短边边长的W倍为直径设立一个球体，进行第二次过滤，除去球体外的激光点，获得第二剩余激光雷达点云集合Ui1，以Ui1内的剩余所有激光点坐标对标定载体所在的平面进行平面拟合，记录该平面参数为l(a，b，c，d)，W的取值范围是0.6至0.9。
S143、将所述第一剩余激光雷达点云集合Ui0的激光点到拟合平面l的距离小于等于预设阈值Ds作为过滤条件，进行第三次过滤，获得激光雷达点云簇Ui。
S144、根据拟合平面l，求得一变换矩阵Mi1，对投射在标定板上的激光雷达点云簇Ui经该变换后，被移动至激光坐标系中的YOZ平面，记移动后的标定板位置为Qi，记该变换到该位置下点云簇Ui内标定板通孔顶点坐标为
Figure BDA0003404437290000111
则
Figure BDA0003404437290000112
S145、在激光坐标系下YOZ面上构建一个与标定载体相同的虚拟标定板，虚拟标定板在该位置时左下角与O点重合，两边分别位于Y轴与Z轴上，其上通孔角点为
Figure BDA0003404437290000113
根据预设的匹配误差函数Cost计算，获得一个变换矩阵Mi2，变换矩阵Mi2包含绕x轴的旋转，以及沿y轴和z轴的平移，使得点云簇Ui经过矩阵Mi2变换后与虚拟标定板重合，则满足
Figure BDA0003404437290000114
S146、通过已求得的变换矩阵Mi1、Mi2获得通孔的角点在激光坐标系下原始坐标
Figure BDA0003404437290000115
在一个优选实施例中，步骤S142中包括：将激光坐标系以垂直向上为z轴正方向，激光雷达的前方为x轴正方向，激光雷达的向左方向为y轴正方向，其中x，y轴构成水平平面，使用Ransac算法来求解激光雷达点云集合Ui1所在平面的平面方程，其中，随机抽样一致算法(RANdom SAmple Consensus，RANSAC)，采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法假设数据中包含正确数据和异常数据(或称为噪声)。正确数据记为内点(inliers)，异常数据记为外点(outliers)。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。
RANSAC算法被广泛应用在计算机视觉领域和数学领域，例如直线拟合、平面拟合、计算图像或点云间的变换矩阵、计算基础矩阵等方面，使用的非常多。本文将在对RANSAC介绍完后，附两段直线拟合以及平面拟合的matlab代码。关于计算机视觉中基于RANSAC框架的矩阵求解问题，在OpenCV中都有对应的函数接口。
RANSAC算法基本思想
(1)要得到一个直线模型，需要两个点唯一确定一个直线方程。所以第一步随机选择两个点。
(2)通过这两个点，可以计算出这两个点所表示的模型方程y＝ax+b。
(3)将所有的数据点套到这个模型中计算误差。
(4)找到所有满足误差阈值的点。
(5)然后我们再重复(1)～(4)这个过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为问题的解。如下图所示：
可以发现，虽然这个数据集中外点和内点的比例几乎相等，但是RANSAC算法还是能找到最合适的解。这个问题如果使用最小二乘法进行优化，由于噪声数据的干扰，我们得到的结果肯定是一个错误的结果，如下图所示。这是由于最小二乘法是一个将外点参与讨论的代价优化问题，而RANSAC是一个使用内点进行优化的问题。经实验验证，对于包含80％误差的数据集，RANSAC的效果远优于直接的最小二乘法。
本实施例中，平面方程为aX+bY+cZ+d＝0，且(a，b，c)为单位向量，从Ui1中随机挑选出4个激光点的坐标，求解出a、b、c、d的值，将Ui1中所有激光点代入当前aX+bY+cZ+d＝0中，统计距离此平面距离小于阈值Df的激光点的个数np。重复m次，选出np最大时的a、b、c、d值，即为最佳拟合平面参数l(a，b，c，d)。
在一个优选实施例中，激光雷达点云簇Ui所在平面的平面参数为l(a，b，c，d)，则平面对应的法向量为(a，b，c)，则平面对应的旋转矩阵
Figure BDA0003404437290000131
变换后可将点云簇Ui变换至与YOZ平行。记激光点云簇Ui内所有激光雷达点坐标均值为
Figure BDA0003404437290000132
则令Mi1＝(Ri1，ti1)，可使得激光点云簇Ui经Mi1变换后可大致与YOZ面重合，记变换位置后的激光点云簇U′i。
在一个优选实施例中，对经过变换矩阵Mi1变换后的激光点云簇Ui，施加平移、旋转，记参数为(dy，dz，dθ)，其中dy表示沿y轴的平移，dz表示沿z轴的平移，dθ表示绕x轴的旋转，dθ对应旋转矩阵为
Figure BDA0003404437290000133
位移矩阵为
Figure BDA0003404437290000134
令
Figure BDA0003404437290000135
经
Figure BDA0003404437290000136
变换后激光点云簇U′i变换位置后为U′i’，将U′i’内的激光点投影至YOZ面，然后统计虚拟标定板上，方形通孔区域与非通孔区域内激光点个数分别为numA、numB，设权重分别为weightA、weightB，weightA、weightB的比值设为
Figure BDA0003404437290000141
则得到如下目标函数：
Cost＝numA*weightA+numB*weightB。
用于判断变换位置后的激光点云U′i’，能否与虚拟标定板准确重合，可知最小目标函数Cost值对应最优平移和旋转参数。平移、旋转参数的取值范围可通过标定载体与激光雷达的相对位置来确定，平移的距离一般不超过标定载体的短边边长的一半，旋转的角度可通过事先摆放好标定载体使得其不超过30°，在取值范围内使用网格搜索法找出使得Cost值最小的最佳平移、旋转参数记为变换矩阵Mi2。
在一个优选实施例中，步骤S130中根据步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000142
求得摄像机内参矩阵K及畸变参数s，包括以下步骤：
S131、采集不同位姿下图像内标定载体的黑白格角点坐标
Figure BDA0003404437290000143
S132、根据张氏标定法计算摄像头的内参，获得摄像机的内参矩阵K及畸变参数s(k1，k2，p1，p2，k3)。
S133、记相机坐标系下各角点三维坐标为
Figure BDA0003404437290000144
则根据针孔模型由相机三维空间到图像平面的变换可由公式
Figure BDA0003404437290000145
表示，其中
Figure BDA0003404437290000146
f为相机焦距，u0，v0为相机光心投影在图像平面下与图像中心的差值，
Figure BDA0003404437290000147
代表去畸变处理前的图像点坐标。
S134、获得
Figure BDA0003404437290000151
S135、考虑相机透镜畸变，根据相机畸变模型，相机去畸变的公式
Figure BDA0003404437290000152
记为
Figure BDA0003404437290000153
S136、结合公式(1)(2)(3)，可将相机三维坐标系下的标定板黑白格角点
Figure BDA0003404437290000154
投影至图像上的坐标为
Figure BDA0003404437290000155
即
Figure BDA0003404437290000156
在一个优选实施例中，步骤S150中从Ei中选取一个重投影误差最小的外参矩阵E，包括以下步骤：
S151、记每个位姿i下激光雷达坐标系到图像坐标系的外参矩阵为Ei，则
Figure BDA0003404437290000157
S152、结合公式(4)、(5)，可将激光雷达坐标系下的三维点投影至图像平面上，记为
Figure BDA0003404437290000158
则投影误差可记为
Figure BDA0003404437290000159
则根据投影误差可迭代优化求解外参矩阵Ei。
S153、对不同位姿下求得的外参矩阵Ei所对应的重投影误差
Figure BDA00034044372900001510
进行排序，将重投影误差最小时的外参矩阵Ei作为最佳外参矩阵E。
在一个优选实施例中，还包括以下步骤：
S160、根据所述摄像机的内参矩阵K获得相机坐标系到图像坐标系的第一变换矩阵，根据所述摄像机的外参矩阵E获得激光坐标系到相机坐标系的第二变换矩阵，通过所述第一变换矩阵和第二变换矩阵，获得激光坐标系到图像坐标系的第三变换矩阵。
图2至6是本发明的激光雷达与相机的标定方法的实施过程示意图。如图2至6所示，本发明的实施过程如下：
如图2所示，准备一个标定载体1，标定载体1上为一张8×16的棋盘格贴，其上所有方块均为边长0.1m的标准正方形，共计64个黑色方格11，64个白色方格，取其中的32个白色方格的位置镂空形成32个供激光通过的矩形通孔13，以及剩余的32个白色方格12。并裁出32个矩形通孔13从左下角开始，相邻的矩形通孔13隔行隔列分布。将标定载体放置于激光传感器与摄像头前方，标定载体的背景最好呈白色，这样可以减少方形通孔给摄像机标定带来的影响。本发明中的在双目相机获得图像中白色方格12的四角与黑色方格11的四角相交的点作为角点14，在激光雷达获得点云中矩形通孔13的镂空图案的四角作为顶点15(在世界坐标系下，角点14和顶点15在三维空间中是完全重合的)。
如图3所示，固定激光雷达2与双目相机3对准标定载体1，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure BDA0003404437290000161
下标j表示第j个角点。
如图4所示，并分别建立激光雷达坐标系、相机坐标系(Xcam，Ycam，Zcam)以及图像坐标系(Yimg，Zimg)。利用现有技术根据步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000162
求得摄像机内参矩阵K及畸变参数s，此处不再赘述。例如：首先采集不同位姿下图像内标定载体的黑白格角点坐标
Figure BDA0003404437290000163
根据张氏标定法计算摄像头的内参，获得摄像机的内参矩阵K及畸变参数s(k1，k2，p1，p2，k3)。记相机坐标系下各角点三维坐标为
Figure BDA0003404437290000164
则根据针孔模型由相机三维空间到图像平面的变换可由公式
Figure BDA0003404437290000165
表示，其中
Figure BDA0003404437290000171
f为相机焦距，u0，v0为相机光心投影在图像平面下与图像中心的差值，
Figure BDA0003404437290000172
代表去畸变处理前的图像点坐标。获得
Figure BDA0003404437290000173
考虑相机透镜畸变，根据相机畸变模型，相机去畸变的公式
Figure BDA0003404437290000174
记为
Figure BDA0003404437290000175
结合公式(1)(2)(3)，可将相机三维坐标系下的标定板黑白格角点
Figure BDA0003404437290000176
投影至图像上的坐标为
Figure BDA0003404437290000177
即
Figure BDA0003404437290000178
如图5、6所示，根据每个位姿i下的图像角点坐标
Figure BDA0003404437290000179
及激光坐标系内通孔的顶点坐标
Figure BDA00034044372900001710
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei。例如：每个激光点
Figure BDA00034044372900001711
都采集到三维坐标信息
Figure BDA00034044372900001712
和一个反射强度信息
Figure BDA00034044372900001713
记初始标定载体所在位置为Q0，通过预估标定板在激光坐标系中的位置，预设坐标阈值将除标定板上之外的激光点进行第一次过滤，获得第一剩余激光雷达点云集合Ui0。将第一剩余激光雷达点云集合Ui0中计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、标定板短边边长的0.8倍为直径设立一个球体，进行第二次过滤，除去球体外的激光点，获得第二剩余激光雷达点云集合Ui1，以Ui1内的剩余所有激光点坐标对标定载体所在的平面进行平面拟合，记录该平面参数为l(a，b，c，d)。其中，将激光坐标系以垂直向上为z轴正方向(Zlaser)，激光雷达的前方为x轴正方向(Xlaser)，激光雷达的向左方向为y轴正方向(Ylaser)，其中x，y轴构成水平平面，使用Ransac算法来求解激光雷达点云集合Ui1所在平面的平面方程，设平面方程为aX+bY+cZ+d＝0，且(a，b，c)为单位向量，从Ui1中随机挑选出4个激光点的坐标，求解出a、b、c、d的值，将Ui1中所有激光点代入当前aX+bY+cZ+d＝0中，统计距离此平面距离小于阈值Df的激光点的个数np。重复m次，选出np最大时的a、b、c、d值，即为最佳拟合平面参数l(a，b，c，d)。将第一剩余激光雷达点云集合Ui0的激光点到拟合平面l的距离小于等于预设阈值Ds作为过滤条件，进行第三次过滤，获得激光雷达点云簇Ui。根据拟合平面l，求得一变换矩阵Mi1，对投射在标定板上的激光雷达点云簇Ui经该变换后，被移动至激光坐标系中的YOZ平面，记移动后的标定板位置为Qi，记该变换到该位置下点云簇Ui内标定板通孔顶点坐标为
Figure BDA0003404437290000181
则
Figure BDA0003404437290000182
激光雷达点云簇Ui所在平面的平面参数为l(a，b，c，d)，则平面对应的法向量为(a，b，c)，则平面对应的旋转矩阵
Figure BDA0003404437290000183
变换后可将点云簇Ui变换至与YOZ平行。记激光点云簇Ui内所有激光雷达点坐标均值为
Figure BDA0003404437290000184
则令Mi1＝(Ri1，ti1)，可使得激光点云簇Ui经Mi1变换后可大致与YOZ面重合，记变换位置后的激光点云簇U′i。在激光坐标系下YOZ面上构建一个与标定载体相同的虚拟标定板，虚拟标定板在该位置时左下角与O点重合，两边分别位于Y轴与Z轴上，其上通孔角点为
Figure BDA0003404437290000185
根据预设的匹配误差函数Cost计算，获得一个变换矩阵Mi2，变换矩阵Mi2包含绕x轴的旋转，以及沿y轴和z轴的平移，使得点云簇Ui经过矩阵Mi2变换后与虚拟标定板重合，则满足
Figure BDA0003404437290000186
通过对经过变换矩阵Mi1变换后的激光点云簇U′i，施加平移、旋转，记参数为(dy，dz，dθ)，其中dy表示沿y轴的平移，dz表示沿z轴的平移，dθ表示绕x轴的旋转，dθ对应旋转矩阵为
Figure BDA0003404437290000191
位移矩阵为
Figure BDA0003404437290000192
令
Figure BDA0003404437290000193
经
Figure BDA0003404437290000194
变换后激光点云簇U′i变换位置后为U′i’，将U′i’内的激光点投影至YOZ面，然后统计虚拟标定板上，方形通孔区域与非通孔区域内激光点个数分别为numA、numB，设权重分别为weightA、weightB，weightA、weightB的比值设为
Figure BDA0003404437290000195
则得到如下目标函数：
Cost＝numA*weightA+numB*weightB。
用于判断变换位置后的激光点云Ui’，能否与虚拟标定板准确重合，可知最小目标函数Cost值对应最优平移和旋转参数。平移、旋转参数的取值范围可通过标定载体与激光雷达的相对位置来确定，平移的距离一般不超过标定载体的短边边长的一半，旋转的角度可通过事先摆放好标定载体使得其不超过30°，在取值范围内使用网格搜索法找出使得Cost值最小的最佳平移、旋转参数记为变换矩阵Mi2。通过已求得的变换矩阵Mi1、Mi2获得通孔的角点在激光坐标系下原始坐标
Figure BDA0003404437290000196
记每个位姿i下激光雷达坐标系到图像坐标系的外参矩阵为Ei，则
Figure BDA0003404437290000197
结合公式(4)、(5)，可将激光雷达坐标系下的三维点投影至图像平面上，记为
Figure BDA0003404437290000198
则投影误差可记为
Figure BDA0003404437290000199
则根据投影误差可迭代优化求解外参矩阵Ei。对不同位姿下求得的外参矩阵Ei所对应的重投影误差
Figure BDA00034044372900001910
进行排序，将重投影误差最小时的外参矩阵Ei作为最佳外参矩阵E。
最后，采用现有技术根据摄像机的内参矩阵K获得相机坐标系到图像坐标系的第一变换矩阵，根据摄像机的外参矩阵E获得激光坐标系到相机坐标系的第二变换矩阵，通过第一变换矩阵和第二变换矩阵，获得激光坐标系到图像坐标系的第三变换矩阵，相关转换过程采用现有的转换公式，此处不再赘述。
本发明通过标定载体摆放的位置预估其在激光坐标系中的位置，使用激光传感器向标定载体发射激光，并将除标定板上之外的激光点过滤掉。过滤完后的激光点大部分存在于标定板上，其余部分激光穿过方形通孔，通过激光传感器获取位于标定载体上的激光点坐标。
计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、标定板短边边长的0.8倍为直径设立一个球体，进一步过滤此球体外的激光点，以球体内的激光点坐标对标定载体所在的平面进行平面拟合，如图5所示，这样做的目的是为了避免位于标定板边缘的激光点对拟合过程产生影响。
本发明提出的标定方法能有效的完成激光传感器与摄像头的标定，对标定过程的特点总结如下：
本发明在标定过程中对激光点进行过滤并找出激光点分布的重心，只采用以此重心为圆心的特定范围内的激光点坐标进行平面拟合，避免了位于标定板边缘的激光点对平面拟合产生不良影响；
本发明在标定的过程中，全程只需使用一个特制的标定板，降低了标定成本以及工作量；
本发明将激光雷达内通孔角点坐标的求解，转化为一个数次迭代的投票计算，和一个3自由度的网格搜索，大大降低了计算量；
本发明提出的标定过程不需人机互动，激光雷达到相机的变换矩阵可自动求解，简化了标定流程，提高了标定效率。
图7是本发明的激光雷达与相机的标定系统的结构示意图。如图7所示，本发明的激光雷达与相机的标定系统，包括：
标定载体模块51，提供一标定载体，标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；
激光点云模块52，固定激光雷达与相机对准标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure BDA0003404437290000211
下标j表示第j个角点；
内参矩阵模块53，根据激光点云模块52获得的图像中标定板不同位姿时的角点坐标
Figure BDA0003404437290000212
求得摄像机内参矩阵K及畸变参数s；
外参矩阵模块54，根据每个位姿i下的图像角点坐标
Figure BDA0003404437290000213
及激光坐标系内通孔的顶点坐标
Figure BDA0003404437290000214
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei；以及
外参排序模块55，从Ei中选取一个重投影误差最小的外参矩阵E。
本发明的激光雷达与相机的标定系统，能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
本发明实施例还提供一种激光雷达与相机的标定设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的激光雷达与相机的标定方法的步骤。
如上，本发明的激光雷达与相机的标定设备能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图8是本发明的激光雷达与相机的标定设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的激光雷达与相机的标定方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的激光雷达与相机的标定方法、系统、设备及存储介质，能够自动进行标定，确保激光传感器与双目摄像头处于同一坐标系下，并大幅简化标定流程，提高了标定的准确性和效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种激光雷达与相机的标定方法，其特征在于，包括以下步骤：
S110、提供一标定载体，所述标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；
S120、固定激光雷达与相机对准所述标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure FDA0003404437280000018
下标j表示第j个角点；
S130、根据所述步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure FDA0003404437280000011
求得摄像机内参矩阵K及畸变参数s；
S140、根据每个位姿i下的图像角点坐标
Figure FDA0003404437280000012
及激光坐标系内通孔的顶点坐标
Figure FDA0003404437280000013
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei；
S150、从Ei中选取一个重投影误差最小的外参矩阵E。
2.如权利要求1所述的激光雷达与相机的标定方法，其特征在于：所述标定载体为一张共计a×b个方块的棋盘格贴，在部分白色方块所在位置镂空形成n个已知边长的矩形通孔，相邻的所述矩形通孔至少隔行隔列排列，n为小于所述棋盘格贴中白色方块的总数的自然数。
3.如权利要求1所述的激光雷达与相机的标定方法，其特征在于，所述步骤S140中，不同标定载体位姿i下，激光雷达坐标系下标定板通孔顶点坐标
Figure FDA0003404437280000014
的计算步骤如下：
S141、每个激光点
Figure FDA0003404437280000015
都采集到三维坐标信息
Figure FDA0003404437280000016
和一个反射强度信息
Figure FDA0003404437280000017
记初始标定载体所在位置为Q0，通过预估标定板在激光坐标系中的位置，预设坐标阈值将除标定板上之外的激光点进行第一次过滤，获得第一剩余激光雷达点云集合Ui0；
S142、将所述第一剩余激光雷达点云集合Ui0中计算标定板上激光点三维坐标的平均值，记为P0(x0，y0，z0)，以此为球心、所述标定板短边边长的W倍为直径设立一个球体，进行第二次过滤，除去球体外的激光点，获得第二剩余激光雷达点云集合Ui1，以Ui1内的剩余所有激光点坐标对标定载体所在的平面进行平面拟合，记录该平面参数为l(a，b，c，d)，W的取值范围是0.6至0.9；
S143、将所述第一剩余激光雷达点云集合Ui0的激光点到拟合平面l的距离小于等于预设阈值Ds作为过滤条件，进行第三次过滤，获得激光雷达点云簇Ui；
S144、根据所述拟合平面l，求得一变换矩阵Mi1，对投射在标定板上的激光雷达点云簇Ui经该变换后，被移动至激光坐标系中的YOZ平面，记移动后的标定板位置为Qi，记该变换到该位置下点云簇Ui内标定板通孔顶点坐标为
Figure FDA0003404437280000021
则
Figure FDA0003404437280000022
S145、在激光坐标系下YOZ面上构建一个与所述标定载体相同的虚拟标定板，所述虚拟标定板在该位置时左下角与O点重合，两边分别位于Y轴与Z轴上，其上通孔角点为
Figure FDA0003404437280000023
根据预设的匹配误差函数Cost计算，获得一个变换矩阵Mi2，所述变换矩阵Mi2包含绕x轴的旋转，以及沿y轴和z轴的平移，使得点云簇Ui经过矩阵Mi2变换后与所述虚拟标定板重合，则满足
Figure FDA0003404437280000024
S146、通过已求得的变换矩阵Mi1、Mi2获得所述通孔的角点在激光坐标系下原始坐标
Figure FDA0003404437280000025
4.如权利要求3所述的激光雷达与相机的标定方法，其特征在于，所述步骤S142中包括：将所述激光坐标系以垂直向上为z轴正方向，所述激光雷达的前方为x轴正方向，所述激光雷达的向左方向为y轴正方向，其中x，y轴构成水平平面，使用Ransac算法来求解所述激光雷达点云集合Ui1所在平面的平面方程，设平面方程为aX+bY+cZ+d＝0，且(a，b，c)为单位向量，从Ui1中随机挑选出4个激光点的坐标，求解出a、b、c、d的值，将Ui1中所有激光点代入当前aX+bY+cZ+d＝0中，统计距离此平面距离小于阈值Df的激光点的个数np；重复m次，选出np最大时的a、b、c、d值，即为最佳拟合平面参数l(a，b，c，d)。
5.如权利要求4所述的激光雷达与相机的标定方法，其特征在于，所述激光雷达点云簇Ui所在平面的平面参数为l(a，b，c，d)，则所述平面对应的法向量为(a，b，c)，则所述平面对应的旋转矩阵
Figure FDA0003404437280000031
Figure FDA0003404437280000032
变换后将点云簇Ui变换至与YOZ平行；记激光点云簇Ui内所有激光雷达点坐标均值为
Figure FDA0003404437280000033
Figure FDA0003404437280000034
则令Mi1＝(Ri1，ti1)，使得激光点云簇Ui经Mi1变换后与YOZ面重合，记变换位置后的激光点云簇U′i。
6.如权利要求5所述的激光雷达与相机的标定方法，其特征在于，对经过变换矩阵Mi1变换后的所述激光点云簇U′i，施加平移、旋转，记参数为(dy，dz，dθ)，其中dy表示沿y轴的平移，dz表示沿z轴的平移，dθ表示绕x轴的旋转，dθ对应旋转矩阵为
Figure FDA0003404437280000035
位移矩阵为
Figure FDA0003404437280000036
令
Figure FDA0003404437280000037
经
Figure FDA0003404437280000038
变换后激光点云簇U′i变换位置后为
Figure DA00034044372853954647
，将
Figure DA00034044372853963523
内的激光点投影至YOZ面，然后统计所述虚拟标定板上，方形通孔区域与非通孔区域内激光点个数分别为numA、numB，设权重分别为weightA、weightB，weightA、weightB的比值设为
Figure FDA0003404437280000041
则得到如下目标函数：
Cost＝numa*weightA+numB*weightB；
用于判断变换位置后的激光点云
Figure DA00034044372853970249
，能否与虚拟标定板准确重合，获得最小目标函数Cost值对应最优平移和旋转参数；平移、旋转参数的取值范围通过标定载体与激光雷达的相对位置来确定，平移的距离一般不超过所述标定载体的短边边长的一半，旋转的角度通过事先摆放好标定载体使得其不超过30°，在取值范围内使用网格搜索法找出使得Cost值最小的最佳平移、旋转参数记为变换矩阵Mi2。
7.如权利要求3所述的激光雷达与相机的标定方法，其特征在于，所述步骤S130中根据所述步骤S120获得的图像中标定板不同位姿时的角点坐标
Figure FDA0003404437280000042
求得摄像机内参矩阵K及畸变参数s，包括以下步骤：
S131、采集不同位姿下图像内所述标定载体的黑白格角点坐标
Figure FDA0003404437280000043
S132、根据张氏标定法计算摄像头的内参，获得摄像机的内参矩阵K及畸变参数s(k1，k2，p1，p2，k3)；
S133、记相机坐标系下各角点三维坐标为
Figure FDA0003404437280000044
则根据针孔模型由相机三维空间到图像平面的变换由公式
Figure FDA0003404437280000045
表示，其中
Figure FDA0003404437280000046
f为相机焦距，u0，v0为相机光心投影在图像平面下与图像中心的差值，
Figure FDA0003404437280000047
代表去畸变处理前的图像点坐标；
S134、获得
Figure FDA0003404437280000051
S135、考虑相机透镜畸变，根据相机畸变模型，相机去畸变的公式
Figure FDA0003404437280000052
记为
Figure FDA0003404437280000053
S136、结合公式(1)(2)(3)，将相机三维坐标系下的标定板黑白格角点
Figure FDA0003404437280000054
投影至图像上的坐标为
Figure FDA0003404437280000055
即
Figure FDA0003404437280000056
8.如权利要求7所述的激光雷达与相机的标定方法，其特征在于，所述步骤S150中从Ei中选取一个重投影误差最小的外参矩阵E，包括以下步骤：
S151、记每个位姿i下激光雷达坐标系到图像坐标系的外参矩阵为Ei，则
Figure FDA0003404437280000057
S152、结合公式(4)、(5)，将激光雷达坐标系下的三维点投影至图像平面上，记为
Figure FDA0003404437280000058
则投影误差记为
Figure FDA0003404437280000059
则根据投影误差迭代优化求解外参矩阵Ei；
S153、对不同位姿下求得的外参矩阵Ei所对应的重投影误差
Figure FDA00034044372800000510
进行排序，将所述重投影误差最小时的外参矩阵Ei作为最佳外参矩阵E。
9.如权利要求8所述的激光雷达与相机的标定方法，其特征在于，还包括以下步骤：
S160、根据所述摄像机的内参矩阵K获得相机坐标系到图像坐标系的第一变换矩阵，根据所述摄像机的外参矩阵E获得激光坐标系到相机坐标系的第二变换矩阵，通过所述第一变换矩阵和第二变换矩阵，获得激光坐标系到图像坐标系的第三变换矩阵。
10.一种激光雷达与相机的标定系统，其特征在于，用于实现如权利要求1所述的激光雷达与相机的标定方法，包括：
标定载体模块，提供一标定载体，所述标定载体的表面包括网格排列的黑方块、白方块和供激光通过的通孔；
激光点云模块，固定激光雷达与相机对准所述标定载体，变换标定板位姿，采集不同位姿i时激光点云数据，并求得图像中标定板上黑白格相交角点
Figure FDA0003404437280000061
下标j表示第j个角点；
内参矩阵模块，根据所述激光点云模块获得的图像中标定板不同位姿时的角点坐标
Figure FDA0003404437280000062
求得摄像机内参矩阵K及畸变参数s；
外参矩阵模块，根据每个位姿i下的图像角点坐标
Figure FDA0003404437280000063
及激光坐标系内通孔的顶点坐标
Figure FDA0003404437280000064
对应关系，计算激光雷达坐标系到相机坐标系的外参矩阵Ei；以及
外参排序模块，从Ei中选取一个重投影误差最小的外参矩阵E。
11.一种激光雷达与相机的标定设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1所述激光雷达与相机的标定方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1所述激光雷达与相机的标定方法的步骤。
CN202111508739.XA 2021-12-10 2021-12-10 激光雷达与相机的标定方法、系统、设备及存储介质 Pending CN114200430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111508739.XA CN114200430A (zh) 2021-12-10 2021-12-10 激光雷达与相机的标定方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111508739.XA CN114200430A (zh) 2021-12-10 2021-12-10 激光雷达与相机的标定方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114200430A true CN114200430A (zh) 2022-03-18

Family

ID=80652266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111508739.XA Pending CN114200430A (zh) 2021-12-10 2021-12-10 激光雷达与相机的标定方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114200430A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723825A (zh) * 2022-04-21 2022-07-08 中冶赛迪重庆信息技术有限公司 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端
CN114758005A (zh) * 2022-03-23 2022-07-15 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN115049743A (zh) * 2022-07-08 2022-09-13 炬像光电技术(上海)有限公司 一种高精度相机模组标定方法、设备及存储介质
CN115100299A (zh) * 2022-08-29 2022-09-23 广州镭晨智能装备科技有限公司 一种标定方法、装置、设备和存储介质
CN115236643A (zh) * 2022-06-27 2022-10-25 中国电信股份有限公司 一种传感器标定方法、系统、装置、电子设备及介质
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
CN115712111A (zh) * 2022-11-07 2023-02-24 北京斯年智驾科技有限公司 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质
CN116152333A (zh) * 2023-04-17 2023-05-23 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116843747A (zh) * 2023-08-31 2023-10-03 北京路凯智行科技有限公司 相机与激光雷达的标定方法以及标定系统
CN117388831A (zh) * 2023-12-13 2024-01-12 中科视语(北京)科技有限公司 相机和激光雷达联合标定方法、装置、电子设备及介质
CN117593378A (zh) * 2023-11-01 2024-02-23 誉昊光电科技(珠海)有限公司 车载摄像头模组内参标定装置及方法
CN115166701B (zh) * 2022-06-17 2024-04-09 清华大学 一种rgb-d相机和激光雷达的系统标定方法及装置
CN117911520A (zh) * 2022-10-12 2024-04-19 北京三快在线科技有限公司 相机内参标定方法和自动驾驶设备
CN118050008A (zh) * 2024-04-16 2024-05-17 中国科学院长春光学精密机械与物理研究所 机器人导航系统及其导航方法
CN118549909A (zh) * 2024-07-24 2024-08-27 广东电网有限责任公司佛山供电局 线激光雷达和相机的外参标定方法、装置和外参标定系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758005B (zh) * 2022-03-23 2023-03-28 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114758005A (zh) * 2022-03-23 2022-07-15 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114723825A (zh) * 2022-04-21 2022-07-08 中冶赛迪重庆信息技术有限公司 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
CN115166701B (zh) * 2022-06-17 2024-04-09 清华大学 一种rgb-d相机和激光雷达的系统标定方法及装置
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN115236643A (zh) * 2022-06-27 2022-10-25 中国电信股份有限公司 一种传感器标定方法、系统、装置、电子设备及介质
CN115049743A (zh) * 2022-07-08 2022-09-13 炬像光电技术(上海)有限公司 一种高精度相机模组标定方法、设备及存储介质
CN115100299A (zh) * 2022-08-29 2022-09-23 广州镭晨智能装备科技有限公司 一种标定方法、装置、设备和存储介质
CN115100299B (zh) * 2022-08-29 2023-02-10 广州镭晨智能装备科技有限公司 一种标定方法、装置、设备和存储介质
CN117911520A (zh) * 2022-10-12 2024-04-19 北京三快在线科技有限公司 相机内参标定方法和自动驾驶设备
CN115712111A (zh) * 2022-11-07 2023-02-24 北京斯年智驾科技有限公司 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质
CN116152333A (zh) * 2023-04-17 2023-05-23 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116152333B (zh) * 2023-04-17 2023-09-01 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116843747A (zh) * 2023-08-31 2023-10-03 北京路凯智行科技有限公司 相机与激光雷达的标定方法以及标定系统
CN116843747B (zh) * 2023-08-31 2024-01-26 北京路凯智行科技有限公司 相机与激光雷达的标定方法以及标定系统
CN117593378A (zh) * 2023-11-01 2024-02-23 誉昊光电科技(珠海)有限公司 车载摄像头模组内参标定装置及方法
CN117388831A (zh) * 2023-12-13 2024-01-12 中科视语(北京)科技有限公司 相机和激光雷达联合标定方法、装置、电子设备及介质
CN117388831B (zh) * 2023-12-13 2024-03-15 中科视语(北京)科技有限公司 相机和激光雷达联合标定方法、装置、电子设备及介质
CN118050008A (zh) * 2024-04-16 2024-05-17 中国科学院长春光学精密机械与物理研究所 机器人导航系统及其导航方法
CN118549909A (zh) * 2024-07-24 2024-08-27 广东电网有限责任公司佛山供电局 线激光雷达和相机的外参标定方法、装置和外参标定系统

Similar Documents

Publication Publication Date Title
CN114200430A (zh) 激光雷达与相机的标定方法、系统、设备及存储介质
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
CN108871353B (zh) 路网地图生成方法、系统、设备及存储介质
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
Xiao et al. Planar segment based three‐dimensional point cloud registration in outdoor environments
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN110264563A (zh) 一种基于orbslam2的八叉树建图方法
CN112764053A (zh) 一种融合定位方法、装置、设备和计算机可读存储介质
WO2023241097A1 (zh) 一种语义实例重建方法、装置、设备及介质
EP2904545A2 (en) Systems and methods for relating images to each other by determining transforms without using image acquisition metadata
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN112308925A (zh) 可穿戴设备的双目标定方法、设备及存储介质
CN106815869A (zh) 鱼眼相机的光心确定方法及装置
CN110717861A (zh) 图像拼接方法、装置、电子设备和计算机可读存储介质
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
CN114187589A (zh) 一种目标检测方法、装置、设备和存储介质
CN114445415A (zh) 可行驶区域的分割方法以及相关装置
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN113538555B (zh) 基于规则箱体的体积测量方法、系统、设备及存储介质
CN114140608B (zh) 一种光伏板标记方法、装置、电子设备及存储介质
CN114792343A (zh) 图像获取设备的标定方法、获取图像数据的方法、装置
CN111462321A (zh) 点云地图处理方法、处理装置、电子装置和车辆
Boutteau et al. Circular laser/camera-based attitude and altitude estimation: minimal and robust solutions
Fernández-Rodicio et al. Projection surfaces detection and image correction for mobile robots in HRI
CN118229772B (zh) 基于图像处理的托盘位姿检测方法、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.