CN113589261A - 一种全景环带相机与激光雷达联合标定的方法 - Google Patents

一种全景环带相机与激光雷达联合标定的方法 Download PDF

Info

Publication number
CN113589261A
CN113589261A CN202110804380.4A CN202110804380A CN113589261A CN 113589261 A CN113589261 A CN 113589261A CN 202110804380 A CN202110804380 A CN 202110804380A CN 113589261 A CN113589261 A CN 113589261A
Authority
CN
China
Prior art keywords
panoramic annular
laser radar
normal vector
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110804380.4A
Other languages
English (en)
Inventor
王之丰
冯逸鹤
高少华
王佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huanjun Technology Co ltd
Original Assignee
Hangzhou Huanjun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huanjun Technology Co ltd filed Critical Hangzhou Huanjun Technology Co ltd
Priority to CN202110804380.4A priority Critical patent/CN113589261A/zh
Publication of CN113589261A publication Critical patent/CN113589261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种全景环带相机与激光雷达联合标定的方法，包括：S1.获取激光雷达的点云数据以及全景环带图像数据；S2.根据全景环带图像数据标定全景环带相机，得到相机参数；S3.提取所有标定板上的点云数据，得到平面方程；S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并进行归一化处理；S5.计算每块标定板在全景环带相机坐标系下的法向量，并进行归一化处理；S6.将标定板点云数据法向量和图像数据法向量根据标定结果投影至全景环带图像上，并记录各自编号及像素坐标；S7.基于记录的编号，采用最小二乘法进行拟合，得到拟合后的法向量的像素坐标；S8.计算旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。

Description

一种全景环带相机与激光雷达联合标定的方法
技术领域
本发明涉及车载全景感知与移动机器人的技术领域，尤其涉及一种全景环带相机与激光雷达联合标定的方法。
背景技术
激光雷达作为各类家用智能机器人、服务机器人、无人小车和车载自动驾驶系统的传感器，具有高精度的测距能力，可以准确快速地获取环境物体的相对空间坐标。全景环带相机有一颗全景环形透镜(Panoramic Annular Lens，PAL)的二次反射镜头，能够以单目的方式实现水平360°光学信息的记录，可以以一次成像的方式获取环境物体的颜色信息。360°激光雷达提供全向的距离信息但是信息度单一，分辨率不高；全景环带相机提供RGB图像，分辨率高，但是没有距离信息。将二者结合，发挥各自传感能力的优势，将三维点精确映射到全景环带图像上，形成全景环带与激光雷达融合系统，可以输出更高维度的传感器信息，用以解决三维建图、物体识别等各类环境感知问题。
现有技术中，申请号为201010223750.7的专利文献公开了一种单线激光雷达和CCD相机相互关系的标定方法，基于CCD相机可以弱成像单线激光雷达使用的红外光源的这一条件。首先，在立方体标定键辅助下提取位于扫描面内的虚拟控制点；然后，使用红外滤光片滤掉可见光，仅使红外光成像，然后对有扫描线信息的红外图像进行增强、二值化处理再进行Hough变换，提取两条激光扫描线，扫描线交点即为虚拟控制点在图像中的像坐标。
公开号为CN106556825A的专利公开了一种全景视觉成像系统的联合标定方法。该联合标定方法利用多光束激光雷达和视觉相机针对同一目标景物所采集图像的法向量在空间内平行的原理，建立两幅图像的之间的映射关系，从而实现多光束激光雷达点云图像和视觉相机图像间的联合标定。虽然上述方法可以实现相机和雷达之间的联合标定，但是上述专利采用多个相机，其需要将激光雷达轴线和相机光心垂直，且还要转到完全一样的角度，存在操作复杂，很难在实际中应用的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种全景环带相机与激光雷达联合标定的方法。
为了实现以上目的，本发明采用以下技术方案：
一种全景环带相机与激光雷达联合标定的方法，包括全景环带相机、激光雷达、棋盘格的标定板，所述全景环带相机置于激光雷达上方，且全景环带相机的光轴与激光雷达的旋转轴重合；标定板置于全景环带相机与激光雷达的共视区域；所述标定板上设有编号；
标定方法包括：
S1.获取激光雷达的点云数据以及全景环带相机的全景环带图像数据；
S2.根据全景环带图像数据标定全景环带相机，得到全景环带相机的相机参数；
S3.提取激光雷达的点云数据中所有标定板上的点云数据，并对提取出的点云数据使用最小二乘法得到每块标定板在激光雷达坐标系下的平面方程；
S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并对计算得到的激光雷达点云数据的法向量进行归一化处理；
S5.计算每块标定板在全景环带相机坐标系下的法向量，并对计算得到的全景环带相机图像数据的法向量进行归一化处理；
S6.将归一化处理后的标定板点云数据法向量和全景环带图像数据法向量根据标定结果投影至全景环带图像上，并记录标定板在全景环带图像、点云数据下对应法向量的各自编号及像素坐标；
S7.基于记录的编号，采用最小二乘法对归一化处理后标定板的点云数据法向量和归一化处理后标定板的全景环带图像数据法向量进行拟合，得到拟合后的标定板点云数据法向量和全景环带图像数据法向量的像素坐标；
S8.计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。
进一步的，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：
Z＝AX+BY+C (1)
其中，X、Y、Z表示空间坐标；A、B、C表示平面方程系数。
进一步的，所述步骤S3中还包括对每块标定板在激光雷达坐标系下的平面方程进行求解，得到最小二乘解；具体为：
平面方程的代价函数表示为：
S＝∑(Axi+Byi+C-zi)2 (2)
其中，S表示代价函数；
对A、B、C分别求偏导并整理，表示为：
Figure BDA0003165850800000031
其中，n表示平面拟合点的总数；
将激光雷达的点云数据相对应的坐标(xi,yi,zi)代入公式(3)，得到平面方程的A、B、C，即A、B、C为最小二乘解。
进一步的，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：
AX+BY+CZ+D＝0 (4)
其中，A、B、C、D表示平面方程系数；X、Y、Z表示空间坐标。
进一步的，所述步骤S4中对计算得到的激光雷达法向量进行归一化处理，法向量表示为：
Figure BDA0003165850800000032
其中，A、B、C表示平面方程系数。
进一步的，所述步骤S6中根据标定结果投影至全景环带图像上中的投影数据为：
Figure BDA0003165850800000041
其中，cx，cy表示全景环带相机镜头中心的像素坐标值；Π表示投影函数；p(u,v)表示全景环带图像的像素坐标；P(x,y,z)表示世界坐标；θ、ρ1(θ)分别表示为：
Figure BDA0003165850800000042
ρ1(θ)＝a0+a2θ2+a3θ3+…+aNθN
其中，aN表示多项式系数；N表示项数；
反投影表示为：
Figure BDA0003165850800000043
其中，Π-1表示反投影函数，dp表示三维深度；r、ρ2(r)分别表示为：
Figure BDA0003165850800000044
ρ2(r)＝b0+b2r2+b3r3+…+bNrN
其中，bN表示多项式系数，N表示项数。
进一步的，所述步骤S7具体为：
设全景环带图像法向量的像素坐标为(uci,vci)，点云数据法向量的像素坐标为(uli,vii)，其中，i为标定板的编号；
以(0,0)为原点指向(uli,vli)建立向量ζli，则每个ζli(uli,vli)(i＞1)均采用ζl1(ul1,vl1)表示：
Figure BDA0003165850800000045
其中，θli表示ζli与ζl1夹角；tul1、tvl1表示平移量；
Figure BDA0003165850800000046
因为(uli,vli)、(ul1,vl1)、θli为已知，则可得到：
Figure BDA0003165850800000051
则：
Figure BDA0003165850800000052
Figure BDA0003165850800000053
其中，Rli、tli表示ζli到ζl1的旋转和平移矩阵；
若点云数据法向量与全景环带图像法向量拟合后的坐标为(u′li,v′li)；
对u′li与v′li分别求偏导并等于0，表示为：
Figure BDA0003165850800000054
Figure BDA0003165850800000055
其中，S表示代价函数；
S＝∑((uci-u′li)2+(vci-v′li)2)
各个(U′li,v′li)与(uli,vli)对应点相对位置关系不变，即，使用(u′l1,v′l1)表示(u′li,v′li)时，对应的R′li＝Rli，t′li＝tli；
令(u′l1,v′l1)表示(u′li,v′li)，将所有(uci,vci)代入公式(9)、(10)，得到拟合后的点云数据法向量的像素坐标(u′l1,v′l1)。
进一步的，所述步骤S8中计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，表示为：
Figure BDA0003165850800000056
其中，θ表示ζ′l1与ζl1夹角；tu、tv表示平移量；
Figure BDA0003165850800000057
Figure BDA0003165850800000061
记：
Figure BDA0003165850800000062
Figure BDA0003165850800000063
其中，R、t表示旋转矩阵与平移矩阵。
进一步的，所述步骤S8中完成全景环带相机与激光雷达的联合标定具体为：将激光雷达坐标投影至全景环带图像上后，通过旋转和平移的变换，将点云数据与全景环带图像数据对齐，全景环带相机与激光雷达的联合标定完成。
进一步的，所述步骤S3中提取激光雷达的点云数据中所有标定板上的点云数据中的提取方法包括聚类、分割、手动识别、滤波。
与现有技术相比，本发明使用的标定方法弥补了当前全景环带相机与激光雷达联合标定的不足，且标定板不苛求摆放位置，激光雷达为水平360°采集，非单线即可，对高低精度的激光雷达均可进行标定，标定后的全景环带相机与激光雷达模组可以实现像素级的融合效果，在全景环境感知领域与移动机器人领域可以提供高维度的输出，具有广阔的应用前景。
附图说明
图1是实施例一提供的全景环带-激光雷达融合装置结构图；
图2是实施例一提供的一种全景环带相机与激光雷达联合标定的方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了一种全景环带相机与激光雷达联合标定的方法。
实施例一
本实施例提供一种全景环带相机与激光雷达联合标定的方法，如图1所示，包括全景环带相机1、激光雷达2、棋盘格的标定板，全景环带相机1置于激光雷达2上方，且全景环带相机1的光轴与激光雷达2的旋转轴重合；标定板置于全景环带相机1与激光雷达2的共视区域；标定板上设有编号。
本发明实施例采用FOV为(-30°～+30°)×360°的全景环带相机，搭配FOV为(-25°～+15°)×360°的32线激光雷达，全景环带相机与激光雷达刚性连接，全景环带镜头的光轴与激光雷达的旋转轴平行或重合，使两者相对位姿不得发生旋转与平移，进而形成一体化的全景环带-激光雷达融合装置，本实施例的标定板为普通硬板上粘贴打印棋盘格，本应用实例使用8块标定板，对每块做好编号。
需要指出的是，标定板可使用高反射率透明板，在远离激光雷达的方向朝向激光雷达粘贴棋盘格，或是直接使用高反射率的棋盘格硬板，以提升激光雷达接收到的强度信息。
在进行联合标定时，将全景环带-激光雷达融合装置固定在实行标定的场地中，标定板的棋盘格面朝相机，移动标定板使棋盘格尽量充满全景环带图像的径向视场。
在本实施例中，由于采用的是全景环带相机，则相机需要设置于雷达的上方，不然雷达会挡住相机的视场角。
本实施例的联合标定方法如图2所示，包括：
步骤S1.获取激光雷达的点云数据以及全景环带相机的全景环带图像数据；
将标定板置于全景环带相机与激光雷达的共视区域，并同时存储激光雷达点云数据与全景环带图像数据，其中标定板在全景环带图像中尽可能多地占据径向视场。
步骤S2.根据全景环带图像数据标定全景环带相机，得到全景环带相机的相机参数；
对全景环带相机进行标定的目的是为了求出相机的参数，且这个求解参数的过程就称之为相机标定，求出的解即为相机标定结果。
本实施例通过泰勒级数描述相机模型的工具箱，且设全景环带图像的像素坐标为p(u,v)，世界坐标为P(x,y,z)，则全景环带图像的像素坐标和世界坐标相互投影的关系如下：
将世界坐标转换为像素坐标，表示为：
Figure BDA0003165850800000081
其中，cx，cy表示全景环带相机镜头中心的像素坐标值；Π表示投影函数；θ、ρ1(θ)由下式给出：
Figure BDA0003165850800000082
ρ1(θ)＝a0+a2θ2+a3θ3+…+aNθN
其中，aN表示多项式系数；N表示项数；
反投影，即将像素坐标转换为世界坐标，表示为：
Figure BDA0003165850800000083
其中，Π-1表示反投影函数，dp表示三维深度，对于本实施例可置为1；r、ρ2(r)由下式给出：
Figure BDA0003165850800000084
ρ2(r)＝b0+b2r2+b3r3+…+bNrN
其中，bN表示多项式系数，N表示项数。
根据标定图像可以求解出多项式系数a0,a2,a3,…,aN和b0,b2,b3,…,bN。
步骤S3.提取激光雷达的点云数据中所有标定板上的点云数据，并对提取出的点云数据使用最小二乘法得到每块标定板在激光雷达坐标系下的平面方程；
提取方法可使用聚类、分割、手动识别等方法，根据接收的激光强度不同还可使用滤波；本实施例以手动提取为例。
根据步骤S1中获得的点云数据手动提取出所有标定板上的点云数据，对提取到的点云数据使用最小二乘法拟合出每块标定板在激光雷达坐标系下的平面方程。其中对于每块标定板的平面方程表示为：
Z＝AX+BY+C
其中，X、Y、Z表示空间坐标；A、B、C表示平面方程系数。
对每块标定板在激光雷达坐标系下的平面方程进行求解，得到最小二乘解；具体为：
平面方程的代价函数表示为：
S＝∑(Axi+Byi+C-zi)2
其中，S表示代价函数；
对A、B、C分别求偏导并整理，表示为：
Figure BDA0003165850800000091
其中，n表示平面拟合点的总数；
将激光雷达的点云数据相对应的坐标(xi,yi,zi)代入上述线性方程组的公式中，得到平面方程的A、B、C，即A、B、C为最小二乘解。
在本实施例中，每块标定板在激光雷达坐标系下的平面方程，还可以表示为：
AX+BY+CZ+D＝0
其中，A、B、C、D表示平面方程系数；X、Y、Z表示空间坐标。
步骤S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并对计算得到的激光雷达点云数据的法向量进行归一化处理；
对计算得到的激光雷达法向量进行归一化处理，法向量表示为：
Figure BDA0003165850800000101
需要说明的是，若平面方程采用Z＝AX+BY+C，则对应的法向量采用
Figure BDA0003165850800000102
的形式。
若平面方程采用AX+BY+CZ+D＝0，则对应的法向量采用
Figure BDA0003165850800000103
的形式。
步骤S5.计算每块标定板在全景环带相机坐标系下的法向量，并对计算得到的全景环带相机图像数据的法向量进行归一化处理；
步骤S2标定完成后，工具箱会返回每个标定板所有角点的坐标，且
与步骤S3相似的，对于每块标定板的平面方程表示为：
ZAX+BY+C
其中，X、Y、Z表示空间坐标；A、B、C表示平面方程系数。
然后对每块标定板在激光雷达坐标系下的平面方程进行求解，得到最小二乘解；具体为：
平面方程的代价函数表示为：
S＝∑(Axi+Byi+C-zi)2
其中，S表示代价函数；
对A、B、C分别求偏导并整理，表示为：
Figure BDA0003165850800000104
其中，n表示平面拟合点的总数；
将全景环带图像数据上各标定板相对应的角点坐标(xi,yi,zi)代入上述线性方程组的公式中，得到平面方程的A、B、C，即A、B、C为最小二乘解。
步骤S6.将归一化处理后的标定板点云数据法向量和全景环带图像数据法向量根据标定结果投影至全景环带图像上，并记录标定板在全景环带图像、点云数据下对应法向量的各自编号及像素坐标；
根据步骤S2的投影关系将步骤S4、S5得到的各个标定板的法向量投影至全景环带图像的像素平面上，并记录标定板在全景环带图像、点云数据下对应的法向量的各自编号与像素坐标。
本实施例将法向量转到图像处理，即采用二维的方式进行处理，减少了计算量，且计算能力加快。
步骤S7.基于记录的编号，采用最小二乘法对归一化处理后标定板的点云数据法向量和归一化处理后标定板的全景环带图像数据法向量进行拟合，得到拟合后的标定板点云数据法向量和全景环带图像数据法向量的像素坐标；
将激光雷达点云数据和全景环带图像算得的法向量各自视为一个整体，根据对应编号计算二者的最小二乘拟合，记录拟合后的激光雷达数据法向量坐标。
设全景环带图像法向量的像素坐标为(uci,vci)，激光雷达点云数据法向量的像素坐标为(uli,vli)，其中i为标定板编号。
以(0,0)为原点指向(uli,vli)建立向量ζli，则每个ζli(uli,vli)(i＞1)均可采用ζl1(ul1,vl1)表示：
Figure BDA0003165850800000111
其中，θli表示ζli与ζl1夹角；tul1、tvl1表示平移量；
Figure BDA0003165850800000112
因为(uli,vli)、(ul1,vl1)、θli都已知，可算得：
Figure BDA0003165850800000113
记：
Figure BDA0003165850800000121
Figure BDA0003165850800000122
其中，Rli、tli表示ζli到ζl1的旋转和平移矩阵。
采用最小二乘法对点云数据法向量与全景环带图像法向量进行拟合，设拟合后的坐标为(u′li,v′li)(i＞0)；
拟合中涉及的代价函数S表示为：
s＝∑((uci-u′li)2+(vci-v′li)2)
对ulli与v′li分别求偏导并等于0，表示为：
Figure BDA0003165850800000123
Figure BDA0003165850800000124
各个(u′li,v′li)与(uli,vli)对应点相对位置关系不变，即，使用(u′l1,v′l1)表示(u′li,v′li)时，对应的R′li＝Rli，t′li＝tli。
令(u′l1,v′l1)表示(u′li,v′li)，将所有(uci,vci)代入上述两个公式中，得到拟合后的点云数据法向量的像素坐标(u′l1,v′′i1)。
步骤S8.计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。
计算步骤S7中拟合后的标定板点云数据法向量的像素坐标与步骤S6中标定板点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，表示为：
Figure BDA0003165850800000125
其中，θ表示ζ′l1与ζl1夹角；tu、tv表示平移量；
Figure BDA0003165850800000126
Figure BDA0003165850800000131
记：
Figure BDA0003165850800000132
Figure BDA0003165850800000133
其中，R、t表示旋转矩阵与平移矩阵。
将激光雷达坐标投影至全景环带图像上后，通过上述旋转和平移的变换，可将点云数据与全景环带图像对齐，全景环带相机与激光雷达的联合标定完成。
与现有技术相比，本实施例使用的标定方法弥补了当前全景环带相机与激光雷达联合标定的不足，且标定板不苛求摆放位置，激光雷达为水平360°采集，非单线即可，对高低精度的激光雷达均可进行标定，标定后的全景环带相机与激光雷达模组可以实现像素级的融合效果，在全景环境感知领域与移动机器人领域可以提供高维度的输出，具有广阔的应用前景。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种全景环带相机与激光雷达联合标定的方法，其特征在于，包括全景环带相机、激光雷达、棋盘格的标定板，所述全景环带相机置于激光雷达上方，且全景环带相机的光轴与激光雷达的旋转轴重合；标定板置于全景环带相机与激光雷达的共视区域；所述标定板上设有编号；
标定方法包括：
S1.获取激光雷达的点云数据以及全景环带相机的全景环带图像数据；
S2.根据全景环带图像数据标定全景环带相机，得到全景环带相机的相机参数；
S3.提取激光雷达的点云数据中所有标定板上的点云数据，并对提取出的点云数据使用最小二乘法得到每块标定板在激光雷达坐标系下的平面方程；
S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并对计算得到的激光雷达点云数据的法向量进行归一化处理；
S5.计算每块标定板在全景环带相机坐标系下的法向量，并对计算得到的全景环带相机图像数据的法向量进行归一化处理；
S6.将归一化处理后的标定板点云数据法向量和全景环带图像数据法向量根据标定结果投影至全景环带图像上，并记录标定板在全景环带图像、点云数据下对应法向量的各自编号及像素坐标；
S7.基于记录的编号，采用最小二乘法对归一化处理后标定板的点云数据法向量和归一化处理后标定板的全景环带图像数据法向量进行拟合，得到拟合后的标定板点云数据法向量和全景环带图像数据法向量的像素坐标；
S8.计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。
2.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：
Z＝AX+BY+C (1)
其中，X、Y、Z表示空间坐标；A、B、C表示平面方程系数。
3.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中还包括对每块标定板在激光雷达坐标系下的平面方程进行求解，得到最小二乘解；具体为：
平面方程的代价函数表示为：
S＝∑(Axi+Byi+C-zi)2 (2)
其中，S表示代价函数；
对A、B、C分别求偏导并整理，表示为：
Figure FDA0003165850790000021
其中，n表示平面拟合点的总数；
将激光雷达的点云数据相对应的坐标(xi，yi，zi)代入公式(3)，得到平面方程的A、B、C，即A、B、C为最小二乘解。
4.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：
AX+BY+CZ+D＝0 (4)
其中，A、B、C、D表示平面方程系数；X、Y、Z表示空间坐标。
5.根据权利要求4所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S4中对计算得到的激光雷达法向量进行归一化处理，法向量表示为：
Figure FDA0003165850790000022
其中，A、B、C表示平面方程系数。
6.根据权利要求5所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S6中根据标定结果投影至全景环带图像上中的投影数据为：
Figure FDA0003165850790000031
其中，cx，cy表示全景环带相机镜头中心的像素坐标值；Π表示投影函数；p(u，v)表示全景环带图像的像素坐标；P(x，y，z)表示世界坐标；θ、ρ1(θ)分别表示为：
Figure FDA0003165850790000032
ρ1(θ)＝a0+a2θ2+a3θ3+…+aNθN
其中，aN表示多项式系数；N表示项数；
反投影表示为：
Figure FDA0003165850790000033
其中，Π-1表示反投影函数，dp表示三维深度；r、ρ2(r)分别表示为：
Figure FDA0003165850790000034
ρ2(r)＝b0+b2r2+b3r3+…+bNrN
其中，bN表示多项式系数，N表示项数。
7.根据权利要求6所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S7具体为：
设全景环带图像法向量的像素坐标为(uci，vci)，点云数据法向量的像素坐标为(uli，vli)，其中，i为标定板的编号；
以(0，0)为原点指向(uli，vli)建立向量ζli，则每个ζli(uli，vli)(i＞1)均采用ζl1(ul1，vl1)表示：
Figure FDA0003165850790000035
其中，θli表示ζli与ζl1夹角；tul1、tvl1表示平移量；
Figure FDA0003165850790000036
因为(uli，vli)、(ul1，vl1)、θli为已知，则可得到：
Figure FDA0003165850790000041
则：
Figure FDA0003165850790000042
Figure FDA0003165850790000043
其中，Rli、tli表示ζli到ζl1的旋转和平移矩阵；
若点云数据法向量与全景环带图像法向量拟合后的坐标为(u′li，v′li)；
对u′li与v′li分别求偏导并等于0，表示为：
Figure FDA0003165850790000044
Figure FDA0003165850790000045
其中，S表示代价函数；
s＝∑((uci-u′li)2+(vci-v′li)2)
各个(u′li，v′li)与(uli；vli)对应点相对位置关系不变，即，使用(u′l1，v′l1)表示(u′li，v′li)时，对应的R′li＝Rli，t′li＝tli；
令(u′l1，v′l1)表示(u′li，v′li)，将所有(uci，vci)代入公式(9)、(10)，得到拟合后的点云数据法向量的像素坐标(u′l1，v′l1)。
8.根据权利要求7所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S8中计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，表示为：
Figure FDA0003165850790000046
其中，θ表示ζ′l1与ζl1夹角；tu、tv表示平移量；
Figure FDA0003165850790000051
Figure FDA0003165850790000052
记：
Figure FDA0003165850790000053
Figure FDA0003165850790000054
其中，R、t表示旋转矩阵与平移矩阵。
9.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S8中完成全景环带相机与激光雷达的联合标定具体为：将激光雷达坐标投影至全景环带图像上后，通过旋转和平移的变换，将点云数据与全景环带图像数据对齐，全景环带相机与激光雷达的联合标定完成。
10.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中提取激光雷达的点云数据中所有标定板上的点云数据中的提取方法包括聚类、分割、手动识别、滤波。
CN202110804380.4A 2021-07-16 2021-07-16 一种全景环带相机与激光雷达联合标定的方法 Pending CN113589261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110804380.4A CN113589261A (zh) 2021-07-16 2021-07-16 一种全景环带相机与激光雷达联合标定的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110804380.4A CN113589261A (zh) 2021-07-16 2021-07-16 一种全景环带相机与激光雷达联合标定的方法

Publications (1)

Publication Number Publication Date
CN113589261A true CN113589261A (zh) 2021-11-02

Family

ID=78248227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110804380.4A Pending CN113589261A (zh) 2021-07-16 2021-07-16 一种全景环带相机与激光雷达联合标定的方法

Country Status (1)

Country Link
CN (1) CN113589261A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082570A (zh) * 2022-07-01 2022-09-20 中国科学院宁波材料技术与工程研究所 一种激光雷达与全景相机的标定方法
CN115856849A (zh) * 2023-02-28 2023-03-28 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082570A (zh) * 2022-07-01 2022-09-20 中国科学院宁波材料技术与工程研究所 一种激光雷达与全景相机的标定方法
CN115082570B (zh) * 2022-07-01 2024-03-19 中国科学院宁波材料技术与工程研究所 一种激光雷达与全景相机的标定方法
CN115856849A (zh) * 2023-02-28 2023-03-28 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备
CN115856849B (zh) * 2023-02-28 2023-05-05 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备

Similar Documents

Publication Publication Date Title
US9912862B2 (en) System and method for assisted 3D scanning
Domhof et al. An extrinsic calibration tool for radar, camera and lidar
Li et al. 2D LiDAR and camera fusion in 3D modeling of indoor environment
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
CN102313536A (zh) 基于机载双目视觉的障碍物感知方法
Oh et al. A comparative study on camera-radar calibration methods
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
JP2014520337A (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP2017509986A (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
CN113589261A (zh) 一种全景环带相机与激光雷达联合标定的方法
Yang et al. A simple and effective extrinsic calibration method of a camera and a single line scanning lidar
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN111583342B (zh) 一种基于双目视觉的目标快速定位方法及装置
CN106846385B (zh) 基于无人机的多传感遥感影像匹配方法、装置和系统
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN112330747B (zh) 基于无人机平台的多传感器联合探测和显示方法
Cui et al. ACLC: Automatic Calibration for non-repetitive scanning LiDAR-Camera system based on point cloud noise optimization
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
Schönbein et al. Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems.
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination