CN110390695B - 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 - Google Patents
一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 Download PDFInfo
- Publication number
- CN110390695B CN110390695B CN201910575101.4A CN201910575101A CN110390695B CN 110390695 B CN110390695 B CN 110390695B CN 201910575101 A CN201910575101 A CN 201910575101A CN 110390695 B CN110390695 B CN 110390695B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- calibration
- radar
- calibration module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法，包括雷达标定模块，其用于获取激光雷达的外部参数，即激光雷达的雷达坐标系到世界坐标系的变换关系；相机标定模块，用于获取摄像头的内部参数；融合标定模块，用于接收激光雷达的外部参数以及相机的内部参数，求解相机的外部参数，即求解出世界坐标系到相机坐标系的变换关系；雷达标定模块、相机标定模块以及融合标定模块之间基于ROS平台实现数据的传输；雷达标定模块包括激光雷达，还包括桩桶以及两块标定板，前述的相机标定模块包括摄像头以及一块标定板；本发明实现激光雷达和摄像头数据融合的空间同步方法，解决了现有单一传感器感知存在的感知维度不足、信息缺乏等缺陷。
Description
技术领域
本发明涉及一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法，属于激光雷达和摄像头之间的融合技术领域。
背景技术
无人车的环境感知技术主要是借助外在传感器，例如激光雷达、摄像头、毫米波雷达等实现对周围环境的探测，保障无人车可以及时地、精准地感知路面环境中存在的安全隐患，快速采取措施，避免发生交通事故。环境感知相当于无人车的眼睛，对于保障无人驾驶汽车安全行驶具有不可替代的作用。
目前有多种环境感知的方法：视觉传感是基于机器视觉获取车辆周边环境的图像信息，通过图像处理等方式对周围环境进行感知。它能直接获取色彩信息，并且摄像机具有安装方便、体积小、能耗低的优点，它的缺点就是容易受到光线的干扰、同时没有三维信息。激光传感是通过雷达扫描车辆周围环境来获得三维距离信息，通过距离分析识别技术对行驶路况进行感知。它能够直接获取物体三维距离信息，具有很高的测量精度并且对光线明暗变化不敏感，但是它无法获得环境的色彩信息，同时目前激光雷达价格昂贵，难以在家用轿车上装备。
激光雷达与摄像头融合，相当于融合激光雷达的三维信息以及图像的色彩信息，实现两个传感器优势互补。融合包含不同传感器的时间同步和空间同步。本发明正是基于此背景，提出基于ROS的激光雷达、摄像头的融合标定系统及方法，解决激光雷达与摄像头的空间同步问题。
发明内容
本发明提供一种基于ROS的激光雷达、摄像头的融合标定系统及标定方法，实现激光雷达和摄像头数据融合的空间同步方法，解决了现有单一传感器感知存在的感知维度不足、信息缺乏等缺陷。
本发明解决其技术问题所采用的技术方案是：
一种基于ROS的激光雷达、摄像头的融合标定系统，包括雷达标定模块，其用于获取激光雷达的外部参数，即激光雷达的雷达坐标系到世界坐标系的变换关系；
相机标定模块，用于获取摄像头的内部参数；
融合标定模块，用于接收激光雷达的外部参数以及相机的内部参数，求解相机的外部参数，即求解出世界坐标系到相机坐标系的变换关系；
前述的雷达标定模块、相机标定模块以及融合标定模块之间基于ROS平台实现数据的传输；
前述的雷达标定模块包括激光雷达，还包括桩桶以及两块标定板，
前述的相机标定模块包括摄像头以及一块标定板；
作为本发明的进一步优选，
前述的雷达标定模块，通过放置在激光雷达外部不同位置处的桩桶以及两块标定板，提取桩桶的一个角点以及两块标定板中的6-8个角点，获取前述所有角点在世界坐标系中的坐标以及在雷达坐标系中的坐标，通过解方程获取雷达坐标系至世界坐标系的变换矩阵；
前述的相机标定模块，通过将标定板在摄像头中置于不同角度及位置，且基于ROS获取相机内部参数，即将相机坐标系中的物体成像至像素坐标；
前述的融合标定模块，将雷达标定模块中的7-9个角点在雷达坐标系中的坐标变换至世界坐标系中的坐标，同时通过相机标定模块获取前述7-9个角点的像素坐标，通过求解位姿估计问题，得到世界坐标系至像素坐标系的转换关系，实现三维物体与二维像素的匹配，即融合；
一种基于ROS的激光雷达、摄像头的融合标定方法，包括以下步骤：
第一步：通过相机标定模块获取摄像头的内部参数，即相机坐标系至像素坐标系的转换关系；
第二步：通过雷达标定模块获取激光雷达坐标与世界坐标之间的外部参数，即雷达坐标系与世界坐标系之间的转换关系；
第三步：在融合模块中，获取雷达标定模块中桩桶以及两块标定板的7-9个角点作为特征点，其中选取9个特征点，分别获取前述9个特征点分别在世界坐标系、像素坐标系中的坐标；
第四步：通过融合标定模块求解位姿估计问题，即求解出上述9个特征点世界坐标系到像素坐标系的转换关系，前述转换关系的实现通过DLS、UPnP、P3P以及EPnP算法实现，完成两者的融合；
第五步：将激光雷达实时获取的点云数据通过转换关系即变换矩阵投影至摄像头获取的图像中，验证是否对应，若两者匹配有误则继续重复上述融合步骤；
第六步：若两者匹配无误，则证明已经获取世界坐标系至像素坐标系的转换关系，完成融合工作；
作为本发明的进一步优选，
前述的第一步中通过相机标定模块获取摄像头的内部参数，具体包括以下步骤：
第11步，准备好带有黑板棋盘格的标定板；
第12步：利用基于ROS平台的摄像头调用可见光摄像头，并通过内置或编写显示图像的ROS包，完成摄像头数据的调用以及实时显示；
第13步：启动ROS平台中的单目相机标定工具；
第14步：移动标定板到画面的最左、最右，最上方、最下方，移动标定板到视野的最近处和最远处，移动标定板使其充满整个画面，同时保持标定板倾斜状态，获取标定板在画面各个位置对应的数据，完成相机内参标定；
作为本发明的进一步优选，
前述标定方法中的第二步，具体包括以下步骤：
第21步：将激光雷达供电，激光雷达发射器发射激光束，激光雷达接收器接收反射回来的点云数据；
第22步：利用ROS平台打开工控机网口，接收激光雷达点云数据，将消息转化为基于ROS平台下的点云标准数据；
第23步：通过在激光雷达前方人为设置具有角点的装置，即一块桩桶及两块标定板，获取其6-8个角点的世界坐标系中的坐标以及雷达坐标系坐标；
第24步：求解位姿变换问题，得到雷达坐标系相对于世界坐标系的变换关系；
作为本发明的进一步优选，
前述标定方法中的第三步以及第四步，具体包括以下步骤：
第31步：获取相机内摄像头的内部参数，对图像进行去畸变；
第32步：将去畸变的图像基于ROS平台进行编辑，同时雷达标定模块接收去畸变的图像消息；
第33步：显示去畸变的图像，在图像最左侧以及最右侧各放置一块标定板，同时保证标定板的上沿以及下沿在激光线束的密集区，在图像中间位置放置一个桩桶；
第34步：提取桩桶的一个角点以及两块标定板中的8个角点，共计9个角点的雷达坐标系中的坐标，以及通过相机标定模块获取9个角点的像素坐标系中的坐标；
第35步：通过上述第二步中获取雷达坐标系相对于世界坐标系的变换关系，得到9个角点在世界坐标系中的坐标，通过相机标定模块获取9个角点在像素坐标系中的坐标；
第41步：通过DLS、UPnP、P3P以及EPnP算法实现9个角点在世界坐标系中的坐标和像素坐标系中的坐标的融合，最终获取9个角点的世界坐标系到像素坐标系的变换关系；
作为本发明的进一步优选，
前述标定方法中的第五步，具体包括以下步骤：
第51步：将去畸变的图像基于ROS平台进行编辑，同时激光雷达通过ROS平台发布点云数据；
第52步：将激光雷达实时获取的点云图通过激光雷达坐标系到世界坐标系的变换、世界坐标系到像素坐标系的变换关系，投影至图像中，验证是否对应，如两者匹配有误则重复上述融合操作；
作为本发明的进一步优选，
前述的世界坐标到像素坐标的变换矩阵为：设某点在{world}即世界坐标系中的坐标为Pw＝(xw,yw,zw)T，在{camera}即相机坐标系中的坐标为Pc＝(xc,yc,zc)，则
而上述相机坐标系至像素坐标的最终转换，是将相机的内部参数分为内参矩阵和畸变矩阵两部分，
设某点在{camera}相机坐标系中的坐标为Pc＝(xc,yc,zc)，则像素坐标{u,v}为
中间k成为相机内参矩阵，cx和cy表示相机光轴在像素坐标系中的偏移量，fx和fy为u轴和v轴上的归一化焦距；
平面上的任意一点p可以用笛卡尔坐标表示为[x,y]T，也可以用极坐标r,θ表示
其中r表示点p离坐标系原点的距离，θ表示和水平轴的夹角,
由于具有畸变的存在，畸变矩阵用[k1,k2,k3,p1,p2]表示
[x,y]T是被纠正的点的坐标，[xcorrected,ycorrected]纠正后的点的坐标将纠正后的点通过内参数矩阵投影到像素平面，
最终像素坐标[u,v]可表示为：
通过以上技术方案，相对于现有技术，本发明具有以下有益效果：
本发明通过基于ROS平台下协调摄像头以及激光雷达，通过将雷达坐标系变换到世界坐标系，手动提取特征点求解雷达-世界-相机三者变换矩阵，实现激光雷达到摄像头的标定从而达到激光雷达点云数据与相机彩色图片的精准融合；该方法不需借助复杂设备，同时系统运行在ROS平台中，便于嵌入式开发及使用。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的优选实施例的标定系统的整体框架图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，本发明的一种基于ROS的激光雷达、摄像头的融合标定系统，包括雷达标定模块，其用于获取激光雷达的外部参数，即激光雷达的雷达坐标系到世界坐标系的变换关系；
相机标定模块，用于获取摄像头的内部参数；
融合标定模块，用于接收激光雷达的外部参数以及相机的内部参数，求解相机的外部参数，即求解出世界坐标系到相机坐标系的变换关系；
前述的雷达标定模块、相机标定模块以及融合标定模块之间基于ROS平台实现数据的传输；
前述的雷达标定模块包括激光雷达，还包括桩桶以及两块标定板，
前述的相机标定模块包括摄像头以及一块标定板；
实施例1：
前述的雷达标定模块，通过放置在激光雷达外部不同位置处的桩桶以及两块标定板，提取桩桶的一个角点以及两块标定板中的6-8个角点，获取前述所有角点在世界坐标系中的坐标以及在雷达坐标系中的坐标，通过解方程获取雷达坐标系至世界坐标系的变换矩阵；
前述的相机标定模块，通过将标定板在摄像头中置于不同角度及位置，且基于ROS获取相机内部参数，即将相机坐标系中的物体成像至像素坐标；
前述的融合标定模块，将雷达标定模块中的7-9个角点在雷达坐标系中的坐标变换至世界坐标系中的坐标，同时通过相机标定模块获取前述7-9个角点的像素坐标，通过求解位姿估计问题，得到世界坐标系至像素坐标系的转换关系，实现三维物体与二维像素的匹配，即融合；
实施例2：
一种基于ROS的激光雷达、摄像头的融合标定方法，包括以下步骤：
第一步：通过相机标定模块获取摄像头的内部参数，即相机坐标系至像素坐标系的转换关系；
第二步：通过雷达标定模块获取激光雷达坐标与世界坐标之间的外部参数，即雷达坐标系与世界坐标系之间的转换关系；
第三步：在融合模块中，获取雷达标定模块中桩桶以及两块标定板的7-9个角点作为特征点，其中选取9个特征点，分别获取前述9个特征点分别在世界坐标系、像素坐标系中的坐标；
第四步：通过融合标定模块求解位姿估计问题，即求解出上述9个特征点世界坐标系到像素坐标系的转换关系，前述转换关系的实现通过DLS、UPnP、P3P以及EPnP算法实现，完成两者的融合；
第五步：将激光雷达实时获取的点云数据通过转换关系即变换矩阵投影至摄像头获取的图像中，验证是否对应，若两者匹配有误则继续重复上述融合步骤；
第六步：若两者匹配无误，则证明已经获取世界坐标系至像素坐标系的转换关系，完成融合工作；
作为本发明的进一步优选，
前述的第一步中通过相机标定模块获取摄像头的内部参数，具体包括以下步骤：
第11步，准备好带有黑板棋盘格的标定板；
第12步：利用基于ROS平台的摄像头调用可见光摄像头，并通过内置或编写显示图像的ROS包，完成摄像头数据的调用以及实时显示；
第13步：启动ROS平台中的单目相机标定工具；
第14步：移动标定板到画面的最左、最右，最上方、最下方，移动标定板到视野的最近处和最远处，移动标定板使其充满整个画面，同时保持标定板倾斜状态，获取标定板在画面各个位置对应的数据，完成相机内参标定；
作为本发明的进一步优选，
前述标定方法中的第二步，具体包括以下步骤：
第21步：将激光雷达供电，激光雷达发射器发射激光束，激光雷达接收器接收反射回来的点云数据；
第22步：利用ROS平台打开工控机网口，接收激光雷达点云数据，将消息转化为基于ROS平台下的点云标准数据；
第23步：通过在激光雷达前方人为设置具有角点的装置，即一块桩桶及两块标定板，获取其6-8个角点的世界坐标系中的坐标以及雷达坐标系坐标；
第24步：求解位姿变换问题，得到雷达坐标系相对于世界坐标系的变换关系；
作为本发明的进一步优选，
前述标定方法中的第三步以及第四步，具体包括以下步骤：
第31步：获取相机内摄像头的内部参数，对图像进行去畸变；
第32步：将去畸变的图像基于ROS平台进行编辑，同时雷达标定模块接收去畸变的图像消息；
第33步：显示去畸变的图像，在图像最左侧以及最右侧各放置一块标定板，同时保证标定板的上沿以及下沿在激光线束的密集区，在图像中间位置放置一个桩桶；
第34步：提取桩桶的一个角点以及两块标定板中的8个角点，共计9个角点的雷达坐标系中的坐标，以及通过相机标定模块获取9个角点的像素坐标系中的坐标；
第35步：通过上述第二步中获取雷达坐标系相对于世界坐标系的变换关系，得到9个角点在世界坐标系中的坐标，通过相机标定模块获取9个角点在像素坐标系中的坐标；
第41步：通过DLS、UPnP、P3P以及EPnP算法实现9个角点在世界坐标系中的坐标和像素坐标系中的坐标的融合，最终获取9个角点的世界坐标系到像素坐标系的变换关系；
作为本发明的进一步优选，
前述标定方法中的第五步，具体包括以下步骤：
第51步：将去畸变的图像基于ROS平台进行编辑，同时激光雷达通过ROS平台发布点云数据；
第52步：将激光雷达实时获取的点云图通过激光雷达坐标系到世界坐标系的变换、世界坐标系到像素坐标系的变换关系，投影至图像中，验证是否对应，如两者匹配有误则重复上述融合操作；
作为本发明的进一步优选，
前述的世界坐标到像素坐标的变换矩阵为：设某点在{world}即世界坐标系中的坐标为Pw＝(xw,yw,zw)T，在{camera}即相机坐标系中的坐标为Pc＝(xc,yc,zc)，则
T＝[tx ty tz]T；
而上述相机坐标系至像素坐标的最终转换，是将相机的内部参数分为内参矩阵和畸变矩阵两部分，
设某点在{camera}相机坐标系中的坐标为Pc＝(xc,yc,zc)，则像素坐标{u,v}为
中间k成为相机内参矩阵，cx和cy表示相机光轴在像素坐标系中的偏移量，fx和fy为u轴和v轴上的归一化焦距；
平面上的任意一点P可以用笛卡尔坐标表示为[x,y]T，也可以用极坐标r,θ表示；
其中r表示点P离坐标系原点的距离，θ表示和水平轴的夹角,
由于具有畸变的存在，畸变矩阵用[k1,k2,k3,p1,p2]表示
[x,y]T是被纠正的点的坐标，[xcorrected,ycorrected]纠正后的点的坐标将纠正后的点通过内参数矩阵投影到像素平面，
最终像素坐标[u,v]可表示为：
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (7)
1.一种基于ROS的激光雷达、摄像头的融合标定系统，其特征在于：包括雷达标定模块，其用于获取激光雷达的外部参数，即激光雷达的雷达坐标系到世界坐标系的变换关系；
相机标定模块，用于获取摄像头的内部参数；
融合标定模块，用于接收激光雷达的外部参数以及相机的内部参数，求解相机的外部参数，即求解出世界坐标系到相机坐标系的变换关系；
前述的雷达标定模块、相机标定模块以及融合标定模块之间基于ROS平台实现数据的传输；
前述的雷达标定模块包括激光雷达，还包括桩桶以及两块标定板，
前述的相机标定模块包括摄像头以及一块标定板；
前述的雷达标定模块，通过放置在激光雷达外部不同位置处的桩桶以及两块标定板，提取桩桶的一个角点以及两块标定板中的6-8个角点，获取所有角点在世界坐标系中的坐标以及在雷达坐标系中的坐标，通过解方程获取雷达坐标系至世界坐标系的变换矩阵；
前述的相机标定模块，通过将标定板在摄像头中置于不同角度及位置，且基于ROS获取相机内部参数，即将相机坐标系中的物体成像至像素坐标；
前述的融合标定模块，将雷达标定模块中的7-9个角点在雷达坐标系中的坐标变换至世界坐标系中的坐标，同时通过相机标定模块获取前述7-9个角点的像素坐标，通过求解位姿估计问题，得到世界坐标系至像素坐标系的转换关系，实现三维物体与二维像素的匹配，即融合。
2.一种基于ROS的激光雷达、摄像头的融合标定方法，用于如权利要求1所述的融合标定系统，其特征在于：包括以下步骤：
第一步：通过相机标定模块获取摄像头的内部参数，即相机坐标系至像素坐标系的转换关系；
第二步：通过雷达标定模块获取激光雷达坐标与世界坐标之间的外部参数，即雷达坐标系与世界坐标系之间的转换关系；
第三步：在融合模块中，获取雷达标定模块中桩桶以及两块标定板的7-9个角点作为特征点，其中选取9个特征点，分别获取前述9个特征点分别在世界坐标系、像素坐标系中的坐标；
第四步：通过融合标定模块求解位姿估计问题，即求解出上述9个特征点世界坐标系到像素坐标系的转换关系，前述转换关系的实现通过DLS、UPnP、P3P以及EPnP算法实现，完成两者的融合；
第五步：将激光雷达实时获取的点云数据通过转换关系即变换矩阵投影至摄像头获取的图像中，验证是否对应，若两者匹配有误则继续重复第一步至第四步步骤；
第六步：若两者匹配无误，则证明已经获取世界坐标系至像素坐标系的转换关系，完成融合工作。
3.根据权利要求2所述的基于ROS的激光雷达、摄像头的融合标定方法，其特征在于：前述的第一步中通过相机标定模块获取摄像头的内部参数，具体包括以下步骤：
第11步，准备好带有黑板棋盘格的标定板；
第12步：利用基于ROS平台的摄像头调用可见光摄像头，并通过内置或编写显示图像的ROS包，完成摄像头数据的调用以及实时显示；
第13步：启动ROS平台中的单目相机标定工具；
第14步：移动标定板到画面的最左、最右，最上方、最下方，移动标定板到视野的最近处和最远处，移动标定板使其充满整个画面，同时保持标定板倾斜状态，获取标定板在画面各个位置对应的数据，完成相机内参标定。
4.根据权利要求2所述的基于ROS的激光雷达、摄像头的融合标定方法，其特征在于：前述标定方法中的第二步，具体包括以下步骤：
第21步：将激光雷达供电，激光雷达发射器发射激光束，激光雷达接收器接收反射回来的点云数据；
第22步：利用ROS平台打开工控机网口，接收激光雷达点云数据，将消息转化为基于ROS平台下的点云标准数据；
第23步：通过在激光雷达前方人为设置具有角点的装置，即一块桩桶及两块标定板，获取其6-8个角点的世界坐标系中的坐标以及雷达坐标系坐标；
第24步：求解位姿变换问题，得到雷达坐标系相对于世界坐标系的变换关系。
5.根据权利要求2所述的基于ROS的激光雷达、摄像头的融合标定方法，其特征在于：前述标定方法中的第三步以及第四步，具体包括以下步骤：
第31步：获取相机内摄像头的内部参数，对图像进行去畸变；
第32步：将去畸变的图像基于ROS平台进行编辑，同时雷达标定模块接收去畸变的图像消息；
第33步：显示去畸变的图像，在图像最左侧以及最右侧各放置一块标定板，同时保证标定板的上沿以及下沿在激光线束的密集区，在图像中间位置放置一个桩桶；
第34步：提取桩桶的一个角点以及两块标定板中的8个角点，共计9个角点的雷达坐标系中的坐标，以及通过相机标定模块获取9个角点的像素坐标系中的坐标；
第35步：通过上述第二步中获取雷达坐标系相对于世界坐标系的变换关系，得到9个角点在世界坐标系中的坐标，通过相机标定模块获取9个角点在像素坐标系中的坐标；
第41步：通过DLS、UPnP、P3P以及EPnP算法实现9个角点在世界坐标系中的坐标和像素坐标系中的坐标的融合，最终获取9个角点的世界坐标系到像素坐标系的变换关系。
6.根据权利要求2所述的基于ROS的激光雷达、摄像头的融合标定方法，其特征在于：前述标定方法中的第五步，具体包括以下步骤：
第51步：将去畸变的图像基于ROS平台进行编辑，同时激光雷达通过ROS平台发布点云数据；
第52步：将激光雷达实时获取的点云图通过激光雷达坐标系到世界坐标系的变换、世界坐标系到像素坐标系的变换关系，投影至图像中，验证是否对应，如两者匹配有误则重复第一步至第四步操作。
7.根据权利要求2所述的基于ROS的激光雷达、摄像头的融合标定方法，其特征在于：前述的世界坐标到像素坐标的变换矩阵为：设某点在世界坐标系中的坐标为Pw＝(xw,yw,zw)T，在相机坐标系中的坐标为Pc＝(xc,yc,zc)，则
T＝[tx ty tz]T；
而上述相机坐标系至像素坐标的最终转换，是将相机的内部参数分为内参矩阵和畸变矩阵两部分，
设某点在相机坐标系中的坐标为Pc＝(xc,yc,zc)，则像素坐标{u,v}为
中间k成为相机内参矩阵，cx和cy表示相机光轴在像素坐标系中的偏移量，fx和fy为u轴和v轴上的归一化焦距
平面上的任意一点p可以用笛卡尔坐标表示为[x,y]T，也可以用极坐标r,θ表示，
其中r表示点p离坐标系原点的距离，θ表示和水平轴的夹角,
由于具有畸变的存在，畸变矩阵用[k1,k2,k3,p1,p2]表示
[x,y]T是被纠正的点的坐标，[xcorrected,ycorrected]纠正后的点的坐标将纠正后的点通过内参数矩阵投影到像素平面,
最终像素坐标[u,v]可表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910575101.4A CN110390695B (zh) | 2019-06-28 | 2019-06-28 | 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910575101.4A CN110390695B (zh) | 2019-06-28 | 2019-06-28 | 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390695A CN110390695A (zh) | 2019-10-29 |
| CN110390695B true CN110390695B (zh) | 2023-05-23 |
Family
ID=68285962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910575101.4A Active CN110390695B (zh) | 2019-06-28 | 2019-06-28 | 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390695B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111123912B (zh) * | 2019-11-29 | 2023-01-31 | 苏州智加科技有限公司 | 行车定位坐标的标定方法和装置 |
| CN111612845A (zh) * | 2020-04-13 | 2020-09-01 | 江苏大学 | 一种基于移动标定板的激光雷达与相机联合标定方法 |
| CN111413689B (zh) * | 2020-05-07 | 2023-04-07 | 沃行科技(南京)有限公司 | 一种基于rviz实现多激光雷达点云对齐的高效静态标定方法 |
| CN111667540B (zh) * | 2020-06-09 | 2023-04-18 | 中国电子科技集团公司第五十四研究所 | 一种基于行人头部识别的多摄像机系统标定方法 |
| CN111815717B (zh) * | 2020-07-15 | 2022-05-17 | 西北工业大学 | 一种多传感器融合外参联合半自主标定方法 |
| CN111928776A (zh) * | 2020-07-31 | 2020-11-13 | 中国航空工业集团公司济南特种结构研究所 | 基于多传感器的数控机床非接触式在线测量系统与方法 |
| CN111736137B (zh) * | 2020-08-06 | 2020-11-27 | 广州汽车集团股份有限公司 | LiDAR外部参数标定方法、系统、计算机设备及可读存储介质 |
| CN112577517A (zh) * | 2020-11-13 | 2021-03-30 | 上汽大众汽车有限公司 | 一种多元定位传感器联合标定方法和系统 |
| CN112505663B (zh) * | 2020-11-25 | 2022-09-13 | 上海交通大学 | 用于多线激光雷达与相机联合标定的标定方法 |
| CN112562009A (zh) * | 2020-12-03 | 2021-03-26 | 深圳宇磐科技有限公司 | 一种相机设备参数和安装姿态参数自动标定方法及系统 |
| CN112802117B (zh) * | 2020-12-31 | 2022-04-08 | 清华大学苏州汽车研究院（吴江） | 一种激光雷达和摄像头标定参数盲复原方法 |
| CN112863183B (zh) * | 2021-01-14 | 2022-04-08 | 深圳尚桥信息技术有限公司 | 一种交通流数据融合方法及系统 |
| CN112859022B (zh) * | 2021-01-22 | 2023-08-18 | 上海西井科技股份有限公司 | 多种雷达和相机联合标定方法、系统、设备及存储介质 |
| CN112819903B (zh) * | 2021-03-02 | 2024-02-20 | 福州视驰科技有限公司 | 基于l型标定板的相机和激光雷达联合标定的方法 |
| CN112801928B (zh) * | 2021-03-16 | 2022-11-29 | 昆明理工大学 | 一种基于注意力机制的毫米波雷达与视觉传感器融合方法 |
| CN113012237A (zh) * | 2021-03-31 | 2021-06-22 | 武汉大学 | 一种毫米波雷达与视频监控摄像头联合标定方法 |
| CN115327512A (zh) * | 2021-05-10 | 2022-11-11 | 北京万集科技股份有限公司 | 激光雷达与相机的标定方法、装置、服务器和存储介质 |
| CN113390514B (zh) * | 2021-06-16 | 2022-11-11 | 中国人民解放军军事科学院国防工程研究院 | 一种基于多传感器阵列的三维红外温度测量方法 |
| CN113538591B (zh) * | 2021-06-18 | 2024-03-12 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
| CN115598624B (zh) * | 2021-06-28 | 2023-12-12 | 苏州一径科技有限公司 | 一种激光雷达的标定方法、装置及设备 |
| CN113702953A (zh) * | 2021-08-25 | 2021-11-26 | 广州文远知行科技有限公司 | 一种雷达标定方法、装置、电子设备和存储介质 |
| CN114137553B (zh) | 2022-01-30 | 2022-04-12 | 探维科技(北京)有限公司 | 一种图像融合激光的雷达调光方法及系统 |
| CN115108409B (zh) * | 2022-08-03 | 2024-08-30 | 吉林大学 | 矿用电铲线缆收放车自动跟踪系统 |
| CN116106895B (zh) * | 2023-02-21 | 2024-01-26 | 郑州大学 | 基于视觉与无线感知融合的多点微动智能监测系统与方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108020825A (zh) * | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 |
| CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
| US20190120955A1 (en) * | 2017-10-20 | 2019-04-25 | Texas Instruments Incorporated | System and method for camera radar fusion |
-
2019
- 2019-06-28 CN CN201910575101.4A patent/CN110390695B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108020825A (zh) * | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 |
| US20190120955A1 (en) * | 2017-10-20 | 2019-04-25 | Texas Instruments Incorporated | System and method for camera radar fusion |
| CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110390695A (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390695B (zh) | 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 | |
| CN110363820B (zh) | 一种基于激光雷达、图像前融合的目标检测方法 | |
| EP4283515A1 (en) | Detection method, system, and device based on fusion of image and point cloud information, and storage medium | |
| CN109283538B (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
| US11987250B2 (en) | Data fusion method and related device | |
| US20190236380A1 (en) | Image generation system, program and method, and simulation system, program and method | |
| US10549638B2 (en) | Information display apparatus, information provision system, moving object device, information display method, and recording medium | |
| CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
| CN109084724A (zh) | 一种基于双目视觉的深度学习障碍物测距方法 | |
| CN106444837A (zh) | 一种无人机避障方法及系统 | |
| KR20190134231A (ko) | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| CN104093600A (zh) | 用于生成车辆环境的三维图像的方法和装置 | |
| CN106019264A (zh) | 一种基于双目视觉的无人机危险车距识别系统及方法 | |
| KR20200001471A (ko) | 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| CN106774296A (zh) | 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法 | |
| CN103714321A (zh) | 基于距离图像和强度图像的驾驶员人脸定位系统 | |
| CN112233188A (zh) | 一种基于激光雷达的车顶全景相机及其标定方法 | |
| CN111968132A (zh) | 一种基于全景视觉的无线充电对位的相对位姿解算方法 | |
| CN113281738A (zh) | 一种多传感器融合的目标检测系统及检测方法 | |
| JP2011254128A (ja) | 平面図生成装置及び平面図生成方法 | |
| CN114463303A (zh) | 一种基于双目相机和激光雷达融合的道路目标检测方法 | |
| JP2019128350A (ja) | 画像処理方法、画像処理装置、車載装置、移動体、システム | |
| CN111123260B (zh) | 一种毫米波雷达和可见光摄像的环境物体状态识别方法 | |
| CN104268884A (zh) | 一种基于车联网的车道偏离预警的标定系统和方法 | |
| CN115690119A (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |