CN115082564A - 一种融合双目视觉和激光雷达的联合标定方法 - Google Patents
一种融合双目视觉和激光雷达的联合标定方法 Download PDFInfo
- Publication number
- CN115082564A CN115082564A CN202210471528.1A CN202210471528A CN115082564A CN 115082564 A CN115082564 A CN 115082564A CN 202210471528 A CN202210471528 A CN 202210471528A CN 115082564 A CN115082564 A CN 115082564A
- Authority
- CN
- China
- Prior art keywords
- calibration
- point cloud
- camera
- laser radar
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 241000234282 Allium Species 0.000 description 3
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 235000019692 hotdogs Nutrition 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000013016 damping Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000005775 Setaria Nutrition 0.000 description 1
- 241000232088 Setaria <nematode> Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000019219 chocolate Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种融合双目视觉和激光雷达的联合标定方法，包括以下步骤设置激光雷达、双目相机和标定板，标定板表面设有凸起；通过激光雷达和双目相机同步在不同的位置上采集标定板的图像信息和点云信息；单独通过双目相机基于标定板进行相机标定，得到相机的标定参数；对点云信息进行分割和滤波处理，然后设置阈值K进行像素值的筛选，根据筛选后的点云信息与图像信息进行顶点对应，进而根据相机的标定参数实现对点云信息的标定；顶点包括凸起和标定板主体部分的特征点。与现有技术相比，本发明具有易用性强、匹配精度高、普适性广泛等优点。
Description
技术领域
本发明涉及视觉与激光雷达融合作业领域，尤其是涉及融合双目视觉和激光雷达的联合标定方法。
背景技术
近年来多传感器融合的发展十分火热，其中视觉与激光雷达融合作为多传感器融合的重要组成部分，而视觉与激光雷达联合标定是融合检测与识别的基础，由于激光雷达获取的点云数据庞大且复杂，且单一的标定板对于区分点云信息有难度，故需要两步来完成，第一步，对于传统的标定板进行改进；第二步，对于激光雷达获取的原始点云信息进行滤波与分割，将处理过的点云数据与视觉获取的图像信息进行顶点对应以得到映射矩阵，求得标定参数。目前视觉与激光雷达融合检测与识别的技术多应用于自动驾驶、医疗检测、生产制造等领域。现有的点云分割技术有欧式聚类分割、基于颜色的区域生长分割、最小图像分割等；欧式聚类分割通过寻找空间中特定点以确定阈值对点云信息进行筛选；基于颜色的区域生长分割为不同的目标赋予相应的颜色，根据不同的颜色对于相应的信息进行筛选；最小图像分割广泛应用于网络规划、求解桥问题将包含点云中每一个点的图构造为一组普通顶点和另外两个称为源点和汇点的顶点，之后对点云的源点和汇点进行划分。标定板改进多是三角标定板、梯形标定板等；改进的三角形标定板根据三角形只有三个顶点的特殊性大大减少了点云数据在后续匹配的复杂程度；改进的梯形标定板通过梯形标定板上的黑白棋盘格标定出摄像机相对于车体的外参数之后结合激光雷达数据点与图像像素坐标之间的对应关系，对两个传感器进行联合标定。
对于改进标定板，目前存在的技术对于视觉与激光雷达联合标定的实用性不高，如改进的三角形标定板仍需要手动选取点云且当标定板位置发生改变时，还需要大量时间去寻找标定板合适的位置；改进的梯形标定板改进过于复杂在改进过程中易出现实验器械的浪费等问题；这些改进标定板的技术并不适用于多角度多帧数的多传感器联合标定。对于点云分割技术，如欧式聚类分割在搜索目标点云时因聚类约束条件较高耗时较长；基于颜色的区域生长分割对于颜色的判定一旦出现错误将大大影响分割结果；最小图像分割多应用于网络规划并不适用于特定场景的单一目标分割且容易将性质不同却大小相近的物体误认为一类；这些分割技术并不适用于32线程这种获取点云信息相对庞杂的激光雷达。在后续的多传感器融合识别与检测中，如若标定结果不准确将大幅降低检测效率与精确度。
发明内容
本发明的目的就是为了克服上述现有技术存在点云信息与RGB图像匹配不准确的缺陷而提供一种融合双目视觉和激光雷达的联合标定方法。
本发明的目的可以通过以下技术方案来实现：
一种融合双目视觉和激光雷达的联合标定方法，包括以下步骤：
设置激光雷达、双目相机和标定板，所述标定板表面设有凸起；
通过激光雷达和双目相机同步在不同的位置上采集所述标定板的图像信息和点云信息；
单独通过所述双目相机基于所述标定板进行相机标定，得到相机的标定参数；
对所述点云信息进行分割和滤波处理，然后设置阈值K进行像素值的筛选，根据筛选后的点云信息与所述图像信息进行顶点对应，进而根据相机的标定参数实现对点云信息的标定；所述顶点包括凸起和标定板主体部分的特征点。
进一步地，所述凸起的形状为圆形，所述凸起的特征点包括凸起的圆心。
进一步地，所述标定板主体部分为多边形结构，所述顶点具体包括：所述凸起的圆心和部分边缘点、以及所述标定板主体部分的多个顶点。
进一步地，所述凸起包括大小不同的多种凸起。
进一步地，所述激光雷达和双目相机安装在可移动的支架上，采集图像信息和点云信息的过程中，所述激光雷达和双目相机同步在所述支架上移动。
进一步地，所述可移动的支架包括电动滑轨和可移动安装在电动滑轨上的云台，所述激光雷达和双目相机均安装在所述云台上。
进一步地，所述方法还包括将所述标定板转动不同的角度，重复采集图像信息和点云信息。
进一步地，采用DON算法对所述点云数据进行分割和滤波处理。
进一步地，通过RANSAC算法，对分割和滤波处理后的点云信息设置阈值K进行筛选，并结合双目相机的标定结果，进行顶点对应，得到2D-3D对应点，进而根据相机的标定参数实现对点云信息的标定。
进一步地，所述双目相机的型号为小觅D1000-IR-120，所述激光雷达的型号为禾赛pandarXT-32。
与现有技术相比，本发明具有以下优点：
(1)本发明设计了一种融合双目视觉和激光雷达的联合标定方法，实现了对大规模点云数据的准确分割滤波，并根据分割结果设置阈值提高了算法的容错性，解决了标定板在不同位置下激光雷达无法获取完整特征的问题，避免因前期标定不准确导致后续的多传感器融合检测与识别准确率低等问题，同时本次发明采用的双目视觉与激光雷达在未来的检测识别等工作中更具有普适性，为后续作业奠定基础。
(2)本发明使用在标定板上加入了大小不同的圆形，使得标定板在不同位置下拥有更多的特征，且制作相对简易，耗时短。在点云的分割滤波中采用适合大规模点云滤波的DON算法，根据所得结果采用RANSAC算法设置阈值K进行顶点对应，求得标定参数。
(3)本发明在点云分割滤波算法中采用适用于大规模点云的DON算法对于点云数据进行了准确的分割滤波，在标定板上加入了大小不同的圆形凸起，使得标定板在不同位置都可以提供相对完整的信息，大小不同的凸起还满足非对称网络来实现立体校正，进一步地还根据分割滤波的结果采用RANSAC算法设置阈值K进行顶点对应和平面拟合，提高了整个系统的容错性和适用性。使得点云数据与RGB图像匹配更加精确。
附图说明
图1为本发明实施例中提供的一种DON算法原理图；
图2为本发明实施例中提供的一种融合双目视觉和激光雷达的联合标定方法的流程示意图；
图3为本发明实施例中提供的一种融合双目视觉和激光雷达的联合标定方法的实验过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1
本实施例提供一种融合双目视觉和激光雷达的联合标定方法，包括以下步骤：
设置激光雷达、双目相机和标定板，标定板表面设有凸起；
通过激光雷达和双目相机同步在不同的位置上采集标定板的图像信息和点云信息；
单独通过双目相机基于标定板进行相机标定，得到相机的标定参数；
对点云信息进行分割和滤波处理，然后设置阈值K进行像素值的筛选，根据筛选后的点云信息与图像信息进行顶点对应，进而根据相机的标定参数实现对点云信息的标定；顶点包括凸起和标定板主体部分的特征点。
优选地，凸起的形状为圆形，凸起的特征点包括凸起的圆心。
标定板主体部分为多边形结构，可以为三角形标定板、长方形标定板或梯形标定板等多边形标定板，顶点具体包括：凸起的圆心和部分边缘点、以及标定板主体部分的各个顶点。
凸起包括大小不同的多种凸起，如图3所示，本实施例中设置一个较大的圆形凸起和四个较小的圆心凸起，增加辨识度，更能提升顶点对应的准确定。
激光雷达和双目相机安装在可移动的支架上，采集图像信息和点云信息的过程中，激光雷达和双目相机同步在支架上移动。
本实施例中，可移动的支架包括电动滑轨和可移动安装在电动滑轨上的云台，激光雷达和双目相机均安装在云台上；电动滑轨的型号为洋葱工厂HOT DOG二代电动滑轨，云台的型号为捷洋JY0506H液压阻尼云台，双目相机的型号为小觅D1000-IR-120，激光雷达的型号为禾赛pandarXT-32。
可选的，方法还包括将标定板转动不同的角度，重复采集图像信息和点云信息。
本实施例中，采用DON算法对所述点云数据进行分割和滤波处理，DON算法原理如图1所示。
通过RANSAC算法，对分割和滤波处理后的点云信息设置阈值K进行筛选，并结合双目相机的标定结果，进行顶点对应，得到2D-3D对应点，进而根据相机的标定参数实现对点云信息的标定。
如图2和图3所示，具体地，本实施例融合双目视觉和激光雷达的联合标定方法的具体实施过程包括以下步骤：
S1：获取本方案系统的基本工具，包括装有win10操作系统的PC机、双目视觉搭载激光雷达实验平台、改进的标定板等；
S2：获取小觅D1000-IR-120双目相机、禾赛pandarXT-32激光雷达、捷洋JY0506H液压阻尼云台、洋葱工厂HOT DOG二代电动滑轨、装有圆形凸起的改进标定板，通过USB连接到装有win10操作系统的PC机上，在PC机上安装Matlab、Pycharm、Visual Studio并配置好Python、OpenCV和Pytorch环境；
双目视觉相比单目视觉能够提供检测目标的深度信息，32线程激光雷达相比16线程的激光雷达点云信息更加丰富稠密，应用更加广泛，普适性更高。而双目视觉与激光雷达的联合标定是多传感器识别检测的基础，标定的精度直接影响后续识别检测的精度。在自动驾驶、生产制造等大型且复杂的作业环境中，多传感器融合更是大势所趋，前期标定工作的精细化、标准化为后续更多元化的研究测试打下坚实的基础；
S3：使用双目视觉搭载激光雷达平台将改进标定板放置在传感器前方进行图像和点云信息的数据集采集。将双目视觉搭载激光雷达平台放置在洋葱工厂HotDog二代巧克力电动滑轨的云台上，在设置好起点和终点的条件下，来回往复的对改进的标定板拍摄，拍摄完一段后将标定板转动不同角度重复上述步骤。将视频通过基于Python的OpenCV代码解码成若干张图片，将点云数据通过第三方软件截取成与图像对应的单帧点云数据。
S4：单独用双目相机对标定板拍摄一组数据集，使用Matlab单独对双目相机进行标定，得到相机的标定参数。
S5：得到多组单帧的点云数据，通过C++使用DON算法对点云数据进行分割和滤波得到筛选后的数据，在RANSAC算法中根据分割结果设置阈值K并结合双目相机的标定结果，得到2D-3D对应点求得标定参数。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种融合双目视觉和激光雷达的联合标定方法，其特征在于，包括以下步骤：
设置激光雷达、双目相机和标定板，所述标定板表面设有凸起；
通过激光雷达和双目相机同步在不同的位置上采集所述标定板的图像信息和点云信息；
单独通过所述双目相机基于所述标定板进行相机标定，得到相机的标定参数；
对所述点云信息进行分割和滤波处理，然后设置阈值K进行像素值的筛选，根据筛选后的点云信息与所述图像信息进行顶点对应，进而根据相机的标定参数实现对点云信息的标定；所述顶点包括凸起和标定板主体部分的特征点。
2.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述凸起的形状为圆形，所述凸起的特征点包括凸起的圆心。
3.根据权利要求2所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述标定板主体部分为多边形结构，所述顶点具体包括：所述凸起的圆心和部分边缘点、以及所述标定板主体部分的多个顶点。
4.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述凸起包括大小不同的多种凸起。
5.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述激光雷达和双目相机安装在可移动的支架上，采集图像信息和点云信息的过程中，所述激光雷达和双目相机同步在所述支架上移动。
6.根据权利要求5所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述可移动的支架包括电动滑轨和可移动安装在电动滑轨上的云台，所述激光雷达和双目相机均安装在所述云台上。
7.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述方法还包括将所述标定板转动不同的角度，重复采集图像信息和点云信息。
8.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，采用DON算法对所述点云数据进行分割和滤波处理。
9.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，通过RANSAC算法，对分割和滤波处理后的点云信息设置阈值K进行筛选，并结合双目相机的标定结果，进行顶点对应，得到2D-3D对应点，进而根据相机的标定参数实现对点云信息的标定。
10.根据权利要求1所述的一种融合双目视觉和激光雷达的联合标定方法，其特征在于，所述双目相机的型号为小觅D1000-IR-120，所述激光雷达的型号为禾赛pandarXT-32。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210471528.1A CN115082564A (zh) | 2022-04-28 | 2022-04-28 | 一种融合双目视觉和激光雷达的联合标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210471528.1A CN115082564A (zh) | 2022-04-28 | 2022-04-28 | 一种融合双目视觉和激光雷达的联合标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115082564A true CN115082564A (zh) | 2022-09-20 |
Family
ID=83247100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210471528.1A Pending CN115082564A (zh) | 2022-04-28 | 2022-04-28 | 一种融合双目视觉和激光雷达的联合标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082564A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117848403A (zh) * | 2024-03-08 | 2024-04-09 | 宁德时代新能源科技股份有限公司 | 标定件和使用标定件标定检测系统的方法 |
-
2022
- 2022-04-28 CN CN202210471528.1A patent/CN115082564A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117848403A (zh) * | 2024-03-08 | 2024-04-09 | 宁德时代新能源科技股份有限公司 | 标定件和使用标定件标定检测系统的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754583B (zh) | 一种车载三维激光雷达和相机外参联合标定的自动化方法 | |
| CN109215063B (zh) | 一种事件触发相机与三维激光雷达的配准方法 | |
| US7456842B2 (en) | Color edge based system and method for determination of 3D surface topology | |
| CN109211198B (zh) | 一种基于三目视觉的智能目标检测和测量系统和方法 | |
| US20030202691A1 (en) | Calibration of multiple cameras for a turntable-based 3D scanner | |
| CN114494045B (zh) | 一种基于机器视觉的大型直齿轮几何参数测量系统及方法 | |
| CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
| CN112465960B (zh) | 一种三维模型的尺寸标定装置及方法 | |
| CN108171715A (zh) | 一种图像分割方法及装置 | |
| CN112132906A (zh) | 一种深度相机与可见光相机之间的外参标定方法及系统 | |
| CN113253246B (zh) | 一种激光雷达和相机的标定方法 | |
| CN108986129B (zh) | 标定板检测方法 | |
| CN105835507A (zh) | 一种手机盖板玻璃和液晶屏的贴合方法 | |
| CN110807807A (zh) | 一种单目视觉的目标定位的图案、方法、装置及设备 | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
| CN113487510A (zh) | 用于机器人自动配液的针尖位置检测方法、系统、设备 | |
| CN115082564A (zh) | 一种融合双目视觉和激光雷达的联合标定方法 | |
| CN110081862A (zh) | 一种对象的定位方法、定位装置、电子设备和可存储介质 | |
| CN105758337B (zh) | 一种获取透镜平面与图像传感器平面之间夹角的方法 | |
| CN107644442B (zh) | 双摄模组的空间位置标定方法 | |
| CN111784768A (zh) | 基于三色四灯标记识别的无人机姿态估计方法及系统 | |
| CN106652898A (zh) | Led显示逐点校正方法 | |
| CN111325802B (zh) | 一种直升机风洞试验中圆形标记点识别匹配方法 | |
| CN113298880B (zh) | 一种相机标定板、相机标定方法及装置 | |
| CN111311690A (zh) | 一种深度相机的标定方法、装置、终端及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |