CN111486864A - 基于立体正八边结构的多源传感器联合标定方法 - Google Patents
基于立体正八边结构的多源传感器联合标定方法 Download PDFInfo
- Publication number
- CN111486864A CN111486864A CN201910081279.3A CN201910081279A CN111486864A CN 111486864 A CN111486864 A CN 111486864A CN 201910081279 A CN201910081279 A CN 201910081279A CN 111486864 A CN111486864 A CN 111486864A
- Authority
- CN
- China
- Prior art keywords
- laser
- calibration
- point cloud
- dimensional
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000005259 measurement Methods 0.000 claims description 25
- 238000013519 translation Methods 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000209202 Bromus secalinus Species 0.000 description 1
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于立体正八边结构的多源传感器联合标定方法,包括以下步骤:相机内部参数标定;构建三维激光点云模型;基于惯性数据修正三维激光点云;优化激光抖动误差叠加均值;优化激光步进角误差增量;构建多线段联合外参标定模型,通过非线性方法求出外部参数最优解。该方法能够有效提升复杂农林环境下多源传感器联合标定精度和数据融合效果。
Description
技术领域
本发明涉及多传感器数据融合领域,特别涉及一种农林业复杂环境多源数据联合标定方法。
背景技术
在现代化农林业的发展过程中,多源数据联合应用的趋势十分明显。相比可见光成像,激光扫描视场角比较大,但点云密度相对稀疏,且存在较多噪声;而热红外成像仪则可以在黑暗条件下成像,但视场角相对较小,只能显示整个场景中较小区域,综合利用这些不同源数据,可以取长补短,提高农林业移动设备的扫描探测能力和目标分割识别能力。但这就需要进行多传感器的数据预处理和坐标联合标定工作。
以往的联合标定工作主要是针对单个或多个二维激光扫描仪和可见光相机组的信息匹配,以及三维激光扫描仪和可见光相机的标定。主要方法是相机参数标定的拓展,通过选取多组三维激光点云和二维相机图像的对应数据组来构建两传感器的空间分布模型,最后运用PnP方法构建外部参数超定方程组进行参数求解。另一种常用方法是利用己知尺寸的棋盘格标定板进行标定,通过将多个标定板放置不同位置上,然后利用两个传感器分布获取,在其提供的在线标定工具箱里,对同一平面的位置进行匹配和估计,得到两者之间的相对位置关系。但这些方法都存在不少不足,不适合于农林复杂环境下多传感器标定应用:
(1)联合外部标定过程和相机标定过程步骤分离,且单次标定过程可用标定基准点数量过少,需要多次试验才能获得足够的标定数据量,效率低下;
(2)三维激光数据受仪器内部特性和物体反射率特性影响,导致每个激光点云的实际测量距离值均存在测量误差;
(3)三维激光仪因分光镜电机影响,获取点云数据相对稀疏,在物体被测边缘时,容易发生光环效应,产生步进角误差;
(4)标定基准点为独立物体的边缘点,需要精确的人工提取和信息输入过程,增加人为干扰误差概率,不适应环境复杂、物体分布距离差较大的场景。
发明内容
本公开提供了一种多源传感器联合标定方法,其能够解决不同季节条件下的南方和北方人工林场及农业蔬菜大棚中,农林移动装备利用多种传感器所获取的关于不同抚育目标及其他障碍物的三维激光、可见光图像数据、热红外图像数据及惯性测量数据的标定和匹配。
本公开提供一种基于立体正八边结构的多源传感器联合标定方法,步骤包括:
步骤一,相机内部参数标定:制作多个标定板,采用张氏标定法进行相机内部参数标定;
步骤二,构建三维激光点云模型:通过坐标转换对激光扫描仪获取的物体距离和角度数据进行转换,进而将二维激光坐标系向三维立体空间转化,得到该三维激光点云坐标系中激光束的投影;
步骤三,修正基于惯性数据的三维激光点云:获取原始三维点云坐标系中的点云,经过修正后得到,获取瞬间时刻的三自由度加速度值,结合单个激光脉冲的采样时间,得到整个三维激光点云坐标系的偏心移动量,同理使用陀螺仪分别获取的三个偏移角度,计算出旋转矩阵;
步骤四,优化激光抖动误差叠加均值:利用多次扫描数据叠加求均值的方法对激光原始数据进行抖动误差补偿;
步骤五,优化激光步进角误差增量:在相邻两束激光间添加步进角增量,进一步细分角度分辨率,生成虚拟的激光点云,弥补步进角误差,然后以正八边形标定体为优化参照物,针对标定体的边缘线对原始激光点云中边缘点进行误差补偿;
步骤六,构建多线段联合外参标定模型:利用三维激光点云及图像中正八边形标定板的边缘,构建不同坐标系中多线变化模型,求解出外部参数初始解,然后通过非线性方法求出外部参数最优解,提升外部参数标定精度和数据融合效果。
进一步地,所述步骤一包括:
步骤1.1:制作贴有不同规格黑白棋格标定面的多个正八边形标定板,将其放置在不同距离的不同位置,通过相机同时进行拍照,获取多个标定图片;
步骤1.2:从实验数据中选取48张图作为张氏标定的基础数据,并通过误差分析将影响标定结果的不良图片进行剔除,选取23张图用作求解相机的参数;
进一步地,所述步骤二包括:
其中,为激光束所在扫描平面层数的序列,为激光扫描仪俯仰角度分辨率,和为激光扫描仪绕垂直电机转动轴做半径为的圆时在水平方向x轴和垂直方向y轴上的分量,H为激光扫描仪距离水平地面高度,为可测量常量, 0为激光扫描仪初始角度,为固定常量,根据激光扫描仪参数手册获得。
进一步地,所述步骤三包括:
步骤3.1 根据惯性测量单元测得的激光扫描云台在每个时刻的加速度值,对原始激光点云数据进行平移修正:
进一步地,所述步骤四包括:
进一步地,所述步骤五中以正八边形标定体为优化参照物,针对标定体的边缘线对原始激光点云中边缘点进行误差补偿的方法包括:
其中,线层和线层为俯仰方向的两层激光扫描层,为线层和线层在标定板表面上时分别在四个边缘上的测量值,为线激光扫描层在标定板上测得的点云个数,为线激光扫描层在标定板上测得的点云个数,为两个激光层和三维点云坐标系水平轴之间的夹角,,σ为激光扫描仪内部带动分光镜转动的电机最小步进角度,也即激光扫描水平最小角度分辨率,为俯仰机构电机最小步进角度,也即激光扫描俯仰最小角度分辨率,为水平角度增量,为俯仰角度增量,和均为小于1的实数。
进一步地,所述步骤六包括:
步骤6.2:在完成相机内部参数标定的基础上,运用多线性标定方法实现三维激光点云
和相机坐标系标定:根据上一步骤获取的修正边缘点沿着正八边形的边缘分布,应用最小
二乘法对不同边缘上的边缘点云进行拟合,得到三维空间坐标系中的四条边缘直系的表达
式如下:
步骤6.4:将所得空间三维激光点云拟合直线与其对应图像上的直线带入联合外部参数标定模型中,将旋转矩阵和平移矩阵中带入相机内部参数和畸变系数,得到三维点云坐标系到相机坐标系的增益矩阵:
其中为正八边形边缘在三维激光空间中拟合曲线,为其在相机坐标系中对应的投影直线,和分别为投影直线的比例系数和截距值,和分别为对应正八边形直线的对应比例系数和截距值,表示四条直线在目标函数中的影响权重,、表示联合外部参数的初始解,求解得到目标函数最小化的旋转矩阵和平移向量,即所需要的非线性联合外部标定参数最优解。
本公开基于立体正八边结构的多源传感器联合标定方法,构建三维激光点云模型,并基于惯性数据修正三维激光内部参数标定,实现二维单层线性扫描激光向三维多层激光点云有序转换;利用三维激光点云及图像中正八边形标定板的边缘,构建不同坐标系中多线变化模型,求解出外部参数初始解;运用特制正八边形标定板,在得到相机内部参数的基础上,对激光扫描仪存在的抖动误差和步进角误差进行优化,通过非线性方法提升外部参数标定精度和数据融合效果,得到复杂农林环境中被测目标的融合点云。
与现有技术相比,本公开的有益效果是:使用惯性单元信息完成对三维激光扫描仪数据修正,弥补了车身振动对三维激光带来的测量误差;使用张氏相机标定法获取相机内部参数,有效弥补相机畸变带来的误差;针对激光扫描仪存在的抖动误差和步进角误差进行了优化,提升了视觉信息数据和三维激光点云标定的准确性和效率;在补偿激光点云抖动误差和步进角误差基础上,完成外部参数非线性优化,实现了三维激光和图像的有效融合。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例方式中,相同的参考标号通常代表相同部件。
图1显示根据示例性实施例的基于立体正八边结构的多源传感器联合标定方法原理示意图;
图2显示根据示例性实施例的基于立体正八边结构的多源传感器联合标定方法流程图;
图3显示三维激光点云构建原理示意图;
图4 显示三维激光点云与惯性单元数据标定原理图;
图5 显示叠加求均值法对激光原始数据优化示意图;
图6 显示步进角误差示意图;
图7 显示相邻未重叠光斑(a)和重叠光斑(b)的角度增量补偿图;
图8 显示标定板边缘点的角度增量补偿效果图;
图9 显示正八边形标定板边缘拟合图;
图10 显示外部参数标定实验的三维点云(a)和视觉图像(b);
图11 是外部参数标定实验的优化后目标标定结果图;
图12 显示林区环境下需要融合的三维点云(a)和视觉图像(b)图;
图13 显示林区环境中融合点云效果图;
图14 显示根据示例性实施例的三维标定均误差与标定数据量关系图;
图15 显示根据示例性实施例的角度均误差与标定数据量关系图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
附图1显示了根据示例性实施例的基于立体正八边结构的多源传感器联合标定方法原理示意图。
如附图2所示,示例性实施例的基于立体正八边结构的多源传感器联合标定方法,包括以下步骤:
步骤一,相机内部参数标定:制作多个标定板,采用张氏标定法进行相机内部参数标定。本发明中所述相机,既可以是可见光相机,也可以是热红外成像仪。
具体包括:
步骤1.1:制作贴有不同规格黑白棋格标定面的多个正八边形标定板,将其放置在不同距离的不同位置,通过相机同时进行拍照,获取多个标定图片。
其中,标定板上贴的棋格大小和数量都是可调整的。作为优选方案,本实施例中选用了10cm×10cm格子的 6行×6列、55mm×55mm格子的20行×15列和60m×60mm格子的19行×12列。
步骤1.2:从实验数据中选取48张图作为张氏标定的基础数据,并通过误差分析将影响标定结果的不良图片进行剔除,选取23张图用作求解相机的参数。
步骤二,构建三维激光点云模型:通过坐标转换对激光扫描仪获取的物体距离和角度数据进行转换,进而将二维激光坐标系向三维立体空间转化,得到该三维激光点云坐标系中激光束的投影。
如附图3所示,激光原始数据为获取的物体的距离和角度数据,属于极坐标系,为了方便计算,需要先将其转化到笛卡尔坐标系中,然后再由二维向三维转换。具体步骤包括:
其中,为激光束所在扫描平面层数的序列,为激光扫描仪俯仰角度分辨率,和为激光扫描仪绕垂直电机转动轴做半径为的圆时在水平方向x轴和垂直方向y轴上的分量,H为激光扫描仪距离水平地面高度,为可测量常量, 0为激光扫描仪初始角度,为固定常量,根据激光扫描仪参数手册获得。
步骤三,修正基于惯性数据的三维激光点云:获取原始三维点云坐标系中的点云,经过修正后得到,获取瞬间时刻的三自由度加速度值,结合单个激光脉冲的采样时间,得到整个三维激光点云坐标系的偏心移动量,同理使用陀螺仪分别获取的三个偏移角度,计算出旋转矩阵。
作为优选方案,本实施例中采用加速度传感器和陀螺仪分别获取偏心移动量和姿态信息,实现对三维激光测量数据的修正和标定。
具体步骤包括:
步骤3.1 根据惯性测量单元测得的激光扫描云台在每个时刻的加速度值,对原始激光点云数据进行平移修正:
其中,为单个激光脉冲的采样时间,、和为该时间内加速度计测得的云台的加速度值,如附图4所示。本实施例中假设单个激光脉冲的采样时间内云台做均匀加速度运动,即这个期间的测得的惯性单元加速度量、和为固定值,通过单个激光脉冲采样周期内起始时刻和终止时刻的加速度均值获取。
步骤四,优化激光抖动误差叠加均值:利用多次扫描数据叠加求均值的方法对激光原始数据进行抖动误差补偿。
具体包括:
步骤五,优化激光步进角误差增量:在相邻两束激光间添加步进角增量,进一步细分角度分辨率,生成虚拟的激光点云,弥补步进角误差;然后以正八边形标定体为优化参照物,针对标定体的边缘线对原始激光点云中边缘点进行误差补偿。
实际测量的时候,特别是当物体比较小或者物体边缘检测的时候,会出现测量不准确的角误差,即所谓步进角误差,如附图6所示。
为有效弥补激光扫描步进角所带来的误差,本实施例在相邻的两束激光间添加步进角增量,进一步细分角度分辨率,也就是生成虚拟的激光点云,弥补步进角误差,如附图7所示:当物体摆放距离较近的时候,激光束较为集约,光斑较小,对于较小的测量目标,相邻的光斑1和光斑2都无法返回该物体的激光测量数据;而当距离较远的时候,激光光斑较大,对被测物体均返回测量数据,但两光斑均受物体反射率影响,返回的距离数据测量不稳定,因此用虚拟光斑可以准确达到被测物体上,测量更加准确和稳定。
作为优选方案,本实施例针对俯仰角度存在着的角度分辨率误差,以正八边形标定体为优化参照物,针对标定体的边缘线对原始激光点云中边缘点进行误差补偿。具有方法包括:
取相邻的四条边进行步进角误差补偿方程构建,如附图8所示,选取正八边形的边作为对象,当俯仰方向的两层激光扫描层线层和线层在标定板表面上
时,分别在四个边缘上的测量值为,其中表示线激光扫描层在标定板上
测得的点云个数,表示线激光扫描层在标定板上测得的点云个数,两个激光层和三维点
云坐标系水平轴存在夹角。针对不同边缘上的激光线层相交分布情况,通过添加水平
角度增量和俯仰角度增量,对原始激光点云中边缘点,,,进行误差补偿:
其中,而σ表示激光扫描仪内部带动分光镜转动的电机最小步进角度,也就是激光扫描水平最小角度分辨率,表示俯仰机构电机最小步进角度,也定义为激光扫描俯仰最小角度分辨率,水平角度增量和俯仰角度增量均为小于1的实数。经过步进角误差补偿后,边缘点获取效果如附图8所示,绿色点表示原始激光数据点,蓝色点为优化后的边缘点云。
步骤六,构建多线段联合外参标定模型:利用三维激光点云及图像中正八边形标定板的边缘,构建不同坐标系中多线变化模型,求解出外部参数初始解,然后通过非线性方法求出外部参数最优解,提升外部参数标定精度和数据融合效果。
具体方法包括:
步骤6.2:在完成相机内部参数标定的基础上,运用多线性标定方法实现三维激光点云
和相机坐标系标定:根据上一步骤获取的修正边缘点沿着正八边形的边缘分布,应用最小
二乘法对不同边缘上的边缘点云进行拟合,得到三维空间坐标系中的四条边缘直系的表达
式如下:
步骤6.4:将所得空间三维激光点云拟合直线与其对应图像上的直线带入联合外部参数标定模型中,将旋转矩阵和平移矩阵中带入相机内部参数和畸变系数,得到三维激光点云坐标系到相机坐标系的增益矩阵:
其中为正八边形边缘在三维激光空间中拟合曲线,为其在相机坐标系中的对应投影直线,和分别为投影直线的比例系数和截距值,和截距值分别为对应正八边形直线的比例系数和截距值,表示四条直线在目标函数中的影响权重,、表示联合外部参数的初始解,求解得到目标函数最小化的旋转矩阵和平移向量,即所需要的非线性联合外部标定参数最优解。
应用示例
利用上述方法对三维激光扫描仪、可见光相机和热红外成像仪获取的数据或图像进行
联合外部参数标定,如附图10所示,将标定物体摆放在3米至10米的不同距离,获取不同距
离下的三维点云数据和对应图像。在完成内部参数标定的基础上,对三维激光点云数据进
行抖动误差和步进角误差进行修正,通过空间边缘直线的拟合方程和对应边缘在图像中的
直线方程相互投影,构建外部参数标定方程。经过初始解求解和非线性误差优化,得到三维
激光扫描仪和可见光相机联合标定外部参数最终解:
同理得到三维激光扫描仪和热红外成像仪联合标定外部参数最终解:
在得到多个传感器的数据转化关系后,将所有三维点云数据和可见光图像、热红外图像进行标定,得到融合的彩色点云效果如附图11所示。
在完成室内环境下三种测量设备的外部参数标定后,保持三个测量设备的空间相对位置不变,即可在无标定板的情况下对林区环境获得的三维激光、视觉图像和热红外图像(如附图12所示)进行融合试验,得到的融合点云数据效果如附图13所示。
由标定结果我们可以看到,融合后的数据每个点云,具有三维空间的坐标值,同时具有了图像的颜色信息和物体的反射值信息,使得测量目标信息更加丰富,为后续特征提取工作奠定基础。为进一步验证本公开所述方法的合理性,本案例选取Park Y和Mirzaei方法进行对比,得到不同参数的效果如表1给出了迭代计算的误差分析结果。
表误差分析
标定方法 | Park (2014) | Mirzaei(2012) | 本方法 |
均方根误差(RMSE) | 10.232 | 10.096 | 5.123 |
标准偏差(STD) | 19.823 | 15.027 | 13.032 |
三维标定均误差(cm) | 5.819 | 4.859 | 2.764 |
角度均误差(degree) | 1.164 | 0.972 | 0.553 |
由误差分析表可以看出,本方法相比Park和Mirzaei方法,有效降低了均方根误差和标准偏差的计算值,这意味着本方法具有更好的鲁棒性;而且从三维标定均误差和角度均误差上可知,本方法将分别将误差降低到2.764cm和0.553度,具有更好的标定精度和匹配效果,适合林区环境应用。为进一步验证本方法标定准确性,三维标定均误差与标定数据量关系如趋势图14所示,同时角度均误差与标定数据量关系如趋势图15所示。
可以看出,随着标定点数据量不断增加,三种方法的三维标定均误差和角度均误差也在波动地变化。在60个标定数据量之前,误差波动较大,而且本方法误差也较大。而在60个标定之后,相对误差波动趋于平稳,且本方法一直保持最小的取值,因此根据实验结果可以看出,本方法相对参比方法,更加适合标定数据较多的情况,也符合本方法线性边缘数据量多的特点。而且随着数据量的增加,保证标定的准确性和效率,为后续分割和目标特征提取提供了依据。
上述技术方案只是本发明的示例性实施例,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施例所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。
Claims (7)
1.一种基于立体正八边结构的多源传感器联合标定方法,其特征在于,包括以下步骤:
步骤一,相机内部参数标定:制作多个标定板,采用张氏标定法进行相机内部参数标定;
步骤二,构建三维激光点云模型:通过坐标转换对激光扫描仪获取的物体距离和角度数据进行转换,进而将二维激光坐标系向三维立体空间转化,得到该三维激光点云坐标系中激光束的投影;
步骤三,基于惯性数据修正三维激光点云:利用惯性测量单元测得的激光扫描云台的瞬时加速度值及角度偏移量,修正三维激光点云坐标系基准点的偏移及旋转;
步骤四,优化激光抖动误差叠加均值:利用多次扫描数据叠加求均值的方法对激光原始数据进行抖动误差补偿;
步骤五,优化激光步进角误差增量:在相邻两束激光间添加步进角增量,进一步细分角度分辨率,生成虚拟激光点云,弥补步进角误差,然后以正八边形标定体为优化参照物,针对标定体的边缘线对原始激光点云中边缘点进行误差补偿;
步骤六,构建多线段联合外参标定模型:利用三维激光点云及图像中正八边形标定板的边缘,构建不同坐标系中多线变化模型,求解出外部参数初始解,然后通过非线性方法求出外部参数最优解,提升外部参数标定精度和数据融合效果。
2.根据权利要求1所述的基于立体正八边结构的多源传感器联合标定方法,其特征在于,所述步骤一包括:
步骤1.1:制作贴有不同规格黑白棋格标定面的多个正八边形标定板,将其放置在不同距离的不同位置,通过相机同时进行拍照,获取多个标定图片;
步骤1.2:从实验数据中选取48张图作为张氏标定的基础数据,并通过误差分析将影响标定结果的不良图片进行剔除,选取23张图用作求解相机的参数;
步骤1.3:通过对每幅标定图像进行角点提取和标定板表面法向量计算,建立不同的棋盘格标定板和相机坐标系平面转化关系,得到线性内部参数矩阵Kc和畸变内部参数矩阵kc如下:
kc=[0.05207,0.00411,0.01441,-0.03346,0]。
3.根据权利要求1所述的基于立体正八边结构的多源传感器联合标定方法,其特征在于,所述步骤二包括:
步骤2.1,坐标转换:将激光原始数据由极坐标系转化到笛卡尔坐标系中,得到:
Pl=[Dcosθ,Dsinθ,H]T
其中D表示为测量距离,θ为激光束分布角度,在实际测量中分布角度由水平角度分辨率η和所在水平激光束序列n1构成,故θ=n1η+θ0;
步骤2.2,三维激光点云构建:二维激光坐标系向三维立体空间转化,得到该三维激光点云坐标系中某一激光束的投影为:
其中,n2为激光束所在扫描平面层数的序列,ε为激光扫描仪俯仰角度分辨率,dx和dy为激光扫描仪绕垂直电机转动轴做半径为d的圆时d在水平方向x轴和垂直方向y轴上的分量,H为激光扫描仪距离水平地面高度,为可测量常量,θ0为激光扫描仪初始角度,为固定常量,根据激光扫描仪参数手册获得。
6.根据权利要求1所述的基于立体正八边结构的多源传感器联合标定方法,其特征在于,所述步骤五中以正八边形标定体为优化参照物,针对标定体的边缘线对原始激光点云中边缘点进行误差补偿的方法包括:
选取相邻的四条边LA、LB、LC、LD作为对象进行步进角误差补偿方程构建,具体计算表达式为
LA:P′a1=[Xa1-Da1cos(ξ1δ)cosθ,Ya1,Za1-Da1cos(ξ1δ)sinθ]
LD:P′an=[Xan+Dancos(ξ1δ)cosθ,Yan,Yan+Dancos(ξ1δ)sinθ]
其中,a线层和b线层为俯仰方向的两层激光扫描层,Pa1、Pb1、Pbm、Pan为a线层和b线层在标定板表面上时分别在四个边缘上的测量值,n为a线激光扫描层在标定板上测得的点云个数,m为b线激光扫描层在标定板上测得的点云个数,θ为两个激光层和三维点云坐标系水平X轴之间的夹角,0≤θ<45°,σ为激光扫描仪内部带动分光镜转动的电机最小步进角度,也即激光扫描水平最小角度分辨率,η为俯仰机构电机最小步进角度,也即激光扫描俯仰最小角度分辨率,ξ1为水平角度增量,ξ2为俯仰角度增量,ξ1和ξ2均为小于1的实数。
7.根据权利要求6所述的基于立体正八边结构的多源传感器联合标定方法,其特征在于,所述步骤六包括:
步骤6.1:通过空间旋转矩阵Φ和平移矩阵Δ,将三维激光点云坐标系中点云数据和相机坐标系中对应的像素点进行关联,实现两种数据的相互标定
Pc=ΦPl+Δ
步骤6.2:在完成相机内部参数标定的基础上,运用多线性标定方法实现三维激光点云和相机坐标系标定:根据上一步骤获取的修正边缘点沿着正八边形的边缘分布,应用最小二乘法对不同边缘上的边缘点云进行拟合,得到三维空间坐标系中的四条边缘直系的表达式如下:
其中k1、k2、k3表示三维激光点云所在俯仰方向的激光层数序列,为整数,和激光角度分辨率相关,D′a1,D′an,D′bn,D′bm表示四条边界上边缘点P′a1,P′an,P′bn,P′bm到三维激光点云坐标系原点位置的距离,
对四条直线的标准方程分别使用两线式进行表达:
步骤6.3:分别对其2个平面方程进行拟合,运用最小二乘法得到:
然后,对其他LB、LC、LD三条直线的参数进行拟合,同时在图像中获取对应直线WA、WB、WC、WD直线,通过正八边形标定板对应边界的顶点Pa(ua,va),Pb(ub,vb),Pc(uc,vc),Pd(ud,vd),Pe(ue,ve)对各边线段进行拟合,得到图像中对应的线性方程:
步骤6.4:将所得空间三维激光点云拟合直线与其对应图像上的直线带入联合外部参数标定模型中,将旋转矩阵和平移矩阵中带入相机内部参数和畸变系数,得到三维激光点云坐标系到相机坐标系的增益矩阵:
其中k表示转化比例因子,而Kc和kc分别表示相机线性内参和对应畸变系数,将所求三维激光拟合直线和图像对应直线方程带入上述表达式,计算出初始的三维激光扫描仪和相机的联合外部参数旋转矩阵Φ和平移矩阵Δ的初始解[Φ0,Δ0];
步骤6.5:根据所求多线性空间变化情况,构建对应的三维激光点云坐标系和相机坐标系中最小化目标函数方程:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910081279.3A CN111486864B (zh) | 2019-01-28 | 2019-01-28 | 基于立体正八边结构的多源传感器联合标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910081279.3A CN111486864B (zh) | 2019-01-28 | 2019-01-28 | 基于立体正八边结构的多源传感器联合标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111486864A true CN111486864A (zh) | 2020-08-04 |
CN111486864B CN111486864B (zh) | 2022-04-08 |
Family
ID=71794304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910081279.3A Active CN111486864B (zh) | 2019-01-28 | 2019-01-28 | 基于立体正八边结构的多源传感器联合标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111486864B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112327107A (zh) * | 2020-09-17 | 2021-02-05 | 国网天津市电力公司电力科学研究院 | 一种适用于气体绝缘设备内部故障弧光探测和定位的方法 |
CN112710235A (zh) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | 结构光测量传感器的标定方法和装置 |
CN113390411A (zh) * | 2021-06-10 | 2021-09-14 | 中国北方车辆研究所 | 基于变构型感知装置的足式机器人导航及定位方法 |
CN113436274A (zh) * | 2021-06-28 | 2021-09-24 | 兰剑智能科技股份有限公司 | 一种移动机器人的校准方法、装置及设备 |
CN113610929A (zh) * | 2021-08-09 | 2021-11-05 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN114549651A (zh) * | 2021-12-03 | 2022-05-27 | 聚好看科技股份有限公司 | 一种基于多面体几何约束的多个3d相机标定方法和设备 |
CN115994955A (zh) * | 2023-03-23 | 2023-04-21 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050156776A1 (en) * | 2003-11-25 | 2005-07-21 | Waite James W. | Centerline and depth locating method for non-metallic buried utility lines |
CN104268934A (zh) * | 2014-09-18 | 2015-01-07 | 中国科学技术大学 | 一种由点云直接重建三维曲面的方法 |
CN105953747A (zh) * | 2016-06-07 | 2016-09-21 | 杭州电子科技大学 | 结构光投影全视角三维成像系统及方法 |
CN106530380A (zh) * | 2016-09-20 | 2017-03-22 | 长安大学 | 一种基于三维激光雷达的地面点云分割方法 |
CN109029284A (zh) * | 2018-06-14 | 2018-12-18 | 大连理工大学 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
-
2019
- 2019-01-28 CN CN201910081279.3A patent/CN111486864B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050156776A1 (en) * | 2003-11-25 | 2005-07-21 | Waite James W. | Centerline and depth locating method for non-metallic buried utility lines |
CN104268934A (zh) * | 2014-09-18 | 2015-01-07 | 中国科学技术大学 | 一种由点云直接重建三维曲面的方法 |
CN105953747A (zh) * | 2016-06-07 | 2016-09-21 | 杭州电子科技大学 | 结构光投影全视角三维成像系统及方法 |
CN106530380A (zh) * | 2016-09-20 | 2017-03-22 | 长安大学 | 一种基于三维激光雷达的地面点云分割方法 |
CN109029284A (zh) * | 2018-06-14 | 2018-12-18 | 大连理工大学 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112327107A (zh) * | 2020-09-17 | 2021-02-05 | 国网天津市电力公司电力科学研究院 | 一种适用于气体绝缘设备内部故障弧光探测和定位的方法 |
CN112710235A (zh) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | 结构光测量传感器的标定方法和装置 |
CN113390411A (zh) * | 2021-06-10 | 2021-09-14 | 中国北方车辆研究所 | 基于变构型感知装置的足式机器人导航及定位方法 |
CN113436274A (zh) * | 2021-06-28 | 2021-09-24 | 兰剑智能科技股份有限公司 | 一种移动机器人的校准方法、装置及设备 |
CN113610929A (zh) * | 2021-08-09 | 2021-11-05 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN113610929B (zh) * | 2021-08-09 | 2023-08-18 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN114549651A (zh) * | 2021-12-03 | 2022-05-27 | 聚好看科技股份有限公司 | 一种基于多面体几何约束的多个3d相机标定方法和设备 |
CN115994955A (zh) * | 2023-03-23 | 2023-04-21 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN111486864B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111486864B (zh) | 基于立体正八边结构的多源传感器联合标定方法 | |
CN112669393B (zh) | 一种激光雷达与相机联合标定方法 | |
CN107194974B (zh) | 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法 | |
CN103557841B (zh) | 一种提高多相机合成影像摄影测量精度的方法 | |
CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
CN104019829B (zh) | 一种基于pos系统的车载全景相机和线阵激光扫描仪的外参标定方法 | |
CN105486289B (zh) | 一种激光摄影测量系统及相机标定方法 | |
CN111145227B (zh) | 一种地下隧道空间多视点云的可迭代整体配准方法 | |
CN101699313A (zh) | 基于摄像机和三维激光雷达的外部参数标定方法及系统 | |
CN109900205B (zh) | 一种高精度的单线激光器和光学相机的快速标定方法 | |
CN111913169B (zh) | 激光雷达内参、点云数据的修正方法、设备及存储介质 | |
CN107481290A (zh) | 基于三坐标测量机的相机高精度标定及畸变补偿方法 | |
CN104048649B (zh) | 一种多视影像与三维模型的快速配准方法 | |
CN115908708B (zh) | 基于Kinect的植物群体全局三维重建方法 | |
CN108447100B (zh) | 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法 | |
CN108225276B (zh) | 一种单星成像目标运动特性反演方法及系统 | |
JPH0680404B2 (ja) | カメラ位置姿勢校正方法 | |
CN110992429B (zh) | 一种单一场景大视场相机外参数标定方法 | |
CN112837314B (zh) | 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法 | |
CN110631555A (zh) | 基于二阶多项式无控制点区域网平差的历史影像正射纠方法 | |
CN113096047A (zh) | 广义云驱动与辐射协同遥感影像几何精校正方法及系统 | |
Wu | Photogrammetry: 3-D from imagery | |
CN115546266B (zh) | 基于局部法向相关的多条带机载激光点云配准方法 | |
CN117058051A (zh) | 一种基于激光点云与微光图像融合的方法及装置 | |
CN115289999B (zh) | 一种三维激光扫描系统的自校准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |