CN111815712B - 一种高精度的相机-单激光仪联合标定方法 - Google Patents
一种高精度的相机-单激光仪联合标定方法 Download PDFInfo
- Publication number
- CN111815712B CN111815712B CN202010584894.9A CN202010584894A CN111815712B CN 111815712 B CN111815712 B CN 111815712B CN 202010584894 A CN202010584894 A CN 202010584894A CN 111815712 B CN111815712 B CN 111815712B
- Authority
- CN
- China
- Prior art keywords
- laser
- value
- camera
- calibration
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000694 effects Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 13
- 238000002474 experimental method Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 208000033830 Hot Flashes Diseases 0.000 description 1
- 206010060800 Hot flush Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种高精度的相机‑单激光仪联合标定方法，重点包括以下：结合基于局部效应的亚像元边缘定位方法对激光光斑进行质心提取；根据相机镜头畸变原理提出了删除边缘行、列棋盘格特征点的方法，提高了相机标定精度；将棋盘格平面角点重投影误差结合激光测距差值组成综合能量判据，对像片进行了筛选，利用筛选后的图片重新标定，提高了相机‑单激光仪互标定精度。本发明提供的有益效果是：对现有的相机‑单激光仪互标定方法进行了改进，提出了一种高精度的相机‑单激光仪互标定方法，该方法能够有效应用于小行星三维重建，并提高重建精度。
Description
技术领域
本发明涉及三维重建领域，尤其涉及一种高精度的相机-单激光仪联合标定方法。
背景技术
近年来,世界各国掀起太阳系深空探测的热潮,先后对月球、火星、小行星等太阳系天体进行了全方位、多手段的探测,深入研究各天体的地质特性和所处的空间环境,探索行星系统的形成和演化历史,寻求解决太阳系起源和生命起源的最基本问题。
重建小行星表面三维模型是小行星质量、体积、惯性轴以及引力场模型的确定依据，同时也是探测器登陆小行星必不可少的关键数据。运用多种传感器集成对小行星进行探测是当前的主流方式，可以极大提升对小行星探测的效率。
目前卫星上常搭载不同类型的传感器相互配合工作。如光学相机成像传感器、激光传感器等。光学成像传感器具有大范围、低功率、高分辨率的优势，故常被运用于深空探测中。小行星表面三维模型可以通过卫星搭载的光学相机在不同位姿条件下拍摄的多张像片进行三维重建获得。光学相机标定是整个图像处理及后续像片三维重建的基础，标定过程中获得相机的内部参数与外部参数，可以将三维世界坐标信息和平面图像坐标信息联合起来。标定的正确与否将会直接影响后续建模结果的精度。
一维激光测距仪因其小型、轻量的优势非常适合小行星探测器携带，因此研究小行星探测器中相机和激光测距仪的联合标定并提供一种简便的标定方法，非常具有价值。然而，在相机-激光仪互定标的过程中存在着许多有待解决的问题，主要如下：
(1)激光光斑过大难以确定光斑质心位置；
(2)互定标结果中激光发射口相对相机光心的位置存在解算不一致的问题；
(3)相机镜头畸变引起棋盘格角点坐标位置偏移，若不加约束则会影响最终相机定标结果。
以上问题的存在，影响着相机和激光测距仪的联合标定的精度，并最终影响了小行星等天体表面的三维重建精度。
发明内容
有鉴于此，本发明针对上述问题提供了一种高精度的相机-单激光仪联合标定方法；首先完成了组合传感器系统的互定标，并在原有的传感器标定方法上加以改进，提出了精度更高的标定方法。之后根据组合传感器系统获取的影像及测距信息对小行星表面进行了三维重建工作，以此模拟对小行星探测的过程。
本发明提供了一种高精度的相机-单激光仪联合标定方法，包括以下：
S101：固定相机和激光仪的相对位姿关系，并打开相机和激光仪；
S102：保持单激光仪的激光束落在棋盘格，并通过相机采集不同姿态的棋盘格图片，得到标定图片集；
S103：根据采集到的标定图片集，利用张正友标定法，求解得到相机的内参数、外参数和相机标定的平均重投影误差RMSE；
S104：采用基于局部效应的亚像素元边缘提取方法得到激光束投影至棋盘格的激光点边缘范围；
S105：根据所述激光点边缘范围计算得到激光点像素级几何中心；
S106：根据所述激光点边缘范围计算得到激光点像素级几何中心和步骤S103中所述的相机的内参数、外参数，计算得到激光测距信息；
S107：将所述平均重投影误差RMSE和所述激光测距信息作为标定图片集中每一张棋盘格图片的综合能量判据；
S108：利用综合能量判据对标定图片集进行筛选和处理，得到筛选和处理后的标定图片集；
S109：利用筛选和处理后的标定图片集重新依次进行张正友标定实验和基于唐庆博提出的相机-单激光标定实验，得到初步相机-单激光互标定结果，即单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程；
S110：根据单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程，结合单激光仪的测距值，对激光点坐标以及单激光仪的测距值进行校正，得到距离校正后的测距值；
S111：将相机的内参数、单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程和真实的距离值作为相机-单激光仪互标定的最终结果，对小行星模型进行三维数据采样，并利用软件Smart3D和3dMax进行三维重建，得到小行星三维模型。
进一步地，步骤S102具体为：从近至远或者由远及近的移动棋盘格，同时调整棋盘格的方位，包括左右旋转、上下旋转和前后俯仰，共采集l张图片；l的取值范围为[c,d]；c，d均为预设值。
进一步地，步骤S104中所述激光点边缘范围为N个由不同的拟合的二元一次方程与预设的窗口相交形成的亚像元点共同形成的封闭曲线，其具体计算过程如下：
所述拟合的二元一次方程的表如式(1)所示：
y＝ak+bkx (1)
式(1)中，各系数的表达式如式(2)所述：
式(2)中，k表示拟合的二元一次方程的编号，k的取值范围为1,2，...,N；h为像元的边长；SL、SM、SR分别表示以像元(ik,jk)为中心，设置的一个5×3窗口的最左列窗口像元强度、中间列窗口像元强度和最右列窗口像元强度，其计算方式为将图像灰度化后对应列的五个像素的像元值求和，像元(ik,jk)为拟合的第k个二元一次方程上的任意一点；A、B分别为边缘直线,即拟合的二元一次方程两侧的两个匀质区域像元强度，计算过程具体如下：
当像元(ik,jk)在x方向的梯度与y方向的梯度的乘积在-1到1之间，包括端点时，A和B的计算式如式(3)：
式(3)中，表示边缘上像元(ik,jk)的强度；SA和SB分别表示该像元中不同强度A和B所占的面积，即分别为强度A和强度B的像元总个数，为已知值；m的取值如式(4)所示：
由式(2)、(3)和(4)计算得到a，b，并得到二元一次方程与设置5×3窗口的亚像元点坐标(ik，jk+ak)；
当像元(ik,jk)在x方向的梯度与y方向的梯度的乘积绝对值大于1时，改变窗口方向，即以像元(ik,jk)为中心设置为3×5的窗口，A和B的计算式如式(5)：
m的取值仍然如式(4)所示；
由式(2)、(4)和(5)计算得到ak，bk，并得到二元一次方程与设置3×5窗口的亚像元点坐标(ik+ak，jk)。
进一步地，步骤S105中所述激光点像素级几何中心，其横纵坐标的计算式为：
式(6)中，Px、Py分别为所述激光点像素级几何中心的横纵坐标；o为拟合出的N个二元一次方程中，像元(ik,jk)在x方向的梯度与y方向的梯度的乘积在-1到1之间的二元一次方程总个数，g为像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>在-1到1之间的二元一次方程的编号，其取值范围为1，2，...，o；p为拟合出的N个二元一次方程中，像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>的绝对值大于1的二元一次方程的总个数，f为像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>的绝对值大于1的二元一次方程的编号，取值范围为1，2,...，p；o+p＝N。
进一步地，所述激光测距信息，具体为：相机坐标系下激光的三维坐标间距与激光测距仪所测得的激光点间距的差值信息，计算式如式(7)：
式(7)中，Ri，Ti，Mi分别为所述标定图片集中第i副棋盘格图片的外参数旋转矩阵、平移矩阵和棋盘格角点的世界坐标；Ri，Ti，Mi中的下标1,2分别表示单激光仪的投射第一激光点和第二激光点；f(·,·)表示根据世界坐标反算第一激光点和第二激光点光斑中心的间距函数，通过标定实验得到；di1i2表示单激光仪测量得到的第一激光点和第二激光点之间的间距值；
进一步地，步骤S107中，所述每一张棋盘格图片的综合能量判据，计算式如(8)所示：
式(8)中，RMSE(i)表示所述标定图片集中第i张棋盘格图片的平均投影误差；min(RMSE)表示所述标定图片集所有棋盘格图片的平均投影误差的最小值；max(RMSE)表示所述标定图片集所有棋盘格图片的平均投影误差的最大值；d(i)表示所述标定图片集中第i张棋盘格图片的激光测距信息；min(d)表示所述标定图片集所有棋盘格图片的激光测距信息的最小值；max(d)表示所述标定图片集所有棋盘格图片的激光测距信息的最大值。
进一步地，步骤S108中，利用综合能量判据对标定图片集进行筛选和处理，得到筛选和处理后的标定图片集，具体为：
S201：通过式(8)计算每一张图片的综合能量判据value(i)得到综合能量判据，得到综合能量判据集合value＝{value(1),value(2),...,value(l)}；
S202：通过排序，得到综合能量判据集合value中的最小值min(value)；
S203：分别计算每一张图片的综合能量判据value(i)与最小值min(value)之间的差值，得到差值集合；
S204：对差值集合进行从大到小的排序，得到排序后的差值集合；
S205：删除排序后差值集合中，前t个差值对应的棋盘格图片，得到筛选后的标定图片集；
S206：以最小值min(value)对应的棋盘格图片为基准图片，依次删除基准图片中棋盘格最外侧的1行1列，2行2列，...，z行z列，分别得到删除1行1列，2行2列，...，z行z列后对应的棋盘格图片；z为根据实际情况的预设值；
S207：将删除1行1列，2行2列，...，z行z列后对应的棋盘格图片的角点坐标重新带入张正友标定法，并重新根据式(8)分别求解得到删除1行1列，2行2列，...，z行z列后对应的z个综合能量判据；
S208：对z个综合能量判据进行从小到大的排序，取最小的综合能量判据删除的行列为标准，对步骤S205中所述筛选后的标定图片集进行相同的行列删除操作，得到筛选和处理后的标定图片集。
进一步地，步骤S109中，所述单激光仪的激光发射口在相机坐标系下的坐标，具体求解过程为：
S301：根据步骤S109中进行的张正友标定实验，得到相机内参数和外参数；
S302：根据所述相机内参数、外参数和式(6)计算出的激光点像素级集合中心，计算得到激光点的世界坐标(Xw，Yw，0)；
S303：通过世界坐标向相机坐标系的转换，即相机的外参数，求解得到激光点在相机坐标系下的坐标(Xc，Yc，Zc)；
S304：通过所述筛选和处理后的标定图片集中的多个投影激光点在相机坐标系下的坐标，利用最小二乘法拟合得到激光束的方向向量
S305：根据激光束的方向向量和任意一个的激光点在相机坐标系下的坐标(Xc，Yc，Zc)计算得到单激光仪的激光发射口在相机坐标系下的坐标，如式(9)：
式(9)中，Ol为单激光仪的激光发射口在相机坐标系下的坐标，q为单激光仪测量得到的棋盘格的激光点到激光发射口之间的距离；
步骤S110中根据单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程，结合单激光仪的测距值，对单激光仪的测距值进行距离校正，得到距离校正后的的测距值，计算式如(10)所示：
式(10)中，DD为距离校正后的的测距值，q为单激光仪的测距值，其方向向量为即步骤S304拟合得到激光束的方向向量；dd为q在单激光仪的激光测距点和距离校正后激光点形成的方向/>上的投影距离，其计算式如式(11)：
本发明提供的有益效果是：对现有的相机-单激光仪互标定方法进行了改进，提出了一种高精度的相机-单激光仪互标定方法，该方法能够有效应用于小行星三维重建，并提高重建精度。
附图说明
图1是本发明一种高精度的相机-单激光仪联合标定方法的流程示意图；
图2是距离校正示意图；
图3是本发明采集的标定图片集；
图4是利用本发明方法进行的小行星三维模型重建效果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，本发明的实施例提供了一种高精度的相机-单激光仪联合标定方法，包括以下：
S101：固定相机和激光仪的相对位姿关系，并打开相机和激光仪；
S102：保持单激光仪的激光束落在棋盘格，并通过相机采集不同姿态的棋盘格图片，得到标定图片集；
S103：根据采集到的标定图片集，利用张正友标定法，求解得到相机的内参数、外参数和相机标定的平均重投影误差RMSE；
S104：采用基于局部效应的亚像素元边缘提取方法得到激光束投影至棋盘格的激光点边缘范围；
S105：根据所述激光点边缘范围计算得到激光点像素级几何中心；
S106：根据所述激光点边缘范围计算得到激光点像素级几何中心和步骤S103中所述的相机的内参数、外参数，计算得到激光测距信息；
S107：将所述平均重投影误差RMSE和所述激光测距信息作为标定图片集中每一张棋盘格图片的综合能量判据；
S108：利用综合能量判据对标定图片集进行筛选和处理，得到筛选和处理后的标定图片集；
S109：利用筛选和处理后的标定图片集重新依次进行张正友标定实验和基于唐庆博提出的相机-单激光标定实验，得到初步相机-单激光互标定结果，即单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程；
S110：根据单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程，结合单激光仪的测距值，对激光点坐标以及单激光仪的测距值进行校正，得到距离校正后的测距值；
S111：将相机的内参数、单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程和真实的距离值作为相机-单激光仪互标定的最终结果，对小行星模型进行三维数据采样，并利用软件Smart3D和3dMax进行三维重建，得到小行星三维模型。
步骤S102具体为：从近至远或者由远及近的移动棋盘格，同时调整棋盘格的方位，包括左右旋转、上下旋转和前后俯仰，共采集l张图片；l的取值范围为[c,d]；本发明中c取20，d取30。
步骤S104中所述激光点边缘范围为N个由不同的拟合的二元一次方程与预设的窗口相交形成的亚像元点共同形成的封闭曲线，其具体计算过程如下：
所述拟合的二元一次方程的表如式(1)所示：
y＝ak+bkx (1)
式(1)中，各系数的表达式如式(2)所述：
式(2)中，k表示拟合的二元一次方程的编号，k的取值范围为1,2，...,N；h为像元的边长；SL、SM、SR分别表示以像元(ik,jk)为中心，设置的一个5×3窗口的最左列窗口像元强度、中间列窗口像元强度和最右列窗口像元强度，其计算方式为将图像灰度化后对应列的五个像素的像元值求和，像元(ik,jk)为拟合的第k个二元一次方程上的任意一点；A、B分别为边缘直线,即拟合的二元一次方程两侧的两个匀质区域像元强度，计算过程具体如下：
当像元(ik,jk)在x方向的梯度与y方向的梯度的乘积在-1到1之间，包括端点时，A和B的计算式如式(3)：
式(3)中，表示边缘上像元(ik,jk)的强度；SA和SB分别表示该像元中不同强度A和B所占的面积，即分别为强度A和强度B的像元总个数，为已知值；m的取值如式(4)所示：
由式(2)、(3)和(4)计算得到a，b，并得到二元一次方程与设置5×3窗口的亚像元点坐标(ik，jk+ak)；
当像元(ik,jk)在x方向的梯度与y方向的梯度的乘积绝对值大于1时，改变窗口方向，即以像元(ik,jk)为中心设置为3×5的窗口，A和B的计算式如式(5)：
m的取值仍然如式(4)所示；
由式(2)、(4)和(5)计算得到ak，bk，并得到二元一次方程与设置3×5窗口的亚像元点坐标(ik+ak，jk)。
步骤S105中所述激光点像素级几何中心，其横纵坐标的计算式为：
式(6)中，Px、Py分别为所述激光点像素级几何中心的横纵坐标；o为拟合出的N个二元一次方程中，像元(ik,jk)在x方向的梯度与y方向的梯度的乘积在-1到1之间的二元一次方程总个数，g为像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>在-1到1之间的二元一次方程的编号，其取值范围为1，2，...，o；p为拟合出的N个二元一次方程中，像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>的绝对值大于1的二元一次方程的总个数，f为像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>的绝对值大于1的二元一次方程的编号，取值范围为1，2,...，p；o+p＝N。
所述激光测距信息，具体为：相机坐标系下激光的三维坐标间距与激光测距仪所测得的激光点间距的差值信息，计算式如式(7)：
式(7)中，Ri，Ti，Mi分别为所述标定图片集中第i副棋盘格图片的外参数旋转矩阵、平移矩阵和棋盘格角点的世界坐标；Ri，Ti，Mi中的下标1,2分别表示单激光仪的投射第一激光点和第二激光点；f(·,·)表示根据世界坐标反算第一激光点和第二激光点光斑中心的间距函数，通过标定实验得到；di1i2表示单激光仪测量得到的第一激光点和第二激光点之间的间距值；
步骤S107中，所述每一张棋盘格图片的综合能量判据，计算式如(8)所示：
式(8)中，RMSE(i)表示所述标定图片集中第i张棋盘格图片的平均投影误差；min(RMSE)表示所述标定图片集所有棋盘格图片的平均投影误差的最小值；max(RMSE)表示所述标定图片集所有棋盘格图片的平均投影误差的最大值；d(i)表示所述标定图片集中第i张棋盘格图片的激光测距信息；min(d)表示所述标定图片集所有棋盘格图片的激光测距信息的最小值；max(d)表示所述标定图片集所有棋盘格图片的激光测距信息的最大值。
步骤S108中，利用综合能量判据对标定图片集进行筛选和处理，得到筛选和处理后的标定图片集，具体为：
S201：通过式(8)计算每一张图片的综合能量判据value(i)得到综合能量判据，得到综合能量判据集合value＝{value(1),value(2),...,value(l)}；
S202：通过排序，得到综合能量判据集合value中的最小值min(value)；
S203：分别计算每一张图片的综合能量判据value(i)与最小值min(value)之间的差值，得到差值集合；
S204：对差值集合进行从大到小的排序，得到排序后的差值集合；
S205：删除排序后差值集合中，前t个差值对应的棋盘格图片，得到筛选后的标定图片集；
S206：以最小值min(value)对应的棋盘格图片为基准图片，依次删除基准图片中棋盘格最外侧的1行1列，2行2列，...，z行z列，分别得到删除1行1列，2行2列，...，z行z列后对应的棋盘格图片；z为根据实际情况的预设值；
S207：将删除1行1列，2行2列，...，z行z列后对应的棋盘格图片的角点坐标重新带入张正友标定法，并重新根据式(8)分别求解得到删除1行1列，2行2列，...，z行z列后对应的z个综合能量判据；
S208：对z个综合能量判据进行从小到大的排序，取最小的综合能量判据删除的行列为标准，对步骤S205中所述筛选后的标定图片集进行相同的行列删除操作，得到筛选和处理后的标定图片集。
步骤S109中，所述单激光仪的激光发射口在相机坐标系下的坐标，具体求解过程为：
S301：根据步骤S109中进行的张正友标定实验，得到相机内参数和外参数；
S302：根据所述相机内参数、外参数和式(6)计算出的激光点像素级集合中心，计算得到激光点的世界坐标(Xw，Yw，0)；
S303：通过世界坐标向相机坐标系的转换，即相机的外参数，求解得到激光点在相机坐标系下的坐标(Xc，Yc，Zc)；
S304：通过所述筛选和处理后的标定图片集中的多个投影激光点在相机坐标系下的坐标，利用最小二乘法拟合得到激光束的方向向量
S305：根据激光束的方向向量和任意一个的激光点在相机坐标系下的坐标(Xc，Yc，Zc)计算得到单激光仪的激光发射口在相机坐标系下的坐标，如式(9)：
式(9)中，Ol为单激光仪的激光发射口在相机坐标系下的坐标，q为单激光仪测量得到的棋盘格的激光点到激光发射口之间的距离；
步骤S110中根据单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程，结合单激光仪的测距值，对单激光仪的测距值进行距离校正，得到距离校正后的的测距值，计算式如(10)所示：
式(10)中，DD为距离校正后的的测距值，q为单激光仪的测距值，其方向向量为即步骤S304拟合得到激光束的方向向量；dd为q在单激光仪的激光测距点和距离校正后激光点形成的方向/>上的投影距离，其计算式如式(11)：
请参考图2，图2是距离校正示意图；图2中真实距离值d，即为上述的q；图2中改进的距离值d，即为上述的DD；
本发明实施例中，使用的相机为Adimec公司生产的CMOS Q-4A180型号，其中物理像素尺寸为5.5微米，分辨率为2048*2048；
请参考图3，图3是本发明采集的标定图片集；首先打开单激光仪，然后操作相机对棋盘格进行拍摄，在每个拍摄距离上，对棋盘格进行不同角度姿态的调整，获得相机标定所需的21张原始棋盘格影像以及测距值；
基于matlabR2018a平台，使用原始21张影像进行经典张正友定标算法实验。实验结果如表1所示：
表1相机标定结果
其中平均重投影误差计算得0.1770pixel；
一维单激光仪对21张影像的测距结果如表2所示。
表2激光测距信息数据
根据步骤S105计算激光光斑质心，对21张原始影像的激光光斑质心进行提取，结果如表3所示：
表3
根据激光质心世界坐标及相机内参和像片外参数计算的激光质心相机坐标系下坐标如表4所示：
根据表4所求得激光质心相机坐标系下坐标可以进行线性拟合，得到以激光发射口为起点的射线在相机坐标系下的射线方程。该射线方程为[-1.4904，38.4650，2453.0600，0.0025，-0.0120，0.9999]。激光射线方程中，前三项为激光直线经过的一点，后三项为激光直线方向向量。
根据激光质心的相机坐标系下坐标、激光直线方程及测距信息求得激光发射口的相机坐标系下坐标。坐标信息如表5所示。
表5
由上表的标准差结果可以看出，激光发射口坐标反算的Z坐标波动较大无法达到稳定状态。最终求得激光发射口坐标均值[-7.7775，67.4956，-14.0274]，单位为mm。Z值解算结果的不确定性较高，波动范围：5.5514mm,标准差为1.254mm。
根据步骤S107-S108，进行综合能量判据。
其中21幅原始影像的综合能量判据如表6所示。
表6
/>
由表中数据分析可得，像片序号为11，12，13，17，18的像片综合能量判据明显较于其他像片的过大，因此需要剔除，而像片14则作为基准影像参与后续计算。
将删除行列的最大限值设定为12行/列。在删除过程中的综合能量判据如表7所示。
表7
从表7计算结果可知，当删除6行6列时，综合能量判据达到最小值，故将由外到内的6行6列进行删除，并将剩余棋盘格角点带入后续张正友标定算法继续解算。张正友定标算法标定结果如表8所示。
表8
其中平均重投影误差为0.0996pixel。
根据改进后的相机标定数据及激光点世界坐标进行相机-激光仪互定标解算。
求得以激光发射口为起点的射线方程坐标表达式为[-0.7495，36.6218，2414.2796，0.0028，-0.0132，0.9999]，激光发射口坐标为[-7.6394，68.8409，-33.3961]，单位为mm。随后对初始互定标结果进行测距值改进等操作，改进后求得的激光发射口在相机坐标系下坐标如表9所示。
表9
此时改进后的激光发射口在相机坐标系下的坐标为[-7.6394，68.8409，-33.7086]。由上表标准差结果可知，在经过基于经典张正友定标算法改进的结果中，激光发射口在X、Y、Z三个方向的坐标解算结果较为稳定，尤其Z方向的标准差大幅度降低，由传统方法的1.254mm降低到0.6487mm；波动范围由5.5514mm降低到1.9675mm。证明了算法改进后，解算的稳定性。表10为经典张正友定标算法与本发明提出方法结果的关键数据对比。
表10
由表10的对比可以看出，本文提出的方法在二维平面的平均重投影误差和沿激光射线方向的测距差值均得到了改进。
根据上述互标定结果，利用140张沿水平方向的近距离拍摄照片以及160张沿竖直方向的近距离拍摄照片对小行星三维模型进行三维重建。三维重建过程使用软件为Smart3D和3dMax。在空三处理过程中，共有209449个连接点，重投影误差均值为0.49个像素，平均重投影误差为0.6个像素。三维模型请参考图4，图4是利用本发明方法进行的小行星三维模型重建效果示意图；
使用激光测距信息赋予比例尺的方法来对小行星三维模型开展精度验证。取激光点位置最明显的5幅影像，比例尺结果如表11。
表11
取K的均值0.0492对标志物进行验证。将已知实际物理尺寸的标志物放于模型上进行三维重建，通过上述获得的比例尺结果对模型中物体边长进行处理得到其对应的实际物理尺寸。如表12所示。
表12
由上表可知，最终小行星模型的三维重建相对精度为：4.4/2329～4.4/2418。
本发明实施的有益效果是：对现有的相机-单激光仪互标定方法进行了改进，提出了一种高精度的相机-单激光仪互标定方法，该方法能够有效应用于小行星三维重建，并提高重建精度。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种高精度的相机-单激光仪联合标定方法，其特征在于：具体包括以下步骤：
S101：固定相机和激光仪的相对位姿关系，并打开相机和激光仪；
S102：保持单激光仪的激光束落在棋盘格，并通过相机采集不同姿态的棋盘格图片，得到标定图片集；
步骤S102具体为：从近至远或者由远及近的移动棋盘格，同时调整棋盘格的方位，包括左右旋转、上下旋转和前后俯仰，共采集l张图片；l的取值范围为[c,d]；c，d均为预设值；
S103：根据采集到的标定图片集，利用张正友标定法，求解得到相机的内参数、外参数和相机标定的平均重投影误差RMSE；
S104：采用基于局部效应的亚像素元边缘提取方法得到激光束投影至棋盘格的激光点边缘范围；
S105：根据所述激光点边缘范围计算得到激光点像素级几何中心；
S106：根据所述激光点边缘范围计算得到激光点像素级几何中心和步骤S103中所述的相机的内参数、外参数，计算得到激光测距信息；
所述激光测距信息，具体为：相机坐标系下激光的三维坐标间距与激光测距仪所测得的激光点间距的差值信息，计算式如式(7)：
式(7)中，Ri，Ti，Mi分别为所述标定图片集中第i副棋盘格图片的外参数旋转矩阵、平移矩阵和棋盘格角点的世界坐标；Ri，Ti，Mi中的下标1,2分别表示单激光仪的投射第一激光点和第二激光点；f(·,·)表示根据世界坐标反算第一激光点和第二激光点光斑中心的间距函数，通过标定实验得到；di1i2表示单激光仪测量得到的第一激光点和第二激光点之间的间距值；
S107：将所述平均重投影误差RMSE和所述激光测距信息作为标定图片集中每一张棋盘格图片的综合能量判据；
步骤S107中，所述每一张棋盘格图片的综合能量判据，计算式如(8)所示：
式(8)中，RMSE(i)表示所述标定图片集中第i张棋盘格图片的平均投影误差；min(RMSE)表示所述标定图片集所有棋盘格图片的平均投影误差的最小值；max(RMSE)表示所述标定图片集所有棋盘格图片的平均投影误差的最大值；d(i)表示所述标定图片集中第i张棋盘格图片的激光测距信息；min(d)表示所述标定图片集所有棋盘格图片的激光测距信息的最小值；max(d)表示所述标定图片集所有棋盘格图片的激光测距信息的最大值；
S108：利用综合能量判据对标定图片集进行筛选和处理，得到筛选和处理后的标定图片集；
步骤S108中，利用综合能量判据对标定图片集进行筛选和处理，得到筛选和处理后的标定图片集，具体为：
S201：通过式(8)计算每一张图片的综合能量判据value(i)得到综合能量判据，得到综合能量判据集合value＝{value(1),value(2),...,value(l)}；
S202：通过排序，得到综合能量判据集合value中的最小值min(value)；
S203：分别计算每一张图片的综合能量判据value(i)与最小值min(value)之间的差值，得到差值集合；
S204：对差值集合进行从大到小的排序，得到排序后的差值集合；
S205：删除排序后差值集合中，前t个差值对应的棋盘格图片，得到筛选后的标定图片集；
S206：以最小值min(value)对应的棋盘格图片为基准图片，依次删除基准图片中棋盘格最外侧的1行1列，2行2列，...，z行z列，分别得到删除1行1列，2行2列，...，z行z列后对应的棋盘格图片；z为根据实际情况的预设值；
S207：将删除1行1列，2行2列，...，z行z列后对应的棋盘格图片的角点坐标重新带入张正友标定法，并重新根据式(8)分别求解得到删除1行1列，2行2列，...，z行z列后对应的z个综合能量判据；
S208：对z个综合能量判据进行从小到大的排序，取最小的综合能量判据删除的行列为标准，对步骤S205中所述筛选后的标定图片集进行相同的行列删除操作，得到筛选和处理后的标定图片集；
S109：利用筛选和处理后的标定图片集重新依次进行张正友标定实验和基于唐庆博提出的相机-单激光标定实验，得到初步相机-单激光互标定结果，即单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程；
S110：根据单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程，结合单激光仪的测距值，对激光点坐标以及单激光仪的测距值进行校正，得到距离校正后的测距值；
S111：将相机的内参数、单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程和真实的距离值作为相机-单激光仪互标定的最终结果，对小行星模型进行三维数据采样，并利用软件Smart3D和3dMax进行三维重建，得到小行星三维模型。
2.如权利要求1所述的一种高精度的相机-单激光仪联合标定方法，其特征在于：步骤S104中所述激光点边缘范围为N个由不同的拟合的二元一次方程与预设的窗口相交形成的亚像元点共同形成的封闭曲线，其具体计算过程如下：
所述拟合的二元一次方程的表如式(1)所示：
y＝ak+bkx (1)
式(1)中，各系数的表达式如式(2)所述：
式(2)中，k表示拟合的二元一次方程的编号，k的取值范围为1,2，...,N；h为像元的边长；SL、SM、SR分别表示以像元(ik,jk)为中心，设置的一个5×3窗口的最左列窗口像元强度、中间列窗口像元强度和最右列窗口像元强度，其计算方式为将图像灰度化后对应列的五个像素的像元值求和，像元(ik,jk)为拟合的第k个二元一次方程上的任意一点；A、B分别为边缘直线,即拟合的二元一次方程两侧的两个匀质区域像元强度，计算过程具体如下：
当像元(ik,jk)在x方向的梯度与y方向的梯度的乘积在-1到1之间，包括端点时，A和B的计算式如式(3)：
式(3)中，表示边缘上像元(ik,jk)的强度；SA和SB分别表示该像元中不同强度A和B所占的面积，即分别为强度A和强度B的像元总个数，为已知值；m的取值如式(4)所示：
由式(2)、(3)和(4)计算得到a，b，并得到二元一次方程与设置5×3窗口的亚像元点坐标(ik，jk+ak)；
当像元(ik,jk)在x方向的梯度与y方向的梯度的乘积绝对值大于1时，改变窗口方向，即以像元(ik,jk)为中心设置为3×5的窗口，A和B的计算式如式(5)：
m的取值仍然如式(4)所示；
由式(2)、(4)和(5)计算得到ak，bk，并得到二元一次方程与设置3×5窗口的亚像元点坐标(ik+ak，jk)。
3.如权利要求2所述的一种高精度的相机-单激光仪联合标定方法，其特征在于：步骤S105中所述激光点像素级几何中心，其横纵坐标的计算式为：
式(6)中，Px、Py分别为所述激光点像素级几何中心的横纵坐标；o为拟合出的N个二元一次方程中，像元(ik,jk)在x方向的梯度与y方向的梯度的乘积在-1到1之间的二元一次方程总个数，g为像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>在-1到1之间的二元一次方程的编号，其取值范围为1，2，...，o；p为拟合出的N个二元一次方程中，像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>的绝对值大于1的二元一次方程的总个数，f为像元(ik,jk)在x方向的梯度与y方向的梯度的乘积/>的绝对值大于1的二元一次方程的编号，取值范围为1，2,...，p；o+p＝N。
4.如权利要求3所述的一种高精度的相机-单激光仪联合标定方法，其特征在于：步骤S109中，所述单激光仪的激光发射口在相机坐标系下的坐标，具体求解过程为：
S301：根据步骤S109中进行的张正友标定实验，得到相机内参数和外参数；
S302：根据所述相机内参数、外参数和式(6)计算出的激光点像素级集合中心，计算得到激光点的世界坐标(Xw，Yw，0)；
S303：通过世界坐标向相机坐标系的转换，即相机的外参数，求解得到激光点在相机坐标系下的坐标(Xc，Yc，Zc)；
S304：通过所述筛选和处理后的标定图片集中的多个投影激光点在相机坐标系下的坐标，利用最小二乘法拟合得到激光束的方向向量
S305：根据激光束的方向向量和任意一个的激光点在相机坐标系下的坐标(Xc，Yc，Zc)计算得到单激光仪的激光发射口在相机坐标系下的坐标，如式(9)：
式(9)中，Ol为单激光仪的激光发射口在相机坐标系下的坐标，q为单激光仪测量得到的棋盘格的激光点到激光发射口之间的距离。
5.如权利要求4所述的一种高精度的相机-单激光仪联合标定方法，其特征在于：步骤S110中根据单激光仪的激光发射口在相机坐标系下的坐标和激光束的直线方程，结合单激光仪的测距值，对单激光仪的测距值进行距离校正，得到距离校正后的的测距值，计算式如(10)所示：
式(10)中，DD为距离校正后的的测距值，q为单激光仪的测距值，其方向向量为即步骤S304拟合得到激光束的方向向量；dd为q在单激光仪的激光测距点和距离校正后激光点形成的方向/>上的投影距离，其计算式如式(11)：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010584894.9A CN111815712B (zh) | 2020-06-24 | 2020-06-24 | 一种高精度的相机-单激光仪联合标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010584894.9A CN111815712B (zh) | 2020-06-24 | 2020-06-24 | 一种高精度的相机-单激光仪联合标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815712A CN111815712A (zh) | 2020-10-23 |
| CN111815712B true CN111815712B (zh) | 2023-12-15 |
Family
ID=72845522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010584894.9A Active CN111815712B (zh) | 2020-06-24 | 2020-06-24 | 一种高精度的相机-单激光仪联合标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815712B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113208882A (zh) * | 2021-03-16 | 2021-08-06 | 宁波职业技术学院 | 一种基于深度学习的盲人智能避障方法及系统 |
| CN113324538B (zh) * | 2021-05-08 | 2022-10-21 | 中国科学院光电技术研究所 | 一种合作目标远距离高精度六自由度位姿测量方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103499297A (zh) * | 2013-10-25 | 2014-01-08 | 爱科维申科技（天津）有限公司 | 一种基于ccd的高精度测量方法 |
| KR101379787B1 (ko) * | 2013-05-02 | 2014-03-31 | 서울과학기술대학교 산학협력단 | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 |
| CN108765328A (zh) * | 2018-05-18 | 2018-11-06 | 凌美芯（北京）科技有限责任公司 | 一种高精度多特征平面模板及其畸变优化和标定方法 |
| CN110044262A (zh) * | 2019-05-09 | 2019-07-23 | 哈尔滨理工大学 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
| CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
| CN110443856A (zh) * | 2019-08-12 | 2019-11-12 | 广州图语信息科技有限公司 | 一种3d结构光模组标定方法、存储介质、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002086420A1 (en) * | 2001-04-19 | 2002-10-31 | Dimensional Photonics, Inc. | Calibration apparatus, system and method |
-
2020
- 2020-06-24 CN CN202010584894.9A patent/CN111815712B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101379787B1 (ko) * | 2013-05-02 | 2014-03-31 | 서울과학기술대학교 산학협력단 | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 |
| CN103499297A (zh) * | 2013-10-25 | 2014-01-08 | 爱科维申科技（天津）有限公司 | 一种基于ccd的高精度测量方法 |
| CN108765328A (zh) * | 2018-05-18 | 2018-11-06 | 凌美芯（北京）科技有限责任公司 | 一种高精度多特征平面模板及其畸变优化和标定方法 |
| CN110044262A (zh) * | 2019-05-09 | 2019-07-23 | 哈尔滨理工大学 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
| CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
| CN110443856A (zh) * | 2019-08-12 | 2019-11-12 | 广州图语信息科技有限公司 | 一种3d结构光模组标定方法、存储介质、电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| Camera Calibration Method Based on Laser Ranging;Liming Song et al.;《2013 5th International Conference on Intelligent Human-Machine Systems and Cybernetics》;374-377 * |
| 基于单相机序列图像的三维重建技术研究及应用;贾华宇;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-2214 * |
| 激光雷达和多相机融合的智能标定方法研究;王晨宇;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;C035-355 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815712A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410256B (zh) | 基于互信息的点云与影像自动高精度配准方法 | |
| CN110285827B (zh) | 一种距离约束的摄影测量高精度目标定位方法 | |
| CN105046251B (zh) | 一种基于环境一号卫星遥感影像的自动正射校正方法 | |
| CN111815712B (zh) | 一种高精度的相机-单激光仪联合标定方法 | |
| CN100376883C (zh) | 一种基于像素频率的星敏感器校准方法 | |
| CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN111366592B (zh) | 基于工业摄影测量的破片自动检测系统 | |
| CN106091983A (zh) | 包含扫描方向信息的线结构光视觉测量系统完整标定方法 | |
| CN113324528B (zh) | 已知摄站位置的近景摄影测量目标定位方法及系统 | |
| CN113947638B (zh) | 鱼眼相机影像正射纠正方法 | |
| Rüther et al. | A comparison of close-range photogrammetry to terrestrial laser scanning for heritage documentation | |
| CN108447100B (zh) | 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法 | |
| CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| Yuan et al. | A precise calibration method for line scan cameras | |
| CN113160331B (zh) | 一种基于视觉系统成像的外参数标定方法 | |
| CN114758011A (zh) | 融合离线标定结果的变焦相机在线标定方法 | |
| CN112164119B (zh) | 一种适用于狭小空间的环绕放置多摄像机系统标定方法 | |
| CN113920201A (zh) | 极线几何约束的鱼眼相机标定方法 | |
| CN115578448B (zh) | 一种基于ccd观测数据批处理的天文定位方法及系统 | |
| CN116021519A (zh) | 一种基于tof相机采摘机器人手眼标定方法以及装置 | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| CN111768448A (zh) | 一种基于多相机检测的空间坐标系标定方法 | |
| CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |