CN115187676A - 一种高精度线激光三维重建标定方法 - Google Patents

一种高精度线激光三维重建标定方法 Download PDF

Info

Publication number
CN115187676A
CN115187676A CN202210926776.0A CN202210926776A CN115187676A CN 115187676 A CN115187676 A CN 115187676A CN 202210926776 A CN202210926776 A CN 202210926776A CN 115187676 A CN115187676 A CN 115187676A
Authority
CN
China
Prior art keywords
coordinate system
points
point set
laser
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210926776.0A
Other languages
English (en)
Inventor
郑道勤
齐文博
王侃
威池军博
马恺璘
王建力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongke Rowing Ship Information Technology Co ltd
Original Assignee
Chongqing Zhongke Rowing Ship Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongke Rowing Ship Information Technology Co ltd filed Critical Chongqing Zhongke Rowing Ship Information Technology Co ltd
Priority to CN202210926776.0A priority Critical patent/CN115187676A/zh
Publication of CN115187676A publication Critical patent/CN115187676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种高精度线激光三维重建标定方法，包括：通过阶梯标准量块和二维标靶进行多高度标定，选取邻近激光的角点，采用张氏标定法进行求解，完成相机标定；发射激光至物体表面，并采用标定后的相机采集对应的原始图像；基于改良灰度重心和雅可比矩阵的中心线提取算法，获取初始中心线点集，并采用去噪算法对点集进行去噪，得到过滤噪点后的中心线点集；基于小孔成像原理和特殊正交群的约束，结合最小二乘和随机参数搜索方法，获取最优光平面方程；根据中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体轮廓的三维点云数据，完成三维重建。本发明提升了线激光三维重建的精度，简化了标定过程，降低了标定成本。

Description

一种高精度线激光三维重建标定方法
技术领域
本发明涉及三维重建技术领域，尤其涉及一种高精度线激光三维重建标定方法。
背景技术
基于线激光的三维重建技术，主要是通过向物体表面投射激光，激光由于物体表面深度的变化以及可能的间隙而受到调制，表现在图像中则是光条发生了变化和不连续，变化的程度与深度成正比，不连续则显示出了物体表面的物理间隙。通过数学模型重建此调制过程，从而根据激光平面和物体外表面交线的二维激光条纹图像获得其三维坐标。由于其重建速度快、结构简单、精度高、抗干扰能力强的优点，被广泛应用于汽车生产、电子制造等各个领域中的产品尺寸检测、焊缝跟踪、工件轮廓测量、机器人轨迹引导等诸多场景中。基于线激光的三维重建技术主要包括相机标定、激光条纹中心线提取、激光平面标定等部分，其中，激光条纹中心线提取有灰度重心法、基于Hessian矩阵的steger算法等众多成熟解决方案，而相机标定主要使用二维标靶的张氏标定法及其改良方法来完成。
激光平面标定方法是整个基于线激光的三维重建技术中的重中之重，直接影响到三维重建算法的精度，国内外学者进行了深入研究，提出了如利用精密机械结构的运动解决了控制点提取和光平面标定问题的拉丝法和齿型法，无需特制标定靶物，利用机器人自身的高精度运动构建附加约束，完成光平面标定的自标定方法，利用已知等距平行线求取平面消隐线的原理完成光平面标定的平行线靶标法，以及基于交比不变定理的三维标靶法。但是，现有技术中的标定方法，存在重建精度较低、标定过程复杂和标定成本高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种高精度线激光三维重建标定方法。
一种高精度线激光三维重建标定方法，包括以下步骤：通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，选取邻近激光的角点作为求解域，采用张氏标定法，求解出相机的外参、内参和畸变系数，完成相机标定；通过激光发射器发射激光至物体表面，并采用完成标定后的相机采集激光照射至物体表面的激光条纹原始图像；基于改良灰度重心和雅可比矩阵的中心线提取算法，对所述原始图像进行中心线提取，获取初始中心线点集，并采用基于随机一致采样算法的去噪算法，过滤所述初始中心线点集中的噪点，得到过滤噪点之后的中心线点集；基于小孔成像原理和特殊正交群的性质，得到中心线点集中所有点在相机坐标系的坐标，结合最小二乘和随机参数搜索方法，获取最优光平面方程；根据所述中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并转换到世界坐标系，得到物体表面轮廓点的三维点云数据，完成三维重建。
在其中一个实施例中，所述通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，具体包括：调整工作台高度，使激光发射器的工作距离覆盖全量程；调整二维标靶的位姿，并保存调整好位姿后二维标靶的照片；放置第一量块，并将所述二维标靶放置在所述第一量块上，调整好位姿后，保存照片，完成第一量块高度的标定；重复放置不同的标准量块，直至完成全量程范围内所有高度的标定。
在其中一个实施例中，所述选取邻近激光的角点作为求解域，采用张氏标定法，求解出相机的外参、内参和畸变系数，完成相机标定，具体包括：选取邻近激光的角点作为张氏标定法的求解域；将非线性优化的无约束最小二乘问题添加特殊正交群的约束，转化为有约束的最小二乘问题；采用拉格朗日乘子法求解所述有约束的最小二乘问题，并使用LM算法得到内参矩阵、外参矩阵和畸变系数；将所述外参矩阵中的旋转矩阵从矩阵空间重新投影到SE3流形空间，得到最优旋转矩阵，并根据所述最优旋转矩阵得到相机的外参、内参和畸变系数，完成相机标定。
在其中一个实施例中，所述基于改良灰度重心和雅可比矩阵的中心线提取算法，对所述原始图像进行中心线提取，获取初始中心线点集，具体包括：对所述原始图像采用最大池化进行16倍的下采样；对下采样的图像进行线扫描，获取ROI区域；对ROI区域进行图像处理，计算y方向上的雅可比矩阵；采用预先设定的高低阈值对所述雅可比矩阵进行判断，选取候选中心点；按y方向对所有候选中心点进行加权平均，权重为灰度值，得到最终中心点，根据所有最终中心点构成初始中心线点集。
在其中一个实施例中，所述采用基于随机一致采样算法的去噪算法，过滤所述初始中心线点集中的噪点，得到过滤噪点之后的中心线点集，具体包括：在所述初始中心线点集中随机选择两点，计算得到过两点的直线方程，记为标准直线；基于所述标准直线，设置阈值T，所述阈值T表示点到标准直线的距离；计算所述初始中心线点集中所有点到所述标准直线的距离，统计距离小于阈值T的点个数，记为n1；重复有放回的选取不同的两个点，并计算初始中心线点集中点到标准直线的距离小于阈值T的点个数，得到n1，n2…nk；选取n1，n2…nk中的最大值nmax＝maxi∈[1，k]{nj}，将最大值对应的初始中心线点集中至所述标准直线距离小于阈值T的点认定为中心点，大于或等于阈值T的点认定为噪点，得到过滤噪点之后的中心线点集。
在其中一个实施例中，所述基于小孔成像原理和特殊正交群的性质，得到中心线点集中所有点在相机坐标系的坐标，具体包括：根据小孔成像模型，得到像素坐标系的点到相机坐标系的对应关系为：
Figure BDA0003779970160000031
式中，fx、fy分别为相机在x轴、y轴方向的焦距，(u，v)为中心线点集在像素坐标系下的坐标，(xc，yc，zc)为对应点在相机坐标系下的坐标；基于小孔成像原理，有：
Figure BDA0003779970160000032
中心线点集中的点在相机坐标系中位于标靶平面上，由旋转矩阵的性质得到最优旋转矩阵的第三列向量，为：
Figure BDA0003779970160000033
其中，所述最优旋转矩阵的第三列向量是世界坐标系的Z轴在相机坐标系的分量，则r3为相机坐标系下靶平面的法向量，且原世界坐标系的原点在相机坐标系下的坐标为(t1，t2，t3)，则二者的向量积为0，即：
r13(xc-t1)+r23(yc-t2)+r33(zc-t3)＝0 (4)
整理得到标靶平面方程为：
r13xc+r23yc+r33zc-(r13t1+r23t2+r33t3)＝0 (5)
联立像素坐标系到相机坐标系的变换和标靶平面方程得：
Figure BDA0003779970160000041
解得中心线在相机坐标系下的坐标为：
Figure BDA0003779970160000042
根据式(7)计算得到激光发射器投射在标靶平面上的点在相机坐标系上的坐标。
在其中一个实施例中，所述结合最小二乘和随机参数搜索方法，获取最优光平面方程，具体包括：设随机参数搜索的次数为m，特征点个数为f，设光平面方程为：
z＝ax+by+c (8)
基于截断正态分布随机在中心线点集中提取f个特征点，对应的概率分布为：
Figure BDA0003779970160000043
通过最小二乘法，基于提取的f个特征点进行求解，公式为：
Figure BDA0003779970160000044
采用随机参数搜索策略，计算所有点到光平面方程的平均距离∈i，完成第一次随机搜索：
Figure BDA0003779970160000045
重复进行最小二乘拟合平面方程和随机搜索，直至完成m次参数搜索；计算搜索过程中最小的平均距离，得到参数空间的最优解，记为最优参数，为：
Figure BDA0003779970160000051
将所述最优参数带入光平面方程，得到最优光平面方程。
在其中一个实施例中，根据所述中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并转换到世界坐标系，得到物体表面轮廓的三维点云数据，完成二维到三维的重建，具体包括：在最优参数分别为A、B和C时，激光平面在相机坐标系下的最优光平面方程为：
zc＝Axc+Byc+C (13)
联立式(1)和(13)，得到像素坐标系下的点到相机坐标系下的计算公式，为：
Figure BDA0003779970160000052
根据上式计算得到中心线点集中的所有点在相机坐标系的坐标；利用已标定好的外参，将中心线点集中所有点在相机坐标系的坐标转换为世界坐标系中的坐标，公式为：
Figure BDA0003779970160000053
根据中心线点集中所有点在世界坐标系中的坐标，得到物体轮廓的三维点云数据，根据物体轮廓的三维点云数据，完成物体的三维重建。
相比于现有技术，本发明的优点及有益效果在于：通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，选取邻近激光的角点作为求解域，采用张氏标定法，确保不同高度的重建精度，求解出相机的外参、内参和畸变参数，完成相机标定；通过激光发射器发射激光至物体表面，并采用完成标定后的相机采集激光照射至物体表面的原始图像；基于改良灰度重心算法和雅可比矩阵的中心线提取算法，对原始图像进行中心线提取，获取初始中心线点集，提升了激光条纹中心线提取的精度和效率，并进一步采用基于随机一致采样算法的去噪算法，过滤初始中心线点集的噪点，得到过滤噪点之后的中心线点集，提高中心线提取算法的精度；基于小孔成像和特殊正交群的约束，得到中心线点集中所有点在相机坐标系的坐标，结合最小二乘和随机参数搜索方法，获取最优光平面方程；根据中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并将其转换到世界坐标系，得到物体表面轮廓的三维点云数据，完成三维重建，本方法提升了线激光三维重建的精度，简化了标定过程，降低了标定成本。
附图说明
图1为一个实施例中一种高精度线激光三维重建标定方法的流程示意图；
图2为一个实施例中线激光三维重建系统的结构示意图；
图3为一个实施例中棋盘格上点和法向量的关系；
图4为传统中心线提取算法的效果示意图；
图5为一个实施例中基于改良灰度重心和雅可比矩阵方法的效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在一个实施例中，如图1至图5所示，提供了一种高精度线激光三维重建标定方法，包括以下步骤：
步骤S101，通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，选取邻近激光的角点作为求解域，采用张氏标定法，求解出相机的外参、内参和畸变系数，完成相机标定。
具体地，相机标定的本质在于求解空间中三维点到像平面二维点的映射，因此，像平面上角点的检测精度决定了整个三维重建系统的精度上限。
同时，由于线激光在扫描时，物体表面可能会出现较大的高度落差，区别于传统的标定方法，开创性的使用不同大小的阶梯标准量块和二维标靶在线激光的全量程范围内进行逐高度标定，确保在量程范围内不同高度的重建精度。
此外，相机在激光面附近成像清晰，离激光越远，噪点越多，图像畸变越严重的特性，因此在相机标定时，选取邻近激光的角点作为张氏标定法的求解域，并将求解出的旋转矩阵从矩阵空间重新投影到SE3流形空间，从而确保旋转矩阵满足特殊正交群的约束并且在此求解域是最优的。
通过上述标定方法、角点选取策略和旋转矩阵的处理思路，能够简单高效的完成相机标定，且标定的精度较高。
其中，进行相机高度标定的步骤具体包括：调整工作台高度，使激光发射器的工作距离覆盖全量程；调整二维标靶的位姿，并保存调整好位姿后的二维标靶的照片；放置第一量块，并将二维标靶放置在第一量块上，调整好位姿后，保存照片，完成第一量块高度的标定；重复放置不同的标准量块，直至完成全量程范围内所有高度的标定。
具体地，由于线激光在扫描时，物体表面可能会出现较大的高度落差，因此，可以采用不同大小的阶梯标准量块，例如1mm、5mm、10mm的标准量块，结合二维标靶在线激光的全量程范围进行逐高度标定，确保不同高度的重建精度。具体的标定过程为：调整工作台高度，使激光发射器的工作距离能覆盖全量程；调整二维标靶的位姿，并保存对应的照片；放置1mm的标准量块，并将二维标靶放置在量块上，调整好位姿，保存对应的照片，完成1mm高度的标定；以此类推，完成全量程内所有高度的标定。根据该标定方法，结合角点选取策略和旋转矩阵的处理思路，能够简单且高效的完成相机标定，且标定精度较高。
其中，求解相机标定的步骤具体包括：选取邻近激光的角点作为张氏标定法的求解域；将非线性优化的无约束最小二乘问题添加特殊正交群的约束，转化为有约束的最小二乘问题；采用拉格朗日乘子法求解有约束的最小二乘问题，并使用LM算法得到内参矩阵、外参矩阵和畸变系数；将旋转矩阵从矩阵空间重新投影到SE3流形空间，得到最优的旋转矩阵，并进一步得到相机的平移矩阵、内参和畸变系数，完成相机标定。
具体地，传统的解决方法是将进行非线性优化的无约束最小二乘问题添加特殊正交群的约束转为有约束的最小二乘问题，再使用拉格朗日乘子法求解此有约束最小二乘问题或直接对求解旋转矩阵进行QR分解，将分解得到的正规正交矩阵Q作为旋转矩阵。但是，由于线激光三维重建系统中相机的高畸变性，基于张氏标定法进行相机标定时，棋盘格角点的检测误差较高，导致后续求解的内参矩阵也存在较大误差，外参中旋转矩阵也不再满足特殊正交群SO(3)的约束，此时初始解已不在最优解空间附近，求解得到的内外参矩阵，精度较差。因此，需要将求解出的旋转矩阵从矩阵空间重新投影到SE(3)流形上，公式如下：
Figure BDA0003779970160000081
将重新投影后的旋转矩阵，作为最优旋转矩阵，并根据最优旋转矩阵计算得到相机的外参、内参和畸变系数，从而完成相机标定。
步骤S102，通过激光发射器发射激光至物体表面，并采用完成标定后的相机采集激光照射至物体表面的激光条纹原始图像。
具体地，通过如图2所示的三维重建系统，采用激光发射器发射激光至待重建的物体表面，并通过完成标定后的相机，采集激光照射在物体表面的激光条纹原始图像，此时可以对原始图像进行畸变校正等图像处理，提高重建精度。通过采集的原始图像进行中心线提取和物体三维重建，并通过不断采集、提取和重建获取物体的完整三维形貌，实现物体的三维重建。
步骤S103，基于改良灰度重心和雅可比矩阵的中心线提取算法，对原始图像进行中心线提取，获取初始中心线点集，并采用基于随机一致采样算法的去噪算法，过滤初始中心线点集中的噪点，得到过滤噪点之后的中心线点集。
具体地，现有技术中的三维重建方法，存在激光条纹中心线提取算法在复杂环境下鲁棒性不强，提取出来的中心线含有无关的噪点，影响重建精度。基于复杂环境下中心线提取算法提取的中心线含有噪点的问题，本申请结合传统的灰度重心法和steger算法，提出了基于改良灰度重心和雅可比矩阵的中心线提取算法，极大的提升了激光条纹中心线的提取精度和提取效率。其中，steger算法和本申请改良后的算法提取中心线的效果分别如图4和图5所示。
为进一步提升中心线提取算法的精度，采用基于随机一致性采样算法的去噪算法，过滤其中的噪点，从而得到过滤噪点之后的中心线点集。
其中，获取初始中心线点集的步骤具体包括：对原始图像采用最大池化进行16倍的下采样；对下采样的图像在y方向上进行线扫描，获取ROI区域；对ROI区域进行图像处理，并计算y方向上的雅可比矩阵；采用预先设定的高低阈值对雅可比矩阵进行判断，选取候选中心点；在y方向上对所有候选中心点进行加权平均，权重为灰度值，得到最终中心点，根据所有最终中心点构成初始中心线点集。
具体地，基于改良灰度重心和雅可比矩阵的中心提取算法，具体为：首先对原始图像进行最大池化，取池化区域中值最大的点，进行16倍下采样；并对下采样的图像进行线扫描，获取ROI(region of interest，感兴趣区域)；对ROI区域进行图像处理，例如均值值滤波、直方图均衡化等处理，便于后续处理，同时增强算法的鲁棒性，并计算ROI图像y方向上的雅可比矩阵；采用预先设定的高低阈值对雅可比矩阵进行判断，选取候选中心点；按y方向对所有候选中心点进行加权平均，权重为灰度值，从而得到最终中心点，重复上述步骤，获取所有的最终中心点，构成初始中心线点集。
其中，对初始中心线点集过滤噪点的步骤具体包括：在初始中心线点集中随机选择两点，计算得到过两点的直线方程，记为标准直线；基于标准直线，设置阈值T，阈值T表示点到标准直线的距离；计算初始中心线点集中所有点到标准直线的距离，统计距离小于阈值T的点个数，记为n1；重复有放回的选取不同的两点，并计算初始中心线点集中点到标准直线的距离小于阈值T的点个数，得到n1，n2…nk；选取n1，n2…nk中的最大值nmax＝maxi∈[1，k]{ni}，将最大值对应的初始中心线点集中至标准直线距离小于阈值T的点认定为中心点，大于或等于阈值T的点认定为噪点，得到过滤噪点之后的中心线点集。
具体地，在初始中心线点集中随机选取两点，根据选取的两点得到对应的直线方程，记为标准直线；基于标准直线，设置阈值T，该阈值T表示初始中心线点集中的点到标准直线的距离，统计距离小于阈值T的点个数；重复有放回的选取不同的两点拟合得到直线方程并统计距离小于阈值T的点个数，选取其中距离小于阈值T的点个数最多的阈值T，将对应初始中心线点集中距离标准直线小于阈值T的点记为正确的中心点，记此时的点集大小为m，剩余的点为噪点，则过滤噪点之后的中心线点集为γ，则有|γ|＝m。通过上述方法对初始中心线点集进行了噪点过滤，从而进一步提升中心线提取算法的精度。
步骤S104，基于小孔成像原理和特殊正交群的性质，得到中心线点集中所有点在相机坐标系中的坐标，结合最小二乘和随机参数搜索方法，获取最优光平面方程。
具体地，基于小孔成像原理和坐标系之间特殊正交群的约束，得到激光条纹中心点在相机坐标系的坐标，由于光平面精度对最后的重建效果有着显著的影响，因此，进一步结合最小二乘法和随机参数搜索方法求解得到最优光平面方程，从而提高三维重建精度。
其中，得到中心线点集中所有点在相机坐标系的坐标的步骤具体包括：根据小孔成像模型，得到像素坐标系与相机坐标系的对应关系为：
Figure BDA0003779970160000101
式中，fx、fy分别为相机在x轴、y轴方向的焦距，(u，v)为中心线点集中的点的坐标，(xc，yc，zc)为对应点在相机坐标系的坐标；
基于小孔成像原理，有：
Figure BDA0003779970160000102
中心线点集中的点在相机坐标系中位于标靶平面上，由旋转矩阵的性质得到最优旋转矩阵的第三列向量，为：
Figure BDA0003779970160000103
其中，最优旋转矩阵的第三列向量是世界坐标系的Z轴在相机坐标系的分量，则r3为相机坐标系下靶平面的法向量，且原世界坐标系的原点在相机坐标系下的坐标为(t1，t2，t3)，则二者的向量积为0，即：
r13(xc-t1)+r23(yc-t2)+r33(zc-t3)＝0 (4)
整理得到标靶平面的方程为：
r13xc+r23yc+r33zc-(r13t1+r23t2+r33t3)＝0 (5)
联立像素坐标系到相机坐标系的变换和标靶平面方程得：
Figure BDA0003779970160000104
解得中心线上的点在相机坐标系下的坐标为：
Figure BDA0003779970160000111
根据式(7)计算得到激光发射器投射在标靶平面上的点在相机坐标系上的坐标。
具体地，基于已过滤噪点的中心线点集，根据小孔成像模型得到像素坐标系和相机坐标系之间的关系，从而能够将中心线点集中的点转换为在相机坐标系中的坐标。由于中心线点集中的点在相机坐标系中位于标靶平面上，因此可以根据旋转矩阵的性质，得到最优旋转矩阵的第三列向量为世界坐标系的z轴在相机坐标系的分量，因此，r3为相机坐标系下靶平面的方向量，如图3所示，且根据平面方程的点法式可知，原世界坐标系的原点在相机坐标系下的坐标与r3之间的向量积为0，从而得到激光条纹中心点在相机坐标系的坐标。
其中，获取最优光平面方程的步骤具体包括：设随机参数搜索的次数为m，特征点个数为f，设光平面方程为：
z＝ax+by+c (8)
基于截断正态分布随机在中心线点集中提取f个特征点，对应的概率分布为：
Figure BDA0003779970160000112
通过最小二乘法，基于提取的f个特征点进行求解，公式为：
Figure BDA0003779970160000113
采用随机参数搜索策略，计算所有点到光平面方程的平均距离∈i，完成第一次随机搜索：
Figure BDA0003779970160000114
重复进行最小二乘和随机搜索，直至完成m次参数搜索；计算搜索过程中最小的平均距离，得到参数空间的最优解，记为最优参数，为：
Figure BDA0003779970160000121
将所述最优参数带入光平面方程，得到最优光平面方程。
具体地，根据计算出的激光发射器投射在标靶平面上的点在相机坐标系上的坐标，且这些点都位于光平面上，理论上可以根据这些点直接拟合得到光平面方程。但是，由于中心线提取仍然存在一定的误差，因此，需要进一步从中心线点集中提取特征点，根据特征点进行拟合，并结合随机参数搜索策略，得到参数空间的最优解，从而得到最优光平面方程。算法的步骤具体包括：设置随机参数的搜索次数和特征点个数，得到对应的光平面方程，基于截断正态分布，随机在中心点集中选取特征点；并采用最小二乘法对选取的特征点进行处理得到光平面方程，计算所有特征点到光平面方程的平均距离，完成第一次随机搜索，重复进行最小二乘和平均距离的计算，直至完成所有搜索；计算所有搜索过程中最小的平均距离，得到最优参数，并根据最优参数获取对应的最优光平面方程，通过上述方法得到最优的光平面方程，提高了重建精度。
步骤S105，根据中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并转换到世界坐标系，得到物体轮廓的三维点云数据，完成三维重建。
具体地，根据中心线点集、内参、外参、畸变系数和最优光平面方程，联立方程组，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标，并将其转换到世界坐标系，得到物体表面轮廓的三维点云数据，同时根据物体表面轮廓的三维点云数据，完成物体的三维重建，从而简化了标定过程，降低了标定成本，且提高了三维重建精度。
其中，步骤S105具体包括：在最优参数分别为A、B和C时，激光平面在相机坐标系下的最优光平面方程为：
zc＝Axc+Byc+C (13)
联立式(1)和(13)，得到像素坐标系下的点到相机坐标系下的计算公式，为：
Figure BDA0003779970160000122
根据上式计算得到中心线点集中的所有点在相机坐标系的坐标；利用已标定好的外参，将中心线点集中所有点在相机坐标系的坐标转化为世界坐标系中的坐标，公式为：
Figure BDA0003779970160000131
根据中心线点集中所有点在世界坐标系中的坐标，得到物体轮廓的三维点云数据，根据物体轮廓的三维点云数据，完成物体的三维重建。
具体地，根据最优参数得到对应的最优光平面方程，根据小孔成像模型，实现像素坐标到相机坐标的转换，并结合最优光平面方程、外参、内参、畸变系数和中心线点集，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并将其转换到世界坐标系，得到物体表面轮廓的三维点云数据，根据三维点云坐标完成物体的三维重建，且三维重建的精度高。
在本实施例中，通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，选取邻近激光的角点作为求解域，采用张氏标定法，确保不同高度的重建精度，求解出相机的外参、内参和畸变参数，完成相机标定；通过激光发射器发射激光至物体表面，并采用完成标定后的相机采集激光照射至物体表面的原始图像；基于改良灰度重心算法和雅可比矩阵的中心线提取算法，对原始图像进行中心线提取，获取初始中心线点集，提升了激光条纹中心线提取的精度和效率，并进一步采用基于随机一致采样算法的去噪算法，过滤初始中心线点集的噪点，得到过滤噪点之后的中心线点集，提高中心线提取算法的精度；基于小孔成像和特殊正交群的约束，得到中心线点集中所有点在相机坐标系的坐标，结合最小二乘和随机参数搜索方法，获取最优光平面方程；根据中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并将其转换到世界坐标系，得到物体表面轮廓的三维点云数据，完成三维重建，本方法提升了线激光三维重建的精度，简化了标定过程，降低了标定成本。
在一个实施例中，还可以分别采用本方法和传统的三维重建方法对标准量块进行高度重建，比较二者的精度。例如选取尺寸为1mm、5mm、10mm和20mm的标准量块，分别采用本方法和传统方法进行三维重建，并测量三维重建后图像的高度，如表1所示：
表1本方法和传统方法对标准量块重建后的高度尺寸表
Figure BDA0003779970160000141
根据表1可知，本方法对标准量块重建后的高度相较于传统方法，更加接近标准量块的实际高度，因此，本方法相较于传统的线激光三维重建标定方法误差更小，具有更高的精度，三维重建效果更好。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种高精度线激光三维重建标定方法，包括以下步骤：
通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，选取邻近激光的角点作为求解域，采用张氏标定法，求解出相机的外参、内参和畸变系数，完成相机标定；
通过激光发射器发射激光至物体表面，并采用完成标定后的相机采集激光照射至物体表面的激光条纹原始图像；
基于改良灰度重心和雅可比矩阵的中心线提取算法，对所述原始图像进行中心线提取，获取初始中心线点集，并采用基于随机一致采样算法的去噪算法，过滤所述初始中心线点集中的噪点，得到过滤噪点之后的中心线点集；
基于小孔成像原理和特殊正交群的性质，得到中心线点集中所有点在相机坐标系的坐标，结合最小二乘理论和随机参数搜索方法，获取最优光平面方程；
根据所述中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并转换到世界坐标系，得到物体表面轮廓的三维点云数据，完成三维重建。
2.根据权利要求1所述的一种高精度线激光三维重建标定方法，其特征在于，所述通过不同大小的阶梯标准量块和二维标靶，在线激光的全量程范围内进行多高度标定，具体包括：
调整工作台高度，使激光发射器的工作距离覆盖全量程；
调整二维标靶的位姿，并保存调整好位姿后二维标靶的照片；
放置第一量块，并将所述二维标靶放置在所述第一量块上，调整好位姿后，保存照片，完成第一量块高度的标定；
重复放置不同的标准量块，直至完成全量程范围内所有高度的标定。
3.根据权利要求2所述的一种高精度线激光三维重建标定方法，其特征在于，所述选取邻近激光的角点作为求解域，采用张氏标定法，求解出相机的外参、内参和畸变系数，完成相机标定，具体包括：
选取邻近激光的角点作为张氏标定法的求解域；
将非线性优化的无约束最小二乘问题添加特殊正交群的约束，转化为有约束的最小二乘问题；
采用拉格朗日乘子法求解所述有约束的最小二乘问题，并使用LM算法得到内参矩阵、外参矩阵和畸变系数；
将所述外参矩阵中的旋转矩阵从矩阵空间重新投影到SE3流形空间，得到最优旋转矩阵，并根据所述最优旋转矩阵得到相机的外参、内参和畸变系数，完成相机标定。
4.根据权利要求1所述的一种高精度线激光三维重建标定方法，其特征在于，所述基于改良灰度重心和雅可比矩阵的中心线提取算法，对所述原始图像进行中心线提取，获取初始中心线点集，具体包括：
对所述原始图像采用最大池化进行16倍的下采样；
对下采样的图像进行线扫描，获取ROI区域；
对ROI区域进行图像处理，计算y方向上的雅可比矩阵；
采用预先设定的高低阈值对所述雅可比矩阵进行判断，选取候选中心点；
按y方向对所有候选中心点进行加权平均，权重为灰度值，得到最终中心点，根据所有最终中心点构成初始中心线点集。
5.根据权利要求1所述的一种高精度线激光三维重建标定方法，其特征在于，所述采用基于随机一致采样算法的去噪算法，过滤所述初始中心线点集中的噪点，得到过滤噪点之后的中心线点集，具体包括：
在所述初始中心线点集中随机选择两点，计算得到过两点的直线方程，记为标准直线；
基于所述标准直线，设置阈值T，所述阈值T表示点到标准直线的距离；
计算所述初始中心线点集中所有点到所述标准直线的距离，统计距离小于阈值T的点个数，记为n1；
重复有放回的选取不同的两个点，并计算初始中心线点集中点到标准直线的距离小于阈值T的点个数，得到n1,n2…nk；
选取n1,n2…nk中的最大值nmax＝maxi∈[1,k]{ni}，将最大值对应的初始中心线点集中至所述标准直线距离小于阈值T的点认定为中心点，大于或等于阈值T的点认定为噪点，得到过滤噪点之后的中心线点集。
6.根据权利要求3所述的一种高精度线激光三维重建标定方法，其特征在于，所述基于小孔成像原理和特殊正交群的性质，得到中心线点集中所有点在相机坐标系的坐标，具体包括：
根据小孔成像模型，得到像素坐标系的点到相机坐标系的对应关系为：
Figure FDA0003779970150000031
式中，fx、fy分别为相机在x轴、y轴方向的焦距，(u,v)为中心线点集在像素坐标系下的坐标，(xc,yc,zc)为对应在相机坐标系下的坐标；
基于小孔成像原理，有：
Figure FDA0003779970150000032
中心线点集中的点在相机坐标系中位于标靶平面上，由旋转矩阵的性质得到最优旋转矩阵的第三列向量，为：
Figure FDA0003779970150000033
其中，所述最优旋转矩阵的第三列向量是世界坐标系的Z轴在相机坐标系的分量，则r3为相机坐标系下靶平面的法向量，且原世界坐标系的原点在相机坐标系下的坐标为(t1,t2,t3)，则二者的向量积为0，即：
r13(xc-t1)+r23(yc-t2)+r33(zc-t3)＝0 (4)
整理得到靶平面方程为：
r13xc+r23yc+r33zc-(r13t1+r23t2+r33t3)＝0 (5)
联立像素坐标系到相机坐标系的变换和标靶平面方程得：
Figure FDA0003779970150000034
解得中心线上的点在相机坐标系下的坐标为：
Figure FDA0003779970150000035
根据式(7)计算得到激光发射器投射在标靶平面上的点在相机坐标系的坐标。
7.根据权利要求6所述的一种高精度线激光三维重建标定方法，其特征在于，所述结合最小二乘理论和随机参数搜索方法，获取最优光平面方程，具体包括：
设随机参数搜索的次数为m，特征点个数为f，设光平面方程为：
z＝ax+by+c (8)
基于截断正态分布随机在中心线点集中提取f个特征点，对应的概率分布为：
Figure FDA0003779970150000041
通过最小二乘法，基于提取的f个特征点进行求解，公式为：
Figure FDA0003779970150000042
采用随机参数搜索策略，计算所有点到光平面方程的平均距离∈i，完成第一次随机搜索：
Figure FDA0003779970150000043
重复进行最小二乘和随机搜索，直至完成m次参数搜索；
计算搜索过程中最小的平均距离，得到参数空间的最优解，记为最优参数，为：
Figure FDA0003779970150000044
将所述最优参数带入光平面方程，得到最优光平面方程。
8.根据权利要求7所述的一种高精度线激光三维重建标定方法，其特征在于，根据所述中心线点集、内参、外参、畸变系数和最优光平面方程，求解线性方程组得到物体表面轮廓点在相机坐标系的坐标并转换到世界坐标系，得到物体表面轮廓的三维点云数据，完成三维重建，具体包括：
设求解出最优参数分别为A、B和C时，激光平面在相机坐标系下的最优光平面方程为：
zc＝Axc+Byc+C (13)
联立式(1)和(13)，得到像素坐标系下的点到相机坐标系下的计算公式，为：
Figure FDA0003779970150000051
根据上式计算得到中心线点集中的所有点在相机坐标系的坐标；
利用已标定好的外参，将中心线点集中所有点在相机坐标系的坐标转换为世界坐标系中的坐标，公式为：
Figure FDA0003779970150000052
根据中心线点集中所有点在世界坐标系中的坐标，得到物体表面轮廓的三维点云数据，完成物体的三维重建。
CN202210926776.0A 2022-08-03 2022-08-03 一种高精度线激光三维重建标定方法 Pending CN115187676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210926776.0A CN115187676A (zh) 2022-08-03 2022-08-03 一种高精度线激光三维重建标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210926776.0A CN115187676A (zh) 2022-08-03 2022-08-03 一种高精度线激光三维重建标定方法

Publications (1)

Publication Number Publication Date
CN115187676A true CN115187676A (zh) 2022-10-14

Family

ID=83521833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210926776.0A Pending CN115187676A (zh) 2022-08-03 2022-08-03 一种高精度线激光三维重建标定方法

Country Status (1)

Country Link
CN (1) CN115187676A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795579A (zh) * 2022-12-23 2023-03-14 岭南师范学院 一种无特征复杂曲面误差分析的快速坐标对齐方法
CN116009559A (zh) * 2023-03-24 2023-04-25 齐鲁工业大学(山东省科学院) 一种输水管道内壁巡检机器人及检测方法
CN116664408A (zh) * 2023-07-31 2023-08-29 北京朗视仪器股份有限公司 一种彩色结构光的点云上采样方法及装置
CN116878419A (zh) * 2023-09-06 2023-10-13 南京景曜智能科技有限公司 基于三维点云数据的轨道车辆限界检测方法、系统及电子设备
CN117115362A (zh) * 2023-10-20 2023-11-24 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795579A (zh) * 2022-12-23 2023-03-14 岭南师范学院 一种无特征复杂曲面误差分析的快速坐标对齐方法
CN116009559A (zh) * 2023-03-24 2023-04-25 齐鲁工业大学(山东省科学院) 一种输水管道内壁巡检机器人及检测方法
CN116009559B (zh) * 2023-03-24 2023-06-13 齐鲁工业大学(山东省科学院) 一种输水管道内壁巡检机器人及检测方法
CN116664408A (zh) * 2023-07-31 2023-08-29 北京朗视仪器股份有限公司 一种彩色结构光的点云上采样方法及装置
CN116664408B (zh) * 2023-07-31 2023-10-13 北京朗视仪器股份有限公司 一种彩色结构光的点云上采样方法及装置
CN116878419A (zh) * 2023-09-06 2023-10-13 南京景曜智能科技有限公司 基于三维点云数据的轨道车辆限界检测方法、系统及电子设备
CN116878419B (zh) * 2023-09-06 2023-12-01 南京景曜智能科技有限公司 基于三维点云数据的轨道车辆限界检测方法、系统及电子设备
CN117115362A (zh) * 2023-10-20 2023-11-24 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法
CN117115362B (zh) * 2023-10-20 2024-04-26 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法

Similar Documents

Publication Publication Date Title
CN115187676A (zh) 一种高精度线激光三维重建标定方法
CN110363858B (zh) 一种三维人脸重建方法及系统
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
CN111046776B (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN107167073A (zh) 一种线阵结构光三维快速测量装置及其测量方法
CN112465912B (zh) 一种立体相机标定方法及装置
CN105894499A (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN106705849A (zh) 线结构光传感器标定方法
CN115330958A (zh) 基于激光雷达的实时三维重建方法及装置
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN113362457B (zh) 一种基于散斑结构光的立体视觉测量方法及系统
CN115272616A (zh) 一种室内场景三维重建方法、系统、装置及存储介质
Raza et al. Artificial intelligence based camera calibration
CN114998328A (zh) 一种基于机器视觉的工件喷涂缺陷检测方法、系统及可读存储介质
CN112734844A (zh) 一种基于正八面体的单目6d位姿估计方法
CN112184793A (zh) 深度数据的处理方法、装置及可读存储介质
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
Hu et al. R-CNN based 3D object detection for autonomous driving
CN112950650A (zh) 一种适用于高精度形貌测量的深度学习畸变光斑中心提取方法
CN112525106A (zh) 基于三相机协同激光的3d探测方法及装置
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN114648544A (zh) 一种亚像素椭圆提取方法
CN114663519A (zh) 一种多相机标定方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination