CN114820307A - 3d线扫描相机的点云拼接方法、系统和可读存储介质 - Google Patents

3d线扫描相机的点云拼接方法、系统和可读存储介质 Download PDF

Info

Publication number
CN114820307A
CN114820307A CN202210351454.8A CN202210351454A CN114820307A CN 114820307 A CN114820307 A CN 114820307A CN 202210351454 A CN202210351454 A CN 202210351454A CN 114820307 A CN114820307 A CN 114820307A
Authority
CN
China
Prior art keywords
point cloud
image
line scanning
cloud image
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210351454.8A
Other languages
English (en)
Inventor
许允迪
周才健
周柔刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Yijunchen Technology Co ltd
Jinhua Mstar Intelligent Technology Co ltd
Suzhou Huicui Intelligent Technology Co ltd
Hangzhou Huicui Intelligent Technology Co ltd
Original Assignee
Jiaxing Yijunchen Technology Co ltd
Jinhua Mstar Intelligent Technology Co ltd
Suzhou Huicui Intelligent Technology Co ltd
Hangzhou Huicui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Yijunchen Technology Co ltd, Jinhua Mstar Intelligent Technology Co ltd, Suzhou Huicui Intelligent Technology Co ltd, Hangzhou Huicui Intelligent Technology Co ltd filed Critical Jiaxing Yijunchen Technology Co ltd
Priority to CN202210351454.8A priority Critical patent/CN114820307A/zh
Publication of CN114820307A publication Critical patent/CN114820307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开的一种3D线扫描相机的点云拼接方法、系统和可读存储介质，其中方法包括：将标定件设置于移动平台上后，用两台3D线扫描相机对标定件进行扫描，分别得到标定件的第一点云图像和第二点云图像并对图像中的三个法相不共面的平面进行拟合；根据相同平面的共面性，计算出两台3D线扫描相机的点云图像之间的刚性转换矩阵；通过刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；将转换图像与另一个点云图像进行拼接，得到整体图像。通过三平面法标定两台3D线扫描相机之间的位置关系，通过平面拟合、矩阵计算，计算出两台3D线扫描相机点云之间的刚性转换矩阵，不需要迭代，计算速度快。

Description

3D线扫描相机的点云拼接方法、系统和可读存储介质
技术领域
本发明涉及工业相机领域，更具体的，涉及一种3D线扫描相机的点云拼接方法、系统和可读存储介质。
背景技术
3D线扫描相机在工业中的运用非常广泛，具有以下优点：(1)线扫描相机可以拥有多个K单位像素，所以分辨率的特性非常的高，对于高精度检测测量应用非常的适用，同时还能够进行需要连续高分辨率成像的应用以及连续运动物体成像的应用，其测量可以精确到微米。(2)线扫描相机动态范围非常的大，灵敏度也非常的高，对于工业检测项目中需要大幅面视场的要求非常合适。
线扫描相机在实际使用中，对与工业机构(运动平台)的配合要求比较高，一般情况下，3D线扫描相机固定安装，被测物固定于高精度运动平台匀速运动，运动速度与相机发射激光频率一致。3D线扫描相机成像结果是一个正交坐标系XYZ下的点云，这就要求相机安装固定后，其激光平面XOZ与运动平台运动方向Y垂直，否则会引起成像点云的畸变。
工业应用中，一些复杂应用场景中单个3D线扫描相机无法满足需求，比如：请参阅图2，运动平台单次可稳定移动距离为L1，待测物的长度为L2，当L2>L1时，单个3D线扫描相机无法拍摄到完整的待测物。此时需要用两个3D线扫描相机拍摄待测物，然后进行两幅点云的配准拼接。一般点云配准方法为对应点粗配准+IC精配准，ICP配准方法是基于点对距离最小化原则，进行多次迭代，寻找使点云1中各点与点云2中的最近点的距离整体最小。这种方法存在如下缺点：1)两幅点云必须要有部分是同一个实际空间区域，基于该区域进行配准，即拼接后有重叠；2)需要粗配准相对准确，然后基于粗配准得到的旋转平移矩阵进行微调，否则容易陷入局部最优；3)ICP前一般会对一幅点云进行降采样以减少需计算的点数，容易损失特征；4)虽然一幅点云进行了降采样但仍然至少有上千个点，并且需要进行多次迭代直到收敛，速度较慢。
因此，如何设计一种3D线扫描相机的点云拼接方法，来达到操作简单、特征完整、计算快速的效果，是本领域技术人员亟待解决的技术问题
发明内容
鉴于上述问题，本发明的目的是提供一种3D线扫描相机的点云拼接方法、系统和可读存储介质，解决现有技术的点云图像拼接存在的操作复杂、特征易损失、计算速度慢的问题。
本发明第一方面提供了一种3D线扫描相机的点云拼接方法应用于3D线扫描装置，所述3D线扫描装置包括两台3D线扫描相机、移动平台和标定件，所述标定件为由至少三个法相不共面结构组成的标准块，所述方法包括以下步骤：
将所述标定件设置于所述移动平台上后，用两台所述3D线扫描相机对所述标定件进行扫描，分别得到所述标定件的第一点云图像和第二点云图像；
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；
根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵；
通过所述刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；
将所述转换图像与另一个点云图像进行拼接，得到整体图像。
本方案中，在分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组之前，还包括：
矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
本方案中，所述矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变具体为：
根据所述第一点云图像和所述第二点云图像中的固定点对在不同姿态下的距离一致性，来矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
本方案中，所述根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵具体包括：
根据三组所述平面方程组的共面性，计算由三组所述平面方程组系数组成的转换矩阵；
根据两台所述3D线扫描相机的点云图像之间的刚性变换性质对所述转换矩阵中的元素进行限制，得到刚性转换矩阵。
本方案中，所述分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合具体为：
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面采用最小二乘法进行平面拟合。
本发明第二方面还提供一种3D线扫描相机的点云拼接系统，包括包括3D线扫描装置、存储器和处理器，所述3D线扫描装置包括两台3D线扫描相机、移动平台和标定件，所述标定件为由至少三个法相不共面结构组成的标准块，所述存储器中包括3D线扫描相机的点云拼接方法程序，所述3D线扫描相机的点云拼接方法程序被所述处理器执行时实现如下步骤：
将所述标定件设置于所述移动平台上后，用两台所述3D线扫描相机对所述标定件进行扫描，分别得到所述标定件的第一点云图像和第二点云图像；
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；
根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵；
通过所述刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；
将所述转换图像与另一个点云图像进行拼接，得到整体图像。
本方案中，在分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组之前，还包括：
矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
本方案中，所述矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变具体为：
根据所述第一点云图像和所述第二点云图像中的固定点对在不同姿态下的距离一致性，来矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
本方案中，所述根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵具体包括：
根据三组所述平面方程组的共面性，计算由三组所述平面方程组系数组成的转换矩阵；
根据两台所述3D线扫描相机的点云图像之间的刚性变换性质对所述转换矩阵中的元素进行限制，得到刚性转换矩阵。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种3D线扫描相机的点云拼接方法程序，所述3D线扫描相机的点云拼接方法程序被处理器执行时，实现如上述任一项所述的一种3D线扫描相机的点云拼接方法的步骤。
本发明公开的一种3D线扫描相机的点云拼接方法，应用于3D线扫描装置，3D线扫描装置包括两台3D线扫描相机、移动平台和标定件，标定件为由至少三个法相不共面结构组成的标准块，方法包括以下步骤：将标定件设置于移动平台上后，用两台3D线扫描相机对标定件进行扫描，分别得到标定件的第一点云图像和第二点云图像；分别对第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；根据三组平面方程组的共面性，计算出两台3D线扫描相机的点云图像之间的刚性转换矩阵；通过刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；将转换图像与另一个点云图像进行拼接，得到整体图像。
本方法通过采用两台3D线扫描相机，分别安装于运动平台运动路径的起点与终点，分别扫描拍摄待测物的前半段和后半段，通过三平面法标定两台3D线扫描相机之间的位置关系，通过平面拟合、矩阵计算，计算出两台3D线扫描相机点云之间的刚性转换矩阵，使两台3D线扫描相机拍摄的两幅点云能够拼接成一幅点云完整表示待测物，不需要迭代，计算速度快。
附图说明
图1示出了本申请一种3D线扫描相机的点云拼接方法的流程图；
图2示出了3D线扫描装置的结构示意图；
图3示出了本申请实施例中标定件的结构示意图；
图4示出了扫描图像由于相机安装误差产生畸变的示意图；
图5示出了本发明一种3D线扫描相机的点云拼接系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本申请一种3D线扫描相机的点云拼接方法的流程图。
如图1所示，本申请公开了一种3D线扫描相机的点云拼接方法，应用于3D线扫描装置，所述3D线扫描装置包括两台3D线扫描相机、移动平台和标定件，所述标定件为由至少三个法相不共面结构组成的标准块，包括以下步骤：
S102，将所述标定件设置于所述移动平台上后，用两台所述3D线扫描相机对所述标定件进行扫描，分别得到所述标定件的第一点云图像和第二点云图像；
S104，分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；
S106，根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵；
S108，通过所述刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；
S110，将所述转换图像与另一个点云图像进行拼接，得到整体图像。
需要说明的是，本发明采用两台3D线扫描相机，分别安装于运动平台运动路径的起点与终点，分别扫描拍摄待测物的前半段和后半段，通过三平面法标定两台3D线扫描相机之间的位置关系，使两台3D线扫描相机拍摄的两幅点云能够拼接成一幅点云完整表示待测物。
需要说明的是，标定件为任意易于取到特征点的刚性材料块，不需要特制。请参阅图3，图3示出了本申请实施例中标定件的结构示意图。标定两台3D线扫描相机的位置关系，进行点云拼接，只需要三个平面度标准块，搭建一个3个延伸平面可以交于1点的结构。搭建可以较随意，无精确限制，操作便捷。使两台3D线扫描相机都能拍到这三个平面，视野不需要有重叠，利用同平面共面性，及共同的平面位置关系限定，通过平面拟合，计算出两台3D线扫描相机点云之间的刚性转换矩阵，不需要迭代，计算速度快。
根据本发明实施例，在分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组之前，还包括：
矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
需要说明的是，由于安装可能存在误差，使得扫描相机的光平面与移动平台的运动方向可能不垂直，那么就会导致成像的点云图像与实际物体的三维结构之间存在畸变。因此，在对点云图像中的平面进行拟合之前，需要先消除第一点云图像和第二点云图像由于相机安装误差引起的畸变。
根据本发明实施例，所述矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变具体为：
根据所述第一点云图像和所述第二点云图像中的固定点对在不同姿态下的距离一致性，来矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
需要说明的是，请参阅图4，3D线扫描相机的光平面XOZ绕X轴旋转了θ角，即畸变的坐标系为实际坐标系中的Z轴绕X旋转θ角，X轴和Y轴不变。可得畸变矫正矩阵的形式为：
Figure BDA0003580589160000061
选取标定件的易于抓取到的特征点A、B，任意摆放大于2个姿态，每个姿态用3D线扫描相机拍摄该标定件，并取得A、B两点位在点云中的位置，记[XA YA ZA]、[XB YB ZB]，并计算每个姿态下A、B两点的[ΔX ΔY ΔZ]。
令实际坐标系下的位置表示为[X′ Y′ Z′]，因为实际坐标系下A、B两点的距离在不同姿态下恒定，即：
Figure BDA0003580589160000062
恒定。
而
Figure BDA0003580589160000063
故任意两个不同姿态i、j之间满足：
Figure BDA0003580589160000064
即：
Figure BDA0003580589160000065
令：
Figure BDA0003580589160000066
每种姿态组合可列方程组
Figure BDA0003580589160000067
对[aij bij]进行SVD分解，解出sinθ。sin函数在
Figure BDA0003580589160000071
单调递增，可以唯一确定-90°～90°的Rx安装偏转角度，得到矫正矩阵：
Figure BDA0003580589160000072
用矫正矩阵对第一点云图像和第二点云图像进行校正。
根据本发明实施例，所述根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵具体包括：
根据三组所述平面方程组的共面性，计算由三组所述平面方程组系数组成的转换矩阵；
根据两台所述3D线扫描相机的点云图像之间的刚性变换性质对所述转换矩阵中的元素进行限制，得到刚性转换矩阵。
需要说明的是，如图3所示，用三个平面度的标准块，搭一个三个法向不共面的结构。由于刚性变换为沿着x、y、z轴平移或旋转，有6个自由度的变换。由于法向不共面的三个平面会交于一个点，从而可以约束平移量；同时，由于三个平面的法相可以约束旋转量，即可以约束出一个唯一的三维空间。
用两台3D线扫描相机分别拍摄这三个平面，用上述标定得到的两台相机畸变的矫正矩阵分别矫正其所拍摄得到的点云图像后，两台3D线扫描相机的坐标系之间只存在刚性变换。
分别拟合在两个坐标系下的三个法相不共面的平面，平面方程为：aX+bY+cZ+d＝0，针对同一平面在两个点云图像中的两个平面方程，则有：
Figure BDA0003580589160000073
其中a1、b1、c1为第一点云图像中的坐标系X1Y1Z1中的平面方程系数，a2、b2、c2为第为点云图像中的坐标系X2Y2Z2中的平面方程的系数。将将同一平面在两个点云图像中的平面方程称作一组平面方程组。
基于三组平面方程组计算两台3D线扫描相机的转换矩阵。令转换矩阵为H，有：[X1Y1 Z1 1]T＝H[X2 Y2 Z2 1]T。则有：
Figure BDA0003580589160000081
由于有三组对应平面，则：
Figure BDA0003580589160000082
可以理解的是，aij表示在第i点云图像中的第j个平面，其它系数的标注同理，此处不进行赘述。
转换矩阵H因为点云没有畸变，两个相机拍的是同样的三个平面，因此在理想情况下会是一个刚性转换矩阵，但由于可能存在的数据误差，故无法保证转换矩阵H是标准的刚性转换矩阵。要得到刚性转换矩阵，就要消除转换矩阵H中的数据误差。转换矩阵H可以表示为一个矩阵A和一个刚性转换矩阵的乘积，可以先计算A，然后结合转换矩阵H，最终得到刚性转换矩阵。
首先需要将刚性转换矩阵从转换矩阵H中分解出来。刚性变换矩阵的前三行三列是一个旋转矩阵：R＝[R1 R2 R3]，应满足每列是单位向量且两两正交，有单位正交约束方程如下：
Figure BDA0003580589160000083
然后计算误差矩阵A：
假设上一步中的H＝A[R1 R2 R3 T]，则有：
R1＝A-1H1，R2＝A-1H2，R3＝A-1H3；
Figure BDA0003580589160000084
a)记：B＝A-TA-1，则B为对称阵：
Figure BDA0003580589160000085
有：
Figure BDA0003580589160000091
令：
vij＝[H1iH1j H1iH2j+H2iH1j H2iH2j H1iH3j+H3iH1j H2iH3j+H3iH2j H3iH3j]；
单位正交约束方程可以化为：
Figure BDA0003580589160000092
从而解出了B。
b)接下去由B计算A-1。令：
Figure BDA0003580589160000093
则：
Figure BDA0003580589160000094
Figure BDA0003580589160000101
c)解出了A-1，H已知，可得刚性变换矩阵为：
[R1 R2 R3 T]＝A-1H。
根据本发明实施例，所述分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合具体为：
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面采用最小二乘法进行平面拟合。
需要说明的是，对点云图像中的平面进行拟合，可以采用最小二乘法进行平面拟合。
图5示出了本发明一种3D线扫描相机的点云拼接系统的框图。
如图5所示，本发明公开了一种3D线扫描相机的点云拼接系统5，包括3D线扫描装置51、存储器52和处理器53，所述3D线扫描装置51包括两台3D线扫描相机、移动平台和标定件，所述标定件为由至少三个法相不共面结构组成的标准块，所述存储器53中包括3D线扫描相机的点云拼接方法程序，所述3D线扫描相机的点云拼接方法程序被所述处理器53执行时实现如下步骤：
将所述标定件设置于所述移动平台上后，用两台所述3D线扫描相机对所述标定件进行扫描，分别得到所述标定件的第一点云图像和第二点云图像；
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；
根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵；
通过所述刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；
将所述转换图像与另一个点云图像进行拼接，得到整体图像。
需要说明的是，本发明采用两台3D线扫描相机，分别安装于运动平台运动路径的起点与终点，分别扫描拍摄待测物的前半段和后半段，通过三平面法标定两台3D线扫描相机之间的位置关系，使两台3D线扫描相机拍摄的两幅点云能够拼接成一幅点云完整表示待测物。
需要说明的是，标定件为任意易于取到特征点的刚性材料块，不需要特制。请参阅图3，图3示出了本申请实施例中标定件的结构示意图。标定两台3D线扫描相机的位置关系，进行点云拼接，只需要三个平面度标准块，搭建一个3个延伸平面可以交于1点的结构。搭建可以较随意，无精确限制，操作便捷。使两台3D线扫描相机都能拍到这三个平面，视野不需要有重叠，利用同平面共面性，及共同的平面位置关系限定，通过平面拟合，计算出两台3D线扫描相机点云之间的刚性转换矩阵，不需要迭代，计算速度快。
根据本发明实施例，在分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组之前，还包括：
矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
需要说明的是，由于安装可能存在误差，使得扫描相机的光平面与移动平台的运动方向可能不垂直，那么就会导致成像的点云图像与实际物体的三维结构之间存在畸变。因此，在对点云图像中的平面进行拟合之前，需要先消除第一点云图像和第二点云图像由于相机安装误差引起的畸变。
根据本发明实施例，所述矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变具体为：
根据所述第一点云图像和所述第二点云图像中的固定点对在不同姿态下的距离一致性，来矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
需要说明的是，请参阅图4，3D线扫描相机的光平面XOZ绕X轴旋转了θ角，即畸变的坐标系为实际坐标系中的Z轴绕X旋转θ角，X轴和Y轴不变。可得畸变矫正矩阵的形式为：
Figure BDA0003580589160000111
选取标定件的易于抓取到的特征点A、B，任意摆放大于2个姿态，每个姿态用3D线扫描相机拍摄该标定件，并取得A、B两点位在点云中的位置，记[XA YA ZA]、[XB YB ZB]，并计算每个姿态下A、B两点的[ΔX ΔY ΔZ]。
令实际坐标系下的位置表示为[X′ Y′ Z′]，因为实际坐标系下A、B两点的距离在不同姿态下恒定，即：
Figure BDA0003580589160000121
恒定。
而
Figure BDA0003580589160000122
故任意两个不同姿态i、j之间满足：
Figure BDA0003580589160000123
即：
Figure BDA0003580589160000124
令：
Figure BDA0003580589160000125
每种姿态组合可列方程组
Figure BDA0003580589160000126
对[aij bij]进行SVD分解，解出sinθ。sin函数在
Figure BDA0003580589160000127
单调递增，可以唯一确定-90°～90°的Rx安装偏转角度，得到矫正矩阵：
Figure BDA0003580589160000128
用矫正矩阵对第一点云图像和第二点云图像进行校正。
根据本发明实施例，所述根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵具体包括：
根据三组所述平面方程组的共面性，计算由三组所述平面方程组系数组成的转换矩阵；
根据两台所述3D线扫描相机的点云图像之间的刚性变换性质对所述转换矩阵中的元素进行限制，得到刚性转换矩阵。
需要说明的是，如图3所示，用三个平面度的标准块，搭一个三个法向不共面的结构。由于刚性变换为沿着x、y、z轴平移或旋转，有6个自由度的变换。由于法向不共面的三个平面会交于一个点，从而可以约束平移量；同时，由于三个平面的法相可以约束旋转量，即可以约束出一个唯一的三维空间。
用两台3D线扫描相机分别拍摄这三个平面，用上述标定得到的两台相机畸变的矫正矩阵分别矫正其所拍摄得到的点云图像后，两台3D线扫描相机的坐标系之间只存在刚性变换。
分别拟合在两个坐标系下的三个法相不共面的平面，平面方程为：aX+bY+cZ+d＝0，针对同一平面在两个点云图像中的两个平面方程，则有：
Figure BDA0003580589160000131
其中a1、b1、c1为第一点云图像中的坐标系X1Y1Z1中的平面方程系数，a2、b2、c2为第为点云图像中的坐标系X2Y2Z2中的平面方程的系数。将将同一平面在两个点云图像中的平面方程称作一组平面方程组。
基于三组平面方程组计算两台3D线扫描相机的转换矩阵。令转换矩阵为H，有：[X1Y1 Z1 1]T＝H[X2 Y2 Z2 1]T。则有：
Figure BDA0003580589160000132
由于有三组对应平面，则：
Figure BDA0003580589160000133
可以理解的是，aij表示在第i点云图像中的第j个平面，其它系数的标注同理，此处不进行赘述。
转换矩阵H因为点云没有畸变，两个相机拍的是同样的三个平面，因此在理想情况下会是一个刚性转换矩阵，但由于可能存在的数据误差，故无法保证转换矩阵H是标准的刚性转换矩阵。要得到刚性转换矩阵，就要消除转换矩阵H中的数据误差。转换矩阵H可以表示为一个矩阵A和一个刚性转换矩阵的乘积，可以先计算A，然后结合转换矩阵H，最终得到刚性转换矩阵。
首先需要将刚性转换矩阵从转换矩阵H中分解出来。刚性变换矩阵的前三行三列是一个旋转矩阵：R＝[R1 R2 R3]，应满足每列是单位向量且两两正交，有单位正交约束方程如下：
Figure BDA0003580589160000141
假设上一步中的H＝A[R1 R2 R3 T]，则有：
R1＝A-1H1，R2＝A-1H2，R3＝A-1H3；
Figure BDA0003580589160000142
a)记：B＝A-TA-1，则B为对称阵：
Figure BDA0003580589160000143
有：
Figure BDA0003580589160000144
令：
vij＝[H1iH1j H1iH2j+H2iH1j H2iH2j H1iH3j+H3iH1j H2iH3j+H3iH2j H3iH3j]；
单位正交约束方程可以化为：
Figure BDA0003580589160000145
从而解出了B。
b)接下去由B计算A-1。令：
Figure BDA0003580589160000151
则：
Figure BDA0003580589160000152
Figure BDA0003580589160000153
c)解出了A-1，H已知，可得刚性变换矩阵为：
[R1 R2 R3 T]＝A-1H。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种3D线扫描相机的点云拼接方法程序，所述3D线扫描相机的点云拼接方法程序被处理器执行时，实现如上述任一项所述的一种3D线扫描相机的点云拼接方法的步骤。
本发明公开的一种3D线扫描相机的点云拼接方法和系统和可读存储介质，通过采用两台3D线扫描相机，分别安装于运动平台运动路径的起点与终点，分别扫描拍摄待测物的前半段和后半段，通过三平面法标定两台3D线扫描相机之间的位置关系，通过平面拟合、一次矩阵计算、刚性矩阵分解，计算出两台3D线扫描相机点云之间的刚性转换矩阵，使两台3D线扫描相机拍摄的两幅点云能够拼接成一幅点云完整表示待测物，不需要迭代，计算速度快。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种3D线扫描相机的点云拼接方法，其特征在于，应用于3D线扫描装置，所述3D线扫描装置包括两台3D线扫描相机、移动平台和标定件，所述标定件为由至少三个法相不共面结构组成的标准块，所述方法包括以下步骤：
将所述标定件设置于所述移动平台上后，用两台所述3D线扫描相机对所述标定件进行扫描，分别得到所述标定件的第一点云图像和第二点云图像；
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；
根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵；
通过所述刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；将所述转换图像与另一个点云图像进行拼接，得到整体图像。
2.根据权利要求1所述的3D线扫描相机的点云拼接方法，其特征在于，在分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组之前，还包括：
矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
3.根据权利要求2所述的3D线扫描相机的点云拼接方法，其特征在于，所述矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变具体为：
根据所述第一点云图像和所述第二点云图像中的固定点对在不同姿态下的距离一致性，来矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
4.根据权利要求3所述的3D线扫描相机的点云拼接方法，其特征在于，所述根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵具体包括：
根据三组所述平面方程组的共面性，计算由三组所述平面方程组系数组成的转换矩阵；
根据两台所述3D线扫描相机的点云图像之间的刚性变换性质对所述转换矩阵中的元素进行限制，得到刚性转换矩阵。
5.根据权利要求4所述的3D线扫描相机的点云拼接方法，其特征在于，所述分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合具体为：
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面采用最小二乘法进行平面拟合。
6.一种3D线扫描相机的点云拼接系统，其特征在于，包括3D线扫描装置、存储器和处理器，所述3D线扫描装置包括两台3D线扫描相机、移动平台和标定件，所述标定件为由至少三个法相不共面结构组成的标准块，所述存储器中包括3D线扫描相机的点云拼接方法程序，所述3D线扫描相机的点云拼接方法程序被所述处理器执行时实现如下步骤：
将所述标定件设置于所述移动平台上后，用两台所述3D线扫描相机对所述标定件进行扫描，分别得到所述标定件的第一点云图像和第二点云图像；
分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组；
根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵；
通过所述刚性转换矩阵对待测物体的一个点云图像进行转换，得到转换图像；将所述转换图像与另一个点云图像进行拼接，得到整体图像。
7.根据所述权利要求6所述3D线扫描相机的点云拼接系统，其特征在于，在分别对所述第一点云图像和第二点云图像中的三个法相不共面的平面进行拟合，将同一平面在两个点云图像中的平面方程称作一组平面方程组之前，还包括：矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
8.根据所述权利要求7所述3D线扫描相机的点云拼接系统，其特征在于，所述矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变具体为：
根据所述第一点云图像和所述第二点云图像中的固定点对在不同姿态下的距离一致性，来矫正所述第一点云图像和所述第二点云图像由于相机安装误差引起的畸变。
9.根据所述权利要求8所述3D线扫描相机的点云拼接系统，其特征在于，所述根据三组所述平面方程组的共面性，计算出两台所述3D线扫描相机的点云图像之间的刚性转换矩阵具体包括：
根据三组所述平面方程组的共面性，计算由三组所述平面方程组系数组成的转换矩阵；
根据两台所述3D线扫描相机的点云图像之间的刚性变换性质对所述转换矩阵中的元素进行限制，得到刚性转换矩阵。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种3D线扫描相机的点云拼接方法程序，所述3D线扫描相机的点云拼接方法程序被处理器执行时，实现如权利要求1至5中任一项所述的一种3D线扫描相机的点云拼接方法的步骤。
CN202210351454.8A 2022-04-02 2022-04-02 3d线扫描相机的点云拼接方法、系统和可读存储介质 Pending CN114820307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210351454.8A CN114820307A (zh) 2022-04-02 2022-04-02 3d线扫描相机的点云拼接方法、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210351454.8A CN114820307A (zh) 2022-04-02 2022-04-02 3d线扫描相机的点云拼接方法、系统和可读存储介质

Publications (1)

Publication Number Publication Date
CN114820307A true CN114820307A (zh) 2022-07-29

Family

ID=82532096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210351454.8A Pending CN114820307A (zh) 2022-04-02 2022-04-02 3d线扫描相机的点云拼接方法、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN114820307A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739898A (zh) * 2023-06-03 2023-09-12 广州市西克传感器有限公司 基于圆柱特征的多相机点云拼接方法和装置
CN117781876A (zh) * 2024-02-27 2024-03-29 宁德时代新能源科技股份有限公司 尺寸检测系统及方法
CN117781876B (zh) * 2024-02-27 2024-06-07 宁德时代新能源科技股份有限公司 尺寸检测系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739898A (zh) * 2023-06-03 2023-09-12 广州市西克传感器有限公司 基于圆柱特征的多相机点云拼接方法和装置
CN116739898B (zh) * 2023-06-03 2024-04-30 广东西克智能科技有限公司 基于圆柱特征的多相机点云拼接方法和装置
CN117781876A (zh) * 2024-02-27 2024-03-29 宁德时代新能源科技股份有限公司 尺寸检测系统及方法
CN117781876B (zh) * 2024-02-27 2024-06-07 宁德时代新能源科技股份有限公司 尺寸检测系统及方法

Similar Documents

Publication Publication Date Title
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
US5825483A (en) Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US5768443A (en) Method for coordinating multiple fields of view in multi-camera
Draréni et al. Plane-based calibration for linear cameras
US9275431B2 (en) Method and system for calibrating laser measuring apparatus
CN108416812B (zh) 一种单摄像机镜像双目视觉系统的标定方法
CN110310338B (zh) 一种基于多中心投影模型的光场相机标定方法
JP3728900B2 (ja) キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法
Cornic et al. Another look at volume self-calibration: calibration and self-calibration within a pinhole model of Scheimpflug cameras
Gao et al. Accuracy evaluation of optical distortion calibration by digital image correlation
CN109544642B (zh) 一种基于n型靶标的tdi-ccd相机参数标定方法
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN113048938B (zh) 一种合作目标设计及姿态角测量系统及方法
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN113175899A (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN112489137A (zh) 一种rgbd相机标定方法及系统
Yang et al. Precision calibration method for binocular vision measurement systems based on arbitrary translations and 3D-connection information
CN114820307A (zh) 3d线扫描相机的点云拼接方法、系统和可读存储介质
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN110470216B (zh) 一种三镜头高精度视觉测量方法及装置
CN110298890B (zh) 一种基于普朗克参数化的光场相机标定方法
CN114693807A (zh) 一种输电线路图像与点云的映射数据重构方法及系统
Wang et al. A new calibration method of stereo line-scan cameras for 2D coordinate measurement
CN114037768A (zh) 一种多套跟踪式扫描仪联合标定的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination