CN103971353B - 采用激光辅助大型锻件测量图像数据的拼接方法 - Google Patents

Abstract

本发明采用激光辅助大型锻件测量图像数据的拼接方法属于图像处理和计算机视觉检测领域。该方法使用两种不同的激光器在金属表面上构造特征点，实现复杂工况下图像数据的拼接；相邻两组双目相机使用点激光器投射出的光斑，进行图像数据粗匹配，同时得到转换矩阵，使用线激光器投射出栅格，以粗匹配的转换矩阵为初值，进行图像数据精确匹配，去除冗余数据后，完成拼接。图像数据粗匹配以三个大小不同的光斑为特征点，有效避免误匹配，提高匹配精度；精确匹配以粗匹配得出的转换矩阵为初值，减小了修正转换矩阵的计算量。拼接中将测量系统看作多双目测量系统，方法对靶标的位置无精确要求，易实现。

Description

采用激光辅助大型锻件测量图像数据的拼接方法

技术领域

本发明属于图像处理和计算机视觉检测领域，特别涉及采用激光辅助大型锻件尺寸测量系统中图像数据的拼接方法。

背景技术

图像数据拼接是多目测量系统实现被测物体尺寸测量和三维形貌重建的重要步骤。图像数据拼接技术根据公共视场区的特征，将不同视角采集到的数据点转换到全局坐标系下。采用图像数据拼接技术的多目视觉测量系统，能有效扩大测量范围。

提取相邻两相机间公共视场区的特征是进行图像数据拼接的基础。目前用于特征提取方法有两种，第一可以利用待测物体的形貌特征，直接通过图像处理软件提取待测物体的角点、边缘或区域。2008年7月王娟等在期刊《计算机应用研究》上发表“一种柱面全景图像自动拼接算法”一文，文中提出利用特征块匹配的方法在待配准图像中找出与基准块匹配的配准块,进而实现两幅图像的配准，该方法不适用于表面没有易于区别的特征的被测量物体。第二是通过在公共视场区布置靶标，比较常用的几种靶标包括平面靶标、靶球、和LED编码器等，孙军华等在2006年7月《机械工程学报》中“基于平面基线靶标的视觉测量数据拼接方法”提出一种基于平面基线靶标的拼接方法，利用平面基线靶标提供特征点，建立视觉传感器在相邻位置坐标系旋转矩阵和平移矢量各参数的优化目标函数。该方法存在靶标遮挡被测物体的问题，同时在一些复杂环境下无法布置靶标。

利用图像数据拼接技术进行大型锻件三维尺寸测量时，由于在锻件的表面没有明显的特征点或者易于提取的边缘曲线，因此需要在现场合理布置特征点或特征曲线。然而，在大型锻件的锻造现场，由于锻件的锻造温度在1000℃～1200℃，因此无法采用常用的靶标进行拼接。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，发明一种采用激光辅助大型锻件尺寸测量的拼接技术，基于多目的视觉测量系统测量锻件表面的尺寸，将多组双目相机采集的图像数据进行拼接，实现大型锻件的尺寸测量。鉴于锻造现场的特殊环境，采用在相邻两组双目相机的公共视场区投射激光靶标，作为图像数据拼接的特征点，进行图像数据粗匹配和精确匹配。由于投射激光靶标的光强分布呈高斯曲线的特点，依据高斯分布的特性，可精确提取靶标的坐标位置。

本发明采取的技术方案是采用激光辅助大型锻件测量图像数据的拼接方法，该方法使用两种不同的激光器在金属表面上构造特征点，实现复杂工况下图像数据的拼接。相邻两组双目相机使用点激光器投射出的光斑，进行图像数据粗匹配，同时得到转换矩阵，使用线激光器投射出栅格，以粗匹配的转换矩阵为初值，进行图像数据精确匹配，去除冗余数据后，完成拼接，对于多目视觉测量系统，分别完成相邻两组双目相机的图像数据拼接，进而完成全局拼接，具体步骤如下：

步骤1：布置实验现场

在锻件的同一侧布置2N台相机，构成多目视觉测量系统，由于多目视觉测量系统可以看作N组双目视觉测量系统，因此将相机依次编号为C_L1,C_R1,C_L2,C_R2……C_LN,C_RN，其中C_Li,C_Ri(i＝1,2,3……N)分别表示第i组双目相机的左相机与右相机。在相机布局中，每组双目相机的视场尽量重叠，保证任意相邻两组双目相机的公共视场区不少于待拼接区域的30％。同时，完成每组双目相机内、外参数的标定。

步骤2：布置匹配的特征点

在相机C_Li,C_Ri与相机C_Li+1,C_Ri+1的公共视场区使用激光器投射出拼接中粗匹配和精确匹配的特征点。

首先使用三个点激光器投射出圆形光斑作为图像数据粗匹配的特征点。通过调整激光器的焦距，将光斑调节为尺寸大小有显著区别的三个圆。将三个光斑分布在尽量平坦的表面，且不能在同一直线上，三个光斑放置在较大的重叠区域范围，并均匀分布呈等边三角形。

其次，在由三个圆形光斑构成的三角形范围内，使用线激光器在相机图像的公共视场区投射线激光阵列构成网格，为步骤4中精确匹配提供特征点。避免圆光斑与线激光阵列的相互干扰，合理布局线激光器，将线激光阵列的网格布置在三个光斑之间，使两者不发生干涉。

步骤3：图像数据粗匹配

图像数据拼接的实质是通过坐标转换将待拼接图像数据与参考图像数据转换到同一坐标系下。将C_Ri采集的数据作为参考图像数据，C_Li+1采集的数据作为待拼接图像数据，将第i+1组双目相机的数据转换到第i组双目相机坐标系下。

通过图像采集，获取N组双目相机的采集的锻件相貌图像，根据已标定的双目相机的内、外参数，将第i组双目相机世界坐标系建立在相机C_Ri上，第i+1组双目相机世界坐标系建立在相机C_Li+1上，根据相机的内外参数计算公共视场任意点在分别在C_Ri和C_Li+1坐标系下的三维坐标。

提取三个大小不同的光斑的圆心作为粗匹配的特征点。根据激光器光强呈高斯分布，对圆形光斑进行高斯拟合，将拟合的高斯分布的峰值作为光斑的圆心的位置。相机C_Ri采集到的特征点P_i根据光斑面积从大到小依次排序为P_ij(x_ij,y_ij,z_ij)(j＝1,2,3)，相应地，相机C_Li+1采集到的特征点Q_i+1依次排序为Q_i+1j(x_i+1j,y_i+1j,z_i+1j)(j＝1,2,3)。由两相机的坐标关系，有

Q_i+1＝RP_i+T (1)

其中，R为相机C_Ri和C_Li+1坐标系之间的旋转矩阵，T为相机C_Ri和C_Li+1坐标系之间的平移向量。

转换矩阵参考图像与待拼接图像的转换矩阵共有6个未知参数，包括待拼接图像坐标系相对于参考图像坐标系关于三个坐标轴的旋转角度α,β,γ，以及平移向量T＝(t_x,t_y,t_z)^T。通过计算R，T矩阵即可确定参考图像与待拼接图像之间的转换关系，此时，图形拼接的问题转化为计算精确R，T矩阵的问题。将三个圆形光斑的圆心坐标带入方程(1)中，方程组有唯一解。

步骤4：图像数据的精确匹配

以粗匹配得到的旋转矩阵R与平移向量T为初值，通过迭代参考图像中与待拼接图像的对应特征点坐标，不断修正两组数据点间的旋转矩阵R和平移向量T，具体如下：

(a)以粗匹配计算的旋转矩阵R与平移向量T为初值，即令R⁰＝R，T⁰＝T；

(b)提取参考图像中激光线网格上n个特征点，相机C_Ri世界坐标系下采集到的数据点集D_i＝{D_i1,D_i2,D_i3……D_in}，根据第i组双目相机的内外参数计算得出特征点的三维坐标Di_j＝(x_ij,y_ij,z_ij),(j＝1,2,3……n)；

(c)在待拼接图像中对应D_i的一定区域内搜索对应特征点集D_i+1，其中每一个对应特征点的搜索区域需满足||D_i+1j-(R^kD_ij+T^k)||≤δ，k为迭代次数，δ为搜索半径，得到相机C_Li+1世界坐标系下的特征点集D_i+1＝{D_i+1,1,D_i+1,2,D_i+1,3……D_i+1,n}，计算对应点的平均距离

(d)根据公式(1)计算参考图像与待拼接图像的转换矩阵，需满足D_i+1＝R^k+1D_i+T^{k +1}，计算变换矩阵累计R^k+1′＝R^k+1·R^k，T^k+1′＝R^k·T^k+T^k+1；

(e)更新数据点集，剔除数据点集中不合适的点；

(f)计算

(g)如果d^k+1-d^k≥τ，且k＜M返回(b)，M为最大迭代次数，直到相邻两次迭代数据间的距离差小于给定的阈值τ，或达到最大迭代次数。

步骤5：去除冗余数据

利用精确匹配得出的转换矩阵H，将相邻两组双目相机的图像转换到同一坐标系下，同时删去重叠区域的冗余数据，完成相邻两组双目相机的图像数据拼接。

步骤6：全局拼接

由步骤1～步骤5得出相邻两组双目相机的转换矩阵H，同样地N组双目相机能够计算(N-1)个转换矩阵H，根据已知的双目相机之间的关系，能够推导出任意两相机之间的转换关系。

由相机之间的转换矩阵H能够将N组双目相机的图像点转换到全局坐标系下，从而完成大型锻件表面的三维尺寸的测量。

本发明的有益效果是图像数据粗匹配时以三个大小不同的光斑为特征点，有效避免误匹配，提高匹配精度；精确匹配以粗匹配得出的转换矩阵为初值，减小了修正转换矩阵的计算量。拼接中将测量系统看作多双目测量系统，以较精确的双目相机内外参数计算特征点的三维坐标，方法对靶标的位置无精确要求，易实现。

附图说明

图1为多目测量系统测量大型锻件的示意图。其中，C_Li,C_Ri为第i组双目相机，C_Li+1,C_Ri+1为第i+1组双目相机，Ⅰ为两组双目相机的公共视场区，Ⅱ为锻件，Ⅲ为激光器。

图2为相邻两组双目相机的公共视场区的示意图，Ⅰ为相机C₁和相机C₂的公共视场区，Ⅳ为相机C₁的像平面。

图3为本发明在相邻两组双目相机的公共视场区投射的激光靶标的示意图，P₁、P₂、P₃为三个大小不同的光斑。

具体实施方式

下面结合技术方案和附图详细说明本发明的具体实施，这里以两组双目相机图像数据的拼接过程说明采用激光辅助大型锻件尺寸测量的图像数据拼接方法。

相机模型采用经典的小孔成像模型，相机内参数标定包括四个内参数{f_x,f_y,u₀,v₀}，构成内参数矩阵

其中，(u₀,v₀)为相机光轴和像平面的交点，即主点坐标，f_x,f_y分别为横、纵向的归一化焦距。一组双目相机的外参数包括相机之间旋转矩阵R、平移向量t和尺度因子Z_C。图像平面内的点p＝(u,v)^T，其中(u,v)为数据点在图像上的横纵坐标。根据转换关系，计算像平面内的点在相机世界坐标系中的三维坐标P＝(x,y,z)^T，有

其中，转换矩阵M＝K[R|t]。

步骤1：布置实验现场

在四目相机测量系统中，由于锻造现场环境复杂，需要将四台相机布置在锻件的同一侧，C_L1,C_R1为第一组双目相机，C_L2,C_R2为第二组双目相机。保证每组双目相机中左右相机的视场重叠，公共视场区占单组双目相机视场的40％。

第一组双目相机外参数标定将世界坐标系建立C_R1在的光心上，标定内参数得到内参数矩阵K₁，标定外参数得到双目相机的旋转矩阵R₁、平移向量t₁和尺度因子Z_C1，则第一组双目相机的转换矩阵M₁＝K₁[R₁|t₁]。同样地，第二组双目相机内外参数标定，将世界坐标系建立相机C_L2在的光心上，标定内参数得到内参数矩阵K₁，标定外参数得出双目相机的转换矩阵M₂＝K₂[R₂|t₂]。通过两组双目相机的内外参数，可以计算相机公共视场区域任意数据点的三维坐标。

步骤2：布置匹配的特征点

使用激光器在两组双目相机的公共视场区域投射特征点。首先使用点激光器投射出三个大小不一的圆形光斑，以圆形光斑的圆心作为粗匹配的特征点，其直径分别为80mm，140mm和200mm。将圆形光斑尽量均布在较大的公共视场区内，且构成近似的等边三角形。其次，在三个光斑构成的三角形区域内使用线激光器投射出5×5激光线构成的网格，均匀排布网格线。

步骤3：图像数据粗匹配

试验现场布置完成后，四台相机在同一时刻各拍摄一张图片。完成图像采集后，处理参考图像，提取光斑的圆心。根据图像灰度分布拟合的高斯曲线，以曲线的峰值为特征点图像坐标。按照特征点面积从大到小依次为p₁，p₂，p₃，其中p_j＝(u_j,v_j)^T(j＝1,2,3)。根据公式(2)计算圆形光斑的三维坐标为

其中P_j＝(x_j,y_j,z_j)^T,(j＝1,2,3)为光斑的圆心在以在相机C_R1世界坐标系下的三维坐标。相应地，待拼接图像的特征点的图像坐标按照特征点面积从大到小排序依次为q₁，q₂，q₃，其中为q_j＝(u_j,v_j)^T,(j＝1,2,3)，计算特征点在相机C_L2世界坐标系下的三维坐标为Q_j＝(x_j,y_j,z_j)^T,(j＝1,2,3)。根据特征点面积不同，则参考图像中特征点P₁,P₂,P₃在待拼接图像中的对应特征点为Q₁,Q₂,Q₃。

根据参考数据点与待拼接数据点之间的转换关系Q_j＝RP_j+T，列出方程组，计算得出转换矩阵

步骤4：图像数据精确匹配

粗匹配能够快速计算相邻两组双目相机数据点之间转换矩阵H＝[R|T]，但是由于R，T矩阵的计算只采用了三个特征点，由于图像采集过程与特征点提取过程存在误差，因此粗匹配得到的转换矩阵H需要进一步修正。

以步骤3中得到粗匹配的转换矩阵H作为初值，对转换矩阵H进行修正,具体如下：

(a)以粗匹配计算的旋转矩阵R与平移向量T为初值，即令R⁰＝R，T⁰＝T；

(b)提取参考图像中激光线网格上n个特征点，n＝60_x在参考图像的公共视场区提取激光线网格上的数据点作为精确匹配的数据点集X＝{X₁,X₂,X₃……X_n}，n＝60，根据双目相机的内外参数，计算数据点在相机C_R1坐标下的三维坐标X_i(x_i,y_i,z_i)；

(_c)在待拼接图像中对应的点位置一定区域内搜索对应特征点需满足其中k为迭代次数，δ为搜索半径，计算

(d)根据公式(1)计算参考图像与待拼接图像的转换矩阵，需满足计算变换矩阵累计R^k+1′＝R^k+1·R^k，T^k+1′＝R^k·T^k+T^k+1；

(e)更新数据点集，剔除数据点集中不合适的点；

(f)计算

(g)如果d^k+1-d^k≥τ，且k＜M返回(b)，M为最大迭代次数，设M＝1.0E5，直到相邻两次迭代数据间的距离差小于给定的阈值τ＝1.0E-6，或达到最大迭代次数，即认为得到的旋转矩阵R与平移向量T为实际值。

步骤5：去除冗余数据

根据计算得出的转换矩阵H，将两组双目相机的图像数据点转换到全局坐标系下，即以相机C_L2光心为原点的世界坐标系下，去除公共视场区的冗余数据，完场图像数据拼接。

本发明的大型锻件表面三维测量图像数据的拼接方法，在没有便于提取的特征的金属表面使用激光器构造特征点，实现复杂工况下图像数据的拼接。

Claims (1)

1.采用激光辅助大型锻件测量图像数据的拼接方法，其特征是，该方法使用两种不同的激光器在金属表面上构造特征点，实现复杂工况下图像数据的拼接；相邻两组双目相机使用点激光器投射出的光斑，进行图像数据粗匹配，同时得到转换矩阵，使用线激光器投射出栅格，以粗匹配的转换矩阵为初值，进行图像数据精确匹配，去除冗余数据后，完成拼接；对于多目视觉测量系统，分别完成相邻两组双目相机的图像数据拼接，进而完成全局拼接，具体步骤如下：

步骤1：布置实验现场

在锻件的同一侧布置2N台相机，构成多目视觉测量系统，由于多目视觉测量系统可以看作N组双目视觉测量系统，因此将相机依次编号为C_L1,C_R1,C_L2,C_R2……C_LN,C_RN，其中C_Li,C_Ri，i＝1,2,3……N分别表示第i组双目相机的左相机与右相机；在相机布局中，每组双目相机的视场尽量重叠，保证任意相邻两组双目相机的公共视场区不少于待拼接区域的30％；同时，完成每组双目相机内、外参数的标定；

步骤2：布置匹配的特征点

在相机C_Li,C_Ri与相机C_Li+1,C_Ri+1的公共视场区使用激光器投射出拼接中粗匹配和精确匹配的特征点；

首先使用三个点激光器投射出圆形光斑作为图像数据粗匹配的特征点；通过调整激光器的焦距，将光斑调节为尺寸大小不同的三个圆；将三个光斑分布在尽量平坦的表面，且不能在同一直线上，三个光斑放置在较大的重叠区域范围内，并均匀分布呈等边三角形；

其次，在由三个圆形光斑构成的三角形范围内，使用线激光器在相机图像的公共视场区投射线激光阵列构成网格，为步骤4中精确匹配提供特征点；避免圆光斑与线激光阵列的相互干扰，合理布局线激光器，将线激光阵列的网格布置在三个光斑之间，使两者不发生干涉；

步骤3：图像数据粗匹配

图像数据拼接的实质是通过坐标转换将待拼接图像数据与参考图像数据转换到同一坐标系下；将C_Ri采集的数据作为参考图像数据，C_Li+1采集的数据作为待拼接图像数据，将第i+1组双目相机的数据转换到第i组双目相机坐标系下；通过图像采集，获取N组双目相机的采集的锻件相貌图像，根据已标定的双目相机的内、外参数，将第i组双目相机世界坐标系建立在相机C_Ri上，第i+1组双目相机世界坐标系建立在相机C_Li+1上，根据相机的内外参数计算公共视场任意点分别在C_Ri和C_Li+1坐标系下的三维坐标；

提取三个大小不同的光斑的圆心作为粗匹配的特征点；根据激光器光强呈高斯分布，对圆形光斑进行高斯拟合，将拟合的高斯分布的峰值作为光斑的圆心的位置；相机C_Ri采集到的特征点集P_i根据光斑面积从大到小依次排序为P_ik(x_ik,y_ik,z_ik)，k＝1,2,3，相应地，相机C_Li+1采集到的特征点集Q_i+1依次排序为Q_i+1k(x_i+1k,y_i+1k,z_i+1k)，k＝1,2,3；由两相机的坐标关系，有

Q_i+1k＝RP_ik+T (1)

其中，R为相机C_Ri和C_Li+1坐标系之间的旋转矩阵，T为相机C_Ri和C_Li+1坐标系之间的平移向量；

转换矩阵参考图像与待拼接图像的转换矩阵共有6个未知参数，包括待拼接图像坐标系相对于参考图像坐标系关于三个坐标轴的旋转角度α,β,γ，以及平移向量T＝(t_x,t_y,t_z)^T；通过计算R，T矩阵即可确定参考图像与待拼接图像之间的转换关系，此时，图形拼接的问题转化为计算精确R，T矩阵的问题；将三个圆形光斑的圆心坐标带入方程(1)中，方程组有唯一解；

步骤4：图像数据的精确匹配

以粗匹配得到的旋转矩阵R与平移向量T为初值，通过迭代参考图像中与待拼接图像的对应特征点坐标，不断修正两组数据点间的旋转矩阵R和平移向量T，具体如下：

(a)以粗匹配计算的旋转矩阵R与平移向量T为初值，即令R⁰＝R，T⁰＝T；

(b)提取参考图像中激光线网格上n个特征点，相机C_Ri世界坐标系下采集到的数据点集D_i＝{D_i1,D_i2,D_i3……D_in}，根据第i组双目相机的内外参数计算得出特征点的三维坐标D_im＝(x_im,y_im,z_im),m＝1,2,3……n；

(c)在待拼接图像中搜索特征点D_ij的对应特征点D_i+1j，其中搜索区域需满足||D_i+1m-(R^k’D_im+T^k’)||≤δ，k'为迭代次数，δ为搜索半径，从而获得相机C_Li+1世界坐标系下的特征点集D_i+1m＝{D_i+1,1,D_i+1,2,D_i+1,3……D_i+1n}，并计算待拼接图像与参考图像中对应特征点的平均距离

(d)根据公式(1)计算参考图像与待拼接图像的转换矩阵，需满足D_i+1m＝R^k’+1D_im+T^k’+1，计算变换矩阵累计R^k’+1′＝R^k’+1·R^k′， $T^{k^{,}+1\′}=R^{k^{,}}\·T^{k^{,}}+T^{k^{,}+1};$

(e)更新数据点集，剔除数据点集中不合适的点；

(f)计算

(g)如果d^k’+1-d^k’≥τ，且k'＜M返回(b)，M为最大迭代次数，直到相邻两次迭代数据间的距离差小于给定的阈值τ，或达到最大迭代次数；

步骤5：去除冗余数据

利用精确匹配得出的转换矩阵H，将相邻两组双目相机的图像转换到同一坐标系下，同时删去重叠区域的冗余数据，完成相邻两组双目相机的图像数据拼接；

步骤6：全局拼接

由步骤1～步骤5得出相邻两组双目相机的转换矩阵H，同样地N组双目相机能够计算(N-1)个转换矩阵H，根据已知的双目相机之间的关系，能够推导出任意两相机之间的转换关系；

由相机之间的转换矩阵H能够将N组双目相机的图像点转换到全局坐标系下，从而完成大型锻件表面的三维尺寸图像数据的拼接。