CN111915485A - 一种特征点稀疏工件图像的快速拼接方法及系统 - Google Patents

Abstract

本发明涉及图像拼接技术领域。目的是提供一种特征点稀疏工件图像的快速拼接方法及系统，利用激光器在相机的视野重合区投射图形标志，提供稳定、特征明显的标志点，在提高图像拼接精度的同时减少相机间重合区的大小，提高图像处理速度。技术方案是：一种特征点稀疏工件图像的快速拼接系统，包括分别布置于工件两侧以便为取像系统提供光照条件的若干条形光源、用于检测工件的若干个工业相机、安装于工业相机之间的若干个激光器、控制条形光源与激光器的控制器以及电连接所述工控机从而对所拍摄的图像进行校正的工控机；一种特征点稀疏工件图像的快速拼接方法，包括S1图像采集、S2图像预处理、S3特征点检测匹配和S4图像拼接融合。

Description

一种特征点稀疏工件图像的快速拼接方法及系统

技术领域

本发明涉及图像拼接技术领域，更具体地说，涉及一种特征点稀疏工件图像的快速拼接方法及系统。

背景技术

图像拼接技术是一种将一组图像按一定规则拼接融合成一幅大视野高分辨率图像的技术，是机器视觉领域对大尺寸物体进行尺寸测量、形状匹配、缺陷检测等操作的前提技术之一，是图像处理领域的一个非常重要的研究方向。

图像拼接的方法大致可分为基于模型的方法，基于变换域的方法，基于灰度相关的方法和基于特征的方法。其中目前使用的较多的是基于特征的匹配方法，如HARRIS、PCA-SIFT、SURF和ORB等。

对比其他图像拼接方式，基于特征的匹配方法具有高精度、快速有效和适用性广的特点，但在特征点稀疏工件的工件上，如钣金、木质板等，这类没有特别明显的纹理特征，很难找到特征点的器件，基于特征的匹配方法很难实现此类图像的拼接。基于特征的匹配方法还需要待拼接图像间有较大的重叠区域，这就大大地浪费了相机的视野，在相同图像采集条件下，需要用到更多的工业相机，图像处理时间也会随着图幅数的增加而增加，从而造成大尺寸工件测量时间的増加，使得大尺寸器件难以实现在线测量。

发明内容

为了克服现有技术的缺陷，本发明提供了一种特征点稀疏工件图像的快速拼接方法及系统，利用激光器在相机的视野重合区投射图形标志，提供稳定、特征明显的标志点，在提高图像拼接精度的同时减少相机间重合区的大小，提高图像处理速度。

一种特征点稀疏工件图像的快速拼接系统，包括分别布置于工件两侧以便为取像系统提供光照条件的若干条形光源、用于检测工件的若干个工业相机、安装于工业相机之间的若干个激光器、控制条形光源与激光器的控制器以及电连接所述工控机从而对所拍摄的图像进行校正的工控机。

所述激光器将图案投射在相机视场重合区域的工件上，激光器投射图案可针对所使用的特征点检测算法的特征点检测特性来针对性设计，使投射图案内的特征点具有稳定性和针对性。

一种特征点稀疏工件图像的快速拼接方法，包括S1图像采集、S2图像预处理、S3特征点检测匹配和S4图像拼接融合；

所述S1图像采集，包含如下步骤：

各相机将拍摄获取两组图像，第一组为激光器打开时工件上包含有激光图案的图像，第二组为激光器关闭时不包含激光图案的工件图像。

所述S2图像预处理和S3特征点检测匹配步骤为；对S1图像采集中第一组图像的处理和计算，对步骤S4图像拼接融合采用S1图像采集中第二组图像进行拼接融合，以获得清晰无干扰的工件图像。

所述的S2图像预处理，包括如下步骤：

S21：划定ROI区域，所述ROI区域，是根据各相机的排布以及激光图案的投射位置，划定各图像重合区域内的激光图案区域。

S22：灰度化操作，将各相机拍摄获得的彩色图像转化为灰度图；

S23：对步骤S22得到的灰度图进行高斯滤波，消除高频噪声，得到边缘保留完整且清晰度较高的图像；

所述的S3特征点检测匹配，包括如下步骤：

S31：在各图像选定的ROI区域内采用特征点检测算法进行特征点检测，特征点检测算法可采用HARRIS、PCA-SIFT、SURF或ORB检测算法中的一种；采用不同算法时可针对性地设计激光器投射的激光图案；

S32：对特征点采用最邻近距离比值法进行粗匹配；

S33：粗匹配后获得的特征点对再进行RANSAC剔除误匹配对，求出变换矩阵H；

所述的S4图像拼接融合，包括如下步骤：

S41：使用S33中求出的变换矩阵H对待拼接的第二组图像进行仿射变换，从而获得基准图像对应的拼接图像；

S42：对拼接图像采用渐入渐出融合。

上述技术方案中，所述步骤S31中的HARRIS角点检测算法具体步骤有：

步骤(a)：构建协方差矩阵M；利用sobel算子计算出图像在水平方向和垂直方向的梯度值I_x、I_y，再计算对应的梯度外积I_x ²、I_y ²和I_xI_y，构成协方差矩阵M；

步骤(b)：获取准角点数据；根据角点响应公式R(i,j)＝det(M)-k(trace(M))²来判断该点是否为角点；其中det(M)为协方差矩阵M的行列式的值，trace(M)是协方差矩阵M对角线上元素之和，k为HARRIS角点检测算法的一个经验值取值为0.04～0.06；

步骤(c)：得出最终角点；在每个准角点的八邻域范围内进行局部非极大值抑制，完成局部非极大值抑制后得到最终角点数据。

上述技术方案中，所述步骤S31中的PCA-SIFT特征点检测算法具体步骤有：

步骤(a)：构建高斯尺度空间；对于二维图像I(x,y)在不同尺度下的尺度空间表示L(x,y,σ)由图像I(x,y)与尺度可变高斯函数G(x,y,σ)卷积得到，如下式所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

在高斯金字塔尺度空间中含有多组图像，每组图像中含有多层不同高斯尺度模糊而成的图像；高斯金字塔第一组的第一层图像由原图像模糊而成，组内的后一层图像由前一层高斯模糊得出，高斯金字塔后一组图像的底层图像由前一组图像的倒数第三张图像隔点采样得到。为了在每组中检测S个尺度的极值点，则DOG金字塔每组需S+2层图像，而DOG金字塔由高斯金字塔相邻两层相减得到，则高斯金字塔每组需S+3层图像；本发明利用激光器提供了稳定的特征点故取S的值为3，同时在高斯金字塔中只需构建前三组图像，简化高斯尺度空间的建立；

步骤(b)：特征点的检测及定位；在DOG尺度空间上的采样点将与同尺度八邻域点以及上下相邻尺度对应的2×9个点共26个点进行比较，采样点为最大值或最小值时则认为该点是图像在该尺度下的一个特征点；对于图像中的任何点，其DOG响应值能够拟合出轨迹图是图像的特征曲线，对于曲线上的极值点则表示为特征点的特征尺度，通过拟合三维二次函数可精确确定关键点的位置和尺度，尺度空间函数D(x,y,σ)在局部极值点D(x₀,y₀,σ)处的泰勒展开式如下式所示：

其中x＝(x,y,σ)^T，对上式求导并让方程等于零，可得到极值点的偏移量为

则对应的极值点的方程为

若

则保留该特征点；

步骤(c)：除去不稳定点；由于DOG响应值对于边缘和噪声较为敏感，需要去掉对比度较低的特征点和不稳定的边缘响应点；获取特征点处的Hessian矩阵，主曲率通过一个2×2的Hessian矩阵H求出：

在上述Hessian矩阵中有：

其中Tr(H)为矩阵H的对角线元素之和，Det(H)为矩阵H的行列式的值，α和β为矩阵H的特征值，代表x和y方向的梯度，常数取值r＝10；若

则保留该特征点；

步骤(d)：确定特征点的主方向，使用图像梯度的方法求取局部结构的稳定方向；对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征；梯度的模值和方向如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

在计算过程中，梯度模值按1.5σ_oct的高斯分布加成，并且使用梯度方向直方图来计算邻域像素的梯度方向，梯度直方图将0～360°的方向分为36个柱，梯度方向直方图的峰值即为特征点的主方向；

步骤(e)：基于PCA降维的特征点描述；首先将坐标轴旋转为特征点的方向，然后以特征点为中心取41×41的窗口，计算39×39的窗口内每个像素对水平、垂直两个方向的偏导数，得到一个3042维的向量并归一化；假设有N个特征点，那么所有特征点描述子向量构成一个N×3042的矩阵A，计算矩阵A的协方差矩阵B，再计算协方差矩阵B的特征向量，根据特征根的大小排序，选择对应的前k个特征向量，将这k个向量组成一个3042×k的投影矩阵T，将N×3042的描述子矩阵与投影矩阵T相乘，得到k维的特征点的描述子向量，本发明中取k＝20。

上述技术方案中，所述步骤S32中的最邻近距离比值法具体步骤有：

取基准图像中的一个特征点D_A，并找出其与另一幅图像中欧式距离最近的前两个点D_B、D_C，并利用最近点的欧氏距离除以次近点的欧式距离，得到的比率少于阈值t则接受这一对最近匹配点，本发明中取t＝0.6；最邻近距离比值法判别式如下：

上述技术方案中，所述步骤S33中RANSAC剔除误匹配，求出变换矩阵H的具体步骤有：

步骤(a)：从粗匹配后得到的特征点对集合P中选择4组匹配对，计算初始转换矩阵H₀；要实现关键点在两幅图像中的转换，即源图片的像素点与变换矩阵H相乘得到配准图像像素点坐标，对应像素点应该通过包括m＝8个数值的转换矩阵H来实现，故计算一次转换矩阵H至少需要4组匹配对进行计算；单应性矩阵H以及投影变换式如下：

步骤(b)：判别匹配对，确定内外点；计算出初始转换矩阵H₀后，计算集合P中剩下的N-4对匹配点与转换矩阵的位置关系，若距离大于某一临界值T，则纳入到外点集合，剩余的其他匹配点均纳入到内点的集合u，得到内点总数C；

步骤(c)：循环计算，达到迭代次数终止循环；重复步骤(a)(b)k次，重复集合P中随机选择4组匹配对，计算转换矩阵H，判别记录各转换矩阵H对应的内外点；

步骤(d)：剔除误匹配对；把步骤(c)循环中k次计算中集合u元素最多的一次定义为正确匹配组I；

步骤(e)：确定最终转换矩阵H；利用上一步得到的正确匹配组I计算出最终转换矩阵H。

上述技术方案中，所述步骤S42中渐入渐出融合方法，具体步骤有：

设M₁、M₂为待拼接图像，M为融合后的图像，则有：

式中，ρ₁和ρ₂为重合区域对应像素的权重，取ρ_i＝1/w，w为重叠区域宽度，同时有ρ₁+ρ₂＝1，0＜ρ₁,ρ₂＜1。

与现有技术相比，本发明的有益效果是：

1、本发明采用激光器投射激光图案的方法为特征点稀疏工件提供稳定、特征明显的特征点，避免了传统图像拼接技术中，相机的视野重合区必须有较大重叠且纹理多的前提条件，以主动方法解决了特征点稀疏工件图像难以拼接的问题，提高了特征点稀疏工件图像的拼接精度。各相机拍摄两次获取两组图像，第一组包含有激光图案的图像用于特征点检测、匹配，获取变换矩阵H，另一组为不包含激光图案的工件图像，用于拼接融合得出最终拼接图像，最终图像不包含激光图案，本发明的拼接方法对图像的后续操作无影响。

2、因为额外提供了稳定的特征点，所以本发明可极大地可缩小两幅图像间的重合区，在同样的工业相机数目下能够获得更大的整体视场，系统的检测能力更强。

3、本发明将各图像的ROI区域设置为激光图案投射区，ROI区域小，用于计算处理的数据量小，同时在可采用的PCA-SIFT特征检测算法中的尺度空间只建立前三组图像，在保证图像拼接系统拼接质量的情况下针对性简化了拼接算法，使图像特征点检测、匹配时间更短。

4、本发明所使用的特征点检测可根据待拼接工件图像的特点进行相对应的调整选取不同的特征检测算子，同时还可针对所使用的特征点检测算法的特征点检测特性来选取对应投射图案的激光器，使投射图案内的特征点具有稳定性和针对性。

附图说明

图1为本发明实施例中特征点稀疏工件图像拼接硬件系统结构示意图。

图2为本发明实施例提供的特征点稀疏工件图像的快速拼接方法流程图。

图3为本发明实施例中采用的PCA-SIFT特征检测算法流程图。

图4为本发明实施例中使用的RANSAC算法示意图。

图5为本实施例中的相机排布图。

图6为本实施例中的各相机所摄图像感兴趣区域(ROI)选取示意图。

图中：1、工控机，2、控制器，3、条形光源，4、被测工件，5、工业相机，6、激光器，501、一号相机，502、二号相机，503、三号相机，504、四号相机，505、五号相机，506、六号相机，501P、一号相机所摄图像，502P、二号相机所摄图像，503P、三号相机所摄图像，504P、四号相机所摄图像，505P、五号相机所摄图像，506P、六号相机所摄图像。

具体实施方式

下面结合附图所示实施例，对本发明的技术方案作进一步说明。

如图1所示，一种特征点稀疏工件图像的快速拼接系统，(即特征点稀疏工件图像拼接硬件系统)包括工控机、控制器、工业相机、激光器和条形光源；

所述工控机用于获取各工业相机拍摄所得图像，并根据对应相机所预设的透视变换矩阵和畸变变换矩阵对获取的图像进行校正，以获得校正图像；运行特征点稀疏工件图像拼接软件系统对校正后图像进行处理，获得最终拼接图像。

所述控制器控制条形光源的亮度和开关；控制激光器的开关。

所述工业相机可随被检测工件的尺寸大小和检测精度要求所决定的物场(FOV)来自适应的布置多个。

所述激光器随工业相机的分布变动而变动，激光器的安装位于相机间，激光图案投射于相机视场的重合区域；激光器投射图案可针对所使用的特征点检测算法的特征点检测特性来针对性设计，使投射图案内的特征点具有稳定性和针对性。

所述条形光源平行于工件的长边，分别布置于工件的两侧。

如图2所示的一种特征点稀疏工件图像的快速拼接方法，包括S1图像采集、S2图像预处理、S3特征点检测匹配和S4图像拼接融合。

所述S1图像采集，包含如下内容：

各相机将拍摄获取两组图像，第一组为激光器打开时工件上包含有激光图案的图像，第二组为激光器关闭时不包含激光图案的工件图像。

所述S2图像预处理和S3特征点检测匹配步骤为：对S1图像采集中第一组图像的处理和计算，对步骤S4图像拼接融合采用S1图像采集中第二组图像进行拼接融合，以获得清晰无干扰的工件图像。

所述的S2图像预处理，包括如下步骤：

S21：划定ROI区域(根据各相邻相机的排布以及激光图案的投射位置，划定各图像重合区域内的激光图案区域为ROI区域)。

S22：灰度化操作，将各相机拍摄获得的彩色图像转化为灰度图；

S23：对步骤S22得到的灰度图进行高斯滤波，消除高频噪声，得到边缘保留完整且清晰度较高的图像。

所述的S3特征点检测匹配，包括如下步骤：

S31：在各图像选定的ROI区域内采用特征点检测算法进行特征点检测，特征点检测算法可采用HARRIS、PCA-SIFT、SURF、ORB等检测算法，采用不同算法时可针对性的设计激光器投射的激光图案，如采用HARRIS角点检测时可投射规律排列的三角形图案；采用PCA-SIFT特征点检测时可投射一组带不同编码的标志点图案；

S32：对特征点采用最邻近距离比值法进行粗匹配；

S33：粗匹配后获得的特征点对再进行RANSAC剔除误匹配对，求出变换矩阵H。

上述技术方案中，所述步骤S31中的HARRIS角点检测算法具体步骤有：

步骤(a)：构建协方差矩阵M。利用sobel算子计算出图像在水平方向和垂直方向的梯度值I_x、I_y，再计算对应的梯度外积I_x ²、I_y ²和I_xI_y，构成协方差矩阵M。

步骤(b)：获取准角点数据。根据角点响应公式R(i,j)＝det(M)-k(trace(M))²来判断该点是否为角点，其中det(M)为协方差矩阵M的行列式的值，trace(M)是协方差矩阵M对角线上元素之和，k为HARRIS角点检测算法的一个经验值取值为0.04～0.06。

步骤(c)：得出最终角点。在每个准角点的八邻域范围内进行局部非极大值抑制，完成局部非极大值抑制后得到最终角点数据。

如图3所示，上述技术方案中，所述步骤S31中的PCA-SIFT特征点检测算法具体步骤有：

步骤(a)：构建高斯尺度空间。对于二维图像I(x,y)在不同尺度下的尺度空间表示L(x,y,σ)由图像I(x,y)与尺度可变高斯函数G(x,y,σ)卷积得到，如下式所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

在高斯金字塔尺度空间中含有多组图像，每组图像中含有多层不同高斯尺度模糊而成的图像；高斯金字塔第一组的第一层图像由原图像模糊而成，组内的后一层图像由前一层高斯模糊得出，高斯金字塔上一组图像的底层图像由前一组图像的倒数第三张图像隔点采样得到。为了在每组中检测S个尺度的极值点，则DOG金字塔每组需S+2层图像，而DOG金字塔由高斯金字塔相邻两层相减得到，则高斯金字塔每组需S+3层图像，本发明利用激光器提供了稳定的特征点故取S的值为3，同时在高斯金字塔中只需构建前三组图像，简化高斯尺度空间的建立。

步骤(b)：特征点的检测及定位。在DOG尺度空间上的采样点将与同尺度八邻域点以及上下相邻尺度对应的2×9个点共26个点进行比较，采样点为最大值或最小值时则认为该点是图像在该尺度下的一个特征点。对于图像中的任何点，其DOG响应值能够拟合出轨迹图是图像的特征曲线，对于曲线上的极值点则表示为特征点的特征尺度，通过拟合三维二次函数可精确确定关键点的位置和尺度，尺度空间函数D(x,y,σ)在局部极值点D(x₀,y₀,σ)处的泰勒展开式如下式所示：

其中x＝(x,y,σ)^T，对上式求导并让方程等于零，可得到极值点的偏移量为

则对应的极值点的方程为

若

则保留该特征点。

步骤(c)：除去不稳定点。由于DOG响应值对于边缘和噪声较为敏感，需要去掉对比度较低的特征点和不稳定的边缘响应点；获取特征点处的Hessian矩阵，主曲率通过一个2×2的Hessian矩阵H求出：

在上述Hessian矩阵中有：

其中Tr(H)为矩阵H的对角线元素之和，Det(H)为矩阵H的行列式的值，α和β为矩阵H的特征值，代表x和y方向的梯度，常数取值r＝10。若

则保留该特征点。

步骤(d)：确定特征点的主方向。使用图像梯度的方法求取局部结构的稳定方向。对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。梯度的模值和方向如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

在计算过程中，梯度模值按1.5σ_oct的高斯分布加成，并且使用梯度方向直方图来计算邻域像素的梯度方向，梯度直方图将0～360°的方向分为36个柱，梯度方向直方图的峰值即为特征点的主方向。

步骤(e)：基于PCA降维的特征点描述。首先将坐标轴旋转为特征点的方向，然后以特征点为中心取41×41的窗口，计算39×39的窗口内每个像素对水平、垂直两个方向的偏导数，得到一个3042维的向量并归一化；假设有N个特征点，那么所有特征点描述子向量构成一个N×3042的矩阵A，计算矩阵A的协方差矩阵B，再计算协方差矩阵B的特征向量，根据特征根的大小排序，选择对应的前k个特征向量，将这k个向量组成一个3042×k的投影矩阵T，将N×3042的描述子矩阵与投影矩阵T相乘，得到k维的特征点的描述子向量，本发明中取k＝20。

上述技术方案中，所述步骤S32中的最邻近距离比值法具体步骤有：

取基准图像中的一个特征点D_A，并找出其与另一幅图像中欧式距离最近的前两个点D_B、D_C，并利用最近点的欧氏距离除以次近点的欧式距离，得到的比率少于阈值t则接受这一对最近匹配点，本发明中取t＝0.6。最邻近距离比值法判别式如下：

如图4所示，上述技术方案中，所述步骤S33中RANSAC剔除误匹配，求出变换矩阵H的具体内容有：

步骤(a)：从粗匹配后得到的特征点对集合P中选择4组匹配对，计算初始转换矩阵H₀。要实现关键点在两幅图像中的转换，即源图片的像素点与变换矩阵H相乘得到配准图像像素点坐标，对应像素点应该通过包括m＝8个数值的转换矩阵H来实现，故计算一次转换矩阵H至少需要4组匹配对进行计算。单应性矩阵H以及投影变换式如下：

步骤(b)：判别匹配对，确定内外点。计算出初始转换矩阵H₀后，计算集合P中剩下的N-4对匹配点与转换矩阵的位置关系，若距离大于某一临界值T，则纳入到外点集合，剩余的其他匹配点均纳入到内点的集合u，得到内点总数C。

步骤(c)：循环计算，达到迭代次数终止循环。重复步骤(a)(b)k次，重复集合P中随机选择4组匹配对，计算转换矩阵H，判别记录各转换矩阵H对应的内外点。

步骤(d)：剔除误匹配对。把步骤(c)循环中k次计算中集合u元素最多的一次定义为正确匹配组I。

步骤(e)：确定最终转换矩阵H。利用上一步得到的正确匹配组I计算出最终转换矩阵H。

所述的S4图像拼接融合，包括如下内容：

S41：使用S33中求出的变换矩阵H对待拼接的第二组图像进行仿射变换，从而获得基准图像对应的拼接图像；

S42：对拼接图像采用渐入渐出融合。

上述技术方案中，所述步骤S42中渐入渐出融合方法，具体步骤有：

设M₁、M₂为待拼接图像，M为融合后的图像，则有：

式中，ρ₁和ρ₂为重合区域对应像素的权重，取ρ_i＝1/w，w为重叠区域宽度，同时有ρ₁+ρ₂＝1，0＜ρ₁,ρ₂＜1。

本实施例中的特征点稀疏工件图像的快速拼接过程如下：

如图1所示，初始运行状态下条形光源3为打开状态；当被测工件4到达检测区域后，输送装置停止运行，控制器2控制激光器6打开，投射激光图案，工控机1控制所有工业相机5进行取像，工业相机的布置如图5所示。第一组带有激光图案的被测工件4图像取像完成后，控制器2控制激光器6关闭，工控机1控制所有工业相机5进行第二次取像，获得第二组不带激光图案的被测工件4图像。取像完成后输送装置启动，将被测工件送出检测区域，同时工控机利用相机标定得出的内外参数对两组图像进行畸变矫正。

根据第一组图像中所包含的激光图案区域划定ROI区域；如图6所示，本实施例中ROI区域有两个，均为相邻四个相机所摄图像的重叠区域；其中一个ROI区域(图6中左边的矩形小格)由一号相机所摄图像501P的右上角区域、二号相机所摄图像502P的右下角区域、三号相机所摄图像503P的左上角以及四号相机所摄图像504P的左下角区域重叠形成；另一个ROI区域(图6中右边的矩形小格)由三号相机所摄图像503P的右上角区域、四号相机所摄图像504P的右下角区域、五号相机所摄图像505P的左上角区域以及六号相机所摄图像506P的左下角区域重叠形成。接着对第一组图像进行灰度化转换、高斯降噪处理，然后在第一组图像的两个ROI区域中采用PCA-SIFT算法进行特征点检测。在特征点匹配计算时按照图像的重叠情况进行，先进行长度方向上的匹配计算，再进行宽度方向上的匹配计算，如：

(1)图像501P右上角ROI特征点检测结果与图像503P左上角ROI特征点检测结果进行匹配，计算变换矩阵H；图像503P右上角ROI特征点检测结果与图像505P左上角ROI特征点检测结果进行匹配，计算变换矩阵H；

(2)图像501P右上角ROI特征点检测结果与图像502P右下角ROI特征点检测结果进行匹配，计算变换矩阵H；图像503P左上角ROI特征点检测结果与图像504P左下角ROI特征点检测结果进行匹配，计算变换矩阵H；图像505P左上角ROI特征点检测结果与图像506P左下角ROI特征点检测结果进行匹配，计算变换矩阵H。

第二组图像采用第一组各图像匹配计算出的变换矩阵H进行拼接，图像拼接的顺序与匹配计算的顺序一致，先进行长度方向，再进行宽度方向的拼接，最终获得完整的工件图像。

Claims (8)

1.一种特征点稀疏工件图像的快速拼接系统，包括分别布置于工件两侧以为取像系统提供光照条件的若干条形光源(3)、用于检测工件的若干个工业相机(5)、安装于工业相机之间的若干个激光器(6)、控制条形光源与激光器的控制器(2)以及电连接所述工控机从而对所拍摄的图像进行校正的工控机(1)。

2.根据权利要求1所述的特征点稀疏工件图像的快速拼接系统，其特征在于：所述激光器(6)将图案投射在相机视场重合区域的工件上，激光器(6)投射图案可针对所使用的特征点检测算法的特征点检测特性来针对性设计，使投射图案内的特征点具有稳定性和针对性。

3.一种特征点稀疏工件图像的快速拼接方法，包括S1图像采集、S2图像预处理、S3特征点检测匹配和S4图像拼接融合；

所述S1图像采集，包含如下步骤：各相机将拍摄获取两组图像，第一组为激光器打开时工件上包含有激光图案的图像，第二组为激光器关闭时不包含激光图案的工件图像；

所述S2图像预处理和S3特征点检测匹配步骤为：对S1图像采集中第一组图像的处理和计算，对步骤S4图像拼接融合采用S1图像采集中第二组图像进行拼接融合，以获得清晰无干扰的工件图像；

所述的S2图像预处理，包括如下步骤：

S21：划定ROI区域，所述ROI区域，是根据各相机的排布以及激光图案的投射位置，划定各图像重合区域内的激光图案区域；

S22：灰度化操作，将各相机拍摄获得的彩色图像转化为灰度图；

S23：对步骤S22得到的灰度图进行高斯滤波，消除高频噪声，得到边缘保留完整且清晰度较高的图像；

所述的S3特征点检测匹配，包括如下步骤：

S31：在各图像选定的ROI区域内采用特征点检测算法进行特征点检测，特征点检测算法可采用HARRIS、PCA-SIFT、SURF或ORB检测算法中的一种；

S32：对特征点采用最邻近距离比值法进行粗匹配；

S33：粗匹配后获得的特征点对再进行RANSAC剔除误匹配对，求出变换矩阵H；

所述的S4图像拼接融合，包括如下步骤：

S41：使用S33中求出的变换矩阵H对待拼接的第二组图像进行仿射变换，从而获得基准图像对应的拼接图像；

S42：对拼接图像采用渐入渐出融合。

4.根据权利要求3所述的特征点稀疏工件图像的快速拼接方法，其特征在于：所述步骤S31中的HARRIS角点检测算法具体步骤有：

步骤(a)：构建协方差矩阵M；利用sobel算子计算出图像在水平方向和垂直方向的梯度值I_x、I_y，再计算对应的梯度外积I_x ²、I_y ²和I_xI_y，构成协方差矩阵M；

步骤(b)：获取准角点数据；根据角点响应公式R(i,j)＝det(M)-k(trace(M))²来判断该点是否为角点；其中det(M)为协方差矩阵M的行列式的值，trace(M)是协方差矩阵M对角线上元素之和，k为HARRIS角点检测算法的一个经验值取值为0.04～0.06；

步骤(c)：得出最终角点；在每个准角点的八邻域范围内进行局部非极大值抑制，完成局部非极大值抑制后得到最终角点数据。

5.根据权利要求3所述的特征点稀疏工件图像的快速拼接方法，其特征在于：所述步骤S31中的PCA-SIFT特征点检测算法具体步骤有：

步骤(a)：构建高斯尺度空间；对于二维图像I(x,y)在不同尺度下的尺度空间表示L(x,y,σ)

由图像I(x,y)与尺度可变高斯函数G(x,y,σ)卷积得到，如下式所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y)；

步骤(b)：特征点的检测及定位；在DOG尺度空间上的采样点将与同尺度八邻域点以及上下相邻尺度对应的2×9个点共26个点进行比较，采样点为最大值或最小值时则认为该点是图像在该尺度下的一个特征点；对于图像中的任何点，其DOG响应值能够拟合出轨迹图是图像的特征曲线，对于曲线上的极值点则表示为特征点的特征尺度，通过拟合三维二次函数可精确确定关键点的位置和尺度，尺度空间函数D(x,y,σ)在局部极值点D(x₀,y₀,σ)处的泰勒展开式如下式所示：

其中x＝(x,y,σ)^T，对上式求导并让方程等于零，可得到极值点的偏移量为

则对应的极值点的方程为

若

则保留该特征点；

步骤(c)：除去不稳定点；由于DOG响应值对于边缘和噪声较为敏感，需要去掉对比度较低的特征点和不稳定的边缘响应点；获取特征点处的Hessian矩阵，主曲率通过一个2×2的Hessian矩阵H求出：

在上述Hessian矩阵中有：

其中Tr(H)为矩阵H的对角线元素之和，Det(H)为矩阵H的行列式的值，α和β为矩阵H的特征值，代表x和y方向的梯度，常数取值r＝10；若

则保留该特征点；

步骤(d)：确定特征点的主方向，使用图像梯度的方法求取局部结构的稳定方向；对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征；梯度的模值和方向如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

在计算过程中，梯度模值按1.5σ_oct的高斯分布加成，并且使用梯度方向直方图来计算邻域像素的梯度方向，梯度直方图将0～360°的方向分为36个柱，梯度方向直方图的峰值即为特征点的主方向；

步骤(e)：基于PCA降维的特征点描述；首先将坐标轴旋转为特征点的方向，然后以特征点为中心取41×41的窗口，计算39×39的窗口内每个像素对水平、垂直两个方向的偏导数，得到一个3042维的向量并归一化；假设有N个特征点，那么所有特征点描述子向量构成一个N×3042的矩阵A，计算矩阵A的协方差矩阵B，再计算协方差矩阵B的特征向量，根据特征根的大小排序，选择对应的前k个特征向量，将这k个向量组成一个3042×k的投影矩阵T，将N×3042的描述子矩阵与投影矩阵T相乘，得到k维的特征点的描述子向量。

6.根据权利要求3所述的特征点稀疏工件图像的快速拼接方法，其特征在于：所述步骤S32中的最邻近距离比值法具体步骤有：

取基准图像中的一个特征点D_A，并找出其与另一幅图像中欧式距离最近的前两个点D_B、D_C，并利用最近点的欧氏距离除以次近点的欧式距离，得到的比率少于阈值t则接受这一对最近匹配点，本发明中取t＝0.6；最邻近距离比值法判别式如下：

7.根据权利要求3所述的特征点稀疏工件图像的快速拼接方法，其特征在于：所述步骤S33中RANSAC剔除误匹配，求出变换矩阵H的具体步骤有：

步骤(a)：从粗匹配后得到的特征点对集合P中选择4组匹配对，计算初始转换矩阵H₀；要实现关键点在两幅图像中的转换，即源图片的像素点与变换矩阵H相乘得到配准图像像素点坐标，对应像素点应该通过包括m＝8个数值的转换矩阵H来实现，故计算一次转换矩阵H至少需要4组匹配对进行计算；单应性矩阵H以及投影变换式如下：

步骤(b)：判别匹配对，确定内外点；计算出初始转换矩阵H₀后，计算集合P中剩下的N-4对匹配点与转换矩阵的位置关系，若距离大于某一临界值T，则纳入到外点集合，剩余的其他匹配点均纳入到内点的集合u，得到内点总数C；

步骤(c)：循环计算，达到迭代次数终止循环；重复步骤(a)(b)k次，重复集合P中随机选择4组匹配对，计算转换矩阵H，判别记录各转换矩阵H对应的内外点；

步骤(d)：剔除误匹配对；把步骤(c)循环中k次计算中集合u元素最多的一次定义为正确匹配组I；

步骤(e)：确定最终转换矩阵H；利用上一步得到的正确匹配组I计算出最终转换矩阵H。

8.根据权利要求3所述的特征点稀疏工件图像的快速拼接方法，其特征在于：所述步骤S42中渐入渐出融合方法，具体步骤有：

设M₁、M₂为待拼接图像，M为融合后的图像，则有：

式中，ρ₁和ρ₂为重合区域对应像素的权重，取ρ_i＝1/w，w为重叠区域宽度，同时有

ρ₁+ρ₂＝1，0＜ρ₁,ρ₂＜1。

Images