CN109102516A - 一种鲁棒的弯管中心线提取方法 - Google Patents

Abstract

本发明提出一种鲁棒的弯管中心线提取方法，包括下列步骤：（1）将被测弯管放置在背光板上；（2）利用数码相机采集图像；（3）利用Canny算子提取图像的边缘；（4）根据几何约束找到最细长的弯管图像区域；（5）采用张量投票方法进行投票，得到显著性图像；（6）采用亚像素追踪方法提取显著性图像内弯管的中心线。本发明借助张量投票和图像处理技术实现弯管中心的提取，具有鲁棒性好、精度高等优点，可为弯管的三维重建提供可靠的数据支持。

Description

一种鲁棒的弯管中心线提取方法

技术领域

本发明涉及图像识别领域，具体地说是一种弯管中心线提取方法。

背景技术

在现如今的管路工程项目中，弯管的加工非常关键，产品的质量要求也在逐渐提高，在不同的应用场合，弯管的形状尺寸不尽相同。在制造弯管时，尺寸精度要求和位置精度要求是弯管制造中的核心部分，对弯管的中心线提取等尺寸的测量精度直接影响着产品的质量。

目前，弯管中心线提取的主流方法有传统的机械测量方法和基于双目视觉技术的非接触式测量方法。

传统的机械测量方法是指利用坐标机测量。用坐标机对成型的弯管进行多次测量，得到弯管的几何参数。然而随着弯管生产工业的发展，该方法也存在一些不足。测量精度不高，同时坐标机测量柔性管时，测量触头会造成弯管的表面变形，从而导致测量误差较大；另一方面，传统的坐标机测量在大批量的弯管尺寸测量中效率较低，不能满足大批量测量的要求。

基于双目视觉技术的非接触式测量方法是指双目视觉重建空间点的方式来提取弯管的中心线。但在这类方法中，由于采用基于极线和中心线约束的匹配方法，在对复杂弯管的空间位姿的测量中，由于采集图像中会出现遮挡，在极线匹配过程中会导致中心线匹配错误，达不到精度要求。另外这种方法对图像的显著性提取易收到噪声的影响，造成较大的测量误差。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种鲁棒的弯管中心线提取方法，测量精度高，鲁棒性好。

为解决上述技术问题，本发明采用的技术方案是：

一种鲁棒的弯管中心线提取方法，包括以下步骤：

1)、将被测弯管放置在背光板上；

2)、利用数码相机采集图像；

3)、利用Canny算子提取图像的边缘；

4)、根据几何约束找到最细长的弯管图像区域；

5)、采用张量投票方法进行投票，得到显著性图像；

6)、采用亚像素追踪方法提取显著性图像内弯管的中心线。

利用上述所述的一种鲁棒的弯管中心线提取方法，根据几何约束找到最细长的弯管图像区域包括以下步骤：

1)、在采集的图像中用Canny算子提取图像的边缘；

2)、以上述边缘轮廓的尺寸、形状及边缘的闭合性作为约束条件，对边缘轮廓进行过滤，找到最细长的弯管图像区域，得到弯管的边缘轮廓。

按上述的一种鲁棒的弯管中心线提取方法，采用张量投票方法进行投票，得到显著性图像具体包括以下步骤:

1)、张量投票首先确定一个二维空间中，一个一阶半正定对称张量可以分解成特征值和特征的线性组合；

其中，λ₁、λ₂为特征值，且λ₁＞λ₂；e₁、e₂为对应的特征向量；和分别称为棒张量和球张量，(λ₁-λ₂)和λ₂为对应棒张量和球张量的显著性指标；

2)、对图像中得到每一个像素进行张量编码；

如果输入像素的法向量未知，或者是初始像素，则该像素就被编码为球张量，其特征值λ₁＝λ₂＝1，则矩阵表达式为如果已知输入像素的法向量为n(n_x，n_y)，则该像素就被编码成棒张量，其特征值分别为λ₁＝1和λ₂＝0，则矩阵的表达式形式为

3)、对每个二值化后线状像素进行初始张量编码为球张量；

4)、稀疏球张量投票，获得初始的张量方向和特征显著性；

5)、著性阈值分割，滤除一些显著性小的像素，保留高显著性像素进行下一轮密集棒张量投票；

6)、对获得显著性方向的线状像素进行棒张量编码；

7)、进行密集棒张量投票，计算显著性；

8)、建立棒投票场和球投票场提高投票过程的效率；

将事先计算好的投票场和待处理张量进行卷积，计算该张量的特征方向和显著性。

9)、投票结束后对新的张量进行张量分解，计算特征值大小并确定图像结构特征；

(1)若λ₁-λ₂＞λ₂，则该像素是位于曲线上一点，其法向量为e₁；

(2)若λ₁＝λ₂≈0，则该像素位于一个区域内部或者交叉处；

(3)若λ₁、λ₂取值都非常小，则该像素被判定为异常值。

10)、迭代执行投票步骤，直至满足预设迭代次数。

按上述的一种鲁棒的弯管中心线提取方法，采用亚像素追踪方法提取显著性图像内弯管的中心线，包括以下步骤：

1)、首先对图像进行5次二维高斯卷积；核函数如下：

g_x，σ(x，y)＝g_σ(y)g′_σ(x)

g_y，σ(x，y)＝g′_σ(y)g_σ(x)

g_xx，σ(x，y)＝g_σ(y)g″_σ(x)

g_xy，σ(x，y)＝g′_σ(y)g′_σ(x)

g_yy，σ(x，y)＝g″_σ(y)g_σ(x)

其中，

2)、通过计算得出弯管图像像素点处的偏导数τ_x，τ_y，τ_xx，τ_xy和τ_yy，从而得到图像线条的方向，通过求解图像的Hessian矩阵，利用Hessian矩阵绝对值最大的特征值对应的特征向量给出各点的法线方向；Hessian矩阵为

3)、对弯管轮廓各点像素的灰度分布函数沿着法线方向进行二阶泰勒多项式展开得到弯管的中心线；从梯度图像中提取线条，梯度图像为

其中，f(x，y)＝g_σ(x，y)*z(x，y)

4)、计算二阶泰勒展开式的系数如下：

5)、二次多项式取极值条件，得到极值所在点，弯管轮廓处理后得到中心线。

本发明的有益效果是：

鲁棒性强，精确度高。本发明中在提取弯管边缘轮廓时采用鲁棒的Canny算子，并根据边缘轮廓的尺寸、形状及边缘的闭合性作为约束条件，对边缘轮廓进行过滤，找到最细长的弯管图像区域，得到弯管的边缘轮廓。然后采用张量投票的方法提高边缘轮廓的显著性，并显著降低了噪声的影响，提高了测量精度。在采用亚像素追踪方法提取显著性图像内弯管的中心线时，多次现场数据评测表明本发明方法可以精确提取到弯管的中心线。

本发明可以直接嵌入到三维数字测量软件的数据处理系统中，为后续的三维重建提供可靠的输入数据。

附图说明

图1为本发明方法流程图；

图2为本发明弯管在背光板上拍摄下的原始图；

图3为本发明提取的弯管图像边缘检测结果图；

图4为本发明提取的弯管最长边缘图；

图5为本发明弯管轮廓图进行区域填充图；

图6为本发明弯管轮廓图进行张量投票结果图；

图7为本发明弯管中心线图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图1所示，本发明一种鲁棒的弯管中心线提取方法，具有以下步骤：

1)、将被测弯管放置在背光板上；

2)、利用数码相机采集图像；

3)、利用Canny算子提取图像的边缘；

4)、根据几何约束找到最细长的弯管图像区域；

5)、采用张量投票方法进行投票，得到显著性图像；

6)、采用亚像素追踪方法提取显著性图像内弯管的中心线。

本发明在获得弯管中心线时，需要一台普通的数码相机，在一台普通个人计算机上运行本发明方法程序即可完成。

以下就图1中的几个关键步骤作详细说明：

1.图像的获取

本发明方法对数码相机的分辨率不作具体要求，目前市场上的分辨率一般都在500万像素以上，完全可以满足拍摄要求。拍摄图像时角度要适中，不要距离物体太远，以免影响识别效果。拍摄的弯管图像如图2所示，该图像可以完整呈现出弯管的整体形状，将照片输入到计算机中，进入关键的软件识别阶段。

2.利用采集的图像完成弯管的边缘提取

如图3所示，在采集的图像中用Canny算子提取图像的边缘轮廓，以上述边缘轮廓的尺寸、形状及边缘的闭合性作为约束条件，对边缘轮廓进行过滤，找到最细长的弯管图像区域，得到弯管的边缘轮廓，如图4所示。

3.利用得到的弯管轮廓，处理提高显著性

在得到弯管的边缘轮廓后，为了使得中心线提取的精度提高，需要对所得到的轮廓曲线进行增强显著性的处理，在本发明中首先对轮廓线进行图案填充，如图5所示，然后利用张量投票的方法得到显著性的图像，如图6所示。

张量投票的方法具体步骤如下：

1)、张量投票首先确定一个二维空间中，一个一阶半正定对称张量可以分解成特征值和特征的线性组合；

其中，λ₁、λ₂为特征值，且λ₁＞λ₂；e₁、e₂为对应的特征向量。和分别称为棒张量和球张量，(λ₁-λ₂)和λ₂为对应棒张量和球张量的显著性指标；

2)、对图像中得到每一个像素进行张量编码；

如果输入像素的法向量未知，或者是初始像素，则该像素就被编码为球张量，其特征值λ₁＝λ₂＝1，则矩阵表达式为如果已知输入像素的法向量为n(n_x，n_y)，则该像素就被编码成棒张量，其特征值分别为λ₁＝1和λ₂＝0，则矩阵的表达式形式为

3)、对每个二值化后线状像素进行初始张量编码为球张量；

4)、稀疏球张量投票，获得初始的张量方向和特征显著性；

5)、显著性阈值分割，滤除一些显著性小的像素，保留高显著性像素进行下一轮密集棒张量投票；

6)、对获得显著性方向的线状像素进行棒张量编码；

7)、进行密集棒张量投票，计算显著性；

8)、建立棒投票场和球投票场提高投票过程的效率；

将事先计算好的投票场和待处理张量进行卷积，计算该张量的特征方向和显著性。

9)、投票结束后对新的张量进行张量分解，计算特征值大小并确定图像结构特征；

(1)若λ₁-λ₂＞λ₂，则该像素是位于曲线上一点，其法向量为e₁；

(2)若λ₁＝λ₂≈0，则该像素位于一个区域内部或者交叉处；

(3)若λ₁、λ₂取值都非常小，则该像素被判定为异常值。

10)、迭代执行投票步骤，直至满足预设迭代次数。

4.弯管中心线的提取

处理获得的弯管的显著性的图像后，利用亚像素追踪方法提取显著性图像内弯管的中心线，结果如图7所示，亚像素追踪方法的具体步骤如下：

1)、首先对图像进行5次二维高斯卷积；核函数如下：

g_x，σ(x，y)＝g_σ(y)g′_σ(x)

g_y，σ(x，y)＝g′_σ(y)g_σ(x)

g_xx，σ(x，y)＝g_σ(y)g″_σ(x)

g_xy，σ(x，y)＝g′_σ(y)g′_σ(x)

g_yy，σ(x，y)＝g″_σ(y)g_σ(x)

其中，

2)、通过计算得出弯管图像像素点处的偏导数τ_x，τ_y，τ_xx，τ_xy和τ_yy，从而得到图像线条的方向，通过求解图像的Hessian矩阵，利用Hessian矩阵绝对值最大的特征值对应的特征向量给出各点的法线方向；Hessian矩阵为

3)、对弯管轮廓各点像素的灰度分布函数沿着法线方向进行二阶泰勒多项式展开得到弯管的中心线；从梯度图像中提取线条，梯度图像为

其中，f(x，y)＝g_σ(x，y)*z(x，y)

4)、计算二阶泰勒展开式的系数如下：

5)、二次多项式取极值条件，得到极值所在点，弯管轮廓处理后得到中心线。

综上所述，本发明方法能够准确提取弯管的中心线，具有较强的鲁棒性，在实验中获得了优异的识别和定位精度，具有广泛应用前景。

Claims (4)

1.一种鲁棒的弯管中心线提取方法，其特征在于，包括以下步骤：

S1、将被测弯管放置在背光板上；

S2、利用数码相机采集图像；

S3、利用Canny算子提取图像的边缘；

S4、根据几何约束找到最细长的弯管图像区域；

S5、采用张量投票方法进行投票，得到显著性图像；

S6、采用亚像素追踪方法提取显著性图像内弯管的中心线。

2.根据权利要求1所述的一种鲁棒的弯管中心线提取方法，其特征在于，所述步骤S4包括以下步骤：

1)、在采集的图像中用Canny算子提取图像的边缘；

2)、以上述边缘轮廓的尺寸、形状及边缘的闭合性作为约束条件，对边缘轮廓进行过滤，找到最细长的弯管图像区域，得到弯管的边缘轮廓。

3.根据权利要求1所述的一种鲁棒的弯管中心线提取方法，其特征在于，所述步骤S5具体包括以下步骤:

1)、张量投票首先确定一个二维空间中，一个一阶半正定对称张量可以分解成特征值和特征的线性组合；

其中，λ₁、λ₂为特征值，且λ₁＞λ₂；e₁、e₂为对应的特征向量；和分别称为棒张量和球张量，(λ₁-λ₂)和λ₂为对应棒张量和球张量的显著性指标；

2)、对图像中得到的每一个像素进行张量编码；

如果输入像素的法向量未知，或者是初始像素，则该像素就被编码为球张量，其特征值λ₁＝λ₂＝1，其矩阵表达式为如果已知输入像素的法向量为n(n_x，n_y)，则该像素就被编码成棒张量，其特征值分别为λ₁＝1和λ₂＝0，则矩阵的表达式形式为

3)、对每个二值化后线状像素进行初始张量编码为球张量；

4)、稀疏球张量投票，获得初始的张量方向和特征显著性；

5)、显著性阈值分割，滤除一些显著性小的像素，保留高显著性像素进行下一轮密集棒张量投票；

6)、对获得显著性方向的线状像素进行棒张量编码；

7)、进行密集棒张量投票，计算显著性；

8)、建立棒投票场和球投票场提高投票过程的效率；

将事先计算好的投票场和待处理张量进行卷积，计算该张量的特征方向和显著性；

9)、投票结束后对新的张量进行张量分解，计算特征值大小并确定图像结构特征；

(1)若λ₁-λ₂＞λ₂，则该像素是位于曲线上一点，其法向量为e₁；

(2)若λ₁＝λ₂≈0，则该像素位于一个区域内部或者交叉处；

(3)若λ₁、λ₂取值都非常小，则该像素被判定为异常值；

10)、迭代执行投票步骤，直至满足预设迭代次数。

4.按权利要求1所述的一种鲁棒的弯管中心线提取方法，其特征在于，所述采用亚像素追踪方法提取显著性图像内弯管的中心线，包括以下步骤：

1)、首先对图像进行5次二维高斯卷积；核函数如下：

g_x，σ(x，y)＝g_σ(y)g′_σ(x)

g_y，σ(x，y)＝g′_σ(y)g_σ(x)

g_xx，σ(x，y)＝g_σ(y)g″_σ(x)

g_xy，σ(x，y)＝g′_σ(y)g′_σ(x)

g_yy，σ(x，y)＝g″_σ(y)g_σ(x)

其中，

2)、通过计算得出弯管图像像素点处的偏导数τ_x，τ_y，τ_xx，τ_xy和τ_yy，从而得到图像线条的方向，通过求解图像的Hessian矩阵，利用Hessian矩阵绝对值最大的特征值对应的特征向量给出各点的法线方向；Hessian矩阵为

4)、对弯管轮廓各点像素的灰度分布函数沿着法线方向进行二阶泰勒多项式展开得到弯管的中心线；从梯度图像中提取线条，梯度图像为

其中，f(x，y)＝g_σ(x，y)*z(x，y)

4)、计算二阶泰勒展开式的系数如下：

5)、二次多项式取极值条件，得到极值所在点，弯管轮廓处理后得到中心线。