CN103425988A - 一种具有圆弧几何基元的实时定位与匹配方法 - Google Patents

Abstract

本发明是一种具有圆弧几何基元的实时定位与匹配方法，通过几何基元本身在实测图像中搜索模板实例。离线模板制作过程中，采用迭代多边形逼近的方法将边缘轮廓图像快速分割成直线段的形式，并检查相邻线段能否用一个圆弧更好的近似，从而实现了图像轮廓中线段、圆弧的分离。同时，通过最小二乘法拟合线段与圆弧，得到几何基元的几何参数。在线模板匹配过程中，以最长圆弧基元计算模板的刚性变换，通过计算在线实测图像中几何基元与变换后的模板中对应的几何基元之间的距离来实现匹配定位。本发明对于具有简单几何形状的工件，在部分遮挡情况下，能快速、准确的完成实时匹配定位。

Description

一种具有圆弧几何基元的实时定位与匹配方法

技术领域

本发明涉及机器视觉检测中的识别定位领域，具体是指基于边缘轮廓的多边形近似，拟合几何基元的几何参数，通过模板匹配实现对现场工件的一种快速识别定位方法。

背景技术

近些年，机器视觉技术发展迅速，逐渐成为在线产品检测与监控的重要手段。机器视觉定位技术具有非接触，稳定性好，精度高，抗干扰能力强等突出优点，广泛应用在工业缺陷检测、产品分拣、机器人视觉引导技术等领域中。

就机器视觉基元定位技术看，其研究取得一系列的研究成果。G.Borgerors提出了一种基于模板边缘与图像边缘之间的距离的方法来匹配定位，基于这种相似度量，使模板边缘点与离它最近的图像边缘点之间的均方差最小。Chen提出了一种将模板物体与搜索图像中的轮廓线分割为线段，然后匹配特殊线段的方法来实现匹配定位。本发明在这些研究基础上，根据工业现场实时、准确的要求，提出了一种具有圆弧几何基元的实时定位与匹配方法。

发明内容

本发明的目的在于基于模板匹配技术，设计一种直接针对图像中几何基元本身的准确、实时的识别定位方法。

在工业上，很多工件具有规则的几何形状，本发明能够快速、准确的定位与识别工业流水线上的工件。

本发明基于边缘轮廓的快速几何基元实时匹配定位方法的技术步骤如下：

离线过程：

(1)采用背光照射，使用智能相机采集图像，选择完整的工件作为模板图像并手动选取工件的区域，即ROI区域。

(2)对获取的模板图像的ROI区域预处理，使用Otsu法阈值分割得到目标和背景。通过sobel算子提取目标的边缘轮廓，并以8邻域逐像素跟踪轮廓。

(3)得到目标轮廓，通过迭代算法对轮廓进行递归细分，得到轮廓图像的近似多边形表达。

(4)对于轮廓的多边形表达，检查当前线段以及其相邻的线段，判断是线段基元还是圆弧基元；并采用最小二乘法，拟合线段和圆弧，得到它们的几何参数。

(5)将边缘轮廓分割成线段和圆弧基元之后，检查其中最长的圆弧，以该圆弧的圆心作为模板的初始位置点，圆心与圆弧对应的弦的中点构成的方向向量作为模板的初始方向，并存储圆心与其它基元的距离。

在线过程：

(1)获取流水线上工件的图像，按离线过程的方法，预处理图像，提取边缘轮廓，跟踪轮廓。并选择满足至少是模板图像的边缘轮廓总长度的60％的轮廓进行后续的步骤，不满足轮廓的则认为是干扰。

(2)对满足条件的轮廓，使用迭代算法进行多边形逼近。

(3)同离线过程第(4)步，得到几何基元的几何参数。

(4)搜索最长圆弧，得到模板图像的潜在匹配位置；并根据圆弧的圆心与方向，计算图像与模板的刚性变换角度。

(5)基于刚性变换，即模板图像的角度变换，通过计算在线实测图像中几何基元与变换后模板中的几何基元之间的相对距离来匹配剩余的基元。

本发明的有益效果：本发明通过离线训练学习模板，得到模板的几何基元的信息，利用几何基元本身在线实测图像中搜索匹配定位模板实例，避免了以全部边缘轮廓点作为特征匹配的计算复杂性。本发明通过迭代算法递归细分边缘轮廓，并利用拟合算法合并几何基元，将边缘轮廓图像中线段与圆弧分离，在实测图像中利用模板最长圆弧信息进行刚性变换的计算，然后通过与模板图像中对应几何基元之间的距离来实现匹配定位。本算法实时性好、准确性高。

附图说明

图1本发明整体示意图。

图2本发明具体匹配过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。

如图1所示，为本发明的算法整体流程图。

算法分为离线模板制作过程和在线实测过程，具体步骤如下：

离线模板制作过程

第一步：

(1.1)使用背光照射，采集完整工件图像作为模板图像，并选取工件所在的区域为ROI区域。

第二步：

(2.1)对ROI区域进行高斯滤波去噪，其模板如下：

$A=\frac{1}{16}\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

(2.2)对高斯滤波去噪后的图像采用Otsu阈值分割，分割出目标与背景。

(2.3)通过sobel边缘检测算子计算得到轮廓区域，将轮廓边界逐像素依次检测记录下来，存入边界像素序列数组P(p₀，p₁，...p_n)。

第三步：

将轮廓的所有边缘点表示为：P_i＝(r_i，c_i)，i＝1，2，...，n。算法将轮廓用一个多边形近似等价，在边缘轮廓上的所有点，定位一个相应的控制点集j＝1，2...，m，m≤n。此子集可以非常好的描述该轮廓。一旦找到了这个合适的近似多边形，则该多边形的每条线段

就是轮廓中可以用直线很好地近似的一部分。

(3.1)开始时，本发明在轮廓的起点和终点(P₁(x₁，y₁)，P₂(x₂，y₂))建立一条直线，如果轮廓是闭合的，则加入轮廓索引的中点，分别建立两条线段。

(3.2)计算所有轮廓点P₃(x₃，y₃)到线段(y₁-y₂)x-(x₁-x₂)y+x₁y₂-x₂y₁＝0的距离，计算公式为：

其中A＝(y₁-y₂)，B＝(x₂-x₁)，C＝x₁y₂-x₂y₁。找到与线段距离最大的轮廓点，并且这个距离大于阈值T(手动设置为2个像素，)，则它作为轮廓控制点。

(3.3)在最大距离位置的轮廓点处，将当前线段分为两条线段。重复(3.2)，直到所有线段满足最大距离约束条件。数组breakpoints存放控制点的索引数据。

第四步：

检查彼此相邻的线段，看它们能否被一个圆弧更好的近似。

(4.1)根据breakpoints的控制点选取第一个基元，若它的基元长度大于阈值T1(T1手动设置，作为判断直线的条件)，则其为线段基元，不需要合并，使用最小二乘法，设直线函数y＝kx+b，其中k，b是直线参数。设

反应计算值与实际值的误差，计算误差最小时的参数k，b。

$k=\frac{n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i}{n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\right)}^2}$

$b=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i-\frac{a}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$

(4.2)若基元长度小于阈值T1，T1手动设置，使用最小二乘法拟合圆弧，设圆弧方程x²+y²+ax+by+c＝0。设点(x_i，y_i)到圆心的距离的平方与圆半径的平方的差δ_i＝d_i ²-R²＝X_i ²+Y_i ²+aX_i+bY_i+c最小。计算得到参数a，b，c，并得到圆弧的半径R。取下一个基元，与当前基元合并使用最小二乘拟合，求得半径R′，若两个半径大小很接近，则合并这两个基元为一个圆弧基元，取下一个基元重复上述判断。

(4.3)经过以上两步，将边缘轮廓分割成线段基元和圆弧基元。

第五步：

在基元图像中，搜索得到长度最长的圆弧基元，并确定模板的初始方向。

(5.1)搜索长度最长的圆弧，并记录该圆弧的圆心的坐标。

(5.2)圆心O(x₁，y₁)与最长圆弧对应的弦的中点M(x₂，y₂)，通过这两点来确定模板的方向θ，与X轴的夹角表示。

$\mathrm{\θ}=\arctan \left(\frac{y_2-y_1}{x_2-x_1}\right)$

圆心O(x₁，y₁)与其它基元之间的距离

在线模板匹配过程

第一步：

(1.1)使用背光照射，通过相机在线采集实测图像。

(1.2)对在线实测图像进行高斯滤波去噪，其模板如下：

$A=\frac{1}{16}\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

(1.3)对高斯滤波去噪后的图像进行阈值分割，分割出目标与背景。

(1.4)通过边缘检测得到的轮廓区域，将轮廓边界逐像素依次检测记录下来，存入边界像素序列数组P(p₀，p₁，...p_n)。并选择边缘轮廓长度至少超过模板图像中边缘轮廓总长度60％的轮廓为待检测轮廓。

第二步：

(2.1)对于满足条件的边缘轮廓进行迭代多边形逼近，其逼近方法同离线过程第三步。

第三步：

对于经过多边形逼近的边缘轮廓，通过最小二乘法拟合，并检查相邻基元是否可以合并，将边缘轮廓分割为线段和圆弧基元且得到它们的几何参数。方法同离线过程第四步。

第四步：

通过模板图像的圆弧基元信息，在实测图像中搜索潜在匹配位置，并计算刚性变换角度。

(4.1)在实测图中，逐基元搜索满足圆弧基元半径R与模板中最长圆弧相近(5个像素点以内)，则满足条件的边缘轮廓作为潜在匹配轮廓。

(4.2)实测图中满足条件的圆弧基元，通过拟合的几何信息，得到它的圆心O′(x₁，y₁)，以及圆弧对应的弦的中点M′(x₂，y₂)。计算实测图中潜在目标的角度θ′，计算方法如下：

${\mathrm{\θ}}^{\′}=\arctan \left(\frac{y_2-y_1}{x_2-x_1}\right)$

通过与模板的比对，计算刚性变换角度rigid_theta＝θ′-θ。

第五步：

模板刚性变换，通过对应基元之间的距离，在实测图像中匹配模板中剩余的几何基元。

(5.1)对模板刚性变换，即基元角度的变换，α＝θ+rigid_theta。α表示变换后模板中基元的角度。

(5.2)取潜在目标轮廓中几何基元，若模板中有对应的几何基元与之角度相近(一般在几度以内)，则进入下一步判断。否则取下一个基元进行比对，直至全部基元检查完毕。

(5.3)检查基元相对于实测图像中圆弧圆心的距离

在模板中的对应基元到模板圆弧圆心的距离d，两者之差在阈值范围(一般为若干个像素点)之内，说明当前基元匹配模板中基元。若超出阈值，则当前基元不匹配。取下一个基元，重复(5.2)(5.3)直至全部基元检查完毕。

Claims (6)

1.本发明是一种具有圆弧几何基元的实时定位与匹配方法，实现对具有特定简单的几何形状的工件快速、准确的识别定位；并且对于工件部分被遮挡具有鲁棒性，本发明包含离线模板计算过程和在线实时检测过程，具体步骤如下：

离线过程：

第一步：采用背光照射，使用智能相机采集图像，选择完整的工件作为模板图像并手动选取工件的区域，即ROI区域；

第二步：对获取的模板图像的ROI区域预处理，使用Otsu法阈值分割得到目标和背景，通过sobel算子提取目标的边缘轮廓，并以8邻域逐像素跟踪轮廓；

第三步：得到目标轮廓，通过迭代算法对轮廓进行递归细分，得到轮廓图像的近似多边形表达；

第四步：对于轮廓的多边形表达，检查当前线段以及其相邻的线段，判断是线段基元还是圆弧基元，并采用最小二乘法，拟合线段和圆弧，得到它们的几何参数；

第五步：将边缘轮廓分割成线段和圆弧基元之后，检查其中最长的圆弧，以该圆弧的圆心作为模板的初始位置点，圆心与圆弧对应的弦的中点构成的方向向量作为模板的初始方向，并存储圆心与其它基元的距离；

在线过程：

第一步：获取流水线上工件的实测图像，按离线过程的方法，预处理图像，提取边缘轮廓，跟踪轮廓。并选择满足至少是模板图像的边缘轮廓总长度的60％的轮廓进行后续的步骤，不满足轮廓的则认为是干扰；

第二步：对满足条件的轮廓，使用迭代算法进行多边形逼近；

第三步：同离线过程第四步，得到几何基元的几何参数：

第四步：搜索最长圆弧，得到模板图像的潜在匹配位置，并根据圆弧的圆心与方向，计算实测图像与模板的刚性变换角度；

第五步：基于刚性变换，即模板图像的角度变换，通过计算实测图像中几何基元与变换后模板中的几何基元之间的相对距离来匹配剩余的基元。

2.根据权利要求1所述一种具有圆弧几何基元的实时定位与匹配方法，其特征是：所述离线过程第三步中，包括：

(1)迭代算法细分轮廓边缘：

首先，将轮廓的起点与终点连成一条线段，然后计算所有轮廓点到线段的距离并找到距离最大的轮廓点(大于2个像素的阈值要求)，记录该点为多边形顶点，在该点处，将轮廓分为两段，在新得到的两条轮廓段上重复上述方法，直到不能再细分为止，记录所有的多边形顶点；

(2)点到线段距离的计算：

通过两个端点(x₁，y₁)、(x₂，y₂)构成的线段(y₁-y₂)x-(x₁-x₂)y+x₁y₂-x₂y₁＝0，计算轮廓上的点P₃(x₃，y₃)到线段的距离，计算公式：

其中A＝(y₁-y₂)，B＝(x₂-x₁)，C＝x₁y₂-x₂y₁

3.根据权利要求1所述一种具有圆弧几何基元的实时定位与匹配方法，其特征是：所述离线过程第四步中，包括：

圆弧基元的合并：

若当前基元小于阈值T1(手动设定T1，作为判断圆弧、线段的依据)，拟合当前基元，得到半径R，并与相邻基元一起再拟合得到半径R′，本发明通过比较两个半径的大小来确定它们是否合并为同一个圆弧基元。

4.根据权利要求1所述一种具有圆弧几何基元的实时定位与匹配方法，其特征是：所述离线过程第五步中，包括：

模板中工件的方向：

本发明使用最长圆弧对应的圆心O(x₁，y₁)与它对应的弦的中点M(x₂，y₂)来确定方向：

$\mathrm{\θ}=\arctan \left(\frac{y_2-y_1}{x_2-x_1}\right)$

5.根据权利要求1所述一种具有圆弧几何基元的实时定位与匹配方法，其特征是：所述在线过程第四步中，包括：

(1)实测图像中的潜在匹配位置的快速搜索

本发明利用模板中最长圆弧基元信息，在实测图中，逐基元搜索满足圆弧基元半径R与模板中最长圆弧相近(5个像素点以内)，则将该基元的位置作为潜在匹配位置；

(2)模板的刚性变换

实测图中满足条件的圆弧基元，通过拟合的几何信息，得到它的圆心O′(x₁，y₁)，以及圆弧对应的弦的中点M′(x₂，y₂)，计算实测图中潜在目标的角度θ′，计算方法如下：

${\mathrm{\θ}}^{\′}=\arctan \left(\frac{y_2-y_1}{x_2-x_1}\right)$

通过与模板的比对，计算刚性变换角度rigid_theta＝θ′-θ。

6.根据权利要求1所述一种具有圆弧几何基元的实时定位与匹配方法，其特征是：所述在线过程第五步中，包括：

模板与实测图像中对应基元之间距离的计算：

检查基元相对于实测图像中圆弧圆心的距离

在模板中的对应基元到模板圆弧圆心的距离d，两者之差在阈值范围(一般为5个像素点)之内，说明当前基元匹配模板中基元；若超出阈值，则当前基元不匹配。

Images