CN107798326B - 一种轮廓视觉检测方法 - Google Patents

Abstract

本发明公开了一种轮廓视觉检测方法，所述方法包括下列步骤：工件亚像素边缘的提取、去噪以及轮廓补齐，轮廓匹配，偏差计算。本新型工件轮廓缺陷视觉检测的高精度算法先提取了工件轮廓，再基于形状上下文特征进行轮廓匹配，然后根据迭代最近点算法进行精确匹配，最后通过邻域法计算匹配偏差。根据大量实验对比，采用本新型轮廓视觉检测方法可以精确检测工件任意形状的轮廓缺陷，检测精度可以达到0.5个像素点，将其应用在工业检测上，可以智能化、高精度地检测精密固件的加工和生产，大幅地提高生产效率。

Description

一种轮廓视觉检测方法

技术领域

本发明涉及机器视觉检测技术领域，具体涉及一种轮廓视觉检测方法，具体是基于形状上下文特征和迭代最近点的轮廓视觉检测方法，来精确检测任意形状工件的轮廓尺寸。

背景技术

随着现代制造业自动化生产的兴起，在工业的生产中，许多行业都对检查和测量方面提出了更高的要求。例如，印刷包装工序的检测、半导体芯片的封装检测、工厂生产线产品合格检测、高精密零配件的检测等。在这些应用中，多数自动化的工厂需要大批量的生产，尤其对于某些特殊的零配件、芯片、仪器等，其精确度的要求是非常高的。传统的人工检测方法已经无法满足目前的工艺需求，很大程度上限制了制造业的发展和进步。这一方面来源于传统的人工检测方法效率低下，出错率高，人工成本大；另一方面，人类眼睛的生理极限也导致人类在该方面上无法达到计算机检测技术的精度。而计算机的快速性、可靠性、精确性与人类视觉的智能化相结合，使得机器视觉在工业检测中应用的越来越广泛。

机器视觉检测技术具有智能化程度高、实时性好和精度高等优点。轮廓检测便是其中一种重要应用。目前，国内外关于轮廓检测方法的研究，基本都是先将提取的轮廓分割成直线、椭圆、圆等几何基元，再分别拟合。早期，在已知断点数目的情况下，在断点区间内确定直线和圆的近似方程来分割轮廓曲线，再基于圆弧检测和主点检测将轮廓分割为直线和圆。目前，采用自适应切向覆盖进行主点检测并在切空间上表示轮廓的多边形近似，提高了方法的鲁棒性。在轮廓的匹配中，一开始采用最小平方法拟合直线、圆、椭圆、双曲线等；改进后，提出一种新的无参拟合线段和椭圆弧的方法，提高了线段和椭圆的检测精度。虽然这些研究工作使得轮廓分割与拟合过程的鲁棒性和精度越来越高,但是这些方法只能对规则形状的工件轮廓做检测。考虑到实际工件的形状多种多样，轮廓可能由不规则曲线组合而成，而目前关于不规则轮廓视觉检测方法的研究，尚未有文献或报道。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种轮廓视觉检测方法。

本发明的目的可以通过采取如下技术方案达到：

一种轮廓视觉检测方法，主要由轮廓的提取、轮廓的匹配、偏差的计算这三个部分构成。

步骤S1、使用工业相机来采集被检测工件的图像，提取ROI区域，利用prewitt算子与图像卷积得到一阶梯度，将梯度值大于一定阈值部分记为轮廓边缘，基于邻域面积的亚像素边缘提取方法，提取被检测工件的边缘轮廓；

步骤S2、根据提取被检测工件的边缘轮廓，基于形状上下文特征与原型工件的轮廓进行粗匹配过程；

步骤S3、以粗匹配的结果为基础，利用迭代最近点方法再次与原型工件的轮廓进行精确匹配；

步骤S4、通过计算点到邻近线段距离的方法，来计算被测工件与原型工件的轮廓匹配误差。

本发明采用以下技术手段进一步实现发明目的：

(1)步骤S1的具体过程为：

步骤S101、使用远心平行背光和远心镜头，并配合工业相机来采集图像；

步骤S102、对获取的图像做二值化，腐蚀膨胀处理，提取ROI区域并平滑滤波，去除噪声点的影响；

步骤S103、利用prewitt算子与图像卷积得到一阶梯度，将梯度值大于一定阈值部分记为轮廓边缘；

步骤S104、得到的轮廓并不都是连续的，还需要通过腐蚀和膨胀处理来补齐轮廓；

步骤S105、基于邻域面积的亚像素边缘提取方法，准确求取亚像素信息，包括位置，灰度差，法向量，曲率等，从而提取被检测工件的边缘轮廓。

(2)步骤S2的具体过程为：

步骤S201、对轮廓随机采样，得到一个稀疏轮廓S，令轮廓S＝{s₁,s₂,..., s_N}，设任意s_i∈S为对数极坐标的原点，s_i的SC(即形状上下文描述子)是其他N-1个点分布的直方图，在对数极坐标系下，将对数极坐标划等分为 K＝r×l格，其中r为角度轴的等分段数，l为对数距离等分段数，记录其余N -1点在这K格的分布数目，构成直方图函数h_n(k)，其中n表示第n个点，k 表示第k个小格子，其中1≤n≤N，1≤k≤K，得到SC特征具有平移不变形性；

步骤S202、分别取被测工件和原型工件的两个轮廓上任意点p_i∈P,q_j∈Q,两点之间的匹配代价函数：

其中h_i(k)和h_j(k)分别代表p_i和q_j处的直方图函数，计算出P和Q所有对应点的代价函数C_i,j，令总代价函数达到最小，进行特征匹配；

步骤S203、利用亚像素点的曲率特征建立一个拒绝函数：

其中c₁和c₂为对应点的曲率，当对应点的曲率误差大于阈值c₀时，丢弃该数据；

步骤S204、用SVD分解来计算旋转矩阵和平移矩阵，得到误差波动范围达到5个像素点的粗匹配后的工件轮廓；

(3)步骤S3的具体过程为：

步骤S301、以步骤S2得到的粗匹配结果作为初始位置，引入迭代最近点方法，通过迭代选择对应点，迭代三次达到最优；

步骤S302、采用kD-tree来匹配最近的轮廓点，重新确定权重函数：

其中m₁为归一化后的最近点的残差，m₂为归一化后的最近点的法向量之积，m₃表示归一化的最近点的曲率之差，α,β,γ相应比例系数，α+β+γ＝1，舍弃权重函数最小的10％的对应点；

步骤S303、计算点到切线距离的平方差：

由此来确定误差度量函数；

步骤S304、将旋转矩阵线性化，用最小二乘法求出旋转角度和平移距离，随着后面的迭代，旋转角度越来越小，得到的旋转矩阵将非常接近真实值。

(4)步骤S4的具体过程为：

设计邻域法，即计算点到邻近线段的距离。对于p_i∈P，在Q中找到离 p_i最近的m个点顺时针相连成m-1个线段，记{q’₁,q’₂,q’_3,...q’_n-1}分别为p_i到这m-1个线段最近点的距离。则p_i到Q的最近距离即轮廓P在p_i处的误差为：

e_i＝min{q'₁,q'₂,...,q'_m-1}

本文取m的值为5，由此计算出被检测工件与实际工件的轮廓匹配误差，本次实验表明工件轮廓的检测精度可以达到0.5个像素点。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明提出的工件亚像素轮廓提取方法：基于邻域面积的轮廓提取，相比于现有的基于距、基于最小平方差、基于插值的三类方法，计算效率高，对噪声和临近边缘的鲁棒性好，得到亚像素信息准确；

(2)相比于传统的工件轮廓检测方法只适用于规则形状的工件轮廓，本发明可以检测任意不规则曲线组合形状的工件，检测精度可以达到0.5 个像素点，应用在工业检测上，可以大大提升误差检测的应用范围，提高生产效率。

附图说明

图1是本发明实施例中工件亚像素轮廓的提取示意图；

图2(a)是本发明实施例中粗匹配过程工件的初始位置图；

图2(b)是本发明实施例中粗匹配过程各个轮廓点的对应关系图；

图2(c)是本发明实施例中工件旋转平移之后完成粗匹配的过程示意图；

图2(d)是本发明实施例中粗匹配过程各个轮廓上像素点的匹配误差示意图；

图3(a)是本发明实施例中工件亚像素轮廓在基于粗匹配基础上的轮廓特征图

图3(b)是本发明实施例中运用迭代最近点方法进行精确匹配后的轮廓特征图；

图3(c)是本发明实施例中精确匹配过程各个轮廓上像素点的匹配误差示意图；

图3(d)是本发明实施例中精确匹配过程中迭代次数与残差示意图；

图4是本发明中公开的一种轮廓视觉检测方法的流程步骤图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例提出了一种轮廓视觉检测方法，可以分为提取轮廓、匹配轮廓、计算误差三大步骤。首先，在图像上提取工件所在的区域，去除噪声，闭合轮廓，并基于局部面积的边缘提取方法提取亚像素边缘。然后，采用由粗到精的匹配策略进行轮廓匹配。先取样本点，计算形状上下文特征做初步轮廓配准，在利用迭代最近点方法精确匹配，保障轮廓匹配的精度和效率。最后，根据轮廓匹配的结果计算各个位置的误差。

本实施例提出的一种轮廓视觉检测方法具体步骤为：

步骤S1、使用工业相机来采集被检测工件的图像，提取ROI区域，利用prewitt算子与图像卷积得到一阶梯度，将梯度值大于一定阈值部分记为轮廓边缘，基于邻域面积的亚像素边缘提取方法，提取被检测工件的边缘轮廓，得到如图1的工件亚像素轮廓；

步骤S2、根据提取被检测工件的边缘轮廓，基于形状上下文特征与原型工件的轮廓进行粗匹配过程，如图2，完成粗匹配过程后的误差不超过 5个像素点；

步骤S3、以粗匹配的结果为基础，利用迭代最近点方法再次与原型工件的轮廓进行精确匹配，如图3(d)，取迭代次数为3即可，完成精确匹配过程后的误差不超过0.5个像素点；

步骤S4、通过计算点到邻近线段距离的方法，来计算被测工件与原型工件的轮廓匹配误差。

步骤S1的具体过程为：

步骤S101、使用远心平行背光和远心镜头，并配合工业相机来采集图像；

步骤S102、对获取的图像做二值化，腐蚀膨胀处理，提取ROI区域并平滑滤波，去除噪声点的影响；

步骤S103、利用prewitt算子与图像卷积得到一阶梯度，将梯度值大于一定阈值部分记为轮廓边缘；

步骤S104、得到的轮廓并不都是连续的，还需要通过腐蚀和膨胀处理来补齐轮廓。

步骤S105、基于邻域面积的亚像素边缘提取方法，准确求取亚像素信息，包括位置，灰度差，法向量，曲率等，从而提取被检测工件的边缘轮廓。

步骤S2的具体过程为：

步骤S201、对轮廓随机采样，得到一个稀疏轮廓S，令轮廓S＝{s₁, s₂,...,s_N}，设任意s_i∈S为对数极坐标的原点，s_i的SC(即形状上下文描述子)是其他N-1个点分布的直方图，在对数极坐标系下，将对数极坐标划等分为K＝r×l格，其中r为角度轴的等分段数，l为对数距离等分段数，记录其余N-1点在这K格的分布数目，构成直方图函数h_n(k)，其中n 表示第n个点，k表示第k个小格子，其中1≤n≤N，1≤k≤K，得到SC特征具有平移不变形性；

步骤S202、分别取被测工件和原型工件的两个轮廓上任意点p_i∈P,q_j∈Q,两点之间的匹配代价函数：

其中h_i(k)和h_j(k)分别代表p_i和q_j处的直方图函数，计算出P和Q所有对应点的代价函数C_i,j，令总代价函数达到最小，进行特征匹配；

步骤S203、利用亚像素点的曲率特征建立一个拒绝函数：

其中c₁和c₂为对应点的曲率，当对应点的曲率误差大于阈值c₀时，丢弃该数据；

步骤S204、用SVD分解来计算旋转矩阵和平移矩阵，如图2，可以得到误差波动范围达到5个像素点的粗匹配后的工件轮廓。

步骤S3的具体过程为：

步骤S301、以步骤S2得到的粗匹配结果作为初始位置，引入迭代最近点方法，通过迭代选择对应点，根据图3(d)表明，迭代三次就可达到最优；

步骤S302、采用kD-tree来匹配最近的轮廓点，重新确定权重函数：

其中，m₁为归一化后的最近点的残差，m₂为归一化后的最近点的法向量之积，m₃表示归一化的最近点的曲率之差，α,β,γ相应比例系数，α+β+γ＝1，本文取α＝0.5，β＝0.3，γ＝0.2，然后舍弃权重函数最小的10％的对应点；

步骤S303、计算点到切线距离的平方差：

由此来确定误差度量函数；

步骤S304、将旋转矩阵线性化，用最小二乘法求出旋转角度和平移距离，随着后面的迭代，旋转角度越来越小，得到的旋转矩阵将非常接近真实值，

步骤S4的具体过程为：

设计了邻域法，即计算点到邻近线段的距离。对于p_i∈P，在Q中找到离p_i最近的m个点顺时针相连成m-1个线段，记{q'₁,q'₂,q'₃,...,q'_m-1}分别为p_i到这m-1个线段最近点的距离。则p_i到Q的最近距离即轮廓P在p_i处的误差为：

e_i＝min{q'₁,q'₂,...,q'_m-1}

本文取m的值为5，由此计算出被检测工件与实际工件的轮廓匹配误差，本次实验表明工件轮廓的检测精度可以达到0.5个像素点。

以上步骤即为整个轮廓视觉检测方法的全过程。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种轮廓视觉检测方法，其特征在于，所述的轮廓视觉检测方法包括下列步骤：

S1、使用工业相机采集被检测工件的图像，提取ROI区域，利用prewitt算子与图像卷积得到一阶梯度，将梯度值大于一定阈值部分记为轮廓边缘，基于邻域面积的亚像素边缘提取方法，提取被检测工件的边缘轮廓；

S2、根据提取被检测工件的边缘轮廓，基于形状上下文特征与原型工件的轮廓进行粗匹配过程；其中，所述的步骤S2的具体过程为：

步骤201、对轮廓随机采样，得到一个稀疏轮廓S，令轮廓S＝{s₁,s₂,...,s_N}，设任意s_i∈S为对数极坐标的原点，s_i的形状上下文描述子SC是其他N-1个点分布的直方图，在对数极坐标系下，将对数极坐标划等分为K＝r×l格，其中r为角度轴的等分段数，l为对数距离等分段数，记录其余N-1点在这K格的分布数目，构成直方图函数h_n(k)，其中n表示第n个点，k表示第k个小格子，其中1≤n≤N，1≤k≤K得到形状上下文描述子SC特征具有平移不变形性；

步骤202、分别取被测工件和原型工件的两个轮廓上任意点p_i∈P,q_j∈Q,两点之间的匹配代价函数：

其中h_i(k)和h_j(k)分别代表p_i和q_j处的直方图函数，计算出P和Q所有对应点的代价函数C_i,j，令总代价函数达到最小，进行特征匹配；

步骤203、利用亚像素点的曲率特征建立一个拒绝函数：

其中c₁和c₂为对应点的曲率，当对应点的曲率误差大于阈值c₀时，丢弃该被测工件的轮廓上的点与标准轮廓上的点曲率差大于阈值c₀的点对；

步骤204、用SVD分解来计算旋转矩阵和平移矩阵，得到粗匹配后工件轮廓；

S3、以粗匹配的结果为基础，利用迭代最近点方法再次与原型工件的轮廓进行精确匹配；

S4、通过计算点到邻近线段距离的方法，来计算被测工件与原型工件的轮廓匹配误差，其中，所述的步骤S4的具体过程为：

设计邻域法，即计算点到邻近线段的距离；对于p_i∈P，在Q中找到离p_i最近的m个点顺时针相连成m-1个线段，记{q'₁,q'₂,q'₃,...,q'_m-1}分别为p_i到这m-1个线段最近点的距离；则p_i到Q的最近距离即轮廓P在p_i处的误差为：

e_i＝min{q'₁,q'₂,...,q'_m-1}

由此计算出被检测工件与实际工件的轮廓匹配误差。

2.根据权利要求1所述的一种轮廓视觉检测方法，其特征在于，所述的步骤S1的具体过程为：

S101、使用远心平行背光和远心镜头，并配合工业相机来采集图像；

S102、对获取的图像做二值化，腐蚀膨胀处理，提取ROI区域并平滑滤波，去除噪声点的影响；

S103、利用prewitt算子与图像卷积得到一阶梯度，将梯度值大于一定阈值部分记为轮廓边缘；

S104、得到的轮廓并不都是连续的，还需要通过腐蚀和膨胀处理来补齐轮廓；

S105、基于邻域面积的亚像素边缘提取方法，准确求取亚像素信息，从而提取被检测工件的边缘轮廓。

3.根据权利要求1所述的一种轮廓视觉检测方法，其特征在于，所述的步骤S3的具体过程为：

步骤301、以步骤S2得到的粗匹配结果作为初始位置，引入迭代最近点方法，通过迭代选择对应点；

步骤302、采用kD-tree来匹配最近的轮廓点，重新确定权重函数：

其中m₁为归一化后的最近点的残差，m₂为归一化后的最近点的法向量之积，m₃表示归一化的最近点的曲率之差，α,β,γ相应比例系数，α+β+γ＝1；

步骤303、计算点到切线距离的平方差：

由此来确定误差度量函数；

步骤304、将旋转矩阵线性化，用最小二乘法求出旋转角度和平移距离，随着后面的迭代，旋转角度越来越小，得到的旋转矩阵将非常接近真实值。

4.根据权利要求2所述的一种轮廓视觉检测方法，其特征在于，所述的亚像素信息包括位置、灰度差、法向量和曲率。

Images