CN107490583A - 一种基于机器视觉的夹片缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的夹片缺陷检测方法，包括以下步骤：（1）夹片工件图像获取及预处理；（2）对工件图像进行模板匹配定位与位置矫正；（3）进行图像分割与形态学操作；（4）根据所测特征构建相关检测区域，分析各类缺陷样品的数据，得出各类缺陷的判别规则并进行缺陷检测以下缺陷：平牙、烂牙、重牙、光板、短料、锯偏、锯斜。本发明有效地解决了目前人工检测速度慢、效率低、成本高的问题，同时具有对初始化不敏感,具有鲁棒性强的优点，提高了夹片的生产自动化程度和产品质量。

Description

一种基于机器视觉的夹片缺陷检测方法

技术领域

本发明涉及建筑施工自动检测技术领域，尤其涉及一种基于机器视觉的夹片缺陷检测方法。

背景技术

随着预应力锚具技术的发展，夹片锚(简称夹片)在预应力锚具工程中所占比例越来越大，被广泛应用于各种桥梁道路高层建筑等建筑施工中，夹片是预应力锚固体系的重要基础件之一,其工作面质量的好坏直接影响预应力构筑物的安全，如果存在外观质量缺陷的工件若流入市场，严重时可能导致建筑发生安全事故,极大地破坏了社会安全和人民财产,同样给生产企业带来极大的经济损失和责任风险。

因此,对夹片的检测是非常重要的环节。目前生产线上采用的检测方法为人工目视检测,其不足是：检测速度慢、效率较低、成本高、容易造成人为误差检测。

发明内容

针对现有技术的不足，本发明解决的技术问题是如何解决人工检测速度慢、效率低、成本高、容易造成人为误差的问题。

为解决上述技术问题，本发明提供的技术方案是一种基于机器视觉的夹片缺陷检测方法，包括以下步骤：

(1)夹片工件图像获取及预处理；

(2)对工件图像进行模板匹配定位与位置矫正；

(3)进行图像分割与形态学操作；

(4)根据所测特征构建相关检测区域，分析各类缺陷样品的数据，得出各类缺陷的判别规则并进行缺陷检测以下缺陷：平牙、烂牙、重牙、光板、短料、锯偏、锯斜。

步骤(1)中，通过红色的碗形漫反射光源照明,利用CCD工业相机和图像采集卡采集夹片工件图像,工件图像为RGB图像,然后把工件图像送入工控机进行预处理,预处理为对采集到的工件图像进行灰度转换、中值滤波处理和图像增强。

步骤(2)中,

所述图像模板匹配定位，是基于形状特征的模板匹配算法，根据物体边缘的梯度相关性作为匹配准则，将待测图像与标准图像生成的模板进行图像匹配，并得到待测图像中锚夹片的相关位置参数；

所述图像位置矫正，是根据模板匹配定位后得到的位置参数进行仿射变换实现图像中锚夹片工件的平移和旋转角度矫正。

步骤(3)中，

所述图像分割，是基于大津算法(OSTU算法)对定位矫正后的图像进行图像分割，工件图像有效分割的被分割为前景和背景：

式中，F(x,y)为分割后的工件图像，T为大津算法(OSTU算法)计算得到的分割阈值。

所述大津算法(OSTU算法)，是一种自适应阈值确定的方法，简称OTSU，是一种基于全局的二值化算法，采用的衡量差别的标准就是最大类间方差，将图像分为前景和背景两个部分，其算法过程为：

①设采集的夹片工件图像像素为N，灰度范围为[0,L-1]，对应的灰度级i的像素点为n_i，概率为

②设定一个阈值T，根据灰度值将像素点分成c₀和c₁两类。c₀的概率w₀，均值u₀：

c₁的概率w₁，均值u₁：

其中，由上面式子可知c₀和c₁的类间方差σ²(t)为：

σ²(t)＝w₀(u₀-u)²+w₁(u₁-u)² 式6

③于是将T在[0,L-1]范围依次取值，使σ²(t)最大值的T值即为大津法的最佳阈值。

所述形态学操作，是对分割后的图像进行数学形态学处理，处理过程为，通过结构元素对工件图像施加形态学中的闭运算，填充物体的细小空洞、连接临近物体、平滑其边界，有：

式中，F(x,y)为分割后的工件图像，·为闭运算符，为膨胀运算符，Θ为腐蚀运算符，B为圆盘结构元素，半径为5，元素全为1。

步骤(4)中，包括如下分步骤：

1)构建检测区域：

标定夹片内锥螺纹牙面为牙型缺陷检测区域，记为Reg_YX；

标定夹片上表面区域为锯偏、锯斜缺陷检测区域，分别记为Reg_JPX；

标定夹片前后两端为短料缺陷检测区域，记为Reg_DL。

2)分析各类缺陷样品的数据，得出各类缺陷的判别规则并进行缺陷检测：

先对大量的夹片样品进行图像采集，然后通过图像分析得到各类缺陷样品的数据，并统计分析得出各类缺陷的判别规则，建立规则库，规则库中的Th_PY、Th_LY、Th_JP、Th_JX分别对应于平牙、烂牙、锯偏、锯斜缺陷的判断阈值，以像素为单位；Th_CY、Th_GB分别对应于重牙、光板的判断阈值，以内锥螺纹牙的数目为单位；Th_DL为短料的判断阈值，以坐标值为单位；具体如下：

①牙型缺陷检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到内锥螺纹牙面区域，即牙型缺陷检测区域Reg_YX。其中，平牙的缺陷特征是夹片末端区域内锥螺纹牙比合格品宽；烂牙的缺陷特征是中间区域的内锥螺纹牙缺口，螺纹牙比合格品宽；重牙的缺陷特征是螺纹牙数比合格品多；光板的缺陷特征是螺纹牙数比合格品少。

标识平牙、烂牙的判别标志为PY和LY，利用像素计数法分别提取夹片末端区域和中间区域内锥螺纹牙的宽度平均像素Num_YK1、Num_YK2；利用边缘提取法计算整个内锥螺纹牙面的螺纹牙数Num_YS；根据下面两式判断夹片是否存在平牙、烂牙缺陷：

根据下面两式判断夹片是否存在重牙、光板缺陷：

式中，缺陷判断阈值Th_PY、Th_LY、Th_CY、Th_GB由规则判别库确定，YES和NO分别表示存在缺陷和不存在缺陷。

②尺寸中的锯偏、锯斜检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到夹片上表面区域，即为锯偏、锯斜缺陷检测区域Reg_JPX。其中，锯偏的缺陷特征是夹片的宽度比标准宽度小；锯斜的缺陷特征夹片的宽度比标准宽度小，而且夹片宽度各部分不相同。

标识锯偏、锯斜的判别标志为JP、JX，利用边缘提取法提取夹片内锥螺纹牙面与上表面的两边界，并用分别用夹片前半表面和后半表面区域的下边界的行坐标减去上边界的行坐标，即夹片前段区域的宽度Num_KD1和后段区域的宽度Num_KD2，并计算两者的差值Num_KD＝Num_KD1-Num_KD2；根据下面两式判断夹片是否存在锯偏、锯斜缺陷：

式中，缺陷判断阈值Th_JP、Th_JX由规则判别库确定，I表示逻辑“与”运算。YES和NO分别表示存在缺陷和不存在缺陷。

③尺寸中的短料检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到夹片前后两端区域，即为短料缺陷检测Reg_DL。短料的缺陷特征是夹片的长度比标准长度短。

标识短料的判别标志为DL，利用边缘提取法提取夹片前后端区域的内锥螺纹牙面前后两端边界坐标值，并计算两者纵坐标的差值Num_CD，即夹片的长度；根据下面两式判断夹片是否存在短料缺陷：

式中，缺陷判断阈值Th_DL由规则判别库确定，YES和NO分别表示存在缺陷和不存在缺陷。

本发明的技术方案具有较高的检测准确率和鲁棒性，检测的准确率可以达到96％；定位速度快、精度高，基于形状的模板匹配，采用归一化互相关算法，利用图像金字塔实现多级匹配，提高匹配精度和速度；缺陷检测针对性强，检测速度快，速度可以达到0.2秒每片，有效地提高了夹片工件生产自动化程度和产品的质量。

附图说明

图1为本发明的流程图；

图2(a)为检测到的正常合格图像；

图2(b)为检测到的平牙缺陷图像；

图2(c)为检测到的烂牙缺陷图像；

图2(d)为检测到的重牙缺陷图像；

图2(e)为检测到的光板缺陷图像；

图2(f)为检测到的短料缺陷图像；

图2(g)为检测到的锯偏缺陷图像；

图2(h)为检测到的锯斜缺陷图像。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但不是对本发明的限定。

实施例1：

如图1，一种基于机器视觉的夹片缺陷检测方法,包括以下步骤：

(1)夹片工件图像获取及预处理；

(2)对工件图像进行模板匹配定位与位置矫正；

(3)进行图像分割与形态学操作；

(4)根据所测特征构建相关检测区域，分析各类缺陷样品的数据，得出各类缺陷的判别规则并进行缺陷检测以下缺陷：平牙、烂牙、重牙、光板、短料、锯偏、锯斜。

步骤(1)中，通过红色的碗形漫反射光源照明,利用CCD工业相机和图像采集卡采集夹片工件图像,工件图像为RGB图像,然后把工件图像送入工控机进行预处理,预处理为对采集到的工件图像进行灰度转换、中值滤波处理和图像增强，去除图像拍摄和传输过程中可能引起的噪声,提高图像信噪比，同时提高图像的对比度。

步骤(2)中：

1)工件图像模板匹配定位：

基于形状特征的模板匹配算法，根据物体边缘的梯度相关性作为匹配准则，将待测图像与标准图像生成的模板进行图像匹配，并得到待测图像中锚夹片的相关位置参数。

2)图像位置矫正是根据模板匹配定位后得到的位置参数进行仿射变换实现图像中锚夹片工件的平移和旋转角度矫正。

步骤(3)中：

所述图像分割，是基于大津算法(OSTU算法)对定位矫正后的图像进行图像分割，工件图像有效分割的被分割为前景和背景：

式中，F(x,y)为分割后的工件图像，T为大津算法(OSTU算法)计算得到的分割阈值。

所述大津算法(OSTU算法)，是一种自适应阈值确定的方法，简称OTSU，是一种基于全局的二值化算法，采用的衡量差别的标准就是最大类间方差，将图像分为前景和背景两个部分。算法过程为：

①设采集的夹片工件图像像素为N，灰度范围为[0,L-1]，对应的灰度级i的像素点为n_i，概率为

②设定一个阈值T，根据灰度值将像素点分成c₀和c₁两类。c₀的概率w₀，均值u₀：

c₁的概率w₁，均值u₁：

其中，由上面式子可知c₀和c₁的类间方差σ²(t)为：

σ²(t)＝w₀(u₀-u)²+w₁(u₁-u)² 式6

③于是将T在[0,L-1]范围依次取值，使σ²(t)最大值的T值即为大津法的最佳阈值。

所述形态学操作，是对分割后的图像进行数学形态学处理，处理过程为，通过结构元素对工件图像施加形态学中的闭运算，填充物体的细小空洞、连接临近物体、平滑其边界，有：

式中，F(x,y)为分割后的工件图像，·为闭运算符，为膨胀运算符，Θ为腐蚀运算符，B为圆盘结构元素，半径为5，元素全为1。

步骤(4)中，包括如下分步骤：

1)构建检测区域：

标定夹片内锥螺纹牙面为牙型缺陷检测区域，记为Reg_YX；

标定夹片上表面区域为锯偏、锯斜缺陷检测区域，分别记为Reg_JPX；

标定夹片前后两端为短料缺陷检测区域，记为Reg_DL。

2)进行缺陷检测：

首先我们对大量的夹片样品进行图像采集，采集到的样品图像如图2所示，其中图a-h分别对应合格、平牙、烂牙、重牙、光板、短料、锯偏和锯斜图像，然后通过图像分析得到各类缺陷样品的数据，并统计分析得出各类缺陷的判别规则，建立规则库，规则库中的Th_PY、Th_LY、Th_JP、Th_JX分别对应于平牙、烂牙、锯偏、锯斜缺陷的判断阈值，以像素为单位；Th_CY、Th_GB分别对应于重牙、光板的判断阈值，以内锥螺纹牙的数目为单位；Th_DL为短料的判断阈值，以坐标值为单位。具体如下：

①牙型缺陷检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到内锥螺纹牙面区域，即牙型缺陷检测区域Reg_YX。其中，如图2中的(b)图所示的平牙图，平牙缺陷特征是夹片末端区域内锥螺纹牙比合格品宽；如图2中的(c)图所示的烂牙图，烂牙缺陷特征是中间区域的内锥螺纹牙缺口，螺纹牙比合格品宽；如图2中的(d)图所示的重牙图，重牙缺陷特征是螺纹牙数比合格品多；如图2中的(e)图所示的光板图，光板缺陷特征是螺纹牙数比合格品少。

标识平牙、烂牙的判别标志为PY和LY，利用像素计数法分别提取夹片末端区域和中间区域内锥螺纹牙的宽度平均像素Num_YK1、Num_YK2；利用边缘提取法计算整个内锥螺纹牙面的螺纹牙数Num_YS；根据下面两式判断夹片是否存在平牙、烂牙缺陷：

根据下面两式判断夹片是否存在重牙、光板缺陷：

式中，缺陷判断阈值Th_PY、Th_LY、Th_CY、Th_GB由规则判别库确定，YES和NO分别表示存在缺陷和不存在缺陷。

②尺寸中的锯偏、锯斜检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到夹片上表面区域，即为锯偏、锯斜缺陷检测区域Reg_JPX。其中，如图2中的(g)图所示的锯偏图，锯偏的缺陷特征是夹片的宽度比标准宽度小；如图2中的(h)图所示的锯斜图，锯斜的缺陷特征夹片的宽度比标准宽度小，而且夹片宽度各部分不相同。

标识锯偏、锯斜的判别标志为JP、JX，利用边缘提取法提取夹片内锥螺纹牙面与上表面的两边界，并用分别用夹片前半表面和后半表面区域的下边界的行坐标减去上边界的行坐标，即夹片前段区域的宽度Num_KD1和后段区域的宽度Num_KD2，并计算两者的差值Num_KD＝Num_KD1-Num_KD2；根据下面两式判断夹片是否存在锯偏、锯斜缺陷：

式中，缺陷判断阈值Th_JP、Th_JX由规则判别库确定，I表示逻辑“与”运算。YES和NO分别表示存在缺陷和不存在缺陷。

③尺寸中的短料检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到夹片前后两端区域，即为短料缺陷检测Reg_DL。如图2中的(f)图所示的短料图，短料的缺陷特征是夹片的长度比标准长度短。

标识短料的判别标志为DL，利用边缘提取法提取夹片前后端区域的内锥螺纹牙面前后两端边界坐标值，并计算两者纵坐标的差值Num_CD，即夹片的长度；根据下面两式判断夹片是否存在短料缺陷：

式中，缺陷判断阈值Th_DL由规则判别库确定，YES和NO分别表示存在缺陷和不存在缺陷。

实施例2：

根据图2中的样品图，通过实施例1中的图像处理算法，提取特征，经过数据分析统计，制定判别规则库。

总体流程说明待检的夹片工件通过上料机构传输到检测工位,光电传感器触发相机拍照并采集一帧图像实时传输到工控机，上位机通过缺陷检测算法进行缺陷检测，并将检测结果通过串口通信传送给下位机。下位机根据检查结果将不合格品剔除,合格品将进入下一道工序，最终实现工件的智能分拣。

本发明有效地解决了目前人工检测速度慢、效率低、成本高的问题，同时具有对初始化不敏感,具有鲁棒性强的优点，提高了夹片的生产自动化程度和产品质量。

以上结合附图对本发明的技术方案作出了详细说明，但本发明不局限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明的原理和精神的情况下,对这些实施方式进行各种变化、修改、替换和变型仍落入在本发明的保护范围内。

Claims (6)

1.一种基于机器视觉的夹片缺陷检测方法，其特征在于：包括以下步骤：

(1)夹片工件图像获取及预处理；

(2)对工件图像进行模板匹配定位与位置矫正；

(3)进行图像分割与形态学操作；

(4)根据所测特征构建相关检测区域，分析各类缺陷样品的数据，得出各类缺陷的判别规则并进行缺陷检测以下缺陷：平牙、烂牙、重牙、光板、短料、锯偏、锯斜。

2.根据权利要求1所述的基于机器视觉的夹片缺陷检测方法，其特征在于：步骤(1)中，通过红色的碗形漫反射光源照明,利用CCD工业相机和图像采集卡采集夹片工件图像,工件图像为RGB图像,然后把工件图像送入工控机进行预处理,预处理为对采集到的工件图像进行灰度转换、中值滤波处理和图像增强。

3.根据权利要求1或2所述的基于机器视觉的夹片缺陷检测方法，其特征在于：步骤(2)中，

所述图像模板匹配定位，是基于形状特征的模板匹配算法，根据物体边缘的梯度相关性作为匹配准则，将待测图像与标准图像生成的模板进行图像匹配，并得到待测图像中锚夹片的相关位置参数；

所述图像位置矫正，是根据模板匹配定位后得到的位置参数进行仿射变换实现图像中锚夹片工件的平移和旋转角度矫正。

4.根据权利要求1或2所述的基于机器视觉的夹片缺陷检测方法，其特征在于：步骤(3)中，

所述图像分割，是基于大津算法对定位矫正后的图像进行图像分割，工件图像有效分割的被分割为前景和背景：

式中，F(x,y)为分割后的工件图像，T为大津算法(OSTU算法)计算得到的分割阈值；

所述形态学操作，是对分割后的图像进行数学形态学处理，处理过程为，通过结构元素对工件图像施加形态学中的闭运算，填充物体的细小空洞、连接临近物体、平滑其边界，有：

式中，F(x,y)为分割后的工件图像，●为闭运算符，为膨胀运算符，Θ为腐蚀运算符，B为圆盘结构元素，半径为5，元素全为1。

5.根据权利要求4所述的基于机器视觉的夹片缺陷检测方法，其特征在于：所述大津算法，是一种自适应阈值确定的方法，简称OTSU，是一种基于全局的二值化算法，采用的衡量差别的标准就是最大类间方差，将图像分为前景和背景两个部分，其算法过程为：

①设采集的夹片工件图像像素为N，灰度范围为[0,L-1]，对应的灰度级i的像素点为n_i，概率为

②设定一个阈值T，根据灰度值将像素点分成c₀和c₁两类，c₀的概率w₀，均值u₀：

c₁的概率w₁，均值u₁：

其中，由上面式子可知c₀和c₁的类间方差σ²(t)为：

σ²(t)＝w₀(u₀-u)²+w₁(u₁-u)² 式6

③于是将T在[0,L-1]范围依次取值，使σ²(t)最大值的T值即为大津法的最佳阈值。

6.根据权利要求1或2所述的基于机器视觉的夹片缺陷检测方法，其特征在于：步骤(4)中，包括如下分步骤：

1)构建检测区域：

标定夹片内锥螺纹牙面为牙型缺陷检测区域，记为Reg_YX；

标定夹片上表面区域为锯偏、锯斜缺陷检测区域，分别记为Reg_JPX；

标定夹片前后两端为短料缺陷检测区域，记为Reg_DL；

2)分析各类缺陷样品的数据，得出各类缺陷的判别规则并进行缺陷检测：

先对大量的夹片样品进行图像采集，然后通过图像分析得到各类缺陷样品的数据，并统计分析得出各类缺陷的判别规则，建立规则库，规则库中的Th_PY、Th_LY、Th_JP、Th_JX分别对应于平牙、烂牙、锯偏、锯斜缺陷的判断阈值，以像素为单位；Th_CY、Th_GB分别对应于重牙、光板的判断阈值，以内锥螺纹牙的数目为单位；Th_DL为短料的判断阈值，以坐标值为单位；具体如下：

①牙型缺陷检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到内锥螺纹牙面区域，即牙型缺陷检测区域Reg_YX；其中，平牙的缺陷特征是夹片末端区域内锥螺纹牙比合格品宽；烂牙的缺陷特征是中间区域的内锥螺纹牙缺口，螺纹牙比合格品宽；重牙的缺陷特征是螺纹牙数比合格品多；光板的缺陷特征是螺纹牙数比合格品少；

标识平牙、烂牙的判别标志为PY和LY，利用像素计数法分别提取夹片末端区域和中间区域内锥螺纹牙的宽度平均像素Num_YK1、Num_YK2；利用边缘提取法计算整个内锥螺纹牙面的螺纹牙数Num_YS；根据下面两式判断夹片是否存在平牙、烂牙缺陷：

根据下面两式判断夹片是否存在重牙、光板缺陷：

式中，缺陷判断阈值Th_PY、Th_LY、Th_CY、Th_GB由规则判别库确定，YES和NO分别表示存在缺陷和不存在缺陷；

②尺寸中的锯偏、锯斜检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到夹片上表面区域，即为锯偏、锯斜缺陷检测区域Reg_JPX；其中，锯偏的缺陷特征是夹片的宽度比标准宽度小；锯斜的缺陷特征夹片的宽度比标准宽度小，而且夹片宽度各部分不相同；

标识锯偏、锯斜的判别标志为JP、JX，利用边缘提取法提取夹片内锥螺纹牙面与上表面的两边界，并用分别用夹片前半表面和后半表面区域的下边界的行坐标减去上边界的行坐标，即夹片前段区域的宽度Num_KD1和后段区域的宽度Num_KD2，并计算两者的差值Num_KD＝Num_KD1-Num_KD2；根据下面两式判断夹片是否存在锯偏、锯斜缺陷：

式中，缺陷判断阈值Th_JP、Th_JX由规则判别库确定，I表示逻辑“与”运算；YES和NO分别表示存在缺陷和不存在缺陷；

③尺寸中的短料检测：

通过定位矫正后，可以得到夹片的中心位置，并以此为参考定位到夹片前后两端区域，即为短料缺陷检测Reg_DL；短料的缺陷特征是夹片的长度比标准长度短；

标识短料的判别标志为DL，利用边缘提取法提取夹片前后端区域的内锥螺纹牙面前后两端边界坐标值，并计算两者纵坐标的差值Num_CD，即夹片的长度；根据下面两式判断夹片是否存在短料缺陷：

式中，缺陷判断阈值Th_DL由规则判别库确定，YES和NO分别表示存在缺陷和不存在缺陷。