CN105334219A - 一种残差分析动态阈值分割的瓶口缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于残差分析动态阈值分割的瓶口缺陷检测方法，首先，提出随机圆评估方法用于实现瓶口区域定位；随后，对极坐标变换展开所得的瓶口目标图像进行强烈平滑处理，平滑前后的瓶口目标图像进行差分，形成一个随原始瓶口目标图像灰度值变化的阈值曲面，用该曲面对瓶口目标图像进行动态阈值分割；最后，对分割后的二值图像进行区域连通性检测，根据连通区域的高、宽和面积判断其是否为缺陷。该方法对图像中识别目标的灰度值变化、干扰有很强的适应能力，且执行速度快，有效解决了瓶口缺陷高速高精度检测的难题。

Description

一种残差分析动态阈值分割的瓶口缺陷检测方法

技术领域

本发明属于图像处理领域，涉及一种残差分析动态阈值分割的瓶口缺陷检测方法。

背景技术

我国每年的瓶酒瓶需求量巨大，据行业数据显示，2014年我国啤酒行业累计产量高达4921.85万千升，按每瓶啤酒530ml的瓶装容量计算，则需要多达9.28651x10¹⁰个啤酒瓶，而，其中80％以上的啤酒瓶使用回收旧瓶，存在着大量瓶口破损的瓶，使用瓶口破损的瓶可能给生产线和消费者带来重大安全隐患，因此，进行瓶口缺陷检测，剔除瓶口不合格的瓶是一个必要过程，目前，国内外已经有大量瓶口缺陷检测的方法。

国外，早在20世纪60年代研制出了空瓶检测机，但是描述具体瓶口定位方法的文献较少，1988年，YoshidaH在专利《Bottlemouthdefectinspectionapparatus》中提出使用一种弧形光源和光电传感器获取瓶口图像，通过径向方向的扫描实现5种类型的瓶口缺陷检测；2004年，ShafaitF、ImranSM等在《Faultdetectionandlocalizationinemptywaterbottlesthroughmachinevision》中应用Hough变换法实现空矿泉水瓶底位。国内，自2001年开始，段峰、王耀南等在《基于机器视觉的智能空瓶检测机器人研究》中最先展开对啤酒空瓶检测系统的研究，并于2003年成功研制出我国首台空瓶检测机器人，提出模板匹配法、环形边缘检测法和环形投影法三种瓶口检测方法，模板匹配法理论上十分简单，但实际应用中，由于瓶口图像中的圆环的环宽度变化大和圆心定位存在误差，造成检测结果不理想，环形边缘检测法比模板匹配法检测效果好，但对圆心定位精度的要求较高，环形投影法在瓶口图像解析度足够高的情况下，检测效果好。2005年，刘焕军在《基于支撑向量机的空瓶智能检测方法》中提出用遗传支撑向量机算法来进行瓶口缺陷检测。2006年，李欣在《基于机器视觉的啤酒瓶空瓶检测机设计开发》中直接定位瓶口内外环区域，然后，通过阈值分割来检测缺陷，该方法速度，但是由于定位时仅使用三个点造成内外环区域定位误差大，使得缺陷检测结果不理想；严筱永在《基于图像的啤酒瓶瓶口与瓶底污损自动检测》中先进行边缘提取、连通域分析、Hough变换圆检测以获取瓶口目标区域，随后，以拟合圆圆心为原点进行极坐标变换，分八段沿径向展，最后采用Otsu分割检测瓶口缺陷。2007年，段峰在《啤酒瓶视觉检测机器人研究》中提出一种串联多神经网络的瓶口缺陷判决方法，该方法使用径向投影值及其差分值作为底层神经网络的输入，检测效果好，抗干扰能力强，但是使用串联多级神经网络，前期神经网络训练的工作量相对较大；马思乐在发明专利《一种空瓶瓶口缺陷检测方法及装置》中提出一种在二值分割后进行区域连通性搜索来判断瓶口缺陷的方法。2008年，陈西广在《机器视觉技术在啤酒瓶在线检测系统中的应用研究》中将图像分成外部亮环和内部密封面圆环两个区域，使用完整性搜索算法，通过设定的缺陷尺寸分别搜索两个区域，以判断瓶口是否合格。2009年，张田田、张伟东等在《基于机器视觉的啤酒瓶口检测系统的研究》和《在线空瓶检测系统的研究与开发》中将瓶口区域分三个区域后，分别进行径向扫描判断瓶口好坏，张莹在《啤酒瓶检测中多分类支持向量机算法的选择》中比较的多类支持向量机算法在空瓶检测中的应用效果，其中，一对一多分类支持向量机在径向基核函数时瓶口检测效果最好，瓶口分类正确率95％，执行时间165毫秒；张燕等在《基于圆心定位的瓶口三圆周快速缺陷检测算法》中首先获取瓶口边缘，随后通过提出的四点垂直弦截法来定位圆心,最后采用三圆周法检测瓶口缺陷。2010年，王好贤、毛兴鹏等在《玻璃瓶瓶口破损和瓶底污物检测算法》中提出在滤波、二值化操作后定位出瓶口区域，直接统计瓶口区域内的干扰点数目，小于一定阈值则为无干扰，否则利用重心法排除干扰并再次判断是否有缺陷，本算法简单、速度快。2011年，刘文志在《基于机器视觉的啤酒瓶口检测系统研究》中通过中值滤波、阈值分割、膨胀、腐蚀4个步骤获取取瓶口图像中目标区域，提取目标区域的区域特征、灰度值特征和轮廓特征用以进行瓶口缺陷判断；王贵锦、张树君等在发明专利《一种检测PET瓶或瓶胚瓶口缺陷的方法》中通过提取瓶口环形区域图像展开，在横向方向求梯度，以横向梯度作为特征量，实现PET瓶口缺陷检测；张琴在《基于NSCT的瓶口图像处理技术研究与应用》中将瓶口图像等分成多个子图像，采用NSCT方法对每个子图像进行分解，以获得对应特征矩阵，将对应方向的特征值求均值和方差，作为图像的特征向量，用于判断瓶口是否存在缺陷，该方法检测正确率高，但执行时间较慢，缺陷检测耗时879毫秒。2013年，王贵锦在发明专利《多尺度瓶口缺陷检测方法及装置》中针对针对瓶口缺陷的尺度多样性，将目标图像通过多次降采样得到一系列的多个不同尺度的目标图像，对每个尺度的目标图像都进行特征提取以及缺陷检测，联合判断得出检测结果，并将瓶口区域与该瓶口区域对应的蒙版进行融合，有效避免了瓶口中央位置以及其他无关区域对瓶口缺陷检测的干扰；在王贵锦发明专利《瓶口缺陷检测方法》中还提出一种将瓶口区域划分为第一内环、第二内环、评估环、密封环和内密封环共五个区域，各区域同时进行阈值分割检测出缺陷。2014年，李娜、郭克友等在《啤酒瓶口破损检测技术的研究》和《基于BP神经网络的啤酒瓶口检测方法》中提取瓶口周长、面积、圆形度和相对圆心距离四个特征，通过BP神经网络实现瓶口缺陷检测；南兆龙、李凤婷等人在发明专利《一种准确检测瓶坯瓶口缺陷的方法》中人为标定出瓶口内外内轮廓，然后由外轮廓向内轮廓沿径向方向扫描获取一系列瓶口内、外边缘，用Hough变换进行内外轮廓拟合，最后根据各边缘点到拟合圆圆心最大距离和最小距离的偏移距离判断瓶口变形和瓶口内外轮廓缺损。

总体而言，上述瓶口缺陷检测主要包括检测区域定位和缺陷检测两个过程，如图4所示，其中缺陷检测方法分两类，一类是基于大量先验知识的传统阈值检测方法，另一类是机器学习方法与传统阈值检测方法结合的检测方法，前者检测速度快，但需要设定很多的阈值，且缺陷提取方法抗干扰能力和适应性不强，误检率较高，后者检测正确率高，抗干扰能力强，但需要收集大量样本图像，训练时间慢，检测耗时长，同时，由于部分瓶口图像中缺陷和边缘区域的灰度值变化范围大、干扰多，已有的方法难以实现瓶口缺陷快速、准确检测，针对这一问题，本文提出随机圆评估法实现瓶口检测区域快速准确定位，利用强烈平滑后的图像与原图像的差分获取阈值曲面，通过该曲面对原始图像进行阈值分割，随后进行连通域分析，并根据连通区域的高、宽和面积判断其是否为缺陷。该方法对图像中识别目标的灰度值变化、干扰有很强的适应能力，检测效果好，运算速度快，有效解决了瓶口缺陷高速高精度检测的难题。

发明内容

本发明针对上述现有技术中存在的瓶口缺陷检测精度不高的问题，提出了一种残差分析动态阈值分割的瓶口缺陷检测方法。

玻璃啤酒瓶的瓶口缺陷包括外环磨损、内环磨损、封盖面磨损、外环崩口、内环崩口、封盖面破裂、存在脏污共七类，七类缺陷可概括为磨损、崩口和存在脏污三大类，如图5所示，其中各字符代表的缺陷类型如表1所示。

表1瓶口缺陷种类

综上，可总结得到完好瓶口和破损脏污瓶口图像的特征：对于完好瓶口，瓶口边缘区域呈两个明亮均匀的圆环，背景区域和瓶口封盖面区域亮度较暗、分布均匀；对于破损和存在污物的瓶口，原本亮度均匀的白色圆环出现较暗的断裂带，原本亮度均匀封盖面暗区域出现明亮区域，其中内环磨损、外环磨损、封盖面磨损和存在脏污时，缺陷和脏污表现为高亮度区域，内环崩口、外环崩口和封盖面表现为与背景灰度值相近的暗区域。

部分瓶口图像中存在缺陷和边缘区域的灰度值变化范围大、干扰多的问题，如图6所示，其中存在灰度值较大的亮缺陷区域，也存在和背景灰度相近的暗缺陷区域，同时存在大量干扰边缘，这种情况下已有瓶口检测方法难以实现瓶口缺陷的高速高精度检测，本发明方法针对此问题，提出一种基于残差分析动态阈值分割的瓶口缺陷检测方法，用于实现玻璃啤酒瓶的瓶口缺陷快速、准确检测。

一种残差分析动态阈值分割的瓶口缺陷检测方法，包括以下步骤：

步骤1：获取啤酒瓶口图像；

步骤2：从啤酒瓶口图像中定位瓶口目标区域；

步骤3：对瓶口目标区域进行缺陷检测；

步骤3.1)：对瓶口目标区域图像进行滤波处理；

步骤3.2)：对瓶口目标区域进行滤波前后的图像进行差分处理获得残差图像；

步骤3.3)：对残差图像r(x,y)进行两次阈值分割后求和，得到一幅二值化图像；

对残差图像采用以下公式进行第一次阈值分割：

对残差图像采用以下公式进行第二次阈值分割：

对两次分割后的图像求和，得到一幅包含所有疑似缺陷区域的二值图像g_all(x,y)；

g_all(x,y)＝g_dark(x,y)+g_light(x,y)

其中，T_dark和T_light分别为两次分割阈值，g_dark(x，y)和g_light(x，y)均表示阈值分割所得二值化图像；

步骤3.4)：对残差图像分割求和后所得二值化图像g_all(x,y)进行连通域分析，获得连通分量，计算连通分量的重心位置、最小外接矩形的高、宽以及面积参数；

步骤3.5)根据重心判断连通分量所在的检测区域，根据检测区域中缺陷长、宽和面积特征，设定不同的长、宽和面积阈值进行瓶口缺陷识别，当连通分量的高、宽和面积大于设定阈值时，则说明该连通分量是瓶口缺陷；

所述检测区域包括ROI1、ROI2以及ROI3；

其中，检测区域ROI1是以步骤2中所得瓶口目标区域中心为圆心，以R1_o和R2_i为半径绘制的两个圆之间的圆环区域；

检测区域ROI2是以步骤2中所得瓶口目标区域中心为圆心，以R2_i和R3_o为半径绘制的两个圆之间的圆环区域；

检测区域ROI3是以步骤2中所得瓶口目标区域中心为圆心，以R3_o和R3_i为半径绘制的两个圆之间的圆环区域；

其中，R1_o＝R1+Rtol，R2_i＝R2-Rtol，R3_o＝R3+Rtol，R3_i＝R3-Rtol；

R_tol为容许度，R1、R2及R3为对瓶口目标区域进行径向扫描获得的第一、第二和第三组瓶口边缘点分别进行圆拟合所得到的拟合圆的半径。

【ROI1区域主要检测外环磨损、崩口，ROI2区域主要检测封盖面磨损、破裂和脏污，ROI3区域主要检测内环磨损、崩口。】

所述定位瓶口目标区域的具体步骤如下：

步骤A：对啤酒瓶口图像进行全局阈值分割得到瓶口边缘区域二值化图像；

步骤B：利用重心法对瓶口边缘区域二值化图像进行第一次瓶口定位；

步骤C：以第一瓶口定位后得到的区域重心作为一个扫描圆圆心，设定扫描半径，对步骤A所得瓶口边缘区域二值化图像进行径向扫描，获取啤酒瓶口边缘点；

每次扫描获取三个边缘点，所述三个边缘点是沿着扫描半径由最外端向扫描圆心扫描得的前三个像素灰度值跃变点，其中，第一边缘点和第三个边缘点是由0向1跃变的点，第二个边缘点为由1向0跃变的点；

将每次扫描得到的第一、二和三个像素灰度值跃变点分别存储于第一、二和三个数组中；

步骤D：利用圆拟合算法分别对上述三组边缘点进行圆拟合，对瓶口进行第二次精确定位，以获得瓶口检测区域；

步骤E：以上述第一组边缘点拟合圆圆心为极坐标原点，进行极坐标变换，将瓶口检测区域沿半径切线方向展开，所得图像作为瓶口目标区域，瓶口目标区域图像中像素的直角坐标(x，y)按以下公式获得：

$x=round(X1+(R{1}_o-\frac{R{1}_o-R{3}_i}{H_{obj}}{x}_{obj})cos\left(\frac{2\mathrm{\π}}{W_{obj}}{y}_{obj}\right))$

$y=round(Y1+(R{1}_o-\frac{R{1}_o-R{3}_i}{H_{obj}}{x}_{obj})sin\left(\frac{2\mathrm{\π}}{W_{obj}}{y}_{obj}\right))$

其中，H_obj*W_obj为瓶口目标区域图像的分辨率，H_obj、W_obj分别表示瓶口目标区域图像的高和宽，X1、Y1为残差图像的重心的重心坐标，x_obj、y_obj为瓶口目标区域图像中像素的坐标值，1≤x_obj≤H_obj，1≤y_obj≤W_obj，round()表示对变量取整数操作。

将经过极坐标变换展开的瓶口目标图像分成三部分：噪声、灰度缓慢变化(是指沿着图像坐标y轴方向的灰度变化情况)部分和灰度剧烈变化部分，其中缓慢变化部分对应于图像黑色背景区域和瓶口边缘亮区域，剧烈变化部分对应于检测目标的边缘和瓶口缺陷区域，通过对目标图像的强烈平滑，能有效滤除噪声和瓶口缺陷区域，但对梯度变化较小的背景区域影响甚小，因此，对平滑前后图像进行差分(该差分值被定义为残差)，能突出瓶口缺陷区域。

所述步骤D中使用的圆拟合算法具体包括以下几个步骤：

步骤a1：从所得的一组边缘点中随机采样的三个点确定一个圆，定义各边缘点到圆距离小于给定阈值的边缘点的数目与边缘点总数的比值为圆拟合度；

步骤b1：利用多次重复随机圆检测得到大量圆拟合结果并计算对应圆拟合度；

步骤c1：将圆拟合度作为评估标准搜索最优定位结果，以最大圆拟合度对应的结果作为该组边缘点的最终圆拟合结果。

使定位方法具有较强抗干扰能力且执行速度快。

所述步骤3中步骤3.1)对瓶口目标区域图像进行滤波处理是采用一个宽为M_w高为M_h的矩形滤波模板进行均值滤波处理，其中M_w大于的最宽缺陷区域的宽度值，为一个正奇数，M_h设定为瓶口定位误差的2-3倍。

对目标图像进行滤波的目的是使干扰、瓶口缺陷区域在滤波前后的灰度值变化尽量大，同时保证背景区域在滤波前后的灰度变化尽可能小，以便在残差中突出缺陷和背景差异，便于分割出缺陷区域。

所述步骤3中步骤3.3)T_dark为负整数，T_light为正整数，取决于明暗区域对应的残差大小，经过测试实验后获得。

所述步骤3中步骤3.5)R_tol设定为的瓶口定位误差1-2倍，ROI1、ROI2和ROI3区域的长、宽和面积阈值是根据各区域中缺陷长、宽和面积大小来设定的，经过测试实验获得。

所述径向扫描过程如下：

step1：以区域中心为圆心，以R_scan为半径，绘制一个圆，该圆被称为扫描圆，沿顺时针或逆时针方向进行360度的径向扫描；

step2：径向扫描从半径末端P_is开始，其中P_is的坐标值X_Pis和Y_Pis值由以下式子得到：

X_Pis＝X_o'+R_scancos(Δα*is)

Y_Pis＝Y_o'+R_scansin(Δα*is)

step3：当扫描到三个灰度值跃变点时停止，定义三个N_scan行两列的数组GroupEdge1(N_scan,2)、GroupEdge2(N_scan,2)、GroupEdge3(N_scan,2)，分三组保存边缘点坐标,其中沿径向扫描时得到的第一、二、三个灰度值跃变点x、y坐标分别保存在数组GroupEdge1、GroupEdge2、GroupEdge3中，其中，第一和第三个数组存储0向1跃变的点，第二个数组存储由1向0跃变的点。

所述径向扫描中步骤step2)is表示当前径向扫描的次序号，对于本发明中的瓶口图像，其取值范围为[100，600]。

有益效果

本发明提出了一种基于残差分析动态阈值分割的瓶口缺陷检测方法，首先，提出随机圆评估方法用于实现瓶口区域定位；随后，对极坐标变换展开所得的瓶口目标图像进行强烈平滑处理，平滑前后的瓶口目标图像进行差分，形成一个随原始瓶口目标图像灰度值变化的阈值曲面，用该曲面对瓶口目标图像进行动态阈值分割；最后，对分割后的二值图像进行区域连通性检测，根据连通区域的高、宽和面积判断其是否为缺陷；该方法采用瓶口图像的残差分析动态阈值分割方法以提升算法对灰度值变化的适应能力，提出一种新的对瓶口缺陷和干扰有很强抵抗能力的随机圆评估法，同时进行三圆周检测，以降低瓶口定位误差，保证后续检测的可靠性，通过上述两种改进处理后，本发明方法对图像中识别目标的灰度值变化和干扰都有很强的适应能力，且执行速度快，有效解决了瓶口缺陷高速高精度检测的难题。对残差图像进行平滑滤波处理，使得本方法较好的克服了现有技术会不同程度的削弱边缘区域的平滑效果，给后续图像分割带来不利影响的问题，使干扰、瓶口缺陷区域在滤波前后的灰度值变化尽量大，同时保证背景区域在滤波前后的灰度变化尽可能小，以便在残差中突出缺陷和背景差异，便于分割出缺陷区域，进一步提升了本方法对瓶口缺陷的检测精度。

附图说明

图1为本发明缺陷检测方法具体流程；

图2为测试图像和检测结果，图(a)为输入瓶口图像，图(b)为缺陷检测结果；

图3为本发明缺陷检测方法各步骤执行效果，图(a)为对输入图像分割得到的二值图像，图(b)为重心法所得重心位置，图(c)为径向扫描所得瓶口边缘点，图(d)为圆拟合得到的瓶口检测区域，图(e)为检测区域径向展得到的瓶口目标图像，图(f)为瓶口目标图像均值滤波，图(g)为残差求绝对值后的图像，图(h)为对残差分割所得二值化图像，图(i)为瓶口目标图像中所得缺陷检测结果；

图4为传统瓶口缺陷检测方法及主要流程；

图5为瓶口缺陷；

图6为存在明暗缺陷和大量干扰边缘的瓶口图像；

图7为径向扫描；

图8为随机圆评估法流程图；

图9为瓶口检测区域，图(a)为瓶口图像中3个检测区域，图(b)为图(a)中白色矩形区域的放大图，图(c)为瓶口目标图像中3个检测区域，图(d)为图(c)中白色矩形区域的放大图；

图10为目标图像灰度值变化；

图11为越界及越界处理，图(a)越界现象示意图，图(b)为越界处理方法示意图；

图12为不同越界处理方式得到的滤波效果，图(a)为进行越界处理的输入瓶口目标图像，图(b)、(c)和(d)分别表示越界时采用忽略、复制和补偿(本发明方法)越界像素得到的滤波结果，图(e)是图(c)和图(d)的差分图像；

图13为图像灰度值分布对残差影响，图(a)和(b)为进行测试输入的瓶口目标图像，图(c)和(d)分别是(a)和(a)经过高M_h为5、宽M_w为39的模板滤波后的图像，图(e)和(f)分别是(a)和(b)得到残差；

图14为滤波器模板宽度变化对残差影响，图(a)、(b)和(c)分别表示M_w等于3、8、49时的均值滤波结果，图(d)、(e)和(f)为对应的残差绝对值图像显示。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

一种基于残差分析动态阈值分割的瓶口缺陷检测方法，详细步骤如图1所示，主要包括瓶口区域定位和瓶口缺陷检测两大处理流程。

1瓶口区域定位

首先，通过全局阈值分割、重心法、径向扫描、圆拟合实现瓶口高速准确定位，随后，将瓶口划分成三个检测区域，以瓶口中心为极坐标原点进行极坐标变换展开。

1.1全局阈值分割获取瓶口边缘区域

以图像左上角为坐标原点，纵向、横向分别为图像坐标的x,y轴，如图2(a)所示，当图像中像素灰度值小于灰度阈值T_gray时，该像素灰度值被置为0，否则置1，如式(1)所示，其中T_gray表示设定的分割阈值，f(x,y)表示坐标为x,y的图像像素的灰度值，通过上述步骤得到包含瓶口内、外环边缘区域的二值化图像。

1.2重心法进行瓶口粗定位

根据上述所得二值图像计算重心点O'的坐标(X_o'，Y_o')，如式(2)和式(3)所示，其中，N_b、x_m和y_m分别表示灰度值非零的像素点的总数量、第m个非零像素点的x和y坐标，1≤m≤N_b,m∈Z+。

$X_{O^{\′}}=\frac{\underset{m=1}{\overset{N_b}{\Σ}}{x}_m}{N_b}---\left(2\right)$

$Y_{O^{\′}}=\frac{\underset{m=1}{\overset{N_b}{\Σ}}{y}_m}{N_b}---\left(3\right)$

1.3径向扫描获取瓶口边缘点

以上述所得重心O'为圆心，以R_scan为半径，绘制一个圆，该圆被称为扫描圆，如图7所示，其中白色大圆所示，沿顺时针或逆时针方向(本文沿逆时针方向)进行360度的径向扫描，径向扫描从半径末端P_is开始，其中P_is的坐标值X_Pis和Y_Pis值可由式(4)和式(5)得到，其中is表示当前径向扫描次序号，当扫描到三个灰度值跃变点时停止，此跃变点是干扰点或瓶口内、外环边缘点，如果沿着扫描半径方向一直扫描至扫描圆圆心O'位置仍然没有发现灰度值跃变点，则说明该边缘点缺失，当瓶口边缘出现较大裂缝时会出现该情况，其中半径O'P_js的坐标应用Bresenhan的中点线算法获得，总共进行N_scan次径向扫描，相邻两次扫描相差的圆心角Δα＝360/N_scan被称为径向扫描步进角，最终得到N'个边缘点(如图7中白色实心小圆所示，如果瓶口图像完整，则N'＝3*N_scan，如果瓶口图像不完整，则N'<3*N_scan)，定义三个N_scan行两列的数组GroupEdge1(N_scan,2)、GroupEdge2(N_scan,2)、GroupEdge3(N_scan,2)，分三组保存边缘点坐标,其中沿径向扫描时得到的第一、二、三个灰度值跃变点x、y坐标分别保存在数组GroupEdge1、GroupEdge2、GroupEdge3两列中，其中第一和第三个是由0向1跃变的点，第二个为由1向0跃变的点。

X_Pis＝X_o'+R_scancos(Δα*is)(4)

Y_Pis＝Y_o'+R_scansin(Δα*is)(5)

1.4圆拟合进行瓶口精确定位

为使定位方法具有较强抗干扰能力且执行速度快，本文提出一种随机圆评估法，用于实现瓶口边缘的圆检测，主要包括三点随机圆检测、圆拟合度评估和瓶口中心确定三个过程，首先，从上述所得的一组边缘点中随机采样的三个点确定一个圆，定义各边缘点到圆距离小于给定阈值的边缘点的数目与边缘点总数的比值为圆拟合度，提出将圆拟合度作为评估标准搜索最优定位结果的方法，随后，利用多次重复随机圆检测得到大量圆拟合结果并计算对应圆拟合度，以最大圆拟合度对应的圆拟合结果作为瓶口中心，具体流程如图8所示，图中相关参数及初始设定值如表2所示。

表2参数说明

对径向扫描得到的三组边缘点分别应用随机圆评估法，得到三个拟合圆圆心O1、O2和O3，对应半径依次为R1、R2和R3(R1>R2>R3)，依据此拟合结果，以O1为圆心，分别以R1、R2和R3为半径，得到三个同心圆，根据定位误差的大小，增加一个容许度参数R_tol(容许度为瓶口定位误差的1-2倍)，将瓶口分成三个检测区域ROI1、ROI2和ROI3，如图9(a)和(b)所示，(b)是(a)中白色矩形区域的放大图，其中，R1_o、R2_i、R3_o和R3_i的计算公式分别如式(6)-式(9)所示。此三个检测区域主要针对不同类型的瓶口缺陷进行检测：ROI1区域主要检测外环磨损、崩口，ROI2区域主要检测封盖面磨损、破裂和脏污，ROI3区域主要检测内环磨损、崩口。

R1_o＝R1+R_tol(6)

R2_i＝R2-R_tol(7)

R3_o＝R3+R_tol(8)

R3_i＝R3-R_tol(9)

1.5极坐标变换展开瓶口区域

以O1为原点，将上述所得R1_o和R3_i之间的圆环区域依据式(10)和式(11)进行极坐标变换展开，展开后的图像被称之为瓶口目标图像，其分辨率为H_obj*W_obj，H_obj、W_obj分别表示目标图像的高和宽，如图9(c)和(d)所示，(d)是(c)中白色矩形区域的放大图，其中x、y表示图像空间中像素的坐标值，X1、Y1为拟合圆O1的圆心坐标，x_obj、y_obj为目标图像中像素的坐标值，1≤x_obj≤H_obj，1≤y_obj≤W_obj，round()表示对变量取整数操作。

$x=round(X1+(R{1}_o-\frac{R{1}_o-R{3}_i}{H_{obj}}{x}_{obj})cos\left(\frac{2\mathrm{\&pi;}}{W_{obj}}{y}_{obj}\right))---\left(10\right)$

$y=round(Y1+(R{1}_o-\frac{R{1}_o-R{3}_i}{H_{obj}}{x}_{obj})\sin \left(\frac{2\mathrm{\&pi;}}{W_{obj}}{y}_{obj}\right))---\left(11\right)$

2瓶口缺陷检测

本发明提出将经过极坐标变换展开的瓶口目标图像分成三部分：噪声、灰度缓慢变化(是指沿着图像坐标y轴方向的灰度变化情况)部分和灰度剧烈变化部分，其中缓慢变化部分对应于图像黑色背景区域和瓶口边缘亮区域，剧烈变化部分对应于检测目标的边缘和瓶口缺陷区域，通过对目标图像的强烈平滑，能有效滤除噪声和瓶口缺陷区域，但对梯度变化较小的背景区域影响甚小，因此，对平滑前后图像进行差分(该差分值被定义为残差)，能突出瓶口缺陷区域，根据上述原理，提出基于残差分析动态阈值分割的缺陷检测方法。首先，对经过极坐标变换的瓶口区域进行强烈平滑处理，平滑后的瓶口区域与原始瓶口区域进行差分得到残差，形成一个随原始瓶口区域灰度值变化的阈值曲面，用该曲面对瓶口区域进行动态阈值分割；最后，对分割后的二值图像进行区域连通性检测，根据连通区域的高、宽和面积特征进行缺陷识别。

2.1目标图像进行强烈平滑处理

通常图像滤波的目的是在尽量保留图像细节特征的前提下对图像中噪声进行抑制，而本发明对目标图像进行滤波的目的是使干扰、瓶口缺陷区域在滤波前后的灰度值变化尽量大，同时保证背景区域在滤波前后的灰度变化尽可能小，以便在残差中突出缺陷和背景差异，便于分割出缺陷区域。

对于瓶口目标图像，除缺陷区域之外，沿着图像坐标y轴方向，图像灰度值呈缓慢变化趋势，如图10所示，图(a)和(b)分别是完好瓶口和破损瓶口经过极坐标变换展开后的目标图像，其中(A)、(B)、(C)和(D)表示四条扫描直线，(A)和(C)在图像中的横坐标x＝7，(B)和(D)在图像中的横坐标x＝19，图(b)中白色椭圆虚线区域为缺陷区域，沿着扫描直线由左向右扫描对应像素灰度值如图(c)和(d)所示，其中，黑色矩形虚线区域为干扰，其灰度值发生突变，但是所占y坐标范围窄，黑色椭圆虚线区域所在的y坐标与图(b)中缺陷区域的y坐标对应，与在该扫描直线上的大部分区域的灰度值相比，在该区域内的灰度值发生剧烈变化，且所占y坐标范围宽，考虑上述灰度变化特征，采用一个宽为M_w高为M_h的矩形滤波模板进行均值滤波处理，以实现对目标图像强烈平滑，其中M_w保证要比所检测的最宽缺陷区域的宽度值大，且通常为一个较大的奇数，M_h为一个较小的整数，该值一般设定为瓶口定位精度的两倍左右，例如瓶口定位精度为3，则可将M_h设定为5。

在使用模板对图像进行滤波过程中，当滤波器模板部分处于图像边缘之外时，称之为越界，如图11(a)所示，黑色边框的矩形为滤波模板，‘+’为模板中心，为减少越界影响，通常忽略边界像素或保留原边界像素，但是这两种处理方式对残差分析产生不利影响，同时考虑M_w较大而H_w较小，本发明将目标图像最右侧H_obj*(M_w-1)/2的图像复制到左侧，将目标图像最左侧H_obj*(M_w-1)/2的图像复制到右侧，如图(b)所示，形成一幅新的分辨率为H_obj*(M_w-1)的图像。仅对此图像中原来部分进行滤波处理，处理完成后去掉新增区域，得到与原始目标图像尺寸相同的图像，此方法忽略x轴方向越界像素，而对y轴方向越界像素进行补偿。

滤波器模板高度M_h＝5，宽度M_w＝599时，三种不同边界像素处理方式时得到的滤波效果对比如图12所示，图(a)为原始图像，其分辨率为38x1200，图(b)、(c)和(d)分别表示越界时采用忽略、复制和补偿(本发明方法)越界像素得到的滤波结果，图(e)是图(c)和图(d)的差分图像，显然，这三种越界处理方式对中间区域图像没有任何影响，但是，前两种方式会不同程度的削弱边缘区域的平滑效果，给后续图像分割带来不利影响，本发明提出的方法有效解决了这个问题。

2.2平滑前后目标图像求差分得到残差

设目标图像为f(x,y)，均值滤波模板为M，残差为r(x,y)，其表达式如下:

r(x,y)＝f(x,y)-f(x,y)*M(12)

其中，‘*’表示卷积运算符号。影响残差的因素有目标图像本身灰度值的分布和均值滤波模板大小，模板的高度和宽度通过大量实验确定合适值。

(1)不同图像灰度值分布下的残差分析

当图像中背景灰度值较小，检测目标灰度值较大时，目标区域对应残差函数值均为较大的正数；而当图像中背景灰度值较大，检测目标灰度值较小时，背景区域对应的残差为较小的正数，检测目标区域对应的残差为绝对值较大的负数。根据瓶口图像特征将瓶口目标图像分成了三个区域，如图9所示，其中区域ROI1和ROI3主要检测瓶口是否存在崩口和断裂，崩口和断裂都表现为灰度值小的暗区域；区域ROI2主要检测瓶口是否存在磨损和脏污，磨损和脏污均表现为灰度值大的亮区域。上述两种情况下的图像平滑效果和得到的残差图像如图13所示，其中第一行图(a)和(b)为原始图像，他们都是瓶口目标图像的子图像，分辨率为28x50，图(a)中背景灰度值小，检测目标灰度值大，图(b)为背景灰度值大，而检测目标灰度小，图(c)和(d)分别是(a)和(b)经过高M_h为5、宽M_w为39的模板滤波后的图像，图(e)和(f)分别是(a)和(b)得到残差。

(2)不同尺寸均值滤波模板下的残差分析

当模板尺寸小于检测目标尺寸时，滤波处理仅对检测目标边缘产生的平滑效果明显，因此检测目标边缘残差绝对值较大；当模板尺寸略大于检测目标尺寸时，对整个检测目标都有不同程度的平滑作用，平滑效果由边缘向中心逐渐减弱，因此，检测目标中心区域残差绝对值较小；当模板尺寸远远大于检测目标尺寸时，整个检测目标平滑效果相当，且几乎与其他区域的经过平滑后的灰度值相同，因此，整个检测目标的残差绝对值几乎原图像灰度相同，且较上述两种情况时的值要大。上述三种情况下背景区域灰度值变化始终较小，残差绝对值接近零。对于本发明算法，模板高度M_w为一个较小整数，对平滑效果影响小，因此，主要考虑模板宽度变化对残差的影响，将图13(a)作为测试图像，其中白色亮区域的高为7、宽为6，当M_w＝5，M_h逐渐由小变大时，对图像的平滑效果和残差影响如图14所示，其中，图(a)、(b)和(c)分别表示M_w等于3、8、49时的均值滤波结果，(d)、(e)和(f)为对应残差。

2.3对残差进行动态阈值分割获取所有疑似缺陷区域

根据前文所述，对于瓶口目标图像ROI1和ROI3区域而言，将白色区域视为背景区域，其中缺陷表现为暗区域，对应的残差为较大负数，对于ROI2区域而言，将黑色区域视为背景区域，其中缺陷表现为亮区域，对应残差表现为较大的正数，上述两种情况下，背景区域对应的残差值始终较小，设定两个阈值参数T_dark和T_light，对残差分别经两次单独图像分割获得包含疑似缺陷区域的两幅二值图像分别为g_dark(x,y)和g_light(x,y)，则有

其中T_dark为一个值较大的负整数，T_light为一个值较大的正整数，经式(13)和(14)分割得到所有疑似缺陷灰度为1。

对两次分割后图像进行求和，得到一幅包含所有疑似缺陷区域的二值图像g_all(x,y)。

g_all(x,y)＝g_dark(x,y)+g_light(x,y)(15)

2.4区域连通性分析以定位、识别缺陷区域

对残差分割求和后的二值化图像进行连通域分析，获得连通分量，随后，计算连通分量重心位置、最小外接矩形的高、宽以及面积参数，根据重心判断连通分量所在检测区域(ROI1、ROI2和ROI3)，针对每个区域中缺陷高、宽和面积特征，设定不同的长、宽和面积阈值进行瓶口缺陷识别，当连通分量的高、宽和面积大于相关阈值时，则说明该连通分量是瓶口缺陷。

以图2(a)作为输入瓶口图像进行测试，具体步骤如下:

1.全局阈值分割获取瓶口边缘区域

以图像左上角为坐标原点，纵向、横向分别为图像坐标的x,y轴，如图2(a)所示，当图像中像素灰度值小于灰度阈值T_gray＝160时，该像素灰度值被置为0，否则置1，如式(1)所示，所得结果如图3(a)所示。

2.重心法进行瓶口粗定位

根据上述所得二值图像计算重心点O'的坐标(X_o'，Y_o')，如式(2)和式(3)所示，所得重心X_o'＝283，Y_o'＝345，如图3(b)中‘+’所示。

3.径向扫描获取瓶口边缘点

以上述所得重心O'为圆心，以R_scan＝300为半径，总共进行N_scan＝300次径向扫描，径向扫描从半径末端P_is开始，其中P_is的坐标值X_Pis和Y_Pis值可由式(4)和式(5)得到，当扫描到三个灰度值跃变点时停止，此跃变点是干扰点或瓶口内、外环边缘点；扫描步进角Δα＝1.2°，最终一共得到N'＝843个边缘点，如图3(c)所示，分三组保存边缘点坐标，其中沿径向扫描时得到的第一、二、三个灰度值跃变点x、y坐标分别保存在数组GroupEdge1、GroupEdge2、GroupEdge3中，各组边缘点数目分别为285、285和273个。

4.圆拟合进行瓶口精确定位

提出一种随机圆评估法，步骤为：首先，从上述所得的一组边缘点中随机采样的三个点确定一个圆，定义各边缘点到圆距离小于给定阈值的边缘点的数目与边缘点总数的比值为圆拟合度，提出将圆拟合度作为评估标准搜索最优定位结果的方法，随后，利用多次重复随机圆检测得到大量圆拟合结果并计算对应圆拟合度，以最大圆拟合度对应的圆拟合结果作为瓶口中心，具体流程如图8所示，图中相关参数及初始设定值如表2所示。

对数组GroupEdge1、GroupEdge2、GroupEdge3中三组边缘点分别应用随机圆评估法，得到三个拟合圆圆心O1(267,376)、O2(268,378)和O3(269,379)，三个拟合圆半径R1＝141、R2＝137和R3＝113，如图3(d)中三个白色实线圆所示，依据此拟合结果，以O1为圆心，分别以R1、R2和R3为半径，得到三个同心圆，同时考虑定位误差，增加一个容许度参数R_tol＝10后，将瓶口分成三个检测区域ROI1、ROI2和ROI3，如图9(a)和(b)所示，(b)是(a)中白色矩形区域的放大图，根据式(6)-式(9)可得R1_o＝151、R2_i＝127、R3_o＝123和R3_i＝103。

5.极坐标变换展开瓶口区域

以O1为原点，将上述所得R1_o和R3_i之间的圆环区域依据式(10)和式(11)进行极坐标变换展开得到高H_obj＝50、宽W_obj＝1200瓶口目标图像，如图3(e)所示。

6.对目标图像进行强烈平滑处理

对瓶口目标图像进行均值滤波，滤波模板宽度M_w＝1199、高度H_w＝5。在使用模板对图像进行滤波过程中，当滤波器模板部分处于图像边缘之外时，称之为越界，如图11(a)所示，黑色边框的矩形为滤波模板，‘+’为模板中心，为减少越界影响，通常忽略边界像素或保留原边界像素，但是这两种处理方式对残差分析产生不利影响，同时考虑M_w较大而H_w较小，本发明将目标图像最右侧H_obj*(M_w-1)/2的图像复制到左侧，将目标图像最左侧H_obj*(M_w-1)/2的图像复制到右侧，形成一幅新的分辨率为H_obj*(M_w-1)的图像，如图11(b)所示，仅对此图像中原来部分进行滤波处理，处理完成后去掉新增区域，得到与原始目标图像大小相同的平滑后的图像，即忽略x轴方向越界像素，而对y轴方向越界像素进行补偿。经过上述越界处理后所得的图像如图3(f)所示。

7.平滑前后目标图像求差分得到残差

对平滑前后图像差分求残差，所得结果如图3(g)所示。

8.对残差进行动态阈值分割获取所有疑似缺陷区域

根据前文所述，对于瓶口目标图像ROI1和ROI3区域而言，将白色区域视为背景区域，其中缺陷表现为暗区域，对应的残差为较大负数，对于ROI2区域而言，将黑色区域视为背景区域，其中缺陷表现为亮区域，对应残差表现为较大的正数，上述两种情况下，背景区域对应的残差值始终较小，设定两个阈值参数T_dark＝-100和T_light＝140，对残差经两次单独分割后求和，获得一幅包含所有疑似亮缺陷和暗缺陷区域二值图像，如图3(h)中白色区域所示。

9.区域连通性分析以定位、识别缺陷区域

对上述所得二值图像进行连通域分析，获得连通分量，随后，计算连通分量分量重心位置、最小外接矩形的高和宽以及面积参数，根据重心判断连通分量所在检测区域(ROI1、ROI2和ROI3)，针对每个区域中缺陷高、宽和面积特征，设定不同的高、宽和面积阈值进行瓶口缺陷识别，当连通分量的高、宽和面积大于相关阈值时，则说明该连通分量是瓶口缺陷，其中ROI1区域高、宽和面积阈值分别为8、6、16，ROI2区域高、宽和面积阈值分别为2、6、16，ROI3区域高、宽和面积阈值分别为3、6、16，所得检测结果如图3(i)所示，将结果经过反向极坐标变换，求出缺陷在输入瓶口图像中对应的位置，结果如图2(b)所示，显然，在瓶口目标区域中大于高、宽和面积阈值的缺陷区域均被准确的检测出来。

Claims (8)

1.一种残差分析动态阈值分割的瓶口缺陷检测方法，其特征在于，包括以下步骤：

步骤1：获取啤酒瓶口图像；

步骤2：从啤酒瓶口图像中定位瓶口目标区域；

步骤3：对瓶口目标区域进行缺陷检测；

步骤3.1)：对瓶口目标区域图像进行滤波处理；

步骤3.2)：对瓶口目标区域进行滤波前后的图像进行差分处理获得残差图像；

步骤3.3)：对残差图像r(x,y)进行两次阈值分割后求和，得到一幅二值化图像；

对残差图像采用以下公式进行第一次阈值分割：

对残差图像采用以下公式进行第二次阈值分割：

对两次分割后的图像求和，得到一幅包含所有疑似缺陷区域的二值图像g_all(x,y)；

g_all(x,y)＝g_dark(x,y)+g_light(x,y)

其中，T_dark和T_light分别为两次分割阈值，g_dark(x，y)和g_light(x，y)均表示阈值分割所得二值化图像；

步骤3.4)：对残差图像分割求和后所得二值化图像g_all(x,y)进行连通域分析，获得连通分量，计算连通分量的重心位置、最小外接矩形的高、宽以及面积参数；

步骤3.5)根据重心判断连通分量所在的检测区域，根据检测区域中缺陷长、宽和面积特征，设定不同的长、宽和面积阈值进行瓶口缺陷识别，当连通分量的高、宽和面积大于设定阈值时，则说明该连通分量是瓶口缺陷；

所述检测区域包括ROI1、ROI2以及ROI3；

其中，检测区域ROI1是以步骤2中所得瓶口目标区域中心为圆心，以R1_o和R2_i为半径绘制的两个圆之间的圆环区域；

检测区域ROI2是以步骤2中所得瓶口目标区域中心为圆心，以R2_i和R3_o为半径绘制的两个圆之间的圆环区域；

检测区域ROI3是以步骤2中所得瓶口目标区域中心为圆心，以R3_o和R3_i为半径绘制的两个圆之间的圆环区域；

其中，R1_o＝R1+Rtol，R2_i＝R2-Rtol，R3_o＝R3+Rtol，R3_i＝R3-Rtol；

R_tol为容许度，R1、R2及R3为对瓶口目标区域进行径向扫描获得的第一、第二和第三组瓶口边缘点分别进行圆拟合所得到的拟合圆的半径。

2.根据权利要求1所述的方法，其特征在于，所述定位瓶口目标区域的具体步骤如下：

步骤A：对啤酒瓶口图像进行全局阈值分割得到瓶口边缘区域二值化图像；

步骤B：利用重心法对瓶口边缘区域二值化图像进行第一次瓶口定位；

步骤C：以第一瓶口定位后得到的区域重心作为一个扫描圆圆心，设定扫描半径，对步骤A所得瓶口边缘区域二值化图像进行径向扫描，获取啤酒瓶口边缘点；

每次扫描获取三个边缘点，所述三个边缘点是沿着扫描半径由最外端向扫描圆心扫描得的前三个像素灰度值跃变点，其中，第一边缘点和第三个边缘点是由0向1跃变的点，第二个边缘点为由1向0跃变的点；

将每次扫描得到的第一、二和三个像素灰度值跃变点分别存储于第一、二和三个数组中；

步骤D：利用圆拟合算法分别对上述三组边缘点进行圆拟合，对瓶口进行第二次精确定位，以获得瓶口检测区域；

步骤E：以上述第一组边缘点拟合圆圆心为极坐标原点，进行极坐标变换，将瓶口检测区域沿半径切线方向展开，所得图像作为瓶口目标区域，瓶口目标区域图像中像素的直角坐标(x，y)按以下公式获得：

$x=round(X1+(R{1}_o-\frac{R{1}_o-R{3}_i}{H_{obj}}{x}_{obj}\left)cos\right(\frac{2\mathrm{\&pi;}}{W_{obj}}{y}_{obj}\left)\right)$

$y=round(Y1+(R{1}_o-\frac{R{1}_o-R{3}_i}{H_{obj}}{x}_{obj}\left)sin\right(\frac{2\mathrm{\&pi;}}{W_{obj}}{y}_{obj}\left)\right)$

其中，H_obj*W_obj为瓶口目标区域图像的分辨率，H_obj、W_obj分别表示瓶口目标区域图像的高和宽，X1、Y1为残差图像的重心的重心坐标，x_obj、y_obj为瓶口目标区域图像中像素的坐标值，1≤x_obj≤H_obj，1≤y_obj≤W_obj，round()表示对变量取整数操作。

3.根据权利要求2所述的方法，其特征在于，所述步骤D中使用的圆拟合算法具体包括以下几个步骤：

步骤a1：从所得的一组边缘点中随机采样的三个点确定一个圆，定义各边缘点到圆距离小于给定阈值的边缘点的数目与边缘点总数的比值为圆拟合度；

步骤b1：利用多次重复随机圆检测得到大量圆拟合结果并计算对应圆拟合度；

步骤c1：将圆拟合度作为评估标准搜索最优定位结果，以最大圆拟合度对应的结果作为该组边缘点的最终圆拟合结果。

4.根据权利要求1所述的方法，其特征在于，所述径向扫描过程如下：

step1：以区域中心为圆心，以R_scan为半径，绘制一个圆，该圆被称为扫描圆，沿顺时针或逆时针方向进行360度的径向扫描；

step2：径向扫描从半径末端P_is开始，其中P_is的坐标值和值由以下式子得到：

$X_{P_{is}}=X_{o^{\&prime;}}+R_{scan}cos(\mathrm{\&Delta;}\mathrm{\&alpha;}*is)$

$Y_{P_{is}}=Y_{o^{\&prime;}}+R_{scan}sin(\mathrm{\&Delta;}\mathrm{\&alpha;}*is)$

step3：当扫描到三个灰度值跃变点时停止，定义三个N_scan行两列的数组GroupEdge1(N_scan,2)、GroupEdge2(N_scan,2)、GroupEdge3(N_scan,2)，分三组保存边缘点坐标,其中沿径向扫描时得到的第一、二、三个灰度值跃变点x、y坐标分别保存在数组GroupEdge1、GroupEdge2、GroupEdge3中，其中，第一和第三个数组存储0向1跃变的点，第二个数组存储由1向0跃变的点。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述步骤3中步骤3.1)对瓶口目标区域图像进行滤波处理是采用一个宽为M_w高为M_h的矩形滤波模板进行均值滤波处理，其中M_w大于的最宽缺陷区域的宽度值，为一个正奇数，M_h设定为瓶口定位误差的2-3倍。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述步骤3中步骤3.3)T_dark为负整数，T_light为正整数，取决于明暗区域对应的残差大小，经过测试实验后获得。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述步骤3中步骤3.5)R_tol设定为的瓶口定位误差1-2倍，ROI1、ROI2和ROI3区域的长、宽和面积阈值是根据各区域中缺陷长、宽和面积大小来设定的，经过测试实验获得。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述步骤2中步骤E)is表示当前径向扫描的次序号，取值范围为[100，600]。