CN104537671A - 一种基于机器视觉的香烟滤棒在线计数和质量检测方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的香烟滤棒在线计数和质量检测方法，通过利用内拟合圆、外拟合圆限定匹配区域，不仅减小了图像处理区域的大小，提高单次匹配的时间，而且增加了匹配的鲁棒性，包容了过滤棒轻微挤压变形、外形失真等状况，增强了匹配精度；另外，算法中除了主要采用模板匹配方法外，还增加了面积分割等方法，作为过滤棒数目检测的修正补充方法，弥补了模板匹配算法无法覆盖到的区域，即受挤压严重变形的过滤棒的数目检测；最后，通过模板匹配滤棒检出数目和面积分割滤棒检出数目的比例结果，计算出整箱过滤棒的合格率。计数准确度高，重复性、稳定性好，高速、实时在线检测，彻底解决了香烟滤棒过装量造成的诸多弊端。

Description

一种基于机器视觉的香烟滤棒在线计数和质量检测方法

技术领域

本发明涉及一种基于机器视觉的香烟滤棒在线计数和质量检测方法。

背景技术

香烟滤棒是一种用于阻止香烟燃烧过程中产生的煤焦油、尼古丁等有害成分进入人体的过滤层，其可有效降低吸烟产生的要害成分进入人体。目前，香烟滤棒的需求量非常巨大，各烟草集团都设有子专门的公司生产，并直接供给香烟制造公司使用。香烟滤棒交付时常用单箱装量为4000支的纸箱包装，但是，由于滤棒比较柔软，受挤压易发生形变，导致装载时，装量超过正常量，多大4200支。

在香烟过滤嘴装箱过程中常见的三种情况如图1所示，图(a)为标准装箱生成的标准圆形图像，图(b)为过量装箱生成的椭圆形图像，图(c)为欠装箱伸长的孔洞、倾倒图像；其中，图(b)和图(c)对应的香烟滤棒装量超标或过少给制造企业和使用企业都带来了诸多不良的影响：(1)增加成本，超过装量的部分无盈利，白白亏损；(2)滤棒质量得不到保证，多装载的滤棒被挤进箱体内，滤棒间产生挤压，导致变形，影响香烟质量；(3)装量过少不达标，甚至直接无法用于生产，造成整批报废。因此，香烟滤棒生产企业多采用人工点数的方法进行质量控制，但人工需求多、点数速度慢、准确度不高、已产生疲劳昏厥感，无法实现在线实时清点。

发明内容

本发明提出了一种基于机器视觉的过滤嘴滤棒在线计数和质量检测方法，其解决的主要问题在于(1)箱体宽度比较大，采用单一线扫描相机易产生图像模糊和畸变，影响过滤棒的特征提取；(2)过滤棒与过滤棒之间紧密接触，图像中联在一起，造成过滤棒计数误差；(3)滤棒受挤压变形，形状多样，匹配识别难度大的问题。

一种基于机器视觉的香烟滤棒在线计数和质量检测方法，包括以下步骤：

步骤1：利用线扫描相机采集香烟滤棒的装箱图像；

步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；

步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；

步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1′，并将N1′作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1']；

其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域；

步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得N_blobs个剩余连通域；

步骤6：计算出每个剩余连通域的面积

其中，为搜寻到的第i个剩余连通域的面积；

步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含过滤棒的数目N2，

其中，S_one为单个非标准香烟滤棒成像面积设定值，δ_i为第i个剩余连通域包含过滤棒的个数；

步骤8：计算当前装箱图像中包含所有过滤棒的总数N＝N1′+N2；

步骤9：将香烟滤棒第一次匹配成功的数量N1′与总数N求商，计算滤棒的装箱质量系数 $\mathrm{\θ}=\frac{{N1}^{\′}}{N2+{N1}^{\′}}.$

以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。

对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：

所述装箱图像完整性判断过程如下：

步骤1)：装箱图像二值化；

利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：

$\mathrm{Im\; age}1=\left\{\begin{array}{cc}255,& G(x,y)\&GreaterEqual;T1\\ 0,& G(x,y)<T1\end{array}\right.$

其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；

2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；

3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；

保证了连通域Region0中单行或单列像素连续，无间断；

4)获得孔洞填充连通域Region0’的行宽和列宽；

通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；

5)计算箱体的行列宽度比，并判断装箱图像的完整性：

其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。

所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：

连通域Region0包含了箱体成像和过滤嘴成像两部分，而后续算法则以计算过滤嘴数目和圆形度分析为主，因此，首先需要将包装箱边缘从Region0中消除，进一步缩小感兴趣区域，分割后的区域为Region1；

步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；

步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域region2；

目的是尽可能的削减包装箱成像的影响；

步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。

Region3与region1相比，几乎将纸箱区域全部消除；

对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：

$\mathrm{Im\; age}2(x,y)=\left\{\begin{array}{cc}\frac{\mathrm{region}3(x,y)-T3}{T4-T3},& T3<\mathrm{region}3(x,y)<T4\\ 0,& \mathrm{region}3(x,y)\&le;T3\\ 255,& \mathrm{Pixel}(x,y)\&GreaterEqual;T4\end{array}\right.$

其中，T3为感兴趣区域灰最小度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。

所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：

步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；

步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；

步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。

所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：

步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；

步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x₀,y₀)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S[W,H]，S[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；

模板匹配过程如下：

④令过滤嘴模板圆形模板Model(x₀,y₀)的圆心为O(x₀,y₀)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(x_α,y_α)为多个滤棒连通域上经过模板圆心且的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，从1开始取值，Nl＝{1,2,3...36}，即模板所在区域与三十六根直线得到交点的集合M(x_α,y_α,α)；

⑤分别以圆心为O(x₀,y₀)，r-d和r+d为半径绘制阈值圆C₁、C₂，则两阈值圆C₁、C₂与直线L(α)相交，记阈值圆C₁与L(α)相交处像素的灰度值集合分为C₁(x_α,y_α,α)，记阈值圆C₂与L(α)相交处像素的灰度值集合分别为C₂(x_α,y_α,α)，d为设定距离；

⑥按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值D_α：

归一化的目的是消除背景亮度变化对边缘的影响；

④按以下公式进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，计算出该匹配中心处的模板匹配度γ，其中n为直线L(α)上的三点的归一化亮度梯度值D_α>D_T的直线数量，D_T为亮度梯度设定阈值；

$\mathrm{\&gamma;}=\frac{n}{N-S}$

⑤据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γ_T，则匹配成功，否则，匹配失败，γ_T为匹配成功设定阈值；

⑥将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S[W,H]中。

对第一次匹配成功的连通域N1’，进行匹配度计算后，对各像素点的匹配度形成的匹配度矩阵S[W,H]，进行重叠区域分析，消除匹配重复区域，进行第二次匹配，得到香烟滤棒的准确匹配数量N1，则滤棒的装箱质量系数

具体步骤如下：

①以匹配矩阵S[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；

②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；

若连通域的面积大小在[0.7S_T,1.3S_T]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；S_T单支香烟滤棒截面成像面积的大小；

面积超过1.3S_T的连通区域是由于两个连通区域连接造成的，实验证明，该两连通连接面积大小范围为1.3S_T～2.0S_T。而面积小于0.7S_T的连通域往往是光照不均匀引入的干扰，必须被滤除。

③计算第二次成功匹配的连通域F的重心W_F(x_F,y_F)，重心的计算公式为

(x_i,y_i)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；

④统计第二次匹配成功的连通域个数为N1，当前装箱图像中包含所有过滤棒的总数N＝N1+N2。

至此，基于模板匹配的过滤棒搜索结束，在第二次匹配中，成功搜寻出N1个香烟滤棒，但是，并不是所有的过滤棒均能够成功匹配，极少数被挤压变形的香烟滤棒，其模板匹配度较低，在匹配过程中被滤除，故无法通过模板匹配的方法来实现。

有益效果

本发明针对香烟滤棒图像灰阶变化不大，相互之间拼联严重等难题，提出了一种基于模板匹配的图像处理算法，其利用内拟合圆、外拟合圆限定匹配区域，不仅减小了图像处理区域的大小，提高单次匹配的时间，而且增加了匹配的鲁棒性，包容了过滤棒轻微挤压变形、外形失真等状况，增强了匹配精度；另外，算法中除了主要采用模板匹配方法外，还增加了面积分割等方法，作为过滤棒数目检测的修正补充方法，弥补了模板匹配算法无法覆盖到的区域，即受挤压严重变形的过滤棒的数目检测；最后，通过模板匹配滤棒检出数目和面积分割滤棒检出数目的比例结果，计算出整箱过滤棒的合格率。以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。

与现有人工方法相比，该检测算法具有检测精度高、速度快、重复性好等优势，满足现有生产线实时在线检测的需求，稳定可靠。

该算法与现有halcon、visionpro等专业图像软件中相关模板匹配方法比较，速度相当，但算法中采用了过滤棒间粘连区无法寻找边缘的修正，匹配的鲁棒性、精度更高。

附图说明

图1香烟过滤嘴装箱常见三种情况，其中，图(a)为标准装箱—标准圆形，图(b)为过量装箱—椭圆形，图(c)为欠装箱—孔洞、倾倒；

图2基于线扫描相机的视觉解决方案的结构示意图；

图3线扫描相机捕捉到的实物图像；

图4过滤棒计数图像处理算法流程图；

图5限定区域的快速模板匹配算法；

图6经模板匹配后，匹配成功的过滤棒区域；

图7模板匹配成功连通域；

图8未匹配成功区域；

图9通过面积法获得的单过滤棒区域；

图10通过面积法获得的多滤棒粘连区域。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图2所示，为本发明基于线扫描相机的视觉解决方案的结构示意图，其中，相机采用分辨率为4650dpi的线扫描相机，保证了过滤棒细节的高清成像，增加匹配度；镜头为C口Computar镜头，物距为50cm，大物距可以保证线扫中部和两边的成像焦距偏差不大，清晰度一直性好；光源采用CCS高亮聚光线光源，亮度在30000LUX左右，高亮度可以减少曝光时间，提高图像采集速度。

如图4所示，一种基于机器视觉的香烟滤棒在线计数和质量检测方法，包括以下步骤：

步骤1：利用线扫描相机采集香烟滤棒的装箱图像，如图3所示，为线扫描相机捕捉到的实物图像；

通过线扫描相机采集一帧大幅面图像Image0，图像的宽度W＝4650，图像的高度H＝9216；为保证采集图像中的特征长宽比与实际的长宽比相同，图像采集之前，需要匹配线扫描相机的帧速率与传输带稳定运动的速度，传送带的速度为0.35m/s，保证图像中特征的长宽比与实际物体特征一致；

步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；

步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；

步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1′，并将N1′作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1']；

其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域，如图7所示；利用每根香烟滤棒的匹配成功率数组，观测匹配情况；

步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，如图8所示；对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得N_blobs个剩余连通域；

步骤6：计算出每个剩余连通域的面积

其中，为搜寻到的第i个剩余连通域的面积；

步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含过滤棒的数目N2，

其中，S_one为单个非标准香烟滤棒成像面积设定值，δ_i为第i个剩余连通域包含过滤棒的个数；

利用面积计算对未成功匹配的滤棒连通域中所包含的滤棒进行判定，得到未成功匹配的滤棒连通域中包含过滤棒的数目，如图9所示；其他则为多滤棒粘连区域，如图10所示；

步骤8：计算当前装箱图像中包含所有过滤棒的总数N＝N1′+N2；

步骤9：将香烟滤棒第一次匹配成功的数量N1′与总数N求商，计算滤棒的装箱质量系数 $\mathrm{\&theta;}=\frac{{N1}^{\&prime;}}{N2+{N1}^{\&prime;}}.$

以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。

对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：

所述装箱图像完整性判断过程如下：

步骤1)：装箱图像二值化；

利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：

$\mathrm{Im\; age}1=\left\{\begin{array}{cc}255,& G(x,y)\&GreaterEqual;T1\\ 0,& G(x,y)<T1\end{array}\right.$

其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；

2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；

3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；

保证了连通域Region0中单行或单列像素连续，无间断；

4)获得孔洞填充连通域Region0’的行宽和列宽；

通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；

5)计算箱体的行列宽度比，并判断装箱图像的完整性：

其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。

所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：

连通域Region0包含了箱体成像和过滤嘴成像两部分，而后续算法则以计算过滤嘴数目和圆形度分析为主，因此，首先需要将包装箱边缘从Region0中消除，进一步缩小感兴趣区域，分割后的区域为Region1；

步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；

步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域region2；

目的是尽可能的削减包装箱成像的影响；

步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。

Region3与region1相比，几乎将纸箱区域全部消除；

对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：

$\mathrm{Im\; age}2(x,y)=\left\{\begin{array}{cc}\frac{\mathrm{region}3(x,y)-T3}{T4-T3},& T3<\mathrm{region}3(x,y)<T4\\ 0,& \mathrm{region}3(x,y)\&le;T3\\ 255,& \mathrm{Pixel}(x,y)\&GreaterEqual;T4\end{array}\right.$

其中，T3为感兴趣区域灰最小度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。

所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：

步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；

步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；

步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。

所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：

步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；

步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x₀,y₀)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S[W,H]，S[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；

如图5所示，模板匹配过程如下：

①令过滤嘴模板圆形模板Model(x₀,y₀)的圆心为O(x₀,y₀)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(x_α,y_α)为多个滤棒连通域上经过模板圆心且的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，Nl＝{1,2,3...36}，即模板所在区域与三十六根直线得到交点的集合M(x_α,y_α,α)；

②分别以圆心为O(x₀,y₀)，r-d和r+d为半径绘制阈值圆C₁、C₂，则两阈值圆C₁、C₂与直线L(α)相交，记阈值圆C₁与L(α)相交处像素的灰度值集合分为C₁(x_α,y_α,α)，记阈值圆C₂与L(α)相交处像素的灰度值集合分别为C₂(x_α,y_α,α)，d为设定距离；

③按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值D_α：

归一化的目的是消除背景亮度变化对边缘的影响；

按以下公式进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，计算出该匹配中心处的模板匹配度γ，其中n为直线L(α)上的三点的归一化亮度梯度值D_α>D_T的直线数量，D_T为亮度梯度设定阈值；

$\mathrm{\&gamma;}=\frac{n}{N-S}$

④据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γ_T，则匹配成功，否则，匹配失败，γ_T为匹配成功设定阈值；

⑤将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S[W,H]中。

如图6所示，为经模板匹配后，匹配成功的过滤棒区域，但是在匹配结果中，存在重复区域，即单个滤棒区域可能被多次成功匹配。因此，需对匹配矩阵S[W,H]进行重叠区域分析，消除匹配重复区域，进行第二次匹配，具体步骤如下：

①以匹配矩阵S[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；

②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；

若连通域的面积大小在[0.7S_T,1.3S_T]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；S_T单支香烟滤棒截面成像面积的大小；

面积超过1.3S_T的连通区域是由于两个连通区域连接造成的，实验证明，该两连通连接面积大小范围为1.3S_T～2.0S_T。而面积小于0.7S_T的连通域往往是光照不均匀引入的干扰，必须被滤除。

③计算第二次成功匹配的连通域F的重心W_F(x_F,y_F)，重心的计算公式为

(x_i,y_i)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；

④统计第二次匹配成功的连通域个数为N1，当前装箱图像中包含所有过滤棒的总数N＝N1+N2。

至此，基于模板匹配的过滤棒搜索结束，在第二次匹配中，成功搜寻出N1个香烟滤棒，但是，并不是所有的过滤棒均能够成功匹配，极少数被挤压变形的香烟滤棒，其模板匹配度较低，在匹配过程中被滤除，故无法通过模板匹配的方法来实现。

采用模板匹配得到的N1个香烟滤棒与从未成功匹配的香烟滤棒区域中找到的香烟滤棒数目N2之和作为当前装箱图像中包含所有过滤棒的总数，提高了计数的精确度。

Claims (7)

1.一种基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，包括以下步骤：

步骤1：利用线扫描相机采集香烟滤棒的装箱图像；

步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；

步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；

步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1′，并将N1′作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1']；

其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域；

步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得N_blobs个剩余连通域；

步骤6：计算出每个剩余连通域的面积

其中，为搜寻到的第i个剩余连通域的面积；

步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含过滤棒的数目N2，

其中，S_one为单个非标准香烟滤棒成像面积设定值，δ_i为第i个剩余连通域包含过滤棒的个数；

步骤8：计算当前装箱图像中包含所有过滤棒的总数N＝N1′+N2；

步骤9：将香烟滤棒匹配成功的数量N1′与当前装箱图像中包含所有过滤棒的总数N求商，计算滤棒的装箱质量系数

2.根据权利要求1所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：

所述装箱图像完整性判断过程如下：

步骤1)：装箱图像二值化；

利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：

$\mathrm{Image}1=\left\{\begin{array}{cc}255,& G(x,y)\&GreaterEqual;T1\\ 0& G(x,y)<T1\end{array}\right.$

其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；

2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；

3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；

4)获得孔洞填充连通域Region0’的行宽和列宽；

通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；

5)计算箱体的行列宽度比，并判断装箱图像的完整性：

其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。

3.根据权利要求2所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：

步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；

步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域region2；

步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。

4.根据权利要求3所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：

$\mathrm{Image}2(x,y)=\left\{\begin{array}{cc}\frac{\mathrm{region}3(x,y)-T3}{T4-T3},& T3<\mathrm{region}3(x,y)<T4\\ 0,& \mathrm{region}3(x,y)\&le;T3\\ 255,& \mathrm{Pixel}(x,y)\&GreaterEqual;T4\end{array}\right.$

其中，T3为感兴趣区域灰最小度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。

5.根据权利要求1-4任一项所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：

步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；

步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；

步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。

6.根据权利要求1-5任一项所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：

步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；

步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x₀,y₀)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S[W,H]，S[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；

模板匹配过程如下：

①令过滤嘴模板圆形模板Model(x₀,y₀)的圆心为O(x₀,y₀)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(x_α,y_α)为多个滤棒连通域上经过模板圆心且的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，从1开始取值，Nl＝{1,2,3...36}，得到交点的集合M(x_α,y_α,α)；

②分别以圆心为O(x₀,y₀)，r-d和r+d为半径绘制阈值圆C₁、C₂，则两阈值圆C₁、C₂与直线L(α)相交，记阈值圆C₁与L(α)相交处像素的灰度值集合分为C₁(x_α,y_α,α)，记阈值圆C₂与L(α)相交处像素的灰度值集合分别为C₂(x_α,y_α,α)，d为设定距离；

③按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值D_α：

④按以下公式进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，计算出该匹配中心处的模板匹配度γ，其中n为直线L(α)上的三点的归一化亮度梯度值D_α>D_T的直线数量，D_T为亮度梯度设定阈值；

$\mathrm{\&gamma;}=\frac{n}{N-S}$

⑤据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γ_T，则匹配成功，否则，匹配失败，γ_T为匹配成功设定阈值；

⑥将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S[W,H]中。

7.根据权利要求6所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，对第一次匹配成功的连通域N1’，进行匹配度计算后，对各像素点的匹配度形成的匹配度矩阵S[W,H]，进行重叠区域分析，消除匹配重复区域，进行第二次匹配，得到香烟滤棒的准确匹配数量N1，滤棒的装箱质量系数

具体步骤如下：

①以匹配矩阵S[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；

②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；

若连通域的面积大小在[0.7S_T,1.3S_T]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；S_T单支香烟滤棒截面成像面积的大小；

③计算第二次成功匹配的连通域F的重心W_F(x_F,y_F)，重心的计算公式为

(x_i,y_i)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；

④统计第二次匹配成功的连通域个数为N1，当前装箱图像中包含所有过滤棒的总数N＝N1+N2。