CN104574398A - 一种基于线扫描相机的装箱香烟滤棒计数系统 - Google Patents

Abstract

本发明公开了一种基于线扫描相机的香烟滤棒计数系统，包括图像采集控制模块1、成像装置2、通信接口3、图像采集卡4及图像处理模块5；所述图像采集控制模块1驱动成像装置2拍摄香烟滤棒图像，所述成像装置2通过通信接口3将香烟滤棒图像传输至图像采集卡4，图像处理模块5对图像采集卡采集的图像进行处理，得到当前图像中香烟滤棒的数量；通过成像装置采集滤棒生产线装箱后的香烟滤棒图像，并采用图像处理模块对香烟滤棒的图像处理，自动计数香烟滤棒的个数。整个系统结构简单，处理速度快，解决了香烟滤棒的在线计数问题，能够应用在香烟滤棒生产环节，实现香烟滤棒的在线自动计数，大大降低工人的劳动强度。

Description

一种基于线扫描相机的装箱香烟滤棒计数系统

技术领域

本发明涉及一种基于线扫描相机的装箱香烟滤棒计数系统。

背景技术

香烟滤棒是香烟的重要组成部分，是香烟过滤嘴的重要原材料。在生产香烟滤棒的企业，通常由一台装箱机将滤棒打包装箱，根据机型的不同分装成3000支/箱或者6000支/箱。目前，对于装箱后滤棒的计数往往采用人工目测或者不检测直接出厂的方式，这种方式人工作业强度大，且检测差异性大。为了保证滤棒生产企业和滤棒使用企业之间利益关系的和谐性，为了大大降低工人的劳动强度，设计一套大幅面装箱香烟滤棒的智能视觉计数系统意义重大。

发明内容

本发明提供了一种基于线扫描相机的装箱香烟滤棒计数系统，其目的在于，克服现有技术中依靠人工对滤棒进行计数，劳动强度大、准确度低且容易出错的问题。

一种基于线扫描相机的装箱香烟滤棒计数系统，包括图像采集控制模块1、成像装置2、通信接口3、图像采集卡4及图像处理模块5；

所述图像采集控制模块1驱动成像装置2拍摄香烟滤棒图像，所述成像装置2通过通信接口3将香烟滤棒图像传输至图像采集卡4，图像处理模块5对图像采集卡采集的图像进行处理，得到当前图像中香烟滤棒的数量，即获得香烟数量；

所述图像处理模块的具体处理过程如下：

步骤1：图像处理模块从图像采集卡获取香烟滤棒的装箱图像；

步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；

步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；

步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1，并将N1作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1]；

其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域；

步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得N_blobs个剩余连通域；

步骤6：计算出每个剩余连通域的面积

其中，为搜寻到的第i个剩余连通域的面积；

步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含滤棒的数目N2，

其中，S_one为单个非标准香烟滤棒成像面积设定值，δ_i为第i个剩余连通域包含滤棒的个数；

步骤8：计算当前装箱图像中包含所有滤棒的总数N＝N1+N2。

所述成像装置包括线扫描相机和光源，所述线扫描相机位于香烟滤棒的正上方。

所述光源发出的光线与香烟滤棒所在平面的法线成60°。

所述图像采集控制模块1为触发控制器。

所述图像处理模块还与显示单元相连。

所述图像处理模块还与执行机构相连。

成像装置2中的线扫描相机8根据触发控制器的控制信号，拍摄香烟滤棒图像，线扫描相机8的信号输出端通过通信接口3与图像采集卡4的信号输入端连接，图像采集卡4的信号输出端与图像处理模块5的信号输入端连接，图像处理模块5的信号输出端与显示单元和执行机构相连，所述执行机构依据输出的计数信号执行相应动作。

有益效果

本发明提供了一种基于线扫描相机的装箱香烟滤棒计数系统，包括图像采集控制模块1、成像装置2、通信接口3、图像采集卡4及图像处理模块5；所述图像采集控制模块1驱动成像装置2拍摄香烟滤棒图像，所述成像装置2通过通信接口3将香烟滤棒图像传输至图像采集卡4，图像处理模块5对图像采集卡采集的图像进行处理，得到当前图像中香烟滤棒的数量；采用通过成像装置采集滤棒生产线生产出的香烟滤棒图像，并采用图像处理模块对香烟滤棒的图像处理，自动计数香烟滤棒的个数。

整个系统结构简单，处理速度快，解决了香烟滤棒的在线计数问题。能够应用在香烟滤棒生产环节，实现香烟滤棒的在线自动计数，保证滤棒生产企业和滤棒使用企业之间利益关系的和谐性，大大降低工人的劳动强度。

附图说明

图1为本发明所述系统的原理结构图；

图2为本发明中成像装置与香烟滤棒的位置关系示意图；

图3线扫描相机捕捉到的实物图像；

图4滤棒计数图像处理算法流程图；

图5限定区域的快速模板匹配算法；

图6经模板匹配后，匹配成功的滤棒区域；

图7模板匹配成功连通域；

图8未匹配成功区域；

图9通过面积法获得的单滤棒区域；

图10通过面积法获得的多滤棒粘连区域。

标号说明：1-图像采集控制模块，2-成像装置，3-通信接口，4-图像采集卡，5-图像处理模块，6-显示单元，7-执行机构，8-线扫描相机，9-光源，10-装箱香烟滤棒。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图1和图2所示，一种基于线扫描相机的装箱香烟滤棒计数系统，包括图像采集控制模块1、成像装置2、通信接口3、图像采集卡4及图像处理模块5；

所述图像采集控制模块1驱动成像装置2拍摄香烟滤棒图像，所述成像装置2通过通信接口3将香烟滤棒图像传输至图像采集卡4，图像处理模块5对图像采集卡采集的图像进行处理，得到当前图像中香烟滤棒的数量，即获得香烟数量；

所述图像处理模块的具体处理过程如下：

步骤1：利用线扫描相机采集香烟滤棒的装箱图像，如图3所示，为线扫描相机采集到的实物图像；

通过线扫描相机采集一帧大幅面图像Image0，图像的宽度W＝4650，图像的高度H＝9216；为保证采集图像中的特征长宽比与实际的长宽比相同，图像采集之前，需要匹配线扫描相机的帧速率与传输带稳定运动的速度，传送带的速度为0.35m/s，保证图像中特征的长宽比与实际物体特征一致；

步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；

步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；

步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1，并将N1作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1]；

其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域，如图7所示；利用每根香烟滤棒的匹配成功率数组，观测匹配情况；

步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，如图8所示；对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得N_blobs个剩余连通域；

步骤6：计算出每个剩余连通域的面积

其中，为搜寻到的第i个剩余连通域的面积；

步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含滤棒的数目N2，

其中，S_one为单个非标准香烟滤棒成像面积设定值，δ_i为第i个剩余连通域包含滤棒的个数；

利用面积计算对未成功匹配的滤棒连通域中所包含的滤棒进行判定，得到未成功匹配的滤棒连通域中包含滤棒的数目，如图9所示；其他则为多滤棒粘连区域，如图10所示；

步骤8：计算当前装箱图像中包含所有滤棒的总数N＝N1+N2；

步骤9：将香烟滤棒第一次匹配成功的数量N1与总数N求商，计算滤棒的装箱质量系数 $\mathrm{\θ}=\frac{N1}{N2+N1}.$

以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。

对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：

所述装箱图像完整性判断过程如下：

步骤1)：装箱图像二值化；

利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：

$\mathrm{Im\; age}1=\left\{\begin{array}{cc}255,& G(x,y)\&GreaterEqual;T1\\ 0,& G(x,y)<T1\end{array}\right.$

其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；

2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；

3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；

保证了连通域Region0中单行或单列像素连续，无间断；

4)获得孔洞填充连通域Region0’的行宽和列宽；

通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；

5)计算箱体的行列宽度比，并判断装箱图像的完整性：

其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。

所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：

连通域Region0包含了箱体成像和过滤嘴成像两部分，而后续算法则以计算过滤嘴数目和圆形度分析为主，因此，首先需要将包装箱边缘从Region0中消除，进一步缩小感兴趣区域，分割后的区域为Region1；

步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；

步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域region2；

目的是尽可能的削减包装箱成像的影响；

步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。

Region3与region1相比，几乎将纸箱区域全部消除；

对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：

$\mathrm{Im\; age}2(x,y)=\left\{\begin{array}{cc}\frac{\mathrm{reion}3(x,y)-T3}{T4-T3},& T3<\mathrm{region}3(x,y)<T4\\ 0,& \mathrm{region}3(x,y)\&le;T3\\ 255,& \mathrm{Pixel}(x,y)\&GreaterEqual;T4\end{array}\right.$

其中，T3为感兴趣区域灰最小度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。

所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：

步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；

步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；

步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。

所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：

步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；

步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x₀,y₀)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S[W,H]，S[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；

如图5所示，模板匹配过程如下：

①令过滤嘴模板圆形模板Model(x₀,y₀)的圆心为O(x₀,y₀)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(x_α,y_α)为多个滤棒连通域上经过模板圆心且的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，Nl＝{1,2,3...36}，即模板所在区域与三十六根直线得到交点的集合M(x_α,y_α,α)；

②分别以圆心为O(x₀,y₀)，r-d和r+d为半径绘制阈值圆C₁、C₂，则两阈值圆C₁、C₂与直线L(α)相交，记阈值圆C₁与L(α)相交处像素的灰度值集合分为C₁(x_α,y_α,α)，记阈值圆C₂与L(α)相交处像素的灰度值集合分别为C₂(x_α,y_α,α)，d为设定距离；

③按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值D_α：

归一化的目的是消除背景亮度变化对边缘的影响；

按以下公式进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，计算出该匹配中心处的模板匹配度γ，其中n为直线L(α)上的三点的归一化亮度梯度值D_α>D_T的直线数量，D_T为亮度梯度设定阈值；

$\mathrm{\&gamma;}=\frac{n}{N-S}$

④据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γ_T，则匹配成功，否则，匹配失败，γ_T为匹配成功设定阈值；

⑤将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S[W,H]中。

如图6所示，为经模板匹配后，匹配成功的滤棒区域。

对匹配矩阵S[W,H]进行重叠区域分析，消除匹配重复区域，进行第二次匹配，具体步骤如下：

①以匹配矩阵S[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；

②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；

若连通域的面积大小在[0.7S_T,1.3S_T]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；S_T单支香烟滤棒截面成像面积的大小；

面积超过1.3S_T的连通区域是由于两个连通区域连接造成的，实验证明，该两连通连接面积大小范围为1.3S_T～2.0S_T。而面积小于0.7S_T的连通域往往是光照不均匀引入的干扰，必须被滤除。

③计算第二次成功匹配的连通域F的重心W_F(x_F,y_F)，重心的计算公式为

(x_i,y_i)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；

④统计第二次匹配成功的连通域个数为N1’，当前装箱图像中包含所有滤棒的总数N＝N1′+N2。

至此，基于模板匹配的滤棒搜索结束，在第二次匹配中，成功搜寻出N1’个香烟滤棒，但是，并不是所有的滤棒均能够成功匹配，极少数被挤压变形的香烟滤棒，其模板匹配度较低，在匹配过程中被滤除，故无法通过模板匹配的方法来实现。

采用模板匹配得到的N1’个香烟滤棒与从未成功匹配的香烟滤棒区域中找到的香烟滤棒数目N2之和作为当前装箱图像中包含所有滤棒的总数，提高了计数的精确度。

成像装置2中的线扫描相机8根据触发控制器的控制信号，拍摄香烟滤棒图像，线扫描相机8的信号输出端通过通信接口3与图像采集卡4的信号输入端连接，图像采集卡4的信号输出端与图像处理模块5的信号输入端连接，图像处理模块5的信号输出端与显示单元和执行机构相连，所述执行机构依据输出的计数信号执行相应动作。

Claims (6)

1.一种基于线扫描相机的装箱香烟滤棒计数系统，其特征在于，包括图像采集控制模块(1)、成像装置(2)、通信接口(3)、图像采集卡(4)及图像处理模块(5)；

所述图像采集控制模块(1)驱动成像装置(2)拍摄香烟滤棒图像，所述成像装置(2)通过通信接口(3)将香烟滤棒图像传输至图像采集卡(4)，图像处理模块(5)对图像采集卡采集的图像进行处理，得到当前图像中香烟滤棒的数量，即获得香烟数量；

所述图像处理模块的具体处理过程如下：

步骤1：图像处理模块从图像采集卡获取香烟滤棒的装箱图像；

步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；

步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；

步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1，并将N1作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1]；

其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域；

步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得N_blobs个剩余连通域；

步骤6：计算出每个剩余连通域的面积

其中，为搜寻到的第i个剩余连通域的面积；

步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含滤棒的数目N2，

其中，S_one为单个非标准香烟滤棒成像面积设定值，δ_i为第i个剩余连通域包含滤棒的个数；

步骤8：计算当前装箱图像中包含所有滤棒的总数N＝N1+N2。

2.根据权利要求1所述的基于线扫描相机的装箱香烟滤棒计数系统，其特征在于，所述成像装置包括线扫描相机和光源，所述线扫描相机位于装箱香烟滤棒的正上方。

3.根据权利要求2所述的基于线扫描相机的装箱香烟滤棒计数系统，其特征在于，所述光源发出的光线与香烟滤棒所在平面的法线成60°。

4.根据权利要求1-3任一项所述的基于线扫描相机的装箱香烟滤棒计数系统，其特征在于，所述图像采集控制模块(1)为触发控制器。

5.根据权利要求1-3任一项所述的基于线扫描相机的装箱香烟滤棒计数系统，其特征在于，所述图像处理模块还与显示单元相连。

6.根据权利要求1-3任一项所述的基于线扫描相机的装箱香烟滤棒计数系统，其特征在于，所述图像处理模块还与执行机构相连。