CN109345513B - 一种具有烟包姿态计算的卷烟包装缺陷检测方法 - Google Patents

Abstract

本发明公开了一种具有烟包姿态计算的卷烟包装缺陷检测方法，包括以下步骤：S1、将合格外观烟包图像输入通过采用HARRIS算法进行烟包特征点识别提取，通过随机树算法进行合格外观烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出合格外观烟包的姿态，利用姿态数据通过反投影变换将待检区域进行图像矫正。本发明进行烟包的姿态计算，大幅度降低由于烟包位置移动或者旋转造成的检测区域图像与比对图像偏移问题，提升缺陷的检出率，同时也降低误检率；用合格外观自学习过程替代复杂的人工设定阈值过程，提升了工作效率。

Description

一种具有烟包姿态计算的卷烟包装缺陷检测方法

技术领域

本发明属于机器视觉检测技术领域，具体是涉及一种具有烟包姿态计算的卷烟包装缺陷检测方法，该方法用于检测卷烟包装生产过程中的外观缺陷，并及时进行剔除。

背景技术

卷烟包装生产过程中由于设备保养、调教、机械故障及人工操作失误等问题，会间断性或连续性的出现外观缺陷，同时生产速度较快，每秒需要检测至少六包以上。目前，在用的外观缺陷检测设备中，大部分采用人工确定固定检测区域，在该检测区域内获取图片信息，将该信息与合格外观图像中该区域图像进行二值化图像相似度匹配，判断该区域是否超过相似度的阈值区间，如果超过则存在缺陷。由于光源衰减、传感器发生轻微位移或者生产速度变化，使得检测区域图像与比对的合格外观图像存在物理偏移和光照变化，降低了匹配的精确性，同时在精确性下降后需要进行相似度阈值调整，且这一过程需反复验证来确定有效性，操作及其不便，适应性差。本发明设计了一种具有烟包姿态计算的卷烟包装缺陷检测方法，替代人工设置阈值环节，同时进行烟包姿态计算使得固定的检测区域随着烟包的位移及旋转变化有更精确的定位，大幅度减少因检测区域与比对图像的物理位移及旋转造成的偏差，提升缺陷的检出率，同时也降低误检率。

发明内容

本发明的目的在于利用合格烟包外观自学习替代人工设置检测阈值的复杂操作，同时通过烟包姿态计算大幅度减少因检测区域与比对图像的物理位移及旋转造成的偏差，提升缺陷的检出率，同时也降低误检率。

为了解决上述的问题本发明的采用的技术以及方法如下：

一种具有烟包姿态计算的卷烟包装缺陷检测方法，包括以下步骤：

S1、将合格外观烟包图像输入通过采用HARRIS算法进行烟包特征点识别提取，通过随机树算法进行合格外观烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出合格外观烟包的姿态，利用姿态数据通过反投影变换将待检区域进行图像矫正；将各检测区域经过矫正后的图片信息进行保存，形成合格外观检测区域图片序列，将该序列中的图像纹理特征进行抽取即成为合格外观模型库；

S2、将待检测烟包图像输入采用HARRIS算法进行烟包特征点识别，通过随机树算法进行待检测烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出待检烟包的姿态，该姿态包含该烟包在X,Y,Z轴上的平移及旋转量，根据估算出的姿态数据通过反投影变换将待检区域进行图像矫正，极大的纠正由于烟包位姿变化引起的匹配区域相似度降低问题；

S3、将步骤S2得到的矫正图像与步骤S1的合格外观模型库进行相似度计算；计算通过得到合格外观烟包；如果计算不通过得出不合格外观烟包进行剔除。

进一步地，所述HARRIS特征点提取：

HARRIS算法受信号处理中自相关函数的启发，给出了与自相关函数相联系的矩阵；矩阵的特征值是自相关函数的一阶曲率，如果在图像中某点的行列曲率值都高，则认为该点是特征点；

HARRIS算法的表达式如下所示：

上式中，g_x为x方向的梯度，g_y为y方向的梯度，

为高斯模板；HARRIS算法的角响应函数如下所示：

R＝det(M)-k×tr(M)² ；

上式中，k为常数；角响应函数的判别准则是：在有角存在的区域为正值，在有边存在的区域为负值，在无变化的区域为很小的值；实际应用时，计算图像窗口中心点的R值，当其大于某一个给定的阈值，则认为该点是角点。

进一步地，所述随机树特征点匹配算法：将训练样本图片先进行HARRIS特征点提取，然后以特征点为中心将其周围32*32像素的图片进行截取，并对该片元进行随机仿射变换，模拟从不同角度和距离上观察此物体，将仿射后的片元放入随机树中，在随机树的每一层节点中随机的获取两个像素点的灰度值，并比较大小，大于落入右节点，小于落入左节点，通过层层比较该片元最终将落在随机树的某个子节点；通过大量训练片元的输入，将会在终端节点上获得片元落入量的一个概率分布，该分布意味着当被测试片元落入该终端节点后，被测片元在多大程度上于某一训练样本片元相似；通过此方法，便可将被测图片特征点与样本图片特征点进行匹配。

进一步地，随机抽样一致性算法表述如下：

Step1:根据给定的置信概率P(一般大于95％)、每次抽样需要的匹配点对个数m(八点法时为8)和误匹配率ε(误匹配数占总匹配对数比例,此值为经验值)，利用式7计算出最小抽样次数M；

Step2:对每次抽样出的8个点对都进行基本矩阵估算，并把所有点对带入估算出来的基本矩阵中，利用Sampson加权算子计算Sampson距离来划分局内点和局外点；记录每个基本矩阵所划分出的局内点数目；

上式为Sampson加权算子，其中(Fm)_i,(Fm')_i分别为3×1向量Fm,Fm'的第i项；

Step3:局内点最多的基本矩阵为最优矩阵，利用最优矩阵中得到的局内点来估算最终的基本矩阵；

Step4:估计出最终基本矩阵之后，再将所有点对带入基本矩阵中，利用Sampson距离对局内点和局外点进行划分，局内点被认为是正确匹配点，局外点为误匹配点。

进一步地，所述最小二乘法进行姿态计算：

当形成合格的匹配点对后，便可利用该点对进行姿态计算；本发明中使用最小二乘法进行姿态计算。图像像素坐标与世界坐标系之间的变换关系如下：

由上式可知，只需知道样本图片与测试图片的特征点匹配点对的坐标和对应的工业相机内参(由工业相机标定后得出)，便可利用最小二乘法估算当前视图的外参(R为旋转参数、T为平移参数)，也即烟包姿态。

进一步地，所述图片相似度计算：采用了平均误差平方和算法计算图像相似度，平均误差平方和算法公式如下：

上式中，M、N为匹配图片像素宽和高，T(s,t)是MxN的模板图像，S为待匹配图像；通过逐点计算平均误差的平方和来计算相似度。

本发明采用HARRIS算法进行烟包特征点识别，通过随机树算法进行待检测烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出待检烟包的姿态，该姿态包含该烟包在X,Y,Z轴上的平移及旋转量，根据估算出的姿态数据通过反投影变换将待检区域进行图像矫正，极大的纠正由于烟包位姿变化引起的匹配区域相似度降低问题。同时，将合格外观烟包通过检测系统，将各检测区域经过矫正后的图片信息进行保存，形成合格外观检测区域图片序列，将该序列中的图像纹理特征进行抽取即成为合格外观模型库，形成该库的过程也即合格外观自学习过程。当检测烟包通过系统时，首先进行烟包姿态计算，之后进行烟包检测区域图像矫正，将矫正图片与合格外观模型库的纹理特征进行逐一匹配，平均匹配相似度高于90％即可认定合格，学习的烟包越多将越精确，一般20包即可达到所需精度，全过程用户只需放置烟包通过检测设备即可完成学习，并无其它任何多余操作，极大降低了使用过程复杂程度。

本发明具有以下有益效果：

1、进行烟包的姿态计算，大幅度降低由于烟包位置移动或者旋转造成的检测区域图像与比对图像偏移问题，提升缺陷的检出率，同时也降低误检率；

2、用合格外观自学习过程替代复杂的人工设定阈值过程，提升了工作效率，且避免设定单一阈值造成的光照变化适应性较差问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1为本发明的原理示意图。

图2为本发明的随机树特征点匹配算法示意图；

图3为本发明随机树特征点匹配算法的概率分布示意图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定；

如图1所示，本发明技术方案一种具有烟包姿态计算的卷烟包装缺陷检测方法包括以下步骤：

S1、将合格外观烟包图像输入通过采用HARRIS算法进行烟包特征点识别提取，通过随机树算法进行合格外观烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出合格外观烟包的姿态，利用姿态数据通过反投影变换将待检区域进行图像矫正；将各检测区域经过矫正后的图片信息进行保存，形成合格外观检测区域图片序列，将该序列中的图像纹理特征进行抽取即成为合格外观模型库；

S2、将待检测烟包图像输入采用HARRIS算法进行烟包特征点识别，通过随机树算法进行待检测烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出待检烟包的姿态，该姿态包含该烟包在X,Y,Z轴上的平移及旋转量，根据估算出的姿态数据通过反投影变换将待检区域进行图像矫正，极大的纠正由于烟包位姿变化引起的匹配区域相似度降低问题；

S3、将步骤S2得到的矫正图像与步骤S1的合格外观模型库进行相似度计算；计算通过得到合格外观烟包；如果计算不通过得出不合格外观烟包进行剔除。

所述HARRIS特征点提取：

HARRIS算法受信号处理中自相关函数的启发，给出了与自相关函数相联系的矩阵；矩阵的特征值是自相关函数的一阶曲率，如果在图像中某点的行列曲率值都高，则认为该点是特征点；

HARRIS算法的表达式如下所示：

上式中，g_x为x方向的梯度，g_y为y方向的梯度，

为高斯模板；HARRIS算法的角响应函数如下所示：

R＝det(M)-k×tr(M)² ；

上式中，k为常数；角响应函数的判别准则是：在有角存在的区域为正值，在有边存在的区域为负值，在无变化的区域为很小的值；实际应用时，计算图像窗口中心点的R值，当其大于某一个给定的阈值，则认为该点是角点。

如图2-3所示，所述随机树特征点匹配算法：将训练样本图片先进行HARRIS特征点提取，然后以特征点为中心将其周围32*32像素的图片进行截取，并对该片元进行随机仿射变换，模拟从不同角度和距离上观察此物体，将仿射后的片元放入随机树中，在随机树的每一层节点中随机的获取两个像素点的灰度值，并比较大小，大于落入右节点，小于落入左节点，通过层层比较该片元最终将落在随机树的某个子节点；通过大量训练片元的输入，将会在终端节点上获得片元落入量的一个概率分布，该分布意味着当被测试片元落入该终端节点后，被测片元在多大程度上于某一训练样本片元相似；通过此方法，便可将被测图片特征点与样本图片特征点进行匹配。

所述随机抽样一致性算法表述如下：

Step1:根据给定的置信概率P(一般大于95％)、每次抽样需要的匹配点对个数m(八点法时为8)和误匹配率ε(误匹配数占总匹配对数比例,此值为经验值)，利用式7计算出最小抽样次数M；

Step2:对每次抽样出的8个点对都进行基本矩阵估算，并把所有点对带入估算出来的基本矩阵中，利用Sampson加权算子计算Sampson距离来划分局内点和局外点；记录每个基本矩阵所划分出的局内点数目；

上式为Sampson加权算子，其中(Fm)_i,(Fm')_i分别为3×1向量Fm,Fm'的第i项；

Step3:局内点最多的基本矩阵为最优矩阵，利用最优矩阵中得到的局内点来估算最终的基本矩阵；

Step4:估计出最终基本矩阵之后，再将所有点对带入基本矩阵中，利用Sampson距离对局内点和局外点进行划分，局内点被认为是正确匹配点，局外点为误匹配点。

所述最小二乘法进行姿态计算：

当形成合格的匹配点对后，便可利用该点对进行姿态计算；本发明中使用最小二乘法进行姿态计算。图像像素坐标与世界坐标系之间的变换关系如下：

由上式可知，只需知道样本图片与测试图片的特征点匹配点对的坐标和对应的工业相机内参(由工业相机标定后得出)，便可利用最小二乘法估算当前视图的外参(R为旋转参数、T为平移参数)，也即烟包姿态。

所述图片相似度计算：采用了平均误差平方和算法计算图像相似度，平均误差平方和算法公式如下：

上式中，M、N为匹配图片像素宽和高，T(s,t)是MxN的模板图像，S为待匹配图像；通过逐点计算平均误差的平方和来计算相似度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (6)

1.一种具有烟包姿态计算的卷烟包装缺陷检测方法，其特征在于，包括以下步骤：

S1、将合格外观烟包图像采用HARRIS算法进行烟包特征点识别提取，通过随机树算法进行合格外观烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出合格外观烟包的姿态，利用姿态数据通过反投影变换将待检区域进行图像矫正；将各检测区域经过矫正后的图片信息进行保存，形成合格外观检测区域图片序列，将该序列中的图像纹理特征进行抽取即成为合格外观模型库；

S2、将待检测烟包图像采用HARRIS算法进行烟包特征点识别，通过随机树算法进行待检测烟包特征点与标准烟包图像特征点的匹配，匹配结果通过随机抽样一致算法剔除误匹配点，匹配点对通过最小二乘法计算出待检烟包的姿态，该姿态包含该烟包在X,Y,Z轴上的平移及旋转量，根据估算出的姿态数据通过反投影变换将待检区域进行图像矫正，极大的纠正由于烟包位姿变化引起的匹配区域相似度降低问题；

S3、将步骤S2得到的矫正图像与步骤S1的合格外观模型库进行相似度计算；计算通过得到合格外观烟包；如果计算不通过得出不合格外观烟包进行剔除。

2.如权利要求1所述的一种具有烟包姿态计算的卷烟包装缺陷检测方法，其特征在于：

所述HARRIS特征点提取：

HARRIS算法受信号处理中自相关函数的启发，给出了与自相关函数相联系的矩阵；矩阵的特征值是自相关函数的一阶曲率，如果在图像中某点的行列曲率值都高，则认为该点是特征点；

HARRIS算法的表达式如下所示：

上式中，g_x为x方向的梯度，g_y为y方向的梯度，

为高斯模板；HARRIS算法的角响应函数如下所示：

R＝det(M)-k×tr(M)²；

上式中，k为常数；角响应函数的判别准则是：在有角存在的区域为正值，在有边存在的区域为负值，在无变化的区域为很小的值；实际应用时，计算图像窗口中心点的R值，当其大于某一个给定的阈值，则认为该点是角点。

3.如权利要求1所述的一种具有烟包姿态计算的卷烟包装缺陷检测方法，其特征在于：所述随机树特征点匹配算法：将训练样本图片先进行HARRIS特征点提取，然后以特征点为中心将其周围32*32像素的图片进行截取，并对片元进行随机仿射变换，模拟从不同角度和距离上观察此物体，将仿射后的片元放入随机树中，在随机树的每一层节点中随机的获取两个像素点的灰度值，并比较大小，大于落入右节点，小于落入左节点，通过层层比较该片元最终将落在随机树的某个子节点；通过大量训练片元的输入，将会在终端节点上获得片元落入量的一个概率分布，该分布意味着当被测试片元落入该终端节点后，被测片元在多大程度上与某一训练样本片元相似；通过此方法，便可将被测图片特征点与样本图片特征点进行匹配。

4.如权利要求1所述的一种具有烟包姿态计算的卷烟包装缺陷检测方法，其特征在于：随机抽样一致性算法表述如下：

Step1:根据给定的置信概率P、每次抽样需要的匹配点对个数m和误匹配率ε，利用式7计算出最小抽样次数M；

1-(1-(1-ε)^m)^M＝P；

Step2:对每次抽样出的8个点对都进行基本矩阵估算，并把所有点对带入估算出来的基本矩阵中，利用Sampson加权算子计算Sampson距离来划分局内点和局外点；记录每个基本矩阵所划分出的局内点数目；

上式为Sampson加权算子，其中(Fm)_i,(Fm')_i分别为3×1向量Fm,Fm'的第i项；

Step3:局内点最多的基本矩阵为最优矩阵，利用最优矩阵中得到的局内点来估算最终的基本矩阵；

Step4:估计出最终基本矩阵之后，再将所有点对带入基本矩阵中，利用Sampson距离对局内点和局外点进行划分，局内点被认为是正确匹配点，局外点为误匹配点。

5.如权利要求1所述的一种具有烟包姿态计算的卷烟包装缺陷检测方法，其特征在于：所述最小二乘法进行姿态计算：

当形成合格的匹配点对后，便可利用该点对进行姿态计算；本发明中使用最小二乘法进行姿态计算，图像像素坐标与世界坐标系之间的变换关系如下：

由上式可知，只需知道样本图片与测试图片的特征点匹配点对的坐标和对应的工业相机内参，便可利用最小二乘法估算当前视图的外参，也即烟包姿态。

6.如权利要求1所述的一种具有烟包姿态计算的卷烟包装缺陷检测方法，其特征在于：所述图片相似度计算：采用了平均误差平方和算法计算图像相似度，平均误差平方和算法公式如下：

上式中，M、N为匹配图片像素宽和高，T(s,t)是MxN的模板图像，S为待匹配图像；通过逐点计算平均误差的平方和来计算相似度。

Images