CN115311250A - 基于深度学习和时空特征融合的烟支外观检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和时空特征进行融合的烟支外观检测方法，包括捕捉烟支进行180°交换时的若干烟支图像；对所获取的烟支图像进行图像预处理、多重搜索定位，并划分为卷烟纸区域和水松纸区域；并分别确定烟支是否存有缺陷；利用获取烟支图像的连贯性，对前后帧烟支图像的缺陷位置和形状信息进行比对，引入时空特征，判断前后帧烟支图像中存在的缺陷是否为真实缺陷。本发明通过深度学习和时空特征大幅提升了烟支外观缺陷检测的准确度，可应用于烟支表面图案、纹理、字符和颜色的检测，能在烟支卷接过程中实时监测烟支的生产质量情况，解决了传统检测方法检测精度和速度较弱，容易因烟丝飞沫产生误报的问题。

Description

基于深度学习和时空特征融合的烟支外观检测方法

技术领域

本发明涉及图像处理和计算机视觉技术领域，具体涉及一种基于深度学习和时空特征融合的烟支外观检测方法。

背景技术

随着卷烟设备自动化程度不断提高，对卷烟产品质量检测和工艺环节中的质量控制提出了新的要求，烟支表面是卷烟产品缺陷检测的一个重点。但由于原辅材料的差异性以及卷烟机维护保养不到位等众多原因，烟支在生产过程中，时常出现褶皱、刺破、错牙、翘边、污渍、水松纸粘贴不牢、水松纸粘贴歪斜等外观质量缺陷。

传统检测方法依靠人眼检测，但人眼在检查印刷品缺陷受到主观因素影响较大，效率低，反馈慢等特点，不能很好的满足现代化企业大生产的需求。为全面、准确地判别烟支外观质量，目前，公开的一种烟支外观缺陷检测方法及系统(申请号CN202111414530.7)，采用改进后的YOLOv5s网络对烟支图像进行缺陷分析，改进的YOLOv5s网络通过更换激活函数和损失函数的方式提升缺陷检测的准确率。但是，改进的YOLOv5s网络对数据集要求比较高，更适合缺陷样本比较单一的产品。一种基于深度学习的烟支外观缺陷检测方法(申请号CN202010018188.8)，将烟支分为烟嘴段图像、LOGO段图像和烟身段图像三个感兴趣区域，采用VGG16模型对烟支图像三个感兴趣区域的样本集进行训练，但是VGG16网络没有短路连接机制，在检测精度和速度上都不如Resnet18网络模型。

因此，目前使用的烟支外观检测方法适用于样本比较单一的产品，且检测精度和速度都较弱，同时，还存在由于烟丝飞沫产生误报的问题。

发明内容

本发明的目的在于提供一种基于深度学习和时空特征融合的烟支外观检测方法，通过对烟支的卷烟纸区域和水松纸区域分别进行处理，同时引入了多尺度的时空特征，利用图像序列实现了帧间前后烟支缺陷信息的关联标记。以解决上述背景技术中提出的检测精度和速度较弱，且容易因烟丝飞沫产生误报的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度学习和时空特征进行融合的烟支外观检测方法，具体步骤包括：

步骤S100.捕捉烟支进行180°交换时的若干烟支图像，以获取烟支图像数据；

步骤S200.对所获取的烟支图像进行图像预处理；

步骤S300.对预处理后的烟支图像进行多重搜索定位，将烟支图像为卷烟纸区域和水松纸区域；

步骤S400.针对卷烟纸区域的通道建立高低值图像模板，比对待检烟支图像卷烟纸区域的像素值是否超过高低值图像模板的变化范围，确定烟支是否存有缺陷；

步骤S500.针对水松纸区域，采用基于深度学习的烟支外观检测分类模型进行图像缺陷类型分类；

步骤S600.利用获取烟支图像的连贯性，对前后帧烟支图像的缺陷位置和形状信息进行比对，引入时空特征，判断前后帧烟支图像中存在的缺陷是否为真实缺陷，并输出烟支图像及缺陷信息。

进一步地技术方案是：获取所述烟支图像数据的方法为：分别在卷烟机检测轮、剔除轮安装密封的图像检测组件，采集整支烟支360°的外表面全部烟支图像。

进一步地技术方案是：所述图像检测组件包括相机、镜头、LED光源、防尘玻璃和气动元件。

进一步地技术方案是：所述步骤S200中，进行图像预处理至少包括平滑滤波预处理。

进一步地技术方案是：所述步骤S400中，高低值图像模板通过高阈值和低阈值来表示烟支卷烟纸区域灰度值的变化范围。

进一步地技术方案是：所述基于深度学习的烟支外观检测分类模型，具体包括：一个卷积层、一个池化层和四个DwiseResidualBlcok模块，四个DwiseResidualBlcok模块包含两个Depthwise卷积分支，其中一个Depthwise卷积分支包含一个大小为5×5的Depthwise卷积和一个大小为1×1的普通卷积；每个卷积后面都接有一个BatchNorm层和一个ReLU激活函数。

进一步地技术方案是：所述步骤S500中，烟支外观检测分类模型的搭建过程为：

获取不同类型的烟支水松纸区域图像作为烟支图像数据集，对烟支图像数据集中烟支水松纸区域图像进行缺陷位置和类型标注、以及数据增强处理；

以Resnet18网络模型为基础，将烟支长宽比设定为1:4，引入多分尺度卷积核，通过DwiseResidualBlcok模块降低模型参数并获得多尺度信息，以获得改进后的ResNet18网络模型；

将烟支图像数据集输入改进后的ResNet18网络模型进行训练，调整初始学习率，迭代若干次后对学习率进行调整，继续迭代直到收敛。

进一步地技术方案是：所述步骤S600中，对前后帧烟支图像的缺陷位置和形状信息进行比对，以判断前后帧烟支图像中存在的缺陷是否为真实缺陷，具体判断步骤包括：

1).标记出第一帧烟支图像中所检测出的全部缺陷，取第一帧烟支图像全部缺陷的几何中心坐标(x₁，y₁)和形状信息，并记录；

2).标记剩余每帧烟支图像所检测的全部缺陷，取剩余每帧烟支图像全部缺陷的几何中心坐标(x_m，y_n)和形状信息，并将剩余每帧烟支图像与第一帧烟支图像作对比，当几何中心坐标(x₁，y₁)与几何中心坐标(x_m，y_n)存在差异时，判定存有差异的几何中心坐标所对应烟支图像位置为非真实缺陷；

3).比对上一帧烟支图像和当前帧烟支图像，如果上一帧烟支图像和当前帧烟支图像均在几何中心坐标(x_m，y_n)附近检测到缺陷，且上一帧烟支图像和当前帧烟支图像的缺陷形状信息相似度较低，则判断上一帧烟支图像和当前帧烟支图像的缺陷判断为非真实缺陷；如果上一帧烟支图像和当前帧烟支图像均在几何中心坐标(x_m，y_n)检测到缺陷，且上一帧烟支图像和当前帧烟支图像的缺陷形状信息相似度较高，则判断上一帧烟支图像和当前帧烟支图像的缺陷判断为真实缺陷。

与现有技术相比，本发明的有益效果是：

本发明通过深度学习和时空特征大幅提升了烟支外观缺陷检测的准确度，可应用于烟支表面图案、纹理、字符和颜色的检测；其次，能在烟支卷接过程中实时监测烟支的生产质量情况；再次，解决了传统检测方法中需要人工检测的方式，大大降低了人工成本。

附图说明

图1是本发明实施例中烟支外观检测方法的流程图。

图2是本发明实施例中烟支外观检测分类模型网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

一种基于深度学习和时空特征融合的烟支外观检测方法，烟支在鼓轮运转，从检测轮传递到剔除轮时整个烟支表面会进行180°交换，因此，通过对检测轮和剔除轮上的烟支进行图像捕获，根据不同烟支规格，可采集整支烟支接近360°的外表面；然后，通过图像检测系统检测缺陷烟支并处理。在经过系统判断及PLC控制器位移处理后，由机器剔除阀剔除有缺陷的烟支。

具体的，如图1所示，该检测方法包括如下步骤：

步骤S100.分别在卷烟机检测轮、剔除轮安装一组密封的图像检测组件，以捕获烟支在检测轮和剔除轮上进行180°交换时的若干图像，获取烟支图像数据；

本实施例中，每组图像检测组件实现图像数据的采集，包括两套相机、镜头、LED光源、防尘玻璃、气动元件等部件。图像数据通过相机捕获，再通过回调函数传送到图像预处理中进行分析处理。

步骤S200.对所获取的烟支图像进行图像预处理；

本实施例中，由于相机成像曝光时间短，存在一定的高频噪声，导致烟支图像亮度并不一致，存在随机波动，因此需要对图像预处理至少包括进行平滑滤波预处理，以此提高图像信噪比和烟支区域分割精度。

步骤S300.对预处理后的烟支图像进行多重搜索定位，并将烟支图像中的烟支分为卷烟纸区域和水松纸区域；

本实施中，由于烟支在鼓轮上运转时存在空间位置偏差，同时，烟支的原材料等存在工艺波动，导致烟支在采集图像中的空间位置存在上下左右的波动。为了保证检测精度，需要对烟支图像上边缘、下边缘、左边缘、右边缘进行精细搜索定位。

步骤S400.针对烟支图像卷烟纸区域的每个通道建立高低值图像模板，比对待检烟支图像卷烟纸区域的像素值是否超过高低值图像模板的变化范围，确定烟支是否存有缺陷；

本实施例中，首先，针对烟支图像的每个通道建立高低值图像模板，由于烟支个体的差异，用来匹配的模板不是某张标准的样品，而是一定数量的样品的变化范围；如果待检烟支图像的像素值超过高低值图像模板的变化范围，则这些像素所在的区域将被认为有潜在的缺陷，从而判定该烟支为缺陷产品。烟支的卷烟纸区域一般都是浅色，采用高低值图像模板比对的方法检测卷烟纸区域的缺陷，可通过高阈值和低阈值来表示烟支卷烟纸区域灰度值的变化范围。每个像素的变化范围用高、低阈值模板图像表示，高阈值图像模板表示变化范围的上限，低阈值图像模板表示变化范围的下限。

步骤S500.对待检烟支图像水松纸区域采用基于深度学习的分类模型进行图像缺陷类型分类；

本实施例中，如图2所示，基于深度学习的烟支外观检测分类模型，参考Resnet18网络模型，综合考虑工业现场的实时性和准确率要求，结合其他分类模型的优点，对现有Resnet18网络模型进行优化和改进，在保证准确率的同时，实时性也满足现场要求。首先针对烟支长宽比对网络输入大小做了调整，将原先1:1的长宽比变成了现在的1:4，避免产生图像过度形变的现象，严重影响模型分类准确率。由于Resnet残差连接机制，浅层特征可以直接传递到最后线性分类层，对于黑点，刺破等小型缺陷有较好的辨识度。对于油渍，褶皱，烟支长短等尺寸变化较大的缺陷，烟支缺陷占原图比例有着较大差异，参考Inception网络，引入多分尺度卷积核，通过DwiseResidualBlcok模块既降低了模型参数又使模型获得了多尺度信息。

该分类模型主要由一个卷积层，一个池化层和四个DwiseResidualBlcok模块组成，DwiseResidualBlcok模块主要包含两个Depthwise(Dwise)卷积分支，第一个Dwise卷积分支包含一个大小为5×5的Dwise卷积和一个大小为1×1的普通卷积，第二个Dwise卷积分支包含一个大小为3×3的Dwise卷积和一个大小为1×1的普通卷积，每个卷积后面都接了一个BatchNorm(BN)层和一个ReLU激活函数；与VGG网络结构不同的是DwiseResidualBlcok参考BasciBlock模块增加了短路连接机制，卷积可以直接学习残差，并有利于梯度回传，减少梯度消失的现象。

步骤S600.利用获取烟支图像的连贯性，对前后帧烟支图像的缺陷位置和形状信息进行比对，引入时空特征，利用前后帧烟支图像的位置信息和形状信息，判断前后帧烟支图像中存在的缺陷是否为飞沫或真正的缺陷，以增强图像检测的准确性。

利用烟支图像的时空特征(位置、形状不变信息和帧间关联信息)，在一定程度上解决烟丝飞沫遮挡和干扰真正缺陷的问题。若相邻两帧烟支图像在临近范围内均存在缺陷，同时两帧烟支图像的缺陷形状信息相似度较高，则认定该烟支在该位置存在真正缺陷；反之，若两帧烟支图像在该临近范围内不都均存在缺陷，或者两帧烟支图像的缺陷形状信息相似度R(x,y)较低，则认定是烟丝飞沫在空气中运动，并不是真正的缺陷。

进一步的，步骤S500中，基于自建的烟支图像数据集，搭建一种深度学习的分类模型，以对烟支图像的水松纸区域进行分类；主要的分类模型搭建过程为：

5.1、获取烟支水松纸区域的烟支图像数据集，烟支图像数据集包括不同类型的烟支水松纸区域图像；主要分为：正常、污点、褶皱、翘折、爆口五类；对缺陷的位置和类型进行标注；烟支图像数据集包括训练集图像和测试集图像；

5.2、数据增强，对训练集图像、测试集图像分别进行裁切、镜像、旋转、模糊、扭曲、灰度变换，进入5.3；

5.3、改进ResNet18网络模型，针对烟支长宽比对网络输入大小做了调整；模型输入大小为H×W×3的彩色图像，其中H值为56，W值为236。第一个卷积层由64个核大小为7×7的卷积核组成，滑动步长为2，输出大小为

后接一个核大小为2的最大池化层，进一步降低模型计算量，增大感受野；最大池化层输出经过4个DwiseResidualBlcok模块，将4个DwiseResidualBlcok模块分为2个阶段，每个阶段包含2个DwiseResidualBlcok模块，并且输出的宽和高的变为原先的二分之一，通道数变为原先的2倍；然后接一个全局平均池化层和一个线性层，最后网络的输出经过Softmax函数计算输入样本属于某个缺陷或正常的概率。

5.4、将烟支图像数据集输入改进后的ResNet18网络模型训练，

初始学习率调整为0.01，迭代2000次左右把学习率调整为10^-3，继续迭代直到收敛；如果测试集的准确率低于预期准确率时，则调整模型参数、训练集、测试集，然后重复步骤5.4，直至测试集的准确率高于预期的准确率。

更进一步的，步骤S600中，通过烟支前后帧缺陷位置信息和形状信息比对来区分飞沫和真正的缺陷，具体包括如下步骤：

6.1、先在第一帧烟支图像中标记出所有检测出的缺陷(包括飞沫)，取它们的几何中心坐标(x₁，y₁)和形状信息，并记录下来；

6.2、在第二个相机中的下一帧烟支图像继续标记出检测的缺陷(包括飞沫)，并与第一个相机的第一帧烟支图像作对比；直到在坐标(x_m，y_n)在第一个相机的上一帧未检测到缺陷，而在第二个相机的当前帧烟支图像检测到缺陷，或在第一个相机的上一帧烟支图像检测到缺陷，而在第二个相机的当前帧烟支图像未检测到缺陷，就判断为烟丝飞沫干扰；

判别公式为：

其中，

是一个常量，由缺陷或者烟支飞沫的大小决定。

6.3、如果上一帧烟支图像，和当前帧烟支图像均在坐标(x_m，y_n)附近检测到缺陷，而且上一帧烟支图像和当前帧烟支图像的缺陷形状信息相似度较低，则第一个相机的第一帧烟支图像和第二个相机的第二帧烟支图像就判断为烟丝飞沫；

判别公式为：

其中，T表示模板图像，S^x,y表示子图像，R(x,y)表示两帧图像的相似度。

6.4、如果上一帧烟支图像和当前帧烟支图像均在坐标(x_m，y_n)检测到缺陷，而且上一帧烟支图像和当前帧烟支图像的缺陷形状信息相似度较高，则第一个相机的第一帧烟支图像和第二个相机的第二帧烟支图像就判断为缺陷。

本发明通过深度学习和时空特征大幅提升了烟支外观缺陷检测的准确度，可应用于烟支表面图案、纹理、字符和颜色的检测；其次，能在烟支卷接过程中实时监测烟支的生产质量情况；再者，解决了传统检测方法中需要人工检测的方式，大大降低了人工成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，具体步骤包括：

步骤S100.捕捉烟支进行180°交换时的若干烟支图像，以获取烟支图像数据；

步骤S200.对所获取的烟支图像进行图像预处理；

步骤S300.对预处理后的烟支图像进行多重搜索定位，将烟支图像分为卷烟纸区域和水松纸区域；

步骤S400.针对卷烟纸区域建立高低值图像模板，比对待检烟支图像卷烟纸区域的像素值是否超过高低值图像模板的变化范围，确定烟支是否存有缺陷；

步骤S500.针对水松纸区域，采用基于深度学习的烟支外观检测分类模型进行图像缺陷类型分类；

步骤S600.利用获取烟支图像的连贯性，对前后帧烟支图像的缺陷位置和形状信息进行比对，引入时空特征，判断前后帧烟支图像中存在的缺陷是否为真实缺陷，并输出烟支图像及缺陷信息。

2.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，获取所述烟支图像数据的方法为：分别在卷烟机检测轮、剔除轮安装密封的图像检测组件，采集整支烟支360°的外表面全部烟支图像。

3.根据权利要求2所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，所述图像检测组件包括两个相机、镜头、LED光源、防尘玻璃和气动元件。

4.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，所述步骤S200中，进行图像预处理至少包括平滑滤波预处理。

5.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，所述步骤S400中，高低值图像模板通过高阈值和低阈值来表示烟支卷烟纸区域灰度值的变化范围。

6.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，所述基于深度学习的烟支外观检测分类模型，具体包括：一个卷积层、一个池化层和四个DwiseResidualBlcok模块，四个DwiseResidualBlcok模块包含两个Depthwise卷积分支，其中一个Depthwise卷积分支包含一个大小为5×5的Depthwise卷积和一个大小为1×1的普通卷积；每个卷积后面都接有一个BatchNorm层和一个ReLU激活函数。

7.根据权利要求6所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，所述步骤S500中，烟支外观检测分类模型的搭建过程为：

获取不同类型的烟支水松纸区域图像作为烟支图像数据集，对烟支图像数据集中烟支水松纸区域图像进行缺陷位置和类型标注、以及数据增强处理；

以Resnet18网络模型为基础，将烟支长宽比设定为1:4，引入多分尺度卷积核，通过DwiseResidualBlcok模块降低模型参数并获得多尺度信息，以获得改进后的ResNet18网络模型；

将烟支图像数据集输入改进后的ResNet18网络模型进行训练，调整初始学习率，迭代若干次后对学习率进行调整，继续迭代直到收敛。

8.根据权利要求2所述基于深度学习和时空特征融合的烟支外观检测方法，其特征在于，所述步骤S600中，对前后帧烟支图像的缺陷位置和形状信息进行比对，以判断前后帧烟支图像中存在的缺陷是否为真实缺陷，具体判断步骤包括：

1).标记出第一帧烟支图像中所检测出的全部缺陷，取第一帧烟支图像全部缺陷的几何中心坐标(x₁，y₁)和形状信息，并记录；

2).标记剩余每帧烟支图像所检测的全部缺陷，取剩余每帧烟支图像全部缺陷的几何中心坐标(x_m，y_n)和形状信息，并将剩余每帧烟支图像与第一帧烟支图像作对比，当几何中心坐标(x₁，y₁)与几何中心坐标(x_m，y_n)存在差异时，判定存有差异的几何中心坐标所对应烟支图像位置为非真实缺陷；

3).比对上一帧烟支图像和当前帧烟支图像，如果上一帧烟支图像和当前帧烟支图像均在几何中心坐标(x_m，y_n)附近检测到缺陷，且上一帧烟支图像和当前帧烟支图像的缺陷形状信息相似度较低，则判断上一帧烟支图像和当前帧烟支图像的缺陷判断为非真实缺陷；如果上一帧烟支图像和当前帧烟支图像均在几何中心坐标(x_m，y_n)检测到缺陷，且上一帧烟支图像和当前帧烟支图像的缺陷形状信息相似度较高，则判断上一帧烟支图像和当前帧烟支图像的缺陷判断为真实缺陷。

Images