CN111951264B - 一种基于深度学习的卷烟包装异常检测与定位方法 - Google Patents

一种基于深度学习的卷烟包装异常检测与定位方法 Download PDF

Info

Publication number
CN111951264B
CN111951264B CN202010885700.9A CN202010885700A CN111951264B CN 111951264 B CN111951264 B CN 111951264B CN 202010885700 A CN202010885700 A CN 202010885700A CN 111951264 B CN111951264 B CN 111951264B
Authority
CN
China
Prior art keywords
image
self
dual
encoder
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010885700.9A
Other languages
English (en)
Other versions
CN111951264A (zh
Inventor
朱立明
王伟
章强
邱建雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Tobacco Zhejiang Industrial Co Ltd
Original Assignee
China Tobacco Zhejiang Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Tobacco Zhejiang Industrial Co Ltd filed Critical China Tobacco Zhejiang Industrial Co Ltd
Priority to CN202010885700.9A priority Critical patent/CN111951264B/zh
Publication of CN111951264A publication Critical patent/CN111951264A/zh
Application granted granted Critical
Publication of CN111951264B publication Critical patent/CN111951264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的卷烟包装异常检测与定位方法，包括双自编码器模块训练、注意力图生成器模块训练、异常检测与定位三个步骤；其中，所述双自编码器模块学习图像和隐空间之间的相互映射关系，仅使用正常图像进行训练；所述注意力图生成器模块利用真实图像和所述双自编码器模块生成图像的残差生成注意力图，测试时可突出异常区域。通过对所述双自编码器模块得到异常分数值进行阈值判别实现异常检测，并利用所述注意力图生成器模块生成的注意力图实现异常区域定位。本发明能够有效解决异常检测任务中训练样本不均衡的问题，满足高速生产下对产品检测实时性和准确性的双重要求，且对工业生产环境的适应性和鲁棒性强。

Description

一种基于深度学习的卷烟包装异常检测与定位方法
技术领域
本发明涉及一种基于深度学习的卷烟包装异常检测与定位方法，尤其是涉及一种基于卷烟小包透明纸的图像数据，考虑卷烟小包图像数据的不均衡性，构建基于深度学习的RADAE异常检测与定位模型，进行小包透明纸缺陷的检测技术。
背景技术
在卷烟包装环节中，由于卷烟输送歪斜，透明纸质量等问题，会产生透明纸折叠、透明纸破损、透明纸松脱等多种包装缺陷。卷烟包装环节是产品生产的最后一道工序，若不能及时准确的检测到包装异常，会对产品质量产生很大的负面影响，包装异常的产品流入市场，将对卷烟企业信誉度造成极坏的影响。
随着工业4.0的不断推进，卷烟制造工业的自动化水平不断提升，针对卷烟生产中包装异常的问题，利用人工检测的方法已难以适应自动生产下高速度、高精度、低成本的需求，逐渐被机器视觉检测技术所取代。
前人已尝试使用传统的机器视觉检测方法，相继提出了一些针对工业产品生产图像的异常检测方法。总体来说，主要包括传统的图像处理方法和基于手工特征或浅层学习技术的传统机器学习方法。然而，工业生产场景中存在着产品生产速度快、检测的环境复杂等因素，使得传统的机器视觉检测技术在工业生产的应用上存在检测模型参数设置复杂，适应性和鲁棒性差，难以满足工业检测对高精度和实时性的双重要求等问题，这给卷烟包装异常检测和定位带来了很大的挑战。
近年来深度学习的兴起，为工业产品异常检测带来新的思路。深度学习方法基于数据驱动，把特征和学习融合起来形成特征学习，代替了传统机器视觉检测技术中繁琐的图像预处理、特征抽取、特征选择及模型建立和学习的过程。
然而，在卷烟包装图像数据中，异常图像极少，正常图像远多于异常图像。现有的深度学习的异常检测模型往往基于均衡数据所建立，在异常图像非常有限的不均衡数据情况下较难适用。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于深度学习的卷烟包装异常检测与定位方法。
为了实现上述发明目的，本发明采用以下技术方案：
一种基于深度学习的卷烟包装异常检测与定位方法，包括双自编码器模块训练、注意力图生成器模块训练、异常检测与定位三个步骤；
一、所述双自编码器模块训练包括以下步骤：
(1)采集实际工业生产环境下的卷烟包装图像；
(2)构建数据集I，所述数据集I中包括正常图像数据集X＝{x1，x2，…，xi，…，xM}和异常图像数据集Y＝{y1，y2，…，yj，…，yN}，其中xi表示第i张包装正常的图像，yj表示第j张包装异常的图像，正常图像的总数M大于异常图像的总数N；
(3)构建所述双自编码器模块，该步骤通过以下子步骤实现：
(3.1)构建编码器E1和编码器E2；
(3.2)构建解码器D1；
(3.3)将所述编码器E1、所述解码器D1和所述编码器E2依次连接，组成所述双自编码器模块；
(4)训练所述双自编码器模块，该步骤通过以下子步骤实现：
(4.1)初始化所述双自编码器模块中的网络权值，并设定超参数，所述超参数包括迭代次数、批次值、学习率和动量；
(4.2)将所述数据集I中正常图像数据集X作为所述双自编码器模块的训练数据集；
(4.3)对所述正常图像数据集X进行随机采样，获得此轮训练的一批正常图像样本；
(4.4)将所述正常图像样本x输入双自编码器模块中，得到潜在特征E1(x)、生成图像D1(E1(x))和生成特征E2(D1(E1(x))，计算加权重建损失
Figure BDA0002655504090000021
具体子步骤包括如下：
(4.4.1)根据所述真实图像x和所述生成图像D1(E1(x))，计算图像重建损失
Figure BDA0002655504090000022
定义为公式(1)
Figure BDA0002655504090000023
(4.4.2)根据所述潜在特征E1(x)和所述生成特征E2(D1(E1(x))，计算特征重建损失
Figure BDA0002655504090000024
定义为公式(2)
Figure BDA0002655504090000025
(4.4.3)根据所述图像重建损失
Figure BDA0002655504090000026
和所述特征重建损失
Figure BDA0002655504090000027
计算加权重建损失
Figure BDA0002655504090000028
定义为公式(3)
Figure BDA0002655504090000031
其中wx和wz为加权权重系数，wx，wz∈[0，1]且wx+wz＝1
(4.5)根据步骤(4.4)得到的所述双自编码器模块的所述加权重建损失，采用自适应矩估计(Adam)优化器更新所述双自编码器的网络权值；
(4.6)判断是否达到设定迭代次数，若是，则执行(4.7)步骤，若否，则返回(4.3)步骤进行下一次迭代；
(4.7)保存RADAE模型双自编码器模块中的参数以及训练好的网络权值；
二、所述注意力图生成器模块训练包括以下步骤：
(1)冻结并加载训练好的RADAE算法模型中的所述双自编码器模块；
(2)构建所述注意力图生成器模块GA：所述注意力图生成器模块的输入为所述双自编码器得到的所述真实图像x和所述生成图像D1(E1(x))之间的残差；输出为所述注意力图Amap；
(3)训练所述注意力图生成器模块，该步骤通过以下子步骤实现：
(3.1)初始化所述注意力图生成器模块中的网络权值，并设定迭代次数、批次值、学习率和动量等参数；
(3.2)将所述数据集I中正常图像数据集X作为所述双自编码器模块的训练数据集；
(3.3)对所述正常图像数据集X进行随机采样，获得此轮训练的一批正常图像样本；
(3.4)将所述真实图像x输入所述双自编码器模块，将所述双自编码器模块得到的所述真实图像x和所述生成图像D1(E1(x))之间的残差输入所述注意力图生成器模块，输出为所述注意力图Amap；
(3.5)根据所述注意力图Amap计算注意力损失
Figure BDA0002655504090000032
定义为公式(4)，其中Ai，j∈[0，1]是Amap的(i，j)元素；
Figure BDA0002655504090000033
(3.6)根据步骤(3.5)得到的所述注意力图生成器模块的所述注意力损失
Figure BDA0002655504090000034
采用自适应矩估计(Adam)优化器更新所述注意力图生成器的网络权值；
(3.7)判断是否达到设定迭代次数，若是，则执行(3.8)步骤，若否，则返回(3.3)步骤进行下一次迭代；
(3.8)保存RADAE模型注意力图生成器模块中的参数以及训练好的网络权值；
三、所述异常检测与定位包括以下步骤：
(1)加载训练好的RADAE算法模型，包括所述双自编码器模块和所述注意力图生成器模块；
(2)对待检测图像进行预处理，得到测试集T；
(3)将所述测试集T中的测试图像x输入所述双自编码器模块，得到潜在特征E1(x)、生成图像D1(E1(x))和生成特征E2(D1(E1(x))
(4)根据所述潜在特征E1(x)和生成特征E2(D1(E1(x))，计算异常判别得分SA，定义为公式(5)
SA＝∑||E1(x)-E2(D1(E1(x))||1 (5)
(5)判别所述异常判别得分是否大于设定阈值，若是，则判断为异常图像xa；否则，则判断为正常图像xn；
(6)将所述判别为异常的图像xa和对应的生成图像D1(E1(xa))之间的残差输入所述注意力图生成器模块，输出为注意力图Amap；
(7)根据所述注意力图Amap，将灰度图使用彩色映射方法映射为彩色热图，实现异常区域的定位和可视化；
(8)保存异常检测与定位的结果。
作为优选方案：所述构建数据集I，对卷烟包装图像进行预处理步骤，具体子步骤包括如下：
(2.1)对所述卷烟包装图像进行裁剪，去除背景区域，获得待检测区域图像；
(2.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得128×128×1的图像数据；(2.3)判断所述128×128×1的图像数据是否出现包装异常情况：若是，则判定为异常图像，若否，则判定为正常图像。所有所述图像数据构成数据集I。
作为优选方案：所述编码器E1和所述编码器E2具有相同结构，包含4个残差块，每个残差块由两个3×3卷积核的卷积层组成，激活函数为leaky Relu。
作为优选方案：所述解码器D1包含4个残差块，每个残差块由两个3×3卷积核的卷积层组成，激活函数为Relu。
作为优选方案：所述注意力图生成器模块由收缩路径和扩张路径组成，收缩路径通过3×3卷积，ReLU激活函数，步长2的2×2最大池化操作的4次组合使用实现下采样；扩展路径包括4个2×2反卷积操作，以及最后的1×1卷积和sigmoid函数。
本发明公开了一种基于深度学习的卷烟包装异常检测与定位方法，通过设计并搭建RADAE算法模型以实现卷烟包装异常的检测与定位。所述RADAE算法模型包括双自编码器模块和注意力图生成器模块。其中，所述双自编码器模块学习图像和隐空间之间的相互映射关系，仅使用正常图像进行训练；所述注意力图生成器模块利用真实图像和所述双自编码器模块生成图像的残差生成注意力图，测试时可突出异常区域。所述RADAE算法通过对所述双自编码器模块得到异常分数值进行阈值判别实现异常检测，并利用所述注意力图生成器模块生成的注意力图实现异常区域定位。本发明能够有效解决异常检测任务中训练样本不均衡的问题，满足高速生产下对产品检测实时性和准确性的双重要求，且对工业生产环境的适应性和鲁棒性强。
本发明针对卷烟厂包装异常检测与定位这一典型的高速度、环境复杂的工业产品生产检测环节提出了一种基于深度学习的卷烟包装异常检测与定位检测方法。该方法考虑到卷烟包装图像数据的不均衡性，构建了基于深度学习的RADAE异常检测与定位模型，仅使用正常图像样本进行模型训练。结合双自编码器模块和注意力图生成器模块，定义了异常检测与定位实现方法，能够通过判断待检测图像的异常分数是否大于设定的异常判别阈值实现异常图像的检测，并通过生成的注意力图实现异常区域的定位，满足高速生产下对产品检测实时性和准确性的双重要求，对工业生产环境的适应性和鲁棒性强。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。
图1是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型示意图；
图2是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中双自编码器模块示意图；
图3是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中双自编码器模块训练过程流程图；
图4是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中双自编码器模块中编码器的结构图；
图5是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中双自编码器模块中解码器的结构图；
图6是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中注意力图生成器模块示意图；
图7是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中注意力图生成器模块训练过程流程图；
图8是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中注意力图生成器模块结构图；
图9是本发明一种基于深度学习的卷烟包装异常检测与定位方法所使用的RADAE模型中异常检测与定位流程图；
图10是本发明一种基于深度学习的卷烟包装异常检测与定位方法实验结果示意图，列出异常图像的实验结果，其中第一行表示待检测图像，第二行表示注意力图实现异常定位的结果。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明以某卷烟厂某品牌卷烟生产中卷烟包装图像为例，该异常检测与定位任务要求模型检测速度小于30ms，即每秒需要处理33张以上的图像，且检测精度保持在90％以上，即误报率应小于10％。
如图1至图10所示，本发明是一种基于深度学习的卷烟包装异常检测与定位方法，该方法通过构建RADAE算法模型实现卷烟包装图像异常检测与定位。如图1所示，所述异常检测与定位模型包括双自编码器模块和注意力图生成器模块。如图2所示，所述双自编码器模块为一个编码-解码-编码网络，学习图像和隐空间之间的相互映射关系，仅使用正常图像进行训练；如图6所示，所述注意力图生成器模块利用输入图像和所述双自编码器模块生成图像的残差生成注意力图，均匀关注正常样本中的所有区域；在进行异常检测与定位时，如图9所示，利用所述双自编码器模块得到异常分数值，通过阈值判别实现异常检测，并利用注意力图生成器模块生成的注意力图实现异常区域定位。
如图3所示，所述双自编码器模块训练包括以下步骤：
(1)采集实际工业生产环境下的卷烟包装图像。
(2)构建数据集I，该步骤通过以下子步骤实现：
(2.1)对卷烟包装图像进行预处理步骤，具体子步骤包括如下：
(2.1.1)对所述卷烟包装图像进行裁剪，去除背景区域，获得待检测区域图像。
(2.1.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得128×128×1的图像数据。
(2.1.3)判断所述128×128×1的图像数据是否出现包装异常情况：若是，则判定为异常图像，若否，则判定为正常图像。所有所述图像数据构成数据集I。
(2.1.4)所述数据集I中包括正常图像数据集X＝{x1，x2，…，xi，…，xM}和异常图像数据集Y＝{y1，y2，…，yj，…，yN}，其中xi表示第i张包装正常的图像，yj表示第j张包装异常的图像，正常图像的总数M大于异常图像的总数N。
(3)构建所述双自编码器模块，该步骤通过以下子步骤实现：
(3.1)构建编码器E1和编码器E2：如图4所示，所述编码器E1和所述编码器E2具有相同结构，包含4个残差块，每个残差块由两个3×3卷积核的卷积层组成，激活函数为leakyRelu。。
(3.2)构建解码器D1：如图5所示，所述解码器D1包含4个残差块，每个残差块由两个3×3卷积核的卷积层组成，激活函数为Relu。
(3.3)将所述编码器E1、所述解码器D1和所述编码器E2依次连接，组成所述双自编码器模块。
(4)训练所述双自编码器模块，该步骤通过以下子步骤实现：
(4.1)初始化所述双自编码器模块中的网络权值，并设定迭代次数、批次值、学习率和动量等超参数。
(4.2)将所述数据集I中正常图像数据集X作为所述双自编码器模块的训练数据集。
(4.3)对所述正常图像数据集X进行随机采样，获得此轮训练的一批正常图像样本。
(4.4)将所述正常图像样本x输入双自编码器模块中，得到潜在特征E1(x)、生成图像D1(E1(x))和生成特征E2(D1(E1(x))，计算加权重建损失
Figure BDA0002655504090000071
具体子步骤包括如下：
(4.4.1)根据所述真实图像x和所述生成图像D1(E1(x))，计算图像重建损失
Figure BDA0002655504090000072
定义为公式(1)
Figure BDA0002655504090000073
(4.4.2)根据所述潜在特征E1(x)和所述生成特征E2(D1(E1(x))，计算特征重建损失
Figure BDA0002655504090000074
定义为公式(2)
Figure BDA0002655504090000075
(4.4.3)根据所述图像重建损失
Figure BDA0002655504090000076
和所述特征重建损失
Figure BDA0002655504090000077
计算加权重建损失
Figure BDA0002655504090000078
定义为公式(3)
Figure BDA0002655504090000081
其中wx和wz为加权权重系数，wx，wz∈[0，1]且wx+wz＝1。
(4.5)根据步骤(4.4)得到的所述双自编码器模块的所述加权重建损失，采用自适应矩估计(Adam)优化器更新所述双自编码器的网络权值。
(4.6)判断是否达到设定迭代次数，若是，则执行(4.7)步骤，若否，则返回(4.3)步骤进行下一次迭代。
(4.7)保存RADAE模型双自编码器模块中的参数以及训练好的网络权值。
如图7所示，所述注意力图生成器模块训练包括以下步骤：
(1)冻结并加载训练好的RADAE算法模型中的所述双自编码器模块。
(2)构建所述注意力图生成器模块GA：如图6所示，所述注意力图生成器模块的输入为所述双自编码器得到的所述真实图像x和所述生成图像D1(E1(x))之间的残差。如图8所示所述注意力图生成器模块由收缩路径和扩张路径组成，收缩路径通过3×3卷积，ReLU激活函数，步长2的2×2最大池化操作的4次组合使用实现下采样；扩展路径包括4个2×2反卷积操作，以及最后的1×1卷积和sigmoid函数，输出为所述注意力图Amap。
(3)训练所述注意力图生成器模块，该步骤通过以下子步骤实现：
(3.1)初始化所述注意力图生成器模块中的网络权值，并设定迭代次数、批次值、学习率和动量等参数。
(3.2)将所述数据集I中正常图像数据集X作为所述双自编码器模块的训练数据集。
(3.3)对所述正常图像数据集X进行随机采样，获得此轮训练的一批正常图像样本。
(3.4)将所述正常图像x输入所述双自编码器模块，将所述双自编码器模块得到的所述真实图像x和所述生成图像D1(E1(x))之间的残差输入所述注意力图生成器模块，输出为所述注意力图Amap。
(3.5)根据所述注意力图Amap计算注意力损失
Figure BDA0002655504090000082
定义为公式(4)，其中Ai，j∈[0，1]是Amap的(i，j)元素。
Figure BDA0002655504090000083
(3.6)根据步骤(3.5)得到的所述注意力图生成器模块的所述注意力损失
Figure BDA0002655504090000084
采用自适应矩估计(Adam)优化器更新所述注意力图生成器的网络权值。
(3.7)判断是否达到设定迭代次数，若是，则执行(3.8)步骤，若否，则返回(3.3)步骤进行下一次迭代。
(3.8)保存RADAE模型注意力图生成器模块中的参数以及训练好的网络权值。
如图9所示，所述异常检测与定位模块构建的过程如下：
(1)加载训练好的RADAE算法模型，包括所述双自编码器模块和所述注意力图生成器模块。
(2)对待检测图像进行预处理，得到测试集T，该步骤通过如下子步骤实现：
(2.1)对所述待检测的图像检测关键区域进行裁剪，去除背景，获得待检测区域图像。
(2.2)对所述待检测区域图像进行灰度化处理，并缩放为128×128的图像数据。
(2.3)所有所述图像数据构成测试集T。
(3)将所述测试集T中的测试图像x输入所述双自编码器模块，得到潜在特征E1(x)、生成图像D1(E1(x))和生成特征E2(D1(E1(x))
(4)根据所述潜在特征E1(x)和生成特征E2(D1(E1(x))，计算异常判别得分SA，定义为公式(5)
SA＝∑||E1(x)-E2(D1(E1(x))||1 (5)
(5)判别所述异常判别得分是否大于设定阈值，若是，则判断为异常图像xa；否则，则判断为正常图像xn。
(6)将所述判别为异常的图像xa和对应的生成图像D1(E1(xa))之间的残差输入所述注意力图生成器模块，输出为注意力图Amap。
(7)根据所述注意力图Amap，将灰度图使用彩色映射方法映射为彩色热图，实现异常区域的定位和可视化。
(8)保存异常检测与定位的结果。
本发明中选择的实际案例是某卷烟厂某品牌卷烟生产中卷烟包装环节的异常检测和定位。图10列出了部分异常图像的检测结果，第一行为输入模型的异常图像，第二行为生成的注意力图，可以看到异常区域通过彩色热图体现，可以实现异常区域的定位。
表1列出了RADAE模型的异常检测性能详细的测试结果。
表1 RADAE模型的异常检测性能
数据集 精度 检测速度 FPS
卷烟包装数据集 98％ 1.59ms 630
本发明方法的异常检测与定位的优越性体现在仅使用正常图像训练异常检测模型，解决了深度学习模型训练中样本不均衡的问题，并满足卷烟厂高速生产下对卷烟包装异常检测与定位的实时性和准确性的双重要求，对工业生产环境的适应性和鲁棒性强。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于深度学习的卷烟包装异常检测与定位方法，其特征在于：包括双自编码器模块训练、注意力图生成器模块训练、异常检测与定位三个步骤；
一、所述双自编码器模块训练包括以下步骤：
(1)采集实际工业生产环境下的卷烟包装图像；
(2)构建数据集I，所述数据集I中包括正常图像数据集X＝{x1，x2，…，xi，…，xM}和异常图像数据集Y＝{y1，y2，…，yj，…，yN}，其中xi表示第i张包装正常的图像，yj表示第j张包装异常的图像，正常图像的总数M大于异常图像的总数N；
(3)构建所述双自编码器模块，该步骤通过以下子步骤实现：
(3.1)构建编码器E1和编码器E2；
(3.2)构建解码器D1；
(3.3)将所述编码器E1、所述解码器D1和所述编码器E2依次连接，组成所述双自编码器模块；
(4)训练所述双自编码器模块，该步骤通过以下子步骤实现：
(4.1)初始化所述双自编码器模块中的网络权值，并设定超参数，所述超参数包括迭代次数、批次值、学习率和动量；
(4.2)将所述数据集I中正常图像数据集X作为所述双自编码器模块的训练数据集；
(4.3)对所述正常图像数据集X进行随机采样，获得此轮训练的一批正常图像样本；
(4.4)将所述正常图像样本x输入双自编码器模块中，得到潜在特征E1(x)、生成图像D1(E1(x))和生成特征E2(D1(E1(x))，计算加权重建损失
Figure FDA0002655504080000014
具体子步骤包括如下：
(4.4.1)根据所述真实图像x和所述生成图像D1(E1(x))，计算图像重建损失
Figure FDA0002655504080000011
定义为公式(1)
Figure FDA0002655504080000012
(4.4.2)根据所述潜在特征E1(x)和所述生成特征E2(D1(E1(x))，计算特征重建损失
Figure FDA0002655504080000013
定义为公式(2)
Figure FDA0002655504080000021
(4.4.3)根据所述图像重建损失
Figure FDA0002655504080000022
和所述特征重建损失
Figure FDA0002655504080000023
计算加权重建损失
Figure FDA0002655504080000024
定义为公式(3)
Figure FDA0002655504080000025
其中wx和wz为加权权重系数，wx，wz∈[0，1]且wx+wz＝1
(4.5)根据步骤(4.4)得到的所述双自编码器模块的所述加权重建损失，采用自适应矩估计(Adam)优化器更新所述双自编码器的网络权值；
(4.6)判断是否达到设定迭代次数，若是，则执行(4.7)步骤，若否，则返回(4.3)步骤进行下一次迭代；
(4.7)保存RADAE模型双自编码器模块中的参数以及训练好的网络权值；
二、所述注意力图生成器模块训练包括以下步骤：
(1)冻结并加载训练好的RADAE算法模型中的所述双自编码器模块；
(2)构建所述注意力图生成器模块GA：所述注意力图生成器模块的输入为所述双自编码器得到的所述真实图像x和所述生成图像D1(E1(x))之间的残差；输出为所述注意力图Amap；
(3)训练所述注意力图生成器模块，该步骤通过以下子步骤实现：
(3.1)初始化所述注意力图生成器模块中的网络权值，并设定迭代次数、批次值、学习率和动量等参数；
(3.2)将所述数据集I中正常图像数据集X作为所述双自编码器模块的训练数据集；
(3.3)对所述正常图像数据集X进行随机采样，获得此轮训练的一批正常图像样本；
(3.4)将所述真实图像x输入所述双自编码器模块，将所述双自编码器模块得到的所述真实图像x和所述生成图像D1(E1(x))之间的残差输入所述注意力图生成器模块，输出为所述注意力图Amap；
(3.5)根据所述注意力图Amap计算注意力损失
Figure FDA0002655504080000026
定义为公式(4)，其中Ai，j∈[0，1]是Amap的(i，j)元素；
Figure FDA0002655504080000027
(3.6)根据步骤(3.5)得到的所述注意力图生成器模块的所述注意力损失
Figure FDA0002655504080000031
采用自适应矩估计(Adam)优化器更新所述注意力图生成器的网络权值；
(3.7)判断是否达到设定迭代次数，若是，则执行(3.8)步骤，若否，则返回(3.3)步骤进行下一次迭代；
(3.8)保存RADAE模型注意力图生成器模块中的参数以及训练好的网络权值；
三、所述异常检测与定位包括以下步骤：
(1)加载训练好的RADAE算法模型，包括所述双自编码器模块和所述注意力图生成器模块；
(2)对待检测图像进行预处理，得到测试集T；
(3)将所述测试集T中的测试图像x输入所述双自编码器模块，得到潜在特征E1(x)、生成图像D1(E1(x))和生成特征E2(D1(E1(x))
(4)根据所述潜在特征E1(x)和生成特征E2(D1(E1(x))，计算异常判别得分SA，定义为公式(5)
SA＝∑||E1(x)-E2(D1(E1(x))||1 (5)
(5)判别所述异常判别得分是否大于设定阈值，若是，则判断为异常图像xa；否则，则判断为正常图像xa；
(6)将所述判别为异常的图像xa和对应的生成图像D1(E1(xa))之间的残差输入所述注意力图生成器模块，输出为注意力图Amap；
(7)根据所述注意力图Amap，将灰度图使用彩色映射方法映射为彩色热图，实现异常区域的定位和可视化；
(8)保存异常检测与定位的结果。
2.根据权利要求1所述的一种基于深度学习的卷烟包装异常检测与定位方法，其特征在于：所述构建数据集I，对卷烟包装图像进行预处理步骤，具体子步骤包括如下：
(1)对所述卷烟包装图像进行裁剪，去除背景区域，获得待检测区域图像；
(2)对所述待检测区域图像进行灰度变换和尺寸变换，获得128×128×1的图像数据；
(3)判断所述128×128×1的图像数据是否出现包装异常情况：若是，则判定为异常图像，若否，则判定为正常图像， 所有所述图像数据构成数据集I。
3.根据权利要求1所述的一种基于深度学习的卷烟包装异常检测与定位方法，其特征在于：所述编码器E1和所述编码器E2具有相同结构，包含4个残差块，每个残差块由两个3×3卷积核的卷积层组成，激活函数为leaky Relu。
4.根据权利要求1所述的一种基于深度学习的卷烟包装异常检测与定位方法，其特征在于：所述解码器D1包含4个残差块，每个残差块由两个3×3卷积核的卷积层组成，激活函数为Relu。
5.根据权利要求1所述的一种基于深度学习的卷烟包装异常检测与定位方法，其特征在于：所述注意力图生成器模块由收缩路径和扩张路径组成，收缩路径通过3×3卷积，ReLU激活函数，步长2的2×2最大池化操作的4次组合使用实现下采样；扩展路径包括4个2×2反卷积操作，以及最后的1×1卷积和sigmoid函数。
6.根据权利要求1所述的一种基于深度学习的卷烟包装异常检测与定位方法，其特征在于：对待检测图像进行预处理，得到测试集T，该步骤通过如下子步骤实现：
(1)对所述待检测的图像检测关键区域进行裁剪，去除背景，获得待检测区域图像；
(2)对所述待检测区域图像进行灰度化处理，并缩放为128×128的图像数据；
(3)所有所述图像数据构成测试集T。
CN202010885700.9A 2020-08-28 2020-08-28 一种基于深度学习的卷烟包装异常检测与定位方法 Active CN111951264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010885700.9A CN111951264B (zh) 2020-08-28 2020-08-28 一种基于深度学习的卷烟包装异常检测与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885700.9A CN111951264B (zh) 2020-08-28 2020-08-28 一种基于深度学习的卷烟包装异常检测与定位方法

Publications (2)

Publication Number Publication Date
CN111951264A CN111951264A (zh) 2020-11-17
CN111951264B true CN111951264B (zh) 2022-03-25

Family

ID=73367585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885700.9A Active CN111951264B (zh) 2020-08-28 2020-08-28 一种基于深度学习的卷烟包装异常检测与定位方法

Country Status (1)

Country Link
CN (1) CN111951264B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034439B (zh) * 2021-03-03 2021-11-23 北京交通大学 一种高速铁路声屏障缺损检测方法及装置
CN113989216A (zh) * 2021-10-25 2022-01-28 贵州大学 基于自注意力的对抗自编码器纹理表面缺陷检测方法
CN115019090A (zh) * 2022-05-30 2022-09-06 河南中烟工业有限责任公司 基于神经网络的烟叶包装箱内夹层纸板检测方法
CN118134319B (zh) * 2024-03-04 2024-09-24 浙江大学 基于烟支多质量指标预测的卷接过程异常原因诊断方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063814B2 (en) * 2014-03-12 2018-08-28 R.J. Reynolds Tobacco Company Smoking article package inspection system and associated method
CN110211114A (zh) * 2019-06-03 2019-09-06 浙江大学 一种基于深度学习的装箱缺条视觉检测方法
CN110473188B (zh) * 2019-08-08 2022-03-11 福州大学 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法
CN111079805A (zh) * 2019-12-03 2020-04-28 浙江工业大学 一种结合注意力机制及信息熵最小化的异常图像检测方法
CN110766011B (zh) * 2019-12-26 2020-04-28 南京智莲森信息技术有限公司 一种基于深度多级优化的接触网螺母异常识别方法
CN111325713B (zh) * 2020-01-21 2023-05-23 杭州未名信科科技有限公司 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111585997B (zh) * 2020-04-27 2022-01-14 国家计算机网络与信息安全管理中心 一种基于少量标注数据的网络流量异常检测方法

Also Published As

Publication number Publication date
CN111951264A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111951264B (zh) 一种基于深度学习的卷烟包装异常检测与定位方法
CN109782603A (zh) 旋转机械耦合故障的检测方法及监测系统
CN110211114A (zh) 一种基于深度学习的装箱缺条视觉检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN111400040B (zh) 基于深度学习和边缘计算的工业互联网系统及工作方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN109584225B (zh) 一种基于自编码器的无监督缺陷检测方法
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN116205907A (zh) 一种基于机器视觉的饰板缺陷检测方法
CN114896228B (zh) 基于过滤规则多级组合优化的工业数据流清洗模型和方法
CN114049318A (zh) 一种基于多模态融合特征的抓取位姿检测方法
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN112802011A (zh) 一种基于vgg-bls的风机叶片缺陷检测方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN114820541A (zh) 基于重构网络的缺陷检测方法
CN114092478A (zh) 一种异常检测方法
CN114066810A (zh) 一种包装盒凹凸点缺陷检测方法及装置
CN116721071B (zh) 一种基于弱监督的工业产品表面缺陷检测方法及装置
CN117197146A (zh) 一种铸件内部缺陷自动识别方法
CN116958074A (zh) 基于yolov7的物体表面缺陷检测方法
CN113716146B (zh) 基于深度学习的纸巾产品包装检测方法
CN113469977B (zh) 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant