CN110211114A - 一种基于深度学习的装箱缺条视觉检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的装箱缺条视觉检测方法，通过设计并搭建Fast‑AnoGAN算法模型以实现卷烟箱装图像的异常检测。所述Fast‑AnoGAN算法模型包括生成对抗网络模块和异常分数计算模块。其中，所述生成对抗网络模块结合WGAN‑GP算法模型进行设计，包括生成器网络和判别器网络，仅使用正常图像进行模型训练，学习正常样本的特征分布；所述异常分数计算模块用于计算待检测图片输入训练好的所述生成对抗网络模块后对应的异常分数值。通过判断异常分数值是否大于限定的异常判别阈值实现异常检测。本发明具有能够有效解决深度学习模型训练中样本不均衡的问题，满足高速生产下对产品检测实时性和准确性的双重要求，对工业生产环境的适应性和鲁棒性强等优点。

Description

一种基于深度学习的装箱缺条视觉检测方法

技术领域

本发明属于工业产品生产检测领域，特别是针对一种基于深度学习的装箱缺条视觉检测方法。

背景技术

在卷烟生产中，由于烟条在输送和推入烟箱过程中，存在烟条歪斜和少推入的可能，从而导致在装箱的过程中出现缺条的现象。封箱机装箱是最后一道工序，若不能及时准确的检测到缺条异常，造成存在严重质量缺陷产品流入市场，将对卷烟企业信誉度造成极坏的影响。

随着工业4.0的不断推进，卷烟制造工业的自动化水平不断提升，针对卷烟生产中箱装缺条的问题，利用人工检测的方法已难以适应自动生产下高速度、高精度、低成本的需求，逐渐被机器视觉检测技术所取代。

前人已尝试使用传统的机器视觉检测方法，相继提出了一些针对工业产品生产图像的异常检测方法。总体来说，主要包括传统的图像处理方法和基于手工特征或浅层学习技术的传统机器学习方法。然而，工业生产场景中存在着产品生产速度快、检测的环境复杂等因素，使得传统的机器视觉检测技术在工业生产的应用上存在检测模型参数设置复杂，适应性和鲁棒性差，难以满足工业检测对高精度和实时性的双重要求等问题，这给封箱机缺条检测带来了很大的挑战。

近年来深度学习的兴起，为工业产品异常检测带来新的思路。深度学习方法基于数据驱动，把特征和学习融合起来形成特征学习，代替了传统机器视觉检测技术中繁琐的图像预处理、特征抽取、特征选择及模型建立和学习的过程。

然而，在卷烟箱装图像数据中，异常图像极少，正常图像远多于异常图像。现有的深度学习的异常检测模型往往基于均衡数据所建立，在异常图像非常有限的不均衡数据情况下较难适用。

发明内容

本发明针对卷烟厂封箱机缺条检测这一典型的高速度、环境复杂的工业产品生产检测环节，提出了一种基于深度学习的装箱缺条视觉检测方法。

本发明的目的通过以下技术方案实现：一种基于深度学习的装箱缺条视觉检测方法，该方法考虑到卷烟箱装图像数据的不均衡性，构建了基于深度学习的Fast-AnoGAN异常检测模型。所述Fast-AnoGAN异常检测模型包括生成对抗网络模块和异常分数计算模块。所述生成对抗网络模块结合WGAN-GP算法模型进行设计，包括生成器网络和判别器网络；所述方法包括：

(1)Fast-AnoGAN算法模型训练生成对抗网络模块和获得异常判别阈值：在训练时，仅使用正常图像对所述生成器网络和判别器网络进行训练，学习正常样本的特征分布；异常分数计算模块计算正常图像获得异常判别阈值；

(2)待检测图像检测：在检测应用时，通过所述异常分数计算模块计算待检测图片输入训练好的生成对抗网络模块后得到的异常分数值，判断异常分数值是否大于限定的异常判别阈值，若是，则判定为异常图像，若否，则判定为正常图像。

进一步地，所述Fast-AnoGAN算法模型训练生成对抗网络模块和获得异常判别阈值过程如下：

(1)采集实际工业生产环境下的卷烟箱装图像。

(2)构建数据集I，该步骤通过以下子步骤实现：

(2.1)对卷烟箱装图像进行预处理步骤，具体子步骤包括如下：

(2.1.1)对所述卷烟箱装图像进行裁剪，去除背景区域，获得待检测区域图像。

(2.1.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得64×64×1的图像数据。

(2.1.3)判断所述64×64×1的图像数据是否出现缺条情况，若是，则判定为异常图像，若否，则判定为正常图像。所有所述图像数据构成数据集I。

(2.1.4)所述数据集I中包括正常图像数据集X＝{x₁，x₂，…，x_i，…，x_M}和异常图像数据集Y＝{y₁，y₂，…，y_j，…，y_N}，其中x_i表示第i张箱装正常的图像，y_j表示第j张箱装缺条的图像，正常图像的总数M远大于异常图像的总数N。

(3)结合WGAN-GP算法模型构建所述生成对抗网络模型，该步骤通过以下子步骤实现：

(3.1)构建一个生成器网络。所述生成器网络从噪声输入层到输出的依次连接为：全连接层、reshape层、第一上采样层、第一反卷积层、第二上采样层、第二反卷积层和第三反卷积层。其中第一反卷积层和第二反卷积层之后均连接一个BN层和激活层，第三反卷积层之后连接一个激活层。

(3.2)构建一个判别器网络。所述判别器网络从输入层到输出的依次连接为：第一卷积层，第二卷积层、第三卷积层、第四卷积层、Flatten层和全连接层。其中第一卷积层之后连接一个ReLU层和Dropout层，第二卷积层之后连接一个Padding层、BN层、ReLU层和Dropout层，第三卷积层和第四卷积层之后均连接一个BN层、ReLU层和Dropout层。

(3.3)将所述生成器网络和判别器网络组成生成对抗网络模型。

(4)训练所述生成对抗网络模型，该步骤通过以下子步骤实现：

(4.1)初始化所述生成对抗网络模型中的网络参数，并设定迭代次数、批次值和随机采样间隔。

(4.2)将所述数据集I中正常图像数据集X作为所述生成对抗网络模型的训练数据集。

(4.3)设定随机采样间隔，对所述正常图像数据集X进行随机采样，得到该批次训练的正常图像样本。

(4.4)生成该批次训练的随机噪声，并将其输入生成器网络中，得到该批次的生成图像样本。所述随机噪声的生成方式为：在一个0到1之间的均匀分布中随机采样n次，获得n维的随机噪声。

(4.5)将所述正常图像样本和所述生成图像样本输入判别器网络中，计算得到对抗损失，所述对抗损失所用的损失函数为WGAN-GP损失函数。

(4.6)根据所述对抗损失计算生成器和判别器的网络损失，并采用随机梯度下降法(SGD)更新生成器和判别器的网络权值。

(4.7)判断是否达到设定迭代次数，若是，则执行(4.8)步骤，若否，则返回(4.4)步骤进行下一次迭代。

(4.8)保存Fast-AnoGAN模型生成对抗网络模块中训练好的生成器和判别器。

(5)计算异常判别阈值。该步骤通过以下子步骤实现：

(5.1)随机从正常图像数据集X中选择20张正常图像，通过Fast-AnoGAN模型中的异常分数计算模块分别计算该20张正常图像的异常分数值。计算异常分数值，具体子步骤包括如下：

(5.1.1)输入n维随机噪声z_n和所述64×64×1的正常图像x。

(5.1.2)n维随机噪声z_n通过所述训练好的生成器网络得到输出的生成图像G(z_n)，计算所述正常图像x和所述生成图像G(z_n)的差异，定义为公式(1)

(5.1.3)将所述生成图像G(z_n)和所述正常图像x输入训练好的判别器网络，分别在判别器网络结构中一个中间层即第三Dropout层得到输出值F(G(z_n))和F(x)，计算F(G(z_n))和F(x)的差异，定义为公式(2)

(5.1.4)计算所述异常分数值定义为公式(3)

其中λ为设定的常数，x为待检测图像，z_n为输入的n维随机噪声。

(5.2)取计算得到的20个异常分数值中的最大值作为异常判别阈值。

进一步地，所述Fast-AnoGAN模型的检测应用过程如下：

(1)获取待检测的卷烟箱装图像；

(2)将所述待检测的卷烟箱装图像输入训练好的Fast-AnoGAN模型，计算得到对应的异常分数值；

(3)判断所述异常分数值是否大于限定的异常判别阈值，若是，则判定为异常图像，若否，则判定为正常图像；

本发明的有益效果在于：针对卷烟厂封箱机缺条检测这一典型的高速度、环境复杂的工业产品生产检测环节提出了一种基于深度学习的装箱缺条视觉检测方法。该方法考虑到卷烟箱装图像数据的不均衡性，构建了基于深度学习的Fast-AnoGAN异常检测模型，仅使用正常图像样本进行模型训练。结合生成器网络模型和判别器网络模型，定义了异常分数计算方法，能够通过判断待检测图像的异常分数是否大于异常判别阈值实现异常图像的检测，且满足高速生产下对产品检测实时性和准确性的双重要求，对工业生产环境的适应性和鲁棒性强。

附图说明：

图1是本发明一种基于深度学习的装箱缺条视觉检测方法所使用的Fast-AnoGAN模型示意图；

图2是本发明一种基于深度学习的装箱缺条视觉检测方法所使用的Fast-AnoGAN模型中生成对抗网络模块示意图；

图3是本发明一种基于深度学习的装箱缺条视觉检测方法所使用的Fast-AnoGAN模型中生成对抗网络模块训练过程流程图；

图4是本发明一种基于深度学习的装箱缺条视觉检测方法所使用的Fast-AnoGAN模型中生成对抗网络模块里生成器网络结构示意图；

图5是本发明一种基于深度学习的装箱缺条视觉检测方法所使用的Fast-AnoGAN模型中生成对抗网络模块里判别器网络结构示意图；

图6是本发明一种基于深度学习的装箱缺条视觉检测方法中所使用的Fast-AnoGAN模型进行异常检测应用过程流程图；

图7是本发明一种基于深度学习的装箱缺条视觉检测方法实验结果示意图，其中第一行表示待检测图像，第二行表示由生成器输出的生成图像，第三行表示待检测图像和生成图像之间差异的可视化结果图像，第四行表示是否异常的检测结果，若正常，则表示为normal，若异常，则表示为anomaly；

具体实施方式

下面结合附图及具体实例，对本发明作进一步详细说明。

本发明以某卷烟厂某品牌卷烟生产中封箱机箱装图像为例，该异常检测任务要求模型检测速度小于100ms，即每秒需要处理10张以上的图像，且检测精度保持在80％以上，即误报率应小于20％。

如图1所示，本发明是一种基于深度学习的装箱缺条视觉检测方法，该方法通过构建Fast-AnoGAN算法模型实现卷烟箱装图像异常检测。如图1所示，所述Fast-AnoGAN异常检测模型包括生成对抗网络模块和异常分数计算模块。如图2所示，所述生成对抗网络模块结合WGAN-GP算法模型进行设计，包括生成器网络和判别器网络，在训练时，仅使用正常图像对所述生成器网络和对抗网络进行训练，学习正常样本的特征分布；在检测应用时，应用所述异常分数计算模块计算待检测图片输入训练好的所述生成对抗网络模块后对应的异常分数值，判断所述异常分数值是否大于限定的异常判别阈值，若是，则判定为异常图像，若否，则判定为正常图像。

如图3所示，所述Fast-AnoGAN算法模型训练生成对抗网络模块和获得异常判别阈值过程如下：

(1)采集实际工业生产环境下的卷烟箱装图像。

(2)构建数据集I，该步骤通过以下子步骤实现：

(2.1)对卷烟箱装图像进行预处理步骤，具体子步骤包括如下：

(2.1.1)对所述卷烟箱装图像进行裁剪，去除背景区域，获得待检测区域图像。

(2.1.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得64×64×1的图像数据。

(2.1.3)判断所述64×64×1的图像数据是否出现缺条情况，若是，则判定为异常图像，若否，则判定为正常图像。所有所述图像数据构成数据集I。

(2.1.4)所述数据集I中包括正常图像数据集X＝{x₁，x₂，…，x_i，…，x_M}和异常图像数据集Y＝{y₁，y₂，…，y_j，…，y_N}，其中x_i表示第i张箱装正常的图像，y_j表示第j张箱装缺条的图像，正常图像的总数M远大于异常图像的总数N。

(3)结合WGAN-GP算法模型构建所述生成对抗网络模型，该步骤通过以下子步骤实现：

(3.1)如图4所示，构建一个生成器网络。所述生成器网络从噪声输入层到输出的依次连接为：全连接层、reshape层、第一上采样层、第一反卷积层、第二上采样层、第二反卷积层和第三反卷积层。其中第一反卷积层和第二反卷积层之后均连接一个BN层和激活层，第三反卷积层之后连接一个激活层。

(3.2)如图5所示，构建一个判别器网络。所述判别器网络从输入层到输出的依次连接为：第一卷积层，第二卷积层、第三卷积层、第四卷积层、Flatten层和全连接层。其中第一卷积层之后连接一个ReLU层和Dropout层，第二卷积层之后连接一个Padding层、BN层、ReLU层和Dropout层，第三卷积层和第四卷积层之后均连接一个BN层、ReLU层和Dropout层。

(3.3)将所述生成器网络和判别器网络组成生成对抗网络模型。

(4)训练所述生成对抗网络模型，该步骤通过以下子步骤实现：

(4.1)初始化所述生成对抗网络模型中的网络参数，并设定迭代次数、批次值和随机采样间隔。

(4.2)将所述数据集I中正常图像数据集Y作为所述生成对抗网络模型的训练数据集。

(4.3)设定随机采样间隔，对所述正常图像数据集Y进行随机采样，得到该批次训练的正常图像样本。

(4.4)生成该批次训练的随机噪声，并将其输入生成器网络中，得到该批次的生成图像样本。所述随机噪声的生成方式为：在一个0到1之间的均匀分布中随机采样n次，获得n维的随机噪声。

(4.5)将所述正常图像样本和所述生成图像样本输入判别器网络中，计算得到对抗损失，所述对抗损失所用的损失函数为WGAN-GP损失函数。

(4.6)根据所述对抗损失计算生成器和判别器的网络损失，并采用随机梯度下降法(SGD)更新生成器和判别器的网络权值。

(4.7)判断是否达到设定迭代次数，若是，则执行(4.8)步骤，若否，则返回(4.4)步骤进行下一次迭代。

(4.8)保存Fast-AnoGAN模型生成对抗网络模块中训练好的生成器和判别器。

(5)计算异常判别阈值。该步骤通过以下子步骤实现：

(5.1)随机从正常图像数据集X中选择20张正常图像，通过Fast-AnoGAN模型中的异常分数计算模块分别计算该20张正常图像的异常分数值。计算异常分数值，具体子步骤包括如下：

(5.1.1)输入n维随机噪声z_n和所述64×64×1的正常图像x。

(5.1.2)n维随机噪声z_n通过所述训练好的生成器网络得到输出的生成图像G(z_n)，计算所述正常图像x和所述生成图像G(z_n)的差异，定义为公式(1)

(5.1.3)将所述生成图像G(z_n)和所述正常图像x输入训练好的判别器网络，分别在判别器网络结构中一个中间层即第三Dropout层得到输出值F(G(z_n))和F(x)，计算F(G(z_n))和F(x)的差异，定义为公式(2)

(5.1.4)计算所述异常分数值定义为公式(3)

其中λ为设定的常数，x为待检测图像，z_n为输入的n维随机噪声。

(5.2)取计算得到的20个异常分数值中的最大值作为异常判别阈值。

如图6所示，所述Fast-AnoGAN模型的检测应用过程如下：

(1)读取Fast-AnoGAN模型中训练好的生成对抗网络模块参数。

(2)输入待检测的图像

(3)将所述待检测的图像进行预处理并将其作为Fast-AnoGAN模型的前向输入，具体子步骤包括如下：

(3.1)对所述待检测的图像检测关键区域进行裁剪，去除背景，获得待检测区域图像。

(3.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得64×64×1的待检测图像数据。

(3.3)将所述64×64×1的待检测图像数据作为所述Fast-AnoGAN模型的前向输入，通过所述Fast-AnoGAN模型中的异常分数计算模块计算得到异常分数值。

(4)判断所述异常分数值是否大于所述的异常判别阈值，若是，则判定为异常图像，若否，则判定为正常图像。

本发明中选择的实际案例是某卷烟厂某品牌卷烟生产中封箱机的缺条检测。检测结果如图7所示，由第三行待检测图像和生成图像之间的差异可以看到异常通过黑色像素体现出来。由第四行检测结果可以看到，缺条的异常图像被Fast-AnoGAN模型精准的检测出来。

表1列出了Fast-AnoGAN模型的异常检测性能详细的测试结果。

表1 Fast-AnoGAN模型的异常检测性能

本发明方法的异常检测的优越性体现在仅使用正常图像训练异常检测模型，解决了深度学习模型训练中样本不均衡的问题，并满足卷烟厂高速生产下对封箱机缺条检测实时性和准确性的双重要求，对工业生产环境的适应性和鲁棒性强。

Claims (3)

1.一种基于深度学习的装箱缺条视觉检测方法，其特征在于，该方法通过构建Fast-AnoGAN算法模型实现卷烟箱装图像异常检测。所述Fast-AnoGAN算法模型包括生成对抗网络模块和异常分数计算模块。所述生成对抗网络模块结合WGAN-GP算法模型进行设计，包括生成器网络和判别器网络；所述方法包括：

(1)Fast-AnoGAN算法模型训练生成对抗网络模块和获得异常判别阈值：在训练时，仅使用正常图像对所述生成器网络和判别器网络进行训练，学习正常样本的特征分布；异常分数计算模块计算正常图像获得异常判别阈值；

(2)待检测图像检测：在检测应用时，通过所述异常分数计算模块计算待检测图片输入训练好的生成对抗网络模块后得到的异常分数值，判断异常分数值是否大于限定的异常判别阈值，若是，则判定为异常图像，若否，则判定为正常图像。

2.根据权利要求1所述的一种基于深度学习的装箱缺条视觉检测方法，其特征在于，所述Fast-AnoGAN算法模型训练生成对抗网络模块和获得异常判别阈值过程如下：

(1)采集实际工业生产环境下的卷烟箱装图像。

(2)构建数据集I，该步骤通过以下子步骤实现：

(2.1)对卷烟箱装图像进行预处理步骤，具体子步骤包括如下：

(2.1.1)对所述卷烟箱装图像进行裁剪，去除背景区域，获得待检测区域图像。

(2.1.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得64×64×1的图像数据。

(2.1.3)判断所述64×64×1的图像数据是否出现缺条情况：若是，则判定为异常图像，若否，则判定为正常图像。所有所述图像数据构成数据集I。

(2.1.4)所述数据集I中包括正常图像数据集X＝{x₁，x₂，…，x_i，…，x_M}和异常图像数据集Y＝{y₁，y₂，…，y_j，…，y_N}，其中x_i表示第i张箱装正常的图像，y_j表示第j张箱装缺条的图像，正常图像的总数M大于异常图像的总数N。

(3)结合WGAN-GP算法模型构建所述生成对抗网络模型，该步骤通过以下子步骤实现：

(3.1)构建一个生成器网络：所述生成器网络从噪声输入层到输出的依次连接为：全连接层、reshape层、第一上采样层、第一反卷积层、第二上采样层、第二反卷积层和第三反卷积层。其中第一反卷积层和第二反卷积层之后均连接一个BN层和激活层，第三反卷积层之后连接一个激活层。

(3.2)构建一个判别器网络：所述判别器网络从输入层到输出的依次连接为：第一卷积层，第二卷积层、第三卷积层、第四卷积层、Flatten层和全连接层。其中第一卷积层之后连接一个ReLU层和Dropout层，第二卷积层之后连接一个Padding层、BN层、ReLU层和Dropout层，第三卷积层和第四卷积层之后均连接一个BN层、ReLU层和Dropout层。

(3.3)将所述生成器网络和判别器网络组成生成对抗网络模型。

(4)训练所述生成对抗网络模型，该步骤通过以下子步骤实现：

(4.1)初始化所述生成对抗网络模型中的网络参数，并设定迭代次数、批次值和随机采样间隔。

(4.2)将所述数据集I中正常图像数据集X作为所述生成对抗网络模型的训练数据集。

(4.3)设定随机采样间隔，对所述正常图像数据集X进行随机采样，得到该批次训练的正常图像样本。

(4.4)生成该批次训练的随机噪声，并将其输入生成器网络中，得到该批次的生成图像样本。所述随机噪声的生成方式为：在一个0到1之间的均匀分布中随机采样n次，获得n维的随机噪声。

(4.5)将所述正常图像样本和所述生成图像样本输入判别器网络中，计算得到对抗损失，所述对抗损失所用的损失函数为WGAN-GP损失函数。

(4.6)根据步骤(4.5)得到的对抗损失计算生成器和判别器的网络损失，并采用随机梯度下降法(SGD)更新生成器和判别器的网络权值。

(4.7)判断是否达到设定迭代次数，若是，则执行(4.8)步骤，若否，则返回(4.4)步骤进行下一次迭代。

(4.8)保存Fast-AnoGAN模型生成对抗网络模块中训练好的生成器和判别器。

(5)计算异常判别阈值，该步骤通过以下子步骤实现：

(5.1)随机从正常图像数据集X中选择20张正常图像，通过Fast-AnoGAN模型中的异常分数计算模块分别计算该20张正常图像的异常分数值。计算异常分数值，具体子步骤包括如下：

(5.1.1)输入n维随机噪声z_n和所述64×64×1的正常图像x。

(5.1.2)n维随机噪声z_n通过所述训练好的生成器网络得到输出的生成图像G(z_n)，计算所述正常图像x和所述生成图像G(z_n)的差异，定义为公式(1)

(5.1.3)将所述生成图像G(z_n)和所述正常图像x输入训练好的判别器网络，分别在判别器网络结构中一个中间层即第三Dropout层得到输出值F(G(z_n))和F(x)，计算F(G(z_n))和F(x)的差异，定义为公式(2)

(5.1.4)计算所述异常分数值定义为公式(3)

其中λ为设定的常数，x为待检测图像，z_n为输入的n维随机噪声。

(5.2)取计算得到的20个异常分数值中的最大值作为异常判别阈值。

3.根据权利要求1所述的一种基于深度学习的装箱缺条视觉检测方法，其特征在于，

所述Fast-AnoGAN模型的检测应用过程如下：

(1)读取Fast-AnoGAN模型中训练好的生成对抗网络模块参数。

(2)输入待检测的图像

(3)将所述待检测的图像进行预处理并将其作为Fast-AnoGAN模型的前向输入，具体子步骤包括如下：

(3.1)对所述待检测的图像检测关键区域进行裁剪，去除背景，获得待检测区域图像。

(3.2)对所述待检测区域图像进行灰度变换和尺寸变换，获得64×64×1的待检测图像数据。

(3.3)将所述64×64×1的待检测图像数据作为所述Fast-AnoGAN模型的前向输入，通过所述Fast-AnoGAN模型中的异常分数计算模块计算得到异常分数值。

(4)判断所述异常分数值是否大于所述的异常判别阈值，若是，则判定为异常图像，若否，则判定为正常图像。