CN113284122B - 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 - Google Patents
基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113284122B CN113284122B CN202110605183.XA CN202110605183A CN113284122B CN 113284122 B CN113284122 B CN 113284122B CN 202110605183 A CN202110605183 A CN 202110605183A CN 113284122 B CN113284122 B CN 113284122B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning network
- network model
- prediction result
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 290
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 230000007547 defect Effects 0.000 title claims abstract description 77
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 145
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 18
- 238000011478 gradient descent method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000000137 annealing Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000013140 knowledge distillation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于深度学习的卷纸包装缺陷检测方法、装置及存储介质，该检测方法根据数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果；根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失；将训练好的所述第一深度学习网络模型打包为检测模型；输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类。本发明技术方案实现了对包装缺陷的快速检测和精准分类。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及基于深度学习的卷纸包装缺陷检测方法、装置及存储介质。
背景技术
传统的包装缺陷检测方法先通过滑动窗口进行区域选择，通过HOG、SIFT等算法获取特征图，再通过SVM、决策树、随机森林、KNN、K-means等算法对缺陷进行分类，然后通过NMS(非极大值抑制算法)对结果去掉多余的结果，得到最后的缺陷检测结果。上述传统方法需要识别的缺陷较复杂，存在模板匹配误报率高的问题；同时，出现不同的环境、噪音、产品时需要重新调整算法和大量参数，算法的鲁棒性差。
逐渐兴起的基于深度学习的包装缺陷检测方法由于采用神经网络架构和模型训练的方法可以部分解决上述问题，但是由于在构建学习模型时采用不恰当的结构设计和不科学的训练方法，容易存在模型训练时间过长、收敛速度慢和检测精度低的问题，极大的降低了缺陷检测的精度和效率。
发明内容
本发明提供一种基于深度学习的卷纸包装缺陷检测方法、装置及存储介质，以实现对包装缺陷的快速检测和精准分类。
本发明一实施例提供一种基于深度学习的卷纸包装缺陷检测方法，包括以下步骤：
构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；
根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果；根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失；将训练好的所述第一深度学习网络模型打包为检测模型；
输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类。
进一步的，根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果，还可以是：
根据所述数据集训练N个深度学习网络模型至收敛，得到第三分类预测结果集；所述N个深度学习网络模型互为不同结构的深度学习网络模型，且所述N个深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；N为正整数；
根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，还可以是：
S1、选择所述第三分类预测结果集中的一个第三分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛；训练所述第一深度学习网络模型时，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失；
S2、从所述第三分类预测结果集中删去本次选择的所述第三分类预测结果；
S3、判断所述第三分类预测结果集中是否为空，若是结束训练，若否返回S1。
进一步的，采用动量因子为0.9的随机梯度下降方法训练所述第一深度学习网络模型、第二深度学习网络模型和所述N个深度学习网络模型，并在训练的第一阶段采用一维线性插值的方法更新所述随机梯度下降方法中的学习率，在训练的第二阶段采用余弦退火算法更新所述随机梯度下降方法中的学习率。进一步的，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，具体为：
根据人工分类结果和所述第一深度学习网络模型的第一分类预测结果计算第三分类损失；
根据所述第二分类预测结果和预设阈值的比值、以及所述第一分类预测结果计算第四分类损失；
根据所述第三分类损失和第四分类损失计算所述第一分类损失；
步骤S2中，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失，具体为：
根据人工分类结果和所述第一深度学习网络模型的第一分类预测结果计算第三分类损失；
根据所述第三分类预测结果和预设阈值的比值、以及所述第一分类预测结果计算第四分类损失；
根据所述第三分类损失和第四分类损失计算所述第一分类损失。
进一步的，训练所述第一深度学习网络模型时，升高所述预设阈值；
输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别时，降低所述预设阈值。
进一步的，输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类，具体为：
输入所述包装图像至检测模型，所述检测模型对所述包装图像进行多尺度特征提取和多尺度特征融合得到不同尺度的特征融合图，对所述不同尺度的特征融合图进行卷积处理得到第一分类预测结果、第一回归结果和第一中心度，根据所述第一分类预测结果、第一回归结果和第一中心度所述第一分类预测结果确定包装缺陷的类别，继而对包装缺陷进行自动分类。
本发明另一实施例提供了一种基于深度学习的卷纸包装缺陷检测装置，包括：模型初始化模块、训练模块和检测模块；
其中，所述模型初始化模块用于构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；
所述训练模块用于根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果；根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失；将训练好的所述第一深度学习网络模型打包为检测模型；
所述检测模块用于输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类。
进一步的，所述训练模块中，所述训练模块中，根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果，还可以是：
根据所述数据集训练N个深度学习网络模型至收敛，得到第三分类预测结果集；所述N个深度学习网络模型互为不同结构的深度学习网络模型，且所述N个深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；N为正整数；
根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，还可以是：
S1、选择所述第三分类预测结果集中的一个第三分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛；
S2、训练所述第一深度学习网络模型时，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失，并从所述第三分类预测结果集中删去本次选择的所述第三分类预测结果；
S3、判断所述第三分类预测结果集中是否为空，若是结束训练，若否返回S1。
进一步的，所述训练模块中，采用动量因子为0.9的随机梯度下降方法训练所述第一深度学习网络模型、第二深度学习网络模型和所述N个深度学习网络模型，并在训练的第一阶段采用一维线性插值的方法更新所述随机梯度下降方法中的学习率，在训练的第二阶段采用余弦退火算法更新所述随机梯度下降方法中的学习率。
本发明另一实施例提供了一种可读存储介质，所述可读存储介质包括存储的计算机程序，所述计算机程序执行时，控制所述可读存储介质所在的设备执行本发明任意一项方法项实施例所述的基于深度学习的卷纸包装缺陷检测方法。
本发明的实施例，具有如下有益效果：
本发明提供了一种基于深度学习的卷纸包装缺陷检测方法、装置及存储介质，该检测方法通过采用两个不同结构的深度学习网络模型分别训练，再用其中一个更大型精度更高的深度学习网络模型训练得到的分类预测结果优化另一个轻量级的深度学习网络模型的分类损失计算方法，再根据优化后的分类损失计算方法再次训练轻量级的深度学习网络模型，使得所述轻量级的深度学习网络模型可以获得更高的检测精度，同时由于其使用的是轻量级的网络结构模型进行实际检测，又可以降低训练时间和检测时间；
进一步地，由于该检测方法在不同的训练阶段采用不同的方法来更新学习率，使得深度学习网络模型既可以实现快速收敛，又不会错过收敛时可以到达的最小值，降低了模型训练时间，提高模型训练的效率。
附图说明
图1是本发明一实施例提供的卷纸包装缺陷检测方法的流程示意图；
图2是本发明一实施例提供的卷纸包装缺陷检测装置的结构示意图；
图3是本发明一实施例提供的每个Block的结构图；
图4是本发明一实施例提供的对多尺度特征图进行特征融合的示意图；
图5是本发明一实施例提供的对特征融合图进行卷积处理的示意图；
图6是本发明一实施例提供的根据第一深度学习网络模型的输出结果训练第二深度学习网络模型的示意图；
图7是本发明一实施例提供的深度学习网络模型的结果示意图；
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种基于深度学习的卷纸包装缺陷检测方法，包括：
步骤S101:构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型。
步骤S102:根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛，得到第一分类预测结果；
根据所述第二分类预测结果和第一分类预测结果更新所述第一深度学习网络模型的第一分类损失，再次根据所述数据集训练第一深度学习网络模型至收敛，将所述第一深度学习网络模型打包为检测模型。
步骤S103:输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类。
更为详细的例子如下：
步骤A:构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型。
步骤A1:采集卷纸包装图像并进行预处理，将预处理后的卷纸包装图像数据作为深度学习模型的数据集。
在合适的光源下，通过工业相机采集有包装缺陷的图像和没有包装缺陷的图像，其中有包装缺陷的图像包括不同类别的卷纸包装缺陷图像，并尽量使得采集的包装图像具有多样性；
将采集的包装图像预处理成320*320分辨率大小的图像，并对预处理后的包装图像进行标注，作为深度学习模型的数据集；标注的内容包括图片文件名、缺陷位置(即扫描时的矩形框框住的部分)、缺陷类别。
步骤A2:将步骤A1中得到的包装图像进行数据增强处理。具体为对包装图像进行随机增强处理，包括：
填鸭增强，即将包装图像里的检测目标抠出来，随机复制粘贴到其他地方；
将包装图像进行左右图像对称反转；
对包装图像的对比度、色彩饱和度、色调、锐度进行一定幅度的调整；
在包装图像中加入一定的椒盐噪声、高斯噪声。
步骤A3:构建第一深度学习网络模型和第二深度学习网络模型，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；
如图7所示，所述第一深度学习网络模型包括骨架网络、特征融合层和检测头；
所述骨架网络包括5个网络层，每个网络层由多个Block组成；如图3所示，所述Block包括3×3的卷积和1×1的卷积，其中3×3的卷积padding为1，1×1的卷积padding为0；
所述骨架网络的结构如下表：
如图4所示，所述特征融合层将所述骨架网络中的Layer1、Layer3、Layer4层的输出作为特征融合层的输入，并对Layer3、Layer4层输出的图像数据进行上采样处理，对Layer1、Layer3层输出的图像数据进行下采样处理，对Layer1、Layer3层经过采样处理后输出的图像数据进行平滑处理；所述上采样和下采样通过双线性差值实现，并将所述上采样和下采样的通道数为调整为96，以配合检测头中的96个通道数；所述平滑处理通过卷积核为3×3、步长为1，padding为1的卷积网络实现；对于如图4所示的，当一个网络结构(即图4中的圆圈)有多个输入时，先将多个输入(即图4中多个箭头指向同一个圆圈)进行相加，再输出至下一个网络结构。
如图5所示，所述检测头使用3个H×W×96的卷积来处理特征融合层的3个输出，得到回归预测结果H×W×4、分类预测结果H×W×C(C是需要分类的数量)和中心度H×W×1。
步骤B:训练所述第二深度学习网络模型至收敛，根据所述第二深度学习网络模型的第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，并训练所述第一深度学习网络模型至收敛；
在步骤B中训练任一深度学习网络模型至收敛的过程中，均采用动量因子为0.9的随机梯度下降方法进行训练(包括所述第一深度学习网络模型、第二深度学习网络模型和所述N个深度学习网络模型)，并在训练的第一阶段采用一维线性插值的方法更新所述随机梯度下降方法中的学习率，在训练的第二阶段采用余弦退火算法更新所述随机梯度下降方法中的学习率；
优选地，在训练的前1000个迭代中采用了warm-up的方法对模型的学习率进行预热，当训练的迭代过程在warn-up阶段时，使用一维线性插值的方法对学习率进行更新。在warn-up阶段后，使用余弦退火算法对学习率进行更新，其计算公式见下面公式
其中，lr_new是训练时的学习率，t是当前的epoch，T是总的epoch，mi是最小学习率，mx是最大学习率，lr是最初学习率；
采用何种方法对学习率进行更新是训练深度学习网络模型过程中一个至关重要的问题，直接关系到模型训练的速度和精度；当学习率选择不当将导致无法收敛至最小值，或直接跳过最小值，或训练的时间过长，降低训练的效率；本技术方案中先采用warm-up的方法对模型的学习率进行预热，同时在warn-up阶段时，使用一维线性插值的方法对学习率进行更新，在warn-up阶段后，使用余弦退火算法对学习率进行更新；这就保证了在训练的前期和训练的后期，可以根据模型训练的次数，接收训练样本的数量等训练的过程的具体情况，来设置不同的学习率更新方法，使得深度学习网络模型训练至收敛后的检测精度进一步提高。
步骤B1:根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果。
步骤B11:如图7所示，所述第二深度学习网络模型获取步骤A2中的包装图像，所述包装图像输入至步骤A3中的骨架网络，所述骨架网络对包装图像进行多尺度特征提取，即骨架网络将包装图像逐层输入至Layer0、Layer1、Layer2、Layer3、Layer4，得到不同尺度、不同精度的图像数据，并挑选出Layer1、Layer3和Layer4层的数据输出至特征融合层；
步骤B12:所述特征融合层接收来自骨架网络的Layer1、Layer3和Layer4层输出的图像数据；由于低层的图像数据分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层的图像数据具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。因此需要将两者高效融合，并将高效融合后的数据输入至检测头进行图像数据分析，以提高模型对包装缺陷检测的精度。
步骤B121：将Layer4层的图像数据进行上采样处理后和Layer3层的图像数据进行融合得到第一图像融合数据，再将第一图像融合数据进行上采样处理，再和Layer1层的图像数据进行融合，得到第二图像融合数据。
步骤B122：将步骤B13中得到的第二图像融合数据进行平滑处理后输出至检测头；同时将将步骤B13中得到的第二图像融合数据进行下采样处理后，和第一图像融合数据进行融合得到第三图像融合数据，将所述第三图像融合数据进行平滑处理后输出至检测头。
步骤B123：将步骤B14中的第三图像融合数据进行下采样处理后和所述Layer4层的图像数据进行融合得到第四图像融合数据，并将所述第四图像融合数据输出至检测头。
步骤B13：所述检测头接收来自特征融合层输出的第二图像融合数据、第三图像融合数据和第四图像融合数据；并将第二图像融合数据、第三图像融合数据和第四图像融合数据分别使用3个H×W×96的卷积进行处理，得到H×W×4的第一回归预测结果，H×W×C的第二分类预测结果，其中C是需要分类的数量；
根据所述第二分类预测结果计算深度学习网络模型的第二分类损失：
其中，px，y为第二分类预测结果，focal_loss为focal loss损失函数作为分类损失函数使用；
为分类标签，当/>
时，表示为背景类；N是正样本数量，当px，y大于0.05时，认为是正样本。
根据所述第二回归预测结果计算深度学习网络模型的第二回归损失：
其中，tx，y为第二回归预测结果，
为目标回归结果；/>
为分类标签，当/>
时，表示为背景类，当/>
大于0时，indicator函数返回1，当/>
等于0时，indicator函数返回0；N是正样本数量，当px，y大于0.05时，认为是正样本；GIoU_Loss为GIoU loss损失函数，作为回归损失函数使用；GIoU的计算公式为：
其中，A和B是两个待计算GIoU的矩形，C是矩形A和B的最小闭包，U是矩形面积并。
根据所述第二分类损失和第二回归损失计算第二深度学习网络模型的总损失：
L({px，y}，{tx，y})＝Lcls+Lreg；
判断总损失是否下降，若是，则判断所述第二深度学习网络模型已收敛并结束训练；若否，则根据总损失的计算结果优化所述第二深度学习网络模型的权重参数，并继续训练所述第二深度学习网络模型至收敛。
步骤B14：根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失。
同样地，所述第一深度学习网络模型采用与第二深度学习网络模型相同的训练方法训练至收敛，即根据所述步骤B11-B123中的训练过程得到第二图像融合数据、第三图像融合数据和第四图像融合数据，并将第二图像融合数据、第三图像融合数据和第四图像融合数据分别使用3个H×W×96的卷积进行处理，得到H×W×4的第一回归预测结果，H×W×C的第一分类预测结果，其中C是需要分类的数量；
根据步骤B13中得到的第二深度学习网络模型训练至收敛时的第二分类预测结果和所述第一分类预测结果计算深度学习网络模型的第一分类损失：
其中，focal_loss是focal loss损失函数，其中y是真实标签(即人为标注的标签，被认为是正确的)的One-Hot编码，z是第二深度学习网络模型的第二分类预测结果，p是第一深度学习网络模型的第一分类预测结果；T为预设阈值(即温度)，在训练时将T升高，测试和检测时将T降低，从而对第二深度学习网络模型进行知识蒸馏，将其暗知识提取出来，检测时使用第一深度学习网络模型，所述第一深度学习网络模型为较轻量型网络模型；
进一步地，在根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失时，根据人工分类结果和所述第一深度学习网络模型的第一分类预测结果计算第三分类损失focal_loss(y,p)，根据所述第二分类预测结果和预设阈值的比值、以及所述第一分类预测结果计算第四分类损失focal_loss(q,p)；上述计算第一分类损失的方法，通过计算第一深度学习网络模型的第一分类预测结果与人工分类结果之间的第三分类损失，以及第一分类预测结果与第二深度学习网络模型得到的第二分类预测结果之间的第四分类损失，再根据第三分类损失和第四分类损失计算得到第一深度学习网络模型的第一分类损失，该计算方法复合了第三分类损失和第四分类损失，同时利用了人工分类结果和第二分类预测结果对第一深度学习网络模型的第一分类预测结果进行分类损失评估，使得第一深度学习网络模型在训练时的分类损失评估更加准确，从而提升了模型训练的精度。
进一步地，先根据第二分类预测结果z和预设阈值T的比值进行计算得到q，再根据q和第一分类预测结果p计算得到第四分类损失focal_loss(q,p)；该步骤通过构建q的计算方式，引入了第二分类预测结果z和预设阈值T的比值，又因为T＝1时，计算q的公式就是一个softmax函数，T越高，q越趋于平滑，其分布的熵越大，负标签携带的信息会被相对地放大，模型训练将更加关注负标签；因此在训练第一深度学习网络模型的过程中，可以通过升高T值来增加模型训练的精度。
根据所述第一回归预测结果计算深度学习网络模型的第一回归损失：
其中，tx，y为第一回归预测结果，
为目标回归结果；/>
为分类标签，当/>
时，表示为背景类，当/>
大于0时，indicator函数返回1，当/>
等于0时，indicator函数返回0；N是正样本数量，当px，y大于0.05时，认为是正样本；GIoU_Loss为GIoU loss损失函数，作为回归损失函数使用；GIoU的计算公式为：
其中，A和B是两个待计算GIoU的矩形，C是矩形A和B的最小闭包，U是矩形面积并。
根据所述第一分类损失和第一回归损失计算第一深度学习网络模型的总损失：
L({px，y}，{tx，y})＝Lcls+Lreg；
判断所述第一深度学习网络模型的总损失是否下降，若是，则判断所述第一深度学习网络模型已收敛并结束训练；若否，则根据总损失的计算结果优化所述第一深度学习网络模型的权重参数，并继续训练所述第一深度学习网络模型至收敛。
步骤B15：将所述第一深度学习网络模型打包为检测模型。
步骤B的另一种实施方式为：如图6所示，将input(相当于数据集)输入至教师网络模型(相当于第二深度学习网络模型)得到教师网络模型的loss(相当于第二分类损失)，所述第二分类损失根据教师网络模型的第二分类预测结果计算得到；
将input(相当于数据集)输入至骨架网络模型(相当于第一深度学习网络模型)得到骨架网络模型的loss(相当于第一分类损失)，所述第一分类损失根据教师网络模型的第二分类预测结果计算得到；
根据所述第二分类损失更新骨架网络模型的第一分类损失：
其中，focal_loss是focal loss损失函数，其中y是真实标签的One-Hot编码，z是教师网络模型的分类预测结果，p是骨架网络模型的分类预测结果，T是温度，在训练时将T升高，测试和检测时将T降低，从而对教师网络模型进行知识蒸馏，将其暗知识提取出来，检测时使用骨架网络模型，所述骨架网络模型为较轻量型网络模型；
根据所述第一分类损失和骨架网络模型的第一回归损失计算骨架网络模型的总损失：
L({px，y}，{tx，y})＝Lcls+Lreg；
判断所述骨架网络模型的总损失是否下降，若是，则判断所述骨架网络模型已收敛并结束训练；若否，则根据总损失的计算结果优化所述骨架网络模型的权重参数，并继续训练所述骨架网络模型至收敛，将所述骨架网络模型打包为检测模型。
步骤B1的另一种实施方式为：根据所述数据集训练N个深度学习网络模型至收敛，得到第三分类预测结果集；所述N个深度学习网络模型互为不同结构的深度学习网络模型，且所述N个深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；N为正整数；
S1、选择所述第三分类预测结果集中的一个第三分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛；训练所述第一深度学习网络模型时，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失；
S2、从所述第三分类预测结果集中删去本次选择的所述第三分类预测结果；
S3、判断所述第三分类预测结果集中是否为空，若是结束训练，若否返回S1；
步骤S1中，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失，所述第一分类损失的计算过程如下：
其中，focal_loss是focal loss损失函数，其中y是真实标签(即人为标注的标签，被认为是正确的)的One-Hot编码，z是第三分类预测结果，p是第一深度学习网络模型的第一分类预测结果；T为预设阈值(即温度)，在训练时将T升高，测试和检测时将T降低，从而将第三分类预测结果对应的深度学习网络模型的暗知识提取出来，检测时使用第一深度学习网络模型，所述第一深度学习网络模型为较轻量型网络模型；
根据所述第一回归预测结果计算深度学习网络模型的第一回归损失：
其中，tx，y为第一回归预测结果，
为目标回归结果；/>
为分类标签，当/>
时，表示为背景类，当/>
大于0时，indicator函数返回1，当/>
等于0时，indicator函数返回0；N是正样本数量，当px，y大于0.05时，认为是正样本；GIoU_Loss为GIoU loss损失函数，作为回归损失函数使用；GIoU的计算公式为：
其中，A和B是两个待计算GIoU的矩形，C是矩形A和B的最小闭包，U是矩形面积并。
根据所述第一分类损失和第一回归损失计算第一深度学习网络模型的总损失：
L({px，y}，{tx，y})＝Lcls+Lreg；
判断所述第一深度学习网络模型的总损失是否下降，若是，则判断所述第一深度学习网络模型已收敛并结束训练；若否，则根据总损失的计算结果优化所述第一深度学习网络模型的权重参数，并继续训练所述第一深度学习网络模型至收敛；
在该实施方式中通过采用多个不同结构的较所述第一深度学习网络模型更大型精度更高的网络模型进行训练，得到多个第三分类预测结果，并将多个第三分类预测结果分别用于更新第一深度学习网络模型的第一分类预测结果(即对多个更大型精度更高的网络模型进行知识蒸馏，将其暗知识提取出来，用于优化所述第一深度学习网络模型的训练过程)，使得第一深度学习网络模型在根据更新后的第一分类预测结果训练至收敛后，所述第一深度学习网络模型的检测精度大大提高。
步骤C：输入所述包装图像至检测模型，所述第一深度学习网络模型对所述包装图像进行多尺度特征提取和多尺度特征融合得到不同尺度的特征融合图，对所述不同尺度的特征融合图进行卷积处理得到第一分类预测结果、第一回归结果和第一中心度，根据所述第一分类预测结果、第一回归结果和第一中心度确定包装缺陷的类别，继而对包装缺陷进行自动分类。
在检测时，根据所述第一中心度(Center-nees)重新计算所述第一分类预测结果，使得所述第一分类预测结果更准确；使用Center-nees是为了去除大量低质量的框，回归目标为(l,t,r,b)，即中心点做BoundingBox的left、top、right和bottom之间的距离。中心点的物体扩大到整个物体的边框，在训练时使用交叉熵损失函数作为Center-ness的损失函数，在模型进行推理时，需要将第一分类预测结果中的分类概率乘上centerness*；centerness*的计算：设回归预测结果为(l*,t*,r*,b*)，表示这个点到左、上、右、下边的距离，其对应的Center-ness计算公式如下：
最后，根据非极大值抑制算法对检测模型的预测结果去除多余的框，即去除预测结果中置信度低的结果，进一步提高检测结果的准确性。
经过步骤A和步骤B的训练过程得到的检测模型具备检测精度高和检测速度快的优势，因此在将所述检测模型投入生产中进行卷纸包装缺陷时，该检测模型可以快速且准确的识别卷纸包装的缺陷，大大提高了生产效率。
本发明实施例提供了一种基于深度学习的卷纸包装缺陷检测方法、装置及存储介质，该检测方法通过采用两个不同结构的深度学习网络模型分别训练，再用其中一个更大型精度更高的深度学习网络模型训练得到的分类预测结果优化另一个轻量级的深度学习网络模型的分类损失计算方法，再根据优化后的分类损失计算方法再次训练轻量级的深度学习网络模型，使得所述轻量级的深度学习网络模型可以获得更高的检测精度，同时由于其使用的是轻量级的网络结构模型进行实际检测，又可以降低训练时间和检测时间；同时，由于该检测方法在不同的训练阶段采用不同的方法来更新学习率，使得深度学习网络模型既可以实现快速收敛，又不会错过收敛时可以到达的最小值，降低了模型训练时间，提高模型训练的效率。
在上述发明实施例的基础上，本发明对应提供了装置项实施例，如图2所示；
本发明另一实施例提供了一种基于深度学习的卷纸包装缺陷检测装置，包括：模型初始化模块、训练模块和检测模块；
其中，所述模型初始化模块用于构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；
所述训练模块用于根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果；根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失；将训练好的所述第一深度学习网络模型打包为检测模型；
所述检测模块用于输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类。
进一步的，所述训练模块中，根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果，还可以是：
根据所述数据集训练N个深度学习网络模型至收敛，得到第三分类预测结果集；所述N个深度学习网络模型互为不同结构的深度学习网络模型，且所述N个深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；N为正整数；
根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，还可以是：
S1、选择所述第三分类预测结果集中的一个第三分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛；
S2、训练所述第一深度学习网络模型时，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失，并从所述第三分类预测结果集中删去本次选择的所述第三分类预测结果；
S3、判断所述第三分类预测结果集中是否为空，若是结束训练，若否返回S1。
进一步的，所述训练模块中，采用动量因子为0.9的随机梯度下降方法训练所述第一深度学习网络模型、第二深度学习网络模型和所述N个深度学习网络模型，并在训练的第一阶段采用一维线性插值的方法更新所述随机梯度下降方法中的学习率，在训练的第二阶段采用余弦退火算法更新所述随机梯度下降方法中的学习率。
需要说明的是，本发明上述装置项实施例，是与本发明方法项实施例相对应的，其能够实现本发明任意一项发明项实施例所述的基于深度学习的卷纸包装缺陷检测方法。
在上述发明项实施例的基础上，本发明对应提供了可读存储介质项实施例；
本发明另一实施例提供了一种可读存储介质，所述可读存储介质包括存储的计算机程序，所述计算机程序执行时，控制所述可读存储介质所在的设备执行如本发明任意一项方法项实施例所述的基于深度学习的卷纸包装缺陷检测方法。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质(即上述可读存储介质)中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
Claims (5)
1.一种基于深度学习的卷纸包装缺陷检测方法，其特征在于，包括以下步骤：
构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；其中，所述第一深度学习网络模型包括骨架网络、特征融合层和检测头；所述骨架网络包括5个网络层，每个网络层由多个Block组成；所述Block包括3×3的卷积和1×1的卷积，其中，3×3的卷积padding为1，1×1的卷积padding为0；所述特征融合层将所述骨架网络中的第二网络层Layer1、第四网络层Layer3、第五网络层Layer4层的输出作为特征融合层的输入，并对第四网络层Layer3和第五网络层Layer4层输出的图像数据进行上采样处理，对第二网络层Layer1和第四网络层Layer3输出的图像数据依此进行下采样处理和平滑处理；所述上采样处理和下采样处理通过双线性差值实现，且通道数均为96；所述平滑处理通过卷积核为3×3、步长为1，padding为1的卷积网络实现；所述检测头使用3个H×W×96的卷积处理特征融合层的3个输出，分别得到回归预测结果H×W×4、分类预测结果H×W×C和中心度H×W×1，其中，W和H分别为输入图像的宽和高；C表示需要分类的数量；
根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果；根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失；将训练好的所述第一深度学习网络模型打包为检测模型；
输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类；
根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果，具体为：
根据所述数据集训练N个深度学习网络模型至收敛，得到第三分类预测结果集；所述N个深度学习网络模型互为不同结构的深度学习网络模型，且所述N个深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；N为正整数；
根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，具体为：
S1、选择所述第三分类预测结果集中的一个第三分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛；训练所述第一深度学习网络模型时，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失；
S2、从所述第三分类预测结果集中删去本次选择的所述第三分类预测结果；
S3、判断所述第三分类预测结果集中是否为空，若是结束训练，若否返回S1；
其中，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，具体为：
根据人工分类结果和所述第一深度学习网络模型的第一分类预测结果计算第三分类损失；
根据所述第二分类预测结果和预设阈值的比值、以及所述第一分类预测结果计算第四分类损失；
根据所述第三分类损失和第四分类损失计算所述第一分类损失；
步骤S1中，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失，具体为：
根据人工分类结果和所述第一深度学习网络模型的第一分类预测结果计算第三分类损失；
根据所述第三分类预测结果和预设阈值的比值、以及所述第一分类预测结果计算第四分类损失；
根据所述第三分类损失和第四分类损失计算所述第一分类损失；所述第一分类损失表示为：
其中，focal_loss是focal loss损失函数，y是真实标签的One-Hot编码，z是第二深度学习网络模型的第二分类预测结果，p是第一深度学习网络模型的第一分类预测结果；T为预设阈值；
步骤S1中，所述根据所述数据集训练第一深度学习网络模型至收敛，具体为：
根据第一深度学习网络模型的第一回归预测结果计算第一深度学习网络模型的第一回归损失：
其中，
为第一回归预测结果，/>
为目标回归结果；/>
为分类标签，当/>
=0时，表示为背景类，当/>
大于0时，indicator函数返回1，当/>
等于0时，indicator函数返回0；N是正样本数量；GIoU_Loss为GIoU loss损失函数；
根据所述第一分类损失和第一回归损失计算第一深度学习网络模型的总损失：
其中，
、/>
和/>
分别表示第一深度学习网络模型的总损失、第一分类损失和第一回归损失；/>
和/>
分别表示第一深度学习网络模型的第一分类预测结果和第一回归预测结果；
判断所述第一深度学习网络模型的总损失是否下降，若是，则判断所述第一深度学习网络模型已收敛并结束训练，反之，则根据总损失的计算结果优化所述第一深度学习网络模型的权重参数，并继续训练所述第一深度学习网络模型至收敛；
采用动量因子为0.9的随机梯度下降方法训练所述第一深度学习网络模型、第二深度学习网络模型和所述N个深度学习网络模型，并在训练的第一阶段采用一维线性插值的方法更新所述随机梯度下降方法中的学习率，在训练的第二阶段采用余弦退火算法更新所述随机梯度下降方法中的学习率。
2.根据权利要求1所述的基于深度学习的卷纸包装缺陷检测方法，其特征在于，训练所述第一深度学习网络模型时，升高所述预设阈值；
输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别时，降低所述预设阈值。
3.根据权利要求1至2任一项所述的基于深度学习的卷纸包装缺陷检测方法，其特征在于，输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类，具体为：
输入所述包装图像至检测模型，所述检测模型对所述包装图像进行多尺度特征提取和多尺度特征融合得到不同尺度的特征融合图，对所述不同尺度的特征融合图进行卷积处理得到第一分类预测结果、第一回归结果和第一中心度，根据所述第一分类预测结果、第一回归结果和第一中心度确定包装缺陷的类别，继而对包装缺陷进行自动分类。
4.一种基于深度学习的卷纸包装缺陷检测装置，其特征在于，能够执行如权利要求1所述的基于深度学习的卷纸包装缺陷检测方法，包括：模型初始化模块、训练模块和检测模块；
其中，所述模型初始化模块用于构建数据集、第一深度学习网络模型和第二深度学习网络模型，所述数据集包括不同的包装图像，所述第二深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；
所述训练模块用于根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果；根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失；将训练好的所述第一深度学习网络模型打包为检测模型；
所述检测模块用于输入所述包装图像至检测模型，并对所述包装图像进行处理和分析以确定包装缺陷的类别，根据所述包装缺陷的类别对包装缺陷进行自动分类；
其中，所述训练模块中，根据所述数据集训练第二深度学习网络模型至收敛，得到第二分类预测结果，具体为：
根据所述数据集训练N个深度学习网络模型至收敛，得到第三分类预测结果集；所述N个深度学习网络模型互为不同结构的深度学习网络模型，且所述N个深度学习网络模型为相较于第一深度学习网络模型更大型精度更高的深度学习网络模型；N为正整数；
根据所述数据集训练第一深度学习网络模型至收敛，训练所述第一深度学习网络模型时，根据所述第二分类预测结果计算所述第一深度学习网络模型的第一分类损失，具体为：
S1、选择所述第三分类预测结果集中的一个第三分类预测结果，根据所述数据集训练第一深度学习网络模型至收敛；
S2、训练所述第一深度学习网络模型时，根据所述第三分类预测结果计算所述第一深度学习网络模型的第一分类损失，并从所述第三分类预测结果集中删去本次选择的所述第三分类预测结果；
S3、判断所述第三分类预测结果集中是否为空，若是结束训练，若否返回S1；
所述训练模块中，采用动量因子为0.9的随机梯度下降方法训练所述第一深度学习网络模型、第二深度学习网络模型和所述N个深度学习网络模型，并在训练的第一阶段采用一维线性插值的方法更新所述随机梯度下降方法中的学习率，在训练的第二阶段采用余弦退火算法更新所述随机梯度下降方法中的学习率。
5.一种可读存储介质，其特征在于，所述可读存储介质包括存储的计算机程序，所述计算机程序执行时，控制所述可读存储介质所在的设备执行如权利要求1至3中任意一项所述的基于深度学习的卷纸包装缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605183.XA CN113284122B (zh) | 2021-05-31 | 2021-05-31 | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605183.XA CN113284122B (zh) | 2021-05-31 | 2021-05-31 | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284122A CN113284122A (zh) | 2021-08-20 |
| CN113284122B true CN113284122B (zh) | 2023-06-23 |
Family
ID=77282837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110605183.XA Active CN113284122B (zh) | 2021-05-31 | 2021-05-31 | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284122B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022425A (zh) * | 2021-10-25 | 2022-02-08 | 连云港杰瑞电子有限公司 | 一种具备场景自适应功能的车辆检测方法和装置 |
| CN115861736B (zh) * | 2022-12-14 | 2024-04-26 | 广州科盛隆纸箱包装机械有限公司 | 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI651697B (zh) * | 2018-01-24 | 2019-02-21 | National Chung Cheng University | 停車場空位偵測方法及其偵測模型建立方法 |
| CN111160474B (zh) * | 2019-12-30 | 2023-08-29 | 合肥工业大学 | 一种基于深度课程学习的图像识别方法 |
| CN112395952A (zh) * | 2020-10-23 | 2021-02-23 | 西安科锐盛创新科技有限公司 | 一种用于铁轨缺陷检测的无人机 |
| CN112560693B (zh) * | 2020-12-17 | 2022-06-17 | 华中科技大学 | 基于深度学习目标检测的高速公路异物识别方法和系统 |
-
2021
- 2021-05-31 CN CN202110605183.XA patent/CN113284122B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Research of paper surface defects detection system based on blob algorithm;QI Xingguang et al;《2013IEEE International Conference on Information and Automation》;第694-698页 * |
| 基于BP神经网络的纸张缺陷检测与识别研究;段茵 等;《西安理工大学学报》(第02期);第113-117页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113284122A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| Khan et al. | Real-time plant health assessment via implementing cloud-based scalable transfer learning on AWS DeepLens | |
| CN111091175A (zh) | 神经网络模型训练方法、分类方法、装置和电子设备 | |
| CN113657560B (zh) | 基于节点分类的弱监督图像语义分割方法及系统 | |
| CN115953665B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN113284122B (zh) | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN114861842B (zh) | 少样本目标检测方法、装置和电子设备 | |
| CN115019181B (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN112836653A (zh) | 人脸隐私化方法、设备、装置及计算机存储介质 | |
| CN116977844A (zh) | 一种轻量级水下目标实时检测方法 | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 | |
| CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
| CN112070181B (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
| CN112991281B (zh) | 视觉检测方法、系统、电子设备及介质 | |
| Garcia-Perez et al. | Efficient detection of longitudinal bacteria fission using transfer learning in deep neural networks | |
| CN112597997A (zh) | 感兴趣区域确定方法、图像内容识别方法及装置 | |
| CN112364916A (zh) | 基于迁移学习的图像分类方法、相关设备及存储介质 | |
| CN109886105B (zh) | 基于多任务学习的价格牌识别方法、系统及存储介质 | |
| CN116189130A (zh) | 基于图像标注模型的车道线分割方法及装置 | |
| CN113177970B (zh) | 基于自适应特征融合的多尺度滤波目标跟踪方法 | |
| CN113592807A (zh) | 一种训练方法、图像质量确定方法及装置、电子设备 | |
| Chen et al. | Capture the Devil in the Details via Partition-then-Ensemble on Higher Resolution Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |