CN115965816B - 基于深度学习的玻璃缺陷分类与检测方法及系统 - Google Patents

Abstract

本申请公开了一种基于深度学习的玻璃缺陷分类与检测方法及系统，涉及玻璃缺陷识别的技术领域。该方法包括：获取待分类、待检测的玻璃原始图像；对所述待分类、待检测的玻璃原始图像进行预处理操作；基于VGG‑16网络并修改网络最后的全连接层，使VGG‑16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果；通过VGG‑16网络分段微调策略充分保留了已预训练完成的参数，同时也能针对不同的玻璃缺陷检测目的做更充分训练，从而提高深度学习网络对玻璃缺陷检测的准确率。

Description

基于深度学习的玻璃缺陷分类与检测方法及系统

技术领域

本申请属于玻璃缺陷识别的技术领域，尤其涉及一种基于深度学习的玻璃缺陷分类与检测方法及系统。

背景技术

玻璃生产过程中经常出现表面不平整或内部含有气泡和杂质等玻璃缺陷。由于这些缺陷很多并不明显，使用人工检测往往会出现漏检、错检的错误，给汽车挡风玻璃、液晶显示器和电脑显示器等高精密平板玻璃的玻璃等级划分和选择带来很大的麻烦。基于这种情况，迫切需要一种更自动化并有效的检测方法。

目前，部分机器学习算法已成功应用至玻璃缺陷检测中。Zhao等人在2011年发表的A method for detection and classification of glass defects in lowresolution images(一种低分辨率图像中玻璃缺陷的检测和分类方法)中使用SVM和经典机器视觉算法来解决玻璃缺陷检测问题。这个工作依赖手工特征提取，例如前景二值化，并假设非常严格的条件才能成功运作。Tabernik等人在2019年发表的Segmentation-baseddeep-learning approach for surface-defect detection(基于分割的深度学习方法用于表面缺陷检测)中提出了一种深度神经网络架构，该架构允许对图像表面进行分割，然后将提取的特征传递给决策网络以检测表面裂纹。这种方法改善了检测结果，但是所提出的方法只关注裂纹检测。

发明内容

有鉴于此，本申请提供一种基于深度学习的玻璃缺陷分类与检测方法及系统，目的在于(1)实现玻璃缺陷的自动分类，训练深度学习网络提取玻璃全局特征并进行缺陷类型的识别；(2)实现玻璃缺陷的精确检测，利用训练好的玻璃缺陷分类网络，进一步训练深度学习网络对缺陷的位置进行精确的定位，标记检测出的缺陷位置与类别。

为实现上述目的，本申请采用的技术方案为：

一方面，本申请提供了一种基于深度学习的玻璃缺陷分类与检测方法，所述方法应用于计算机设备当中，所述方法包括以下步骤：

S1、获取待分类、待检测的玻璃原始图像；

S2、对所述待分类、待检测的玻璃原始图像进行预处理操作；

S3、基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；

S4、基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；

S5、通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。

进一步地，所述步骤S2包括：将所述玻璃原始图像的尺寸进行裁剪以及缩放。

进一步地，所述步骤S3包括：将VGG-16网络最后的全连接层分出两个分支，分别输出包含的缺陷数目以及缺陷种类；修改全连接层后，损失函数修改为：

其中，L₁表示玻璃缺陷分类网络损失函数的值；表示判断内部等式是否成立的函数，若内部等式成立则为1，否则为0；n表示玻璃包含缺陷种类的数目；y_i表示该玻璃图片是否包含i种缺陷；a_i表示网络预测该玻璃图片包含i种缺陷的概率；y′_i表示该玻璃图片是否包含第i类缺陷；a′_i表示网络预测该玻璃图片包含第i类缺陷的概率。

进一步地，所述步骤S3还包括：利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对VGG-16的卷积层与全连接层使用不同的学习率来学习得到玻璃缺陷分类网络；调整后的学习策略为：

其中，θ_conv表示卷积层的所有参数；α_conv表示卷积层训练时的学习率；θ_fc表示全连接层的所有参数；α_fc表示全连接层训练时的学习率。

进一步地，所述步骤S4中，所述进一步训练玻璃缺陷检测网络，包括：

采用编码器解码器结构设计玻璃缺陷检测网络，将训练好的玻璃缺陷分类网络中的卷积层作为编码层，解码层用于不断提高特征图的大小，最终输出与原始输入玻璃图像尺寸一致的玻璃缺陷检测图；玻璃缺陷检测网络的损失函数为：

其中，L₂表示玻璃缺陷检测网络损失函数的值；n表示玻璃缺陷类别数目；表示判断内部等式是否成立的函数；Γ(·)用于计算内部像素最大值所在的维度；(w，h)表示图像像素点位置；W表示图像宽度；H表示图像高度；p_i表示该像素是否包含第i类缺陷；b_i表示网络预测该像素包含第i类缺陷的概率。

进一步地，所述步骤S4还包括：利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，结合分段微调策略，对玻璃缺陷检测网络中的编码层与解码层采用不同的学习率来训练网络；学习策略为：

其中，θ_enc表示编码层的所有参数；β_enc表示编码层训练时的学习率；θ_dec表示解码层的所有参数；β_dec表示解码层训练时的学习率。

进一步地，所述步骤S5包括：将所述玻璃图像输入到训练好的玻璃缺陷检测网络中，得到玻璃缺陷检测结果；其中，所述检测结果为图像格式，所述图像的每一个像素值表示原始图像对应位置为无缺陷，或有缺陷及对应的缺陷种类。

另一方面，本申请还提供了一种根据上述任一所述的基于深度学习的玻璃缺陷分类与检测方法的系统，包括：

获取模块，用于获取待分类、待检测的玻璃原始图像；

图像预处理模块，用于对所述待分类、待检测的玻璃原始图像进行预处理操作；

识别模块，用于基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；

检测模块，用于基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；

输出模块，用于通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。

本申请提供的技术方案带来的有益效果至少包括：

本申请通过获取待分类、待检测的玻璃原始图像；对所述待分类、待检测的玻璃原始图像进行预处理操作；基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；最后通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。实现了通过VGG-16网络分段微调策略充分保留了已预训练完成的参数，同时也能针对不同的玻璃缺陷检测目的去做更充分的训练，从而提高深度学习网络对玻璃缺陷检测的准确率。

附图说明

图1示出了本申请一个示例性实施例提供的基于深度学习的玻璃缺陷分类与检测方法的流程示意图；

图2示出了本申请一个示例性实施例提供的基于深度学习的玻璃缺陷分类与检测方法的玻璃缺陷分类网络示意图；

图3示出了本申请一个示例性实施例提供的基于深度学习的玻璃缺陷分类与检测方法的玻璃缺陷检测网络示意图；

图4示出了本申请一个示例性实施例提供的基于深度学习的玻璃缺陷分类与检测方法的系统框图。

具体实施方式

下面结合附图对本申请作进一步的说明，但不以任何方式对本申请加以限制，基于本申请教导所作的任何变换或替换，均属于本申请的保护范围。为了实现上述目的，本申请采用了如下技术方案：

实施例1：

图1示出了本申请一个示例性实施例提供的基于深度学习的玻璃缺陷分类与检测方法的流程示意图，该方法应用于计算机设备当中，该方法包括以下步骤：

S1、获取待分类、待检测的玻璃原始图像。

可选的，通过手机摄像头或其他具有拍摄功能的摄像头获取待分类、待检测的玻璃原始图像；拍摄设备的易获取性与简单操作性能减少物力和人力的消耗，从而提高玻璃缺陷检测的效率。

S2、对所述待分类、待检测的玻璃原始图像进行预处理操作。

可选的，由于直接从摄像头获取到的图片尺寸可能不一致，需要对原始玻璃图片进行裁剪、缩放等操作，使得所有输入图片的尺寸为224×224像素，满足使用VGG-16作为预训练网络的要求。

S3、基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类。

S31、计算网络的输出。

具体地，将待检测图片输入网络后，首先计算经过玻璃缺陷分类网络卷积层和全连接层的两个分支的结果：

h,h′＝fc(conv(x))

其中，h表示全连接层第一个分支输出结果，代表玻璃图片包含缺陷种类的数目的概率；h′表示全连接层第二个分支输出结果，代表玻璃图片具体包含的不同缺陷的概率；x表示待检测玻璃图片；conv表示玻璃缺陷分类网络卷积层；fc表示玻璃缺陷分类网络全连接层；conv和fc所包含的部分如图2所示。

需要说明的是，卷积层参数直接使用VGG-16预训练模型中已训练好的参数，全连接层的参数则需进行随机初始化。同时，为了针对玻璃缺陷检测的需求，VGG-16的最后一层全连接层被修改为两个不同的分支，用于分别输出玻璃图片种包含的缺陷数目以及玻璃缺陷中存在的亮斑、暗斑和亮带三类缺陷。

获得卷积层和全连接层的结果后，联合softmax与sigmoid函数计算网络预测的待检测图片包含缺陷的数目以及各类缺陷的概率：

其中，y表示该玻璃图片包含几种缺陷，0为包含0种缺陷，1为包含1种缺陷，2为包含2种缺陷，3为包含3种缺陷；y′表示该玻璃图片包含的缺陷种类，0为无缺陷，1为包含亮斑，2为包含暗斑，3为包含亮带。

具体的，softmax函数是一个能够将任意实数的多维向量压缩到同等维度的新的向量中，同时新的向量的每一个元素的范围都是0-1之间，并且所有元素的和为1的函数。sigmoid函数是一个能将变量映射到0-1之间的函数。

S32、计算损失函数。

详细而言，获得玻璃缺陷分类网络预测的该待检测图片包含各类缺陷的可能性后，网络的损失函数计算为：

其中，L₁表示玻璃缺陷分类网络损失函数的值；表示判断内部等式是否成立的函数，若内部等式成立则为1，否则为0；y_i表示该玻璃图片是否包含i种缺陷；a_i表示网络预测该玻璃图片包含i种缺陷的概率；y′_i表示该玻璃图片是否包含第i类缺陷；a′_i表示网络预测该玻璃图片包含第i类缺陷的概率。

S33、分段微调更新网络参数。

在本申请实施例中，利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对VGG-16的卷积层与全连接层使用不同的学习率来学习得到玻璃缺陷分类网络。根据梯度下降法迭代更新玻璃缺陷分类网络的参数为：

其中，θ_conv表示卷积层的所有参数；α_conv表示卷积层训练时的学习率，为0.001；θ_fc表示全连接层的所有参数；α_fc表示全连接层训练时的学习率.为0.01。梯度下降法是一个优化算法，用于求解函数的参数以达到该函数的局部极小值。

卷积层较小的学习率能充分维持VGG-16在ImageNet数据集上已训练完成的参数，同时，全连接层较大的学习率则能令玻璃缺陷分类网络适应玻璃图片的特点学习相应的参数。

S4、基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络。

S41、计算网络的输出。

在本申请实施例中，如图3所示，玻璃缺陷检测网络的编码层直接取自玻璃缺陷分类网络的卷积层部分，并采用对称式设计构造玻璃缺陷检测网络的解码层，网络的输出为：

k＝dec(enc(x))

其中，x表示待检测玻璃图片；enc表示玻璃缺陷检测网络编码层；dec表示玻璃缺陷检测网络解码层；

需要说明的是，编码层参数直接使用玻璃缺陷分类网络卷积层已训练好的参数，解码层的参数则需进行随机初始化。

获得编码层和解码层的结果后，使用sofrmax函数计算网络预测的待检测图片每一个像素包含各类缺陷的概率：

其中，p表示该玻璃图片像素是否包含的缺陷种类，0为无缺陷，1为包含亮斑，2为包含暗斑，3为包含亮带；k表示解码器层的输出结果，用于表示玻璃图片像素具体包含的不同缺陷的概率；(w，h)表示图像像素所在位置。

S42、计算损失函数。

具体地，获得玻璃缺陷检测网络预测的该待检测图片每一个像素包含各类缺陷的可能性后，从每个像素预测的准确性与对整张图片预测出的缺陷面积的准确性两个角度计算网络的损失函数，具体的计算方式为：

其中，L₂表示玻璃缺陷检测网络损失函数的值；表示判断内部等式是否成立的函数，若内部等式成立则为1，否则为0；Γ(·)用于计算内部像素最大值所在的维度，在该公式中返回0，1，2，3中的一个数字；(w，h)表示图像像素点位置；W表示图像宽度；H表示图像高度；p_i表示该像素是否包含第i类缺陷；b_i表示网络预测该像素包含第i类缺陷的概率。

S43、分段微调更新网络参数。

详细地，结合分段微调策略，对玻璃缺陷检测网络中的编码层与解码层采用不同的学习率来训练网络。学习策略为：

其中：θ_enc表示编码层的所有参数；β_enc表示编码层训练时的学习率，为0.001；θ_dec表示解码层的所有参数；β_dec表示解码层训练时的学习率，为0.01。

编码层较小的学习率能充分维持玻璃缺陷分类网络已训练完成的参数，考虑玻璃图片的整体特征，同时，解码层较大的学习率则能令玻璃缺陷检测网络学习玻璃图片的局部特征，从而预测每一个像素所包含的缺陷种类和相应的可能性。

S5、通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。

在本申请实施例中，将待检测的原始玻璃图片输入到玻璃缺陷检测网络后，输出的是与输入图片大小一致的检测结果图片，图片中的每一个像素值范围为0，1，2，3，分别代表无缺陷，亮斑，暗斑，亮带，从而指示出玻璃所含缺陷的具体位置与类别。使用查准率Precision和查全率Recall来衡量检测的结果，两种指标的计算方式为：

TP表示被识别为存在缺陷，实际上也是存在缺陷的像素数目，FP表示被判定为存在缺陷但是实际上不存在缺陷的像素数目，FN表示被判定为不存在缺陷，但实际上是存在缺陷的像素数目。

效果验证：

查准率Precision反映的是被识别出存在缺陷并且实际也是存在缺陷的样本在所有被识别为存在缺陷的样本中所占的比例，能够表示识别的准确性。查全率Recall反映的是被识别出存在缺陷并且实际也是存在缺陷的样本在所有实际存在缺陷的样本中所占的比例，能够表示识别的全面性。

表1：

对比例1：

与实施例1基本相同，区别在于，没有步骤S3，直接使用VGG-16训练好的参数分段训练玻璃缺陷检测网络。

对比例2：

与实施例1基本相同，区别在于，网络的损失仅计算每个像素预测的准确性，不计算对整张图片预测出的缺陷面积的准确性。

结合上述表1，本申请以高查准率和查全率完成了检测任务，可以看出玻璃缺陷检测模型在检测玻璃图片的缺陷上有着十分精确的效果。

需要说明的是，上述本申请实施例为了描述清晰，举例了三种玻璃缺陷类别，但本申请可根据实际情况调整玻璃缺陷的种类和数量。

综上所述，本申请提供的基于深度学习的玻璃缺陷分类与检测方法一方面实现了玻璃缺陷的自动分类，训练深度学习网络提取玻璃全局特征并进行缺陷类型的识别；另一方面，实现了玻璃缺陷的精确检测，利用训练好的玻璃缺陷分类网络，进一步训练深度学习网络对缺陷的位置进行精确的定位，标记检测出的缺陷位置与类别。

图4示出了本申请一个示例性实施例提供的基于深度学习的玻璃缺陷分类与检测方法的系统框图，所述系统适用于上述任一所述的基于深度学习的玻璃缺陷分类与检测方法，所述系统包括：

获取模块401，用于获取待分类、待检测的玻璃原始图像；

图像预处理模块402，用于对所述待分类、待检测的玻璃原始图像进行预处理操作；

图像预处理模块402，还用于将所述玻璃原始图像的尺寸进行裁剪以及缩放；

识别模块403，用于基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；

识别模块403，还用于将VGG-16网络最后的全连接层分出两个分支，分别输出包含的缺陷数目以及缺陷种类；

识别模块403，还用于利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对VGG-16的卷积层与全连接层使用不同的学习率来学习得到玻璃缺陷分类网络；

检测模块404，用于基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；

检测模块404，还用于采用编码器解码器结构设计玻璃缺陷检测网络，将训练好的玻璃缺陷分类网络中的卷积层作为编码层，解码层用于不断提高特征图的大小，最终输出与原始输入玻璃图像尺寸一致的玻璃缺陷检测图；

检测模块404，还用于利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，结合分段微调策略，对玻璃缺陷检测网络中的编码层与解码层采用不同的学习率来训练网络；

输出模块405，用于通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果；

输出模块405，还用于将所述玻璃图像输入到训练好的玻璃缺陷检测网络中，得到玻璃缺陷检测结果；其中，所述检测结果为图像格式，所述图像的每一个像素值表示原始图像对应位置为无缺陷，或有缺陷及对应的缺陷种类。

在本申请实施例中，该基于深度学习的玻璃缺陷分类与检测方法的系统可以包括客户端和服务器。所述客户端可以是具有网络访问能力的电子设备。具体的，例如，客户端可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中，智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。或者，客户端也可以为能够运行于所述电子设备中的软件。服务器可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。当然，所述服务器也可以是指运行于所述电子设备中的软体。所述服务器还可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者，服务器还可以为若干服务器形成的服务器集群。或者，随着科学技术的发展，服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如，可以是基于量子计算实现的新形态的“服务器”。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述任一实施方式中的基于深度学习的玻璃缺陷分类与检测方法。

本申请还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述任一实施方式中的基于深度学习的玻璃缺陷分类与检测方法。

可以理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本公开，而非限制本发明的范围。

可以理解，在本说明书中的各种实施方式中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开的实施过程构成任何限定。

可以理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本公开对此并不限定。

除非另有说明，本申请所使用的所有技术和科学术语与本说明书的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在限制本说明书的范围。本说明书所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。在本申请和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

可以理解，本申请的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施方式的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施方式描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。

在本说明书所提供的几个实施方式中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本说明书各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本说明书的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本说明书的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述方法应用于计算机设备当中，所述方法包括以下步骤：

S1、获取待分类、待检测的玻璃原始图像；

S2、对所述待分类、待检测的玻璃原始图像进行预处理操作；

S3、基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；

将VGG-16网络最后的全连接层分出两个分支，分别输出包含的缺陷数目以及缺陷种类；修改全连接层后，损失函数修改为：

其中，L₁表示玻璃缺陷分类网络损失函数的值；表示判断内部等式是否成立的函数，若内部等式成立则为1，否则为0；n表示玻璃包含缺陷种类的数目；y_i表示该玻璃图片是否包含i种缺陷；a_i表示网络预测该玻璃图片包含i种缺陷的概率；y_i ^′表示该玻璃图片是否包含第i类缺陷；a^′ _i表示网络预测该玻璃图片包含第i类缺陷的概率；

利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对VGG-16的卷积层与全连接层使用不同的学习率来学习得到玻璃缺陷分类网络；调整后的学习策略为：

其中，表示偏微分；θ_conv表示卷积层的所有参数；α_conv表示卷积层训练时的学习率；θ_fc表示全连接层的所有参数；α_fc表示全连接层训练时的学习率；

S4、基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络，包括：

采用编码器解码器结构设计玻璃缺陷检测网络，将训练好的玻璃缺陷分类网络中的卷积层作为编码层，解码层用于不断提高特征图的大小，最终输出与原始输入玻璃图像尺寸一致的玻璃缺陷检测图；玻璃缺陷检测网络的损失函数为：

其中，L₂表示玻璃缺陷检测网络损失函数的值；n表示玻璃缺陷类别数目；表示判断内部等式是否成立的函数；Γ(·)用于计算内部像素最大值所在的维度；(w，h)表示图像像素点位置；W表示图像宽度；H表示图像高度；p_i表示该像素是否包含第i类缺陷；b_i表示网络预测该像素包含第i类缺陷的概率；

S5、通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。

2.根据权利要求1所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S2包括：将所述玻璃原始图像的尺寸进行裁剪以及缩放。

3.根据权利要求1所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S4还包括：利用VGG-16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对玻璃缺陷检测网络中的编码层与解码层采用不同的学习率来训练网络；学习策略为：

其中，θ_enc表示编码层的所有参数；β_enc表示编码层训练时的学习率；θ_dec表示解码层的所有参数；β_dec表示解码层训练时的学习率。

4.根据权利要求1所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S5包括：

将所述玻璃图像输入到训练好的玻璃缺陷检测网络中，得到玻璃缺陷检测结果；其中，所述检测结果为图像格式，所述图像的每一个像素值表示原始图像对应位置为无缺陷，或有缺陷及对应的缺陷种类。

5.一种根据权利要求1-4任意一项所述的基于深度学习的玻璃缺陷分类与检测方法的系统，其特征在于，包括：

获取模块，用于获取待分类、待检测的玻璃原始图像；

图像预处理模块，用于对所述待分类、待检测的玻璃原始图像进行预处理操作；

识别模块，用于基于VGG-16网络并修改网络最后的全连接层，使VGG-16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；

检测模块，用于基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；

输出模块，用于通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。