CN112686896B - 基于分割网络的频域空间结合的玻璃缺陷检测方法 - Google Patents

Abstract

本申请公开了一种基于分割网络的频域空间结合的玻璃缺陷检测方法，包括如下步骤：构建包含玻璃缺陷图像的图像数据集，并对所述图像数据集中的对象进行灰度处理，得到预训练数据模型；采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征；处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点；采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集；应用所述预训练数据模型对所述测试数据集进行训练分类，得出检测结果。本申请可有效提高玻璃检测的效率，缩短检测时间且提高产品良品率，并且有效降低人工成本的投入。

Description

基于分割网络的频域空间结合的玻璃缺陷检测方法

技术领域

本申请涉及视觉识别处理技术领域，特别是涉及一种基于分割网络的频域空间结合的玻璃缺陷检测方法。

背景技术

随着工业科技的不断发展和进步，用户和生产企业对产品质量的要求越来越高，除要求满足使用性能外，还要有良好的外观，即良好的表面质量。但是，在制造产品的过程中，表面缺陷的产生往往是不可避免的，比如说玻璃制品的气泡，斑块，开裂，点蚀表面，内含物和划痕等等。人工检测是产品表面缺陷的传统检测方法，该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，而基于机器视觉的检测方法可以很大程度上克服上述弊端，同时能够有效提高检测效率，降低人工成本，但目前还缺少针对性的检测方式来实现玻璃缺陷的机器识别。

发明内容

本申请的目的在于克服上述问题，提供了一种基于分割网络的频域空间结合的玻璃缺陷检测方法，可有效提高玻璃检测的效率，缩短检测时间且提高产品良品率，并且有效降低人工成本的投入。

根据本申请的一个方面，提供了一种基于分割网络的频域空间结合的玻璃缺陷检测方法，包括如下步骤：

构建包含玻璃缺陷图像的图像数据集，并对所述图像数据集中的对象进行灰度处理，得到预训练数据模型；

采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征；

对处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点；

采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集；

应用所述预训练数据模型对所述测试数据集进行训练分类，得出检测结果。

可选地，在采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征时，是采用傅里叶变换对图像进行采样和量化，并采用函数f(x,y)以频率域表征图像，进而得出图像中的频率特征。

可选地，所述函数f(x,y)包括多个正弦函数，各个正弦函数具有独立的频率作为一所述频率特征。

可选地，对处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点的过程中，是通过全卷积网络对图像中每个像素点进行反卷积，以其中出现的高维高频变化的特征作为特征点。

可选地，通过全卷积网络对图像中每个像素点进行反卷积的过程还包括通过卷积神经网络对具有所述特征点的特征图进行上采样，得到与原始图大小相同的若干个特征图输出。

可选地，采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集的过程中，对所述若干个特征图输出进行多次卷积操作，将特征图输出进行缩小进而得到所述测试数据集。

特别地，本发明还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明还提供了一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。所述计算机可读存储介质优选为非易失性可读存储介质。

本申请的基于分割网络的频域空间结合的玻璃缺陷检测方法，其在检测过程中，采用空间频域分析，空间频域分析使用离散傅里叶变换可以化复杂的卷积运算为简单的乘积运算，从而提供了计算卷积的一种简单手段，离散形式的傅里叶变换可以利用数字计算机快速的算出，从而加快本算法的速度。

进一步地，本申请对于玻璃制品图像进行测试数据集的建立，是采用的卷积神经网络进行反卷积处理再进行图像分割，卷积层均采用相同的卷积核参数，使用更多的卷积串联，卷积串联比单独使用一个较大的卷积核，拥有更少的参数量，同时会比单独一个卷积层拥有更多的非线性变换，从而更准确的对训练数据模型进行分类。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的基于分割网络的频域空间结合的玻璃缺陷检测方法流程图；

图2是根据本申请另一个实施例的计算设备结构图；

图3是根据本申请另一个实施例的计算机可读存储介质结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种基于分割网络的频域空间结合的玻璃缺陷检测方法，包括如下步骤：

构建包含玻璃缺陷图像的图像数据集，并对所述图像数据集中的对象进行灰度处理，得到预训练数据模型；

采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征；

对处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点；

采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集；

应用所述预训练数据模型对所述测试数据集进行训练分类，得出检测结果。

在一实施例中，在采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征时，是采用傅里叶变换对图像进行采样和量化，并采用函数f(x,y)以频率域表征图像，进而得出图像中的频率特征。而所述函数f(x,y)包括多个正弦函数，各个正弦函数具有独立的频率作为一所述频率特征。

进一步地，对处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点的过程中，是通过全卷积网络对图像中每个像素点进行反卷积，以其中出现的高维高频变化的特征作为特征点。通过全卷积网络对图像中每个像素点进行反卷积的过程还包括通过卷积神经网络对具有所述特征点的特征图进行上采样，得到与原始图大小相同的若干个特征图输出。

在另一实施例中，采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集的过程中，对所述若干个特征图输出进行多次卷积操作，将特征图输出进行缩小进而得到所述测试数据集。

在一具体处理玻璃缺陷检测的案例中，包括如下处理步骤:

1、构建包含玻璃缺陷图像的图像数据集。采用的数据集收集了玻璃的六种典型表面缺陷，即气泡，斑块，开裂，点蚀表面，内含物和划痕。该数据库包括1000个灰度图像：六种不同类型的典型表面缺陷，每一类缺陷包含200个样本。对于缺陷检测任务，数据集提供了注释，指示每个图像中缺陷的类别和位置。

2、用相机采集待检测的玻璃制品的图像，用频域结合空间的概念来处理图像。其实频域就是用波动观点看世界，看问题角度变了，光经过镜头其实发生的是傅立叶变换，此思想在傅立叶光学上有所阐述，就像光经棱镜分光，而光进入计算机内部，进行了采样和量化，然后我们用函数f(x,y)来表示这些数据描述。图像处理应用傅里叶变换就是将空间域（图像本身）转换至频率域。傅里叶变换可以将一个信号函数，分解一个一个三角函数的线性组合。由于任何周期函数都可以由多个正弦函数构成，图像由f(x,y)来表示，可以拆成多个正弦函数构成，这样每个正弦函数都有一个自己的频率。

3、提取频率作为图像的特征进行分析，频率特征是图像的灰度变化特征，低频特征是灰度变化不明显，例如图像整体轮廓，高频特征是图像灰度变化剧烈，如图像边缘和噪声。低频代表图像整体轮廓，高频代表了图像噪声，中频代表图像边缘、纹理等细节。

4、使用离散形式的傅里叶变换进行图片频域分析。

1）具有一定纹理特征的图像，纹理可以理解为条纹。

2）需要提取对比度低或者信噪比低的特征。

3）图像尺寸较大或者需要与大尺寸滤波器进行计算，此时转换至频域计算，具有速度优势。因为空间域滤波为卷积过程（加权求和），频域计算直接相乘。

5、载入相关模块matplotlib，numpy，下载已经训练好的模型文件，图像分割网络进行下采样+上采样：Convlution + Deconvlution／Resize。

6、多尺度特征融合：特征逐点相加／特征channel维度拼接。

7、导入测试图像，获得像素级别的segement map：对每一个像素点进行判断类别提出了全卷积网络。此处是将全连接网络替换成了全卷积网络，使得网络可以接受任意大小的图片，并输出和原图一样大小的分割图。只有这样，才能为每个像素做分类。

8、使用了反卷积层（Deconvolution）。分类神经网络的特征图一般只有原图的几分之一大小。想要映射回原图大小必须对特征图进行上采样，这就是反卷积层的作用，是从小的特征图卷出大的特征图，从而准确识别图像，有更好的分类效果。

9、经过前面操作，基本就能实现图像语义分割，但是直接将全卷积后的heatMap结果进行反卷积，得到的结果往往比较粗糙。因此采用vgg16对原图像进行卷积conv1、pool1后原图像缩小为1/2；之后对图像进行第二次conv2、pool2后图像缩小为1/4；接着继续对图像进行第三次卷积操作conv3、pool3缩小为原图像的1/8，此时保留pool3的featureMap；接着继续对图像进行第四次卷积操作conv4、pool4，缩小为原图像的1/16，保留pool4的featureMap；最后对图像进行第五次卷积操作conv5、pool5，缩小为原图像的1/32，然后把原来CNN（ConvolutionalNeuralNetworks）操作中的全连接变成卷积操作conv6、conv7，图像的featureMap数量改变但是图像大小依然为原图的1/32，此时得到heatMap。

10、应用模型文件的处理，也就是通过应用所述预训练数据模型对所述测试数据集进行训练分类，对图像分类并输出结果，确定玻璃缺陷的判定结果以及缺陷类型。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请实施例还提供了一种计算设备，参照图2，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图3，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘Solid State Disk(SSD)）等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性（英文：non-transitory）介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带（英文：magnetic tape），软盘（英文：floppy disk），光盘（英文：optical disc）及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于分割网络的频域空间结合的玻璃缺陷检测方法，其特征在于，包括如下步骤：

构建包含玻璃缺陷图像的图像数据集，并对所述图像数据集中的对象进行灰度处理，得到预训练数据模型；

采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征；在采集玻璃制品的图像，再通过频域结合空间分析处理所采集的图像，得到图像的频率特征时，是采用傅里叶变换对图像进行采样和量化，并采用函数f(x,y)以频率域表征图像，进而得出图像中的频率特征；所述函数f(x,y)包括多个正弦函数，各个正弦函数具有独立的频率作为一所述频率特征；

提取频率作为图像的特征进行分析，频率特征是图像的灰度变化特征，低频特征是灰度变化不明显，高频特征是图像灰度变化剧烈，低频代表图像整体轮廓，高频代表了图像噪声，中频代表图像边缘、纹理；

使用离散形式的傅里叶变换进行图片频域分析：1）具有一定纹理特征的图像，纹理可以理解为条纹；2）需要提取对比度低或者信噪比低的特征；3）图像尺寸较大或者需要与大尺寸滤波器进行计算，此时转换至频域计算，因为空间域滤波为卷积过程，频域计算直接相乘；

载入相关模块matplotlib，numpy，下载已经训练好的模型文件，图像分割网络进行下采样+上采样；

多尺度特征融合：特征逐点相加／特征channel维度拼接；

导入测试图像，获得像素级别的segement map；

对处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点；

采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集；

应用所述预训练数据模型对所述测试数据集进行训练分类，得出检测结果。

2.根据权利要求1所述的基于分割网络的频域空间结合的玻璃缺陷检测方法，其特征在于，对处理后的图像进行反卷积处理，提取图像中的高维特征作为特征点的过程中，是通过全卷积网络对图像中每个像素点进行反卷积，以其中出现的高维高频变化的特征作为特征点。

3.根据权利要求2所述的基于分割网络的频域空间结合的玻璃缺陷检测方法，其特征在于，通过全卷积网络对图像中每个像素点进行反卷积的过程还包括通过卷积神经网络对具有所述特征点的特征图进行上采样，得到与原始图大小相同的若干个特征图输出。

4.根据权利要求3所述的基于分割网络的频域空间结合的玻璃缺陷检测方法，其特征在于，采用卷积神经网络对待检测图像中的所述特征点进行分割训练，得到测试数据集的过程中，对所述若干个特征图输出进行多次卷积操作，将特征图输出进行缩小进而得到所述测试数据集。

5.一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的方法。

6.一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1-4中任一项所述的方法。

Images