CN114445317A - 检测方法、检测系统、设备和介质 - Google Patents

Abstract

本发明实施例提供一种检测方法、检测系统、设备和介质，所述检测方法包括：获得检测图片；对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；融合所述空间特征数据和所述细节特征数据，获得图片数据；基于所述图片数据，判断缺陷信息。本发明实施例可以提高检测精度。

Description

检测方法、检测系统、设备和介质

技术领域

本发明实施例涉及图像识别技术领域，尤其涉及一种检测方法、检测系统、设备和介质。

背景技术

织物材料加工过程中，容易在布料表面形成一定的瑕疵。参考图1和图2，分别示出了两种带有瑕疵的布料示意图。图1中布料表面上有一条较长的拼缝瑕疵10。图2中布料表面有一个不太明显的污点瑕疵20。

现有技术会对织物材料加工程序中布料进行图像采集，获得输入图像，之后针对输入图像进行分析以实现瑕疵检验。但是现有的瑕疵检测存在精度不够的问题。具体地说，图2中的矩形框30为现有检测方法输出的瑕疵检测结果，然而布料上的污点瑕疵20并没有位于矩形框30的范围内，也就是说，所述方法并没有准确地把污点瑕疵20检测到。

除了织物表面缺陷，图像识别还可应用到其他产品(例如：金属、塑料模具、汽车组件、机械零件等)的缺陷识别中。此外，图像识别技术还可以在票据、车牌、人脸识别等场景中应用，然而在其他应用场景中也同样存在检测精度不符合要求的问题。

发明内容

本发明解决的问题是提供一种检测方法、检测系统、设备和介质，提高检测精度。

本发明技术方案提供一种检测方法，包括：获得检测图片；对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；融合所述空间特征数据和所述细节特征数据，获得图片数据；基于所述图片数据，判断缺陷信息。

可选地，融合所述空间特征数据和所述细节特征数据，获得图片数据的步骤包括：基于一预设权重融合所述空间特征数据和所述细节特征数据，获得图片数据。

可选地，在获得检测图片之前，所述检测方法还包括：建模步骤，包括：获得样本图片；对所述样本图片进行所述第一卷积神经网络处理，获得样本空间特征数据；对所述样本图片进行所述第二卷积神经网络处理，获得样本细节特征数据；基于初始权重，融合所述样本空间特征数据和样本细节特征数据，获得样本图片数据，完成一次训练；通过多次训练不断调整所述初始权重，在所述样本图片数据的损失符合规格值时，以调整后的权重作为预设权重。

可选地，所述获得样本图片的步骤包括：获得原始样本图片，将所述原始样本图片转化为掩码图；对所述掩码图进行灰度处理，获得灰度图，以所述灰度图和所述原始样本图片作为样本图片。

可选地，所述获得检测图片的步骤包括：获得原始图片；对所述原始图片进行等量切割，获得多个检测图片；基于所述图片数据，判断检测图片上的缺陷信息的步骤包括：对多个检测图片对应的图片数据进行合并，基于合并后的数据判断缺陷的位置和/或种类。

可选地，获得原始图片之后，进行等量切割之前，还包括：对所述原始图片进行预处理，以强化图片的特征信息。

可选地，所述预处理包括：图片膨胀或图片腐蚀；或者，所述预处理为高斯滤波处理。

可选地，所述第一卷积神经网络为带有直连结构的网络。

可选地，所述第二卷积神经网络包括VGG网络，所述第一卷积神经网络包括MobileNet V2网络；或者，所述第一卷积神经网络包括Mobilenet V2网络，以及，特征图像金字塔，用于对Mobilenet V2网络输出的数据进行处理；或者，所述第一卷积神经网络包括ResNet 50网络、特征图像金字塔和全卷积网络。

相应地，本发明实施例还提供一种检测系统，包括：第一图片获取单元，用于获得检测图片；语义单元，用于对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；细节单元，用于对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；融合单元，用于融合所述空间特征数据和所述细节特征数据，获得图片数据；判断单元，用于根据所述图片数据，判断缺陷信息。

相应地，本发明实施例还提供一种设备，包括本发明实施例提供的所述检测系统。

可选地，还包括：采样装置，用于对待检测物进行拍照；所述第一图片获取单元用于从所述采样装置获得原始图片。

可选地，所述采样装置为照相机，所述设备还包括：运输平台，用于运输所述待检测对象；所述照相机设置在所述运输平台上，对待检测对象进行拍照；所述检测系统用于根据所述照相机获得的待检测对象的图片，判断待检测对象上的缺陷类型和/或位置。

相应地，本发明实施例还提供一种介质，其上存储有计算机指令，其特征在于，所述计算机指令运行本发明实施例所述检测方法的步骤。

与现有技术相比，本发明的技术方案具有以下优点：

本发明技术方案中通过卷积神经网络(Convolutional Neural Networks,CNN)深度学习的方法对检测图片进行图像识别，以获得检测图片上的缺陷信息，本发明实施例通过对一张检测图片，进行第一、第二卷积神经网络处理，分别获得空间、细节特征数据；从而使结合后得到的图片数据既包含了空间信息也没有丢失细节信息，因此本发明实施例检测方法在保证处理效率的基础上能获得较高的缺陷检测精度。

附图说明

图1为一种带有瑕疵的布料示意图；

图2为另一种带有瑕疵的布料示意图；

图3为本发明检测方法一实施例的流程示意图；

图4为图3中步骤S1检测图片101的示意图；

图5为图3中步骤2的一第一卷积神经网络的示意图；

图6为图3中步骤2的另一第一卷积神经网络的示意图；

图7为图3中步骤4的融合步骤的示意图；

图8的a图和b图分别示意出了现有技术检测方法和本发明检测方法的输出结果的对比图；

图9是本发明检测系统一实施例的功能框图；

图10是本发明设备一实施例的功能框图。

具体实施方式

如背景技术所述，现有技术布料瑕疵检测存在检测精度不高的问题，结合图1和图2分析现有技术图像处理存在的问题。

现有技术对输入图像进行的图像处理包括高斯滤波等算法，这些图像算法需要根据不同图片进行参数的调整。如图1中拼缝瑕疵10的尺寸较大，而图2中污点瑕疵20的尺寸较小。对不同尺寸的瑕疵进行图像处理时，需要设置不同的参数，才能比较准确地检测到瑕疵。

而实际在布料加工程序中，在无法获知布料上产生何种瑕疵时，通常采用一种参数设置进行图像处理，这就容易出现目标漏检的情况，例如：图1中拼缝瑕疵10尺寸较大而容易被检测到，而图2中污点瑕疵20因为尺寸较小而不容易被检测到，从而出现瑕疵漏检的问题。

此外，为了降低计算复杂度，现有技术还通过剪裁或缩放图片等方法来限定输入图像，这种方法容易造成空间细节的损失，尤其是边界部分造成的细节损失更为严重，因而容易出现检测精度下降的问题。

为了解决所述技术问题，本发明实施例提供一种检测方法，通过卷积神经网络(Convolutional Neural Networks,CNN)深度学习的方法对检测图片进行图像识别，以获得检测图片上的缺陷信息，本发明实施例对一张检测图片，通过第一、第二卷积神经网络处理，分别获得空间、细节特征数据；从而使结合后得到的图片数据即包含了空间信息也没有丢失细节信息，因此本发明实施例检测方法在保证处理效率的基础上能获得较高的缺陷检测精度。

本文的实施例以布料瑕疵检测为例进行说明，但本发明并不局限于布料瑕疵检测，也可以用于金属、塑料模具、汽车组件、机械零件等的缺陷识别中。此外，图像识别技术还可以在票据、车牌、人脸识别等场景中应用。

参考图3，示意出了本发明检测方法一实施例的流程示意图。所述检测方法包括以下步骤：

步骤S1，获得检测图片；

步骤S2，对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；

步骤S3，对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；

步骤S4，融合所述空间特征数据和所述细节特征数据，获得图片数据；

步骤S5，基于所述图片数据，判断缺陷信息。

下面对上述检测方法各个步骤进行详细的说明。

如图4所示，执行步骤S1，获取检测图片101。此处检测图片101指的是能被卷积神经网络识别和处理的图片。

本实施例中检测方法对布料进行检测，所述缺陷信息为布料上的瑕疵信息，因此，此处检测图片为布料图片。

在实际布料加工程序中，布料在流水线上快速移动，在进行瑕疵检测时，通过照相机(也可以是其他图像传感器)对布料表面拍照，获得布料表面的原始图片。本实施例在获得原始图片之后，还包括对原始图片进行等量切割，获得多个检测图片101。这是因为常用工业相机获得的原始图片尺寸不符合卷积神经网络的处理要求，需要对原始图片进行切割处理。

例如，原始图片为4096*500，通过等量切割将原始图片切割为500*500的检测图片，之后送入卷积神经网络进行处理。

在其他实施例中，还可以根据卷积神经网络对检测图片的要求选择等量切割的大小。或者，在其他实施例中，如果原始图片符合卷积神经网络处理的要求，也可以不进行等量切割。

需要说明的是，为了便于进行缺陷信息的识别，本实施例还包括：在获得原始图片之后，进行等量切割之前，对所述原始图片进行预处理，以强化图片的特征信息。因为本发明实施例是识别布料背景上，是否存在与布料背景有所区别和异常的图像特征，因此通过强化图片上的特征信息，可以使与缺陷相关的异常图像信息更加显著化，从而有助于后续缺陷识别和检测的精度。

具体地，本实施例的预处理为对原始图像进行高斯滤波处理(Gauss filter)。高斯滤波通过对数据的平滑处理，对于抑制正态分布的噪声数据非常有效，从而得到信噪比较高的、能反应真实图像信息的图像。

在其他实施例中，所述预处理还可以包括：图片膨胀(Dilation)或图片腐蚀(Erosion)。图片膨胀处理可将图像特征的信息加强；图片腐蚀处理能把噪声减弱从而凸显特征信息，因此图像膨胀处理和图片腐蚀处理均可以起到强化图片的特征信息的作用。

执行步骤S2，对所述检测图片进行第一卷积神经网络处理，获得空间特征数据。

需要说明的是，步骤S1得到的检测图片可以通过数据进行表示，具体地，所述检测图像输入网络时的数据为一像素值矩阵，矩阵的各元素为图片中代表不同灰度的像素值。

通过卷积神经网络可以对像素值矩阵中的特征(feature)进行提取和学习，进而得到与检测图片的图像信息(比如，是平坦的背景、背景上的小物体还是背景上大物体的边缘等等)。

特征提取的过程主要包括：通过不同的卷积核(filter)(通常为是3×3或者5×5)对像素值矩阵进行卷积运算，从而获得不同的特征图(feature map)，基于所述特征图和后续的处理(例如：采样等处理)，可以实现图像学习和识别的过程。

本发明实施例通过通道(Channel)窄、层次深的卷积神经网络进行第一卷积神经网络处理，得到体现空间信息的第一矩阵，作为所述空间特征数据。

在进行第一卷积神经网络处理时，随着下采样或卷积次数增加，对像素矩阵的感受野(receptive field)逐渐增加，感受野之间的重叠区域也不断增加，获得的信息是一个区域的信息，即获取的是本区域或相邻区域之间的特征信息。因而通过扩大感受野从而获得高级语义，进而获得空间特征数据。

第一卷积神经网络处理的通道窄(例如，Channel为32或64)，相应地，卷积核的数量少，可以减少对图像处理的计算量。

需要说明的是，深度卷积网络的层次越深，即经过的卷积次数越多，相应地，层间的梯度越容易发散，从而容易导致误差的产生。

本实施例可以通过带有直连(Shortcut)结构的卷积神经网络来获得空间特征数据，直连结构的卷积神经网络通过使输入数据为带有残差的数据，减小网络处理带来的误差，从而优化训练效果。

具体地，第一卷积神经网络可以为MobileNet V2网络。MobileNet V2网络的主要架构还将MobileNet V1和残差网络ResNet的残差单元结合起来，采用先升维再降维的方法，依次执行了扩张、卷积特征提取、压缩的过程。MobileNet V2网络为一种轻量级的、通道窄层次深的网络，从而可以提高网络对检测图片101的处理速度。

在其他实施例中，还可以采用其他的卷积神经网络对检测图片进行处理，以获得高级语义。参考图5，示出了图3中步骤2一第一卷积神经网络的示意图。所述第一卷积神经网络包括：MobileNet网络201，以及特征图像金字塔202(Feature Pyramid Network，FPN)，用于对MobileNet网络201输出的数据做进一步处理。

具体地，FPN是一种不同分辨率特征融合的方式，通过将每个分辨率的特征图(feature map)和上采样(up sample)的低分辨率特征(element-wise)相加，使得不同层次的特征增强，因而能较为明显的改善目标检测的性能。此外，因为FPN是在MobileNet网络基础上做跨层连接和低分辨率特征相加。与仅采用MobileNet V2网络2的实施例相比，本实施例增加的计算量较少，从而兼顾了效率和精度。

具体地，比如图5所示，FPN分了4个分层特征(例如：C2、C3、C4、C5分别提取图片32、64、128、256)的特征，且每一分层结合了低分辨率的特征(例如：C4结合了C5的特征)。FPN通过融合不同尺度的特征，从而可以在不同尺度提取像素矩阵里的特征，进而尽量不丢失检测图片101上的缺陷目标。

参考图6，示出了图3中步骤2的另一第一卷积神经网络的示意图。本实施例第一卷积神经网络由ResNet 50网络、特征图像金字塔和全卷积网络组成。通过第一卷积神经网络进行处理的步骤，还包括：通过原生模块301、分割模块302和融合模块303对网络得到的特征数据进行融合处理。

具体地，如图6所示，在对检测图片101输入网络进行处理时，可以对特征数据进行先降维(例如，从block1-block5的过程)，再升维(例如，从up4-up1的过程)的处理方式。

原生模块301输出的是完成整个过程的先降维再升维得到的第一特征数据，而分割模块302输出的是前半程降维过程得到的第二特征数据。

融合模块303将所述第一特征数据和第二特征数据进行融合，得到空间特征数据。

执行步骤S3，对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽。

本发明实施例第二卷积神经网络处理采用与第一卷积神经网络互补的网络，从而可以获得互补的特征信息。此外，本发明实施例第二卷积神经网络处理与所述第一卷积神经网络采用并行方式处理检测图片，可以提高检测方法的处理效率。

通过通道宽、层次浅的卷积神经网络进行第二卷积神经网络处理，得到体现细节信息的第二矩阵，作为所述细节特征数据。

具体地说，第二卷积神经网络的层次浅，相应地，其感受野较小，因而最终输出的特征图能够体现更多的细粒度的特征信息，此外，特征图矩阵的每个像素点对应的感受野重叠区域较小，可以得到高分辨率的特征表示，进而保证网络能捕获更多细节信息。

第二卷积神经网络的通道宽(例如，Channel为512)，可以针对RGB的三个通道的数据进行处理，通过较多的卷积核获得更多的细节信息。

本实施例中，第二卷积神经网络采用的是VGG网络结构。

具体地，VGG网络结构每一层均包括：卷积层，批归一化(Batch Normalization)和激活函数。

可以设置第一层的步长(stride)为2，经过第二卷积神经网络处理输出的特征映射是原始输入的1/8，因而具有较小的细粒度，可以得到细节信息。

实际应用中，可以根据计算速度和精度的要求，调整步长以及卷积核的大小。

需要说明的是，与步骤S3中第二卷积神经网络相比，步骤S2中采用的第一卷积神经网络设置了残差结构，减小了网络处理带来的误差；此外，第一卷积神经网络还设置了网络层特征融合，从而可以保留更多特征。

此外，与第二卷积神经网络相比，第一卷积神经网络可在同样的卷积层下，有更少的参数，可以减小了计算量，这个特点主要针对的是基础网络MobileNetV2。

执行步骤S4，融合所述空间特征数据和所述细节特征数据，获得图片数据。

此处融合指的是，对应将体现空间信息的第一矩阵和体现细节信息的第二矩阵对应位置相加的过程。预设权重，指的是相加时空间特征数据和细节特征数据各自所占的配比。

空间特征数据的权重和细节特征数据的权重分别位于0-1之间，且两个权重之和为1。

空间特征数据和细节特征数据为相互互补的特征数据，通过将两者进行融合，可以使获得的图片数据即包含空间信息也没有丢失细节信息，从而能保证在保持一定处理速度的基础上又能有较高的检测精度。

具体地，融合的步骤包括：基于一预设权重融合所述空间特征数据和所述细节特征数据，获得图片数据。

实际应用中，可以将所述预设权重设置为1：1。即，通过将所述空间特征数据和所述细节特征数据进行简单相加，获得图片数据。这种处理方式比较简单、计算量较小。

还可以采用其他方式进行两种特征数据融合的步骤。参考图7，示出了步骤S4的一种融合方式的示意图。所述融合步骤包括：通过两种不同卷积对所述空间特征数据进行处理，分别得到第一空间数据和第二空间数据；通过两种不同卷积对细节特征数据进行处理，分别得到第一细节数据和第二细节数据；融合时对第一空间数据和第一细节数据(或第二细节数据)进行组合，对第二空间数据和第一细节数据(或第二细节数据)进行组合，从而得到四种组合方式。通过这种多种组合方式，可以基于通过调整预设权重使得到图像数据与原图相比损失较小，从而更能真实地反映原图的信息，进而提高缺陷判断的准确率。

在其他实施例中，还可以采用更多路或更多组合方式配置权重，以实现融合步骤。

融合步骤将步骤S2和步骤S3分别学习到的空间特征数据和细节特征数据叠加在一起，获得图片数据，从而完成了对检测图片的学习过程。

步骤S5，基于所述图片数据，判断缺陷信息。

通过对检测图片进行机器学习得到相对应的图片数据，根据图片数据与预先存储的缺陷信息进行比对，以判断缺陷的位置和/或种类。

需要说明的是，本实施例，在将检测图片输入到网络之前进行了等量切割的处理。相应地，基于所述图片数据，判断检测图片上的缺陷信息的步骤包括：对多个检测图片对应的图片数据进行合并，基于合并后的数据判断缺陷的位置或种类。

在进行合并时，根据切割时各个检测图片的对应位置进行还原，从而得到整张原始图片的图片数据，从而有利于准确的定位缺陷位置。

需要说明的是，此处图片数据相当于一矩阵，矩阵中元素代表各个位置处是否有瑕疵，以及瑕疵种类。例如，没有瑕疵的位置，元素值为0；有瑕疵的位置，元素值为1、2、3……，其中1、2、……分别代表不同的瑕疵种类。

需要说明的是，请继续参考图3的流程示意图，本实施例在进行实际检测之前，还需要进行建模的步骤，所述建模的步骤主要用于进行预设权重的配置。在建模过程中卷积神经网络进行特征学习的过程，也是缺陷特征学习的过程。

具体地，建模的步骤包括：获得样本图片；对所述样本图片进行第一卷积神经网络处理，获得样本空间特征数据；对所述样本图片进行第二卷积神经网络处理，获得样本细节特征数据；基于初始权重，融合所述样本空间特征数据和样本细节特征数据，获得样本图片数据，完成一次训练；通过多次训练调整所述初始权重，在所述样本图片数据的损失符合规格值时，以调整后的权重作为预设权重。

建模步骤和检测方法步骤中执行的处理方式是相同的，不同点在于，建模过程输入至网络的数据有所不同，建模过程向网络中输入的是样本图片，网络基于对样本图片的学习，一方面学习图片中缺陷特征，另一方面，对融合步骤的两种特征数据的预设权重进行配置。

在最初的学习过程中，初始权重为随机设置的权重，每次学习的过程会对权重进行调整以减小图像数据损失，在所述样本图片数据的损失符合规格值时，以调整后的权重作为预设权重。

之后在实际检测过程中，以建模过程得到的预设权重进行检测。

此外，建模步骤与检测方法还有的不同点在于：在获得原始样本图片，将所述原始样本图片转化为掩码图；对所述掩码图进行灰度处理，获得灰度图，以所述灰度图和所述原始样本图片作为样本图片。

通过灰度处理后的样本图片进行训练，一方面数据量少，另一方面更能体现缺陷边缘信息，有利于实现缺陷特征的学习。

需要说明的是，建模步骤中的原始样本图片与实际进行检测的原始图片均为等量切割后的图片。通过将灰度图和原始样本图片作为样本图片进行成对训练，可以通过原始样本图片，建立灰度图和原始图片之间的关联，从而在后续检测过程中，只要输入原始图片即能实现缺陷检测。

参考图8，a图和b图分别示意出了现有技术检测方法和本发明检测方法的输出结果的对比图。

针对污点瑕疵501，如图a现有技术检测方法的检测框502没有标定到污点瑕疵501的位置。而如图b中，本发明检测方法准确地将污点瑕疵501的位置标记出来，并判断出缺陷种类为点瑕疵(spot)，缺陷数量为1。

在其他实施例中，还可以检测出其他种类地瑕疵，例如花针、勾毛、拼缝等等。

还需要说明的是，本发明实施例检测方法对布料图片上的缺陷信息进行检测，可以在不到0.1s的时间内完成一张布料图片的处理。另外，在进行缺陷信息检测时，可以实现mIOU在0.7以上的精度。本发明实施例检测方法同时兼顾了处理速度和检测精度。

相应地，本发明还提供一种检测系统，参考图9，示出了本发明检测系统一实施例的功能框图，所述检测系统包括：

第一图片获取单元601，用于获得检测图片；

语义单元602，用于对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；

细节单元603，用于对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；

融合单元604，用于融合所述空间特征数据和所述细节特征数据，获得图片数据；

判断单元605，用于根据所述图片数据，判断缺陷信息。

本发明实施例检测系统，通过CNN的深度学习方法对检测图片进行图像识别，以获得检测图片上的缺陷信息，本发明实施例对一张检测图片，通过第一、第二卷积神经网络处理，分别获得空间、细节特征数据；从而使结合后得到的图片数据即包含了空间信息也没有丢失细节信息，因此本发明实施例检测方法在保证处理效率的基础上能获得较高的缺陷检测精度。

下面结合附图对检测系统的各个单元和模块进行详细说明。

结合参考图4，第一图片获取单元601，用于获得检测图片101；此处检测图片101指的是能被卷积神经网络识别和处理的图片。

本实施例中检测系统用于对布料进行检测，所述缺陷信息为布料上的瑕疵信息。因此此处检测图片为布料图片。

在实际布料加工程序中，布料在流水线上快速移动，在进行瑕疵检测时，通过照相机(也可以是其他图像传感器)对布料表面拍照，获得布料表面的原始图片。本实施例在获得原始图片之后，还包括对原始图片进行等量切割，获得多个检测图片101。这是要因为常用工业相机获得的原始图片尺寸不符合卷积神经网络的处理要求，需要对原始图片进行切割处理。

例如，原始图片为4096*500，通过等量切割将原始图片切割为500*500的检测图片，此时多出来的部分放大成500*500；也可以切割成512*500的检测图片，之后送入卷积神经网络进行处理。

在其他实施例中，还可以根据卷积神经网络对检测图片的要求选择等量切割的大小。或者，在其他实施例中，原始图片符合卷积神经网络处理的要求，也不需要进行等量切割。

需要说明的是，布料上的可能出现的缺陷类型较多，尺寸大小也各不相同。为了便于进行缺陷信息的识别，本实施例系统中的第一图片获取单元601还用于在进行等量切割之前，对所述原始图片进行预处理，以强化图片的特征信息。因为本发明实施例是识别布料背景上，是否存在与布料背景有所区别和异常的图像特征，因此通过强化图片上的特征信息，可以使与缺陷相关的异常图像信息更加显著化，从而有助于后续缺陷识别和检测的精度。

所述第一图片获取单元601用于对所述原始图片进行膨胀或腐蚀的预处理；图片膨胀处理可将图像特征的信息加强；图片腐蚀处理能把噪声减弱从而凸显特征信息，因此图像膨胀处理和图片腐蚀处理均可以起到强化图片的特征信息的作用。

或者，所述第一图片获取单元601用于对所述原始图片进行高斯滤波预处理。高斯滤波通过对数据的平滑处理，对于抑制服从正态分布的噪声数据非常有效，从而得到信噪比较高的、能反应真实图像信息的图像。

语义单元602，用于对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；

第一图片获取单元601得到的检测图片可以通过数据来表示，具体地为一像素矩阵，矩阵的各元素为代表不同灰度的像素值。即输入到第一卷积神经网络进行处理的是像素值矩阵。

通过卷积神经网络可以对像素值矩阵中的特征(feature)进行提取和学习，可以得到与检测图片的图像信息(比如，是平坦的背景、背景上的小物体还是背景上大物体的边缘等等)。

特征提取的过程主要包括：通过不同的卷积核(filter)(通常为是3×3或者5×5)对像素值矩阵进行卷积运算，从而获得不同的特征图(feature map)，基于所述特征图和后续的处理(例如：采样等处理)，可以实现图像学习和识别的过程。

本发明实施例通过通道(Channel)窄、层次深的卷积神经网络进行第一卷积神经网络处理，得到体现空间信息的第一矩阵，即为所述空间特征数据。

第一卷积神经网络处理的层次可以随着下采样或卷积次数增加，对像素矩阵的感受野(receptive field)逐渐增加，感受野之间的重叠区域也不断增加，获得的信息是一个区域的信息，即获取的是本区域或相邻区域之间的特征信息。因而通过扩大感受野从而获得高级语义，进而获得空间特征数据。

第一卷积神经网络处理的通道窄(例如，Channel为32或64)，相应地，卷积核的数量少，可以减少对图像处理的计算量。

需要说明的是，深度卷积网络的层次越深，即经过的卷积次数越多，相应地，层间的梯度越容易发散，从而容易导致误差的产生。本实施例可以通过带有直连(shortcut)结构的卷积神经网络来获得空间特征数据，直连结构的卷积神经网络通过使输入数据为带有残差的数据，可以减小网络处理带来的误差，从而优化训练效果。

具体地，第一卷积神经网络可以为MobileNet V2网络。MobileNet V2网络的主要架构还将MobileNet V1和残差网络ResNet的残差单元结合起来，采用先升维再降维的方法，依次执行了扩张、卷积特征提取、压缩的过程。MobileNet V2网络为一种轻量级的、通道窄层次深的网络，从而可以提高网络对检测图片101的处理速度。

在其他实施例中，还可以采用其他的卷积神经网络对检测图片进行处理，以获得高级语义。参考图5，示出了图3中步骤2的另一种第一卷积神经网络的示意图。所述第一卷积神经网络包括：包括MobileNet网络201，以及对MobileNet网络201输出的数据做进一步处理的特征图像金字塔202(Feature Pyramid Network，FPN)。

具体地，FPN是一种不同分辨率特征融合的方式，通过将每个分辨率的特征图(feature map)和上采样(up sample)的低分辨率特征(element-wise)相加，使得不同层次的特征增强，因而能较为明显的改善目标检测的性能。此外，因为FPN是在MobileNet网络基础上做跨层连接和低分辨率特征相加。与仅采用MobileNet V2网络2的实施例相比，本实施例增加的计算量较少，从而兼顾了效率和精度。

具体地，比如图5所示，FPN分了4个分层特征(例如：C2、C3、C4、C5分别提取图片32、64、128、256)的特征，且每一分层结合了低分辨率的特征(例如：C4结合了C5的特征)。FPN通过融合不同尺度的特征，从而可以在不同尺度提取像素矩阵里的特征，进而尽量不丢失检测图片101上的缺陷目标。

如图6所示，第一卷积神经网络由ResNet-50网络、特征图像金字塔和全卷积网络组成。通过第一卷积神经网络进行处理的步骤，还包括通过原生模块301、分割模块302和融合模块303对网络得到的特征数据进行处理。

具体地，如图6所示，在对检测图片101输入网络进行处理时，可以对特征数据进行先降维(例如，从block1-block5的过程)，再升维(例如，从up4-up1的过程)的处理方式。

原生模块301输出的是完成整个过程的先降维再升维得到的第一特征数据，而分割模块302输出的则是前半程的只是降维得到的第二特征数据。

融合模块303将所述第一特征数据和第二特征数据进行融合，得到空间特征数据。

本发明实施例检测系统还包括：细节单元603，用于对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽。

细节单元603的第二卷积神经网络处理采用与第一卷积神经网络互补的网络，从而可以获得互补的特征信息。此外，第二卷积神经网络处理与所述第一卷积神经网络并行进行，可以提高检测方法的处理效率。

通过通道宽、层次浅的卷积神经网络进行第二卷积神经网络处理，得到体现细节信息的第二矩阵，即为所述细节特征数据。

具体地说，第二卷积神经网络的层次浅，相应地，其感受野较小，因而最终输出的特征图能够体现更多的细粒度的特征信息，此外，特征图矩阵的每个像素点对应的感受野重叠区域较小，可以得到高分辨率的特征表示，进而保证网络能捕获更多细节信息。

第二卷积神经网络的通道宽(例如，Channel为512)，通过较多的卷积核获得更多的细节信息。

本实施例中，第二卷积神经网络采用的是VGG网络结构。

具体地，VGG网络结构每一层均包括：卷积层，批归一化和激活函数。

可以设置每个阶段的第一层的步长(stride)为2，经过第二卷积神经网络处理输出的特征映射是原始输入的1/8，因而具有较小的细粒度，可以得到细节信息。

需要说明的是，与第二卷积神经网络相比，第一卷积神经网络设置了残差结构，减小了网络处理带来的误差；此外，第一卷积神经网络还设置了网络层特征融合，从而可以保留更多特征。

此外，与第二卷积神经网络相比，第一卷积神经网络可在同样的卷积层下，有更少的参数，可以减小了计算量。

本发明实施例检测系统还包括：融合单元604，用于根据一预设权重融合所述空间特征数据和所述细节特征数据，获得图片数据。

此处融合指的是，对应将体现空间信息的第一矩阵和体现细节信息的第二矩阵对应位置相加的过程。预设权重，指的是相加时空间特征数据和细节特征数据各自所占的配比。

空间特征数据的权重和细节特征数据的权重分别位于0-1之间，且两个权重之和为1。

空间特征数据和细节特征数据为相互互补的特征数据，通过将两者进行融合，可以使获得的图片数据即包含空间信息也没有丢失细节信息，从而能保证在保持一定处理速度的基础上又能有较高的检测精度。

实际应用中，可以将所述预设权重设置为1：1，通过将所述空间特征数据和所述细节特征数据进行简单相加，获得图片数据。这种处理方式比较简单、计算量较小。

还可以采用其他方式进行两种特征数据融合的步骤。如图7所示，融合单元604，用于通过两种不同卷积对所述空间特征数据进行处理，分别得到第一空间数据和第二空间数据；还用于通过两种不同卷积对细节特征数据进行处理，分别得到第一细节数据和第二细节数据；所述融合单元604在进行融合时对第一空间数据和第一细节数据(或第二细节数据)进行组合，对第二空间数据和第一细节数据(或第二细节数据)进行组合，从而得到四种组合方式。通过这种多种组合方式，可以基于通过调整预设权重使得到图像数据与原图相比损失较小，从而更能真实地反映原图的信息，进而提高缺陷判断的准确率。

在其他实施例中，还可以采用更多路或更多组合方式配置权重，以实现融合步骤。

所述融合单元604通过将分别学习到的空间特征数据和细节特征数据叠加在一起，获得图片数据，从而完成了对检测图片的学习过程。

如图9所示，所述检测系统还包括：判断单元605，用于根据所述图片数据，判断缺陷信息。

所述判断单元605通过对检测图片进行机器学习得到相对应的图片数据，根据图片数据与预先存储的缺陷信息进行比对，以判断缺陷的位置和/或种类。

需要说明的是，本实施例，在将检测图片输入到网络之前进行了等量切割的处理。相应地，所述判断单元605还用于对多个检测图片对应的图片数据进行合并，基于合并后的数据判断缺陷的位置或种类。

所述判断单元605在进行合并时，根据切割时各个检测图片的对应位置进行还原，从而得到整张原始图片的图片数据，从而有利于准确的定位缺陷位置。

需要说明的是，此处图片数据相当于一矩阵，矩阵中元素代表各个位置处是否有瑕疵，以及瑕疵种类。例如，没有瑕疵的位置，元素值为0；有瑕疵的位置，元素值为1、2、3……，其中1、2、……分别代表不同的瑕疵种类。

以上描述的是检测系统在实际进行检测时各个模块的功能及连接关系，实际应用中，在进行检测之前，还包括对检测系统各个模块的深度卷积神经网络训练的过程。通过所述训练的过程中，主要用于进行预设权重的配置，从而实现建模。此外，检测系统还在训练过程中完成缺陷特征学习，以在后续检测过程中对缺陷信息进行比对和判断。

继续参考图9所示的检测系统的功能框图，所述检测系统还包括：第二图片获取单元701，用于获得样本图片；所述语义单元602，还用于对所述样本图片进行第一卷积神经网络处理，获得样本空间特征数据；所述细节单元603，还用于对所述样本图片进行第二卷积神经网络处理，获得样本细节特征数据；所述融合单元604，还用于根据初始权重，融合所述样本空间特征数据和样本细节特征数据，获得样本图片数据，完成一次训练；还用于通过多次训练调整所述初始权重，在所述样本图片数据的损失符合规格值时，以调整后的权重作为预设权重。

继续参考图9，所述第二图片获取单元701，包括：第一图片处理单元7011，用于获得原始样本图片，并将所述原始样本图片转化为掩码图；第二图片处理单元7012，用于对所述掩码图进行灰度处理，获得灰度图，以所述灰度图和所述原始样本图片作为样本图片。

通过灰度处理后的样本图片进行训练，一方面数据量少，另一方面更能体现缺陷边缘信息，有利于实现缺陷特征的学习。

需要说明的是，第一图片处理单元7011获得的原始样本图片与第一图片获取单元601获得的检测图片，均为等量切割后的图片。通过将灰度图和原始样本图片作为样本图片进行成对训练，可以通过原始样本图片，建立灰度图和原始图片之间的关联，从而在后续检测过程中，只要输入原始图片即能实现缺陷检测。

在训练以实现建模的过程，检测系统输入至网络的数据有所不同，建模过程向网络中输入的是样本图片，网络基于对样本图片的学习，一方面学习图片中缺陷特征，另一方面对融合步骤中，两种特征数据的预设权重进行配置。

在最初的学习过程中，初始权重为随机设置的权重，每次学习的过程会对权重进行调整以减小图像数据损失，在所述样本图片数据的损失符合规格值时，以调整后的权重作为预设权重。之后在实际检测过程中，以建模过程中预设权重进行检测。

参考图10，示出了本发明设备一实施例的示意图。

所述设备包括本发明实施例提供的检测系统，用于根据待检测布料的检测图片，判断布料上的缺陷类型和位置。

所述设备包括还包括：采样装置30，用于对待检测物进行拍照。所述检测系统中的第一图片获取单元用于从所述采样装置获得检测图片。

具体地，所述采样装置30为照相机(也可以是其他图像传感器)。在布料加工程序中，布料在流水线上快速移动。在进行检测时，设备通过照相机对布料表面拍照，获取布料表面的图片，之后通过检测系统对图片进行图像处理，判断布料表面是否存在缺陷，以及更进一步地分析缺陷信息，例如：缺陷的位置和种类。

所述照相机可以采用较高的拍摄速率(一秒几万次)对移动中的布料进行拍照，从而保证流水线的产出效率。

所述设备还包括：运输平台40，用于运输所述待检测布料；所述照相机设置在所述布料运输平台上，对待检测布料进行拍照。

所述设备还可以包括：标记装置，根据检测系统判断出的缺陷类型和位置，对布料上的缺陷进行标记。

布料生产商可以根据缺陷类型和产品质量要求，判断将带有缺陷的布料段废弃，还是通过清洗去除瑕疵后仍作为合格品。

本发明设备能在生产过程中对产品表面的缺陷进行实时检测，从而能及时发现缺陷产品，或对缺陷进行标记。本发明设备包括所述检测系统，因而能有较高的检测精度发，也有较高的检测效率。

相应地，本发明实施例还提供一种介质，其上存储有计算机指令，所述计算机指令运行时本发明检测方法的各个步骤。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种检测方法，其特征在于，包括：

获得检测图片；

对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；

对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；

融合所述空间特征数据和所述细节特征数据，获得图片数据；

基于所述图片数据，判断缺陷信息。

2.如权利要求1所述的检测方法，其特征在于，融合所述空间特征数据和所述细节特征数据，获得图片数据的步骤包括：

基于一预设权重融合所述空间特征数据和所述细节特征数据，获得图片数据。

3.如权利要求2所述的检测方法，其特征在于，在获得检测图片之前，所述检测方法还包括：建模步骤，包括：

获得样本图片；

对所述样本图片进行所述第一卷积神经网络处理，获得样本空间特征数据；

对所述样本图片进行所述第二卷积神经网络处理，获得样本细节特征数据；

基于初始权重，融合所述样本空间特征数据和样本细节特征数据，获得样本图片数据，完成一次训练；

通过多次训练不断调整所述初始权重，在所述样本图片数据的损失符合规格值时，以调整后的权重作为预设权重。

4.如权利要求3所述的检测方法，其特征在于，所述获得样本图片的步骤包括：获得原始样本图片，将所述原始样本图片转化为掩码图；

对所述掩码图进行灰度处理，获得灰度图，以所述灰度图和所述原始样本图片作为样本图片。

5.如权利要求1所述的检测方法，其特征在于，所述获得检测图片的步骤包括：获得原始图片；对所述原始图片进行等量切割，获得多个检测图片；基于所述图片数据，判断检测图片上的缺陷信息的步骤包括：对多个检测图片对应的图片数据进行合并，基于合并后的数据判断缺陷的位置和/或种类。

6.如权利要求5所述的检测方法，其特征在于，获得原始图片之后，进行等量切割之前，还包括：对所述原始图片进行预处理，以强化图片的特征信息。

7.如权利要求6所述的检测方法，其特征在于，所述预处理包括：图片膨胀或图片腐蚀；或者，所述预处理为高斯滤波处理。

8.如权利要求1-7任一项所述的检测方法，其特征在于，所述第一卷积神经网络为带有直连结构的网络。

9.如权利要求1-7任一项所述的检测方法，其特征在于，所述第二卷积神经网络包括VGG网络，所述第一卷积神经网络包括MobileNet V2网络；或者，

所述第一卷积神经网络包括Mobilenet V2网络，以及，特征图像金字塔，用于对Mobilenet V2网络输出的数据进行处理；或者，

所述第一卷积神经网络包括ResNet 50网络、特征图像金字塔和全卷积网络。

10.一种检测系统，其特征在于，包括：

第一图片获取单元，用于获得检测图片；

语义单元，用于对所述检测图片进行第一卷积神经网络处理，获得空间特征数据；

细节单元，用于对所述检测图片进行第二卷积神经网络处理，获得细节特征数据，所述第二卷积神经网络比第一卷积神经网络的层次浅，所述第二卷积神经网络比第一卷积神经网络的通道宽；

融合单元，用于融合所述空间特征数据和所述细节特征数据，获得图片数据；

判断单元，用于根据所述图片数据，判断缺陷信息。

11.一种设备，其特征在于，包括如权利要求10所述的检测系统。

12.如权利要求11所述的设备，其特征在于，还包括：采样装置，用于对待检测物进行拍照；所述第一图片获取单元用于从所述采样装置获得原始图片。

13.如权利要求12所述的设备，其特征在于，所述采样装置为照相机，所述设备还包括：

运输平台，用于运输所述待检测对象；所述照相机设置在所述运输平台上，对待检测对象进行拍照；

所述检测系统用于根据所述照相机获得的待检测对象的图片，判断待检测对象上的缺陷类型和/或位置。

14.一种介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至9任一项所述方法的步骤。

Images