CN111445459A - 一种基于深度孪生网络的图像缺陷检测方法及系统 - Google Patents

Abstract

本申请公开了一种基于深度孪生网络的图像缺陷检测方法及系统，方法包括：获取正常图像和缺陷图像；将正常图像以及缺陷图像分块成预设大小的图像块；采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量；将相似度大于预设阈值的图像块作为背景，剩余的图像块即为含缺陷的图像块。本申请通过利用孪生网络进行图像的相似性度量，提高了缺陷检测的泛化能力。

Description

一种基于深度孪生网络的图像缺陷检测方法及系统

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种基于深度孪生网络的图像缺陷检测方法及系统。

背景技术

随着人工智能和计算机视觉技术的发展，机器视觉技术在工业场景的应用越来越多，其所占据的地位也越来越高。工业生产过程中的质量控制环节尤为重要，该环节的好坏往往决定产品是否能顺利出厂。视觉缺陷检测技术的出现极大地提高了检测的效率，也加快了工业生产效率。对于工业产品的缺陷检测，可用传统图像处理方法和深度学习方法来处理。传统图像处理方法中的模板匹配技术是该方法下的技术核心，而深度学习方法做缺陷检测的核心则是深度学习目标检测、语义分割等算法。

模板匹配技术是视觉图像处理中的一种最原始与最基本的识别方法，它以小图像为模板，在大图像搜寻与该模板相同或相似的部分，即对大图像中所关注的对象进行匹配识别。

深度学习是机器学习的一种，它对现实世界里人类所关注的某些特定问题进行建模，而所建立的模型通常是一个具有多个隐藏层的神经网络。卷积神经网络能够在不需要任何输入输出之间精确表达式的情况下学习输入输出关系，因此在处理图像的过程中避免了显式的特征提取而能够有效地提高检测精度，故而在基于深度学习的视觉缺陷检测方法中卷积网络是必不可少的。视觉缺陷检测是针对图像的检测技术，其网络模型中嵌入了大量卷积神经网络(CNN)。

传统图像处理方法通过像素比对的方式获取缺陷特征，其在用于一些背景单一的缺陷图像时能够获得较好的检测效果，但对图像采集的一致性要求较高，对于如复杂纹理背景、光照不均、存在遮挡等条件则不敏感，故而泛化能力低；而深度学习方法能够从不同条件下采集得到的图像中获取良好的特征，因此在样本充足的前提下能够获得很好的性能。

发明内容

本申请实施例提供了一种基于深度孪生网络的图像缺陷检测方法及系统，克服了现有缺陷检测技术泛化能力差、易受采集条件影响的缺点。

有鉴于此，本申请第一方面提供了一种基于深度孪生网络的图像缺陷检测方法，所述方法包括：

获取正常图像和缺陷图像；

将所述正常图像以及所述缺陷图像分块成预设大小的图像块；

采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；

将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。

可选的，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：

对所述正常图像和所述缺陷图像进行预处理。

可选的，所述对所述正常图像和所述缺陷图像进行预处理具体为：

将所述正常图像和所述缺陷图像进行滤波；

对滤波后的所述正常图像和所述缺陷图像依次进行泛洪填充、灰度化、开运算、闭运算、二值化、寻找最小外接矩形的操作；

获得感兴趣区域。

可选的，所述将所述正常图像和所述缺陷图像进行滤波具体为：

式中，S_xy表示卷积核的中心在(x,y)处，m，n表示卷积核的大小为m×n，g(s,t)表示输入的所述正常图像或所述缺陷图像，f(x,y)表示滤波结束后的所述正常图像或所述缺陷图像。

可选的，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：

对所述正常图像和所述缺陷图像进行图像对齐。

可选的，所述对所述正常图像和所述缺陷图像进行图像对齐具体为：

分别对所述正常图像和所述缺陷图像进行检测；

计算所述正常图像和所述缺陷图像的特征点及描述符；

分别对所述正常图像和所述缺陷图像进行检测；

计算所述正常图像和所述缺陷图像的特征点及描述符；

对所述描述符进行匹配判断，并根据判断结果进行排序，计算所述正常图像和所述缺陷图像的匹配置信度；

根据所述描述符及所述特征点计算所述正常图像和所述缺陷图像之间的单应性矩阵；

根据所述单向性矩阵进行图片扭转操作消除投影畸形，使得所述缺陷图像向所述正常图像对齐。

可选的，所述采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量具体为：

采用两个权重共享的多层卷积层作为孪生特征提取网络，分别提取所述正常图像和所述缺陷图像对应位置图像块的特征；

将所述正常图像和所述缺陷图像对应位置图像块的特征分别经过VGG-16网络进行抽象化；

由决策网络计算所述孪生网络中所述正常图像和所述缺陷图对应的两部分网络输出特征映射的距离，即为所述正常图像和所述缺陷图的相似度。

本申请第二方面提供一种复杂纹理图像缺陷检测系统，所述系统包括：

图像获取模块，用于获取正常图像和缺陷图像；

图像分块模块，用于将所述正常图像以及所述缺陷图像分块成预设大小的图像块；

相似度计算模块，用于采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；

缺陷获取模块，用于将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。

可选的，还包括：

预处理模块，用于对所述正常图像和所述缺陷图像进行预处理。

可选的，还包括：

图像对齐模块，用于对所述正常图像和所述缺陷图像进行图像对齐。

从以上技术方案可以看出，本申请具有以下优点：

本申请实施例中，提供了一种基于深度孪生网络的图像缺陷检测方法及系统，方法包括：获取正常图像和缺陷图像；将正常图像以及缺陷图像分块成预设大小的图像块；采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量；将相似度大于预设阈值的图像块作为背景，剩余的图像块即为含缺陷的图像块。

本申请通过将正常图像和缺陷图像分块后，对图像中同一位置的图像块计算相似度找到缺陷的图像块，通过采用孪生网络进行图像的相似性度量，提高了缺陷检测的泛化能力。利用孪生网络处理特征提取问题，解决了拍照条件不一致性带来的图像配准困难的问题。

附图说明

图1为本申请一种基于深度孪生网络的图像缺陷检测方法的一个实施例的方法流程图；

图2为本申请一种基于深度孪生网络的图像缺陷检测方法的另一个实施例的方法流程图；

图3为本申请一种基于深度孪生网络的图像缺陷检测系统的一个实施例的系统架构图；

图4为本发明实施例中对图像预处理的流程示意图；

图5为本发明实施例中将图像对齐的流程示意图；

图6为本发明实施例中采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为一种基于深度孪生网络的图像缺陷检测方法的一个实施例的方法流程图，如图1所示，图1中包括：

101、获取正常图像和缺陷图像。

需要说明的是，本申请中可以采用工业相机采集工业生产中正常产品的图像以及含缺陷的缺陷图像。

102、将正常图像以及缺陷图像分块成预设大小的图像块。

需要说明的是，可以将分别将正常图像以及缺陷图像分成大小一致的图像块，使得正常图像以及缺陷图像中相同位置的图像块大小一致，以便于后续比较正常图像以及缺陷图像中相同位置图像块的相似度。具体的，可以将图像块的大小设置为64×64或者128×128等。

103、采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量。

需要说明的是，可以比较正常图像以及缺陷图像中相同位置的图像块是否相似，从而判断图像块是否包括缺陷，若相似度小于预设的阈值则表示存在缺陷。

具体的，可以采用两个权重共享的多层卷积层作为孪生特征提取网络，分别提取正常图像和缺陷图像对应位置图像块的特征；将正常图像和缺陷图像对应位置图像块的特征分别经过VGG-16网络进行抽象化；由决策网络计算孪生网络中正常图像和缺陷图对应的两部分网络输出特征映射的距离，即为正常图像和缺陷图的相似度。

在一种具体的实施方式中，如图6所示，该模型首先使用两个权重共享的4层卷积层作为孪生特征提取网络，用于提起正常图像和缺陷图像对应位置图像块的特征，随后将提取的特征经过深层的VGG-16网络高度抽象化，最后衡量两部分网络输出特征映射的距离，将距离与预设的阈值进行比较，若距离值大于预设的阈值则表示两个图像块相似。

104、将相似度大于预设阈值的图像块作为背景，剩余的图像块即为含缺陷的图像块。

需要说明的是，计算完正常图像和缺陷图像对应位置图像块的相似度后，运用滑动窗口的方式轮询遍历两幅图像，将图像中相似程度高的内容作为背景，最终保留下来的是含缺陷的图像块，从而达到提取缺陷图像中缺陷部位的目的。

本申请通过将正常图像和缺陷图像分块后，对图像中同一位置的图像块计算相似度找到缺陷的图像块，通过采用孪生网络进行图像的相似性度量，提高了缺陷检测的泛化能力。利用孪生网络处理特征提取问题，解决了拍照条件不一致性带来的图像配准困难的问题。

为了便于理解，请参阅图2，图2为本申请一种基于深度孪生网络的图像缺陷检测方法的另一个实施例的方法流程图，还包括以下步骤，包括：

在步骤101之后，还包括：

202、对正常图像和缺陷图像进行预处理。

需要说明的是，图像预处理的作用是消除原始图像中无关的内容或信息，并尽可能地恢复与检测任务有关的信息，以及增强某些原始图像中的有用信息，以便使信息的利用率达到最大化。

具体的，对正常图像和缺陷图像进行预处理的步骤包括：

2021、将正常图像和缺陷图像进行滤波。

需要说明的是，对图像进行滤波可以采用均值滤波的方法，滤除图像的噪声，减少噪声对后续检测步骤的影响。

具体的，对图像背景分割将512×512的图像进行均值滤波，其均值滤波算法的卷积核大小为5×5，以滑动窗口的方式遍历整图，其公式为：

式中，S_xy表示卷积核的中心在点(x,y)处，m，n表示卷积核的大小为m×n，g(s,t)表示输入的正常图像或缺陷图像，f(x,y)表示滤波结束后的正常图像或缺陷图像。需要说明的是，实际可以根据需要选择图像分割大小以及卷积核大小，以上仅是示例性说明。

2022、对滤波后的正常图像和缺陷图像依次进行泛洪填充、灰度化、开运算、闭运算、二值化、寻找最小外接矩形，获得感兴趣区域。

需要说明的是，对均值滤波后的正常图像和缺陷图像进行泛洪填充、灰度化，再进行运用开运算将图像噪声滤除并运用闭运算填充孔洞；再将图像进行二值化利于寻找最小外接矩形，该外接矩形可被认为是图像除去背景以外的轮廓，根据该轮廓对原图进行裁剪，最终获得去除背景后的图像，即获得图像的感兴趣区域，具体的预处理过程可参考如图4所示的流程图。其中，泛洪填充算法、灰度化、开运算、闭运算、二值化都是常见的图像处理方法。

203、对正常图像和缺陷图像进行图像对齐。

需要说明的是，图像对齐采用基于ORB(Oriented FAST and Rotated BRIEF，采取FAST算法检测特征点,采取BRIEF算法计算特征点描述子)的特征检测与匹配技术，如图5所示，首先对正常图像和缺陷图像进行检测，分别计算正常图像和缺陷图像的关键点以及对应的获取描述符；随后对描述符进行匹配判断并根据判断结果进行排序，计算正常图像和缺陷图像的匹配置信度。最后，根据描述符及特征点计算正常图像和缺陷图像之间的单应性矩阵，通过单向性矩阵进行图片扭转操作消除投影畸形，从而将缺陷图向标准图对齐。

在步骤103之前还包括：

对孪生网络进行训练得到训练好的相似度计算模型，用于计算正常图像和缺陷图像的相似度。

需要说明的是，要训练相似度计算模型，首先需要获取大量的正常图像以及缺陷图像进行分块并作为数据集；将同类(将对同一物体进行拍摄得到的多幅图像表示为同类)和不同类(对不同物体进行拍摄得到的图像表示不同类)的数据集分别标记为0和1，随后输入孪生网络进行训练；例如，可以设输入的两个图像块为X₁和X₂，并将图像块定义为a×a，网络采用的激活函数为ReLU函数，最后的决策网络由能量函数衡量，能量函数为：

E_W(X₁,X₂)＝||G_W(X₁)-G_W(X₂)||

将图像划分为b个a×a大小的图像块，接着将图像块输入孪生网络进行训练，最终获得训练好的相似度度量模型。

以上是本申请的一种基于深度孪生网络的图像缺陷检测方法的实施例，本申请还包括一种复杂纹理图像缺陷检测系统的一个实施例，如图3所示，包括：

图像获取模块301，用于获取正常图像和缺陷图像。

图像分块模块302，用于将正常图像以及缺陷图像分块成预设大小的图像块。

相似度计算模块303，用于采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量。

缺陷获取模块304，用于将相似度大于预设阈值的图像块作为背景，剩余的图像块即为含缺陷的图像块。

还包括：

预处理模块305，用于对正常图像和缺陷图像进行预处理。

图像对齐模块306，用于对正常图像和缺陷图像进行图像对齐。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请中，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对齐限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对齐中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度孪生网络的图像缺陷检测方法，其特征在于，包括：

获取正常图像和缺陷图像；

将所述正常图像以及所述缺陷图像分块成预设大小的图像块；

采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；

将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。

2.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：

对所述正常图像和所述缺陷图像进行预处理。

3.根据权利要求2所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述对所述正常图像和所述缺陷图像进行预处理具体为：

将所述正常图像和所述缺陷图像进行滤波；

对滤波后的所述正常图像和所述缺陷图像依次进行泛洪填充、灰度化、开运算、闭运算、二值化、寻找最小外接矩形的操作；

获得感兴趣区域。

4.根据权利要求3所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述将所述正常图像和所述缺陷图像进行滤波具体为：

式中，S_xy表示卷积核的中心在点(x,y)处，m，n表示卷积核的大小为m×n，g(s,t)表示输入的所述正常图像或所述缺陷图像，f(x,y)表示滤波结束后的所述正常图像或所述缺陷图像。

5.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：

对所述正常图像和所述缺陷图像进行图像对齐。

6.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述对所述正常图像和所述缺陷图像进行图像对齐具体为：

分别对所述正常图像和所述缺陷图像进行检测；

计算所述正常图像和所述缺陷图像的特征点及描述符；

对所述描述符进行匹配判断，并根据判断结果进行排序，计算所述正常图像和所述缺陷图像的匹配置信度；

根据所述描述符及所述特征点计算所述正常图像和所述缺陷图像之间的单应性矩阵；

根据所述单向性矩阵进行图片扭转操作消除投影畸形，使得所述缺陷图像向所述正常图像对齐。

7.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量具体为：

采用两个权重共享的多层卷积层作为孪生特征提取网络，分别提取所述正常图像和所述缺陷图像对应位置图像块的特征；

将所述正常图像和所述缺陷图像对应位置图像块的特征分别经过VGG-16网络进行抽象化；

由决策网络计算所述孪生网络中所述正常图像和所述缺陷图对应的两部分网络输出特征映射的距离，即为所述正常图像和所述缺陷图的相似度。

8.一种复杂纹理图像缺陷检测系统，其特征在于，包括：

图像获取模块，用于获取正常图像和缺陷图像；

图像分块模块，用于将所述正常图像以及所述缺陷图像分块成预设大小的图像块；

相似度计算模块，用于采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；

缺陷获取模块，用于将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。

9.根据权利要求7所述的复杂纹理图像缺陷检测系统，其特征在于，还包括：

预处理模块，用于对所述正常图像和所述缺陷图像进行预处理。

10.根据权利要求9所述的复杂纹理图像缺陷检测系统，其特征在于，还包括：

图像对齐模块，用于对所述正常图像和所述缺陷图像进行图像对齐。

Images