CN110619618B - 一种表面缺陷检测方法、装置及电子设备 - Google Patents
一种表面缺陷检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110619618B CN110619618B CN201810563651.XA CN201810563651A CN110619618B CN 110619618 B CN110619618 B CN 110619618B CN 201810563651 A CN201810563651 A CN 201810563651A CN 110619618 B CN110619618 B CN 110619618B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- pixel
- noise
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 116
- 238000001514 detection method Methods 0.000 title abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 299
- 238000013135 deep learning Methods 0.000 claims abstract description 99
- 230000002950 deficient Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种表面缺陷检测方法、装置及电子设备，其中，表面缺陷检测方法包括：获取待检测图像；通过将待检测图像输入预先训练得到的深度学习网络模型，得到待检测图像对应的无缺陷的重建图像，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；将重建图像与待检测图像作差，得到差值图像；在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷。通过本方案，可以提高表面缺陷的检出率。
Description
技术领域
本发明涉及目标检测技术领域，特别是涉及一种表面缺陷检测方法、装置及电子设备。
背景技术
表面缺陷检测即判断产品表面是否存在斑点、凹坑、色差、划痕、缺损等缺陷，产品表面缺陷具有种类繁多、形态多变、位置不固定以及背景纹理多样化等特点。在工业领域，表面缺陷直接影响着产品的美观、性能等属性，因此，产品的表面质量至关重要，传统的表面缺陷检测是在生产线上配备质检员，由质检员对产品表面进行质检，通过人眼观察判断产品表面是否存在缺陷。然而，这种人工检测的方式效率低下、人工耗时大，且易出现检测错误。
随着机器学习的发展，基于机器学习的表面缺陷检测方法已取代了人工检测。但是，机器学习要求样本图像必须为包含有缺陷的样本图像，并且需要通过人工标定的方式标定缺陷在产品上的位置，然而，由于包含有缺陷的样本图像数量有限，并不能保证覆盖可能出现的所有类型的缺陷，因此，上述方法无法检测出样本图像中未出现过的缺陷。
发明内容
本发明实施例的目的在于提供一种表面缺陷检测方法、装置及电子设备，以提高表面缺陷的检出率。具体技术方案如下：
第一方面，本发明实施例提供了一种表面缺陷检测方法，所述方法包括：
获取待检测图像；
通过将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
将所述重建图像与所述待检测图像作差，得到差值图像；
在所述差值图像中，若存在差值大于预设差值的区域，则确定在所述待检测图像中的对应区域存在表面缺陷。
可选的，所述深度学习网络模型的训练方式，包括：
获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
使用高斯噪声、零掩模噪声和块状噪声中的至少一种对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
可选的，所述获取样本训练集，包括：
获取原始训练样本图像，所述原始训练样本图像包括无缺陷样本图像；
按照亮度变换、对比度变换和尺度变换中的至少一种对所述原始训练样本图像进行变换扩充；
将所有变换扩充后的训练样本图像和所有所述原始训练样本图像一起构成第一数量的训练样本图像；
将第一数量的所述训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
将所述第二数量的训练样本图像作为所述样本训练集。
可选的，所述将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型，包括：
将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；
计算所述输出图像与该加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
判断所述总误差函数值是否小于或等于误差阈值，若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像。
可选的，所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值，包括：
基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值，其中，所述总误差函数为：
所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
为逐像素点的梯度均方误差，所述
为所述输出图像上第i个像素点的梯度值，所述
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
第二方面，本发明实施例提供了一种表面缺陷检测装置，所述装置包括：
获取模块，用于获取待检测图像；
重建图像获得模块，用于通过将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
作差模块，用于将所述重建图像与所述待检测图像作差，得到差值图像；
确定模块，用于在所述差值图像中，若存在差值大于预设差值的区域，则确定在所述待检测图像中的对应区域存在表面缺陷。
可选的，所述获取模块，还用于：
获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
所述装置，还包括：
加噪模块，用于使用高斯噪声、零掩模噪声和块状噪声中的至少一种对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
训练模块，用于将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
可选的，所述获取模块，具体用于：
获取原始训练样本图像，所述原始训练样本图像包括无缺陷样本图像；
按照亮度变换、对比度变换和尺度变换中的至少一种对所述原始训练样本图像进行变换扩充；
将所有变换扩充后的训练样本图像和所有所述原始训练样本图像一起构成第一数量的训练样本图像；
将第一数量的所述训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
将所述第二数量的训练样本图像作为所述样本训练集。
可选的，所述训练模块，具体用于：
将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；
计算所述输出图像与该加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
判断所述总误差函数值是否小于或等于误差阈值，若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像。
可选的，所述训练模块在实现所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值时，具体用于：
基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值，其中，所述总误差函数为：
所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
为逐像素点的梯度均方误差，所述
为所述输出图像上第i个像素点的梯度值，所述
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现本发明实施例第一方面所述的任一方法步骤。
本发明实施例提供的一种表面缺陷检测方法、装置及电子设备，通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷，其中，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，即可确定在待检测图像中的对应区域存在表面缺陷，不受样本图像的限制，有表面缺陷即会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术的缺陷检测流程示意图；
图2为现有技术的基于深度学习的表面检测方法流程示意图；
图3为本发明实施例的表面缺陷检测方法的流程简图；
图4为本发明实施例的表面缺陷检测方法的流程示意图；
图5为本发明实施例的深度学习网络模型训练的流程示意图；
图6为本发明实施例的数据构造示意图；
图7为本发明实施例的深度学习网络模型的训练过程的流程简图；
图8为本发明实施例的测试过程的流程简图；
图9a为现有技术的DBNs训练中预训练的流程示意图；
图9b为现有技术的DBNs训练中网络模型展开的流程示意图；
图9c为现有技术的DBNs训练中网络模型微调的流程示意图；
图10为现有技术的RBM模型的结构示意图；
图11a为现有技术的SDAE训练中预训练的流程示意图；
图11b为现有技术的SDAE训练中网络模型展开的流程示意图；
图11c为现有技术的SDAE训练中网络模型微调的流程示意图；
图12为现有技术的DAE计算流程示意图；
图13为现有技术的SDAE计算流程示意图；
图14为本发明实施例的表面缺陷检测装置的结构示意图；
图15为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的表面缺陷检测方法与传统的机器视觉算法流程类似，如图1所示，一般将拍摄得到的图片进行预处理，然后设计滤波器提取特征，对提取的特征进行分析处理确定阈值，经过形态学等处理检测出缺陷。自从机器学习广泛应用后，表面缺陷检测领域也开始大量使用机器学习的方法，例如基于深度学习的表面检测方法，基于深度学习的表面检测方法流程如图2所示，深度学习能够自动提取特征，而不需要人工设计特征，能够学习图像更加抽象的表达，进一步提高缺陷检测精度。
基于深度学习的表面检测方法需要预先对深度学习网络进行训练，要求进行训练的样本图像必须为包含有缺陷的样本图像，然而，由于包含有缺陷的样本图像数量有限，并不能保证覆盖可能出现的所有类型的缺陷，因此，基于深度学习的表面缺陷检测方法并不能检测出样本图像中未出现过的缺陷。
因此，为了提高表面缺陷的检出率，本发明实施例提供了一种表面缺陷检测方法、装置及电子设备。
下面，首先对本发明实施例所提供的一种表面缺陷检测方法进行介绍。
本发明实施例所提供的一种表面缺陷检测方法的执行主体可以为一种电子设备，该电子设备用于实现图像处理、目标识别等功能，可以为具有逻辑处理能力的摄像机、远程处理器等，电子设备中至少包括可以完成逻辑处理的芯片。实现本发明实施例所提供的一种表面缺陷检测方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种。
本发明实施例提供了一种表面缺陷检测方法，表面缺陷检测方法的流程简图如图3所示。主要步骤包括：针对训练图像构建数据集；利用构建的数据集训练深度学习网络模型；将测试图像输入训练好的深度学习网络模型，模型输出；对模型输出进行后处理，得到表面缺陷检测的结果。
下面，对如图3所示的表面缺陷检测方法进行更为详细的介绍，如图4所示，该表面缺陷检测方法可以包括如下步骤：
S401，获取待检测图像。
待检测图像为需要进行表面缺陷检测的图像，待检测图像可以为数据库中已存储的产品图像，也可以为对产品进行实时拍摄得到的图像，这里所提及的产品为泛指的产品，并不局限于某一种类型的产品，可以为例如手机、便携式计算机、布匹、筷子等等。
S402，通过将待检测图像输入预先训练得到的深度学习网络模型，得到待检测图像对应的无缺陷的重建图像。
其中，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。深度学习网络模型可以为卷积神经网络模型，卷积神经网络是一种前馈神经网络，卷积神经网络中的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络一般由卷积层、池化层、非线性层和全连接层等网络层组成，当然，本实施例中的深度学习网络模型还可以为全卷积神经网络模型，即不包含全连接层的卷积神经网络。
由于深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型，则将待检测图像输入深度学习网络模型后，所得到的重建图像为接近于与待检测图像对应的无缺陷的样本图像的图像，且重建图像中的产品图就是待检测图像中的产品图，两者唯一区别在于重建图像中的产品图无缺陷，而待检测图像中的产品图可能存在缺陷。当然，由于受深度学习网络模型的训练精准度影响，重建图像中有可能包含有缺陷，但是缺陷已深度弱化，与待检测图像中的缺陷仍然存在较大差异。
可选的，深度学习网络模型的训练方式如图5所示，具体可以包括如下步骤：
S501，获取样本训练集。
其中，样本训练集中包括多个无缺陷的训练样本图像。样本训练集为无缺陷的训练样本图像构成的集合，无缺陷的训练样本图像可以为采集的原始无缺陷的样本图像，也可以为对采集的原始无缺陷的样本图像进行数据构造得到的图像。
可选的，S501具体可以为：获取原始训练样本图像，其中，原始训练样本图像包括无缺陷样本图像；按照亮度变换、对比度变换和尺度变换中的至少一种对原始训练样本图像进行变换扩充；将所有变换扩充后的训练样本图像和所有原始训练样本图像一起构成第一数量的训练样本图像；将第一数量的训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；将第二数量的训练样本图像作为样本训练集。
获取样本训练集时，需要对训练样本图像进行数据构造，数据构造主要分为两块，如图6所示，一个是数据扩充，另一个是对扩充后的数据进行分块。
由于无缺陷的样本图像的数量较大，并且场景、类型等区别也较大，获取的原始训练样本图像可能仅仅有十几二十张，并且在同一场景中不同时刻的亮度、对比度等属性不同，则会导致难以覆盖所有可能存在的情况，因此，为了提高检测的准确性，可以按照亮度变换、对比度变换和尺度变换中的至少一种对原始训练样本图像进行变换扩充，得到变换扩充后的训练样本图像。可以将所有变换后的训练样本图像和原始训练样本图像一起构成第一数量的训练样本图像，这样，就将训练样本图像扩充了几倍，有效的扩大了样本的覆盖。
并且，一般工业上用于表面缺陷检测的图像尺寸都比较大，例如图像的尺寸可能为1280*1024，为了解决大尺寸图像上表面缺陷检测的问题，可以按照预设尺寸对第一数量的训练样本图像进行裁剪分块，例如预设尺寸为250*250，则可以从第一数量的训练样本图像中选取若干点，以这些点为中心，裁剪250*250大小的图像，最终得到若干个大小为250*250的图像作为第二数量的训练样本图像；还可以是以均匀采样的方式进行裁剪，即从第一数量的训练样本图像的左上角开始，每隔25个像素采集250*250范围的图像作为第二数量的训练样本图像。
S502，使用高斯噪声、零掩模噪声、块状噪声中的至少一种对样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像。
由于在实际场景中，不可避免的存在噪声，而样本训练集中的训练样本图像往往是在不确定的噪声下采集的，因此，为了保证深度学习网络的稳定性，可以在各训练样本图像上加入噪声，从而使得深度学习网络模型能够更好的学习到无缺陷样本的数据分布。加入的噪声对最终深度学习网络模型影响比较大，如何设计噪声也是比较关键的，为了提高深度学习网络模型的泛化能力，更大程度的应对不同的噪声，从受污染的输入中重构出纯净的输入，因此，在加入噪声时，可以针对各训练样本图像，使用高斯噪声、零掩模噪声、块状噪声中的至少一种对该训练样本图像进行加噪处理。加入噪声的方式与噪声的类型相关，例如，在加入零掩膜噪声时，可以随机地将训练样本图像中预设比例的像素点设置为0，加入其他类型的噪声的方式这里不再一一赘述。
S503，将各加噪图像输入预设训练模型进行训练，得到深度学习网络模型。
在得到加噪图像之后，即可进行深度学习网络模型的训练，加噪图像经过深度学习网络模型后可以得到输出图像。对预设训练模型进行训练得到深度学习网络模型的方式，可以是传统的卷积神经网络的训练方式。
如何训练深度学习模型是整个表面缺陷检测方法的关键，加入噪声的加噪图像经过卷积神经网络得到加噪图像的输出图像，为了能够使得输出图像更加接近原始的训练样本图像，可以根据预设的误差最优化策略进行模型训练，预设的误差最优化策略可以为最优化输出图像与训练样本图像之间的像素均方误差，也可以为最优化输出图像与训练样本图像之间的逐像素点的像素均方误差及梯度均方误差，还可以为最优化其他类型的误差，这里不再一一赘述。
可选的，S503具体可以包括以下步骤：
步骤A，将各加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像。
在第一次得到输出图像时，加噪图像输入的可以是一个初始深度学习网络模型，初始深度学习网络模型可以为基本的或者业内最为常用的网络模型。
步骤B，计算输出图像与该加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差。
步骤C，基于逐像素点的像素均方误差及梯度均方误差，计算总误差函数值。
可选的，步骤C具体可以为：基于逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值。
其中，总误差函数为：
m为输入的加噪图像对应的训练样本图像上的像素点个数，
为逐像素点的像素均方误差，x'为输出图像上第i个像素点的像素值，x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，
为逐像素点的梯度均方误差，
为输出图像上第i个像素点的梯度值，
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
步骤D，判断总误差函数值是否小于或等于误差阈值，若是，则确定深度学习网络模型训练完成；否则根据总误差函数值，调整深度学习网络模型的网络参数，并返回执行步骤A。
本实施例中误差最优化策略为最优化输出图像与训练样本图像之间的逐像素点的像素均方误差及梯度均方误差方式，一方面，从像素值的角度使得输出图像尽可能的与训练样本图像接近，另一方面，从边缘梯度的角度使得输出图像更接近训练样本图像。有缺陷的图像中往往存在许多纹理信息及边缘信息，包括缺陷本身也是具有边缘信息的，因此，加入梯度的信息能够更好的检测表面缺陷。
具体的，深度学习网络模型的训练过程如图7所示，在训练图像x中添加噪声，然后基于添加了噪声的训练图像对卷积神经网络进行训练，得到重建图像x'，并将重建图像作为训练图像重新进行训练。可以采用类似SDAE(Stacked Denosie Autoencode，堆叠降噪自动编码器)的方法在训练数据上加入噪声，使得深度学习网络模型能够更好的学习到无缺陷样本的数据分布。深度学习网络模型的训练过程，可以在已有的深度学习网络平台上进行，也可以通过搭建的程序框架实现，这里不做限定。
S403，将重建图像与待检测图像作差，得到差值图像。
重建图像与待检测图像作差即为重建图像中的像素点与待检测图像中的对应像素点分别作差，对于灰度图，可以是像素值直接作差，对于RGB图，可以是三通道分量分别作差，像素值相同或者RGB三通道分量相同的像素点在作差之后差值接近于0，而像素值或者RGB三通道分量差别较大时，在作差之后差值较大，因此，可以通过差值的大小来判断是否存在缺陷。为了计算简便，在得到差值图像后，可以将差值图像中的各差值进行归一化处理，将所有差值都归一化至0～1的范围内。
测试过程的流程简图如图8所示，对于待检测图像，将待检测图像输入训练好的深度学习网络模型中获得重建图像，将重建图像与待检测图像做差，获得一张差值图像，有缺陷的区域会有较大的差异，没有缺陷的区域差异较小，因此，可以通过值的大小来判断该区域是否存在缺陷。
S404，在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷。
由于重建图像为无缺陷的图像，而待检测图像中可能存在表面缺陷，通过将重建图像与待检测图像作差，差值较小的区域说明待检测图像中该区域无缺陷，而差值较大的区域说明待检测图像中该区域存在表面缺陷，为了提高检测的准确性，可以设置一预设差值，如果存在差值大于预设差值的区域，则说明待检测图像中该区域存在表面缺陷。
在确定待检测图像中存在表面缺陷之后，还可以采用SVM(Support VectorMachine，支持向量机)、回归模型softmax、ANN(Artificial Neural Networks，人工神经网络)等分类器，识别表面缺陷的类别，分类器识别表面缺陷类别的具体识别方法这里不再赘述。
目前涉及到无监督的表面缺陷检测方法主要是采用无监督学习方式进行预训练，然后结合有监督的方法对网络进行微调，其中，无监督学习中训练集样本的特性未知，也就是说没有对样本进行标记。完全采用无监督的方法主要分为两种方法，一种采用DBNs(DeepBelief Networks，深度置信网络)，另一种采用SDAE。
DBNs的训练过程如下：仅采用无缺陷的样本图像，逐层训练堆叠的RBM(Restricted Boltzmann Machines，受限玻尔兹曼机)，如图9a所示；同样采用无缺陷的样本图像将网络模型展开，然后进行微调，如图9b、图9c所示。
DBNs通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。DBNs的组成元件是RBM。在RBM中，神经元是随机的，且只有未激活和激活两种状态，一般用二进制的0和1表示，取值根据概率统计法则决定。RBM具有一个可见层，一个隐藏层，如图10所示，其层内无连接，这种结构使得RBM在给定可见层单元状态时，各隐藏层单元的激活条件独立；反之在给定隐藏层单元状态时，可见层单元的激活条件也独立。
当给定可见单元状态时，各隐藏层单元的激活状态之间是条件独立的，由此可得第j个隐藏层单元的激活概率为：
根据RBM的对称结构，同理可得第i个可见层单元的激活概率为：
其中，hi表征第i个隐藏层单元，vi表征第i个可见层单元，Wij、bj和cj为RBM网络参数，需拟合给定的训练数据，用极大似然法最大化上述公式，一般采用CD(ContrastiveDivergence，对比分歧)算法进行优化。
SDAE的训练过程如下：(1)训练第一个DAE(Denoising Auto-encoder，降噪自动编码器)网络，采用最优梯度下降法优化，计算得到训练样本在隐藏层的输出值；(2)将(1)的结果作为第二个DAE网络训练的输入值，同样采用最优梯度下降法来优化，并计算DAE网络输出值，用同样的方法训练第3个DAE网络和第4个DAE网络；将上面的4个DAE网络展开连接成新的网络，且分成编码和解码两部分，用(1)和(2)得到的权值给网络赋初值；(4)将输入值作为SDAE网络的目标输出，同样用最优梯度下降法来优化，得到最终的网络权值。以输入样本图像为64*64的灰度图为例，SDAE的输入层是4096维，4个隐藏层维度分别为1000、500、250、200、50。首先按照图11a的形式创建网络并得到相应的预训练权值；然后再按图11b的形式展开；最后把输入样本图像作为网络的目标输出，按图11c对权值做进一步的微调，微调的过程可以采用BP(Back Propagation，反向传播)算法。
DAE与传统的AE(Auto-encoder，自动编码器)具有相同的结构，只是在样本输入时加入了某种类型的噪声，其学习目标是从受污染的输入中重构出纯净的输入。其计算过程如图12所示，计算过程如下。
设输入样本为X，污染后的随机映射样本为
则DAE的编码输出为：
重构后的解码输出为：
Z＝gθ'(Y)＝s(W'Y+b')
其参数、结构与基本的AE完全相同，不同点在于损失函数：
L2(X,Z)＝C(σ2)||X-Z||2，线性解码器
或，
LH(X,Z)＝H(B(X)||B(Z))，非线性解码器
其中，W、b、W'、b'为DAE网络参数。损失函数虽然仍旧是最小化纯净输入信号X和重构Y之间的误差，或者说是最大化纯净输入信号和重构信号之间的共有信息，但与传统的AE不同的是，重构信号Y是由受污染信号
重构得到的。
样本X每训练一次，都会根据噪声发生器
产生一个不同的
为了得到更高级的特征表达，用深度网络结构的形式，把DAE逐层堆叠起来，形成一个由DAE上下连接而成的模型结构，即为SDAE。在训练时，前一层的输出作为后一层的纯净输入，逐层进行训练。其学习过程如图13所示。
上述两种方法从训练方法上来看，均要分成两步进行，先逐层训练，得到网络模型，再将训练得到的网络模型展开进行微调，过程比较繁琐。而在本发明实施例中，深度学习网络模型的训练过程并不需要分步进行，直接通过训练即可得到深度学习网络模型，而不需要再进行展开微调，简化了训练过程。
应用本实施例，通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷，其中，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，即可确定在待检测图像中的对应区域存在表面缺陷，不受样本图像的限制，有表面缺陷即会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
相应于上述方法实施例，本发明实施例提供了一种表面缺陷检测装置，如图14所示，该表面缺陷检测装置包括：
获取模块1410，用于获取待检测图像。
重建图像获得模块1420，用于通过将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。
作差模块1430，用于将所述重建图像与所述待检测图像作差，得到差值图像。
确定模块1440，用于在所述差值图像中，若存在差值大于预设差值的区域，则确定在所述待检测图像中的对应区域存在表面缺陷。
可选的，所述获取模块1410，还可以用于：获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像。
所述装置，还可以包括：
加噪模块，用于使用高斯噪声，零掩模噪声，块状噪声中的至少一种对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
训练模块，用于将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型。
可选的，所述获取模块1410，具体可以用于：获取原始训练样本图像，所述原始训练样本图像包括无缺陷样本图像；按照亮度变换、对比度变换和尺度变换中的至少一种对所述原始训练样本图像进行变换扩充；将所有变换扩充后的训练样本图像和所有所述原始训练样本图像一起构成第一数量的训练样本图像；将第一数量的所述训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；将所述第二数量的训练样本图像作为所述样本训练集。
可选的，所述训练模块，具体可以用于：将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；计算所述输出图像与该加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；判断所述总误差函数值是否小于或等于误差阈值，若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像。
可选的，所述训练模块在实现所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值时，具体可以用于：基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值。
其中，所述总误差函数为：
所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
为逐像素点的梯度均方误差，所述
为所述输出图像上第i个像素点的梯度值，所述
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
应用本实施例，通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷，其中，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，即可确定在待检测图像中的对应区域存在表面缺陷，不受样本图像的限制，有表面缺陷即会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
为了提高表面缺陷的检出率，本发明实施例还提供了一种电子设备，如图15所示，该电子设备包括处理器1501和存储器1502，其中，
所述存储器1502，用于存放计算机程序；
所述处理器1501，用于执行所述存储器1502上所存放的计算机程序时，实现如上述表面缺陷检测方法的任一步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括GPU(Graphics Processing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，该电子设备的处理器通过读取存储器中存储的计算机程序，并通过运行该计算机程序，能够实现：通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷，其中，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，即可确定在待检测图像中的对应区域存在表面缺陷，不受样本图像的限制，有表面缺陷即会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
另外，相应于上述实施例所提供的表面缺陷检测方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述表面缺陷检测方法的任一步骤。
本实施例中，计算机可读存储介质在运行时执行本发明实施例所提供的表面缺陷检测方法的应用程序，因此能够实现：通过将获取的待检测图像输入预先训练得到的深度学习网络模型，得到该待检测图像对应的无缺陷的重建图像，将重建图像与待检测图像作差，得到差值图像，在差值图像中，若存在差值大于预设差值的区域，则确定在待检测图像中的对应区域存在表面缺陷，其中，深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型。由于深度学习网络模型是由无缺陷的训练样本图像训练得到的，相较于包含有缺陷的样本图像，无缺陷的训练样本图像更易获取到，且数量多，则将待检测图像输入深度学习网络模型后，可以得到该待检测图像对应的无缺陷的重建图像，由于有缺陷的图像与无缺陷的图像相比，缺陷部分具有较大差异，因此，通过将重建图像与待检测图像作差，如果差值图像中存在差值大于预设差值的区域，即可确定在待检测图像中的对应区域存在表面缺陷，不受样本图像的限制，有表面缺陷即会导致重建图像与待检测图像之间差异明显，这样，既增加了检测出未知的表面缺陷类型的可能性，又提高了表面缺陷的检出率。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (5)
1.一种表面缺陷检测方法，其特征在于，所述方法包括：
获取待检测图像；
通过将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
将所述重建图像与所述待检测图像作差，得到差值图像；
在所述差值图像中，若存在差值大于预设差值的区域，则确定在所述待检测图像中的对应区域存在表面缺陷；
其中，所述深度学习网络模型的训练方式，包括：
获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
使用高斯噪声、零掩模噪声和块状噪声对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型；
所述将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型，包括：
将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；
计算所述输出图像与该加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
判断所述总误差函数值是否小于或等于误差阈值，若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；
所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值，包括：
基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值，其中，所述总误差函数为：
所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
为逐像素点的梯度均方误差，所述
为所述输出图像上第i个像素点的梯度值，所述
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
2.根据权利要求1所述的方法，其特征在于，所述获取样本训练集，包括：
获取原始训练样本图像，所述原始训练样本图像包括无缺陷样本图像；
按照亮度变换、对比度变换和尺度变换，对所述原始训练样本图像进行变换扩充；
将所有变换扩充后的训练样本图像和所有所述原始训练样本图像一起构成第一数量的训练样本图像；
将第一数量的所述训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
将所述第二数量的训练样本图像作为所述样本训练集。
3.一种表面缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像；
重建图像获得模块，用于通过将所述待检测图像输入预先训练得到的深度学习网络模型，得到所述待检测图像对应的无缺陷的重建图像，所述深度学习网络模型为基于包含多个无缺陷的训练样本图像的样本训练集，预先训练得到的深度学习网络模型；
作差模块，用于将所述重建图像与所述待检测图像作差，得到差值图像；
确定模块，用于在所述差值图像中，若存在差值大于预设差值的区域，则确定在所述待检测图像中的对应区域存在表面缺陷；
其中，所述获取模块，还用于：
获取样本训练集，所述样本训练集中包括多个无缺陷的训练样本图像；
所述装置，还包括：
加噪模块，用于使用高斯噪声、零掩模噪声和块状噪声对所述样本训练集中的各训练样本图像进行加噪处理，得到各训练样本图像分别对应的加噪图像；
训练模块，用于将各所述加噪图像输入预设训练模型进行训练，得到所述深度学习网络模型；
所述训练模块，具体用于：
将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；
计算所述输出图像与该加噪图像对应的训练样本图像之间的逐像素点的像素均方误差及梯度均方误差；
基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值；
判断所述总误差函数值是否小于或等于误差阈值，若是，则确定所述深度学习网络模型训练完成；否则根据所述总误差函数值，调整所述深度学习网络模型的网络参数，并返回执行所述将各所述加噪图像输入预设卷积神经网络，得到该加噪图像的输出图像；
所述训练模块在实现所述基于所述逐像素点的像素均方误差及梯度均方误差，计算总误差函数值时，具体用于：
基于所述逐像素点的像素均方误差及梯度均方误差，利用总误差函数，计算得到总误差函数值，其中，所述总误差函数为：
所述m为输入的加噪图像对应的训练样本图像上的像素点个数，所述
为逐像素点的像素均方误差，所述x'为所述输出图像上第i个像素点的像素值，所述x为输入的加噪图像对应的训练样本图像上第i个像素点的像素值，所述
为逐像素点的梯度均方误差，所述
为所述输出图像上第i个像素点的梯度值，所述
为输入的加噪图像对应的训练样本图像上第i个像素点的梯度值。
4.根据权利要求3所述的装置，其特征在于，所述获取模块，具体用于：
获取原始训练样本图像，所述原始训练样本图像包括无缺陷样本图像；
按照亮度变换、对比度变换和尺度变换，对所述原始训练样本图像进行变换扩充；
将所有变换扩充后的训练样本图像和所有所述原始训练样本图像一起构成第一数量的训练样本图像；
将第一数量的所述训练样本图像按照预设尺寸进行裁剪分块，得到第二数量的训练样本图像；
将所述第二数量的训练样本图像作为所述样本训练集。
5.一种电子设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-2任一所述的方法步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810563651.XA CN110619618B (zh) | 2018-06-04 | 2018-06-04 | 一种表面缺陷检测方法、装置及电子设备 |
| PCT/CN2019/079746 WO2019233166A1 (zh) | 2018-06-04 | 2019-03-26 | 一种表面缺陷检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810563651.XA CN110619618B (zh) | 2018-06-04 | 2018-06-04 | 一种表面缺陷检测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619618A CN110619618A (zh) | 2019-12-27 |
| CN110619618B true CN110619618B (zh) | 2023-04-07 |
Family
ID=68770049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810563651.XA Active CN110619618B (zh) | 2018-06-04 | 2018-06-04 | 一种表面缺陷检测方法、装置及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110619618B (zh) |
| WO (1) | WO2019233166A1 (zh) |
Families Citing this family (107)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383209B (zh) * | 2019-12-20 | 2023-07-07 | 广州光达创新科技有限公司 | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 |
| CN111199531B (zh) * | 2019-12-27 | 2023-05-12 | 中国民航大学 | 基于泊松图像融合及图像风格化的交互式数据扩展方法 |
| CN111311542B (zh) * | 2020-01-15 | 2023-09-19 | 歌尔股份有限公司 | 一种产品质量检测方法及装置 |
| CN111311544B (zh) * | 2020-01-19 | 2024-04-26 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
| CN111208148A (zh) * | 2020-02-21 | 2020-05-29 | 凌云光技术集团有限责任公司 | 一种挖孔屏漏光缺陷检测系统 |
| CN111325738B (zh) * | 2020-02-28 | 2023-06-23 | 湖北工业大学 | 一种用于横穿孔周边裂纹的智能检测方法及系统 |
| CN111429405B (zh) * | 2020-03-04 | 2023-05-12 | 清华大学深圳国际研究生院 | 基于3d cnn的锡球缺陷检测方法及装置 |
| CN111553557A (zh) * | 2020-03-30 | 2020-08-18 | 徐州徐工挖掘机械有限公司 | 一种基于深度学习的车间产品质量评估方法 |
| TWI791970B (zh) * | 2020-04-08 | 2023-02-11 | 台達電子工業股份有限公司 | 瑕疵檢測方法及瑕疵檢測裝置 |
| CN113552130A (zh) * | 2020-04-08 | 2021-10-26 | 台达电子工业股份有限公司 | 瑕疵检测方法及瑕疵检测装置 |
| CN111553476B (zh) * | 2020-04-30 | 2023-12-01 | 上海个元科技有限公司 | 基于记忆分值的神经网络训练方法、装置及存储介质 |
| CN111583223B (zh) * | 2020-05-07 | 2023-12-19 | 上海闻泰信息技术有限公司 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
| CN111598857A (zh) * | 2020-05-11 | 2020-08-28 | 北京阿丘机器人科技有限公司 | 产品表面缺陷的检测方法、装置、终端设备及介质 |
| CN111598152B (zh) * | 2020-05-12 | 2023-06-13 | 北京阿丘机器人科技有限公司 | 视觉系统复现方法、设备及计算机可读存储介质 |
| CN111598863B (zh) * | 2020-05-13 | 2023-08-22 | 北京阿丘机器人科技有限公司 | 缺陷检测方法、装置、设备及可读存储介质 |
| CN111696079B (zh) * | 2020-05-15 | 2023-06-06 | 中山大学 | 一种基于多任务学习的表面缺陷检测方法 |
| CN113706437B (zh) * | 2020-05-21 | 2024-03-15 | 国网智能科技股份有限公司 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
| CN111709452B (zh) * | 2020-05-21 | 2023-06-16 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN113724128B (zh) * | 2020-05-25 | 2024-03-15 | Tcl科技集团股份有限公司 | 一种训练样本的扩充方法 |
| CN113763305B (zh) * | 2020-05-29 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 标定物品缺陷的方法、装置及电子设备 |
| CN111680596B (zh) * | 2020-05-29 | 2023-10-13 | 北京百度网讯科技有限公司 | 基于深度学习的定位真值校验方法、装置、设备及介质 |
| CN111626960A (zh) * | 2020-05-29 | 2020-09-04 | Oppo广东移动通信有限公司 | 图像去雾方法、终端及计算机存储介质 |
| CN111932489B (zh) * | 2020-06-03 | 2024-02-20 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN111833300B (zh) * | 2020-06-04 | 2023-03-14 | 西安电子科技大学 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
| CN113822836A (zh) * | 2020-06-05 | 2021-12-21 | 英业达科技有限公司 | 标记图像的方法 |
| CN112070712B (zh) * | 2020-06-05 | 2024-05-03 | 湖北金三峡印务有限公司 | 基于自编码器网络的印刷缺陷检测方法 |
| CN111815564B (zh) * | 2020-06-09 | 2024-03-29 | 浙江华睿科技股份有限公司 | 一种检测丝锭的方法、装置及丝锭分拣系统 |
| CN113850749A (zh) * | 2020-06-09 | 2021-12-28 | 英业达科技有限公司 | 训练缺陷侦测器的方法 |
| CN111696092B (zh) * | 2020-06-11 | 2023-08-25 | 深圳市华汉伟业科技有限公司 | 一种基于特征对比的缺陷检测方法及系统、存储介质 |
| CN111693534B (zh) | 2020-06-12 | 2023-09-15 | 北京百度网讯科技有限公司 | 表面缺陷的检测方法、模型训练方法、装置、设备和介质 |
| CN111833306B (zh) * | 2020-06-12 | 2024-02-13 | 北京百度网讯科技有限公司 | 缺陷检测方法和用于缺陷检测的模型训练方法 |
| CN111833311B (zh) * | 2020-06-18 | 2023-12-22 | 安徽农业大学 | 基于深度学习的图像识别方法及在水稻病害识别上的应用 |
| CN111612788B (zh) * | 2020-06-22 | 2023-07-04 | 创新奇智(上海)科技有限公司 | 一种缺陷识别方法、装置和电子设备 |
| CN111814850A (zh) * | 2020-06-22 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型训练方法、缺陷检测方法及相关装置 |
| CN111754486B (zh) * | 2020-06-24 | 2023-08-15 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111553480B (zh) * | 2020-07-10 | 2021-01-01 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、计算机可读介质及电子设备 |
| CN111986103A (zh) * | 2020-07-20 | 2020-11-24 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN114078108B (zh) * | 2020-08-11 | 2023-12-22 | 北京阅影科技有限公司 | 图像中异常区域的处理方法、装置和图像分割方法、装置 |
| CN111784692A (zh) * | 2020-08-11 | 2020-10-16 | 国网内蒙古东部电力有限公司 | 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备 |
| CN111968095B (zh) * | 2020-08-19 | 2022-08-02 | 成都数之联科技股份有限公司 | 一种产品表面缺陷检测方法及系统及装置及介质 |
| CN111951255A (zh) * | 2020-08-20 | 2020-11-17 | 华北电力大学 | 缺陷识别方法、装置、终端设备和可读存储介质 |
| CN112085722B (zh) * | 2020-09-07 | 2024-04-09 | 凌云光技术股份有限公司 | 一种训练样本图像获取方法及装置 |
| CN111986195B (zh) * | 2020-09-07 | 2024-02-20 | 凌云光技术股份有限公司 | 一种外观缺陷检测方法及系统 |
| CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
| CN112102306B (zh) * | 2020-09-25 | 2022-10-25 | 西安交通大学 | 一种基于双重gan的边缘修复特征融合的缺陷检测方法 |
| CN112381755A (zh) * | 2020-09-28 | 2021-02-19 | 台州学院 | 一种基于深度学习的输液器导管涂胶缺陷检测方法 |
| CN112330595B (zh) * | 2020-10-13 | 2024-04-02 | 浙江华睿科技股份有限公司 | 一种绊丝检测方法、装置、电子设备及存储介质 |
| CN112330598B (zh) * | 2020-10-14 | 2023-07-25 | 浙江华睿科技股份有限公司 | 一种化纤表面僵丝缺陷检测的方法、装置及存储介质 |
| CN112419241A (zh) * | 2020-11-04 | 2021-02-26 | 联想(北京)有限公司 | 一种基于人工智能的物体鉴别方法、装置和可读存储介质 |
| CN112381794B (zh) * | 2020-11-16 | 2022-05-31 | 哈尔滨理工大学 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
| CN112634147B (zh) * | 2020-12-09 | 2024-03-29 | 上海健康医学院 | 自监督学习的pet图像降噪方法、系统、装置及介质 |
| CN112669264A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 配网线路无人机巡检的人工智能缺陷识别方法和系统 |
| CN114648480A (zh) * | 2020-12-17 | 2022-06-21 | 杭州海康威视数字技术股份有限公司 | 表面缺陷检测方法、装置及系统 |
| CN112598646A (zh) * | 2020-12-23 | 2021-04-02 | 山东产研鲲云人工智能研究院有限公司 | 电容缺陷检测方法、装置、电子设备及存储介质 |
| CN112766324B (zh) * | 2021-01-02 | 2024-02-02 | 西安电子科技大学 | 图像对抗样本检测方法、系统、存储介质、终端及应用 |
| CN112734827A (zh) * | 2021-01-07 | 2021-04-30 | 京东鲲鹏(江苏)科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
| CN113034432B (zh) * | 2021-01-08 | 2023-10-27 | 苏州真目人工智能科技有限公司 | 一种产品缺陷检测方法、系统、装置及存储介质 |
| CN113012097B (zh) * | 2021-01-19 | 2023-12-29 | 富泰华工业（深圳）有限公司 | 图像复检方法、计算机装置及存储介质 |
| CN112784835B (zh) * | 2021-01-21 | 2024-04-12 | 恒安嘉新（北京）科技股份公司 | 圆形印章的真实性识别方法、装置、电子设备及存储介质 |
| CN112861957B (zh) * | 2021-02-01 | 2024-05-03 | 陕西中良智能科技有限公司 | 一种油井运行状态检测方法及装置 |
| CN112884743B (zh) * | 2021-02-22 | 2024-03-05 | 深圳中科飞测科技股份有限公司 | 检测方法及装置、检测设备和存储介质 |
| CN112967239A (zh) * | 2021-02-23 | 2021-06-15 | 湖南大学 | 一种坡口缺陷检测方法、计算设备及可读存储介质 |
| WO2022178834A1 (zh) * | 2021-02-26 | 2022-09-01 | 深圳市大疆创新科技有限公司 | 一种图像处理的方法和装置 |
| CN112967248B (zh) * | 2021-03-03 | 2024-01-23 | 北京百度网讯科技有限公司 | 生成缺陷图像样本的方法、装置、介质及程序产品 |
| CN113284086A (zh) * | 2021-03-31 | 2021-08-20 | 广东电力信息科技有限公司 | 电力稀缺缺陷图像生成及检测方法、装置及相关设备 |
| CN113077454A (zh) * | 2021-04-19 | 2021-07-06 | 凌云光技术股份有限公司 | 一种图像缺陷拟合方法、系统和存储介质 |
| CN113313689A (zh) * | 2021-05-28 | 2021-08-27 | 长安大学 | 一种路面构造深度测量方法、系统、设备及存储介质 |
| CN113298158B (zh) * | 2021-05-28 | 2024-05-28 | 平安科技（深圳）有限公司 | 数据检测方法、装置、设备及存储介质 |
| CN113379689B (zh) * | 2021-05-31 | 2024-05-10 | 东南大学 | 一种基于深度学习的缺陷检测算法 |
| CN113361583A (zh) * | 2021-06-01 | 2021-09-07 | 珠海大横琴科技发展有限公司 | 一种对抗样本检测方法和装置 |
| CN113393431A (zh) * | 2021-06-09 | 2021-09-14 | 东方电气集团科学技术研究院有限公司 | 一种用于风机叶片缺陷检测的热成像图像增强训练方法和装置 |
| CN113378957B (zh) * | 2021-06-23 | 2023-04-25 | 广东工业大学 | 一种自适应统计模型训练方法、焊点缺陷检测方法及系统 |
| CN113379719A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 道路缺陷检测方法、装置、电子设备和存储介质 |
| CN113379729B (zh) * | 2021-07-02 | 2023-07-25 | 四川启睿克科技有限公司 | 一种图像微小异常检测方法、装置及计算机可读存储介质 |
| CN113706462A (zh) * | 2021-07-21 | 2021-11-26 | 南京旭锐软件科技有限公司 | 产品表面缺陷检测方法、装置、设备及存储介质 |
| CN113706464B (zh) * | 2021-07-22 | 2023-09-12 | 西安交通大学 | 一种印刷品外观质量检测方法及系统 |
| CN113592830B (zh) * | 2021-08-04 | 2024-05-03 | 航天信息股份有限公司 | 一种图像缺陷检测方法、装置及存储介质 |
| CN113592024B (zh) * | 2021-08-12 | 2024-05-28 | 燕山大学 | 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统 |
| CN113793343B (zh) * | 2021-08-23 | 2023-06-06 | 南昌航空大学 | 基于图像的缺陷定位分割方法、系统、终端及存储介质 |
| CN113674285A (zh) * | 2021-08-25 | 2021-11-19 | 长沙矿山研究院有限责任公司 | 一种电解/电积镍板智能剪切方法 |
| CN113781585B (zh) * | 2021-08-27 | 2024-02-06 | 华中科技大学 | 一种增材制造零件表面缺陷在线检测方法及系统 |
| CN113781424B (zh) * | 2021-09-03 | 2024-02-27 | 苏州凌云光工业智能技术有限公司 | 一种表面缺陷检测方法、装置及设备 |
| CN113888477A (zh) * | 2021-09-13 | 2022-01-04 | 浙江大学 | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 |
| CN114104653A (zh) * | 2021-09-14 | 2022-03-01 | 精锐视觉智能科技(上海)有限公司 | 一种输煤仓区域输煤皮带机智能巡检检测方法 |
| CN113808104B (zh) * | 2021-09-16 | 2024-04-02 | 西安交通大学 | 一种基于分块的金属表面缺陷检测方法及系统 |
| CN113688947B (zh) * | 2021-10-11 | 2024-03-15 | 国网智能科技股份有限公司 | 一种配电设备红外图像故障识别方法及系统 |
| CN113888663B (zh) * | 2021-10-15 | 2022-08-26 | 推想医疗科技股份有限公司 | 重建模型训练方法、异常检测方法、装置、设备及介质 |
| CN114354623A (zh) * | 2021-12-30 | 2022-04-15 | 苏州凌云视界智能设备有限责任公司 | 弱印痕提取算法、装置、设备和介质 |
| CN114463296B (zh) * | 2022-01-24 | 2024-04-16 | 武汉大学 | 基于单样本学习的轻量化部件缺陷检测方法 |
| CN114565567B (zh) * | 2022-02-15 | 2024-04-09 | 清华大学 | 复杂纹理花边布的缺陷检测方法及装置 |
| CN114529529B (zh) * | 2022-02-21 | 2024-04-09 | 清华大学 | 基于图像仿真增强的花边布匹表面缺陷检测方法及装置 |
| CN114581386B (zh) * | 2022-02-23 | 2024-04-12 | 清华大学 | 基于时空数据的缺陷检测方法及装置 |
| CN114972258B (zh) * | 2022-05-27 | 2023-04-07 | 深圳先进技术研究院 | 基于机器视觉的电池表面缺陷检测方法、系统及相关设备 |
| CN115239719A (zh) * | 2022-09-22 | 2022-10-25 | 南昌昂坤半导体设备有限公司 | 缺陷检测方法、系统、电子设备及存储介质 |
| CN115564773B (zh) * | 2022-11-18 | 2023-04-18 | 南方电网数字电网研究院有限公司 | 基于元学习的小样本图像缺陷检测方法、装置和设备 |
| CN117274148A (zh) * | 2022-12-05 | 2023-12-22 | 魅杰光电科技(上海)有限公司 | 基于深度学习的无监督晶圆缺陷检测方法 |
| CN116091500B (zh) * | 2023-04-07 | 2023-07-04 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
| CN116596875B (zh) * | 2023-05-11 | 2023-12-22 | 哈尔滨工业大学重庆研究院 | 晶圆缺陷检测方法、装置、电子设备及存储介质 |
| CN116503410A (zh) * | 2023-06-28 | 2023-07-28 | 深圳市谱汇智能科技有限公司 | 半导体缺陷识别方法、装置、终端设备以及存储介质 |
| CN116912237B (zh) * | 2023-09-08 | 2023-12-12 | 江西麦可罗泰克检测技术有限公司 | 一种基于图像识别的印制线路板缺陷检测方法及系统 |
| CN116958131B (zh) * | 2023-09-18 | 2024-01-05 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN117132599B (zh) * | 2023-10-26 | 2024-04-09 | 深圳市利器精工科技有限公司 | 线路板缺陷检测方法、装置、电子设备及存储介质 |
| CN117392485B (zh) * | 2023-12-07 | 2024-02-23 | 之江实验室 | 图像生成模型训练方法、业务执行方法、装置及介质 |
| CN117541908B (zh) * | 2024-01-10 | 2024-04-05 | 华芯程(杭州)科技有限公司 | 光学检测图像预测模型的训练方法、装置及预测方法 |
| CN117710365B (zh) * | 2024-02-02 | 2024-05-03 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
| CN117876263B (zh) * | 2024-03-13 | 2024-05-17 | 之江实验室 | 一种天文图像处理方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650770A (zh) * | 2016-09-29 | 2017-05-10 | 南京大学 | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 |
| CN107292885A (zh) * | 2017-08-08 | 2017-10-24 | 广东工业大学 | 一种基于自动编码器的产品缺陷分类识别方法及装置 |
-
2018
- 2018-06-04 CN CN201810563651.XA patent/CN110619618B/zh active Active
-
2019
- 2019-03-26 WO PCT/CN2019/079746 patent/WO2019233166A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650770A (zh) * | 2016-09-29 | 2017-05-10 | 南京大学 | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 |
| CN107292885A (zh) * | 2017-08-08 | 2017-10-24 | 广东工业大学 | 一种基于自动编码器的产品缺陷分类识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Automatic Fabric Defect Detection with a Multi-Scale Convolutional DenoisingAutoencoder Network Model;Shuang Mei 等;《Sensors》;20180402;正文第1-3节 * |
| Automatic TFT-LCD Mura Detection Based on Image Reconstruction and Processing;Yu-Bin Yang 等;《2013 IEEE Third International Conference on Consumer Electronics - Berlin》;20131231;第240-244页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019233166A1 (zh) | 2019-12-12 |
| CN110619618A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619618B (zh) | 一种表面缺陷检测方法、装置及电子设备 | |
| KR101836096B1 (ko) | 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
| KR102150673B1 (ko) | 외관불량 검사방법 및 외관불량 검사 시스템 | |
| CN111553929A (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN110378313B (zh) | 细胞团识别方法、装置及电子设备 | |
| JPWO2019026104A1 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
| CN110070531B (zh) | 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 | |
| US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| KR20180063869A (ko) | 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
| CN113763364A (zh) | 一种基于卷积神经网络的图像缺陷检测方法 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN115937121A (zh) | 基于多维度特征融合的无参考图像质量评价方法及系统 | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
| CN113313021A (zh) | 一种基于低质量影像识别的深度学习模型构建方法 | |
| CN113284122A (zh) | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 | |
| JP2021105758A (ja) | 物品検査装置 | |
| Runge | Mobile 3D Computer Vision: Introducing a portable system for potato size grading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |