CN109389599A - 一种基于深度学习的缺陷检测方法及装置 - Google Patents

一种基于深度学习的缺陷检测方法及装置 Download PDF

Info

Publication number
CN109389599A
CN109389599A CN201811253447.4A CN201811253447A CN109389599A CN 109389599 A CN109389599 A CN 109389599A CN 201811253447 A CN201811253447 A CN 201811253447A CN 109389599 A CN109389599 A CN 109389599A
Authority
CN
China
Prior art keywords
image
training
detected object
defect
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811253447.4A
Other languages
English (en)
Inventor
吴雨培
黄耀
张辉
郑慧伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aqrose Robot Technology Co ltd
Original Assignee
Beijing Aqrose Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aqrose Robot Technology Co ltd filed Critical Beijing Aqrose Robot Technology Co ltd
Priority to CN201811253447.4A priority Critical patent/CN109389599A/zh
Publication of CN109389599A publication Critical patent/CN109389599A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本发明提供了一种基于深度学习的缺陷检测方法,包括:获取包含被检测对象的图像数据;调用预先建立并训练好的神经网络模型,根据用户设定的测试参数、缺陷阈值和所述图像数据,通过所述测试模型进行计算得到缺陷检测结果;其中,所述测试参数包括:图像切分数值;输出所述缺陷检测结果。如此,可以提高检测的效率。

Description

一种基于深度学习的缺陷检测方法及装置
技术领域
本发明涉及工业现场缺陷检测技术领域,具体而言,涉及一种基于深 度学习的缺陷检测方法及装置。
背景技术
在工业场景中,对产品零件的出厂指标都有非常严格的要求,这些要 求为产品零件出厂后发挥功能性作用提供了保证。在工业场景下,各种机 械、声、光、电的复杂环境和众多工序可能会给产品零件的外观造成损坏, 使其成为带缺陷的产品零件。目前大量的针对产品零件的缺陷检测都非常 依赖于人工逐一检测,占用了大量的人力资源,消耗了大量的人力成本。 少部分的缺陷检测是通过传统的图像处理算法解决,但存在诸如检测的缺陷种类非常单一,处理算法的前期验证非常复杂等不足,进而影响检测的 效率。
发明内容
有鉴于此,本发明的目的在于提供一种基于深度学习的缺陷检测方法 和装置,以提高缺陷检测的效率。
第一方面,本发明实施例提供了一种基于深度学习的缺陷检测方法, 包括:
获取包含被检测对象的图像数据;
调用预先建立并训练好的神经网络模型,根据用户设定的测试参数、 缺陷阈值和所述图像数据,通过所述测试模型进行计算得到缺陷检测结果; 其中,所述测试参数包括:图像切分数值;
输出所述缺陷检测结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方 式,其中,所述神经网络模型是通过以下方式预先建立和训练的:
收集数量超过预设值的包含有被检测对象的各种缺陷的图像以及无缺 陷的图像,由所述包含有被检测对象的各种缺陷的图像以及无缺陷的图像 构成训练集和测试集;
对所述训练集和所述测试集中的包含有被检测对象的各种缺陷的图像 进行缺陷标注;
对标注后的图像进行预处理,并根据设置的深度学习训练参数进行训 练建立卷积神经网络。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方 面的第二种可能的实施方式,其中,所述对标注后的图像进行预处理,并 根据设置的深度学习训练参数进行训练所述建立的神经网络模型,包括:
对建立的卷积神经网络,通过残差模块捕获图像中的特征信息;
通过降采样方式抽象所述特征信息;
基于抽象处理后的特征信息,根据上采样方式进行处理得到图像像素 级的特征信息;
根据所述图像像素级的特征信息与标注的缺陷结果之间的差异程度, 判断是否满足训练终止条件;
如果满足,则存储该训练后的神经网络模型。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方 面的第三种可能的实施方式,其中,所述判断是否满足训练终止条件后, 所述方法还包括:
根据所述测试集和所述训练完成的神经网络模型,对所述神经网络模 型的缺陷检测结果进行量化,得到缺陷标记数、检测召回数、检测准确率 和检测召回率。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方 面的第四种可能的实施方式,其中,所述由所述包含有被检测对象的各种 缺陷的图像以及无缺陷的图像构成训练集和测试集,包括:
基于缺陷类别数确定图像的总分类数;
根据所述图像的总分类数确定所述训练集的图像数量;
根据确定的训练集的图像数量将收集的包含有被检测对象的各种缺陷 的图像以及无缺陷的图像加入到所述训练集;
将所述包含有被检测对象的各种缺陷的图像以及无缺陷的图像中的剩 余图像加入到所述测试集。
第二方面,本发明实施例还提供了一种基于深度学习的缺陷检测装置, 包括:
获取模块,用于获取包含被检测对象的图像数据;
计算模块,用于调用预先建立并训练好的神经网络模型,根据用户设 定的测试参数、缺陷阈值和所述图像数据,通过所述测试模型进行计算得 到缺陷检测结果;其中,所述测试参数包括:图像切分数值;
输出模块,用于输出所述缺陷检测结果。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方 式,其中,所述计算模块,包括:
收集单元,用于收集数量超过预设值的包含有被检测对象的各种缺陷 的图像以及无缺陷的图像,由所述包含有被检测对象的各种缺陷的图像以 及无缺陷的图像构成训练集和测试集;
标注单元,用于对所述训练集和所述测试集中的包含有被检测对象的 各种缺陷的图像进行缺陷标注;
训练单元,用于对标注后的图像进行预处理,并根据设置的深度学习 训练参数进行训练建立卷积神经网络;其中,所述神经网络模型为卷积神 经网络。
结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方 面的第二种可能的实施方式,其中,所述训练单元,包括:
捕获子单元,用于对建立的卷积神经网络,通过残差模块捕获图像中 的特征信息;
抽象子单元,用于通过降采样方式抽象所述特征信息;
处理子单元,用于基于抽象处理后的特征信息,根据上采样方式进行 处理得到图像像素级的特征信息;
判断子单元,用于根据所述图像像素级的特征信息与标注的缺陷结果 之间的差异程度,判断是否满足训练终止条件;
存储子单元,用于如果满足,则存储该训练后的神经网络模型。
结合第二方面的第二种可能的实施方式,本发明实施例提供了第二方 面的第三种可能的实施方式,其中,所述训练单元,还包括:
量化子单元,用于根据所述测试集和所述训练完成的神经网络模型, 对所述缺陷检测结果进行量化,得到缺陷标记数、检测召回数、检测准确 率和检测召回率。
第三方面,本发明实施例还提供了一种计算机设备包括存储器、处理 器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处 理器执行所述计算机程序时实现上述任一项所述的方法的步骤。
本发明实施例提供的一种基于深度学习的缺陷检测的方法、装置及计 算机设备,具有以下积极效果:
获取包含被检测对象的图像数据,通过使用神经网络模型对该图像数 据进行计算,得到缺陷检测结果,通过使用神经网络模型增加了可进行检 测的缺陷的种类,适用于对复杂缺陷的检测,相对于现有技术中使用人工 进行检测和使用传统的图像检测的方式相比提高了检测的效率和准确性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实 施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需 要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些 实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明一个实施例所提供的一种基于深度学习的缺陷检测 方法的流程图;
图2示出了本发明一个实施例所提供的神经网络模型的训练方法的流 程图;
图3示出了本发明另一个实施例所提供的一种基于深度学习的缺陷检 测装置的结构示意图;
图4示出了本发明再一个实施例所提供的一种计算机设备的结构示意 图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本 发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。 通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配 置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描 述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实 施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前 提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1所示,图1为本发明一个实施例所提供的一种基于深度学习 的缺陷检测方法的流程图。本实施例中提供的缺陷检测方法,包括如下步 骤:
S101、获取包含被检测对象的图像数据。
上述的包含被检测对象的图像数据可以是通过产品制造现场设置的图 像采集装置如照相机、摄像头等设备从特定的角度进行拍摄得到的,该特 定的拍摄角度应当满足能够获取包含被检测对象的最多缺陷的图像。
上述的获取的方式可以是实时在线获取,也可以是在特定的时间段进 行获取。
S102、调用预先建立并训练好的神经网络模型,根据用户设定的测试 参数、缺陷阈值和所述图像数据,通过所述测试模型进行计算得到缺陷检 测结果;其中,所述测试参数包括:图像切分数值。
上述的缺陷阈值指的是所检测像素为缺陷的置信度,优选地,设置该 值在[0-1]区间内,默认值为0.5。
具体的,图2为本发明一个实施例所提供的神经网络模型的训练方法 的流程图。参照图2所示,上述调用预先建立并训练好的神经网络模型, 包括步骤S201-S205:
S201、收集数量超过预设值的包含有被检测对象的各种缺陷的图像以 及无缺陷的图像,由所述包含有被检测对象的各种缺陷的图像以及无缺陷 的图像构成训练集和测试集。
本实施例是建立在视觉检测基础上,上述收集的图像为来自于工业现 场的包含有被检测对象的各种缺陷的图像,例如包含有划伤、脏污和异色 等缺陷。上述的收集到的图像用来构成数据集和训练集,用于训练神经网 络模型和验证训练完成的神经网络模型的检测结果。优选地,收集包含的 被检测对象无缺陷的图像,该类图像用于抑制检测结果的过检率。
S202、对所述训练集和所述测试集中的包含有被检测对象的各种缺陷 的图像进行缺陷标注。
具体的,通过视觉检测软件平台,标注上述图像中的包含的被检测对 象的缺陷。
S203、对标注后的图像进行预处理,并根据设置的深度学习训练参数 进行训练建立的卷积神经网络。
上述的对标注后的图像进行预处理,包括:对图像进行翻转处理和光 照变化的处理,该翻转处理包括:水平翻转、垂直翻转和轻微旋转。
具体的,在训练神经网络之前,考虑到工业现场的环境变化的需要, 用户可以判断是否需要设置水平翻转、垂直翻转、轻微旋转以及调节光照 变化,如果需要轻微旋转,则需要设施旋转范围,旋转范围指的是最大旋 转角度,以度为单位,假定用户设置了旋转范围θ,图像实际旋转角度为 [-θ/2,θ/2]区间中的一个随机数。如果用户判断需要调节光照变化,则 需要设置光照范围,光照范围在0-255之间。假设图像在应用光照变化操 作前的某像素点的亮度为I,应用光照变化的过程如下:先生成(-A,A)区 间的一个随机数ΔI,然后加到原来的亮度上得到I+ΔI,再利用[0,255] 区间进行截断,即如果I+ΔI小于0,用0值替换;如果其值大于255,用 255值替换。
这些数据预处理操作增强了训练数据集,丰富了数据的内在特征,更 容易得到训练充分、准确率更高的算法模型。
上述设置的深度学习训练参数,包括设置:迭代次数、批大小、图像 切分数。迭代次数是指训练集上所有图像被训练的次数,优选地,该次数 设置成100的整数倍。批大小表示网络一次前向传播所载入的图像数。图 像切分数指图像在宽度和高度上的切分数。
实际网络一次前向训练时所处理的批图像数量为图像切分数的平方与 批大小的乘积。上述图像切分过程同时出现在神经网络模型训练过程中, 和在利用该神经网络模型进行检测前的数据预处理过程中,即如果神经网 络模型在训练过程中进行了图像切分,则该神经网络模型在使用时需要对 图像数据进行切分,并且图像切分数的设置应与训练时一致。默认的图像 切分数为1,表示不切分。图像切分的过程,尤其适用于以下两种情况下:一种、图像尺寸过大,深度学习算法对此图像进行处理过程中所需要的内 存超出了硬件所能提供的最大内存,从而引起程序崩溃;二、缺陷区域在 图像中所占比例非常微小,若直接将原图输入到深度学习算法中,可能算 法输出的检测效果不佳,甚至可能完全检测不到缺陷的存在。
在上述参数中,图像切分数和批大小参数是神经网络模型训练阶段和 实际检测阶段都需要设置的参数。上述的迭代次数是训练过程中才需要设 置的参数。
具体,上述根据设置的深度学习训练参数进行训练建立的卷积神经网 络,包括如下步骤:
A11、对建立的卷积神经网络,通过残差模块捕获图像中的特征信息。
上述残差模块建立在三层卷积层的基础上,分别为第一卷积层、第二 卷积层和第三卷积层,三个卷积层的核大小分别为:1*1、3*3和1*1,并 且加入了一个跳跃结构。具体的,上述残差模块由三层卷积的输出、第一 卷积层的输出和第三卷积层的输出求和构成,第一卷积层与第二卷积层之 后都再加上批归一化层(BN)和ReLu激活层。第三卷积层后接批归一化层, 与跳跃结构进行Eltwise逐元素相加操作后,再进行ReLu激活操作。这种 结构通过学习残差(F(x)+x–x)的方式解决了网络层数多导致的梯度退 化问题,让网络结构更容易学习到数据内在的特征,在各种图像处理任务 中发挥了重要作用。
A12、通过降采样方式抽象所述特征信息;
神经网络中还包括一个卷积模块,输入图像先经过该卷积模块进行处 理,该卷积模块核大小为3*3,步长为2,通道数为32。经过这个卷积模块 后得到了32个通道的特征图。特征图在图像宽度和图像高度尺度上都变为 了原图的一半,进而实现了2倍的降采样。后续经过网络中3个残差模块, 分别为第一残差模块和第二残差模块,第一残差模块与第二残差模块分别 实现了2倍的降采样,降采样是通过设置残差模块中的第一个卷积的步长为2来实现。第三残差模块不设置降采样。本实施例中,经过第一残差模 块和第二残差模块时,每个残差模块的输出的特征图通道数是输入特征图 通道数的4倍。并且使第三残差模块的输出通道数等于输入通道数,以此 可以控制计算量,提高计算速度。
A13、基于抽象处理后的特征信息,根据上采样方式进行处理得到图像 像素级的特征信息。
输入图像经过第三个残差模块后获得的特征图通道数为512,后续经过 一个1*1卷积变换通道数为最终的分类总数,再经过一个上采样为4的反 卷积模块和一个上采样为2的反卷积模块。两个反卷积模块都采用双线性 差值算法。最终得到像素级的缺陷检测效果。
A14、根据所述图像像素级的特征信息与标注的缺陷结果之间的差异程 度,判断是否满足训练终止条件。
如果需要继续训练,则重新设置训练参数继续训练。
A15、如果满足,则存储该训练后的神经网络模型。
以及,根据所述测试集和所述训练完成的神经网络模型,对所述神经 网络模型的缺陷检测结果进行量化,得到缺陷标记数、检测召回数、检测 准确率好检测召回率。
根据训练数据集中的全部图片和测试集中的已标注图片进行计算上述 缺陷标记数、检测召回数、检测准确率好检测召回率,计算的颗粒度是像 素级的分类类别。具体的,可以统计得到缺陷标记数,算法预测缺陷并且 真实值是缺陷的检测召回数。根据前两者做除法运算得到检测召回率。统 计正确预测类别的像素个数在所有像素中所占的比例可以获得检测准确 率。
S103、输出所述缺陷检测结果。
上述实施例中通过深度学习算法对被检测对象进行缺陷检测,具有适 用范围广,能用于多种类、复杂度较高的缺陷的检测,提高了缺陷检测的 效率和准确率。
参照图3所示,图3为本发明另一个实施例所提供的一种基于深度学 习的缺陷检测装置的结构示意图。该装置,包括:
获取模块301,用于获取包含被检测对象的图像数据;
计算模块302,用于调用预先建立并训练好的神经网络模型,根据用户 设定的测试参数、缺陷阈值和所述图像数据,通过所述测试模型进行计算 得到缺陷检测结果;其中,所述测试参数包括:图像切分数值;
输出模块303,用于输出所述缺陷检测结果。
可选的,计算模块302,包括:
收集单元,用于收集数量超过预设值的包含有被检测对象的各种缺陷 的图像以及无缺陷的图像,由所述包含有被检测对象的各种缺陷的图像以 及无缺陷的图像构成训练集和测试集;
标注单元,用于对所述训练集和所述测试集中的包含有被检测对象的 各种缺陷的图像进行缺陷标注;
训练单元,用于对标注后的图像进行预处理,并根据设置的深度学习 训练参数进行训练建立的神经网络模型;其中,所述神经网络模型为卷积 神经网络。
可选的,训练单元,包括:
捕获子单元,用于对建立的卷积神经网络,通过残差模块捕获图像中 的特征信息;
抽象子单元,用于通过降采样方式抽象所述特征信息;
处理子单元,用于基于抽象处理后的特征信息,根据上采样方式进行 处理得到图像像素级的特征信息;
判断子单元,用于根据所述图像像素级的特征信息与标注的缺陷结果 之间的差异程度,判断是否满足训练终止条件;
存储子单元,用于如果满足,则存储该训练后的神经网络模型。
可选的,上述训练单元,还包括:
量化子单元,用于根据所述测试集和所述训练完成的神经网络模型, 对所述缺陷检测结果进行量化,得到缺陷标记数、检测召回数、检测准确 率好检测召回率。
图4为本申请实施例提供的计算机设备的结构示意图。如图4所示, 本申请实施例一实施例提供的一种计算机设备,用于执行图1至图2中的 检测方法,该设备包括存储器1000、处理器2000及存储在该存储器1000 上并可在该处理器2000上运行的计算机程序,其中,上述处理器2000执 行上述计算机程序时实现上述检测方法的步骤。
具体地,上述存储器1000和处理器2000能够为通用的存储器和处理 器,这里不做具体限定,当处理器2000运行存储器2000存储的计算机程 序时,能够执行上述基于深度学习的缺陷检测方法,从而解决现有技术上 检测效率较低的问题。
对应于图1至图2中的方法,本申请实施例还提供了一种计算机可读 存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被 处理器运行时执行上述方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等, 该存储介质上的计算机程序被运行时,能够执行上述方法,从而解决现有 技术检测效率较低的问题。
本发明实施例所提供的进行基于深度学习的缺陷检测方法的计算机程 序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括 的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实 施例,在此不再赘述。
本发明实施例所提供的基于深度学习的缺陷检测的装置可以为设备上 的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装 置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述, 装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领 域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、 装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程, 在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以 通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如, 所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划 分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统, 或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦 合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的, 作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地 方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单 元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成 在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发 明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储 介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服 务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘 等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一 旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步 定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述, 而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用 以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于 此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术 人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围 内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都 应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利 要求的保护范围为准。

Claims (10)

1.一种基于深度学习的缺陷检测方法,其特征在于,包括:
获取包含被检测对象的图像数据;
调用预先建立并训练好的神经网络模型,根据用户设定的测试参数、缺陷阈值和所述图像数据,通过所述测试模型进行计算得到缺陷检测结果;其中,所述测试参数包括:图像切分数值;
输出所述缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述调用预先建立并训练好的神经网络模型,包括:
收集数量超过预设值的包含有被检测对象的各种缺陷的图像以及无缺陷的图像,由所述包含有被检测对象的各种缺陷的图像以及无缺陷的图像构成训练集和测试集;
对所述训练集和所述测试集中的包含有被检测对象的各种缺陷的图像进行缺陷标注;
对标注后的图像进行预处理,并根据设置的深度学习训练参数进行训练建立卷积神经网络。
3.根据权利要求2所述的方法,其特征在于,所述根据设置的深度学习训练参数进行训练建立的卷积神经网络,包括:
对建立的卷积神经网络,通过残差模块捕获图像中的特征信息;
通过降采样方式抽象所述特征信息;
基于抽象处理后的特征信息,根据上采样方式进行处理得到图像像素级的特征信息;
根据所述图像像素级的特征信息与标注的缺陷结果之间的差异程度,判断是否满足训练终止条件;
如果满足,则存储该训练后的神经网络模型。
4.根据权利要求3所述方法,其特征在于,所述判断是否满足训练终止条件后,所述方法还包括:
如果满足,根据所述测试集和所述训练完成的神经网络模型,对所述神经网络模型的缺陷检测结果进行量化,得到缺陷标记数、检测召回数、检测准确率和检测召回率。
5.根据权利要求2所述的方法,其特征在于,所述由所述包含有被检测对象的各种缺陷的图像以及无缺陷的图像构成训练集和测试集,包括:
基于缺陷类别数确定图像的总分类数;
根据所述图像的总分类数确定所述训练集的图像数量;
根据确定的训练集的图像数量将收集的包含有被检测对象的各种缺陷的图像以及无缺陷的图像加入到所述训练集;
将所述包含有被检测对象的各种缺陷的图像以及无缺陷的图像中的剩余图像加入到所述测试集。
6.一种基于深度学习的缺陷检测装置,其特征在于,包括:
获取模块,用于获取包含被检测对象的图像数据;
计算模块,用于调用预先建立并训练好的神经网络模型,根据用户设定的测试参数、缺陷阈值和所述图像数据,通过所述测试模型进行计算得到缺陷检测结果;其中,所述测试参数包括:图像切分数值;
输出模块,用于输出所述缺陷检测结果。
7.根据权利要求6所述的装置,其特征在于,所述计算模块,包括:
收集单元,用于收集数量超过预设值的包含有被检测对象的各种缺陷的图像以及无缺陷的图像,由所述包含有被检测对象的各种缺陷的图像以及无缺陷的图像构成训练集和测试集;
标注单元,用于对所述训练集和所述测试集中的包含有被检测对象的各种缺陷的图像进行缺陷标注;
训练单元,用于对标注后的图像进行预处理,并根据设置的深度学习训练参数进行训练建立卷积神经网络。
8.根据权利要求7所述的装置,其特征在于,所述训练单元,包括:
捕获子单元,用于对建立的卷积神经网络,通过残差模块捕获图像中的特征信息;
抽象子单元,用于通过降采样方式抽象所述特征信息;
处理子单元,用于基于抽象处理后的特征信息,根据上采样方式进行处理得到图像像素级的特征信息;
判断子单元,用于根据所述图像像素级的特征信息与标注的缺陷结果之间的差异程度,判断是否满足训练终止条件;
存储子单元,用于如果满足,则存储该训练后的神经网络模型。
9.根据权利要求8所述的装置,其特征在于,所述训练单元,还包括:
量化子单元,用于根据所述测试集和所述训练完成的神经网络模型,对所述缺陷检测结果进行量化,得到缺陷标记数、检测召回数、检测准确率和检测召回率。
10.一种计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
CN201811253447.4A 2018-10-25 2018-10-25 一种基于深度学习的缺陷检测方法及装置 Pending CN109389599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811253447.4A CN109389599A (zh) 2018-10-25 2018-10-25 一种基于深度学习的缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811253447.4A CN109389599A (zh) 2018-10-25 2018-10-25 一种基于深度学习的缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN109389599A true CN109389599A (zh) 2019-02-26

Family

ID=65427890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811253447.4A Pending CN109389599A (zh) 2018-10-25 2018-10-25 一种基于深度学习的缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN109389599A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886590A (zh) * 2019-02-28 2019-06-14 燊赛(上海)智能科技有限公司 一种基于深度学习的产品封装质量检测系统
CN110097534A (zh) * 2019-03-04 2019-08-06 华北电力大学 一种基于深度学习的核燃料棒外观缺陷检测方法
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN110136116A (zh) * 2019-05-15 2019-08-16 广东工业大学 一种注塑泵缺陷检测方法、装置、设备及存储介质
CN110142230A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 一种检测外观缺陷的方法及装置
CN110245697A (zh) * 2019-05-31 2019-09-17 厦门大学 一种表面脏污检测方法、终端设备及存储介质
CN110243934A (zh) * 2019-05-30 2019-09-17 中国计量大学上虞高等研究院有限公司 一种基于小波卷积神经网络的超声波焊缝检测方法
CN110825642A (zh) * 2019-11-11 2020-02-21 浙江大学 一种基于深度学习的软件代码行级缺陷检测方法
CN111242177A (zh) * 2020-01-02 2020-06-05 天津瑟威兰斯科技有限公司 基于卷积神经网络检测药品包装的方法、系统及设备
CN111444864A (zh) * 2020-03-30 2020-07-24 北京旷视科技有限公司 目标对象的磨损程度检测方法及装置
CN111598863A (zh) * 2020-05-13 2020-08-28 北京阿丘机器人科技有限公司 缺陷检测方法、装置、设备及可读存储介质
CN111738976A (zh) * 2019-03-22 2020-10-02 佳能株式会社 信息处理装置、用于控制信息处理装置的方法和存储介质
CN112967271A (zh) * 2021-03-25 2021-06-15 湖南大学 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品(成都)有限公司 一种用于缺陷检测的方法、装置和设备
CN108615230A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种轮毂表面异常检测方法和系统
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品(成都)有限公司 一种用于缺陷检测的方法、装置和设备
CN108615230A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种轮毂表面异常检测方法和系统
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAIMING HE等: "Deep Residual Learning for Image Recognition", 《ARXIV:1512.03385V1 [CS.CV]》 *
周春平等: "《地理空间情报学教程》", 30 June 2016, 国防大学出版社 *
朱庆棠等: "《周围神经缺损修复材料的生物制造与临床评估》", 31 August 2018, 中山大学出版社 *
胡曙光等: "《混凝土温度-应力检测原理与装备》", 31 January 2009, 国防工业出版社 *
薛笑荣: "《SAR图像处理技术研究》", 31 August 2017, 科学技术文献出版社 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886590A (zh) * 2019-02-28 2019-06-14 燊赛(上海)智能科技有限公司 一种基于深度学习的产品封装质量检测系统
CN110097534A (zh) * 2019-03-04 2019-08-06 华北电力大学 一种基于深度学习的核燃料棒外观缺陷检测方法
CN111738976A (zh) * 2019-03-22 2020-10-02 佳能株式会社 信息处理装置、用于控制信息处理装置的方法和存储介质
CN110136116A (zh) * 2019-05-15 2019-08-16 广东工业大学 一种注塑泵缺陷检测方法、装置、设备及存储介质
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN110142230A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 一种检测外观缺陷的方法及装置
CN110243934A (zh) * 2019-05-30 2019-09-17 中国计量大学上虞高等研究院有限公司 一种基于小波卷积神经网络的超声波焊缝检测方法
CN110245697A (zh) * 2019-05-31 2019-09-17 厦门大学 一种表面脏污检测方法、终端设备及存储介质
CN110245697B (zh) * 2019-05-31 2021-10-26 厦门大学 一种表面脏污检测方法、终端设备及存储介质
CN110825642A (zh) * 2019-11-11 2020-02-21 浙江大学 一种基于深度学习的软件代码行级缺陷检测方法
CN111242177A (zh) * 2020-01-02 2020-06-05 天津瑟威兰斯科技有限公司 基于卷积神经网络检测药品包装的方法、系统及设备
CN111444864A (zh) * 2020-03-30 2020-07-24 北京旷视科技有限公司 目标对象的磨损程度检测方法及装置
CN111444864B (zh) * 2020-03-30 2023-11-17 北京旷视科技有限公司 目标对象的磨损程度检测方法及装置
CN111598863A (zh) * 2020-05-13 2020-08-28 北京阿丘机器人科技有限公司 缺陷检测方法、装置、设备及可读存储介质
CN111598863B (zh) * 2020-05-13 2023-08-22 北京阿丘机器人科技有限公司 缺陷检测方法、装置、设备及可读存储介质
CN112967271A (zh) * 2021-03-25 2021-06-15 湖南大学 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN112967271B (zh) * 2021-03-25 2022-04-19 湖南大学 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法

Similar Documents

Publication Publication Date Title
CN109389599A (zh) 一种基于深度学习的缺陷检测方法及装置
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN104992167B (zh) 一种基于卷积神经网络的人脸检测方法及装置
CN104281853B (zh) 一种基于3d卷积神经网络的行为识别方法
CN109344717B (zh) 一种多阈值动态统计的深海目标在线检测识别方法
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN108986075A (zh) 一种优选图像的判断方法及装置
CN109993734A (zh) 用于输出信息的方法和装置
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN105654066A (zh) 一种车辆识别方法及装置
CN111242127A (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN110009614A (zh) 用于输出信息的方法和装置
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN108363953A (zh) 一种行人检测的方法及双目监控设备
CN106874913A (zh) 一种菜品检测方法
CN110399822A (zh) 基于深度学习的举手动作识别方法、装置及存储介质
CN110399908A (zh) 基于事件型相机的分类方法和装置、存储介质、电子装置
CN102621154B (zh) 基于改进差分盒多重分形算法的布匹疵点在线自动检测方法
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN109389016A (zh) 一种人头计数的方法及系统
CN110458791A (zh) 质量缺陷检测方法和检测设备
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN109816634A (zh) 检测方法、模型训练方法、装置及设备
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226