CN112164034A - 一种工件表面缺陷检测方法、装置、电子设备及存储介质 - Google Patents

一种工件表面缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112164034A
CN112164034A CN202010964999.7A CN202010964999A CN112164034A CN 112164034 A CN112164034 A CN 112164034A CN 202010964999 A CN202010964999 A CN 202010964999A CN 112164034 A CN112164034 A CN 112164034A
Authority
CN
China
Prior art keywords
feature
module
feature extraction
extraction branch
workpiece surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010964999.7A
Other languages
English (en)
Other versions
CN112164034B (zh
Inventor
徐明亮
姜晓恒
崔丽莎
吕培
李振宇
张晨民
闫杰
李丙涛
刘涛
乔利稳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Original Assignee
ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD filed Critical ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Priority to CN202010964999.7A priority Critical patent/CN112164034B/zh
Publication of CN112164034A publication Critical patent/CN112164034A/zh
Application granted granted Critical
Publication of CN112164034B publication Critical patent/CN112164034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及工件表面缺陷检测技术领域，具体涉及一种工件表面缺陷检测方法、装置、电子设备及存储介质。该检测方法包括以下步骤：对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对所述输入特征图进行特征提取，得到多个特征图；在所述卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块；根据多个所述特征图通过跳跃式密集连接方式将细节传递到高层特征图，得到多个预测层；根据所述多个预测层预测不同尺度的用于匹配缺陷大小的预测框。本发明通过特征保存模块和跳跃式密集连接方式保存并传递图像中缺陷的纹理等细节信息，从而提高表面缺陷的检测精度。

Description

一种工件表面缺陷检测方法、装置、电子设备及存储介质
技术领域
本发明涉及工件表面缺陷检测技术领域，具体涉及一种工件表面缺陷检测方法、装置、电子设备及存储介质。
背景技术
表面缺陷检测是工业界质量控制的重要保障，也是工业制造中的一项重要任务，然而各种各样的纹理表面及缺陷形状给缺陷检测带来了极大的挑战。传统的缺陷检测主要依靠有经验的专业人员辨识，工作效率不高。自动缺陷检测方法大致可分为两类：经典的检测器和基于深度学习的检测器。其中，经典检测器依靠手工提取特征辨别缺陷，如SIFT,HOG等特征。常用的方法有统计方法，结构化方法，基于滤波器的方法和基于模型的方法。然而，经典方法只适用于某一类型的缺陷，普适性不强。近年来，基于深度学习的方法越来越普遍，其利用卷积神经网络提取特征，然后进行分类和检测。
请参阅图1，图1为德国缺陷数据集DAGM中的样例图片，可以看出与一般的目标检测相比，其有以下特点：(1)缺陷类型多样。在实际生产线中，会产生各种各样的缺陷，如斑点、断裂、划痕等。(2)缺陷区域较小。如图1所示，在一张512×512像素的图像中，缺陷区域可能只有20×20，图中方框框选出的位置为缺陷存在的位置。
发明人在实践中，发现上述现有技术存在以下缺陷：
针对上述样例图片，该样例图片的特点为其分辨率较大、缺陷区域较小，利用现有的基于深度学习的缺陷检测方法进行检测，其检测精度较低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种工件表面缺陷检测方法、装置、电子设备及存储介质，所采用的技术方案具体如下：
第一方面，本发明实施例提供了一种工件表面缺陷检测方法，该检测方法包括以下步骤：
对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对所述输入特征图进行特征提取，得到多个特征图；在所述卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块；
根据多个所述特征图通过跳跃式密集连接方式将细节传递到高层特征图，得到多个预测层；
根据所述多个预测层预测不同尺度的用于匹配缺陷大小的预测框。
第二方面，本发明实施例提供了一种工件表面缺陷检测装置，该检测装置包括：
特征提取模块，用于对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对所述输入特征图进行特征提取，得到多个特征图；在所述卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块；
跳跃式密集连接模块，用于根据多个所述特征图通过跳跃式密集连接方式将细节传递到高层特征图，得到多个预测层；和
缺陷预测模块，用于根据所述多个预测层预测不同尺度的用于匹配缺陷大小的预测框。
第三方面，本发明实施例提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述任意一项所述的方法。
第四方面，本发明实施例提供了一种存储介质，该存储介质中存储有计算机可读的程序指令，其特征在于，所述程序指令被处理器执行时实现上述任意一项所述的方法。
本发明具有如下有益效果：
本发明实施例提供了一种工件表面缺陷检测方法，该检测方法通过特征保存模块融合多尺度的特征层，以弥补池化层带来的特征损失；通过跳跃式密集连接方式将前面的特征层连接到后面的特征图上，用来增加高层特征图的细节信息，生成新的预测层；最后利用卷积在新生成的预测层上预测预测框。本发明实施例通过特征保存模块和跳跃式密集连接方式保存并传递图像中缺陷的纹理等细节信息，从而提高表面缺陷的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为德国缺陷数据集DAGM中的样例图片；
图2为本发明实施例所提供的一种工件表面缺陷检测方法流程图；
图3为本发明一个实施例所提供的网络框架图；
图4为本发明一个实施例提供的关于特征保留模块的网络结构图；
图5为本发明一个实施例提供的关于跳跃式密集连接模块的网络结构图；
图6为本发明另一个实施例提供的一种工件表面缺陷检测装置的结构框图；
图7为本发明一个实施例提供的关于特征保留模块的结构框图；
图8为本发明一个实施例提供的关于跳跃式密集连接模块的结构框图；
图9是本发明实施例提供的一种终端设备的结构示意图；
图10是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种工件表面缺陷检测方法、装置、电子设备及存储介质，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面结合附图具体的说明本发明所提供的一种工件表面缺陷检测方法、装置、电子设备及存储介质的具体方案。
请参阅图2，其示出了本发明一个实施例提供的一种工件表面缺陷检测方法流程图，为了更好的呈现本发明的具体方案，以将卷积神经网络VGG16作为基础网络为例，通过在VGG16网络中增加特征保护模块和跳跃式密集连接模块来进一步改进VGG16网络的性能，使该网络在针对大分辨率图片中的较小缺陷区域的检测更加的精确且同时兼顾实时性的要求。具体的，该缺陷检测方法包括以下步骤：
步骤S001，对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对该输入特征图进行特征提取，得到多个特征图；在所述卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块。
首先对获取的工件表面图像进行预处理，将工件表面图像的大小调整为512×512作为卷积神经网络的输入特征图，通过卷积神经网络对工件表面图像进行特征提取，得到多个特征图。
作为本发明实施例的优选实施例，请参阅图3和图4，由于VGG16网络连续使用池化层进行特征图的下采样，会导致丢失纹理等细节信息。为了解决这一问题，本发明实施例在卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块，该特征保存模块能够弥补池化操作带来的信息损失。如图3所示，在卷积神经网络的网络前端中的阶段Stage1的池化层之后增加特征保存模块(Feature Retaining Block，FRB)，同样的，在阶段Stage2和阶段Stage3的池化层之后相应的增加特征保存模块，从而弥补在阶段Stage1、Stage2和Stage3的池化层之后丢失的纹理等细节信息。
作为本发明的一个优选实施例，该特征保存模块采用与前端的输入特征图进行残差连接的方式弥补细节信息。
作为本发明的另一个优选实施例，请参阅图4，该特征保存模块包括第一特征提取分支、第二特征提取分支和融合模块。第一特征提取分支用于弥补信息损失，第二特征提取分支用于提取高层次特征，融合模块用于将第一特征提取分支的输出结果和第二特征提取分支的输出结果进行融合，得到多尺度特征图。假设特征保存模块的输入特征图的宽、高和通道数为W×H×C，具体的：
对于第一特征提取分支，第一步进行降维，采用步长为1的1×1的卷积操作进行降维，将C降为C/2，以减小模型的复杂度；第二步进行上采样，采用步长为2的2×2×C/2的转置卷积将池化后的特征图上采样到2W×2H×C/2，恢复特征图的空间分辨率有利于纹理信息的保存；第三步再次进行降维，采用步长为2的3×3×C/2的卷积，使特征图重新降到W×H×C/2；第四步进行升维，再次利用1×1×C的卷积操作进行升维，输出特征图维度保持在W×H×C。第一特征提取分支共包含4个卷积层，每个卷积层后面添加一个激活层Relu。特征保存模块的第一特征提取分支的主要目的是为了弥补池化操作带来的信息损失。
对于第二特征提取分支，第二特征提取分支与第一特征提取分支类似，不同点在于第二步与第三步进行了对换。具体来说，对于第二特征提取分支，第一步进行降维，采用步长为1的1×1的卷积操作进行降维，将C降为C/2，以减小模型的复杂度；第二步再次进行降维，采用步长为2的3×3×C/2的卷积，使特征图降为(W/2)×(H/2)×C/2；第三步进行上采样，采用步长为2的2×2×C/2的转置卷积将池化后的特征图上采样到W×H×C/2，恢复特征图的空间分辨率有利于纹理信息的保存；第四步进行升维，再次利用1×1×C的卷积操作进行升维，输出特征图维度保持在W×H×C。第二特征提取分支的主要作用是提取高层次的特征。
特征保存模块的第一特征提取分支和第二特征提取分支的输出特征图都为W×H×C，将两者的输出特征图进行像素级相加的融合操作，即残差连接(shortcut layer)。特征保存模块的输出与输入保持一致，即W×H×C，其输出特征图融合了多尺度的信息。
作为本发明的优选实施例，为了使特征保存模块更容易训练，特征保存模块的第一特征提取分支和第二特征提取分支的输出特征图都为W×H×C，将两者的输出特征图与输入特征图进行像素级相加的融合操作，即残差连接(shortcut layer)。特征保存模块的输出与输入保持一致，即W×H×C，但是输出特征图由于融合了多尺度的信息，因此信息量更大。将融合了第一特征提取分支和第二特征提取分支的输出的特征保存模块插入卷积神经网络VGG16的前三个池化层之后，如图2所示，能够缓解池化操作带来的信息损失的问题。
步骤S002，根据多个特征图通过跳跃式密集连接方式将细节信息传递到高层特征图，得到多个预测层。
为了预测不同尺度的特征图，本发明实施例在多尺度的特征图上进行预测。通常情况下，表面缺陷较小，其信息会随着网络结构的加深不断减弱，直至完全消失。为了将细节信息传递至高层较小的特征图，本发明实施例设计了跳跃式密集连接模块(SkipDensely-Connected Module，SDCM)，通过跳跃式密集连接方式得到多个预测层。
请参阅图3，由于相邻的卷积层提取的特征较为类似，为了获取较多的特征信息且兼顾减少模型的计算复杂度，采用跳跃式密集连接方式，跳跃式密集连接方式是指在VGG16网络架构中附加多个卷积层，每间隔一个阶段Stage进行连接操作。如图3所示，由Stage4到Stage8，每层特征图都将与后面的特征图紧密相连，从而达到传递信息的作用。为了更好的进行显示，在附图中的每个Stage包含多个卷积层，其输出特征图具有相同的尺度。
具体的，请参阅图5，每个Stage采用相同的灰度表示，Stage4和Stage5中每个Stage分别包含三个卷积层，Stage6～10中每个Stage分别包含两个卷积层，例如Stage4中包含Conv4_1、Conv4_2和Conv4_3三个卷积层，Stage6中包含Conv6_1和Conv6_2两个卷积层。在本实施例中记每个Stage为S(i)。具体到本实施例中，采用跳跃式密集连接方式的具体步骤如下：
第一步，在每个阶段后附加若干个卷积层提取特征图。具体到VGG16网络中，从S(4)到S(8)，在每个阶段最后一个卷积层之后附加若干个步长为2的卷积层Conv(ij)，其中i表示Stage的编号，j表示其生成的是附加在该Stage之后的卷积层的编号，其中i＝4,5,…,8，其中针对每一个i均有j＝i+1,…,10。Conv(ij)是附加在S(i)后面的第(j-i)个卷积层，其输出与S(j)中特征图具有相同大小。
第二步，同时将每个阶段所提取的特征图中每间隔一个所述特征图与相应阶段所输出的特征图进行像素级相加融合。具体到VGG16网络中，由于S(4)和S(5)具有较大的特征图，因此将其最后一个卷积层直接作为预测层PL(4)和PL(5)。S(6)到S(10)的特征图逐渐减小到1×1，小缺陷信息丢失，不利于检测，因此采用以下方式重新生成预测层PL6～PL10：
Figure BDA0002681952010000061
Figure BDA0002681952010000062
Figure BDA0002681952010000063
Figure BDA0002681952010000064
Figure BDA0002681952010000065
其中，
Figure BDA0002681952010000066
表示特征图像素级相加的融合方式。
这种紧密的连接是跳跃式的。例如，附加在卷积层conv4_3后面有6个卷积层：Conv(4j)(j＝5,6,…,10)。其中Conv(46)、Conv(48)和Conv(410)分别与S(6)、S(8)和S(10)的最后一个卷积层进行相连，Conv(45)、Conv(47)和Conv(49)不进行连接操作。由于相邻的卷积层提取的特征较为类似，所以采取跳跃式密集连接方式，跳跃式连接有助于减少模型的计算复杂度。由于获取了更多的信息，因此提高了检测的精度，同时跳跃式连接能够减少模型的计算复杂度，因此依然能够达到实时性的要求。
优选的，为了缓解模型的计算和存储问题，所有附加的不进行连接的卷积层的通道数统一设置为64。例如，Conv(45)，Conv(47)和Conv(49)的通道数都为64。
跳跃式密集连接模块将前面特征图上的细节信息直接传递到后面的特征图上，使得高层特征图表达能力更强，因此更有利于目标检测。在本实施例中共有7个预测层，原始的特征层PL(4)和PL(5)，以及根据跳跃式密集连接方式生成的特征层PL(6)到PL(10)。在下个阶段中，这7个特征层将用于预测表面缺陷。
步骤S003，根据多个预测层预测不同尺度的用于匹配缺陷大小的预测框。
在步骤S002中获取的PL(4)到PL(10)上同时运用3×3的卷积，预测不同尺度和比例的包围框的类别置信度和坐标偏移量。7个预测层上神经元的感受野逐渐增大，对于前面感受野较小的特征图，预测较小的预测框；对于后面感受野较大的输出特征图，预测中等或较大的预测框。
请参考图2，根据感受野由小到大，7个预测层分别负责预测不同大小的预测框。设预测框的两种尺度smin[7]＝{35,76,153,230,307,384,460}，smax[7]＝{76,153,230,307,384,460,537}，长宽比ar∈{1,2,3,1/2,1/3}。则预测层PL(i)上预测的预测框的长宽分别为：
Figure BDA0002681952010000071
Figure BDA0002681952010000072
对于长宽比为1的预测框，另外增加一个预测框，其长宽如下：
Figure BDA0002681952010000073
这样每个预测特征图的每个位置会产生6个不同比例的预测框。例如PL(4)上每个位置产生的6个预测框大小分别为：35×35,
Figure BDA0002681952010000074
Figure BDA0002681952010000075
由于PL(4)大小为64×64，因此总共产生64×64×6个预测框。然后应用6(c+4)个卷积核分别预测边界框的分类置信度和坐标偏移，其中c为类别总数。
整个模型训练的目标函数为：
Figure BDA0002681952010000076
其中，x为预测框与真实框相匹配的jaccard overlap系数，c为分类的置信度，l为预测框的参数(框的中心坐标位置、宽、高)，g为真值框的参数，α为权重，N为与阈值大于0.5的真实框相匹配的包围框的个数，Lconf为置信度损失，Lloc为定位损失。置信度损失为softmax损失，定位损失为Smooth L1损失函数。
综上所述，本发明实施例提供了一种工件表面缺陷检测方法，该检测方法通过对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对所述输入特征图进行特征提取，得到多个特征图；根据多个所述特征图通过跳跃式密集连接方式将细节信息传递到高层特征图，得到多个预测层；根据所述多个预测层预测不同尺度的用于匹配缺陷大小的预测框。根据跳跃式连接方式能够获取较多的特征信息且兼顾减少模型的计算复杂度，从而提高检测精度同时兼顾实时性。
下面根据实验结构来进一步说明本发明实施例的效果。
本发明实施例是基于深度学习框架caffe完成，设备为两块GeForce GTX 1080Ti显卡。批处理设置为16，初始学习率设置为0.001，每迭代10k次，学习率下降为原来的十分之一，最大迭代次数设置为40k次。用随机梯度下降法更新权重。本发明实施例在公共缺陷数据集DAGM和Magnetic-Tile上验证实验效果。评价标准为平均精度(mAP)，当预测框与真实框的交并比大于0.5时，认为是正确的。在本实验中，将本发明实施例所提供的方法简称为SDDNet(A Fast and Accurate Network for Surface Defect Detection)，以下不再声明。
本发明实施例与其他检测器在DAGM上的测试结果对比如表1所示：
表1本发明实施例SDDNet在DAGM上的测试结果
Figure BDA0002681952010000081
由上表可以看到，本发明实施例SDDNet在DAGM上达到了99.1％的检测精度，比Faster R-CNN、RPN、Mask R-CNN和SSD分别高出1.3、1.0、1.1和2.0个百分点。尤其是针对类别Class8，本发明实施例的检测精度比其他方法高出大约十个点。Class8比其他类别的缺陷要小，这一检测结果证明了本发明实施例对缺陷检测的有效性。尤其对较小的缺陷，检测效果有比较明显的提升。
本发明实施例与其他检测器在Magnetic-Tile上的测试结果对比如表2所示：
表2本发明实施例SDDNet在Magnetic-Tile上的测试结果
Figure BDA0002681952010000082
本发明实施例在数据集Magnetic-Tile达到93.4％的检测精度，比其他方法的精度高。
另外，除了精度对比，本发明也做了速度的对比。Faster R-CNN、RPN和Mask R-CNN等方法是两阶段的检测器，其检测速度达不到实时的效果，而SSD每秒可处理44.8帧图像。本发明实施例由于增加了参数，其速度为31.0帧每秒，虽然比SSD的处理速度慢，但是仍然能达到实时的检测速度。
请参阅图6，本发明还提供了一种工件表面缺陷检测装置，该检测装置包括特征提取模块601、跳跃式密集连接模块602和缺陷预测模块603。具体的，特征提取模块601用于对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对输入特征图进行特征提取，得到多个特征图；在卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块；跳跃式密集连接模块602用于根据多个特征图通过跳跃式密集连接方式将细节信息传递到高层特征图，得到多个预测层；缺陷预测模块603用于根据多个预测层预测不同尺度的用于匹配缺陷大小的预测框。
请参阅图7，优选的，特征提取模块还包括特征保存模块6011，特征保存模块6011包括用于弥补信息损失的第一特征提取分支模块61、用于提取高层次特征的第二特征提取分支模块62和融合模块63；融合模块63用于将第一特征提取分支模块61的输出结果和第二特征提取分支模块62的输出结果进行融合，得到多尺度特征图。
优选的，特征保存模块6011包括用于弥补信息损失的第一特征提取分支模块61、用于提取高层次特征的第二特征提取分支模块62和融合模块63；融合模块63用于将第一特征提取分支61的输出结果、第二特征提取分支62的输出结果和输入特征图进行融合，得到多尺度特征图。
请参阅图8，优选的，跳跃式密集连接模块602用于将细节传递到高层特征图，跳跃式密集连接模块602包括卷积附加模块6021和跳跃式生成模块6022，该卷积附加模块6021用于在每个阶段后附加若干个卷积层提取特征图；该跳跃式生成模块6022用于同时将每个阶段后附加的每间隔一个卷积层所提取的特征图与相对应的阶段输出的特征图进行像素级相加的融合。
需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。
本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的一种工件表面缺陷检测方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
所述电子设备可以为终端设备，请参阅图9，其所示为本发明实施例提供的一种终端设备的结构示意图，该终端设备用于实施上述实施例中提供的一种工件表面缺陷检测方法。具体来讲：
终端设备100可以包括RF(RadioFrequency，射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、WiFi(wirelessfidelity，无线保真)模块150、包括有一个或者一个以上处理核心的处理器170、以及电源160等部件。本领域技术人员可以理解，图9中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器处理；另外，将涉及上行的数据发送给基站。通常，RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(LowNoiseAmplifier，低噪声放大器)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wide band Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。
存储器120可用于存储软件程序以及模块，处理器通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。在存储器120中存储有一个或者一个以上程序，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的一种工件表面缺陷检测方法的指令。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括图像输入设备131以及其他输入设备132。图像输入设备131可以是摄像头，也可以是光电扫描设备。除了图像输入设备131，输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板。
WiFi属于短距离无线传输技术，终端设备通过WiFi模块150可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块150，但是可以理解的是，其并不属于终端设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器170是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器170可包括一个或多个处理核心；优选的，处理器170可集成应用处理器和调制解调处理器，其中，应用处理器170主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器170中。
终端设备100还包括给各个部件供电的电源160(比如电池)，优选的，电源160可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端设备还可以包括蓝牙模块等，在此不再赘述。
所述电子设备可以为服务器，本发明实施例还提供了一种服务器的结构示意图，请参阅图10，该服务器用于实施上述实施例中提供的一种工件表面缺陷检测方法。该服务器200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器210(Central Processing Units，CPU)和存储器240，一个或一个以上存储应用程序233或数据232的存储介质230。其中，存储器240和存储介质230可以是短暂存储或持久存储。存储在存储介质230的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器210可以设置为与存储介质230通信，在服务器200上执行存储介质230中的一系列指令操作。服务器200还可以包括一个或一个以上电源220，一个或一个以上有线或无线网络接口250，一个或一个以上输入输出接口260，和/或，一个或一个以上操作系统231，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等等。
本发明的实施例还提供了一种存储介质230，所述存储介质230可设置于服务器200之中以保存用于实现方法实施例中一种工件表面缺陷检测方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的一种工件表面缺陷检测方法。
可选地，在本实施例中，上述存储介质230可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质230可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种工件表面缺陷检测方法，其特征在于，该检测方法包括以下步骤：
对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对所述输入特征图进行特征提取，得到多个特征图；在所述卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块；
根据多个所述特征图通过跳跃式密集连接方式将细节传递到高层特征图，得到多个预测层；
根据所述多个预测层预测不同尺度的用于匹配缺陷大小的预测框。
2.根据权利要求1所述的一种工件表面缺陷检测方法，其特征在于，所述特征保存模块包括用于弥补信息损失的第一特征提取分支、用于提取高层次特征的第二特征提取分支和融合模块；所述融合模块将所述第一特征提取分支的输出结果和所述第二特征提取分支的输出结果进行融合，得到多尺度特征图。
3.根据权利要求1所述的一种工件表面缺陷检测方法，其特征在于，所述特征保存模块包括用于弥补信息损失的第一特征提取分支、用于提取高层次特征的第二特征提取分支和融合模块；所述融合模块将所述第一特征提取分支的输出结果、所述第二特征提取分支的输出结果和所述输入特征图进行融合，得到多尺度特征图。
4.根据权利要求1~3任意一项所述的一种工件表面缺陷检测方法，其特征在于，所述跳跃式密集连接方式包括：
在每个阶段后附加若干个卷积层提取特征图；
同时将每个阶段所提取的特征图中每间隔一个所述特征图与相应阶段所输出的特征图进行像素级相加融合。
5.一种工件表面缺陷检测装置，其特征在于，该检测装置包括：
特征提取模块，用于对获取的工件表面图像进行预处理，获得输入特征图；利用卷积神经网络对所述输入特征图进行特征提取，得到多个特征图；在所述卷积神经网络的网络前端的至少一个池化层之后设有用于融合多尺度信息的特征保存模块；
跳跃式密集连接模块，用于根据多个所述特征图通过跳跃式密集连接方式将细节传递到高层特征图，得到多个预测层；和
缺陷预测模块，用于根据所述多个预测层预测不同尺度的用于匹配缺陷大小的预测框。
6.根据权利要求5所述的一种工件表面缺陷检测装置，其特征在于，所述特征保存模块包括用于弥补信息损失的第一特征提取分支模块、用于提取高层次特征的第二特征提取分支模块和融合模块；所述融合模块将所述第一特征提取分支模块的输出结果和所述第二特征提取分支模块的输出结果进行融合，得到多尺度特征图。
7.根据权利要求5所述的一种工件表面缺陷检测装置，其特征在于，所述特征保存模块包括用于弥补信息损失的第一特征提取分支模块、用于提取高层次特征的第二特征提取分支模块和融合模块；所述融合模块将所述第一特征提取分支的输出结果、所述第二特征提取分支的输出结果和所述输入特征图进行融合，得到多尺度特征图。
8.根据权利要求5~7任意一项所述的一种工件表面缺陷检测装置，其特征在于，跳跃式密集连接模块包括卷积附加模块和跳跃式生成模块，所述卷积附加模块用于在每个阶段后附加若干个卷积层提取特征图；所述跳跃式生成模块用于同时将每个阶段后附加的每间隔一个卷积层所提取的特征图与相对应的阶段输出的特征图进行像素级相加的融合。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至4中任意一项所述的方法。
10.一种存储介质，该存储介质中存储有计算机可读的程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
CN202010964999.7A 2020-09-15 2020-09-15 一种工件表面缺陷检测方法、装置、电子设备及存储介质 Active CN112164034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010964999.7A CN112164034B (zh) 2020-09-15 2020-09-15 一种工件表面缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010964999.7A CN112164034B (zh) 2020-09-15 2020-09-15 一种工件表面缺陷检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112164034A true CN112164034A (zh) 2021-01-01
CN112164034B CN112164034B (zh) 2023-04-28

Family

ID=73857426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010964999.7A Active CN112164034B (zh) 2020-09-15 2020-09-15 一种工件表面缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112164034B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700446A (zh) * 2021-03-23 2021-04-23 常州微亿智造科技有限公司 用于工业质检的算法模型训练方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613202A (zh) * 2017-09-21 2018-01-19 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109816100A (zh) * 2019-01-30 2019-05-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于双向融合网络的显著性物体检测方法及装置
CN110490174A (zh) * 2019-08-27 2019-11-22 电子科技大学 基于特征融合的多尺度行人检测方法
US20200005074A1 (en) * 2017-03-27 2020-01-02 Intel Corporation Semantic image segmentation using gated dense pyramid blocks
CN110796640A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 一种小目标缺陷的检测方法、装置、电子设备及存储介质
CN110991341A (zh) * 2019-12-04 2020-04-10 长春中国光学科学技术馆 一种人脸图像的检测方法及装置
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统
CN111598892A (zh) * 2020-04-16 2020-08-28 浙江工业大学 一种基于Res2-UNeXt网络结构的细胞图像分割方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200005074A1 (en) * 2017-03-27 2020-01-02 Intel Corporation Semantic image segmentation using gated dense pyramid blocks
CN107613202A (zh) * 2017-09-21 2018-01-19 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109816100A (zh) * 2019-01-30 2019-05-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于双向融合网络的显著性物体检测方法及装置
CN110490174A (zh) * 2019-08-27 2019-11-22 电子科技大学 基于特征融合的多尺度行人检测方法
CN110796640A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 一种小目标缺陷的检测方法、装置、电子设备及存储介质
CN110991341A (zh) * 2019-12-04 2020-04-10 长春中国光学科学技术馆 一种人脸图像的检测方法及装置
CN111598892A (zh) * 2020-04-16 2020-08-28 浙江工业大学 一种基于Res2-UNeXt网络结构的细胞图像分割方法
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHEPING ZHAI 等: "DF-SSD: An Improved SSD Object Detection Algorithm Based on DenseNet and Feature Fusion", 《IEEE ACCESS》 *
袁昆鹏 等: "基于深度跳跃级联的图像超分辨率重建", 《光学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700446A (zh) * 2021-03-23 2021-04-23 常州微亿智造科技有限公司 用于工业质检的算法模型训练方法和装置

Also Published As

Publication number Publication date
CN112164034B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112801164B (zh) 目标检测模型的训练方法、装置、设备及存储介质
CN109784424B (zh) 一种图像分类模型训练的方法、图像处理的方法及装置
EP3944147A1 (en) Target detection method, model training method, device, apparatus and storage medium
CN111368934B (zh) 图像识别模型训练方法、图像识别方法以及相关装置
US20190370530A1 (en) Facial feature point tracking method, apparatus, storage medium, and device
US11164040B2 (en) Operation device of convolutional neural network and operation method thereof
CN113795039B (zh) 运营商网络切换方法、装置、设备和计算机可读存储介质
CN113378969B (zh) 一种目标检测结果的融合方法、装置、设备及介质
CN113902010A (zh) 分类模型的训练方法和图像分类方法、装置、设备和介质
CN116245193A (zh) 目标检测模型的训练方法、装置、电子设备及介质
CN112164034A (zh) 一种工件表面缺陷检测方法、装置、电子设备及存储介质
CN111737520A (zh) 一种视频分类方法、视频分类装置、电子设备及存储介质
CN113780578B (zh) 模型训练方法、装置、电子设备及可读存储介质
CN113421211B (zh) 光斑虚化的方法、终端设备及存储介质
CN110503180A (zh) 模型处理方法、装置以及电子设备
CN112559078B (zh) 一种移动边缘计算服务器分级卸载任务方法及系统
CN112163473A (zh) 一种多目标跟踪方法、装置、电子设备和计算机存储介质
CN117540625A (zh) 海浪数值预报数据订正模型的训练方法、装置
CN113591709B (zh) 动作识别方法、装置、设备、介质和产品
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
CN115082842A (zh) 一种电商货品外观验证和入库处理方法及装置
CN112163997A (zh) 图片可拼接虚拟样本生成方法、装置、设备及存储介质
CN112329889A (zh) 图像处理方法、装置以及电子设备
CN114743206B (zh) 文本检测方法、模型训练方法、装置、电子设备
CN112486677B (zh) 一种数据的图传方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant