CN110660040A - 一种基于深度学习的工业品不规则缺陷检测方法 - Google Patents

一种基于深度学习的工业品不规则缺陷检测方法 Download PDF

Info

Publication number
CN110660040A
CN110660040A CN201910671541.XA CN201910671541A CN110660040A CN 110660040 A CN110660040 A CN 110660040A CN 201910671541 A CN201910671541 A CN 201910671541A CN 110660040 A CN110660040 A CN 110660040A
Authority
CN
China
Prior art keywords
image
histogram
layer
network
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910671541.XA
Other languages
English (en)
Inventor
张烨
樊一超
陈威慧
郭艺玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910671541.XA priority Critical patent/CN110660040A/zh
Publication of CN110660040A publication Critical patent/CN110660040A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的工业品不规则缺陷检测方法，包括：先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后，以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络基本模型，并合理的设计模型参数；最后，采用非极大值抑制算法减少预测框的数量，采用数据增强操作来扩大数据集，增加网络的训练量，可以有效地提高网络识别性能，解决不规则缺陷的检测难题。本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求。

Description

一种基于深度学习的工业品不规则缺陷检测方法
技术领域
本发明涉及一种基于深度学习的工业品不规则缺陷检测方法。
技术背景
在工业生产中，工业品的质量问题主要表现在生产缺陷、装配缺陷、各种表面缺陷、产品与设计不符等问题，这些质量问题又受多方面因素影响，诸如生产设备、操作人员、加工工艺等。其中，产品的表面缺陷又是工业品的质量缺陷的主要表现形式。传统的表面缺陷检测方法是人工目视检测，也就是在特定环境下的人眼目视识别，但这样检测的方法存在着很多的弊端，如劳动强度大、工作效率低、成本较高，易受检测人员素质、经验影响等。
工业化大生产带来了产量的快速提升，也对缺陷检测效率带来了考验，得益于计算机视觉技术的快速发展，出现了许多基于计算机视觉技术的自动化检测方法，相较于传统的人工检测方法，自动化缺陷检测技术具有检测效率高、检测数据可保存、成本低等优点。在所有的自动化检测技术中，应用最为广泛的当属机器视觉检测。机器视觉检测技术，是通过计算机的图像处理算法对采集到的数字图像进行处理，获取到目标的特征信息，通过计算机的判断，反馈结果给执行器，进而控制执行器达到预定的动作。但无可避免的是，机器视觉检测技术仍然存在着一些缺陷，比如：对于缺陷不规则的产品检测效果不佳；受限于计算机的计算能力，对计算能力要求高；具有实时性问题。总之，传统的人工检测方法和以机器视觉检测为主的一些视觉检测技术均存在着不足，无法满足工业品检测市场的需求，急需一种满足市场需求的检测方法。
发明内容
为了克服现有技术的上述不足，本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。
本发明先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后，以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络基本模型，并合理的设计模型参数；最后，采用非极大值抑制算法减少预测框的数量，采用数据增强操作来扩大数据集，增加网络的训练量，可以有效地提高网络识别性能，解决不规则缺陷的检测难题。
为实现上述目的，本发明采用以下技术方案：
一种基于深度学习的工业品不规则缺陷检测方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数。通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图。
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，本发明选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响。
1.1)直方图均衡化；
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高。当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像。因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰。
直方图均衡化的具体操作步骤如下所示：
(1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则
Figure BDA0002141887310000021
其中，0≤r≤1，L为灰度级层次数。
(2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布。而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：
Figure BDA0002141887310000022
其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数。
(3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:
Figure BDA0002141887310000023
其中，k为灰度级数。
(4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si) (4)
(5)映射到新的图像，得到均衡化处理后的直方图。
1.2)直方图匹配；
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图。以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可。可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配。
直方图匹配的具体操作步骤如下所示：
(1)按照步骤1.1)将原始图像进行均衡化处理；
(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；
Figure BDA0002141887310000031
其中，z分别是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数。
(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z。
z＝G-1[T(r)]＝G-1[s] (6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果。
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入。
步骤二，构建网络模型；
本发明使用的以VGGNet-16为基础网络的SSD网络结构图，网络框架主要分为两部分：基础网络、附加网络。基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体。
本发明的SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3。其中，Conv4_3是特征提取层。
对于每一层网络具体的参数设置，本发明从卷积层和池化层两方面入手。
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面。5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512。前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层。
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面。本发明的池化方式选择最大池化方式。池化核的大小关系到提取的特征图尺寸，本发明将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3。最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息。
(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络。在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图。
附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数。第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层。另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层。而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层。与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2。
步骤三，设置网络模型相关参数；
3.1)默认框的设置；
在SSD网络中，默认框的大小直接决定了它能检测到的目标大小。假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为
Figure BDA0002141887310000041
其中Smin为预测特征层中最低层的默认框尺度，Smax为最高层默认框尺度，对于本发明使用的SSD300而言，m＝6，设置最底层的feature map的scale值为Smin＝0.2，最高层的为Smax＝0.9。
每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为ar＝{1,2,3,1/2,1/3}，则每一个默认框的宽和高为：
Figure BDA0002141887310000042
Figure BDA0002141887310000043
当宽高比为1时，额外增加：
那么，在本发明中，当m＝6，Smin＝0.2，Smax＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为
Figure BDA0002141887310000045
Figure BDA0002141887310000051
Figure BDA0002141887310000053
第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为
Figure BDA0002141887310000054
Figure BDA0002141887310000055
Figure BDA0002141887310000056
Figure BDA0002141887310000057
后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致。
3.2)默认框匹配方式；
(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应。
(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值(本发明设定为0.5)，则同样认为匹配成功。这样，每一个真实框就可能存在多个默认框与之匹配。匹配成功的默认框负责预测与之对应的真实目标框。
(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative。
3.3)损失函数的构成；
SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：
Figure BDA0002141887310000058
其中，N是与真实框真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)。
(1)位置回归采用Smooth L1 loss，目标函数为：
Figure BDA0002141887310000059
其中：
Figure BDA0002141887310000061
Figure BDA0002141887310000062
Figure BDA0002141887310000064
(2)目标分类的损失函数采用典型的softmax loss，目标函数为
Figure BDA0002141887310000066
其中：
Figure BDA0002141887310000067
步骤四，对模型进一步处理；
采用数据增强处理，变相的增加样本图像的数量，从而增大训练集；采用非极大值抑制算法筛除重复的检测框，得到待检目标的最佳位置。
具体的操作步骤如下：
4.1)数据增强处理；
由于工业品图像干扰因素主要表现形式为亮度不均、反光、磁粉过浓等，导致网络对这类图像样本的检测准确率不高，所以，本发明通过采用图像缩放、图像裁剪、图像旋转、图像色彩调整等方式对存在干扰的图像样本进行数据增强。
①图像缩放：采用双线性插值法、最近邻近法、双三次插值法和面积插值法进行缩放；
②图像裁剪：包括图像的剪切填充、随机裁剪、按比例裁剪；
③图像旋转：包括图像镜像、上下翻转、左右反转、对角线旋转和旋转90°四种方式；
④图像色彩调整：包括图像亮度、对比度、色彩、饱和度四个方面的调整。
4.2)非极大值抑制算法筛除检测框；
①按照置信度的大小将所有可能的检测框排序；
②在输出序列内放入置信度最高的检测框；
③将②中得到的检测窗口与剩余窗口的重叠面积进行比例计算；
④如果上述计算所获得的重叠面积比例与阈值T(本发明中T＝0.7)的差值大于0，则认为当前窗口与②中得到的窗口是同一目标，然后删除该窗口；
⑤返回①，循环至全部的默认窗口处理完毕；
⑥在输出序列内最终剩下的窗口即为最终的检测结果。
总之，通过以上四个步骤，得到的工业品不规则缺陷检测流程如下：
1.输入一张彩色图像，并把图像大小调整为300×300×3，3表示图像存在R、G、B三个通道，将调整后的图像输入到网络中并获得不同大小的特征映射。
2.将尺寸调整过后的图像输入到SSD的基础网络中，本发明的基础网络由部分VGGNet16构成，VGGNet16网络的本质是CNN网络，通过CNN提取特征的优良特性，在基础网络的Conv4_3层中，提取到38×38大小的feature map共512个。这些feature map不仅仅是作为下一层网络的输入，还要作为判断目标特征的依据，输出到分类器进行目标分类和位置回归。
3.然后，基础网络输出的图像依次经过6组11层卷积层，并在Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2分别提取到不同尺寸大小的feature map。
4.对上述过程中提取到的不同尺寸大小的feature map进行softmax分类和位置回归，其目的是为了能够准确的检测到不同尺度的物体，因为在低层的feature map,感受野比较小，高层的感受野比较大，在不同的feature map进行卷积，可以达到多尺度的目的。
5.对第4步根据不同feature map分类和位置回归得到的结果，通过非极大值抑制算法，筛选及合并检测结果，输出检测目标的最佳位置和分类。
本发明的优点是：
本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。首先，采用灰度直方图均衡化能够解决样本缺陷不明显的问题，采用直方图匹配能够使得样本缺陷在视觉上更加明显；其次，采用SSD网络模型，能够明确的定位并且检测到不规则缺陷；最后，采用非极大值抑制算法能够筛选除去重复的检测框，采用数据增强处理能够增大训练集。因此，本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求，具有一定的应用前景。
附图说明
图1a～图1b是用于图像增强处理的灰度直方图，其中，图1a是图像的灰度值，图1b是根据图1a做出的灰度直方图；
图2是直方图均衡化变换函数；
图3是本发明的基础网络结构图；
图4是本发明的附加网络结构图；
图5a～图5c是default bounding box示意图，其中，图5a是使用真实框标注的图像，图5b是尺度为8×8的特征图，图5c是尺度为4×4的特征图；
图6是本发明的非极大值抑制算法对检测框的处理逻辑图；
图7是不同阈值时loss曲线对比图；
图8是本发明的技术路线图。
具体实施方式
为了克服现有技术的上述不足，本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后，以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络基本模型，并合理的设计模型参数；最后，采用非极大值抑制算法减少预测框的数量，采用数据增强操作来扩大数据集，增加网络的训练量，可以有效地提高网络识别性能，解决不规则缺陷的检测难题。
为实现上述目的，本发明采用以下技术方案：
一种基于深度学习的工业品不规则缺陷检测方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数。通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图。
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，本发明选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响。
1.1)直方图均衡化；
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高。当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像。因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰。
直方图均衡化的具体操作步骤如下所示：
(1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则
其中，0≤r≤1，L为灰度级层次数。
(2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布。而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：
Figure BDA0002141887310000082
其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数。
(3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:
Figure BDA0002141887310000091
其中，k为灰度级数。
(4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si) (4)
(5)映射到新的图像，得到均衡化处理后的直方图。
1.2)直方图匹配；
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图。以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可。可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配。
直方图匹配的具体操作步骤如下所示：
(1)按照步骤1.1)将原始图像进行均衡化处理；
(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；
Figure BDA0002141887310000092
其中，z分别是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数。
(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z。
z＝G-1[T(r)]＝G-1[s] (6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果。
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入。
步骤二，构建网络模型；
本发明使用的以VGGNet-16为基础网络的SSD网络结构图，网络框架主要分为两部分：基础网络、附加网络。基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体。
本发明的SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3。其中，Conv4_3是特征提取层。
对于每一层网络具体的参数设置，本发明从卷积层和池化层两方面入手。
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面。5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512。前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层。
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面。本发明的池化方式选择最大池化方式。池化核的大小关系到提取的特征图尺寸，本发明将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3。最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息。
(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络。在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图。
附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数。第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层。另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层。而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层。与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2。
步骤三，设置网络模型相关参数；
3.1)默认框的设置；
在SSD网络中，默认框的大小直接决定了它能检测到的目标大小。假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为
Figure BDA0002141887310000111
其中Smin为预测特征层中最低层的默认框尺度，Smax为最高层默认框尺度，对于本发明使用的SSD300而言，m＝6，设置最底层的feature map的scale值为Smin＝0.2，最高层的为Smax＝0.9。
每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为ar＝{1,2,3,1/2,1/3}，则每一个默认框的宽和高为：
Figure BDA0002141887310000112
Figure BDA0002141887310000113
当宽高比为1时，额外增加：
Figure BDA0002141887310000114
那么，在本发明中，当m＝6，Smin＝0.2，Smax＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为
Figure BDA0002141887310000115
Figure BDA0002141887310000116
第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为
Figure BDA0002141887310000119
Figure BDA00021418873100001110
Figure BDA00021418873100001111
Figure BDA00021418873100001112
后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致。
3.2)默认框匹配方式；
(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应。
(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值(本发明设定为0.5)，则同样认为匹配成功。这样，每一个真实框就可能存在多个默认框与之匹配。匹配成功的默认框负责预测与之对应的真实目标框。
(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative。
3.3)损失函数的构成；
SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：
Figure BDA0002141887310000121
其中，N是与真实框真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)。
(1)位置回归采用Smooth L1loss，目标函数为：
Figure BDA0002141887310000122
其中：
Figure BDA0002141887310000123
Figure BDA0002141887310000124
Figure BDA0002141887310000125
Figure BDA0002141887310000126
Figure BDA0002141887310000127
(2)目标分类的损失函数采用典型的softmax loss，目标函数为
Figure BDA0002141887310000128
其中：
Figure BDA0002141887310000131
步骤四，对模型进一步处理；
采用数据增强处理，变相的增加样本图像的数量，从而增大训练集；采用非极大值抑制算法筛除重复的检测框，得到待检目标的最佳位置。
具体的操作步骤如下：
4.1)数据增强处理；
由于工业品图像干扰因素主要表现形式为亮度不均、反光、磁粉过浓等，导致网络对这类图像样本的检测准确率不高，所以，本发明通过采用图像缩放、图像裁剪、图像旋转、图像色彩调整等方式对存在干扰的图像样本进行数据增强。
①图像缩放：采用双线性插值法、最近邻近法、双三次插值法和面积插值法进行缩放；
②图像裁剪：包括图像的剪切填充、随机裁剪、按比例裁剪；
③图像旋转：包括图像镜像、上下翻转、左右反转、对角线旋转和旋转90°四种方式；
④图像色彩调整：包括图像亮度、对比度、色彩、饱和度四个方面的调整。
4.2)非极大值抑制算法筛除检测框；
①按照置信度的大小将所有可能的检测框排序；
②在输出序列内放入置信度最高的检测框；
③将②中得到的检测窗口与剩余窗口的重叠面积进行比例计算；
④如果上述计算所获得的重叠面积比例与阈值T(本发明中T＝0.7)的差值大于0，则认为当前窗口与②中得到的窗口是同一目标，然后删除该窗口；
⑤返回①，循环至全部的默认窗口处理完毕；
⑥在输出序列内最终剩下的窗口即为最终的检测结果。
总之，通过以上四个步骤，得到的工业品不规则缺陷检测流程如下：
1.输入一张彩色图像，并把图像大小调整为300×300×3，3表示图像存在R、G、B三个通道，将调整后的图像输入到网络中并获得不同大小的特征映射。
2.将尺寸调整过后的图像输入到SSD的基础网络中，本发明的基础网络由部分VGGNet16构成，VGGNet16网络的本质是CNN网络，通过CNN提取特征的优良特性，在基础网络的Conv4_3层中，提取到38×38大小的feature map共512个。这些feature map不仅仅是作为下一层网络的输入，还要作为判断目标特征的依据，输出到分类器进行目标分类和位置回归。
3.然后，基础网络输出的图像依次经过6组11层卷积层，并在Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2分别提取到不同尺寸大小的feature map。
4.对上述过程中提取到的不同尺寸大小的feature map进行softmax分类和位置回归，其目的是为了能够准确的检测到不同尺度的物体，因为在低层的feature map,感受野比较小，高层的感受野比较大，在不同的feature map进行卷积，可以达到多尺度的目的。
5.对第4步根据不同feature map分类和位置回归得到的结果，通过非极大值抑制算法，筛选及合并检测结果，输出检测目标的最佳位置和分类。
本发明的优点是：
本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。首先，采用灰度直方图均衡化能够解决样本缺陷不明显的问题，采用直方图匹配能够使得样本缺陷在视觉上更加明显；其次，采用SSD网络模型，能够明确的定位并且检测到不规则缺陷；最后，采用非极大值抑制算法能够筛选除去重复的检测框，采用数据增强处理能够增大训练集。因此，本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求，具有一定的应用前景。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于深度学习的工业品不规则缺陷检测方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数；通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图；
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响；
1.1)直方图均衡化；
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高；当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像；因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰；
直方图均衡化的具体操作步骤如下所示：
(S1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则
Figure FDA0002141887300000011
其中，0≤r≤1，L为灰度级层次数；
(S2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布；而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：
Figure FDA0002141887300000012
其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数；
(S3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:
Figure FDA0002141887300000013
其中，k为灰度级数；
(S4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si) (4)
(S5)映射到新的图像，得到均衡化处理后的直方图；
1.2)直方图匹配；
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法；该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图；
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图；以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可；可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配；
直方图匹配的具体操作步骤如下所示：
(T1)按照步骤1.1)将原始图像进行均衡化处理；
(T2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；
Figure FDA0002141887300000021
其中，z分别是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数；
(T3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z；
z＝G-1[T(r)]＝G-1[s] (6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果；
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入；
步骤二，构建网络模型；
以VGGNet-16为基础网络的SSD网络结构图的网络框架分为两部分：基础网络、附加网络；基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体；
SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3；其中，Conv4_3是特征提取层；
对于每一层网络具体的参数设置，从卷积层和池化层两方面入手；
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面；5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512；前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层；
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面；池化方式选择最大池化方式；池化核的大小关系到提取的特征图尺寸，将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3；最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息；
(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络；在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图；
附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数；第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层；另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层；而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层；与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2；
步骤三，设置网络模型相关参数；
3.1)默认框的设置；
在SSD网络中，默认框的大小直接决定了它能检测到的目标大小；假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为
Figure FDA0002141887300000041
其中Smin为预测特征层中最低层的默认框尺度，Smax为最高层默认框尺度，对于SSD300而言，m＝6，设置最底层的feature map的scale值为Smin＝0.2，最高层的为Smax＝0.9；
每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为ar＝{1,2,3,1/2,1/3}，则每一个默认框的宽和高为：
Figure FDA0002141887300000042
Figure FDA0002141887300000043
当宽高比为1时，额外增加：
Figure FDA0002141887300000044
那么，当m＝6，Smin＝0.2，Smax＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为
Figure FDA0002141887300000045
Figure FDA0002141887300000046
Figure FDA0002141887300000047
Figure FDA0002141887300000048
第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为
Figure FDA0002141887300000049
Figure FDA00021418873000000410
Figure FDA00021418873000000411
Figure FDA0002141887300000051
后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致；
3.2)默认框匹配方式；
(P1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应；
(P2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值，则同样认为匹配成功；这样，每一个真实框就可能存在多个默认框与之匹配；匹配成功的默认框负责预测与之对应的真实目标框；
(P3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative；
3.3)损失函数的构成；
SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：
Figure FDA0002141887300000052
其中，N是与真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)；
(Q1)位置回归采用Smooth L1 loss，目标函数为：
Figure FDA0002141887300000053
其中：
Figure FDA0002141887300000054
Figure FDA0002141887300000055
Figure FDA0002141887300000056
Figure FDA0002141887300000058
(Q2)目标分类的损失函数采用典型的softmax loss，目标函数为
Figure FDA0002141887300000061
其中：
步骤四，对模型进一步处理；
采用数据增强处理，变相的增加样本图像的数量，从而增大训练集；采用非极大值抑制算法筛除重复的检测框，得到待检目标的最佳位置；
具体的操作步骤如下：
4.1)数据增强处理；
由于工业品图像干扰因素主要表现形式为亮度不均、反光、磁粉过浓等，导致网络对这类图像样本的检测准确率不高，所以，通过采用图像缩放、图像裁剪、图像旋转、图像色彩调整等方式对存在干扰的图像样本进行数据增强；
(L1)图像缩放：采用双线性插值法、最近邻近法、双三次插值法和面积插值法进行缩放；
(L2)图像裁剪：包括图像的剪切填充、随机裁剪、按比例裁剪；
(L3)图像旋转：包括图像镜像、上下翻转、左右反转、对角线旋转和旋转90°四种方式；
(L4)图像色彩调整：包括图像亮度、对比度、色彩、饱和度四个方面的调整；
4.2)非极大值抑制算法筛除检测框；
①按照置信度的大小将所有可能的检测框排序；
②在输出序列内放入置信度最高的检测框；
③将②中得到的检测窗口与剩余窗口的重叠面积进行比例计算；
④如果上述计算所获得的重叠面积比例与阈值T的差值大于0，则认为当前窗口与②中得到的窗口是同一目标，然后删除该窗口；
⑤返回①，循环至全部的默认窗口处理完毕；
⑥在输出序列内最终剩下的窗口即为最终的检测结果。
CN201910671541.XA 2019-07-24 2019-07-24 一种基于深度学习的工业品不规则缺陷检测方法 Withdrawn CN110660040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671541.XA CN110660040A (zh) 2019-07-24 2019-07-24 一种基于深度学习的工业品不规则缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671541.XA CN110660040A (zh) 2019-07-24 2019-07-24 一种基于深度学习的工业品不规则缺陷检测方法

Publications (1)

Publication Number Publication Date
CN110660040A true CN110660040A (zh) 2020-01-07

Family

ID=69030898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671541.XA Withdrawn CN110660040A (zh) 2019-07-24 2019-07-24 一种基于深度学习的工业品不规则缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110660040A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275684A (zh) * 2020-01-20 2020-06-12 东华大学 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN111415329A (zh) * 2020-02-20 2020-07-14 广州中国科学院先进技术研究所 一种基于深度学习的工件表面缺陷检测方法
CN111666822A (zh) * 2020-05-13 2020-09-15 飒铂智能科技有限责任公司 一种基于深度学习的低空无人机目标检测方法及系统
CN111986126A (zh) * 2020-07-17 2020-11-24 浙江工业大学 一种基于改进vgg16网络的多目标检测方法
CN112419237A (zh) * 2020-11-03 2021-02-26 中国计量大学 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法
CN112614121A (zh) * 2020-12-29 2021-04-06 国网青海省电力公司海南供电公司 一种多尺度小目标设备缺陷识别监测方法
CN113450373A (zh) * 2020-08-18 2021-09-28 中国人民解放军63729部队 一种基于光学实况图像的运载火箭飞行过程特征事件实时判别方法
CN115471482A (zh) * 2022-09-20 2022-12-13 重庆理工大学 基于计算机视觉的小口径容器内壁缺陷检测方法
CN115830459A (zh) * 2023-02-14 2023-03-21 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN116843687A (zh) * 2023-09-01 2023-10-03 山东东方智光网络通信有限公司 一种通信光缆表面瑕疵检测方法及装置
CN117576521A (zh) * 2024-01-16 2024-02-20 广州市易鸿智能装备股份有限公司 一种提高工业图像检测模型准确率的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程康: "基于深度学习的工业品不规则缺陷检测研究", 《中国优秀硕士学位论文全文数据库(电子期刊)工程科技II辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275684A (zh) * 2020-01-20 2020-06-12 东华大学 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN111415329A (zh) * 2020-02-20 2020-07-14 广州中国科学院先进技术研究所 一种基于深度学习的工件表面缺陷检测方法
CN111666822A (zh) * 2020-05-13 2020-09-15 飒铂智能科技有限责任公司 一种基于深度学习的低空无人机目标检测方法及系统
CN111986126A (zh) * 2020-07-17 2020-11-24 浙江工业大学 一种基于改进vgg16网络的多目标检测方法
CN113450373A (zh) * 2020-08-18 2021-09-28 中国人民解放军63729部队 一种基于光学实况图像的运载火箭飞行过程特征事件实时判别方法
CN112419237A (zh) * 2020-11-03 2021-02-26 中国计量大学 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法
CN112419237B (zh) * 2020-11-03 2023-06-30 中国计量大学 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法
CN112614121A (zh) * 2020-12-29 2021-04-06 国网青海省电力公司海南供电公司 一种多尺度小目标设备缺陷识别监测方法
CN115471482A (zh) * 2022-09-20 2022-12-13 重庆理工大学 基于计算机视觉的小口径容器内壁缺陷检测方法
CN115830459A (zh) * 2023-02-14 2023-03-21 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN116843687A (zh) * 2023-09-01 2023-10-03 山东东方智光网络通信有限公司 一种通信光缆表面瑕疵检测方法及装置
CN117576521A (zh) * 2024-01-16 2024-02-20 广州市易鸿智能装备股份有限公司 一种提高工业图像检测模型准确率的方法

Similar Documents

Publication Publication Date Title
CN110660040A (zh) 一种基于深度学习的工业品不规则缺陷检测方法
CN110443778B (zh) 一种检测工业品不规则缺陷的方法
CN107833220B (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN107066916B (zh) 基于反卷积神经网络的场景语义分割方法
CN107016691A (zh) 基于超像素特征的运动目标检测方法
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN110910339B (zh) Logo缺陷检测方法及装置
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN108171683B (zh) 一种采用软件自动识别的细胞计数方法
CN113506246B (zh) 基于机器视觉的混凝土3d打印构件精细检测方法
CN116091455A (zh) 基于机器视觉的钢网表面缺陷判定方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN116758080A (zh) 一种太阳能电池片丝网印刷缺陷检测方法及系统
Niu et al. Data augmentation on defect detection of sanitary ceramics
CN112215859A (zh) 一种基于深度学习和邻接约束的纹理边界检测方法
CN105825234A (zh) 一种融合超像素和背景模型的前景检测方法
EP2575350A2 (en) Method for brightness correction of defective pixels of digital monochrome image
CN104268845A (zh) 极值温差短波红外图像的自适应双局部增强方法
CN105608673B (zh) 图像颜色量化与抖动方法和系统
CN107533760A (zh) 一种图像分割方法和装置
CN110766662A (zh) 一种基于多尺度和多层特征学习的锻件表面裂纹检测方法
CN113012079B (zh) 低亮度车底图像增强方法、装置及存储介质
CN110827309A (zh) 一种基于超像素的偏光片外观缺陷分割方法
CN113160214B (zh) 一种图像局部邻域像素相似性衡量新方法
CN115660994A (zh) 一种基于区域最小二乘估计的图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200107

WW01 Invention patent application withdrawn after publication