CN110443778A - 一种检测工业品不规则缺陷的方法 - Google Patents
一种检测工业品不规则缺陷的方法 Download PDFInfo
- Publication number
- CN110443778A CN110443778A CN201910554935.7A CN201910554935A CN110443778A CN 110443778 A CN110443778 A CN 110443778A CN 201910554935 A CN201910554935 A CN 201910554935A CN 110443778 A CN110443778 A CN 110443778A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- histogram
- network
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013461 design Methods 0.000 claims abstract description 7
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 37
- 230000000295 complement effect Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 239000012141 concentrate Substances 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种检测工业品不规则缺陷的方法，包括如下步骤：步骤一，图像增强处理，具体包括直方图均衡化、直方图匹配；步骤二，构建网络模型；步骤三，设置网络模型相关参数，具体包括默认框的设置、默认框匹配方式、损失函数的构成。本发明先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络模型，并合理的设计模型参数，可以有效地解决不规则缺陷的检测难题。
Description
技术领域
本发明涉及一种检测工业品不规则缺陷的方法。
技术背景
在工业生产中，工业品的质量问题主要表现在生产缺陷、装配缺陷、各种表面缺陷、产品与设计不符等问题，这些质量问题又受多方面因素影响，诸如生产设备、操作人员、加工工艺等。其中，产品的表面缺陷又是工业品的质量缺陷的主要表现形式。传统的表面缺陷检测方法是人工目视检测，也就是在特定环境下的人眼目视识别，但这样检测的方法存在着很多的弊端，如劳动强度大、工作效率低、成本较高，易受检测人员素质、经验影响等。
工业化大生产带来了产量的快速提升，也对缺陷检测效率带来了考验，得益于计算机视觉技术的快速发展，出现了许多基于计算机视觉技术的自动化检测方法，相较于传统的人工检测方法，自动化缺陷检测技术具有检测效率高、检测数据可保存、成本低等优点。在所有的自动化检测技术中，应用最为广泛的当属机器视觉检测。机器视觉检测技术，是通过计算机的图像处理算法对采集到的数字图像进行处理，获取到目标的特征信息，通过计算机的判断，反馈结果给执行器，进而控制执行器达到预定的动作。但无可避免的是，机器视觉检测技术仍然存在着一些缺陷，比如：对于缺陷不规则的产品检测效果不佳；受限于计算机的计算能力，对计算能力要求高；具有实时性问题。总之，传统的人工检测方法和以机器视觉检测为主的一些视觉检测技术均存在着不足，无法满足工业品检测市场的需求，急需一种满足市场需求的检测方法。
发明内容
为了克服现有技术的上述不足，本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。
本发明先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络模型，并合理的设计模型参数，可以有效地解决不规则缺陷的检测难题。
为实现上述目的，本发明采用以下技术方案：
一种检测工业品不规则缺陷的方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数。通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图。
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，本发明选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响。
1.1)直方图均衡化；
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高。当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像。因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰。
直方图均衡化的具体操作步骤如下所示：
(1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则
其中，0≤r≤1，L为灰度级层次数。
(2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布。而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：
其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数。
(3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:
其中，k为灰度级数。
(4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si) (4)
(5)映射到新的图像，得到均衡化处理后的直方图。
1.2)直方图匹配
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图。以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可。可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配。
直方图匹配的具体操作步骤如下所示：
(1)按照步骤1.1)将原始图像进行均衡化处理；
(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；
其中，z是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数。
(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z。
z＝G-1[T(r)]＝G-1[s] (6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果。
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入。
步骤二，构建网络模型；
本发明使用的以VGGNet-16为基础网络的SSD网络结构图，网络框架主要分为两部分：基础网络、附加网络。基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体。
本发明的SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3。其中，Conv4_3是特征提取层。
对于每一层网络具体的参数设置，本发明从卷积层和池化层两方面入手。
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面。5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512。前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层。
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面。本发明的池化方式选择最大池化方式。池化核的大小关系到提取的特征图尺寸，本发明将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3。最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息。
(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络。在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图。
附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数。第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层。另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层。而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层。与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2。
步骤三，设置网络模型相关参数；
3.1)默认框的设置；
在SSD网络中，默认框的大小直接决定了它能检测到的目标大小。假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为
其中Smin为预测特征层中最低层的默认框尺度，Smax为最高层默认框尺度，对于本发明使用的SSD300而言，m＝6，设置最底层的feature map的scale值为Smin＝0.2，最高层的为Smax＝0.9。
每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为ar＝{1,2,3,1/2,1/3}，则每一个默认框的宽w和高h为：
当宽高比为1时，额外增加：
那么，在本发明中，当m＝6，Smin＝0.2，Smax＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为
第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为
后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致。
3.2)默认框匹配方式；
(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应。
(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值(本发明设定为0.5)，则同样认为匹配成功。这样，每一个真实框就可能存在多个默认框与之匹配。匹配成功的默认框负责预测与之对应的真实目标框。
(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative。
3.3)损失函数的构成；
SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：
其中，N是与真实框真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)。
(1)位置回归采用Smooth L1 loss，目标函数为：
其中：
(2)目标分类的损失函数采用典型的softmax loss，目标函数为
其中：
本发明的优点是：
本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。首先，采用灰度直方图均衡化能够解决样本缺陷不明显的问题，采用直方图匹配能够使得样本缺陷在视觉上更加明显；其次，采用SSD网络模型，能够明确的定位并且检测到不规则缺陷。因此，本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求，具有一定的应用前景。
附图说明
图1a～图1b是用于图像增强处理的灰度直方图，其中，图1a是图像的灰度值，图1b是根据图1a做出的灰度直方图；
图2是直方图均衡化变换函数；
图3是本发明的基础网络结构图；
图4是本发明的附加网络结构图；
图5a～图5c是default bounding box示意图，其中，图5a是使用真实框标注的图像，图5b是尺度为8×8的特征图，图5c是尺度为4×4的特征图；
具体实施方式
为了克服现有技术的上述不足，本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络模型，并合理的设计模型参数，可以有效地解决不规则缺陷的检测难题。
为实现上述目的，本发明采用以下技术方案：
一种检测工业品不规则缺陷的方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数。通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图。
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，本发明选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响。
1.1)直方图均衡化
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高。当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像。因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰。
直方图均衡化的具体操作步骤如下所示：
(1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则
其中，0≤r≤1，L为灰度级层次数。
(2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布。而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：
其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数。
(3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:
其中，k为灰度级数。
(4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si) (4)
(5)映射到新的图像，得到均衡化处理后的直方图。
1.2)直方图匹配
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图。以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可。可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配。
直方图匹配的具体操作步骤如下所示：
(1)按照步骤1.1)将原始图像进行均衡化处理；
(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；
其中，z是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数。
(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z。
z＝G-1[T(r)]＝G-1[s] (6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果。
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入。
步骤二，构建网络模型；
本发明使用的以VGGNet-16为基础网络的SSD网络结构图，网络框架主要分为两部分：基础网络、附加网络。基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体。
本发明的SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3。其中，Conv4_3是特征提取层。
对于每一层网络具体的参数设置，本发明从卷积层和池化层两方面入手。
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面。5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512。前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层。
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面。本发明的池化方式选择最大池化方式。池化核的大小关系到提取的特征图尺寸，本发明将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3。最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息。
(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络。在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图。
附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数。第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层。另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层。而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层。与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2。
步骤三，设置网络模型相关参数；
3.1)默认框的设置；
在SSD网络中，默认框的大小直接决定了它能检测到的目标大小。假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为
其中Smin为预测特征层中最低层的默认框尺度，Smax为最高层默认框尺度，对于本发明使用的SSD300而言，m＝6，设置最底层的feature map的scale值为Smin＝0.2，最高层的为Smax＝0.9。
每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为ar＝{1,2,3,1/2,1/3}，则每一个默认框的宽w和高h为：
当宽高比为1时，额外增加：
那么，在本发明中，当m＝6，Smin＝0.2，Smax＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为
第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为
后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致。
3.2)默认框匹配方式；
(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应。
(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值(本发明设定为0.5)，则同样认为匹配成功。这样，每一个真实框就可能存在多个默认框与之匹配。匹配成功的默认框负责预测与之对应的真实目标框。
(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative。
3.3)损失函数的构成；
SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：
其中，N是与真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)。
(1)位置回归采用Smooth L1 loss，目标函数为：
其中：
(2)目标分类的损失函数采用典型的softmax loss，目标函数为
其中：
本发明的优点是：
本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。首先，采用灰度直方图均衡化能够解决样本缺陷不明显的问题，采用直方图匹配能够使得样本缺陷在视觉上更加明显；其次，采用SSD网络模型，能够明确的定位并且检测到不规则缺陷。因此，本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求，具有一定的应用前景。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种检测工业品不规则缺陷的方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数；通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图；
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响；
1.1)直方图均衡化；
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高；当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像；因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰；
直方图均衡化的具体操作步骤如下所示：
(1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则
其中，0≤r≤1，L为灰度级层次数，k为灰度级数；
(2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布；而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：
其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数；
(3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:
其中，k为灰度级数；
(4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si) (4)
(5)映射到新的图像，得到均衡化处理后的直方图；
1.2)直方图匹配
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法；该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图；
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图；以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可；可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配；
直方图匹配的具体操作步骤如下所示：
(1)按照步骤1.1)将原始图像进行均衡化处理；
(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；
其中，z是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数；
(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z；
z＝G-1[T(r)]＝G-1[s] (6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果；
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入；
步骤二，构建网络模型；
使用以VGGNet-16为基础网络的SSD网络结构，网络框架主要分为两部分：基础网络、附加网络；基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体；
SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3；其中，Conv4_3是特征提取层；
对于每一层网络具体的参数设置，从卷积层和池化层两方面入手；
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面；5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512；前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层；
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面；池化方式选择最大池化方式；池化核的大小关系到提取的特征图尺寸，将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3；最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息；
(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络；在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图；
附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数；第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层；另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层；而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层；与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2；
步骤三，设置网络模型相关参数；
3.1)默认框的设置；
在SSD网络中，默认框的大小直接决定了它能检测到的目标大小；假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为
其中Smin为预测特征层中最低层的默认框尺度，Smax为最高层默认框尺度，对于SSD300而言，m＝6，设置最底层的feature map的scale值为Smin＝0.2，最高层的为Smax＝0.9；
每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为ar＝{1,2,3,1/2,1/3}，则每一个默认框的宽w和高h为：
当宽高比为1时，额外增加：
那么，当m＝6，Smin＝0.2，Smax＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为
第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为
后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致；
3.2)默认框匹配方式；
(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应；
(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值，则同样认为匹配成功；这样，每一个真实框就可能存在多个默认框与之匹配；匹配成功的默认框负责预测与之对应的真实目标框；
(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative；
3.3)损失函数的构成；
SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：
其中，N是与真实框真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)；
(1)位置回归采用Smooth L1 loss，目标函数为：
其中：
(2)目标分类的损失函数采用典型的softmax loss，目标函数为
其中：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910554935.7A CN110443778B (zh) | 2019-06-25 | 2019-06-25 | 一种检测工业品不规则缺陷的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910554935.7A CN110443778B (zh) | 2019-06-25 | 2019-06-25 | 一种检测工业品不规则缺陷的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443778A true CN110443778A (zh) | 2019-11-12 |
| CN110443778B CN110443778B (zh) | 2021-10-15 |
Family
ID=68428249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910554935.7A Active CN110443778B (zh) | 2019-06-25 | 2019-06-25 | 一种检测工业品不规则缺陷的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443778B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091533A (zh) * | 2019-11-13 | 2020-05-01 | 江苏大学 | 一种基于改进ssd算法的电池片el缺陷检测方法 |
| CN111986126A (zh) * | 2020-07-17 | 2020-11-24 | 浙江工业大学 | 一种基于改进vgg16网络的多目标检测方法 |
| CN111986125A (zh) * | 2020-07-16 | 2020-11-24 | 浙江工业大学 | 一种用于多目标任务实例分割的方法 |
| CN112288682A (zh) * | 2020-06-29 | 2021-01-29 | 西安交通大学 | 基于图像配准的电力设备缺陷定位方法 |
| CN112614121A (zh) * | 2020-12-29 | 2021-04-06 | 国网青海省电力公司海南供电公司 | 一种多尺度小目标设备缺陷识别监测方法 |
| CN114820594A (zh) * | 2022-06-21 | 2022-07-29 | 中科慧远视觉技术(北京)有限公司 | 基于图像检测板材封边缺陷的方法、相关设备及存储介质 |
| CN115115610A (zh) * | 2022-07-20 | 2022-09-27 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN115830459A (zh) * | 2023-02-14 | 2023-03-21 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 基于神经网络的山地林草生命共同体损毁程度检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101923716A (zh) * | 2009-06-10 | 2010-12-22 | 新奥特（北京）视频技术有限公司 | 一种改善粒子滤波跟踪效果的方法 |
| US9329935B2 (en) * | 2014-05-19 | 2016-05-03 | Seagate Technology Llc | Method to dynamically update LLRs in an SSD drive and/or controller |
| WO2018108934A1 (en) * | 2016-12-12 | 2018-06-21 | Sensl Technologies Ltd. | A histogram readout method and circuit for determining the time of flight of a photon |
| CN109684967A (zh) * | 2018-12-17 | 2019-04-26 | 东北农业大学 | 一种基于ssd卷积网络的大豆植株茎荚识别方法 |
| CN109767449A (zh) * | 2018-12-03 | 2019-05-17 | 浙江工业大学 | 一种基于强边缘检测的图像清晰度评价方法 |
-
2019
- 2019-06-25 CN CN201910554935.7A patent/CN110443778B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101923716A (zh) * | 2009-06-10 | 2010-12-22 | 新奥特（北京）视频技术有限公司 | 一种改善粒子滤波跟踪效果的方法 |
| US9329935B2 (en) * | 2014-05-19 | 2016-05-03 | Seagate Technology Llc | Method to dynamically update LLRs in an SSD drive and/or controller |
| WO2018108934A1 (en) * | 2016-12-12 | 2018-06-21 | Sensl Technologies Ltd. | A histogram readout method and circuit for determining the time of flight of a photon |
| CN109767449A (zh) * | 2018-12-03 | 2019-05-17 | 浙江工业大学 | 一种基于强边缘检测的图像清晰度评价方法 |
| CN109684967A (zh) * | 2018-12-17 | 2019-04-26 | 东北农业大学 | 一种基于ssd卷积网络的大豆植株茎荚识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIU W等: "SSD: Single shot multibox detector", 《SPRINGER INTERNATIONAL PUBLISHING》 * |
| 景军锋等: "应用深度卷积神经网络的色织物缺陷检测", 《纺织学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091533A (zh) * | 2019-11-13 | 2020-05-01 | 江苏大学 | 一种基于改进ssd算法的电池片el缺陷检测方法 |
| CN111091533B (zh) * | 2019-11-13 | 2023-08-22 | 江苏大学 | 一种基于改进ssd算法的电池片el缺陷检测方法 |
| CN112288682A (zh) * | 2020-06-29 | 2021-01-29 | 西安交通大学 | 基于图像配准的电力设备缺陷定位方法 |
| CN111986125A (zh) * | 2020-07-16 | 2020-11-24 | 浙江工业大学 | 一种用于多目标任务实例分割的方法 |
| CN111986126A (zh) * | 2020-07-17 | 2020-11-24 | 浙江工业大学 | 一种基于改进vgg16网络的多目标检测方法 |
| CN112614121A (zh) * | 2020-12-29 | 2021-04-06 | 国网青海省电力公司海南供电公司 | 一种多尺度小目标设备缺陷识别监测方法 |
| CN114820594A (zh) * | 2022-06-21 | 2022-07-29 | 中科慧远视觉技术(北京)有限公司 | 基于图像检测板材封边缺陷的方法、相关设备及存储介质 |
| CN115115610A (zh) * | 2022-07-20 | 2022-09-27 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN115115610B (zh) * | 2022-07-20 | 2023-08-22 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN115830459A (zh) * | 2023-02-14 | 2023-03-21 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 基于神经网络的山地林草生命共同体损毁程度检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443778B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443778A (zh) | 一种检测工业品不规则缺陷的方法 | |
| CN110660040A (zh) | 一种基于深度学习的工业品不规则缺陷检测方法 | |
| CN103593670B (zh) | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 | |
| CN104794491B (zh) | 基于预分类的模糊聚类钢板表面缺陷检测方法 | |
| CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
| CN109961049A (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN109461141A (zh) | 一种工件缺胶检测方法 | |
| CN110230978A (zh) | 一种耐火砖几何尺寸测量方法 | |
| CN116645367B (zh) | 一种高端制造用的钢板切割质量检测方法 | |
| CN116091455A (zh) | 基于机器视觉的钢网表面缺陷判定方法 | |
| CN109242829A (zh) | 基于小样本深度学习的液晶屏缺陷检测方法、系统及装置 | |
| CN106650823A (zh) | 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法 | |
| CN107392929A (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN109727233A (zh) | 一种lcd缺陷检测方法 | |
| CN115082719B (zh) | 一种木材质量分级方法 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN107665352A (zh) | 一种基于多通道残差网络的珍珠分类方法 | |
| CN108062508A (zh) | 变电站复杂背景红外图像中设备的提取方法 | |
| CN111402236A (zh) | 一种基于图像灰度值的热轧带钢表面缺陷分级方法 | |
| CN111783885A (zh) | 一种基于局部增强的毫米波图像的质量分类模型构建方法 | |
| CN110400307A (zh) | 一种基于区域差异的屏幕图像质量评估方法 | |
| CN109859199A (zh) | 一种sd-oct图像的淡水无核珍珠质量检测的方法 | |
| CN206897873U (zh) | 一种基于检测产品特性的图像处理与检测系统 | |
| CN107169528A (zh) | 一种基于机器学习的集成电路图像的通孔识别装置 | |
| CN116596879A (zh) | 基于边界样本分位数的葡萄霜霉病自适应识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |