CN107966447A - 一种基于卷积神经网络的工件表面缺陷检测方法 - Google Patents

一种基于卷积神经网络的工件表面缺陷检测方法 Download PDF

Info

Publication number
CN107966447A
CN107966447A CN201711121537.3A CN201711121537A CN107966447A CN 107966447 A CN107966447 A CN 107966447A CN 201711121537 A CN201711121537 A CN 201711121537A CN 107966447 A CN107966447 A CN 107966447A
Authority
CN
China
Prior art keywords
image
neural networks
convolutional neural
workpiece
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711121537.3A
Other languages
English (en)
Other versions
CN107966447B (zh
Inventor
刘云海
梁智聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711121537.3A priority Critical patent/CN107966447B/zh
Publication of CN107966447A publication Critical patent/CN107966447A/zh
Application granted granted Critical
Publication of CN107966447B publication Critical patent/CN107966447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明公开了一种基于卷积神经网络的工件表面缺陷检测方法。采集工件的各个表面的图像；构造卷积神经网络结构；构造训练样本；训练卷积神经网络的参数；将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像。本发明进行缺陷检测使用的是全卷积神经网络，该网络的输入为经过预处理的工件原图，经神经网络计算后输出大小与原图相等缺陷标记图，通过对缺陷标记图的分析可以很好的获取缺陷区域的位置、大小以及形状等重要信息。对比传统的缺陷检测方法，该方法可以处理大规模的图像数据，能够减少手工设计特征的巨大工作量，可以同时处理多种不同的缺陷类别以及能获得像素级的缺陷区域信息。

Description

一种基于卷积神经网络的工件表面缺陷检测方法
技术领域
本发明涉及缺陷检测的技术领域，尤其涉及一种基于卷积神经网络的工件表面缺陷检测方法。
背景技术
工业产品零部件质量是工业生产中关键性的环节，直接关系到整体系统级产品的质量。现今，我国提出智能制造2025规划以及工业4.0发展目标，目的是为了把我国工业从原来的依靠数量转换到依靠质量的新工业发展道路上来。因此，实现工件的质量检测的自动化和智能化刻不容缓。然而，现今的大部分工业部件制造商仍旧采用人工的方法去检测和控制产品的质量，这是一个耗时耗工的环节，企业需要投入大量的人力来保证产品质量。人工检测方法显然存在着许多不足的地方，如耗费较多的时间和费用，工人的不断重复检测容易使人疲劳和厌倦，导致检测结果主观，不连续，不可靠。这些不足的地方经常会导致产品检测出现问题，而使得产品的质量得不到保证。本发明将采用卷积神经网络作为工件缺陷检测的主要方法，以实现检测过程的自动化，具有重要的应用价值。
发明内容
为了获得像素级的缺陷检测结果以及更好的普适性，本发明提供了一种基于卷积神经网络的工件表面检测方法。
本发明的目的是通过以下技术方案来实现的：一种基于卷积神经网络的工件表面缺陷检测方法，包括以下步骤：
(1)多路图像采集：利用多个摄像头与光源的组合，采集工件的各个表面的图像；
(2)图像的预处理：目标区域切割，图像增强以及改变图片大小；
(3)构造用于缺陷检测的卷积神经网络结构：网络的设计采用全卷积神经网络(Fully Convolutional Networks，FCN)结构组成的语义分割网络，全卷积神经网络结构仅由多个卷积层以及反卷积层组成，不包含全连接层，是一种从图像到图像的卷积神经网络结构；
(4)构造训练样本：以工件的原图像作为语义分割网络的输入，手工标注的标签图作为网络的标签；
(5)训练卷积神经网络：采用反向传播算法训练卷积神经网络的参数；
(6)将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像；
(7)根据获得标记的信息判断工件的缺陷种类及程度。
进一步地，所述步骤(1)中，多路图像采集包括以下子步骤：
(1.1)摄像头通过网口或USB与工控机连接，光源通过串口与工控机连接；
(1.2)工件到达指定位置触发摄像头，获取工件各面图像；
(1.3)根据拍摄面的不同，利用串口控制光源方向与强度；
(1.4)把图像通过数据线传到工控机等待处理。
进一步地，所述步骤(2)中，图像的预处理包括：
(2.1)目标区域分割：遍历原图I，以阈值threshold找到工件区域的上下左右边界，对原图进行抠图，获得工件图像I2；
(2.2)图像增强：对工件图像I2进行对数图像增强，获得增强后的图像I3，公式如下：
其中，OldPixel为原图像素值，NewPixel为增强后的图像像素值；
(2.3)改变图片大小：把不同大小的图像I3，利用双线性插值法调整为统一的大小。
进一步地，所述步骤(3)中，所设计的全卷积神经网络结构主要由多个卷积层和反卷积层组成，卷积层位于网络结构前半部分，反卷积层位于网络结构后半部分，卷积层和反卷积层数量相等，相邻的两层之间用Batch Normalization层和PRelu层连接，输入层把图片数据从[0,255]归一化到[-1,1]，输出层使用Tanh层，同样使输出数据的范围保证在[-1,1]。
进一步地，所述步骤(4)中，所构造的训练数据中，每一个训练数据均由两部分组成，第一部分为工件的原始图像，图像中包含工件的全貌，第二部分是标签图，标签图利用原图生成，生成的方法如下：
(4.1)原图中的不同区域(背景、工件非缺陷区、工件缺陷区等)分别对应一个标签，标签的形式为图像中不同的颜色；
(4.2)手工描点，利用凸包把不同的区域包裹起来；
(4.3)把区域对应的标签覆盖到原图中，形成标签图。
进一步地，所述步骤(5)中，卷积神经网络的训练方法，利用BP算法更新卷积神经网络参数，训练的具体步骤如下：
(5.1)初始化权重：卷积神经网络的权重初始化采用xavier方法，该方法使参数以均匀分布的方式在的范围内被初始化，其中a为参数所在层的输入维度，b为参数所在层的输出维度；
(5.2)确定学习率λ以及训练次数；
(5.3)输入样本到卷积神经网络中，计算每一层以及输出层的输出；
(5.4)计算输出与标签的代价函数；
(5.5)利用代价函数计算出每一层的残差，并求出该层的参数的梯度；
(5.6)根据学习率更新每一层的权重。
进一步地，所述步骤(5.4)中，卷积神经网络的代价目标为图像与图像之间的差异度，所以训练卷积神经网络所使用的代价函数使用L1loss代价函数，表达式如下：
其中n为输出的图片的像素量，li为标签图的像素值，yi为卷积神经网络的输出值。
进一步地，所述步骤(6)中，训练好的卷积神经网络用于检测图像中工件的缺陷像素点，输入图像为待检测工件的原图，经过卷积神经网络的计算后，输出为一张结果图像，图像大小与输入图像大小相等，其中被检测所得的缺陷区域将被标记覆盖。
进一步地，所述步骤(7)中，根据获得标记的信息判断工件的缺陷种类及程度，对于已经获得的标记图，图中对应于原图中的缺陷部分的像素点被特定的颜色标签覆盖，根据该区域的大小，周长等传统图像特征，估计工件缺陷的程度。
本发明的有益效果是：本发明进行缺陷检测使用的是全卷积神经网络，该网络的输入为经过预处理的工件原图，经神经网络计算后输出大小与原图相等缺陷标记图，通过对缺陷标记图的分析可以很好的获取缺陷区域的位置、大小以及形状等重要信息。对比传统的缺陷检测方法，该方法可以处理大规模的图像数据，能够减少手工设计特征的巨大工作量，可以同时处理多种不同的缺陷类别以及能获得像素级的缺陷区域信息。
附图说明
图1为采样结构示意图；
图2为用于生成缺陷标记图的卷积神经网络结构；
图3为训练样本图，(a)为工件原图，(b)为标签图。
具体实施方式
以下结合附图和实施实例对本发明作进一步说明。
本发明提供了一种基于卷积神经网络的工件表面缺陷检测方法，包括以下步骤：
(1)多路图像采集。如图1所示，利用多个摄像头与光源的组合，采集工件的各个表面的图像。步骤如下：
(1.1)摄像头通过网口或USB与工控机连接，光源通过串口与工控机连接，本方案利用两台工控机，每个工控机控制两个摄像头和两个光源。
(1.2)工件到达指定位置触发信号开关，摄像头获取一帧数据；
(1.3)根据拍摄面的不同，利用串口控制光源方向与强度；
(1.4)把图像通过数据线传到工控机等待处理。
(2)图像的预处理。目标区域切割，图像增强以及改变图片大小。
(2.1)目标区域分割。遍历原图I，根据图像中工件与背景的亮度差异确定threshold，以阈值threshold找到工件区域的上下左右边界，对原图进行抠图，获得工件图像I2；
(2.2)图像增强。对I2进行对数图像增强，获得图像I3，公式如下：
其中，OldPixel为原图像素值，NewPixel为增强后的图像像素值。
(2.3)改变图片大小。把不同大小的I3，利用双线性插值法调整为统一的大小，在本实施方法中，我们把图像调整为256*256像素的三通道图像。
(3)构造用于缺陷检测的卷积神经网络结构。网络的设计采用全卷积神经网络(Fully Convolutional Networks，FCN)结构组成的语义分割网络，该结构仅由多个卷积层以及反卷积层组成，不包含全连接层，是一种从图像到图像的卷积神经网络结构。卷积层位于网络结构前半部分，反卷积层位于网络后半部分，卷积层和反卷积层数量相等，相邻的两层之间用Batch Normalization层和PRelu层连接，输入层把图片数据[0,255]归一化到[-1,1]，输出层使用Tanh层，同样使输出数据的范围保证在[-1,1]。
在本方案中，如图2所示，网络结构主要如下：
(3.1)输入层对图像进行归一化操作，要求把数据范围[0,255]映射到[-1,1]，公式如下；
(3.2)输入层后接卷积层，卷积层都采用(kernel＝3，stride＝2，pad＝1)的结构，即参数为：卷积核大小为3，步长为2，边缘填充为1的卷积层，卷积层的数量为8层。卷积层后接反卷积层，反卷积层为卷积层的逆运算，本方案中反卷积数量与卷积层数量相等，参数相同。
(3.3)输出层在反卷积结构后，作为网络的输出，使用tanh函数，保证输出在[-1,1]的范围内，与输入层对应。
(3.4)相邻的两层之间用Batch Normalization作为数据归一化层，使用PRelu作为激活函数，参数为0.2。
(4)构造训练样本。以工件的原图像作为语义分割网路的输入，手工标注的标签图作为网络的标签。所以在生成训练数据时，每一个训练数据都由两部分组成，第一部分为工件的原始图像，图像中要求包含工件的全貌，第二部分是标签图，标签图利用原图生成，生成的方法如下：
(4.1)原图中的不同区域(背景、工件非缺陷区、工件缺陷区等)分别对应一个标签，标签的形式为图像中不同的颜色。本方案中，背景部分对应蓝色，像素值(0,0，255)，工件正常部分对应绿色，像素值(0,255,0)，缺陷部分对应红色，像素值(255,0,0)。
(4.2)手工描点，利用凸包把不同的区域(背景除外)包裹起来。
(4.3)把区域对应的标签覆盖到原图中，覆盖的顺序为先背景，然后工件区域，最后覆盖缺陷部分，保证每一部分都被正确着色。
(5)训练卷积神经网络：采用反向传播算法训练卷积神经网络的参数，具体步骤如下：
(5.1)初始化权重：卷积神经网络的权重初始化采用xavier方法，该方法使参数以均匀分布的方式在的范围内被初始化，其中a为参数所在层的输入维度，b为参数所在层的输出维度；
(5.2)确定学习率λ以及训练次数；
(5.3)输入样本到卷积神经网络中，计算每一层以及输出层的输出；
(5.4)计算输出与标签的代价函数，卷积神经网络的代价目标为图像与图像之间的差异度，所以训练卷积神经网络所使用的代价函数使用L1loss代价函数，表达式如下：
其中n为输出的图片的像素量，li为标签图的像素值，yi为卷积神经网络的输出值；
(5.5)利用代价函数计算出每一层的残差，并求出该层的参数的梯度；
(5.6)根据学习率更新每一层的权重。
(6)将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像；训练好的卷积神经网络用于检测图像中工件的缺陷像素点，输入图像为待检测工件的原图，经过卷积神经网络的计算后，输出为一张结果图像，图像大小与输入图像大小相等，其中被检测所得的缺陷区域将被标记覆盖。
(7)根据获得标记的信息判断工件的缺陷种类及程度。由于获得的结果图中，缺陷区域已经被显著地标注出来了，我们可以采用多种传统方法，例如统计区域内缺陷的像素量，知道缺陷区域的大小，统计缺陷区域的周长面积比等估计缺陷的大致形状。
以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，包括以下步骤：
(1)多路图像采集：利用多个摄像头与光源的组合，采集工件的各个表面的图像；
(2)图像的预处理：目标区域切割，图像增强以及改变图片大小；
(3)构造用于缺陷检测的卷积神经网络结构：网络的设计采用全卷积神经网络结构组成的语义分割网络，全卷积神经网络结构仅由多个卷积层以及反卷积层组成，不包含全连接层，是一种从图像到图像的卷积神经网络结构；
(4)构造训练样本：以工件的原图像作为语义分割网络的输入，手工标注的标签图作为网络的标签；
(5)训练卷积神经网络：采用反向传播算法训练卷积神经网络的参数；
(6)将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像；
(7)根据获得标记的信息判断工件的缺陷种类及程度。
2.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(1)中，多路图像采集包括以下子步骤：
(1.1)摄像头通过网口或USB与工控机连接，光源通过串口与工控机连接；
(1.2)工件到达指定位置触发摄像头，获取工件各面图像；
(1.3)根据拍摄面的不同，利用串口控制光源方向与强度；
(1.4)把图像通过数据线传到工控机等待处理。
3.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(2)中，图像的预处理包括：
(2.1)目标区域分割：遍历原图I，以阈值threshold找到工件区域的上下左右边界，对原图进行抠图，获得工件图像I2；
(2.2)图像增强：对工件图像I2进行对数图像增强，获得增强后的图像I3，公式如下：
<mrow> <mi>N</mi> <mi>e</mi> <mi>w</mi> <mi>P</mi> <mi>i</mi> <mi>x</mi> <mi>e</mi> <mi>l</mi> <mo>=</mo> <mn>255</mn> <mo>*</mo> <mfrac> <mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>O</mi> <mi>l</mi> <mi>d</mi> <mi>P</mi> <mi>i</mi> <mi>x</mi> <mi>e</mi> <mi>l</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>256</mn> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，OldPixel为原图像素值，NewPixel为增强后的图像像素值；
(2.3)改变图片大小：把不同大小的图像I3，利用双线性插值法调整为统一的大小。
4.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(3)中，所设计的全卷积神经网络结构主要由多个卷积层和反卷积层组成，卷积层位于网络结构前半部分，反卷积层位于网络结构后半部分，卷积层和反卷积层数量相等，相邻的两层之间用Batch Normalization层和PRelu层连接，输入层把图片数据从[0,255]归一化到[-1,1]，输出层使用Tanh层，同样使输出数据的范围保证在[-1,1]。
5.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(4)中，所构造的训练数据中，每一个训练数据均由两部分组成，第一部分为工件的原始图像，图像中包含工件的全貌，第二部分是标签图，标签图利用原图生成，生成的方法如下：
(4.1)原图中的不同区域分别对应一个标签，标签的形式为图像中不同的颜色；
(4.2)手工描点，利用凸包把不同的区域包裹起来；
(4.3)把区域对应的标签覆盖到原图中，形成标签图。
6.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(5)中，卷积神经网络的训练方法，利用BP算法更新卷积神经网络参数，训练的具体步骤如下：
(5.1)初始化权重：卷积神经网络的权重初始化采用xavier方法，该方法使参数以均匀分布的方式在的范围内被初始化，其中a为参数所在层的输入维度，b为参数所在层的输出维度；
(5.2)确定学习率以及训练次数；
(5.3)输入样本到卷积神经网络中，计算每一层以及输出层的输出；
(5.4)计算输出与标签的代价函数；
(5.5)利用代价函数计算出每一层的残差，并求出该层的参数的梯度；
(5.6)根据学习率更新每一层的权重。
7.根据权利要求6所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(5.4)中，卷积神经网络的代价目标为图像与图像之间的差异度，所以训练卷积神经网络所使用的代价函数使用L1loss代价函数，表达式如下：
<mrow> <mi>L</mi> <mn>1</mn> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mrow> <mo>|</mo> <mrow> <msub> <mi>l</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> </mrow> </mrow>
其中n为输出的图片的像素量，li为标签图的像素值，yi为卷积神经网络的输出值。
8.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(6)中，训练好的卷积神经网络用于检测图像中工件的缺陷像素点，输入图像为待检测工件的原图，经过卷积神经网络的计算后，输出为一张结果图像，图像大小与输入图像大小相等，其中被检测所得的缺陷区域将被标记覆盖。
9.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(7)中，根据获得标记的信息判断工件的缺陷种类及程度，对于已经获得的标记图，图中对应于原图中的缺陷部分的像素点被特定的颜色标签覆盖，根据该区域的大小，周长等传统图像特征，估计工件缺陷的程度。
CN201711121537.3A 2017-11-14 2017-11-14 一种基于卷积神经网络的工件表面缺陷检测方法 Active CN107966447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711121537.3A CN107966447B (zh) 2017-11-14 2017-11-14 一种基于卷积神经网络的工件表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711121537.3A CN107966447B (zh) 2017-11-14 2017-11-14 一种基于卷积神经网络的工件表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN107966447A true CN107966447A (zh) 2018-04-27
CN107966447B CN107966447B (zh) 2019-12-17

Family

ID=62000975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711121537.3A Active CN107966447B (zh) 2017-11-14 2017-11-14 一种基于卷积神经网络的工件表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN107966447B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876781A (zh) * 2018-06-26 2018-11-23 广东工业大学 基于ssd算法的表面缺陷识别方法
CN108898559A (zh) * 2018-06-20 2018-11-27 中国科学院光电技术研究所 基于图像反卷积的大气色散修正方法
CN108961239A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 连铸坯质量检测方法、装置、电子设备及存储介质
CN109003271A (zh) * 2018-07-25 2018-12-14 江苏拙术智能制造有限公司 一种基于深度学习yolo算法的线束连接器排线质量检测方法
CN109064464A (zh) * 2018-08-10 2018-12-21 北京百度网讯科技有限公司 用于检测电池极片毛刺的方法和装置
CN109086828A (zh) * 2018-08-10 2018-12-25 北京百度网讯科技有限公司 用于检测电池极片的方法和装置
CN109087281A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109087274A (zh) * 2018-08-10 2018-12-25 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109239074A (zh) * 2018-08-20 2019-01-18 中铝国际工程股份有限公司 一种基于机器视觉的生阳极炭块检测方法
CN109256341A (zh) * 2018-08-10 2019-01-22 北京百度网讯科技有限公司 用于检测单晶硅太阳能电池的方法和装置
CN109596227A (zh) * 2018-12-06 2019-04-09 浙江大学 一种卷积神经网络先验增强的光学元件中频误差的相位恢复检测系统
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
CN109886964A (zh) * 2019-03-29 2019-06-14 北京百度网讯科技有限公司 电路板缺陷检测方法、装置及设备
CN109978868A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110070034A (zh) * 2019-04-19 2019-07-30 北京朗镜科技有限责任公司 模型训练方法、节识别方法、装置、设备及介质
CN110189290A (zh) * 2019-04-08 2019-08-30 广东工业大学 基于深度学习的金属表面细微缺陷检测方法及装置
CN110379038A (zh) * 2019-06-28 2019-10-25 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于大数据分析的高速工件检测方法
CN110443791A (zh) * 2019-08-02 2019-11-12 西安工程大学 一种基于深度学习网络的工件检测方法及其检测装置
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN110880182A (zh) * 2019-11-18 2020-03-13 东声(苏州)智能科技有限公司 图像分割模型训练方法、图像分割方法、装置及电子设备
CN111272763A (zh) * 2018-12-04 2020-06-12 通用电气公司 用于工件检查的系统和方法
CN111316089A (zh) * 2018-10-19 2020-06-19 合刃科技（深圳）有限公司 微流控芯片管道的检测装置、方法及系统
CN111462046A (zh) * 2020-03-06 2020-07-28 国家能源集团谏壁发电厂 基于卷积神经网络和滑动窗口的水冷壁缺陷检测方法
CN111738338A (zh) * 2020-06-23 2020-10-02 征图新视(江苏)科技股份有限公司 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法
CN111768385A (zh) * 2019-06-29 2020-10-13 浙江大学 Usb表面缺陷检测的神经网络检测方法
CN111861966A (zh) * 2019-04-18 2020-10-30 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN112070748A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 金属油管缺陷检测方法和装置
CN112964724A (zh) * 2021-02-01 2021-06-15 苏州百迈半导体技术有限公司 一种多目标多区域视觉检测方法及检测系统
CN113033635A (zh) * 2021-03-12 2021-06-25 中钞长城金融设备控股有限公司 一种硬币隐形图文检测方法及装置
CN115375692A (zh) * 2022-10-27 2022-11-22 北京矩视智能科技有限公司 基于边界引导的工件表面缺陷分割方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514588A (zh) * 2013-10-10 2014-01-15 广东威创视讯科技股份有限公司 图像增强方法和系统
CN106203490A (zh) * 2016-06-30 2016-12-07 江苏大学 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法
CN106338521A (zh) * 2016-09-22 2017-01-18 华中科技大学 增材制造表面及内部缺陷与形貌复合检测方法及装置
CN106446876A (zh) * 2016-11-17 2017-02-22 南方科技大学 一种传感行为识别方法和装置
CN106485717A (zh) * 2016-09-12 2017-03-08 上海影城有限公司 一种基于卷积神经网络的图像特征提取方法及系统
CN107016405A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107123114A (zh) * 2017-04-21 2017-09-01 佛山市南海区广工大数控装备协同创新研究院 一种基于机器学习的布匹缺陷检测方法及装置
CN107169954A (zh) * 2017-04-18 2017-09-15 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法
CN107328787A (zh) * 2017-07-05 2017-11-07 北京科技大学 一种基于深度卷积神经网络的金属板带表面缺陷检测系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514588A (zh) * 2013-10-10 2014-01-15 广东威创视讯科技股份有限公司 图像增强方法和系统
CN106203490A (zh) * 2016-06-30 2016-12-07 江苏大学 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法
CN106485717A (zh) * 2016-09-12 2017-03-08 上海影城有限公司 一种基于卷积神经网络的图像特征提取方法及系统
CN106338521A (zh) * 2016-09-22 2017-01-18 华中科技大学 增材制造表面及内部缺陷与形貌复合检测方法及装置
CN106446876A (zh) * 2016-11-17 2017-02-22 南方科技大学 一种传感行为识别方法和装置
CN107016405A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107169954A (zh) * 2017-04-18 2017-09-15 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法
CN107123114A (zh) * 2017-04-21 2017-09-01 佛山市南海区广工大数控装备协同创新研究院 一种基于机器学习的布匹缺陷检测方法及装置
CN107328787A (zh) * 2017-07-05 2017-11-07 北京科技大学 一种基于深度卷积神经网络的金属板带表面缺陷检测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EVAN SHELHAMER 等: ""Fully Convolutional Networks for Semantic Segmentation"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
乔丽: ""基于CNN的工件缺陷检测方法研究及系统设计"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
欧先锋 等: ""基于FCN的TFT-LCD表面缺陷快速检测算法"", 《成都工业学院学报》 *
翁健: ""基于全卷积神经网络的全向场景分割研究与算法实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898559A (zh) * 2018-06-20 2018-11-27 中国科学院光电技术研究所 基于图像反卷积的大气色散修正方法
CN108898559B (zh) * 2018-06-20 2021-11-19 中国科学院光电技术研究所 基于图像反卷积的大气色散修正方法
CN108876781A (zh) * 2018-06-26 2018-11-23 广东工业大学 基于ssd算法的表面缺陷识别方法
CN108961239A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 连铸坯质量检测方法、装置、电子设备及存储介质
CN109087281A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109003271A (zh) * 2018-07-25 2018-12-14 江苏拙术智能制造有限公司 一种基于深度学习yolo算法的线束连接器排线质量检测方法
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
CN109087274B (zh) * 2018-08-10 2020-11-06 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN109087274A (zh) * 2018-08-10 2018-12-25 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN109256341A (zh) * 2018-08-10 2019-01-22 北京百度网讯科技有限公司 用于检测单晶硅太阳能电池的方法和装置
CN109086828A (zh) * 2018-08-10 2018-12-25 北京百度网讯科技有限公司 用于检测电池极片的方法和装置
CN109064464A (zh) * 2018-08-10 2018-12-21 北京百度网讯科技有限公司 用于检测电池极片毛刺的方法和装置
CN109239074A (zh) * 2018-08-20 2019-01-18 中铝国际工程股份有限公司 一种基于机器视觉的生阳极炭块检测方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109242801B (zh) * 2018-09-26 2021-07-02 北京字节跳动网络技术有限公司 图像处理方法和装置
CN111316089A (zh) * 2018-10-19 2020-06-19 合刃科技（深圳）有限公司 微流控芯片管道的检测装置、方法及系统
CN111272763A (zh) * 2018-12-04 2020-06-12 通用电气公司 用于工件检查的系统和方法
CN111272763B (zh) * 2018-12-04 2023-04-07 通用电气公司 用于工件检查的系统和方法
CN109596227A (zh) * 2018-12-06 2019-04-09 浙江大学 一种卷积神经网络先验增强的光学元件中频误差的相位恢复检测系统
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
CN109978868A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN109886964A (zh) * 2019-03-29 2019-06-14 北京百度网讯科技有限公司 电路板缺陷检测方法、装置及设备
CN110189290A (zh) * 2019-04-08 2019-08-30 广东工业大学 基于深度学习的金属表面细微缺陷检测方法及装置
CN111861966B (zh) * 2019-04-18 2023-10-27 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN111861966A (zh) * 2019-04-18 2020-10-30 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN110070034A (zh) * 2019-04-19 2019-07-30 北京朗镜科技有限责任公司 模型训练方法、节识别方法、装置、设备及介质
CN110379038A (zh) * 2019-06-28 2019-10-25 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于大数据分析的高速工件检测方法
CN111768385B (zh) * 2019-06-29 2022-07-29 浙江大学 Usb表面缺陷检测的神经网络检测方法
CN111768385A (zh) * 2019-06-29 2020-10-13 浙江大学 Usb表面缺陷检测的神经网络检测方法
CN110443791A (zh) * 2019-08-02 2019-11-12 西安工程大学 一种基于深度学习网络的工件检测方法及其检测装置
CN110443791B (zh) * 2019-08-02 2023-04-07 西安工程大学 一种基于深度学习网络的工件检测方法及其检测装置
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN110880182A (zh) * 2019-11-18 2020-03-13 东声(苏州)智能科技有限公司 图像分割模型训练方法、图像分割方法、装置及电子设备
CN111462046A (zh) * 2020-03-06 2020-07-28 国家能源集团谏壁发电厂 基于卷积神经网络和滑动窗口的水冷壁缺陷检测方法
CN111738338A (zh) * 2020-06-23 2020-10-02 征图新视(江苏)科技股份有限公司 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法
CN112070748A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 金属油管缺陷检测方法和装置
CN112964724A (zh) * 2021-02-01 2021-06-15 苏州百迈半导体技术有限公司 一种多目标多区域视觉检测方法及检测系统
CN112964724B (zh) * 2021-02-01 2024-02-20 苏州百迈半导体技术有限公司 一种多目标多区域视觉检测方法及检测系统
CN113033635A (zh) * 2021-03-12 2021-06-25 中钞长城金融设备控股有限公司 一种硬币隐形图文检测方法及装置
CN115375692A (zh) * 2022-10-27 2022-11-22 北京矩视智能科技有限公司 基于边界引导的工件表面缺陷分割方法、装置及设备

Also Published As

Publication number Publication date
CN107966447B (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
CN107966447A (zh) 一种基于卷积神经网络的工件表面缺陷检测方法
US11195044B2 (en) Fully automatic natural image matting method
CN103542937B (zh) 一种数码印花色差的检验方法
CN108596226A (zh) 一种基于深度学习的显示面板缺陷训练方法及系统
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CA2869385C (en) Method and apparatus for displaying a simulated application of at least one coating to a digital image
CN109685743A (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
CN108846869B (zh) 一种基于自然图像色彩的服装自动配色方法
CN112950606A (zh) 一种基于小样本的手机屏幕缺陷分割方法
CN111899225A (zh) 基于多尺度金字塔结构的核电管道缺陷检测方法
CN106778845A (zh) 一种基于叶色检测的植物生长状况监测方法
CN109671124A (zh) 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统
CN110287760A (zh) 一种基于深度学习的人脸五官点遮挡检测方法
CN114581356B (zh) 基于风格迁移数据增广的图像增强模型泛化方法
CN110908710B (zh) 一种Web前端代码依赖关系可视化方法
CN109816002A (zh) 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN112966777B (zh) 一种基于人机交互的半自动标注方法及系统
JPWO2020255413A5 (ja) データ解析装置、データ解析方法、及びプログラム
CN115849202B (zh) 基于数字孪生技术的智能起重机操作目标识别方法
Li et al. Grain depot image dehazing via quadtree decomposition and convolutional neural networks
CN116778269A (zh) 一种基于自编码器重构产品表面缺陷检测模型构建方法
CN116703744A (zh) 一种基于卷积神经网络的遥感影像匀光匀色方法和装置
Zhang Edge detection in glass fragmentation images based on one order differential operator
Cao et al. Improved region growing algorithm for the calibration of flaking deterioration in ancient temple murals
CN114359300B (zh) 一种图像分割模型的优化方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant