CN112053317A - 一种基于级联神经网络的工件表面缺陷检测方法 - Google Patents
一种基于级联神经网络的工件表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112053317A CN112053317A CN202010336427.4A CN202010336427A CN112053317A CN 112053317 A CN112053317 A CN 112053317A CN 202010336427 A CN202010336427 A CN 202010336427A CN 112053317 A CN112053317 A CN 112053317A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolution
- layer
- defect
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 113
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 239000004753 textile Substances 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于级联神经网络的工件表面缺陷检测方法,本发明中的神经网络模型由五个部分设计组成，分别是：第一阶段中用于特征提取的残差神经网络、可变形卷积神经网络、特征金字塔网络、第二阶段中用于检测器训练的级联神经网络(Cascade R‑CNN)、神经网络模型的代价函数。首先将采集待检测图像输入到第一阶段用于提取特征，然后将提取的特征输入第二阶段用于检测器的训练，当神经网络模型的代价函数最小时，检测器的效果最优。本发明克服了传统非智能化的工业产品表面缺陷检测速度慢，并且存在漏检、误检等诸多不利因素，可进行缺陷的智能识别，达到高精度检测，减少人工干预，节约劳动成本的目的。
Description
技术领域
本发明涉及图像处理领域，利用深度学习方法，发明一种基于级联神经网络 的工件表面缺陷检测方法。
背景技术
我国是制造大国且工件产品总量居世界第一，但在制造产品的过程中，表面 缺陷的产生往往是不可避免的。不同产品的表面缺陷有着不同的定义和类型，一 般而言表面缺陷是产品表面局部物理或化学性质不均匀的区域，如钢材表面的划 痕、斑点、孔洞，布匹表面的色差、压痕，接触网支架紧固件是否缺陷等等。其 依靠人工的检测劳动强度大，速度慢并且存在漏检、误检等诸多不利因素。而进 口检测设备的费用高昂，维护困难且成本高。因此，研究表面缺陷检测关键技术 作为检测装备研制中的关键部分至关重要，随着深度学习的不断发展，为以计算 机视觉技术为基础的产品表面缺陷检测提供了良好的发展契机。
名词解释：
1.RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B) 三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。
2.级联神经网络算法。
发明内容
本发明公开了一种基于级联神经网络的工件表面缺陷检测方法。本发明克服 了传统非智能化的工业产品表面缺陷检测速度慢，并且存在漏检、误检等诸多不 利因素，结合深度学习的研究成果，创新的提出运用级联神经网络的工件产品表 面缺陷检测方法，可用于工业产品的无损，无接触表面缺陷定位识别与检测。并 根据生产中的现实情况搭建基于深度学习的缺陷采集检测平台，采集的含缺陷的 产品图像标注后放入本发明设计的卷积神经网络中，运用设计的网络模型进行端 到端的训练，得到训练的模型权重用于工业产品表面缺陷检测。实验结果表明， 该网络模型在钢板，木材，纺织品等表面的缺陷检测上都取得了良好的效果，结 合后端处理技术，可进行缺陷的智能识别，达到高精度检测，减少人工干预，节 约劳动成本的目的。
为解决上述问题，本发明所采取的技术方案是：
一种基于级联神经网络的工件表面缺陷检测方法，包括如下步骤：
步骤一：图像采集：采集得到工件表面图像；
步骤二：图像预处理：将采集的工件表面图像预处理，形成训练图像集；
步骤三：构造用于缺陷检测的卷积神经网络：
所述卷积神经网络包括第一阶段用于提取待检测区域的特征的残差神经 网络以及第二阶段用于进行缺陷分类和将缺陷部分使用回归框包围的级联神经 网络；
步骤四、设定卷积神经网络包的训练参数：
4.1)将训练图像集按照预设比例划分为训练集、验证集、测试集；
4.2)确定卷积神经网络的初始学习率，迭代周期，训练批量大小；
4.3)确定卷积神经网络的动量因子和权值衰减系数；
4.4)设定级联神经网络每个阶段的阈值；
步骤五、训练神经网络模型
根据步骤四中设定的训练参数计算最后输出的缺陷边界回归框的代价函数和缺陷分类的代价函数之和，输出边界回归框的代价函数指的是在所有的边界回归框 中将缺陷完全包围的最小回归框，缺陷分类代价函数指的是预测的缺陷类别的准 确率，代价函数如下公式：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,f(xt-1,bt-1)),g)
其中，L(xt,g)表示代价函数；t(t＝1,2，3)表示级联的阶段；g是数据 xt的标注；Lcls(ht(xt),yt)表示分类代价函数；ht(xt)表示t阶段缺陷的预估概率； yt是数据xt在第t阶段给定阈值下的标签；λ＝1是权衡系数,[]是指示函数， Lloc(ft(xt,f(xt-1,bt-1)),g)表示边界回归的代价函数；bt-1表示边界框的坐标， f(xt-1,bt-1)表示t-1阶段边界框的回归函数；ft(xt,f(xt-1,bt-1))表示t阶段边界框 的回归函数。
利用代价函数求出级联神经网络的每层的差值，并计算出每层参数的梯度， 根据学习率更新每一层的权值，最终使代价函数最小，训练完成后得到训练好的 神经网络；
步骤六、将待检测工件的表面图像
将待检测工件的表面图像输入到训练好的神经网络中并完成检测，获取缺陷 区域标和缺陷的类型。
进一步的改进，所述步骤三中，用于特征提取的残差神经网络为的层数为50 层(ResNet-50)，ResNet-50融入特征金字塔模块提取特征公式如下：
其中，y(pi)表示融合后的特征值，pi表示第i层的输出,ci表示与第i层 的输出对应的卷积层的特征值，N表示卷积的层数。
进一步的改进，所述级联神经网络包括五层卷积块，第一层卷积块仅卷积一 次，即对输入的图像使用大小为7×7×64，步长为2的卷积核进行一次卷积。 再使用卷积核大小为3×3步长为2的最大池化方法对特征图降维处理，然后经 过第二层卷积块，第二层卷积块卷积3次，第二层卷积块中卷积核大小分别是1 ×1×64，3×3×64，1×1×128。再经过第三层卷积块，第三层卷积块卷积4 次，第三层卷积块中卷积核大小分别是1×1×128，3×3×128，1×1×512。第 三层的输出经过第四层卷积块，第四层卷积块中卷积核大小分别是1×1×256， 3×3×128，1×1×512，第四层卷积块进行6次卷积。最后经过第五层卷积块，第五层卷积块进行3次卷积，第五层卷积块的卷积核大小分别是1×1×512，3 ×3×512，1×1×2048。同时，在第五层加入可变形卷积方法用于适应工件表面 中的形状各异的缺陷类型。可变形卷积是在卷积时在卷积核加入补偿，使卷积的 位置不固定在特定的位置，这样的目的是使卷积神经网络能够适应发生形变的缺 陷。
进一步的改进，所述步骤二中，将采集的工件表面图像调整成大小256*256 像素的三通道到图像即RGB图像，然后将调整大小后的图像数据分别自X轴方向 向左和向右，Y轴方向向上和向下分别平移10个像素值；平移后空缺像素值用 255像素值补齐，再将样本数据集的每幅图像沿X轴翻转做水平镜像，在沿Y轴 翻转做垂直镜像，完成图像的数据增强，以此得到更多的训练数据集
进一步的改进，所述步骤四中，将训练图像集按照7:2:1分为训练集、验证 集、测试集。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对 具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为缺陷标注过程图；
图2为网络结构模型；
图3为图像标注图；
图4为检测结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合具体实施例对发 明进行清楚、完整的描述，需要理解的是，术语“中心”、“竖向”、“横向”、“上”、 “下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外” 等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述 本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、 以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例
本发明提出一个将级联神经网络(Cascade-rcnn)与空间金字塔模型结合的 产品工件表面缺陷检测方法。
本发明的平台主要由工业相机、光源、工业电脑和传送带组成。
采集图像后根据样本图像制作数据集工业上缺陷检测数据集制作的难点主 要有：(1)缺陷背景对比度不一含有多种噪声；(2)缺陷形状不规则，长宽比差 距大，位置多样；(3)同类缺陷差异大，不同类缺陷差距不明显。因为数据集决 定网络模型训练的识别准确度，所以数据集的制作既要精确定位缺陷，又要准确 分类缺陷。在神经网络模型中训练使用的标签数据集里定义RGB值来赋予其物理 意义，其检测识别率的高低依赖数据样本的规模和数据标注的精度，本方法不仅 提出缺陷检测的方法，而且以纺织业生产线生产的布匹图像作为数据集为例进行 方法有效性的验证。在本发明中将布匹根据生产行业上的缺陷分类方法，将缺陷 类型分为：破洞，污渍，结头，粗经，轧痕，纬纱不良等18类不同的缺陷类型， 为使检测结果准确标注时用数字1-18代替相应种类的缺陷，并要求手工标注在 符合缺陷类型的标准上与原图一致，部分缺陷样本标注过程如附图1。附图1中 a图是采集得到的含缺陷的图像，通过标注缺陷边框和缺陷类别得到b图的标注 数据。
通常，在卷积神经网络中数据越充分检测识别效果越精确，由于手工标注缺 陷工作量大，所以本发明采用数据增强的方法扩充已有数据集增加样本训多样性， 提高模型的鲁棒性，防止训练过程出现过拟合。其过程如下：
⑴将样本数据集分别自X轴方向向左、向右，Y轴方向向上、向下平移10 个像素值。平移后空缺像素值用像素强度为255的像素值补齐，255像素值显示 为的是白色。⑵将样本数据集的每幅图像在X轴方向上做水平镜像，在Y轴方 向上做垂直镜像。本发明还使用其他方法比如光亮、模糊、高斯噪声完成数据样 本的扩充。
为了全面分析缺陷的大小情况，本发明对缺陷数据的长宽比值做了大量的统 计，这是现有的深度学习的缺陷检测方法中没有的，这样做的目的是在设计卷积 神经网络时，原始的检测边界框不能满足检测的需求，因此通过统计缺陷的长宽 比值重新构建出多类别的训练锚框，本发明中用聚类的方法统计得到比值为0.1， 0.5，1，2,5,10,20,25,50等9类不同的训练锚框，这9类不同比值的锚 框能够覆盖生产中的缺陷大小。而现有的基于深度学习的检测方法的训练锚框仅 为0.5，1，2三种。
本发明中设计的级联神经网络模型也是首次将级联神经网络用于工业产品 缺陷检测，本发明提出一个将级联神经网络(Cascade R-cnn)与空间金字塔模 型结合的目标检测方法。在网络中加入空间金字塔方法模块能够解决小目标在高 层特征提取时语义丢失的问题，实现小目标的检测。针对发生形变的缺陷普通的 卷积方式并不能完全提取出缺陷的特征，所以在特征提取层加入可变形卷积使特 征提取集中在发生变形物体的区域上，从而提取变形缺陷特征区域。本发明中的 神经网络模型由四个部分设计组成，分别是：级联神经网络(Cascade R-CNN)、 可变形卷积神经网络、空间金字塔网络、神经网络模型的代价函数设计。
(1)级联神经网络(Cascade R-CNN)网络结构
Cascade R-CN是三个级联的双步目标检测器，它解决了两个问题：减少了一 个是单纯提高检测器阈值导致的过拟合问题。另外一个是训练阶段和检测阶段的 不匹配问题，由于检测器和训练器输入的缺陷潜在域是不一样的，所以训练阶段 的缺陷潜在域经过筛选质量更高，而检测阶段的未经过筛选，质量更差，Cascade R-cnn使用不同的阈值训练了多级联的目标检测器，提高检测的精度。级联的公 式结构如下：
f(x,b)＝ft·ft-1ft-2····f1(x,b)
式中t是级联级的总数；b代表的是相应阶段的样本分布；而不是初始阶段 的样本分布；f(x,b)表示级联的输出；
Cascade R-CNN的网络结构是在Faster R-CNN结构上进行拓展，第一阶段将 输入数据通过残差网络的卷积层部分提取待检测目标的潜在区域，经提取处理的 潜在特征区域送入池化层进行缺陷种类的概率计算和缺陷边界框的位置计算。附 图2中C1和B1表示经过第一个阶段得到的类别和目标框的位置，并将输出结果 送到下一个阈值更高的阶段中继续提取更高层次的特征，本发明采用的神经网络 模型使用了三个级联的回归检测模型作为重采样机制，逐阶段提高缺陷潜在区域 的阈值，从而使得前一个阶段重新采样过的潜在域能够适应下一个有更高阈值的 检测阶段，最后一个阶段输出分类的结果和目标框的位置。在本发明中，阶段1， 阶段2，阶段3的阈值分别设置为0.4，0.5,0.6。
(2)设计特征提取网络
网络的特征提取使用残差网络结构结合特征金字塔，同时加入可变形卷积。 特征提取网络包括五层卷积块，第一层卷积块仅卷积一次，即对输入的图像使用 大小为7×7×64，步长为2的卷积核进行一次卷积；再使用卷积核大小为3×3 步长为2的最大池化方法对特征图降维处理；然后经过第二层卷积块，第二层卷 积块卷积3次，第二层卷积块中卷积核大小分别是1×1×64，3×3×64，1×1 ×128。再经过第三层卷积块，第三层卷积块卷积4次，第三层卷积块中卷积核 大小分别是1×1×128，3×3×128，1×1×512；第三层的输出经过第四层卷积 块，第四层卷积块中卷积核大小分别是1×1×256，3×3×128，1×1×512，第 四层卷积块进行6次卷积；最后经过第五层卷积块，第五层卷积块进行3次卷积， 第五层卷积块的卷积核大小分别是1×1×512，3×3×512，1×1×2048；在卷 积的最后一层即第五层卷积加入可变形卷积模块，适应工件表面中的形状各异的 缺陷类型。可变形卷积网络增加不同的偏移变量，卷积核便可以在当前位置附近 随意采样。增加可变形卷积能够适应工件缺陷中复杂的缺陷几何形变，更好地解 决了具有缺陷形变的工件产品缺陷识别检测任务，在可变形中卷积核R增加了偏 移量{Δpn|n＝1,...,N}，其中N＝|R|,可变形卷积公式：
其中y(p0)表示可变形卷积的输出；p0表示输出特征区域每个位置的值；R是已 定义的卷积核；I表示输入的特征图；pn是遍历卷积核R中每个位置的值；Δpn表示偏移量；w表示卷积核大小；
(3)设计空间金字塔模块
考虑到小目标缺陷的检测，本发明采用50层的残差神经网络融入特征金字 塔网络提取特征。特征金字塔网络采用顶层特征通过上采样和底层特征做融合的 方式来提取更加精确的特征信息。特征金字塔网络是自下而上的卷积方式，融合 时采用自上而下的上采样结构，将上一层的特征图扩大2倍，相对应的底层特征 使用1×1的卷积改变通道数，使与底层的特征通道数与顶层特征通道数相同， 再把扩大2倍的特征图与改变通道数的底层特征区域对应相加，这样便完成了空 间金字塔的设计。
(4)设计神经网络模型的损失函数
在本发明中有三个阶段，每个阶包括一个分类器和用于定位的边界框回归器， 如附图2中的C1-C3和B1-B3所示。第一个阶段的缺陷潜在区域用于下一阶段的 输入，并且逐阶段增加阈值，提高缺陷潜在域的质量。
其中分类器的代价公式如下:
其中，Fcls总类别是代价函数；Lcls(ht(xt),yt)表示每类代价函数；N表示总的缺 陷种类；h(xi)表示的是第i类的预估概率值；yi表示的是第i类样本标签；
本发明中边界框的表示为b＝(bx,by,bw,bh),bx,by,表示边界框的中心坐标 bw,bh分别表示边界框的宽和高。通过中心坐标和宽高就能确定边界框的大小和 位置。。边界框回归代价公式如下：
其中Floc是边界框的总代价函数；xi表示第训练样本；bi表示边界框；f(xi,bi)表示边界框回归函数；gi代表的是第i个训练样本的标注；N表示样本总数；
在每个阶段t中，Ut＞Ut-1，Ut表示t阶段的阈值，本发明设计的神经网络 中包括一个分类器ht和一个目标框的回归器ft，每个目标框的回归器是针对不同 的阈值。每个阶段的目标损失函数定义如下：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,f(xt-1,bt-1)),g)
其中，L(xt,g)表示代价函数；t(t＝1,2，3)表示级联的阶段；g是数 据xt的标注；Lcls(ht(xt),yt)表示分类代价函数；ht(xt)表示t阶段缺陷的预估概 率，yt是数据xt在第t阶段给定阈值下的标签；λ＝1是权衡系数；[]是指示函数； Lloc(ft(xt,f(xt-1,bt-1)),g)表示边界回归的代价函数；bt-1表示边界框的坐标； f(xt-1,bt-1)表示t-1阶段边界框的回归函数；ft(xt,f(xt-1,bt-1))表示t阶段边界框 的回归函数；
具体步骤如下：
步骤一：首先进行图像采集
图像采集系统主要是由光源和相机组成，光源选用MYC-LIN-200-W的条形光 源，光源照射角度根据检测需求自由调整，在本检测系统中选择白色光源用于生 产环境中工件图像的采集光源。图像采集装置采用的是一个型号为 MV-L5043MG26的工业相机，它支持多种图像格式输出并且带有256M的板上缓存 用于断电等突发模式下数据传输和图像重传。附图1中箭头所指的方向是传送带 移动的方向。在检测时传送带上把待检测工件产品运输经过工业相机完成工件产 品表面的图像采集。
步骤二：图像预处理和数据增强。将采集的图像调整成256*256像素的三通 道到图像，然后将样本数据集分别自X轴方向向左和向右，Y轴方向向上和向下 平移10个像素值。将样本数据集分别自X轴方向向左、向右，Y轴方向向上、 向下平移10个像素值。平移后空缺像素值用像素强度为255的像素值补齐，255 像素值显示为的是白色。再将样本数据集的每幅图像沿X轴翻转做水平镜像，在 沿Y轴翻转做垂直镜像。通过如上平移和镜像的方法完成图像的数据增强。
步骤三：构造用于缺陷检测的特征提取卷积神经网络
网络的模型的特征提取的残差神经网络层数为50层(ResNet-50)。ResNet-50 位于网络的前一部分用于提取待检测区域的特征，本发明采用ResNet-50融入特 征金字塔网络提取特征。公式如下
其中，pi表示的是输出第i层,ci与之对应的卷积层的特征图。
网络的特征提取使用残差网络结构结合特征金字塔，同时加入可变形卷积。特 征提取网络包括五层卷积块，第一层卷积块仅卷积一次，即对输入的图像使用大 小为7×7×64，步长为2的卷积核进行一次卷积；再使用卷积核大小为3×3步 长为2的最大池化方法对特征图降维处理，然后经过第二层卷积块，第二层卷积 块卷积3次，第二层卷积块中卷积核大小分别是1×1×64，3×3×64，1×1× 128；再经过第三层卷积块，第三层卷积块卷积4次，第三层卷积块中卷积核大 小分别是1×1×128，3×3×128，1×1×512；第三层的输出经过第四层卷积块， 第四层卷积块中卷积核大小分别是1×1×256，3×3×128，1×1×512，第四层 卷积块进行6次卷积；最后经过第五层卷积块，第五层卷积块进行3次卷积，第五层卷积块的卷积核大小分别是1×1×512，3×3×512，1×1×2048；在卷积 的最后一层即第五层卷积加入可变形卷积模块，加入可变形卷积核后，卷积核便 可以在当前位置附近随意采样。
步骤四：设定训练参数：为了使网络模型更快的收敛，训练时对参数的设定能有效加快模型的收敛速度，提高检测效果。
子步骤1，采用预训练的网络模型来训练该网络，加快模型拟合；
子步骤2，将训练的数据按照7:2:1划分为训练集、验证集、测试集；
子步骤3，确定初始学习率，迭代周期，训练批量大小；
子步骤4，确定动量因子和权值衰减系数；
子步骤5，设定设定本发明的神经网络(IDPNet)每个阶段的阈值；
步骤五：训练神经网络模型
根据步骤四中设定的训练参数计算输出的缺陷边界回归框的代价函数和缺陷分类的代价函数之和，输出边界回归框的代价函数指的是在所有的边界回归框中将 缺陷完全包围的最小回归框，缺陷分类代价函数指的是预测的缺陷类别的准确率， 代价函数如下公式：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,f(xt-1,bt-1)),g)
其中，L(xt,g)表示代价函数；t(t＝1,2，3)表示级联的阶段；g是数据xt的标注，Lcls(ht(xt),yt)表示分类代价函数；ht(xt)表示t阶段缺陷的预估概率；yt是数据xt在第t阶段给定阈值下的标签；λ＝1是权衡系数,[]是指示函数；Lloc(ft(xt,f(xt-1,bt-1)),g)表示边界回归的代价函数；bt-1表示边界框的坐标； f(xt-1,bt-1)表示t-1阶段边界框的回归函数；ft(xt,f(xt-1,bt-1))表示t阶段边界框 的回归函数。利用代价函数求出级联的每层的差值，并计算出每层参数的梯度， 根据学习率更新每一层的权值，最终使代价函数最小。
步骤六：评价检测结果
检测图像中工件的缺陷区域，将待检测工件的图像输入到训练好的级联神经 网络中并完成检测，获取缺陷区域标和缺陷的类型。其中缺陷种类是已经完成标 定的工件产品缺陷中的一类或者多类，缺陷区域通过目标框将结果标记出来。输 入的图像为待检测工件的原图，经过本发明中设计的级联神经网络的计算后，输 出的是含有缺陷标记框和缺陷类型的图像，其中被检测所得的缺陷区域将被目标 框框出，缺陷的类型显示在该目标框的上方。如附图4中所示(a)是含缺陷的 待检测图像，(b)是Faster R-CNN的检测结果，(c)是Cascade R-CNN检测结 果，(d)是本发明基于Cascade R-CNN改进的方法的检测结果。从附图4中通过 同一张图像的检测结果对比能够看出本发明的检测方法分类置信度最高，结果最 精确。生产线上以此可以判断出待检测产品表面是否含有缺陷以及是是否满足生 产需要。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理 解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术 特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发 明实施例技术方案的精神和范围。
Claims (5)
1.一种基于级联神经网络的工件表面缺陷检测方法，其特征在于，包括如下步骤：
步骤一：图像采集：采集得到工件表面图像；
步骤二：图像预处理：将采集的工件表面图像预处理，形成训练图像集；
步骤三：构造用于缺陷检测的卷积神经网络：
所述卷积神经网络包括第一阶段用于提取待检测区域的特征的残差神经网络以及第二阶段用于进行缺陷分类和将缺陷部分使用回归框包围的级联神经网络；
步骤四、设定神经网络包的训练参数：所述神经网络包括特征提取的残差神经网络、可变形卷积神经网络、特征金字塔网络和用于检测器训练的级联神经网网络；
4.1)将训练图像数据按照预设比例划分为训练集、验证集、测试集；
4.2)确定所述神经网络的初始学习率，迭代周期，训练批量大小；
4.3)确定所述神经网络的动量因子和权值衰减系数；
4.4)设定级联神经网络每个阶段的阈值；
步骤五、训练神经网络模型
根据步骤四中设定的训练参数计算最后输出的缺陷边界回归框的代价函数和缺陷分类的代价函数之和，输出边界回归框的代价函数指的是在所有的边界回归框中将缺陷完全包围的最小回归框，缺陷分类代价函数指的是预测的缺陷类别的准确率，代价函数如下公式：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,f(xt-1,bt-1)),g)
其中L(xt,g)表示代价函数；t(t＝1,2，3)表示级联的阶段；g是数据xt的标注；Lcls(ht(xt),yt)表示分类代价函数；ht(xt)表示t阶段缺陷的预估概率；yt是数据xt在第t阶段给定阈值下的标签；λ＝1是权衡系数,[]是指示函数；Lloc(ft(xt,f(xt-1,bt-1)),g)表示边界回归的代价函数；bt-1表示边界框的坐标；f(xt-1,bt-1)表示t-1阶段边界框的回归函数；ft(xt,f(xt-1,bt-1))表示t阶段边界框的回归函数；
利用代价函数求出级联神经网络的每层的差值，并计算出每层参数的梯度，根据学习率更新每一层的权值，最终使代价函数最小，训练完成后得到训练好的神经网络；
步骤六、将待检测工件的表面图像
将待检测工件的表面图像输入到训练好的神经网络中并完成检测，获取缺陷区域标和缺陷的类型。
2.如权利要求1所述的基于级联神经网络的工件表面缺陷检测方法，所述步骤三中，用于特征提取的残差神经网络为的层数为50层，残差神经网络融入特征金字塔模块提取特征，公式如下：
其中，y(pi)表示融合后的特征值，pi表示第i层的输出,ci表示与第i层的输出对应的卷积层的特征值，N表示卷积的层数。
3.如权利要求1所述的基于级联神经网络的工件表面缺陷检测方法，其特征提取在于，所述神经网络包括五层卷积块，第一层卷积块仅卷积一次，即对输入的图像使用大小为7×7×64，步长为2的卷积核进行一次卷积；再使用卷积核大小为3×3步长为2的最大池化方法对特征图降维处理，然后经过第二层卷积块，第二层卷积块卷积3次，第二层卷积块中卷积核大小分别是1×1×64，3×3×64，1×1×128。再经过第三层卷积块，第三层卷积块卷积4次，第三层卷积块中卷积核大小分别是1×1×128，3×3×128，1×1×512；第三层的输出经过第四层卷积块，第四层卷积块中卷积核大小分别是1×1×256，3×3×128，1×1×512，第四层卷积块进行6次卷积；最后经过第五层卷积块，第五层卷积块进行3次卷积，第五层卷积块的卷积核大小分别是1×1×512，3×3×512，1×1×2048；同时，在第五层加入可变形卷积方法用于适应工件表面中的形状各异的缺陷类型；可变形卷积是在卷积时在卷积核加入补偿，使卷积的位置不固定在特定的位置。
4.如权利要求1所述的基于级联神经网络的工件表面缺陷检测方法，其特征在于，所述步骤二中，将采集的工件表面图像调整成大小256*256像素的三通道到图像即RGB图像，然后将调整大小后的图像数据分别自X轴方向向左和向右，Y轴方向向上和向下分别平移10个像素值；平移后空缺像素值用255像素值补齐，再将图像数据中的每幅图像在X轴方向上做水平镜像，在Y轴方向上做垂直镜像，完成图像的数据增强，以此得到更多的训练数据集。
5.如权利要求1所述的基于级联神经网络的工件表面缺陷检测方法，其特征在于，所述步骤四中，将训练图像集按照7:2:1分为训练集、验证集、测试集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010336427.4A CN112053317A (zh) | 2020-04-26 | 2020-04-26 | 一种基于级联神经网络的工件表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010336427.4A CN112053317A (zh) | 2020-04-26 | 2020-04-26 | 一种基于级联神经网络的工件表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112053317A true CN112053317A (zh) | 2020-12-08 |
Family
ID=73609172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010336427.4A Pending CN112053317A (zh) | 2020-04-26 | 2020-04-26 | 一种基于级联神经网络的工件表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112053317A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419318A (zh) * | 2020-12-17 | 2021-02-26 | 深圳市华汉伟业科技有限公司 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
| CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN112906302A (zh) * | 2021-03-01 | 2021-06-04 | 常州机电职业技术学院 | 基于深度残差网络的注塑件表面微缺陷自动快速检测方法 |
| CN112907561A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵检测方法 |
| CN112926562A (zh) * | 2021-02-02 | 2021-06-08 | 广东嘉铭智能科技有限公司 | 一种基于卷积神经网络的工件圆柱面外观缺陷检测方法 |
| CN113160136A (zh) * | 2021-03-15 | 2021-07-23 | 哈尔滨理工大学 | 一种基于改进Mask R-CNN的木材缺陷识别和分割方法 |
| CN113343964A (zh) * | 2021-08-09 | 2021-09-03 | 湖南汇视威智能科技有限公司 | 一种平衡的水下声学图像目标检测方法 |
| CN113469951A (zh) * | 2021-06-08 | 2021-10-01 | 燕山大学 | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 |
| CN114742828A (zh) * | 2022-06-09 | 2022-07-12 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件定损智能分析方法及装置 |
| CN115100120A (zh) * | 2022-06-02 | 2022-09-23 | 华中科技大学 | 一种增强神经网络特征多样性的缺陷检测方法及系统 |
| CN115780306A (zh) * | 2022-12-20 | 2023-03-14 | 广东工业大学 | 一种高速多尺度的mlcc检测装置及方法 |
| CN115953403A (zh) * | 2023-03-14 | 2023-04-11 | 常州微亿智造科技有限公司 | 缺陷检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264466A (zh) * | 2019-06-28 | 2019-09-20 | 广州市颐创信息科技有限公司 | 一种基于深度卷积神经网络的钢筋检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
-
2020
- 2020-04-26 CN CN202010336427.4A patent/CN112053317A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264466A (zh) * | 2019-06-28 | 2019-09-20 | 广州市颐创信息科技有限公司 | 一种基于深度卷积神经网络的钢筋检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| YANGYI_HUST: "cascade R-CNN算法详解", 《HTTPS://BLOG.CSDN.NET/WODUITAODONG2698/ARTICLE/DETAILS/85109546》 * |
| ZHAOWEI CAI 等: "Cascade R-CNN: Delving into High Quality Object Detection", 《ARXIV:1712.00726V1 [CS.CV]》 * |
| 周刚: "基于Cascade R-CNN的车辆目标检测方法", 《内燃机与配件》 * |
| 范红超等: "基于Anchor-free的交通标志检测", 《地球信息科学学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN112614101B (zh) * | 2020-12-17 | 2024-02-20 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN112419318A (zh) * | 2020-12-17 | 2021-02-26 | 深圳市华汉伟业科技有限公司 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
| CN112926562A (zh) * | 2021-02-02 | 2021-06-08 | 广东嘉铭智能科技有限公司 | 一种基于卷积神经网络的工件圆柱面外观缺陷检测方法 |
| CN112906302A (zh) * | 2021-03-01 | 2021-06-04 | 常州机电职业技术学院 | 基于深度残差网络的注塑件表面微缺陷自动快速检测方法 |
| CN113160136A (zh) * | 2021-03-15 | 2021-07-23 | 哈尔滨理工大学 | 一种基于改进Mask R-CNN的木材缺陷识别和分割方法 |
| CN112907561A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵检测方法 |
| CN113469951B (zh) * | 2021-06-08 | 2022-08-16 | 燕山大学 | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 |
| CN113469951A (zh) * | 2021-06-08 | 2021-10-01 | 燕山大学 | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 |
| CN113343964B (zh) * | 2021-08-09 | 2022-06-10 | 湖南汇视威智能科技有限公司 | 一种平衡的水下声学图像目标检测方法 |
| CN113343964A (zh) * | 2021-08-09 | 2021-09-03 | 湖南汇视威智能科技有限公司 | 一种平衡的水下声学图像目标检测方法 |
| CN115100120A (zh) * | 2022-06-02 | 2022-09-23 | 华中科技大学 | 一种增强神经网络特征多样性的缺陷检测方法及系统 |
| CN115100120B (zh) * | 2022-06-02 | 2024-09-24 | 华中科技大学 | 一种增强神经网络特征多样性的缺陷检测方法及系统 |
| CN114742828A (zh) * | 2022-06-09 | 2022-07-12 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件定损智能分析方法及装置 |
| CN114742828B (zh) * | 2022-06-09 | 2022-10-14 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件定损智能分析方法及装置 |
| CN115780306A (zh) * | 2022-12-20 | 2023-03-14 | 广东工业大学 | 一种高速多尺度的mlcc检测装置及方法 |
| CN115953403A (zh) * | 2023-03-14 | 2023-04-11 | 常州微亿智造科技有限公司 | 缺陷检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053317A (zh) | 一种基于级联神经网络的工件表面缺陷检测方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN111047655B (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN113989228A (zh) | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 | |
| CN111223093A (zh) | 一种aoi缺陷检测方法 | |
| CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN113554631B (zh) | 一种基于改进网络的芯片表面缺陷检测方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN113962929B (zh) | 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线 | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN115965915B (zh) | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN114549507B (zh) | 改进Scaled-YOLOv4的织物瑕疵检测方法 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统 | |
| CN112819748A (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN117078608B (zh) | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 | |
| CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
| CN112884741A (zh) | 一种基于图像相似性对比的印刷表观缺陷检测方法 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
| CN115937077A (zh) | 一种基于改进ssd算法的工件表面微小缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |
|
| RJ01 | Rejection of invention patent application after publication |