CN112991267A - 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法 - Google Patents
一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112991267A CN112991267A CN202110171633.9A CN202110171633A CN112991267A CN 112991267 A CN112991267 A CN 112991267A CN 202110171633 A CN202110171633 A CN 202110171633A CN 112991267 A CN112991267 A CN 112991267A
- Authority
- CN
- China
- Prior art keywords
- rcnn
- strip steel
- training
- efficientnet
- steel surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 106
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 88
- 239000010959 steel Substances 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 90
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 34
- 238000012795 verification Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种基于改进的efficientNet‑RCNN的带钢表面缺陷检测方法，先对采集到的热轧带钢表面图片进行预处理后对缺陷位置进行标注，得到缺陷位置的矩形框参数，并设定类别标签，制作标准的带钢表面缺陷数据集，由标准的带钢表面缺陷数据集划分训练集和测试集；首先通过训练集训练efficientNet‑RCNN模型，再将测试集输入到训练好的efficientNet‑RCNN模型中，检测出带钢表面缺陷的类别和位置信息。本发明的一种基于改进的efficientNet‑RCNN的带钢表面缺陷检测方法，通过将训练完成的模型部署到带钢生产线的检测设备中，能够快速提取带钢表面的缺陷特征并实现缺陷检测，能够替代传统的人眼检测，提高检测效率和检测精度，为企业提高收益。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法。
背景技术
目前，热轧带钢在生产过程中由于受到原材料、轧制工艺和系统控制等诸多技术因素的影响，其表面出现擦伤、边部裂纹系翘皮、表面划伤、精轧辊印、轧破、折叠、除鳞系铁皮等缺陷的情况时有发生。这些缺陷不仅会影响钢板表面的外观完整性，还会对带钢的耐磨性、抗腐蚀性、抗疲劳性和电磁特性等主要特性有不同程度的影响。因此及时检测钢板表面缺陷，对于提高带钢表面质量和产品经济效益、确定是否进行产线设备维护和避免事故扩大化具有重要意义。
热轧带钢因其抗压强度高，耐性好，被广泛应用于船舶、汽车、公路桥梁、高压容器等行业中，面对如此多的应用需求，生产厂商必须在加工过程中对瑕疵产品进行严格检测和控制，但是由于带钢生产的工业环境复杂且控制要求高，生产过程中经常会出现各式各样的瑕疵缺陷，严重影响产品质量。
传统的带钢表面缺陷检测方法主要依靠人工方法进行分类，难度大，效率低。如何使人们更方便、快捷、准确的实现对带钢表面的缺陷检测成为一个技术难题。
发明内容
为解决现有技术中存在的问题，本发明提供一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法。
为达到上述目的，本发明采用的方案如下：
一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，先对采集到的热轧带钢表面图片进行预处理后利用labelimg软件对缺陷位置进行标注，得到缺陷位置的矩形框参数，并设定类别标签，制作标准的带钢表面缺陷数据集，由标准的带钢表面缺陷数据集划分训练集和测试集；首先通过训练集训练efficientNet-RCNN模型，再将测试集输入到训练好的efficientNet-RCNN模型(热轧带钢表面缺陷检测模型)中，检测出带钢表面缺陷的类别和位置信息；
所述efficientNet-RCNN模型的构建过程为：先将训练集输入至efficientNet网络中，将获得的P1～P7特征层中P3～P7层的多尺度特征图输入至BiFPN网络中，经BiFPN网络处理后生成带钢表面缺陷的多尺度融合特征图；然后将多尺度融合特征图输入到Faster-RCNN的RPN网络中，生成对应的proposal；最后将proposal以及多尺度融合特征图一起输入至Faster-RCNN的ROI Pooling层中获得尺度统一的特征图，经Faster-RCNN最后的分类和回归操作得到预测出来的矩形框参数和类别标签，采用多任务损失函数计算预测出来的矩形框参数和类别标签以及标注时得到的真实缺陷位置的矩形框参数和类别标签的误差，当经多次迭代以后误差均不再下降时，结束训练，得到efficientNet-RCNN模型。
作为优选的技术方案：
如上所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，具体步骤如下：
S1：通过安装在带钢生产设备上的CCD相机采集热轧带钢图片，对采集到的图片进行预处理后采用矩形框进行缺陷位置标注，并得到矩形框参数，取带钢缺陷类别的最小外接矩形作为缺陷位置标签，并设定类别标签，生成带钢表面缺陷的标准数据集；
S2：将S1所述的标准的带钢表面缺陷数据集按一定比例划分成训练集和测试集，其中，训练集等比例分成j份，随机取j-1份作为子训练集，1份作为验证集，进行交叉验证；(j≥2，本发明中优选为5)。
S3：将S2所述的子训练集和验证集输入到改进的efficientNet网络中进行训练和交叉验证，获得最终的efficientNet-RCNN模型；具体过程包括为：
S3.1：将efficientNet网络经两次下采样操作，获得P6，P7特征层；
S3.2：将S3.1所述的P6，P7特征层与efficientNet网络本身的P3，P4，P5特征层经1*1卷积调整通道后，得到Pi_in(i＝3，4，5，6，7)，输入至BiFPN层获得Pi_out(i＝3，4，5，6，7)；其中，Pi_in(i＝3，4，5，6，7)为层数为i的输入通道Pi_out(i＝3，4，5，6，7)为堆叠操作之后的输出层特征；
S3.3：将S3.2所述的Pi_out(i＝3，4，5，6，7)进行特征融合获得多尺度融合特征图；
所述特征融合计算公式如下：
P＝Concat[downsample(p3_out,p4_out),p5,upsample(p6_out,p7_out)]；
式中，P为融合后的多尺度融合特征图，downsample(,)为下采样操作，upsample(,)为上采样操作，Concat(,)为将特征图在通道上进行堆叠；
S3.4：将得到的多尺度融合特征图输入到Faster-RCNN网络中进行训练，并使用验证集验证训练的模型，获得最终的efficientNet-RCNN模型；
S3.5：将测试集输入到efficientNet-RCNN模型中，检测出带钢表面缺陷的类别和位置信息。
如上所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，BiFPN层的具体操作为：
S3.2.1：对于每个Pi_in(i＝7,6,5)特征层首先进行上采样操作，然后与Pi-1_in(i＝7,6,5)进行堆叠操作获得Pi_td(i＝6,5,4),其中P7_td＝P7_in，所述堆叠操作的计算公式如下：
式中，Pi-1_td表示堆叠操作之后的输出层特征，w1,w2表示对应通道的权重系数，ò为稳定系数，Conv为卷积操作，upsample为上采样操作；(w1,w2,ò为超参数，需要根据具体的问题进行调节，upsample操作是为了使Pi_in和Pi-1_in的特征图维度保持一致以保证可
以进行堆叠)；
S3.2.2：对Pi_out进行下采样操作，并与Pi_td和Pi_in进行堆叠，获得Pi+1_out，其具体操作公式如下：
式中，Pi+1_out表示堆叠操作之后的输出层特征，Pi_in表示层数为i的输入通道，w1’,w2’,w3’
为对应通道的权重系数，ò为稳定系数，Conv为卷积操作，downsample为下采样操作，upsample为上采样操作。
如上所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，S3.4中的训练的过程为：
(1)将所述S3.3中获得的多尺度融合特征图输入至Faster RCNN的RPN网络中；
(2)将所述S3.3中的多尺度融合特征图进行1次3*3卷积操作调整通道数；
(3)将所述(2)中所得到的特征图分别进行2次1*1卷积，通道数分别为9和36，分别得到背景和前景标签以及每一个先验框的调整参数；
(4)RPN网络根据非极大值抑制算法以及IOU阈值对(3)所述先验框进行调整获得proposal(建议框)(IOU阈值一般取0.7)；
(5)将所述(4)中所得到的proposal结合S3中的多尺度融合特征图一起输入至Faster-RCNN的ROI Pooling层中，获得尺度统一的特征图；
(6)将所述(5)中所得到的特征图输入至Faster-RCNN的分类和回归器(分类和回归器对应分类和回归操作)中，得到efficientNet-RCNN模型预测得到的矩形框参数和类别标签；
(7)将所述(6)中所得的矩形框参数以及类别标签与S1中的矩形框参数及类别标签采用多任务损失函数计算误差，同时采用Adam优化器将误差反向传播以调整efficientNet-RCNN模型参数；
(8)当S2所述的子训练集完成1次训练后，将S2所述的验证集输入到efficientNet-RCNN模型中进行验证，得到验证结果；
(9)每一个子训练集设置迭代次数为200次，同时监控步骤(7)所述误差，若所述误差连续20次迭代均不下降，则提前终止训练，否则到达迭代次数后停止训练，进入下一个子训练集的训练；
(10)当所有子训练集均训练完成后，将(8)所述验证结果取平均作为最终的efficientNet-RCNN模型评估结果。
如上所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，所述预处理为将采集到的图片处理成600pixel*600pixel的大小，并进行图像旋转、对比度增强和引入噪声的增强操作。
如上所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，所述S2中，一定比例为7:3。
如上所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，所述交叉验证的具体步骤为：
(1)用等比例分成j份的训练集中的前j-1份作为子训练集，最后一份当作验证集进行efficientNet-RCNN模型的训练，得到训练结果；
(2)按(1)所述，每次都依次用另外一份当作验证集，其他部分当作子训练集进行efficientNet-RCNN模型训练，均得到一个训练结果；
(3)按(1)、(2)所述，经j次训练后得到j个结果，对j个结果取平均，得到最终缺陷检测模型efficientNet-RCNN评估的评估指标(如果交叉验证后取平均的结果依然能够保持在一个较高的精度水平，说明模型设计合理，否则不合理)。
如上所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，所述矩形框参数对应四个参数，分别为矩形框左上角坐标(x1，y1)和右下角坐标(x2，y2)。
如上所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，所述类别标签为龟裂、夹杂、补丁、麻点、鳞片或者划痕。
如上所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，基于改进的efficientNet-RCNN的带钢表面缺陷检测方法可实现自动缺陷检测，其检测精度为80％以上，检测速度保持在20fps以上，可以极大提高生产效率。
本发明的原理为：
本发明基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，首先通过安装在带钢生产设备上的CCD相机采集热轧带钢表面图片，对采集到的图片进行预处理后采用矩形框进行类别标注，取带钢缺陷类别的最小外接矩形作为类别标签，制作成标准的带钢表面缺陷数据集并将其划分成训练集、验证集和测试集。然后将训练集图片输入至efficientNet网络中，将获得的P1～P7特征层中P3～P7层的多尺度特征图输入至BiFPN网络中，经两次特征金字塔操作后生成带钢表面缺陷的融合特征图，然后将此特征图输入到Faster-RCNN的RPN网络中，生成对应的缺陷建议框，最后将建议框输入至ROI Pooling层中获得尺度统一的特征图，经Faster RCNN最后的分类和回归操作得到最后的检测结果，采用多任务损失函数计算生成的矩形框与标注的矩形框的误差，当经多次迭代以后误差均不再下降时，神经网络结束训练，并将此最终的完成训练的网络作为带钢表面缺陷检测模型，将测试集输入到模型中，即可检测识别出带钢表面缺陷的类别信息和位置信息。
有益效果
(1)本发明的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，通过将efficientNet网络和BiFPN网络结合作为Faster RCNN网络的特征提取层，能够快速提取输入图片的多尺度特征；
(2)本发明的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，BiFPN网络能够对efficientNet网络输出的不同分辨率的特征施加不同的权重以更好地平衡不同尺度的特征信息，使得最终输入到Faster RCNN网络的融合特征信息更加丰富，从而更有利于缺陷的分类和定位；
(3)本发明的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，通过将训练完成的模型部署到带钢生产线的检测设备中，能够快速提取带钢表面的缺陷特征并实现缺陷检测，能够替代传统的人眼检测，提高检测效率和检测精度，为企业提高收益。
附图说明
图1为本发明的基于efficientNet-RCNN的带钢表面缺陷检测方法的流程图；
图2为本发明的efficientNet和BiFPN层的结构示意图
图3为NEU数据集的六类缺陷，第一行从左到右依次为crazing、inclusion、pitted_surface，第二行从左到右依次为rolled-in_scale、patches、scratches；
图4为缺陷检测结果。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，如图1所示，具体步骤如下：
S1：通过安装在带钢生产设备上的CCD相机采集热轧带钢图片，将采集到的图片处理成600pixel*600pixel的大小，并进行图像旋转、对比度增强和引入噪声的增强操作后，采用矩形框进行缺陷位置标注，并得到矩形框参数(四个参数为x1、y1、x2、y2，分别为矩形框左上角坐标(x1，y1)和右下角坐标(x2，y2))，取带钢缺陷类别的最小外接矩形作为缺陷位置标签，并设定类别标签(龟裂、夹杂、补丁、麻点、鳞片、划痕)，生成带钢表面缺陷的标准数据集；
S2：将S1所述的标准的带钢表面缺陷数据集按7:3的比例划分成训练集和测试集，其中，训练集等比例分成5份，随机取4份作为子训练集，1份作为验证集，进行交叉验证；
交叉验证的具体步骤为：
(I)用等比例分成5份的训练集中的前4份作为子训练集，最后一份当作验证集进行efficientNet-RCNN模型的训练，得到训练结果；
(II)按(I)所述，每次都依次用另外一份当作验证集，其他部分当作子训练集进行efficientNet-RCNN模型训练，均得到一个训练结果；
(III)按(I)、(II)所述，经5次训练后得到5个结果，对5个结果取平均，得到最终缺陷检测模型efficientNet-RCNN评估的评估指标；
S3：将S2所述的子训练集输入到改进的efficientNet网络中，获取多尺度融合特征图；
获取多尺度融合特征图的具体过程为：
S3.1：将efficientNet网络经两次下采样操作，获得P6，P7特征层，如图2所示(左侧)；
S3.2：将S3.1所述的P6，P7特征层与efficientNet网络本身的P3，P4，P5特征层经1*1卷积调整通道后，得到Pi_in，输入至BiFPN层获得Pi_out；其中，Pi_in为层数为i的输入通道，Pi_out为堆叠操作之后的输出层特征，i＝3，4，5，6，7；
其中BiFPN层(如图2所示(右))的具体操作为：
S3.2.1：对于每个Pi_in(i＝7,6,5)特征层首先进行上采样操作，然后与Pi-1_in(i＝7,6,5)进行堆叠操作获得Pi_td(i＝6,5,4)，其中P7_td＝P7_in，所述堆叠操作的计算公式如下：
式中，Pi-1_td表示堆叠操作之后的输出层特征，w1,w2表示对应通道的权重系数，ò为稳定系数，Conv为卷积操作，upsample为上采样操作，其中w1,w2取值范围为(0，1)，ò＝0.0001；
S3.2.2：对Pi_out进行下采样操作，并与Pi_td和Pi_in进行堆叠，获得Pi+1_out，其具体操作公式如下：
式中，Pi+1_out表示堆叠操作之后的输出层特征，Pi_in表示层数为i的输入通道，w1’,w2’,w3’为对应通道的权重系数，ò为稳定系数，Conv为卷积操作，downsample为下采样操作，upsample为上采样操作，其中w1’,w2’,w3’取值范围为(0，1)，ò＝0.0001；
S3.3：将S3.2所述的Pi_out进行特征融合获得多尺度融合特征图；
特征融合计算公式如下：
P＝Concat[downsample(p3_out,p4_out),p5,upsample(p6_out,p7_out)]；
式中，P为融合后的多尺度融合特征图，downsample(,)为下采样操作，upsample(,)为上采样操作，Concat(,)为将特征图在通道上进行堆叠；
S3.4：将得到的多尺度融合特征图输入到Faster-RCNN网络中进行训练，并使用验证集验证训练的模型，获得最终的efficientNet-RCNN模型；
具体训练的过程为：
(1)将所述S3.3中获得的多尺度融合特征图输入至Faster RCNN的RPN网络中；
(2)将所述S3.3中的多尺度融合特征图进行1次3*3卷积操作调整通道数；
(3)将所述(2)中所得到的特征图分别进行2次1*1卷积，通道数分别为9和36，分别得到背景和前景标签以及每一个先验框的调整参数；
(4)RPN网络根据非极大值抑制算法以及IOU阈值对(3)所述先验框进行调整获得proposal；
(5)将所述(4)中所得到的proposal结合S3中的多尺度融合特征图一起输入至Faster-RCNN的ROI Pooling层中，获得尺度统一的特征图；
(6)将所述(5)中所得到的特征图输入至Faster-RCNN的分类和回归器中，得到预测得到的矩形框参数和类别标签；
(7)将所述(6)中所得的矩形框参数以及类别标签与S1中的矩形框参数及类别标签采用多任务损失函数计算误差，同时采用Adam优化器将误差反向传播以调整efficientNet-RCNN模型参数；
(8)当S2所述的子训练集完成1次训练后，将S2所述的验证集输入到efficientNet-RCNN模型中进行验证，得到验证结果；
(9)每一个子训练集设置迭代次数为200次，同时监控步骤(7)所述误差，若所述误差连续20次迭代均不下降，则提前终止训练，否则到达迭代次数后停止训练，进入下一个子训练集的训练；
(10)当所有子训练集均训练完成后，将(8)所述验证结果取平均作为最终的efficientNet-RCNN模型评估结果；
S4：将测试集输入到efficientNet-RCNN模型中，检测出带钢表面缺陷的类别和位置信息。
为了验证本发明方法的可靠性，采用东北大学开源的带钢表面缺陷检测数据集NEU进行可靠性验证。
如图3所示，该数据集共有六类缺陷，分别为crazing、inclusion、pitted_surface、rolled-in_scale、patches、scratches，每类缺陷300张图片，共有1800张图片。
首先将每类缺陷图片按照7：3随机分成训练集和测试集，即在每类缺陷的300张图片中随机选择210张作为训练集，90张作为测试集，所以整个数据集1260张作为训练集，540张作为测试集。
首先将训练集按照具体实施方式中所述分为子训练集和验证集，并对子训练集做旋转、分辨率增强等数据预处理操作，然后将其缩放至600pixel*600pixel输入至所述的efficientNet-RCNN中进行训练并做交叉验证，得到最终的缺陷检测模型efficientNet-RCNN。
将测试集输入至训练好的efficientNet-RCNN模型中，得到最终的检测结果，其中部分检测结果如图4所示。
其中，efficientNet-RCNN模型基于pytorch框架在Nvidia RTX 2060S平台上进行训练，每次训练的batchsize设置为8，初始学习率为0.0001，迭代次数为200次，采用随机初始化方法对efficientNet-RCNN模型的初始权重进行初始化并利用Adam优化器对参数进行优化。
模型efficientNet-RCNN采用mAP(六类缺陷的平均检测精度)作为最终的评价指标，其评价结果如表1所示，其中，AP表示单个类别的检测精度。
结果发现，本发明的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法可实现自动缺陷检测，其检测精度达到80％以上，可以满足带钢生产的实际场景需求。
表1
| 缺陷种类 | crazing | inclusion | pitted_surface | rolled-in_scale | patches | scratches | mAP(％) |
| AP(％) | 57.47 | 77.02 | 78.53 | 86.91 | 91.27 | 90.28 | 80.24 |
Claims (10)
1.一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征是：先对采集到的热轧带钢表面图片进行预处理后对缺陷位置进行标注，得到缺陷位置的矩形框参数，并设定类别标签，制作标准的带钢表面缺陷数据集，由标准的带钢表面缺陷数据集划分训练集和测试集；首先通过训练集训练efficientNet-RCNN模型，再将测试集输入到训练好的efficientNet-RCNN模型中，检测出带钢表面缺陷的类别和位置信息；
所述efficientNet-RCNN模型的构建过程为：先将训练集输入至efficientNet网络中，将获得的P1～P7特征层中P3～P7层的多尺度特征图输入至BiFPN网络中，经BiFPN网络处理后生成带钢表面缺陷的多尺度融合特征图；然后将多尺度融合特征图输入到Faster-RCNN的RPN网络中，生成对应的proposal；最后将proposal以及多尺度融合特征图一起输入至Faster-RCNN的ROI Pooling层中获得尺度统一的特征图，经Faster-RCNN最后的分类和回归操作得到预测出来的矩形框参数和类别标签，采用多任务损失函数计算预测出来的矩形框参数和类别标签以及标注时得到的真实缺陷位置的矩形框参数和类别标签的误差，当经多次迭代以后误差均不再下降时，结束训练，得到efficientNet-RCNN模型。
2.根据权利要求1所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，具体步骤如下：
S1：通过安装在带钢生产设备上的CCD相机采集热轧带钢图片，对采集到的图片进行预处理后采用矩形框进行缺陷位置标注，并得到矩形框参数，取带钢缺陷类别的最小外接矩形作为缺陷位置标签，并设定类别标签，生成带钢表面缺陷的标准数据集；
S2：将S1所述的标准的带钢表面缺陷数据集按一定比例划分成训练集和测试集，其中，训练集等比例分成j份，随机取j-1份作为子训练集，1份作为验证集，进行交叉验证；
S3：将S2所述的子训练集和验证集输入到改进的efficientNet网络中进行训练和交叉验证，获得最终的efficientNet-RCNN模型；具体过程包括为：
S3.1：将efficientNet网络经两次下采样操作，获得P6，P7特征层；
S3.2：将S3.1所述的P6，P7特征层与efficientNet网络本身的P3，P4，P5特征层经1*1卷积调整通道后，得到Pi_in(i＝3，4，5，6，7)，输入至BiFPN层获得Pi_out(i＝3，4，5，6，7)；其中，Pi_in(i＝3，4，5，6，7)为层数为i的输入通道，Pi_out(i＝3，4，5，6，7)为堆叠操作之后的输出层特征；
S3.3：将S3.2所述的Pi_out(i＝3，4，5，6，7)进行特征融合获得多尺度融合特征图；所述特征融合计算公式如下：
P＝Concat[downsample(p3_out,p4_out),p5,upsample(p6_out,p7_out)]；
式中，P为融合后的多尺度融合特征图，downsample(,)为下采样操作，upsample(,)为上采样操作，Concat(,)为将特征图在通道上进行堆叠；
S3.4：将得到的多尺度融合特征图输入到Faster-RCNN网络中进行训练，并使用验证集验证训练的模型，获得最终的efficientNet-RCNN模型；
S3.5：将测试集输入到efficientNet-RCNN模型中，检测出带钢表面缺陷的类别和位置信息。
3.根据权利要求2所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，BiFPN层的具体操作为：
S3.2.1：对于每个Pi_in(i＝7,6,5)特征层首先进行上采样操作，然后与Pi-1_in(i＝7,6,5)进行堆叠操作获得Pi_td(i＝6,5,4)，所述堆叠操作的计算公式如下：
式中，Pi-1_td表示堆叠操作之后的输出层特征，w1,w2表示对应通道的权重系数，ò为稳定系数，Conv为卷积操作，upsample为上采样操作；
S3.2.2：对Pi_out进行下采样操作，并与Pi_td和Pi_in进行堆叠，获得Pi+1_out，其具体操作公式如下：
式中，Pi+1_out表示堆叠操作之后的输出层特征，Pi_in表示层数为i的输入通道，w1’,w2’,w3’为对应通道的权重系数，ò为稳定系数，Conv为卷积操作，downsample为下采样操作，upsample为上采样操作。
4.根据权利要求2所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，S3.4中的训练的过程为：
(1)将所述S3.3中获得的多尺度融合特征图输入至Faster RCNN的RPN网络中；
(2)将所述S3.3中的多尺度融合特征图进行1次3*3卷积操作调整通道数；
(3)将所述(2)中所得到的特征图分别进行2次1*1卷积，通道数分别为9和36，分别得到背景和前景标签以及每一个先验框的调整参数；
(4)RPN网络根据非极大值抑制算法以及IOU阈值对(3)所述先验框进行调整获得proposal；
(5)将所述(4)中所得到的proposal结合S3中的多尺度融合特征图一起输入至Faster-RCNN的ROI Pooling层中，获得尺度统一的特征图；
(6)将所述(5)中所得到的特征图输入至Faster-RCNN的分类和回归器中，得到预测得到的矩形框参数和类别标签；
(7)将所述(6)中所得的矩形框参数以及类别标签与S1中的矩形框参数及类别标签采用多任务损失函数计算误差，同时采用Adam优化器将误差反向传播以调整efficientNet-RCNN模型参数；
(8)当S2所述的子训练集完成1次训练后，将S2所述的验证集输入到efficientNet-RCNN模型中进行验证，得到验证结果；
(9)每一个子训练集设置迭代次数为200次，同时监控步骤(7)所述误差，若所述误差连续20次迭代均不下降，则提前终止训练，否则到达迭代次数后停止训练，进入下一个子训练集的训练；
(10)当所有子训练集均训练完成后，将(8)所述验证结果取平均作为最终的efficientNet-RCNN模型评估结果。
5.根据权利要求1所述的基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，所述预处理为将采集到的图片处理成600pixel*600pixel的大小，并进行图像旋转、对比度增强和引入噪声的增强操作。
6.根据权利要求2所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，所述S2中，一定比例为7:3。
7.根据权利要求2所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，所述交叉验证的具体步骤为：
(1)用等比例分成j份的训练集中的前j-1份作为子训练集，最后一份当作验证集进行efficientNet-RCNN模型的训练，得到训练结果；
(2)按(1)所述，每次都依次用另外一份当作验证集，其他部分当作子训练集进行efficientNet-RCNN模型训练，均得到一个训练结果；
(3)按(1)、(2)所述，经j次训练后得到j个结果，对j个结果取平均，得到最终缺陷检测模型efficientNet-RCNN评估的评估指标。
8.根据权利要求1所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，所述矩形框参数对应四个参数，分别为矩形框左上角坐标(x1，y1)和右下角坐标(x2，y2)。
9.根据权利要求1所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，所述类别标签为龟裂、夹杂、补丁、麻点、鳞片或者划痕。
10.根据权利要求1所述的一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，其特征在于，基于改进的efficientNet-RCNN的带钢表面缺陷检测方法可实现自动缺陷检测，其检测精度为80％以上，检测速度保持在20fps以上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171633.9A CN112991267A (zh) | 2021-02-08 | 2021-02-08 | 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171633.9A CN112991267A (zh) | 2021-02-08 | 2021-02-08 | 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112991267A true CN112991267A (zh) | 2021-06-18 |
Family
ID=76347453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110171633.9A Pending CN112991267A (zh) | 2021-02-08 | 2021-02-08 | 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991267A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256623A (zh) * | 2021-06-29 | 2021-08-13 | 南昌工程学院 | 一种基于改进mask rcnn的fpc缺陷检测方法 |
| CN113435425A (zh) * | 2021-08-26 | 2021-09-24 | 绵阳职业技术学院 | 一种基于递归多特征融合的野生动物出没检测方法 |
| CN113592024A (zh) * | 2021-08-12 | 2021-11-02 | 燕山大学 | 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统 |
| CN113822889A (zh) * | 2021-11-24 | 2021-12-21 | 江苏金恒信息科技股份有限公司 | 一种热轧钢板表面缺陷检测方法 |
| CN113838208A (zh) * | 2021-09-02 | 2021-12-24 | 桂林电子科技大学 | 基于改进残差收缩网络的带钢缺陷检测方法 |
| CN114782967A (zh) * | 2022-03-21 | 2022-07-22 | 南京航空航天大学 | 一种基于代码可视化学习的软件缺陷预测方法 |
| CN114972261A (zh) * | 2022-05-27 | 2022-08-30 | 东北大学 | 一种板带钢表面质量缺陷的识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402248A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路导线缺陷检测方法 |
| CN111696077A (zh) * | 2020-05-11 | 2020-09-22 | 余姚市浙江大学机器人研究中心 | 一种基于WaferDet网络的晶圆缺陷检测方法 |
| CN111967538A (zh) * | 2020-09-25 | 2020-11-20 | 北京百度网讯科技有限公司 | 应用于小目标检测的特征融合方法、装置、设备以及存储介质 |
-
2021
- 2021-02-08 CN CN202110171633.9A patent/CN112991267A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402248A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路导线缺陷检测方法 |
| CN111696077A (zh) * | 2020-05-11 | 2020-09-22 | 余姚市浙江大学机器人研究中心 | 一种基于WaferDet网络的晶圆缺陷检测方法 |
| CN111967538A (zh) * | 2020-09-25 | 2020-11-20 | 北京百度网讯科技有限公司 | 应用于小目标检测的特征融合方法、装置、设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| MINGXING TAN ET AL.: "EfficientDet: Scalable and Efficient Object Detection", 《2020CVPR》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256623A (zh) * | 2021-06-29 | 2021-08-13 | 南昌工程学院 | 一种基于改进mask rcnn的fpc缺陷检测方法 |
| CN113592024A (zh) * | 2021-08-12 | 2021-11-02 | 燕山大学 | 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统 |
| CN113592024B (zh) * | 2021-08-12 | 2024-05-28 | 燕山大学 | 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统 |
| CN113435425A (zh) * | 2021-08-26 | 2021-09-24 | 绵阳职业技术学院 | 一种基于递归多特征融合的野生动物出没检测方法 |
| CN113838208A (zh) * | 2021-09-02 | 2021-12-24 | 桂林电子科技大学 | 基于改进残差收缩网络的带钢缺陷检测方法 |
| CN113838208B (zh) * | 2021-09-02 | 2024-02-02 | 桂林电子科技大学 | 基于改进残差收缩网络的带钢缺陷检测方法 |
| CN113822889A (zh) * | 2021-11-24 | 2021-12-21 | 江苏金恒信息科技股份有限公司 | 一种热轧钢板表面缺陷检测方法 |
| CN113822889B (zh) * | 2021-11-24 | 2022-02-15 | 江苏金恒信息科技股份有限公司 | 一种热轧钢板表面缺陷检测方法 |
| CN114782967A (zh) * | 2022-03-21 | 2022-07-22 | 南京航空航天大学 | 一种基于代码可视化学习的软件缺陷预测方法 |
| CN114782967B (zh) * | 2022-03-21 | 2024-02-20 | 南京航空航天大学 | 一种基于代码可视化学习的软件缺陷预测方法 |
| CN114972261A (zh) * | 2022-05-27 | 2022-08-30 | 东北大学 | 一种板带钢表面质量缺陷的识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112991267A (zh) | 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法 | |
| Mei et al. | An unsupervised-learning-based approach for automated defect inspection on textured surfaces | |
| CN109683360B (zh) | 液晶面板缺陷检测方法及装置 | |
| CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
| US10803573B2 (en) | Method for automated detection of defects in cast wheel products | |
| CN110796637A (zh) | 图像缺陷检测模型的训练、测试方法、装置及存储介质 | |
| CN106934800B (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| CN106780455B (zh) | 一种基于滑动的局部邻域窗口的产品表面检测方法 | |
| CN111681240A (zh) | 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 | |
| CN105654121A (zh) | 一种基于深度学习的复杂提花织物缺陷检测方法 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| CN110263795B (zh) | 一种基于隐式形状模型与图匹配的目标检测方法 | |
| CN111242185A (zh) | 一种基于深度学习的缺陷快速初筛方法及系统 | |
| CN115496746A (zh) | 基于图像和点云数据融合的板材表面缺陷检测方法和系统 | |
| CN111080600A (zh) | 一种铁路货车弹簧托板上开口销的故障识别方法 | |
| CN115100206B (zh) | 用于具有周期图案纺织物的印花缺陷识别方法 | |
| CN111161260A (zh) | 一种基于深度学习的热轧带钢表面缺陷检测方法及装置 | |
| CN107292879A (zh) | 一种基于图像分析的金属板材表面异常检测方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN111127454A (zh) | 基于深度学习生成工业缺陷样本的方法及系统 | |
| CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| CN112258470B (zh) | 基于缺陷检测的工业图像临界压缩率智能分析系统及方法 | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN112819748A (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |