CN115049611A - 一种基于改进yolov5的连铸坯裂纹缺陷识别方法 - Google Patents

一种基于改进yolov5的连铸坯裂纹缺陷识别方法 Download PDF

Info

Publication number
CN115049611A
CN115049611A CN202210665574.5A CN202210665574A CN115049611A CN 115049611 A CN115049611 A CN 115049611A CN 202210665574 A CN202210665574 A CN 202210665574A CN 115049611 A CN115049611 A CN 115049611A
Authority
CN
China
Prior art keywords
continuous casting
yolov5
crack defect
network model
casting billet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210665574.5A
Other languages
English (en)
Inventor
孟祥宁
刘玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202210665574.5A priority Critical patent/CN115049611A/zh
Publication of CN115049611A publication Critical patent/CN115049611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D2/00—Arrangement of indicating or measuring devices, e.g. for temperature or viscosity of the fused mass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明提供一种基于改进yolov5的连铸坯裂纹缺陷识别方法，涉及冶金和图像识别技术领域。该方法首先构建连铸坯裂纹缺陷数据集，并进行标注，得到连铸坯裂纹缺陷数据训练集；再将CBAM模块和yolov5网络模型结合，构建CBAMC3‑yolov5网络模型；然后利用连铸坯裂纹缺陷数据训练集对CBAMC3‑yolov5网络模型进行训练；最后使用训练好的CBAMC3‑yolov5网络模型对待识别的连铸坯裂纹缺陷图像进行裂纹缺陷识别。该方法通过改进yolov5算法并结合连铸坯裂纹缺陷图像数据集，成功识别连铸坯裂纹缺陷图像，得到裂纹缺陷的位置信息与分类信息。解决了人工识别主观性强、工作强度大等明显缺点。

Description

一种基于改进yolov5的连铸坯裂纹缺陷识别方法
技术领域
本发明涉及冶金和图像识别技术领域，尤其涉及一种基于改进yolov5的连铸坯裂纹缺陷识别方法。
背景技术
连铸是炼钢过程中极为重要的一部分。连铸坯裂纹缺陷影响铸坯质量，进而影响钢材质量，造成能源损失与经济损失。目前连铸坯裂纹缺陷识别以人工识别为主，人工识别具有主观性强、效率低、精度低、重复性过高、需要忍受高温恶劣工作环境等明显缺点。
随着基于深度学习目标识别技术的发展，智能识别连铸坯裂纹缺陷满足高效、准确技术要求。基于深度学习目标识别技术目前主要应用于车辆识别、物品识别等领域，极少应用于连铸坯裂纹缺陷识别领域。基于深度学习目标识别算法主要分为基于候选区域的目标识别算法和基于回归的目标识别算法两类。基于候选区域的目标识别算法主要有R-CNN、Fast R-CNN以及Faster R-CNN等。这类方法需要先对感兴趣部分进行标框，导致步骤繁琐、计算量大，不满足高效、准确识别的技术要求。基于候选区域的目标识别算法主要有SSD以及yolo系列等。这类方法同时进行物体的分类与定位，所以计算量减少，准确率提高，满足高效、准确识别的技术要求。其中，yolo系列中，yolov5识别算法方法是最新的识别算法，但是直接使用在连铸坯裂纹缺陷识别中，对于小目标识别效果较差，且背景等因素对识别效果有所干扰。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于改进yolov5的连铸坯裂纹缺陷识别方法，实现对连铸坯裂纹缺陷的识别。
为解决上述技术问题，本发明所采取的技术方案是：一种基于改进yolov5的连铸坯裂纹缺陷识别方法，包括以下步骤：
步骤1、获取若干连铸坯裂纹缺陷图像；
步骤2、对连铸坯裂纹缺陷图像进行预处理，并构建连铸坯裂纹缺陷数据集；
步骤3、利用图像标注工具的矩形框对连铸坯裂纹缺陷数据集进行标注，将标注后的连铸坯裂纹缺陷数据集随机划分为连铸坯裂纹缺陷数据训练集、连铸坯裂纹缺陷数据测试集和连铸坯裂纹缺陷数据验证集；
对预处理后的每一张图片中裂纹缺陷利用LabelImg进行标注，制作连铸坯裂纹缺陷数据集，并将数据集以7：2：1划分为训练集、测试集与验证集；
步骤4、将CBAM模块和yolov5网络模型结合，对yolov5网络模型进行改进，构建CBAMC3-yolov5网络模型；
步骤4.1、获取yolov5网络模型的原始权重文件，设置CBAMC3-yolov5网络模型需要的迭代次数、学习率和超参数；
步骤4.2、将CBAM模块和yolov5网络模型结合，构建CBAMC3-yolov5网络模型；
选定yolov5网络模型为基础网络，在yolov5网络模型骨干网络中C3模块中最后的标准卷积模块中的向量卷积运算前添加CBAM模块，得到CBAMC3模块，进而得到改进的yolov5网络模型，即CBAMC3-yolov5网络模型；
步骤5、利用连铸坯裂纹缺陷数据训练集对CBAMC3-yolov5网络模型进行训练；
利用训练集训练CBAMC3-yolov5网络模型，通过裂纹图片测试集计算识别准确率，得到最优模型权重；
步骤6、使用训练好的CBAMC3-yolov5网络模型对待识别的连铸坯裂纹缺陷图像进行裂纹缺陷识别，当CBAMC3-yolov5网络模型识别到裂纹缺陷时，用矩形框将其标出，并计算裂纹缺陷置信度；
利用训练后的CBAMC3-yolov5网络模型，识别验证集中连铸坯裂纹缺陷图片，得到连铸坯裂纹缺陷的分类信息与位置信息；当CBAMC3-yolov5网络模型识别出裂纹缺陷时，使用矩形框将其标出。
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，通过改进yolov5算法并结合连铸坯裂纹缺陷图像数据集，训练算法后成功识别连铸坯裂纹缺陷图像，得到裂纹缺陷的位置信息与分类信息。高效、准确的智能化识别解决了人工识别主观性强、工作强度大等明显缺点。缓解对于大量人力的依赖，提高了连铸坯裂纹缺陷的识别效果。
附图说明
图1为本发明实施例提供的一种基于改进yolov5的连铸坯裂纹缺陷识别方法的流程图；
图2为本发明实施例提供的CBAMC3模块的结构框图；
图3为本发明实施例提供的CBAMC3-yolov5网络模型与yolov5的训练结果对比图；
图4为本发明实施例提供的CBAMC3-yolov5网络模型识别裂纹的结果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中，一种基于改进yolov5的连铸坯裂纹缺陷识别方法，如图1所示，包括以下步骤：
步骤1、获取若干连铸坯裂纹缺陷图像；
本实施例通过照相机拍摄获取连铸坯裂纹缺陷图像，对图像进行随机旋转，随机改变亮度、对比度及锐度扩展图像数量，收集3000张连铸坯裂纹缺陷图像；
步骤2、对连铸坯裂纹缺陷图像进行预处理，并构建连铸坯裂纹缺陷数据集；
本实施例利用python对连铸坯裂纹缺陷数据集进行预处理；通过图片灰度化，数据归一化及图片去噪提升图像整体质量；
步骤3、利用图像标注工具的矩形框对连铸坯裂纹缺陷数据集进行标注，将标注后的连铸坯裂纹缺陷数据集随机划分为连铸坯裂纹缺陷数据训练集、连铸坯裂纹缺陷数据测试集和连铸坯裂纹缺陷数据验证集；
对预处理后的每一张图片中裂纹缺陷利用LabelImg进行标注，制作连铸坯裂纹缺陷数据集，并将数据集以7：2：1划分为训练集、测试集与验证集；
步骤4、对yolov5网络模型进行改进，构建CBAMC3-yolov5网络模型；
步骤4.1、获取yolov5网络模型的原始权重文件，设置CBAMC3-yolov5网络模型需要的迭代次数、学习率和超参数；
CBAM(Convolutional Block Attention Module)模块是一种结合了空间(spatial)和通道(channel)的注意力模块，包括通道注意力模块和空间注意力模块。CBAM模块将更多注意力分配给需要关注的地方，从而增加识别准确度；
通道注意力模块定义如下：
Figure BDA0003692820540000031
其中，Mc(F)是通道注意图，F为输入的特征图，AvgPool(F)为平均池化特征操作，MaxPool(F)为最大池化特征操作，
Figure BDA0003692820540000032
为平均池化特征和
Figure BDA0003692820540000033
为最大池化特征，MLP为隐层的多层感知器，σ为Sigmoid激活函数，W0和W1分别为MLP的共享权重；
通道注意图Mc(F)是由平均池化特征操作AvgPool(F)和最大池化特征操作MaxPool(F)，生成平均池化特征
Figure BDA0003692820540000034
和最大池化特征
Figure BDA0003692820540000035
分别经过隐层的多层感知器MLP变化后的特征逐元素相加后经过一个Sigmoid激活函数σ得到。
最后，将Mc(F)和输入特征图F做Element-wise乘法操作，生成空间注意力模块需要的输入特征F'。
空间注意力模块定义如下：
Figure BDA0003692820540000041
将通道注意力模块输出的特征图F'作为本模块的输入特征图；空间注意图Ms(F')是由平均池化特征操作AvgPool(F')和最大池化特征操作MaxPool(F')，生成平均池化特征
Figure BDA0003692820540000042
和最大池化特征
Figure BDA0003692820540000043
按照通道维度连接起来，通过卷积核大小为7×7的卷积运算后经过一个Sigmoid激活函数σ得到。最后将该空间注意力图Ms(F')和输入特征图F'做Element-wise乘法操作，得到最终生成的特征。
Figure BDA0003692820540000044
表示将
Figure BDA0003692820540000045
和
Figure BDA0003692820540000046
按照通道维度连接起来。
步骤4.2、构建CBAMC3-yolov5网络模型；
yolov5网络模型可以分为四部分，第一部分为输入端，使用Mosaic数据增强、自适应锚框计算、自适应图片缩放等先进技术，增加图片输入质量。第二部分为主干网络(Backbone)，负责目标的特征提取，由Focus模块、CBS模块、C3模块、SPP模块组成。第三部分为颈部(Neck)网络，主要是对主干网络所提取的特征进行多尺度融合，采用的是PAN模块与FPN模块。第四部分为输出端，使用GIOU做边界框的损失函数同时使用nms非极大值抑制实现识别目标定位，同时实现识别目标分类。
选定yolov5网络模型为基础网络，在yolov5网络模型骨干网络中C3模块中最后的标准卷积模块中的向量卷积运算前添加CBAM模块，得到CBAMC3模块，如图2所示，CBAMC3模块融合了CBAM模块与C3模块，使原有的C3模块中最后的标准卷积模块结合了注意力机制，进而得到改进的yolov5网络模型，即CBAMC3-yolov5网络模型；
在CBAMC3-yolov5网络模型中，将CBAMC3模块替换掉C3模块，充分利用CBAM模块的图像高维特征提取功能，并且通过CBAMC3模块的结构可以使得整个yolov5网络模型更加丰满，显著提升了识别精度；
本实施例中，利用训练集分别训练yolov5网络模型和与CBAMC3-yolov5网络模型，训练结果如图3所示，由图3可以看出，CBAMC3-yolov5网络模型相较于yolov5网络模型，显著提升了裂纹缺陷识别精度。
步骤5、利用连铸坯裂纹缺陷数据训练集对CBAMC3-yolov5网络模型进行训练；
利用训练集训练CBAMC3-yolov5网络模型，通过裂纹图片测试集计算识别准确率，得到最优模型权重；
步骤6、使用训练好的CBAMC3-yolov5网络模型对待识别的连铸坯裂纹缺陷图像进行裂纹缺陷识别，当CBAMC3-yolov5网络模型识别到裂纹缺陷时，用矩形框将其标出，并计算裂纹缺陷置信度；
利用训练后的CBAMC3-yolov5网络模型，识别验证集中连铸坯裂纹缺陷图片，得到连铸坯裂纹缺陷的分类信息与位置信息；当CBAMC3-yolov5网络模型识别出裂纹缺陷时，使用矩形框将其标出。
本实施例，首先搭建深度学习环境：Windows8操作系统，选用Pytorch架构，Pycharm作为编程平台，CPU为Intel(R)Core(TM)i7-6700，Python3.8语言；然后使用训练集对CBAMC3-yolov5网络模型进行训练，并利用训练后的CBAMC3-yolov5网络模型，对待识别连铸坯裂纹缺陷图片进行裂纹识别，得到连铸坯裂纹缺陷的分类信息(裂纹缺陷类型和概率)与位置信息，并用矩形框将裂纹缺陷标出，如图4所示。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：
构建连铸坯裂纹缺陷数据集；
对连铸坯裂纹缺陷数据集进行标注，得到连铸坯裂纹缺陷数据训练集；
将CBAM模块和yolov5网络模型结合，构建CBAMC3-yolov5网络模型；
利用连铸坯裂纹缺陷数据训练集对CBAMC3-yolov5网络模型进行训练；
使用训练好的CBAMC3-yolov5网络模型对待识别的连铸坯裂纹缺陷图像进行裂纹缺陷识别。
2.根据权利要求1所述的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：所述方法具体包括以下步骤：
步骤1、获取若干连铸坯裂纹缺陷图像；
步骤2、对连铸坯裂纹缺陷图像进行预处理，并构建连铸坯裂纹缺陷数据集；
步骤3、利用图像标注工具的矩形框对连铸坯裂纹缺陷数据集进行标注，将标注后的连铸坯裂纹缺陷数据集随机划分为连铸坯裂纹缺陷数据训练集、连铸坯裂纹缺陷数据测试集和连铸坯裂纹缺陷数据验证集；
步骤4、将CBAM模块和yolov5网络模型结合，对yolov5网络模型进行改进，构建CBAMC3-yolov5网络模型；
步骤5、利用连铸坯裂纹缺陷数据训练集对CBAMC3-yolov5网络模型进行训练；通过裂纹图片测试集计算识别准确率，得到最优模型权重；
步骤6、使用训练好的CBAMC3-yolov5网络模型对待识别的连铸坯裂纹缺陷图像进行裂纹缺陷识别。
3.根据权利要求2所述的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：所述步骤3对预处理后的每一张图片中裂纹缺陷利用LabelImg进行标注，制作连铸坯裂纹缺陷数据集，并将数据集以7：2：1划分为训练集、测试集与验证集。
4.根据权利要求3所述的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：所述步骤4的具体方法为：
步骤4.1、获取yolov5网络模型的原始权重文件，设置CBAMC3-yolov5网络模型需要的迭代次数、学习率和超参数；
步骤4.2、将CBAM模块和yolov5网络模型结合，构建CBAMC3-yolov5网络模型。
5.根据权利要求4所述的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：所述步骤4.2的具体方法为：
选定yolov5网络模型为基础网络，在yolov5网络模型骨干网络中C3模块中最后的标准卷积模块中的向量卷积运算前添加CBAM模块，得到CBAMC3模块，进而得到改进的yolov5网络模型，即CBAMC3-yolov5网络模型。
6.根据权利要求5所述的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：所述CBAM模块是一种结合了空间和通道的注意力模块，包括通道注意力模块和空间注意力模块。
7.根据权利要求6所述的一种基于改进yolov5的连铸坯裂纹缺陷识别方法，其特征在于：所述步骤6利用训练后的CBAMC3-yolov5网络模型，识别验证集中连铸坯裂纹缺陷图片，得到连铸坯裂纹缺陷的分类信息与位置信息；当CBAMC3-yolov5网络模型识别出裂纹缺陷时，用矩形框将其标出，并计算裂纹缺陷的置信度。
CN202210665574.5A 2022-06-14 2022-06-14 一种基于改进yolov5的连铸坯裂纹缺陷识别方法 Pending CN115049611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210665574.5A CN115049611A (zh) 2022-06-14 2022-06-14 一种基于改进yolov5的连铸坯裂纹缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210665574.5A CN115049611A (zh) 2022-06-14 2022-06-14 一种基于改进yolov5的连铸坯裂纹缺陷识别方法

Publications (1)

Publication Number Publication Date
CN115049611A true CN115049611A (zh) 2022-09-13

Family

ID=83162004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210665574.5A Pending CN115049611A (zh) 2022-06-14 2022-06-14 一种基于改进yolov5的连铸坯裂纹缺陷识别方法

Country Status (1)

Country Link
CN (1) CN115049611A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115162A (zh) * 2023-10-24 2023-11-24 中安芯界控股集团有限公司 基于视觉分析对电池进行检测的芯片生产控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115162A (zh) * 2023-10-24 2023-11-24 中安芯界控股集团有限公司 基于视觉分析对电池进行检测的芯片生产控制系统

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
CN112949673A (zh) 一种基于全局注意力的特征融合目标检测与识别方法
CN112069868A (zh) 一种基于卷积神经网络的无人机实时车辆检测方法
CN112070768B (zh) 基于Anchor-Free的实时实例分割方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及系统
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN112257601A (zh) 基于弱监督学习的数据增强网络的细粒度车辆识别方法
CN110942471A (zh) 一种基于时空约束的长时目标跟踪方法
CN114529583B (zh) 基于残差回归网络的电力设备跟踪方法及跟踪系统
CN116038147A (zh) 激光金属切割机及其控制方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN115049611A (zh) 一种基于改进yolov5的连铸坯裂纹缺陷识别方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及系统
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN117132910A (zh) 一种用于无人机的车辆检测方法、装置及存储介质
CN116883393A (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN116703932A (zh) 一种基于卷积注意力机制的CBAM-HRNet模型小麦穗粒分割与计数方法
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN113327227B (zh) 一种基于MobilenetV3的小麦头快速检测方法
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
CN113537240A (zh) 一种基于雷达序列图像的形变区智能提取方法及系统
CN113066060B (zh) 一种空洞卷积神经网络的激光定向能量沉淀图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination