CN114694144B - 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法 - Google Patents

一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法 Download PDF

Info

Publication number
CN114694144B
CN114694144B CN202210613572.1A CN202210613572A CN114694144B CN 114694144 B CN114694144 B CN 114694144B CN 202210613572 A CN202210613572 A CN 202210613572A CN 114694144 B CN114694144 B CN 114694144B
Authority
CN
China
Prior art keywords
inclusion
boundary
inclusions
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210613572.1A
Other languages
English (en)
Other versions
CN114694144A (zh
Inventor
朱晓林
姚正军
丛伟
姚强
李绍园
张平则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Jiangsu Supervision and Inspection Institute for Product Quality
Original Assignee
Nanjing University of Aeronautics and Astronautics
Jiangsu Supervision and Inspection Institute for Product Quality
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics, Jiangsu Supervision and Inspection Institute for Product Quality filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210613572.1A priority Critical patent/CN114694144B/zh
Publication of CN114694144A publication Critical patent/CN114694144A/zh
Application granted granted Critical
Publication of CN114694144B publication Critical patent/CN114694144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，该方法针对金相分析中非金属夹杂物人工评级工作强度大、精度低，而传统灰度阈值分割和特征提取方式局限性大、普适性低的问题，引入了深度神经网络算法。方法首先收集人工标注的非金属夹杂物显微图像及其标记作为训练样本，然后搭建语义分割深度神经网络模型、构造优化损失函数，并基于梯度下降方法对模型训练，从而实现端到端地图像特征自动提取和非金属夹杂物的分类和边界提取，最后对提取的夹杂物边界进行长度、宽度计算，获得夹杂物的评级预测。本发明使用深度学习算法，实现钢中非金属夹杂物的智能识别和评级，极大提高了钢铁产品检测精度和效率，降低了检测成本。

Description

一种基于深度学习的钢中非金属夹杂物的智能识别和评级 方法
技术领域
本发明属于计算机图像处理技术领域，具体涉及一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法。
背景技术
钢中非金属夹杂物是指钢在冶炼过程中少量炉渣、耐火材料、脱氧反应产物所形成的氧化物、硅酸盐和钢在凝固过程中由于某些元素（如硫、氮）溶解度下降而形成的硫化物、氮化物等，这些化合物来不及排出而留在钢中成为夹杂物。一般来说，夹杂物对钢的性能是有害的。夹杂物作为独立相存在于钢中，破坏了钢基体的连续性，加大了钢中组织的不均匀性，降低了钢的力学性能，尤其降低塑性、韧性和疲劳寿命，继而引发钢铁产品质量及性能的严重下降及服役性能的急剧恶化。因此，非金属夹杂物是衡量钢质量的重要指标,对于高品质特殊钢，非金属夹杂物更是被列为必检项目之一，其类型、数量、形状、尺寸、分布等诸多因素都对钢性能产生影响。
非金属夹杂物按形态与分布可分为4类：A硫化物类（具有高的延展性，较宽的形态比，单个的，灰色的，两端是圆角）；B氧化铝类（大多是没有变形的、带角的颗粒串，小形态比（小于3），黑色或者带蓝色的颗粒，沿着轧制方向排成一行（至少3个））；C硅酸盐类（较高的延展性，较宽的形态比（一般大于3），单个的，黑色或者深灰色的，两端是锐角）；D球状氧化物（圆形或近似圆形，单个颗粒）。非金属夹杂物检测是采用显微镜观察一个200mm2抛光试样，工作状态下显微镜的视场是0.5㎡，也就是每次检测需要观察400个视场，判断每个视场中夹杂物的类别并测量其长度。这种人工检测具备显著的缺陷：1）工作量极大，单个样品人工耗时至少1小时以上；2）易误判，夹杂物检测需要长期高倍高亮度显微镜视场工作，极易造成人员的视觉疲劳，导致误判，且影响健康；3）对人的专业素质要求高。非金属夹杂物的识别和分类，需要较强的专业背景和实践经验，经验不足的人极易识别和评价错误。而现有的金相图像分析软件在识别夹杂物还存在不足，主要表现为：1）相关金相图像处理算法主要基于传统灰度阈值分割和特征提取，误差大，普适性低，对金相图像质量要求较高，仍需要大量人工操作辅助。比如图像光照不均导致的灰度变化，就会干扰夹杂物的识别；2）严重依赖制样水平，样品制备如果不完美，存在划痕、曳尾、水渍等会显著干扰特征提取准确性，系统偏差很大。
因此，目前通过人工进行定性或者计算机辅助的半定量分析来检测非金属夹杂物，都存在显著缺陷，受人为因素制约较大，算法不能精确识别夹杂物的特征，并且费时费力，一致性低，实用性差。
目标检测是一种与计算机视觉和图像处理相关的计算机技术，主要对数字图像或者视频中的多个目标进行识别和定位，语义分割将图片根据内容分割成不同的块，即对每个像素点分类，精准勾勒物体的轮廓。随着深度学习技术的发展，基于深度神经网络的目标检测、语义分割性能得到巨大提升和广泛应用。
本发明收集人工标注的非金属夹杂物图像训练数据，基于深度神经网络目标检测和语义分割算法，快速自动地实现图像组织特征提取分析和分类、边界提取，提高算法通用性、检测效率、避免人为误差，将对提升钢铁行业生产检测效率、促进检测装备进步具有重大的经济和社会效益。
发明内容
本发明的目的在于提出一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，以便从晶粒显微图片中提取非金属夹杂物的边界以及对其进行分类和评级，从而提高钢铁产品检测精度和效率，降低检测成本。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其包括如下步骤：
步骤1、获取金相显微镜下的金属切片图像集
Figure 852997DEST_PATH_IMAGE001
，并对图像集
Figure 947992DEST_PATH_IMAGE001
标定非金属夹杂物的类别、边界及级别，分别获得类别标记
Figure 538374DEST_PATH_IMAGE002
、边界标记
Figure 377017DEST_PATH_IMAGE003
，组成边界提取数据集
Figure 533192DEST_PATH_IMAGE004
；
步骤2、针对步骤1中的边界提取数据集
Figure 799088DEST_PATH_IMAGE005
，构造面向单个夹杂物的边界提取数据集
Figure 876765DEST_PATH_IMAGE006
，其中X'为夹杂物图像集，夹杂物图像集X'中的每张图像仅包含单个夹杂物，Y c ' ，Y s '分别对应各图像中夹杂物类别标记和夹杂物边界标记；
步骤3、对步骤2夹杂物的边界提取数据集D'中的夹杂物图像集X'，为其构造能包围夹杂物边界的最小矩形检测目标框标记Y b '，与夹杂物类别标记Y c '一起，构造非金属夹杂物目标检测数据集
Figure 250590DEST_PATH_IMAGE007
；
步骤4、使用Pytorch深度学习框架，搭建边界提取网络h1和目标检测网络h2；
步骤5、使用夹杂物的边界提取数据集
Figure 730113DEST_PATH_IMAGE006
，对边界提取网络h1进行训练获得训练好的边界提取模型h1
Figure 963648DEST_PATH_IMAGE008
；
步骤6、使用非金属夹杂物目标检测数据集
Figure 528622DEST_PATH_IMAGE007
，对目标检测网络h2进行训练，获得训练好的目标检测模型h2
Figure 443488DEST_PATH_IMAGE008
；
步骤7、边界提取模型h1
Figure 777518DEST_PATH_IMAGE008
和目标检测模型h2
Figure 181954DEST_PATH_IMAGE008
训练完成之后，执行测试任务，以测试金属切片图像
Figure 234224DEST_PATH_IMAGE009
为输入，使用目标检测模型h2
Figure 687202DEST_PATH_IMAGE008
，获得测试图像中非金属夹杂物的目标检测框集合
Figure 141317DEST_PATH_IMAGE010
；
步骤8、以步骤7输出的目标检测框集合
Figure 716655DEST_PATH_IMAGE010
对应的非金属夹杂物子图
Figure 256221DEST_PATH_IMAGE011
作为输入，使用训练好的边界提取模型h1
Figure 512890DEST_PATH_IMAGE008
，获得夹杂物的边界预测
Figure 821511DEST_PATH_IMAGE012
和类别预测
Figure 567750DEST_PATH_IMAGE013
；
步骤9、针对步骤8预测出来的夹杂物的边界预测
Figure 329033DEST_PATH_IMAGE012
，进行长度、宽度计算，根据非金属夹杂物检测标准中夹杂物长宽对应的级别划分，获得非金属夹杂物的评级预测
Figure 389393DEST_PATH_IMAGE014
。
进一步的，所述步骤1包括如下步骤：
步骤1.1、制备钢铁材料晶粒度试样，并对制备试样进行显微图像采集；
步骤1.2、对晶粒显微图片进行包括滤波降噪、图像增强、划痕修复、孪晶界消除的预处理，得到处理后质量较高的金属切片图像集
Figure 552521DEST_PATH_IMAGE001
；
步骤1.3、将图像集
Figure 469661DEST_PATH_IMAGE001
分发给人工专家，依据现行有效的非金属夹杂物检测标准GB/T 10561，使用标定辅助软件LabelMe，获得图像集的类别标记集
Figure 983819DEST_PATH_IMAGE002
、边界标记集
Figure 582291DEST_PATH_IMAGE003
，组成边界提取数据集
Figure 396663DEST_PATH_IMAGE004
。
更进一步的，所述步骤1.3中，按形态与分布，夹杂物被分为4个不同的类别：A硫化物类；B氧化铝类；C硅酸盐类；D球状氧化物。
进一步的，所述步骤2包括如下步骤：
步骤2.1、对步骤1中数据集
Figure 950617DEST_PATH_IMAGE005
的每张切片图像，以其中每个夹杂物为中心，剪切以该夹杂物为中心，长宽为固定尺寸，且包围该夹杂物边界的子图；
步骤2.2、以步骤1中所有切片图像的所有夹杂物子图集合作为图像集X'，构造面向单个夹杂物的边界提取数据集
Figure 686492DEST_PATH_IMAGE006
，其中Y c ' ，Y s '分别对应夹杂物图像集X'的夹杂物类别标记和夹杂物边界标记。
进一步的，所述步骤4具体实现步骤为：
步骤4.1、边界提取网络h1为DeepLabV3+语义分割网络，其采用编码器-解码器结构，编码器对输入图像进行目标边缘信息提取，其包括深度卷积神经网络进行特征提取和空洞金字塔池化进行多尺度信息捕捉两部分；解码器对特征信息进行恢复，然后输出图像类别标记和图像内夹杂物边界标记预测；
步骤4.2 、目标检测网络h2为YoloV5目标检测网络，其依次包括Backbone、Neck和Head三个部分；Backbone部分用于从输入图像中提取特征，主要由Focus、CBL、BottleneckCSP/C3以及SPP模块组成；Neck部分用于对提取好的特征进行混合和组合操作，并把这些特征传递给预测层，Neck部分采用FPN+PAN结构；Head部分用于输出图像类别标记和图像内夹杂物的目标检测框预测。
进一步的，所述步骤5具体实现步骤为：
步骤5.1、使用大规模语义分割数据集COCO上预训练好的DeepLabV3+深度神经网络参数初始化边界提取网络h1的参数，以夹杂物的边界提取数据集
Figure 88654DEST_PATH_IMAGE006
的夹杂物图像集X'作为网络输入，夹杂物类别标记Y c '和夹杂物边界标记Y s '作为网络输出端的预测目标；
步骤5.2、构建语义分割损失函数，具体如下：
Figure DEST_PATH_IMAGE015
其中，
Figure 226374DEST_PATH_IMAGE016
表示类别标记损失，使用加权交叉熵分类损失，各类别权重为最多类别样本数量/各个类别样本数量；
Figure 688580DEST_PATH_IMAGE017
表示边界提取损失，使用FocalLoss，其参数设置为alpha=0.25, gamma=2；
Figure 911751DEST_PATH_IMAGE018
、
Figure 914342DEST_PATH_IMAGE019
分别表示模型对图像
Figure 906568DEST_PATH_IMAGE020
的类别标记预测和边界标记预测，
Figure 539675DEST_PATH_IMAGE020
表示第i个训练图像；
Figure 984563DEST_PATH_IMAGE021
，
Figure 790845DEST_PATH_IMAGE022
分别表示第i个图像的类别标记和边界标记，
Figure 903157DEST_PATH_IMAGE023
表示图像数量；
步骤5.3、基于随机梯度下降，端到端地运用上述语义分割损失函数对边界提取网络模型h1的参数迭代式更新，得到训练好的边界提取模型。
更进一步的，随机梯度下降的优化参数设置为：使用Adam作为优化器，学习率设置为0.001，WeightDecay=0.0001。
进一步的，所述步骤6具体实现步骤为：
步骤6.1、使用大规模目标检测数据集COCO上预训练好的YoloV5深度神经网络参数初始化非金属夹杂物目标检测网络h2的参数，以非金属夹杂物目标检测数据集
Figure 441586DEST_PATH_IMAGE007
的夹杂物图像集
Figure 639349DEST_PATH_IMAGE024
作为网络输入，夹杂物的类别标记Y c '和最小矩形检测框目标框标记Y b '作为网络输出端的预测目标；
步骤6.2、构建目标检测损失函数，具体如下：
Figure 187005DEST_PATH_IMAGE025
其中，
Figure 950562DEST_PATH_IMAGE016
表示类别标记损失，使用加权交叉熵分类损失，各类别权重为最多类别样本数量/各个类别样本数量；
Figure 925471DEST_PATH_IMAGE017
表示目标框损失，使用均方误差回归损失函数；
Figure 344951DEST_PATH_IMAGE026
、
Figure 696298DEST_PATH_IMAGE027
分别表示模型对图像
Figure 314361DEST_PATH_IMAGE020
的类别标记预测和目标框标记预测，
Figure 722821DEST_PATH_IMAGE020
表示第i个训练图像；
Figure 364018DEST_PATH_IMAGE021
，
Figure 253477DEST_PATH_IMAGE028
分别表示第i个图像的类别标记和目标框标记，
Figure 991626DEST_PATH_IMAGE023
表示图像数量；
步骤6.3、基于随机梯度下降，端到端地运用上述目标检测损失函数对目标检测网络h2的参数迭代式更新，得到训练好的目标检测模型。
更进一步的，随机梯度下降的优化参数设置为：使用SGD作为优化器，调用OneCycleLR学习率调整策略，学习率设置范围为0.01~0.1， Momentum=0.937，WeightDecay=0.0005。
进一步的，所述步骤9中，对分割出来的非金属夹杂物边界进行长度和宽度计算，其中，长度测量方式为对分割出来的夹杂物边界作为一个整体做最小邻接矩阵，取邻接矩阵的长度作为夹杂物长度；宽度测量方式为对夹杂物各块做最小邻接矩阵，取宽度最大的邻接矩阵的宽度作为夹杂物宽度。
本发明的有益效果如下：
本发明针对金相分析中非金属夹杂物人工评级存在强度大、精度低等问题，相比传统灰度阈值分割和特征提取，引入神经网络算法，以人工标注的非金属夹杂物图像作为训练样本，通过图像分类和分割网络模型，实现非金属夹杂物的智能识别和评级。本发明中使用YoloV5目标检测分类模型实现非金属夹杂物的检测和分类，使用DeepLabV3+语义分割模型实现非金属夹杂物边界提取和智能评级，极大提高了钢铁产品检测精度和效率，降低了检测成本。
附图说明
图1为本发明中基于深度学习金属夹杂物智能评级方法的流程示意图。
图2为本发明中经过目标检测网络后的非金属夹杂物的检测框和分类结果示意图。
图3为本发明中经过分割模型后的非金属夹杂物的边界提取结果示意图。其中上图（A）为原始金相照片，下图（B）为采用本方法的模型识别出的夹杂物轮廓，方框为每个特定面积视场检测的滑框。
图4为本发明对非金属夹杂物边界进行长度和宽度计算示意图。其中上图（A）是夹杂物整体长度的检测框（最小邻接矩阵的长度），下图（B）为每个夹杂物的具体长度和宽度计算示意图，其中宽度是夹杂物最宽部分的尺寸，其计算方法与夹杂物角度相关。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本实施例述及了一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，以便从晶粒显微图片中提取非金属夹杂物的边界以及对其进行分类和评级，从而提高钢铁产品检测精度和效率，降低检测成本。
如图1所示，深度学习的钢中非金属夹杂物的智能识别和评级方法，包括如下步骤：
步骤1、获取金相显微镜下的金属切片图像集
Figure 308338DEST_PATH_IMAGE001
，将图像集
Figure 436831DEST_PATH_IMAGE001
分发给人工专家标定非金属夹杂物的类别、边界及级别，分别获得类别标记
Figure 129980DEST_PATH_IMAGE002
、边界标记
Figure 925898DEST_PATH_IMAGE003
，组成边界提取数据集
Figure 475828DEST_PATH_IMAGE004
。
其中，步骤1包括如下步骤：
步骤1.1、制备钢铁材料晶粒度试样，并对制备试样进行显微图像采集；
步骤1.2、对晶粒显微图片进行滤波降噪、图像增强、划痕修复、孪晶界消除等预处理，得到处理后质量较高的图像集
Figure 91617DEST_PATH_IMAGE001
。预处理操作包括但不限于使用Gamma校正等算法对低对比度和模糊的晶粒显微图像进行增强，采用Hough变换与Criminisi算法进行划痕检测和修复，解决组织自身的光学性质、拍照和制样划痕等因素导致的图像模糊、衬度低、划痕干扰等问题，并保证晶界特征和纹理信息不丢失。
步骤1.3、将图像集
Figure 322878DEST_PATH_IMAGE001
分发给人工专家，依据中国现行有效的非金属夹杂物检测标准GB/T 10561，使用标定辅助软件LabelMe，获得图像集的类别标记集
Figure 770040DEST_PATH_IMAGE002
、边界标记集
Figure 694134DEST_PATH_IMAGE003
，组成数据集
Figure 797219DEST_PATH_IMAGE004
；
其中，按形态与分布，夹杂物被分为4个不同的类别：A硫化物类，具有高的延展性，较宽的形态比，单个的，灰色的，两端是圆角；B氧化铝类，大多是没有变形的、带角的颗粒串，小形态比（小于3），黑色或者带蓝色的颗粒，沿着轧制方向排成一行（至少3个）；C硅酸盐类，具有较高的延展性，较宽的形态比（一般大于3），单个的，黑色或者深灰色的，两端是锐角；D球状氧化物，圆形或近似圆形，单个颗粒。
步骤2、注意到数据集
Figure 832171DEST_PATH_IMAGE005
的切片图像中可能同时包含多个非金属夹杂物，且单个非金属夹杂物占整张图像比例很小，为了突出非金属夹杂物信息，降低背景信息干扰，针对步骤1中的数据集
Figure 133839DEST_PATH_IMAGE005
，构造面向单个夹杂物的边界提取数据集
Figure 228834DEST_PATH_IMAGE006
，其中图像集
Figure 84795DEST_PATH_IMAGE024
中的每张图像仅包含单个夹杂物，
Figure 392279DEST_PATH_IMAGE029
分别对应各图像中夹杂物类别标记和夹杂物边界标记。
其中，步骤2包括如下步骤：
步骤2.1、对步骤1中数据集
Figure 17296DEST_PATH_IMAGE005
的每张切片图像，以其中每个夹杂物为中心，剪切以该夹杂物为中心，长宽为固定尺寸，且包围该夹杂物边界的子图；
步骤2.2、以步骤1中所有切片图像的所有夹杂物子图集合作为图像集
Figure 79930DEST_PATH_IMAGE030
构造面向单个夹杂物的边界提取数据集
Figure 154677DEST_PATH_IMAGE006
。其中
Figure 531432DEST_PATH_IMAGE029
分别对应各图像中夹杂物类别标记和夹杂物边界标记。
步骤3、对步骤2数据集
Figure 10955DEST_PATH_IMAGE031
中的夹杂物图像集
Figure 244490DEST_PATH_IMAGE024
，为其构造能包围夹杂物边界的最小矩形检测目标框标记
Figure 809464DEST_PATH_IMAGE032
，与夹杂物类别标记
Figure 458751DEST_PATH_IMAGE033
一起，构造非金属夹杂物目标检测数据集
Figure 58360DEST_PATH_IMAGE007
。
步骤4、使用Pytorch深度学习框架，搭建边界提取网络h1和目标检测网络h2。
其中，步骤4的具体实现为：
步骤4.1、边界提取网络h1为DeepLabV3+语义分割网络,其采用编码器-解码器(Encoder-Decoder)结构。编码器(Encoder)对输入图像进行目标边缘信息提取，其包括深度卷积神经网络（DCNN）进行特征提取和空洞金字塔池化（ASPP）进行多尺度信息捕捉两部分；解码器(Decoder)对特征信息进行恢复，然后输出图像类别标记和图像内夹杂物边界标记预测。
步骤4.2、目标检测网络h2为YoloV5目标检测网络,其依次包括Backbone、Neck和Head三个部分。Backbone部分用于从输入图像中提取特征，主要由Focus、CBL、BottleneckCSP/C3以及SPP模块等组成；Neck部分用于对提取好的特征进行混合和组合操作，并把这些特征传递给预测层，Neck部分采用FPN+PAN结构；Head部分用于输出图像类别标记和图像内夹杂物的目标检测框预测。
步骤5、使用边界提取数据集
Figure 462796DEST_PATH_IMAGE006
，对边界提取网络h1进行训练获得训练好的边界提取模型h1
Figure 515066DEST_PATH_IMAGE008
；
其中，步骤5的具体实现包括：
步骤5.1、使用大规模语义分割数据集COCO上预训练好的DeepLabV3+深度神经网络参数初始化非金属夹杂物边界提取网络h1的参数，以边界提取数据集
Figure 968044DEST_PATH_IMAGE006
。的训练图像集
Figure 422159DEST_PATH_IMAGE024
作为网络输入，类别标记
Figure 997497DEST_PATH_IMAGE033
和边界标记
Figure 537062DEST_PATH_IMAGE034
作为网络输出端的预测目标；
步骤5.2、构建语义分割损失函数，具体如下：
Figure 793731DEST_PATH_IMAGE015
其中，
Figure 102353DEST_PATH_IMAGE016
表示类别标记损失，使用加权交叉熵分类损失（Reweighting_CE），各类别 权重为最多类别样本数量/各个类别样本数量；
Figure 848592DEST_PATH_IMAGE017
表示边界提取损失，使用FocalLoss，其参 数设置为alpha=0.25, gamma=2。
Figure 609875DEST_PATH_IMAGE018
、
Figure 670235DEST_PATH_IMAGE019
分别表示模型对图像
Figure 833363DEST_PATH_IMAGE020
的类别标记预测和 边界标记预测，
Figure 750503DEST_PATH_IMAGE035
表示第i个训练图像；
Figure 264661DEST_PATH_IMAGE021
，
Figure 860203DEST_PATH_IMAGE022
分别表示第i个图像的类别标记和边界标记，
Figure 877838DEST_PATH_IMAGE023
表示图像数量；
步骤5.3、基于随机梯度下降，端到端地运用上述语义分割损失函数对边界提取网络h1的参数迭代式更新，得到训练好的边界提取模型；
随机梯度下降的优化参数设置为：使用Adam作为优化器，学习率设置为0.001，WeightDecay=0.0001。
步骤6、使用目标检测数据集
Figure 231459DEST_PATH_IMAGE007
，对目标检测网络h2进行训练，获得训练好的目标检测模型h2
Figure 967333DEST_PATH_IMAGE008
；
其中，步骤6的具体实现包括：
步骤6.1、使用大规模语义分割数据集COCO上预训练好的YoloV5深度神经网络参数初始化非金属夹杂物目标检测提取网络h2的参数，以目标检测数据集
Figure 103917DEST_PATH_IMAGE007
的训练图像集
Figure 241637DEST_PATH_IMAGE024
作为网络输入，类别标记
Figure 766159DEST_PATH_IMAGE033
和目标框标记
Figure 458172DEST_PATH_IMAGE036
作为网络输出端的预测目标；
步骤6.2、构建目标检测损失函数，具体如下：
Figure 929604DEST_PATH_IMAGE025
其中，
Figure 921831DEST_PATH_IMAGE016
表示类别标记损失，使用加权交叉熵分类损失（Reweighting_CE），各类别 权重为最多类别样本数量/各个类别样本数量；
Figure 351675DEST_PATH_IMAGE017
表示目标框损失，使用均方误差回归损失 函数（Mean Square Loss）。
Figure 62142DEST_PATH_IMAGE026
、
Figure 806108DEST_PATH_IMAGE027
分别表示模型对图像
Figure 449578DEST_PATH_IMAGE020
的类别标记预测和目标框 标记预测，
Figure 519166DEST_PATH_IMAGE035
表示第i个训练图像；
Figure 451350DEST_PATH_IMAGE021
，
Figure 999006DEST_PATH_IMAGE028
分别表示第i个图像的类别标记和目标框标记，
Figure 965825DEST_PATH_IMAGE023
表示图像数量；
步骤6.3、基于随机梯度下降，端到端地运用上述目标检测损失函数对目标检测网络模型h2的参数迭代式更新，得到训练好的目标检测模型；
随机梯度下降的优化参数设置为：使用SGD作为优化器，调用OneCycleLR学习率调整策略，学习率设置范围为0.01~0.1， Momentum=0.937，WeightDecay=0.0005。
步骤7、边界提取模型h1
Figure 737471DEST_PATH_IMAGE008
和目标检测模型h2
Figure 156951DEST_PATH_IMAGE008
训练完成之后，执行测试任务，以测试金属切片图像
Figure 508298DEST_PATH_IMAGE009
为输入，使用目标检测模型h2
Figure 126362DEST_PATH_IMAGE008
，获得测试图像中非金属夹杂物的目标检测框集合
Figure 292680DEST_PATH_IMAGE010
。
步骤8. 以步骤7输出的目标检测框集合
Figure 199456DEST_PATH_IMAGE010
对应的非金属夹杂物子图
Figure 88915DEST_PATH_IMAGE011
作为输入，使用训练好的边界提取模型h1
Figure 561484DEST_PATH_IMAGE008
，获得夹杂物的边界预测
Figure 143775DEST_PATH_IMAGE012
和类别预测
Figure 272268DEST_PATH_IMAGE013
。
步骤9、针对步骤8预测出来的非金属夹杂物边界
Figure 965418DEST_PATH_IMAGE012
，进行长度、宽度计算，根据非金属夹杂物检测标准GB/T 10561中夹杂物长宽对应的级别划分，获得非金属夹杂物的评级预测
Figure 761336DEST_PATH_IMAGE014
。
其中，所述的对分割出来的非金属夹杂物边界进行长度和宽度计算，长度测量方式为对分割出来的夹杂物边界作为一个整体做最小邻接矩阵，取邻接矩阵的长度作为夹杂物长度；宽度测量方式为对夹杂物各块做最小邻接矩阵，取宽度最大的邻接矩阵的宽度作为夹杂物宽度。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (9)

1.一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于包括如下步骤：
步骤1、获取金相显微镜下的金属切片图像集
Figure DEST_PATH_IMAGE002
，并对图像集
Figure 918926DEST_PATH_IMAGE002
标定非金属夹杂物的类别、边界及级别，分别获得类别标记
Figure DEST_PATH_IMAGE004
、边界标记
Figure DEST_PATH_IMAGE006
，组成边界提取数据集
Figure DEST_PATH_IMAGE008
；
步骤2、针对步骤1中的边界提取数据集
Figure DEST_PATH_IMAGE010
，构造面向单个夹杂物的边界提取数据集
Figure DEST_PATH_IMAGE012
，其中X'为夹杂物图像集，夹杂物图像集X'中的每张图像仅包含单个夹杂物，Y c '，Y s '分别对应各图像中夹杂物类别标记和夹杂物边界标记；
步骤3、对步骤2夹杂物的边界提取数据集D'中的夹杂物图像集X'，为其构造能包围夹杂物边界的最小矩形检测目标框标记Y b '，与夹杂物类别标记Y c '一起，构造非金属夹杂物目标检测数据集
Figure DEST_PATH_IMAGE014
；
步骤4、使用Pytorch深度学习框架，搭建边界提取网络h1和目标检测网络h2；
步骤5、使用夹杂物的边界提取数据集
Figure 442924DEST_PATH_IMAGE012
，对边界提取网络h1进行训练获得训练好的边界提取模型h1
Figure DEST_PATH_IMAGE016
；具体实现步骤为：
步骤5.1、使用大规模语义分割数据集COCO上预训练好的DeepLabV3+深度神经网络参数初始化边界提取网络h1的参数，以夹杂物的边界提取数据集
Figure 894765DEST_PATH_IMAGE012
的夹杂物图像集X'作为网络输入，夹杂物类别标记Y c '和夹杂物边界标记Y s '作为网络输出端的预测目标；
步骤5.2、构建语义分割损失函数，具体如下：
Figure DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE020
表示类别标记损失，使用加权交叉熵分类损失，各类别权重为最多类别样本数量/各个类别样本数量；
Figure DEST_PATH_IMAGE022
表示边界提取损失，使用FocalLoss，其参数设置为alpha=0.25,gamma=2；
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE026
分别表示模型对图像
Figure DEST_PATH_IMAGE028
的类别标记预测和边界标记预测，
Figure 368603DEST_PATH_IMAGE028
表示第i个训练图像；
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE032
分别表示第i个图像的类别标记和边界标记，
Figure DEST_PATH_IMAGE034
表示图像数量；
步骤5.3、基于随机梯度下降，端到端地运用上述语义分割损失函数对边界提取网络模型h1的参数迭代式更新，得到训练好的边界提取模型；
步骤6、使用非金属夹杂物目标检测数据集
Figure 589500DEST_PATH_IMAGE014
，对目标检测网络h2进行训练，获得训练好的目标检测模型h2
Figure 877874DEST_PATH_IMAGE016
；
步骤7、边界提取模型h1
Figure 348170DEST_PATH_IMAGE016
和目标检测模型h2
Figure 15912DEST_PATH_IMAGE016
训练完成之后，执行测试任务，以测试金属切片图像
Figure DEST_PATH_IMAGE036
为输入，使用目标检测模型h2
Figure 419211DEST_PATH_IMAGE016
，获得测试图像中非金属夹杂物的目标检测框集合
Figure DEST_PATH_IMAGE038
；
步骤8、以步骤7输出的目标检测框集合
Figure 84679DEST_PATH_IMAGE038
对应的非金属夹杂物子图
Figure DEST_PATH_IMAGE040
作为输入，使用训练好的边界提取模型h1
Figure 573429DEST_PATH_IMAGE016
，获得夹杂物的边界预测
Figure DEST_PATH_IMAGE042
和类别预测
Figure DEST_PATH_IMAGE044
；
步骤9、针对步骤8预测出来的夹杂物的边界预测
Figure 248124DEST_PATH_IMAGE042
，进行长度、宽度计算，根据非金属夹杂物检测标准中夹杂物长宽对应的级别划分，获得非金属夹杂物的评级预测
Figure DEST_PATH_IMAGE046
。
2.根据权利要求1所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，所述步骤1包括如下步骤：
步骤1.1、制备钢铁材料晶粒度试样，并对制备试样进行显微图像采集；
步骤1.2、对晶粒显微图片进行包括滤波降噪、图像增强、划痕修复、孪晶界消除的预处理，得到处理后质量较高的金属切片图像集
Figure 709192DEST_PATH_IMAGE002
；
步骤1.3、将图像集
Figure 607878DEST_PATH_IMAGE002
分发给人工专家，依据现行有效的非金属夹杂物检测标准GB/T10561，使用标定辅助软件LabelMe，获得图像集的类别标记集
Figure 52766DEST_PATH_IMAGE004
、边界标记集
Figure 796731DEST_PATH_IMAGE006
，组成边界提取数据集
Figure 705781DEST_PATH_IMAGE008
。
3.根据权利要求2所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，所述步骤1.3中，按形态与分布，夹杂物被分为4个不同的类别：A硫化物类；B氧化铝类；C硅酸盐类；D球状氧化物。
4.根据权利要求1所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，所述步骤2包括如下步骤：
步骤2.1、对步骤1中数据集
Figure 509789DEST_PATH_IMAGE010
的每张切片图像，以其中每个夹杂物为中心，剪切以该夹杂物为中心，长宽为固定尺寸，且包围该夹杂物边界的子图；
步骤2.2、以步骤1中所有切片图像的所有夹杂物子图集合作为图像集X'，构造面向单个夹杂物的边界提取数据集
Figure 441973DEST_PATH_IMAGE012
，其中Y c '，Y s '分别对应夹杂物图像集X'的夹杂物类别标记和夹杂物边界标记。
5.根据权利要求1所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，所述步骤4具体实现步骤为：
步骤4.1、边界提取网络h1为DeepLabV3+语义分割网络，其采用编码器-解码器结构，编码器对输入图像进行目标边缘信息提取，其包括深度卷积神经网络进行特征提取和空洞金字塔池化进行多尺度信息捕捉两部分；解码器对特征信息进行恢复，然后输出图像类别标记和图像内夹杂物边界标记预测；
步骤4.2 、目标检测网络h2为YoloV5目标检测网络，其依次包括Backbone、Neck和Head三个部分；Backbone部分用于从输入图像中提取特征，主要由Focus、CBL、BottleneckCSP/C3以及SPP模块组成；Neck部分用于对提取好的特征进行混合和组合操作，并把这些特征传递给预测层，Neck部分采用FPN+PAN结构；Head部分用于输出图像类别标记和图像内夹杂物的目标检测框预测。
6.根据权利要求1所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，随机梯度下降的优化参数设置为：使用Adam作为优化器，学习率设置为0.001，WeightDecay=0.0001。
7.根据权利要求1所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，所述步骤6具体实现步骤为：
步骤6.1、使用大规模目标检测数据集COCO上预训练好的YoloV5深度神经网络参数初始化非金属夹杂物目标检测网络h2的参数，以非金属夹杂物目标检测数据集
Figure 786367DEST_PATH_IMAGE014
的夹杂物图像集
Figure DEST_PATH_IMAGE048
作为网络输入，夹杂物的类别标记Y c '和最小矩形检测框目标框标记Y b '作为网络输出端的预测目标；
步骤6.2、构建目标检测损失函数，具体如下：
Figure DEST_PATH_IMAGE050
其中，
Figure 891201DEST_PATH_IMAGE020
表示类别标记损失，使用加权交叉熵分类损失，各类别权重为最多类别样本数量/各个类别样本数量；
Figure 928428DEST_PATH_IMAGE022
表示目标框损失，使用均方误差回归损失函数；
Figure DEST_PATH_IMAGE052
、
Figure DEST_PATH_IMAGE054
分别表示模型对图像
Figure 20011DEST_PATH_IMAGE028
的类别标记预测和目标框标记预测，
Figure 168096DEST_PATH_IMAGE028
表示第i个训练图像；
Figure 989422DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE056
分别表示第i个图像的类别标记和目标框标记，
Figure 604074DEST_PATH_IMAGE034
表示图像数量；
步骤6.3、基于随机梯度下降，端到端地运用上述目标检测损失函数对目标检测网络h2的参数迭代式更新，得到训练好的目标检测模型。
8.根据权利要求7所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，随机梯度下降的优化参数设置为：使用SGD作为优化器，调用OneCycleLR学习率调整策略，学习率设置范围为0.01~0.1， Momentum=0.937，WeightDecay=0.0005。
9.根据权利要求1所述的一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法，其特征在于，所述步骤9中，对分割出来的非金属夹杂物边界进行长度和宽度计算，其中，长度测量方式为对分割出来的夹杂物边界作为一个整体做最小邻接矩阵，取邻接矩阵的长度作为夹杂物长度；宽度测量方式为对夹杂物各块做最小邻接矩阵，取宽度最大的邻接矩阵的宽度作为夹杂物宽度。
CN202210613572.1A 2022-06-01 2022-06-01 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法 Active CN114694144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210613572.1A CN114694144B (zh) 2022-06-01 2022-06-01 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210613572.1A CN114694144B (zh) 2022-06-01 2022-06-01 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法

Publications (2)

Publication Number Publication Date
CN114694144A CN114694144A (zh) 2022-07-01
CN114694144B true CN114694144B (zh) 2022-08-23

Family

ID=82131223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210613572.1A Active CN114694144B (zh) 2022-06-01 2022-06-01 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法

Country Status (1)

Country Link
CN (1) CN114694144B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7473765B2 (ja) 2022-09-29 2024-04-24 山陽特殊製鋼株式会社 非金属介在物の自動領域識別方法およびそれを組み込んだ介在物判別システム
CN115346125B (zh) * 2022-10-18 2023-03-24 南京金瀚途科技有限公司 一种基于深度学习的目标检测方法
CN117252804B (zh) * 2023-07-06 2024-08-16 南京航空航天大学 一种轴承钢中带状碳化物的自动分析方法
CN118351385B (zh) * 2024-06-18 2024-08-16 杭州天眼智联科技有限公司 单质金属识别方法、装置、电子设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257317A (zh) * 2020-02-19 2020-06-09 广东韶钢松山股份有限公司 钢中硫化物夹杂检测和评价方法及钢种切削性能评价方法
CN114419397A (zh) * 2022-01-20 2022-04-29 中山大学·深圳 基于数据清洗和数据生成的数据集构建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7056592B2 (ja) * 2019-01-17 2022-04-19 Ｊｆｅスチール株式会社 金属材料の製造仕様決定方法、製造方法、および製造仕様決定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257317A (zh) * 2020-02-19 2020-06-09 广东韶钢松山股份有限公司 钢中硫化物夹杂检测和评价方法及钢种切削性能评价方法
CN114419397A (zh) * 2022-01-20 2022-04-29 中山大学·深圳 基于数据清洗和数据生成的数据集构建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种基于深度学习的分类和定量表征非金属夹杂的方法》;孙丹丹;《万方期刊数据库》;20201231;全文 *

Also Published As

Publication number Publication date
CN114694144A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN114694144B (zh) 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法
CN115345885B (zh) 一种金属健身器材外观质量检测方法
CN107507173B (zh) 一种全切片图像的无参考清晰度评估方法及系统
CN106228161B (zh) 一种指针式表盘自动读数方法
CN117078672A (zh) 基于计算机视觉的手机屏幕缺陷智能检测方法
CN114092389A (zh) 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN107274413A (zh) 一种钢材金相组织晶界自动提取方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN109584253B (zh) 油液磨粒图像分割方法
US20230184703A1 (en) Quantitative statistical characterization method of micron-level second phase in aluminum alloy based on deep learning
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN112964712A (zh) 一种快速检测沥青路面状态的方法
CN110503637B (zh) 一种基于卷积神经网络的道路裂缝自动检测方法
CN109871900A (zh) 一种基于图像处理的复杂背景下苹果的识别定位方法
CN113313107B (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN114882400A (zh) 一种基于ai智能机器视觉技术的骨料检测分类方法
CN115880594A (zh) 一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法
CN117853722A (zh) 一种融合超像素信息的钢材金相组织分割方法
CN115661071A (zh) 基于深度学习的复合材料加工表面缺陷检测及评价方法
CN110647887A (zh) 用于煤泥浮选泡沫图像分割中内部标记符的提取方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN106846325B (zh) 一种遥感影像最优分割结果确定的自动化方法
Kang et al. Development of a Model for Recognizing Cracks on Concrete Surfaces Using Digital Image Processing Techniques
CN115984360B (zh) 一种基于图像处理的计算干滩长度的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant