CN112884001B - 碳钢石墨化自动评级方法和系统 - Google Patents

碳钢石墨化自动评级方法和系统 Download PDF

Info

Publication number
CN112884001B
CN112884001B CN202110056987.9A CN202110056987A CN112884001B CN 112884001 B CN112884001 B CN 112884001B CN 202110056987 A CN202110056987 A CN 202110056987A CN 112884001 B CN112884001 B CN 112884001B
Authority
CN
China
Prior art keywords
graphitization
layer
convolution
efficientnet
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110056987.9A
Other languages
English (en)
Other versions
CN112884001A (zh
Inventor
谢小娟
杨宁祥
陈英红
陈建勋
崔靖昀
蔡勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Inspection and Research Institute of Special Equipment Zhuhai Inspection Institute
Original Assignee
Guangdong Inspection and Research Institute of Special Equipment Zhuhai Inspection Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Inspection and Research Institute of Special Equipment Zhuhai Inspection Institute filed Critical Guangdong Inspection and Research Institute of Special Equipment Zhuhai Inspection Institute
Priority to CN202110056987.9A priority Critical patent/CN112884001B/zh
Publication of CN112884001A publication Critical patent/CN112884001A/zh
Application granted granted Critical
Publication of CN112884001B publication Critical patent/CN112884001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了碳钢石墨化自动评级方法和系统，其中方法包括以下步骤：数据获取，基于CCD摄像机通过光学显微镜对试样的检验部位进行成像，得到金相组织图像作为用于模型训练和测试的原始数据集；数据增强，对所述原始数据集中的金相组织图像进行图像增强，得到扩充了金相组织图像数量的数据集；训练EfficientNet神经网络；数据预处理，对获取到的金相组织图像进行预处理；石墨化等级分类，基于完成训练的EfficientNet神经网络对经过所述数据预处理步骤得到的金相组织图像进行运算，输出对应的石墨化等级类型。其中系统包括CCD相机、处理器和显示器。本发明能够提高碳钢石墨化自动评级的效率。

Description

碳钢石墨化自动评级方法和系统
技术领域
本发明涉及计算机及测量技术领域，特别涉及一种碳钢石墨化自动评级方法和系统。
背景技术
碳钢由于可加工性良好且性价比较高而广泛应用在压力锅炉、蒸汽管道及高温高压机组的有关部件中。在长期服役过程中，碳钢一定的温度和压力作用下会产生石墨化现象，降低材质的强度与韧性，最终导致脆性爆管等严重事故。目前，关于碳钢石墨化的检测方法主要依赖金相分析法，即采用人工目测的方法，通过金相显微镜观察试样的金相组织图像，然后与标准图谱相对照进行石墨化评级。这种评级结果带有很强的主观性，误差较大，且重复性不好。
随着计算机视觉技术与神经网络算法的发展，研究人员开始应用图像处理技术与机器学习方法进行金相组织分析。虽然图像识别准确率有了一定的提高，但是由于本质上依然依赖人工设计与选择特征，难以获得最接近试样属性特征的自然表达，导致训练时间长且误差率较高。卷积神经网络比传统机器学习方法具有更强大的特征学习和表达能力，但是为获得更好的精度，需要具有更宽、更深或更高的图像分辨率，导致模型参数增多，训练时间增长，在此背景下各种紧凑型CNN被提出，以寻求在模型精度与计算成本之间的最佳平衡点。
为了提高碳钢石墨化自动评级的自动化，本发明提出一种碳钢石墨化金相图像的自动评级模型，以期实现通过直接输入原始图像，便能快速获得评级结果。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种碳钢石墨化自动评级方法，能够提高碳钢石墨化自动评级的效率。
本发明还提出一种碳钢石墨化自动评级系统。
根据本发明的第一方面实施例的碳钢石墨化自动评级方法，包括以下步骤：数据获取，基于CCD摄像机通过光学显微镜对试样的检验部位进行成像，得到金相组织图像，获取多张所述金相组织图像作为用于模型训练和测试的原始数据集；数据增强，对所述原始数据集中的不同石墨化程度的所述金相组织图像进行图像增强，得到扩充了金相组织图像数量的数据集；训练EfficientNet神经网络，将所述数据集按比例分为训练集、验证集和测试集，并基于所述训练集、验证集和测试集完成EfficientNet神经网络的训练；数据预处理，对获取到的金相组织图像进行预处理；石墨化等级分类，基于完成训练的EfficientNet神经网络对经过所述数据预处理步骤得到的金相组织图像进行运算，输出对应的石墨化等级类型。
根据本发明的一些实施例，所述数据增强包括：几何变换，包括旋转、翻转和平移；像素调整，包括亮度调节、对比度调节和添加噪声。
根据本发明的一些实施例，所述训练EfficientNet神经网络包括：将所述训练集输入到EfficientNet神经网络中进行迁移调参训练；将所述验证集输入到完成初步调参训练的EfficientNet神经网络中进行k折交叉验证；将所述测试集输入到训练好的EfficientNet神经网络进行测试，保存EfficientNet模型参数，完成神经网络的训练。
根据本发明的一些实施例，所述EfficientNet神经网络采用EfficientNet-B0作为主干网络，所述EfficientNet-B0网络包括输入层、卷积层、全局平均池化层、全连接层和输出层；所述卷积层对所述输入层的图像进行局部特征提取；所述全局平均池化层对卷积层的局部特征进行整合降维，提取出全局有用的特征；所述全连接层接收全局平均池化层的输出，并将所述全局平均池化层的输出特征映射成一个1x1xC的向量，实现分类；其中C表示分类的个数；所述输出层将所述全连接层的结果通过softmax函数输出石墨化的等级类型。
根据本发明的一些实施例，所述卷积层对所述输入层进行16个MBconv卷积运算和2个普通的conv卷积运算。
根据本发明的一些实施例，所述16个MBconv卷积运算和2个普通的conv卷积运算的过程和顺序如下：第一步：第一普通卷积层，选择32个维数为3×3×3的卷积核与所述输入层进行卷积运算，设定滑移步长为2，填充值为same，则获得维数为112×112×32的第一卷积输出，使用批归一化BN，并使用Swish函数进行激活；第二步，不断堆叠16个MBconv模块，所述16个MBconv层包括：第一MBconv1层，对第一卷积输出112×112×32的特征图进行移动翻转瓶颈卷积(Mobile Inverted Bottleneck convolution，MBconv)，扩张比例为1，卷积核大小为3x3，滑移步长为1，包含压缩与激发操作，无连接失活和连接跳跃；输出112x112x16的特征图；第二MBconv6层，对第一MBconv1层输出的112x112x16的特征图进行两次移动翻转瓶颈卷积MBconv6，所述第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；所述第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出56x56x24的特征图；第三MBconv6层，对第二MBconv6层输出的56x56x24的特征图进行两次移动翻转瓶颈卷积，所述第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；所述第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出28x28x40的特征图；第四MBconv6层，对第三MBconv6层输出的28x28x40的特征图进行三次移动翻转瓶颈卷积，所述第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；所述第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；所述第三次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出14x14x80的特征图；第五MBconv6层，对第四MBconv6层输出的14x14x80的特征图进行三次移动翻转瓶颈卷积，所述第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，无连接失活和连接跳跃；所述第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；所述第三次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出14x14x112的特征图；第六MBconv6层，对第五MBconv6层输出的14x14x112的特征图进行四次移动翻转瓶颈卷积，所述第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；所述第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；所述第三次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；所述第四次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出7x7x192的特征图；第七MBconv6层，对第六MBconv6层输出的7x7x192的特征图进行一次移动翻转瓶颈卷积，所述移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，无连接失活和连接跳跃；输出7x7x320的特征图；第三步，第二普通卷积层，对所述第二步的输出进行1280个维数为1×1×320的普通卷积核进行卷积运算，设定滑移步长为1，填充值为same，则获得维数为7×7×1280的输出，使用批归一化BN归一，并使用swish函数进行激活。
根据本发明的一些实施例，所述全局平均池化层对卷积层输出的特征图在通道维度上进行全局平均池化，并随机失活部分神经元，最终输出全局特征图。
根据本发明的一些实施例，所述输出层为softmax分类层，使用softmax函数对全连接的神经元进行激活，得到石墨化等级。
根据本发明的一些实施例，所述预处理包括对金相组织图像进行降噪、矫正处理。
根据本发明的一些实施例，所述石墨化等级类型包括轻度石墨化、明显石墨化、显著石墨化、严重石墨化和无五种类型。
根据本发明的第二方面实施例的碳钢石墨化自动评级系统，包括CCD相机、处理器和显示器，所述CCD相机设置在的待检测位置，用于采集待检测位置的金相组织图像；所述处理器包括可读存储介质，所述可读存储介质设置有可执行程序，所述可执行程序在被执行时实现执行权利要求1至9任意一项所述的碳钢石墨化自动评级方法，得到分类结果；所述显示器用于输出所述处理器的分类结果。
本发明实施例具有如下有益效果：本发明基于EfficientNet网络构建碳钢石墨化金相图像的自动评级模型，实现了通过直接输入原始图像，便能快速获得评级结果。同时，为避免碳钢石墨化金相图像样本过少带来的模型过拟合问题，采用迁移学习及数据增强的方法来提高模型的准确率，可以更好的满足实际检验的需要。另外本发明采用的EfficientNet-B0平衡了网络的深度、宽度和图像分辨率，已被证实在大幅减少模型参数量的前提下，可以获得更好的计算性能和模型精度。模型不仅能够准确对碳钢石墨化金相图像进行准确评级，还能满足现场检验对实时性的要求。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1所示为根据本发明实施方式的碳钢石墨化自动评级方法的流程图；
图2所示为根据本发明实施方式的四种典型的石墨化等级示意图；
图3所示为根据本发明实施方式的EfficientNet神经网络的结构图；
图4为基于图3示出的EfficientNet神经网络的卷积提取特征的示意图；
图5所示为根据本发明实施方式的系统框图。
附图标记：
CCD相机100、处理器200、计算机可读存储介质210、显示器300。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
请参照图1，本实施例公开了一种碳钢石墨化自动评级方法，应用于具有主控制器和CCD摄像机的碳钢石墨化自动评级系统，CCD摄像机安装在的待检测位置，包括以下步骤：
S100、数据获取，获取现场和积累的碳钢金相图片，并用作训练和测试集。例如，首先对试样进行机械或化学抛光，利用CCD摄像机通过光学显微镜对待检验部位进行成像，获得金相组织图像，现场检验所收集与积累的450张碳钢金相图像作为用于模型的训练和测试的原始数据集。
S200、数据增强，不同石墨化程度的图像进行图像增强，扩充数据集的数量，以提高模型的泛化能力和分类的准确性，比如几何变换(包括旋转、翻转和平移等)、像素调整(亮度调节、对比度调节和添加噪声等)增强方式；
S300、训练EfficientNet神经网络，将所述数据集按比例分为训练集(70％)、验证集(25％)和测试集(5％)，将所述训练集输入到EfficientNet神经网络中进行迁移调参训练，将所述验证集输入到完成初步调参训练的EfficientNet神经网络中进行k折交叉验证，最后将测试集输入到训练好的EfficientNet神经网络进行测试，保存EfficientNet模型参数，完成神经网络的训练。
卷积神经网络的参数训练需要大量的标记样本数据，而对于碳钢石墨化评估来说，缺少大规模的金相组织图像样本，本发明采用迁移学习的方法来解决这个问题。ImageNet数据集十分庞大，包括120余万张图片和1000个分类，因此本发明将在ImageNet数据集上进行训练得到预训练(Pre-trained)权重，将其作为EfficientNet网络的初始参数，然后在此基础上进行参数微调(Finetune)，使得模型一方面继承了从ImageNet数据集上学习到的特征提取能力，另一方面节省模型训练时间，提高模型的泛化能力。
S400、数据预处理，对金相组织图像进行降噪、矫正等预处理。
S500、石墨化等级分类，完用完成训练后的EfficientNet神经网络对来预处理后的石墨化图片进行运算，输出对应的石墨化等级类型。
例如，将采集到某一张新的碳钢的金相组织图片输入到训练完成的EfficientNet神经网络，EfficientNet神经网络对新的金相组织图片进行运算，EfficientNet神经网络根据运算结果输出对应的石墨化等级类型，如轻度石墨化、明显石墨化、显著石墨化、严重石墨化、无，本实施例基于EfficientNet网络构建碳钢石墨化金相图像的自动评级模型，实现通过直接输入原始图像，便能快速获得评级结果。同时，为避免碳钢石墨化金相图像样本过少带来的模型过拟合问题，采用迁移学习及数据增强的方法来提高模型的准确率，以更好的满足实际检验的需要。
请参照图2，请参照图2.根据金相组织中石墨面积百分比、石墨链长度以及石墨形态将碳钢材料石墨化程度分为1-4级，分别对应“轻度石墨化”、“明显石墨化”、“显著石墨化”和“严重石墨化”
参照图3，EfficientNet神经网络包括输入层、卷积层、全局平均池化层、全连接层和输出层，其中，卷积层对输入层进行多次卷积运算，全局平均池化层对卷积层进行一次全局平均池化运算，全连接层将全局平均池化的输出映射到样本标记空间，即五种分类；输出层通过softmax函数产生多种的石墨化等级类型，softmax函数为归一化指数函数，能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1。
参照图4，数据集按照95：5的比例分为训练集和测试集，其中训练集作为EfficientNet神经网络的输入层410的输入参数，训练集的一个样本的维度为224x224x3，即R、G、B的三通道彩色图像。
卷积层包括2个普通卷积层和16个MBconv卷积层。其过程如下：
第一普通卷积层421，选择32个维数为3×3×3的卷积核与输入层进行卷积运算，设定滑移步长为2，填充值为same，则获得维数为112×112×32的第一卷积输出，使用批归一化，并使用Swish函数激活，Swish函数，是一种人工神经网络中近期谷歌提出的新的激活函数(activation function)，其公式为f(x)＝x·sigmoid(βx)，x为输入参数。
第一MBconv1卷积422，对第一普通卷积输出进行移动翻转瓶颈卷积(MobileInverted Bottleneck convolution，MBconv)，扩张比例为1，卷积核大小为3x3，滑移步长为1，包含压缩与激发操作，无连接失活和连接跳跃；输出112x112x16的第一MBconv1卷积输出；
第二MBconv6卷积423，对第一MBconv1层输出的112x112x16的特征图进行两次移动翻转瓶颈卷积MBconv6，第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出56x56x24的第二MBconv1卷积输出；
第三MBconv6卷积424，对第二MBconv6层输出的56x56x24的特征图进行两次移动翻转瓶颈卷积，第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出28x28x40的第三MBconv6卷积输出特征图；
第四MBconv6层425，对第三MBconv6层输出的28x28x40的特征图进行三次移动翻转瓶颈卷积，所述第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；所述第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；所述第三次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出14x14x80的第四MBconv6输出特征图；
第五MBconv6层426，对第四MBconv6层输出的14x14x80的特征图进行三次移动翻转瓶颈卷积，第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，无连接失活和连接跳跃；第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；第三次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出14x14x112的第五MBconv6输出特征图；
第六MBconv6层427，对第五MBconv6层输出的14x14x112的特征图进行四次移动翻转瓶颈卷积，第一次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为2x2，包含压缩与激发操作，无连接失活和连接跳跃；第二次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；第三次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；第四次移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为5x5，滑移步长为1x1，包含压缩与激发操作，有连接失活和连接跳跃；输出7x7x192的第六MBconv6输出特征图；
第七MBconv6层428，对第六MBconv6层输出的7x7x192的特征图进行一次移动翻转瓶颈卷积，所述移动翻转瓶颈卷积扩张比例为6，深度卷积核大小为3x3，滑移步长为1x1，包含压缩与激发操作，无连接失活和连接跳跃；输出7x7x320的第六MBconv6输出特征图；
第二普通卷积层429，对第六MBconv6输出特征图进行1280个维数为1×1×320的普通卷积核进行卷积运算，设定滑移步长为1，填充值为same，则获得维数为7×7×1280的输出，使用批归一化BN归一，并使用swish函数进行激活；输出7x7x1280的第二普通卷积层输出特征图；
全局平均池化层，接收第二普通卷积输出特征图，在该层在通道维度方向上进行全局平均池化，输出为(1x1x1280)的特征图；
全连接层，接收维数为1×1×1280的全局平均池化的输出，该层有五个神经元，不含偏置，并使用Swish函数激活；且可在全连接层前增加使用DropOut；DropOut仅仅产生80％的输出。
输出层，接收来自全连接层的向量，通过softmax函数产生5种的石墨化等级类型，石墨化等级类型包括轻度石墨化、明显石墨化、显著石墨化、严重石墨化、无等五种类型，其中，输出层的激活函数为xi为第i个节点的输出值，x1，x2，...xC为第1、2、…C个节点的输出值，C为分类的个数。
图5所示为根据本发明实施方式的系统框图，包括CCD相机100、处理器200和显示器300，CCD相机100安装在的待检测位置，用于采集待检测部位的碳钢金相图；处理器包括可读存储介质210，可读存储介质210设置有可执行程序，可执行程序在被执行时实现：数据获取，获取来自CCD相机中的金相图片；图像增强，对数据集中的不同石墨化程度的图像进行图像增强，扩充数据集的数量，以提高模型的泛化能力和分类的准确性；训练EfficientNet神经网络，将所述数据集按比例分为训练集(70％)、验证集(25％)和测试集(5％)，将所述训练集输入到EfficientNet神经网络中进行迁移调参训练，将所述验证集输入到完成初步调参训练的EfficientNet神经网络中进行k折交叉验证，最后将测试集输入到训练好的EfficientNet神经网络进行测试，保存EfficientNet模型参数，完成神经网络的训练；数据预处理，对金相组织图像进行降噪、矫正等预处理；石墨化等级分类，用完成训练后的EfficientNet神经网络对来预处理后的石墨化图片进行运算，输出对应的石墨化等级类型；显示器300用于输出处理器的分类结果。
尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种碳钢石墨化自动评级方法，其特征在于，包括以下步骤：
数据获取，基于CCD摄像机通过光学显微镜对试样的检验部位进行成像，得到金相组织图像，获取多张所述金相组织图像作为用于模型训练和测试的原始数据集；
数据增强，对所述原始数据集中的不同石墨化程度的所述金相组织图像进行图像增强，得到扩充了金相组织图像数量的数据集；
训练EfficientNet神经网络，将所述数据集按比例分为训练集、验证集和测试集，并基于所述训练集、验证集和测试集完成EfficientNet神经网络的训练；
数据预处理，对获取到的金相组织图像进行预处理；
石墨化等级分类，基于完成训练的EfficientNet神经网络对经过所述数据预处理步骤得到的金相组织图像进行运算，输出对应的石墨化等级类型；
所述训练EfficientNet神经网络包括：
将所述训练集输入到EfficientNet神经网络中进行迁移调参训练；
将所述验证集输入到完成初步调参训练的EfficientNet神经网络中进行k折交叉验证；
将所述测试集输入到训练好的EfficientNet神经网络进行测试，保存EfficientNet模型参数，完成神经网络的训练；
所述EfficientNet神经网络采用EfficientNet-B0作为主干网络，所述EfficientNet-B0网络包括输入层、卷积层、全局平均池化层、全连接层和输出层；
所述卷积层对所述输入层的图像进行局部特征提取；
所述全局平均池化层对卷积层的局部特征进行整合降维，提取出全局有用的特征；
所述全连接层接收全局平均池化层的输出，并将所述全局平均池化层的输出特征映射成一个1x1xC的向量，实现分类；其中C表示分类的个数；
所述输出层将所述全连接层的结果通过softmax函数输出石墨化的等级类型；
所述卷积层对所述输入层进行16个MBconv卷积运算和2个普通的conv卷积运算；
所述全局平均池化层对卷积层输出的特征图在通道维度上进行全局平均池化，并随机失活部分神经元，最终输出全局特征图；
所述输出层为softmax分类层，使用softmax函数对全连接的神经元进行激活，得到石墨化等级。
2.根据权利要求1所述的碳钢石墨化自动评级方法，其特征在于，所述数据增强包括：
几何变换，包括旋转、翻转和平移；
像素调整，包括亮度调节、对比度调节和添加噪声。
3.根据权利要求1所述的碳钢石墨化自动评级方法，其特征在于，所述预处理包括对金相组织图像进行降噪、矫正处理。
4.根据权利要求1所述的碳钢石墨化自动评级方法，其特征在于，所述石墨化等级类型包括轻度石墨化、明显石墨化、显著石墨化、严重石墨化和无五种类型。
5.一种碳钢石墨化自动评级系统，其特征在于，包括CCD相机、处理器和显示器，
所述CCD相机设置在的待检测位置，用于采集待检测位置的金相组织图像；
所述处理器包括可读存储介质，所述可读存储介质设置有可执行程序，所述可执行程序在被执行时实现执行权利要求1至4任意一项所述的碳钢石墨化自动评级方法，得到分类结果；
所述显示器用于输出所述处理器的分类结果。
CN202110056987.9A 2021-01-15 2021-01-15 碳钢石墨化自动评级方法和系统 Active CN112884001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110056987.9A CN112884001B (zh) 2021-01-15 2021-01-15 碳钢石墨化自动评级方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110056987.9A CN112884001B (zh) 2021-01-15 2021-01-15 碳钢石墨化自动评级方法和系统

Publications (2)

Publication Number Publication Date
CN112884001A CN112884001A (zh) 2021-06-01
CN112884001B true CN112884001B (zh) 2024-03-05

Family

ID=76048300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110056987.9A Active CN112884001B (zh) 2021-01-15 2021-01-15 碳钢石墨化自动评级方法和系统

Country Status (1)

Country Link
CN (1) CN112884001B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592024B (zh) * 2021-08-12 2024-05-28 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN113657492A (zh) * 2021-08-17 2021-11-16 上海海事大学 一种笔石化石图像的分类方法
CN113688931B (zh) * 2021-09-01 2024-03-29 什维新智医疗科技(上海)有限公司 一种基于深度学习的超声图像筛选方法和装置
CN114324361B (zh) * 2021-12-31 2024-03-15 大连理工大学 一种金相组织劣化评级方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN109416928A (zh) * 2016-06-07 2019-03-01 伊路米纳有限公司 用于进行二级和/或三级处理的生物信息学系统、设备和方法
CN110399916A (zh) * 2019-07-24 2019-11-01 淮阴工学院 一种基于图像增强和Inception网络的皮肤癌图像分类方法
CN111209863A (zh) * 2020-01-07 2020-05-29 北京旷视科技有限公司 一种活体模型训练和人脸活体检测方法、装置和电子设备
CN111862093A (zh) * 2020-08-06 2020-10-30 华中科技大学 一种基于图像识别的腐蚀等级信息处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416928A (zh) * 2016-06-07 2019-03-01 伊路米纳有限公司 用于进行二级和/或三级处理的生物信息学系统、设备和方法
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN110399916A (zh) * 2019-07-24 2019-11-01 淮阴工学院 一种基于图像增强和Inception网络的皮肤癌图像分类方法
CN111209863A (zh) * 2020-01-07 2020-05-29 北京旷视科技有限公司 一种活体模型训练和人脸活体检测方法、装置和电子设备
CN111862093A (zh) * 2020-08-06 2020-10-30 华中科技大学 一种基于图像识别的腐蚀等级信息处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积网络特征迁移的小样本物体图像识别;白洁;张金松;刘倩宇;;计算机仿真(第05期);全文 *

Also Published As

Publication number Publication date
CN112884001A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112884001B (zh) 碳钢石墨化自动评级方法和系统
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN110119753B (zh) 一种重构纹理识别岩性的方法
Wu et al. Automatic fabric defect detection using a wide-and-light network
CN101140216A (zh) 基于数字图像处理技术的气液两相流流型识别方法
CN112101426A (zh) 基于自编码器的无监督学习图像异常检测方法
CN110781924A (zh) 一种基于全卷积神经网络的侧扫声纳图像特征提取方法
Huang et al. A provably convergent scheme for compressive sensing under random generative priors
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
Zhang et al. An efficient lightweight convolutional neural network for industrial surface defect detection
CN110826467B (zh) 一种电子显微镜图像重建系统及其方法
CN116071650A (zh) 一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法
CN111124895B (zh) 一种主次峰值比计算算法的蜕变测试方法
Gonthina et al. Deep CNN-based concrete cracks identification and quantification using image processing techniques
Soufi et al. Benchmark of deep learning models for single image super-resolution (SISR)
CN114358091A (zh) 一种基于卷积神经网络的桩损伤识别方法、设备及介质
Padhy et al. Image classification in artificial neural network using fractal dimension
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法
Li et al. An unsupervised concrete crack detection method based on nnU-Net
CN111260552B (zh) 一种基于递进学习的图像超分辨率方法
Wang et al. Vision measurement of gear pitting based on DCGAN and U-Net
Xie et al. An automatic pixel-level crack identification method for coals experiencing SHPB impact tests
Lazzaretti et al. A continuous, non-convex & sparse super-resolution approach for fluorescence microscopy data with Poisson noise
CN116486404B (zh) 基于卷积神经网络的针状焦显微图检测的方法和装置
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant