CN110619355A - 基于深度学习的钢铁材料微观组织自动识别方法 - Google Patents
基于深度学习的钢铁材料微观组织自动识别方法 Download PDFInfo
- Publication number
- CN110619355A CN110619355A CN201910802572.4A CN201910802572A CN110619355A CN 110619355 A CN110619355 A CN 110619355A CN 201910802572 A CN201910802572 A CN 201910802572A CN 110619355 A CN110619355 A CN 110619355A
- Authority
- CN
- China
- Prior art keywords
- data set
- microstructure
- icam
- model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 46
- 239000010959 steel Substances 0.000 title claims abstract description 46
- 239000000463 material Substances 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000011478 gradient descent method Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 11
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims 2
- 229910052742 iron Inorganic materials 0.000 claims 1
- 238000010200 validation analysis Methods 0.000 description 9
- 229910001563 bainite Inorganic materials 0.000 description 8
- 229910000734 martensite Inorganic materials 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 229910000859 α-Fe Inorganic materials 0.000 description 4
- 229910001562 pearlite Inorganic materials 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 229910001339 C alloy Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- QMQXDJATSGGYDR-UHFFFAOYSA-N methylidyneiron Chemical compound [C].[Fe] QMQXDJATSGGYDR-UHFFFAOYSA-N 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 229910001566 austenite Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000011819 refractory material Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的钢铁材料微观组织自动识别方法。一、确定要识别的钢材微观组织种类及微观组织放大倍数，搜集在该放大倍数下电子扫描显微镜获得的相同规格大小的历史钢铁材料微观组织图片，以得到数据集，为数据集中的每张图片确定一个类别标签；二、对步骤一中搜集到的所有图片进行相同的预处理；三、构建卷积神经网络CNN‑ICAM模型；四、预先设置迭代次数，采用交叉熵作为损失函数，应用随机梯度下降法对神经网络CNN‑ICAM模型进行训练；五、对需要识别的钢铁材料微观组织图片，先按步骤二的方法进行预处理，然后，再用步骤四训练好的卷积神经网络模型进行自动识别。该方法不仅能提高识别精度又能提高识别速度。
Description
技术领域
本发明属于钢铁材料微观组织识别技术领域，涉及一种基于深度学习的钢铁材料微观组织自动识别方法，尤其涉及一种基于卷积神经网络的钢铁材料微观组织自动识别方法。
背景技术
钢铁材料以其优异的力学性能和低廉的成本，仍然是最重要和最广泛使用的材料之一，钢铁材料微观组织丰富多样，包括铁素体，珠光体，贝氏体，马氏体，奥氏体等，其微观组织类型、含量、尺寸、形貌和分布等特点决定了材料的性能，因此研究钢铁材料的微观组织重要意义。
在钢铁材料微观组织中，如何正确对微观组织进行分类尤其重要。受加热条件、轧制工艺、冷却速度、热处理工艺等因素的影响，钢铁材料微观组织形貌具有多样性和复杂性。例如，根据冷却速度不同，铁素体的形态有等轴状、不规则状、针状等；根据转变温度不同，钢中贝氏体形态有羽毛状(上贝氏体)、针状(下贝氏体)、片状等；根据含碳量不同，钢中马氏体形态有板条状、针状、片状等。目前，钢铁材料微观组织分类任务是通过人工观察样品图像，并为其分配一个微结构类来完成的。人工分析对技术人员的专业知识水平和实践经验等依赖性较大，且由于技术人员专业水平不同，会产生不同的意见，使得人工分类效率较低，误差较大。
深度学习的概念源于人工神经网络的研究，是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。有研究表明，深度学习在某些特定的图像识别上，能力已经超过人类，造成这一现象的主要原因是深度学习模型通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，和其较强抗噪、复杂函数表达及泛化能力，深度学习不止应用于图像识别，还包括图像生成、机器翻译、目标检测、机器人技术等多个领域。
典型的神经网络结构通常由输入层、卷积层、池化层(下采样层)、全连接层以及输出层组成，还包括Relu激活函数，损失函数；输入层决定了原始图像输入向量的尺寸；卷积层用于从一个平面到下一个平面的映射，其神经元自动提取图像的局部特征，每个神经元都与前一层的局部感受域相连，每层中各平面的神经元提取图像中特定区域的局部特征，如边缘特征、方向特征等；池化层可看作是模糊滤波器，起到二次特征提取的作用，且池化层隐层与隐层之间的空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息；全连接层连接并整合所有的特征后，将输出值送给分类器，映射到样本标签。图1展示了现代卷积神经网络Vgg16，其输入224*224*3的图像，其包含了1个输入层、13个卷积层、3个全连接层、5个池化层和1个Softmax回归层，另外，还引入了Dropout层(按照一定的概率使神经元之间断开连接，减少某些局部特征作用)防止过拟合；图1中A表示钢铁显微组织所有类别个数，Softmax层输出结果映射到(0，1)之间，通过Softmax计算第i类的概率，计算公式如下：
其中，xi为预测分类的第i项；j代表总类别数；只是Softmax公式中的一部分，用来计算每一类概率。
发明内容
本发明的目的是为了解决现有技术存在的问题，提出一种基于深度学习的钢材微观组织自动识别方法，以提高钢材微观组织的识别精度与识别效率。
本发明的目的是通过以下技术方案实现的：
一种基于深度学习的钢材微观组织自动识别方法，包括以下步骤：
步骤一、确定要识别的钢材微观组织种类以及微观组织放大倍数a，其中50<a<10000，并搜集在该放大倍数下电子扫描显微镜(SEM)所获得的相同规格大小的历史实验的钢铁材料微观组织图片，以得到数据集，为数据集中的每张图片确定一个类别标签。
步骤二、对步骤一中搜集到的所有图片进行相同的预处理；预处理方法如下：
1)剔除电子扫描显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的初始数据集，再将其分为初始训练数据集T0和验证数据集V0；
2)将初始训练数据集T0中三通道的灰度图转化为单通道的灰度图，得到训练数据集T1；
3)对训练数据集T1中的每张图片，按照步长m剪切为不同的n*n*1图像，其中100<m<400，100<n<800，得到新的训练数据集T2；
4)对训练数据集T2中的所有图像进行图像减均值处理，得到训练数据集T3。
步骤三、构建卷积神经网络CNN-ICAM模型，其中，CNN代表卷积神经网络，ICAM(Iron carbon alloy microstructure)代表钢铁材料微观组织图像；
步骤四、预先设置迭代次数，采用交叉熵作为损失函数，应用随机梯度下降法对神经网络CNN-ICAM模型进行训练；具体训练步骤如下：
1)对神经网络CNN-ICAM模型的所有权重参数随机初始化。
2)将训练数据集T3中图片排列顺序随机打乱。
3)按打乱后的顺序向神经网络CNN-ICAM每次输入一定数量的图片(16张、32张或64张图片)，记录神经网络CNN-ICAM的输出向量，结合实际输出向量与期望向量，使用交叉熵损失函数与反向传播算法，更新CNN-ICAM模型的权重参数；将训练数据集T3中所有图片均输入一次，算一次迭代(即进行一次迭代计算；一次迭代是要把所有的图片都计算一遍，但是，图片数量太多，计算机不可能一次性计算，就只能分批，所以，一次迭代计算里面分多个批次，每批次输入一定数量的图片进行计算)。
4)记录每次迭代模型参数，判断是否达到最大迭代次数，达到最大迭代次数，则执行步骤5，未达到则返回步骤3继续训练。
5)取出训练过程中(迭代过程中)损失函数最小的模型作为最终模型Best_Model。
步骤五、对需要识别的钢铁材料微观组织图片，先按步骤二的方法进行预处理，然后，再用步骤四训练好的权重参数即步骤四训练好之后得到的最终模型Best_Model进行自动识别。
进一步地，上述步骤二的第4)步中，对训练数据集T2中的所有图像进行减均值处理的方法如下：求出训练数据集图像每个像素点的均值T2-mean(i,j)，i代表图像像素点的横坐标，j代表其纵坐标；对训练数据集中所有图像对应的像素点的像素灰度值P(i,j)减去均值T2-mean(i,j)。
进一步地，上述步骤三中，构建25层卷积神经网络CNN-ICAM，该25层卷积神经网络CNN-ICAM的结构包括1个输入层、13个卷积层、3个全连接层、5个最大池化层、2个Dropout层和1个Softmax回归层；
卷积层(Conv)均采用3*3卷积核，其中Conv1～2、Conv5～7含有64个卷积核，Conv3～4含有32个卷积核，Conv8～10含有128个卷积核，Conv11～13含有256个卷积核，且每次卷积操作后，接批量归一化(Batch Normalization)，再接Relu激活函数；最大池化层，池化像素面积为2*2，滑动步长为2；全连接层，前两层神经元个数为256，最后一层为所需分类的类别数；Dropout层，神经元消失概率为0.3～0.8。
进一步地，上述步骤四中，预先设置迭代次数(100～10000次)；采用交叉熵作为损失函数，不添加正则项；应用随机梯度下降法对神经网络CNN-ICAM模型进行训练时，保留每次迭代模型参数；
进一步地，上述步骤四的第3)步中，按顺序向神经网络CNN-ICAM每次输入16张、32张或64张图片。
本发明的有益效果：
目前，钢铁材料微观组织分类任务是通过人工观察样品图像，并为其分配一个微结构类来完成的。人工分析对技术人员的专业知识水平和实践经验等依赖性较大，且由于技术人员专业水平不同，会产生不同的意见，使得人工分类效率较低，误差较大。本发明针对上述钢铁材料微观组织识别出现的问题，结合深度学习优势，提出了一种基于卷积神经网络的钢铁材料微观组织自动识别方法，其不仅能提高识别精度又能提高识别速度。
附图说明
图1是现有技术中的卷积神经网络Vgg16的网络结构图；
图2是本发明中电子扫描显微镜拍摄的钢铁材料微观组织图片数据集样本图；
图3是本发明中提出的改进的卷积神经网络(CNN-ICAM)的网络结构图；
图4是本发明中的卷积神经网络模型在训练数据集T3与验证数据集V3上的损失函数下降曲线图；
图5是本发明中的卷积神经网络模型在训练数据集T3与验证数据集V3上的预测精度上升曲线图。
图2中：(d)铁素体 (f)珠光体 (a)上贝氏体
(e)下贝氏体 (b)板条马氏体 (c)片状马氏体
具体实施方式
以下结合附图和实施例对本发明作进一步的说明。
实施例1
本发明一种基于深度学习的钢材微观组织自动识别方法，使用keras等高级深度学习框架来搭建卷积神经网络模型，使用OpenCV(开源计算机视觉库)对图像进行预处理。
下面以武汉科技大学耐火材料与冶金国家重点实验室历史实验电子扫描显微镜所拍摄的120张10000×(即放大10000倍)的钢铁材料微观组织图片为例，使用深度学习来进行钢铁材料微观组织的自动识别。
本发明一种基于深度学习的钢材微观组织自动识别方法，具体按以下步骤进行：
步骤一、确定要识别的钢材微观组织种类以及微观组织放大倍数a，其中50<a<10000，并搜集在该放大倍数下电子扫描显微镜(SEM)所获得的相同规格大小的历史实验的钢铁材料微观组织图片，以得到数据集；为数据集中的每张图片确定一个类别标签。
本实施例中收集到的120张图片包括铁素体、珠光体、上贝氏体、下贝氏体、板条马氏体、片状马氏体六种(六个类别)，放大10000倍图(放大倍数a为10000倍)，图2展示的是其中的部分样本图。
按照3:1的比例将数据集分为训练数据集T0与验证数据集V0，其中，训练数据集与验证数据集互不交叉，且验证数据集不参与模型训练，仅作测试用，因此，验证数据集也叫测试数据集。本实施例中各类微观组织图的训练数据集和验证数据集的具体分布见表1：
表1各类微观组织图的训练数据集与验证数据集分布
步骤二、对步骤一中搜集到的所有图片进行相同预处理，预处理方法如下：
1)剔除电子扫描显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的图片大小为884*884*3的初始训练数据集(T0)与验证数据集(V0)。
2)将初始训练数据集T0与初始验证数据集V0中三通道的灰度图转化为单通道的灰度图，得到训练数据集T1与验证数据集V1。
3)对训练数据集T1与验证数据集V1中的每张图片，按照步长m剪切为多张n*n*1图像，其中m＝221，n＝221，得到新的训练数据集T2与新的验证数据集V2，其中，T2有89*16张图片，V2有31*16张图片。
4)对训练数据集T2与验证数据集V2中的所有图像进行图像减均值处理，即求出训练数据集图像每个像素点的均值T2-mean(i,j)(i代表图像像素点的横坐标，j代表其纵坐标)；对训练数据集中所有图像对应的像素点的像素灰度值P(i,j)减去均值T2-mean(i,j)得到训练数据集T3，对验证数据集中所有图像对应的像素点的像素灰度值P(i,j)减去均值图T2-mean(i,j)得到验证数据集V3。
步骤三、利用keras高级深度学习框架构建25层卷积神经网络CNN-ICAM，其中，CNN代表卷积神经网络，ICAM(Iron carbon alloy microstructure)代表钢铁材料微观组织图像的英文缩写；如图3所示，该25层卷积神经网络CNN-ICAM的结构包括1个输入层、13个卷积层、3个全连接层、5个最大池化层、2个Dropout层和1个Softmax回归层。
其中，输入图片大小为221*221*1，输出为6种不同类别的概率；
所有卷积层(Conv)均采用3*3卷积核，滑动步长为1，Conv1～2、Conv5～7含有64个卷积核，Conv3～4含有32个卷积核，Conv8～10含有128个卷积核，Conv11～13含有256个卷积核，且每次卷积操作后，接批量归一化(Batch Normalization)，再接relu激活函数；
最大池化层，池化像素面积为2*2，滑动步长为2；
全连接层，前两层神经元个数为256，最后一层所需分类的类别数为6；
Dropout层，神经元消失概率为0.5。
图3展示的本发明的改进的卷积神经网络(CNN-ICAM)的网络结构图，相较于现有的Vgg16网络结构图(图1)，在整体结构上相同，但是输入层接收的图片大小不同，卷积层每层卷积核数量不同，全连接层神经元个数也不同，最终输出层输出的类别也不同，其在图3中已详细标明。
步骤四、使用训练数据集T3，采用交叉熵作为损失函数(不添加正则项)，应用随机梯度下降法对神经网络CNN-ICAM模型进行训练(随机梯度下降算法的每个批次中的样本个数设置为16，预先设置迭代次数为500次，保留每次迭代模型参数)；具体训练步骤如下：
1)对神经网络CNN-ICAM模型的所有权重参数随机初始化。
2)将训练数据集T3中图片排列顺序随机打乱。
3)按打乱后的顺序向神经网络CNN-ICAM每次输入16张图片，记录神经网络CNN-ICAM的输出向量，结合实际输出向量与期望向量，使用交叉熵损失函数与反向传播算法，更新CNN-ICAM模型的权重参数；将训练数据集T3中所有图片均输入一次，算一次迭代(即进行一次迭代计算；一次迭代是要把所有的图片都计算一遍，但是，图片数量太多，计算机不可能一次性计算，就只能分批，所以，一次迭代计算分成多个批次，每批次输入16张图片进行计算)。
4)记录每次迭代模型参数，判断是否达到最大迭代次数，达到最大迭代次数，则执行步骤5，未达到则返回步骤3继续训练。
5)取出训练过程中(迭代过程中)损失函数最小的模型作为最终模型Best_Model。
图4展示模型在训练数据集T3与验证数据集V3上的损失函数下降曲线，图5展示了其在训练数据集T3与验证数据集V3上的预测精度上升曲线，可以看到，其在验证数据集上的预测精度最高接近100％。
步骤五、对需要识别的钢铁材料微观组织图片，先按步骤二的方法进行预处理，然后，再用步骤四训练好的权重参数即步骤四训练好之后得到的最终模型Best_Model进行自动识别。
最后，统计出验证数据集在Best_Model下的各类钢铁微观组织图的精确率和召回率。精确率是对某类样本识别的准确性的度量，召回率反映了对某样本识别的全面性(能否全部识别)的度量。对于某一类样本A，属于类A的样本被正确分类到类A，记这一类样本数为TP，不属于类A的样本被错误分类到类A，记这一类样本数为FP，属于类别A的样本被错误分类到类A的其他类，记这一类样本数为TN，不属于类别A的样本被正确分类到了类别A的其他类，记这一类样本数为FN；则精确率：召回率：统计得到的精确率和召回率数据见表2。从表2中可以看到，所有类型的钢铁微观组织图的精确率和召回率均在98％以上。
表2不同类型的钢铁材料微观组织图在Best_Model下的准确率与召回率
由此可见，本发明的基于深度学习的钢材微观组织自动识别方法，对各种不同类型的钢铁材料微观组织图进行自动识别，其识别的准确性和识别的全面性都很高。
Claims (9)
1.一种基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，
包括以下步骤：
步骤一、确定要识别的钢材微观组织种类以及微观组织放大倍数a，其中50<a<10000，并搜集在该放大倍数下电子扫描显微镜所获得的相同规格大小的历史实验的钢铁材料微观组织图片，以得到数据集，为数据集中的每张图片确定一个类别标签；
步骤二、对步骤一中搜集到的所有图片进行相同的预处理；预处理方法如下：
1)剔除电子扫描显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的初始数据集，再将其分为初始训练数据集T0和验证数据集V0；
2)将初始训练数据集T0中三通道的灰度图转化为单通道的灰度图，得到训练数据集T1；
3)对训练数据集T1中的每张图片，按照步长m剪切为不同的n*n*1图像，其中100<m<400，100<n<800，得到新的训练数据集T2；
4)对训练数据集T2中的所有图像进行图像减均值处理，得到训练数据集T3；
步骤三、构建卷积神经网络CNN-ICAM模型，其中，CNN代表卷积神经网络，ICAM代表钢铁材料微观组织图像；
步骤四、预先设置迭代次数，采用交叉熵作为损失函数，应用随机梯度下降法对神经网络CNN-ICAM模型进行训练；具体训练步骤如下：
1)对神经网络CNN-ICAM模型的所有权重参数随机初始化；
2)将训练数据集T3中图片排列顺序随机打乱；
3)按打乱后的顺序向神经网络CNN-ICAM每次输入一定数量的图片，记录神经网络CNN-ICAM的输出向量，结合实际输出向量与期望向量，使用交叉熵损失函数与反向传播算法，更新CNN-ICAM模型的权重参数；将训练数据集T3中所有图片均输入一次，算一次迭代；
4)记录每次迭代模型参数，判断是否达到最大迭代次数，达到最大迭代次数，
则执行步骤5，未达到则返回步骤3继续训练；
5)取出训练过程中即迭代过程中损失函数最小的模型作为最终模型Best_Model；
步骤五、对需要识别的钢铁材料微观组织图片，先按步骤二的方法进行预处理，然后，再用步骤四训练好的权重参数即步骤四训练好之后得到的最终模型Best_Model进行自动识别。
2.如权利要求1所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤二的第4)步中，对训练数据集T2中的所有图像进行减均值处理的方法如下：求出训练数据集图像每个像素点的均值T2-mean(i,j)，对训练数据集T2中所有图像对应的像素点的像素灰度值P(i,j)减去均值T2-mean(i,j)；i代表图像像素点的横坐标，j代表其纵坐标。
3.如权利要求1所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤三中，构建25层卷积神经网络CNN-ICAM，该25层卷积神经网络CNN-ICAM的结构包括1个输入层、13个卷积层、3个全连接层、5个最大池化层、2个Dropout层和1个Softmax回归层。
4.如权利要求3所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤三中，卷积层Conv均采用3*3卷积核，其中Conv1～2、Conv5～7含有64个卷积核，Conv3～4含有32个卷积核，Conv8～10含有128个卷积核，Conv11～13含有256个卷积核；且每次卷积操作后，接批量归一化，再接Relu激活函数。
5.如权利要求3所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤三中，最大池化层，池化像素面积为2*2，滑动步长为2。
6.如权利要求3所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤三中，全连接层，前两层神经元个数为256，最后一层为所需分类的类别数。
7.如权利要求3所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤三中，Dropout层，神经元消失概率为0.3～0.8。
8.如权利要求1所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤四中，预先设置迭代次数为100～10000次；采用交叉熵作为损失函数，不添加正则项；应用随机梯度下降法对CNN-ICAM模型进行训练时，保留每次迭代模型参数。
9.如权利要求1所述的基于深度学习的钢铁材料微观组织自动识别方法，其特征在于，上述步骤四的第3)步中，按顺序向神经网络CNN-ICAM每次输入16张、32张或64张图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802572.4A CN110619355B (zh) | 2019-08-28 | 2019-08-28 | 基于深度学习的钢铁材料微观组织自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802572.4A CN110619355B (zh) | 2019-08-28 | 2019-08-28 | 基于深度学习的钢铁材料微观组织自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619355A true CN110619355A (zh) | 2019-12-27 |
| CN110619355B CN110619355B (zh) | 2023-01-06 |
Family
ID=68922040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910802572.4A Active CN110619355B (zh) | 2019-08-28 | 2019-08-28 | 基于深度学习的钢铁材料微观组织自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619355B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111398282A (zh) * | 2020-04-21 | 2020-07-10 | 广东韶钢松山股份有限公司 | 碳钢索氏体定量分析方法 |
| CN111696632A (zh) * | 2020-06-22 | 2020-09-22 | 钢铁研究总院 | 一种金属材料中γ′相微观组织全视场定量统计分布表征方法 |
| CN111860421A (zh) * | 2020-07-30 | 2020-10-30 | 东北大学 | 一种基于Mask R-CNN网络的C-Mn钢组织识别方法 |
| CN111965183A (zh) * | 2020-08-17 | 2020-11-20 | 沈阳飞机工业（集团）有限公司 | 基于深度学习的钛合金显微组织检测方法 |
| CN112001446A (zh) * | 2020-08-25 | 2020-11-27 | 中国特种设备检测研究院 | 高铬马氏体耐热钢组织老化等级的确定方法及装置 |
| CN112132086A (zh) * | 2020-09-29 | 2020-12-25 | 中国特种设备检测研究院 | 一种多尺度马氏体微观组织老化与损伤分级方法 |
| CN112395932A (zh) * | 2020-06-22 | 2021-02-23 | 钢铁研究总院 | 一种金属材料中显微组织全视场定量统计分布表征方法 |
| US20210103805A1 (en) * | 2019-10-04 | 2021-04-08 | United Technologies Corporation | Machine learning based rotor alloy design system |
| CN112861665A (zh) * | 2021-01-25 | 2021-05-28 | 中国石油天然气集团有限公司 | 一种基于深度学习的油套管热处理组织检验方法 |
| CN113033106A (zh) * | 2021-04-06 | 2021-06-25 | 东北大学 | 一种基于ebsd与深度学习方法的钢铁材料性能预测方法 |
| CN113177574A (zh) * | 2021-03-19 | 2021-07-27 | 华中科技大学 | 用于材料表征图像分析的视觉模型及其分析方法 |
| JPWO2021153633A1 (zh) * | 2020-01-29 | 2021-08-05 | ||
| CN113420385A (zh) * | 2021-05-25 | 2021-09-21 | 武汉工程大学 | 一种基于机器学习的钢材微观组织力学性能预测方法 |
| CN113792666A (zh) * | 2021-09-16 | 2021-12-14 | 哈尔滨工业大学（深圳） | 一种基于扫描电镜图像的混凝土分类方法及系统 |
| CN114324361A (zh) * | 2021-12-31 | 2022-04-12 | 大连理工大学 | 一种金相组织劣化评级方法及装置 |
| CN114677677A (zh) * | 2022-05-30 | 2022-06-28 | 南京友一智能科技有限公司 | 一种质子交换膜燃料电池气体扩散层材料比例预测方法 |
| CN115114967A (zh) * | 2020-09-21 | 2022-09-27 | 武汉科技大学 | 基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018072326A1 (zh) * | 2016-10-21 | 2018-04-26 | 广州视源电子科技股份有限公司 | 基于图像识别的焊点类型检测和装置 |
| CN109145846A (zh) * | 2018-08-30 | 2019-01-04 | 苏州富莱智能科技有限公司 | 材料微观结构智能识别分析系统及分析方法 |
| CN109919243A (zh) * | 2019-03-15 | 2019-06-21 | 天津拾起卖科技有限公司 | 一种基于cnn的废钢铁种类自动识别方法及装置 |
| US20190213734A1 (en) * | 2018-01-09 | 2019-07-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor |
-
2019
- 2019-08-28 CN CN201910802572.4A patent/CN110619355B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018072326A1 (zh) * | 2016-10-21 | 2018-04-26 | 广州视源电子科技股份有限公司 | 基于图像识别的焊点类型检测和装置 |
| US20190213734A1 (en) * | 2018-01-09 | 2019-07-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor |
| CN109145846A (zh) * | 2018-08-30 | 2019-01-04 | 苏州富莱智能科技有限公司 | 材料微观结构智能识别分析系统及分析方法 |
| CN109919243A (zh) * | 2019-03-15 | 2019-06-21 | 天津拾起卖科技有限公司 | 一种基于cnn的废钢铁种类自动识别方法及装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11676009B2 (en) * | 2019-10-04 | 2023-06-13 | Raytheon Technologies Corporation | Machine learning based rotor alloy design system |
| US20210103805A1 (en) * | 2019-10-04 | 2021-04-08 | United Technologies Corporation | Machine learning based rotor alloy design system |
| JPWO2021153633A1 (zh) * | 2020-01-29 | 2021-08-05 | ||
| JP7147974B2 (ja) | 2020-01-29 | 2022-10-05 | Ｊｆｅスチール株式会社 | 金属組織の相の分類方法、金属組織の相の分類装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置 |
| CN115038965A (zh) * | 2020-01-29 | 2022-09-09 | 杰富意钢铁株式会社 | 金相组织的相的分类方法、金相组织的相的分类装置、金相组织的相的学习方法、金相组织的相的学习装置、金属材料的材料特性预测方法和金属材料的材料特性预测装置 |
| WO2021153633A1 (ja) * | 2020-01-29 | 2021-08-05 | Ｊｆｅスチール株式会社 | 金属組織の相の分類方法、金属組織の相の分類装置、金属組織の相の学習方法、金属組織の相の学習装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置 |
| CN111398282B (zh) * | 2020-04-21 | 2023-03-14 | 广东韶钢松山股份有限公司 | 碳钢索氏体定量分析方法 |
| CN111398282A (zh) * | 2020-04-21 | 2020-07-10 | 广东韶钢松山股份有限公司 | 碳钢索氏体定量分析方法 |
| CN112395932A (zh) * | 2020-06-22 | 2021-02-23 | 钢铁研究总院 | 一种金属材料中显微组织全视场定量统计分布表征方法 |
| CN111696632B (zh) * | 2020-06-22 | 2023-10-10 | 钢铁研究总院有限公司 | 一种金属材料中γ′相微观组织全视场定量统计分布表征方法 |
| CN111696632A (zh) * | 2020-06-22 | 2020-09-22 | 钢铁研究总院 | 一种金属材料中γ′相微观组织全视场定量统计分布表征方法 |
| CN111860421A (zh) * | 2020-07-30 | 2020-10-30 | 东北大学 | 一种基于Mask R-CNN网络的C-Mn钢组织识别方法 |
| CN111965183A (zh) * | 2020-08-17 | 2020-11-20 | 沈阳飞机工业（集团）有限公司 | 基于深度学习的钛合金显微组织检测方法 |
| CN111965183B (zh) * | 2020-08-17 | 2023-04-18 | 沈阳飞机工业（集团）有限公司 | 基于深度学习的钛合金显微组织检测方法 |
| CN112001446A (zh) * | 2020-08-25 | 2020-11-27 | 中国特种设备检测研究院 | 高铬马氏体耐热钢组织老化等级的确定方法及装置 |
| CN115114967A (zh) * | 2020-09-21 | 2022-09-27 | 武汉科技大学 | 基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法 |
| CN112132086A (zh) * | 2020-09-29 | 2020-12-25 | 中国特种设备检测研究院 | 一种多尺度马氏体微观组织老化与损伤分级方法 |
| CN112861665A (zh) * | 2021-01-25 | 2021-05-28 | 中国石油天然气集团有限公司 | 一种基于深度学习的油套管热处理组织检验方法 |
| CN113177574A (zh) * | 2021-03-19 | 2021-07-27 | 华中科技大学 | 用于材料表征图像分析的视觉模型及其分析方法 |
| CN113033106A (zh) * | 2021-04-06 | 2021-06-25 | 东北大学 | 一种基于ebsd与深度学习方法的钢铁材料性能预测方法 |
| CN113033106B (zh) * | 2021-04-06 | 2023-09-19 | 东北大学 | 一种基于ebsd与深度学习方法的钢铁材料性能预测方法 |
| CN113420385A (zh) * | 2021-05-25 | 2021-09-21 | 武汉工程大学 | 一种基于机器学习的钢材微观组织力学性能预测方法 |
| CN113792666A (zh) * | 2021-09-16 | 2021-12-14 | 哈尔滨工业大学（深圳） | 一种基于扫描电镜图像的混凝土分类方法及系统 |
| CN114324361A (zh) * | 2021-12-31 | 2022-04-12 | 大连理工大学 | 一种金相组织劣化评级方法及装置 |
| CN114324361B (zh) * | 2021-12-31 | 2024-03-15 | 大连理工大学 | 一种金相组织劣化评级方法及装置 |
| CN114677677A (zh) * | 2022-05-30 | 2022-06-28 | 南京友一智能科技有限公司 | 一种质子交换膜燃料电池气体扩散层材料比例预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619355B (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619355B (zh) | 基于深度学习的钢铁材料微观组织自动识别方法 | |
| CN110516561B (zh) | 基于dcgan和cnn的sar图像目标识别方法 | |
| CN110097543B (zh) | 基于生成式对抗网络的热轧带钢表面缺陷检测方法 | |
| McNeely-White et al. | Inception and ResNet features are (almost) equivalent | |
| CN112101426B (zh) | 基于自编码器的无监督学习图像异常检测方法 | |
| CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| CN104616030B (zh) | 一种基于极限学习机算法的识别方法 | |
| CN107563999A (zh) | 一种基于卷积神经网络的芯片缺陷识别方法 | |
| CN108304316B (zh) | 一种基于协同迁移的软件缺陷预测方法 | |
| CN109871885A (zh) | 一种基于深度学习和植物分类学的植物识别方法 | |
| CN111753918B (zh) | 一种基于对抗学习的去性别偏见的图像识别模型及应用 | |
| CN109598711B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
| CN114038037B (zh) | 基于可分离残差注意力网络的表情标签修正和识别方法 | |
| Bani-Hani et al. | Classification of leucocytes using convolutional neural network optimized through genetic algorithm | |
| CN109919055B (zh) | 一种基于AdaBoost-KNN的动态人脸情感识别方法 | |
| Rachmad et al. | Mycobacterium tuberculosis images classification based on combining of convolutional neural network and support vector machine | |
| CN112132086A (zh) | 一种多尺度马氏体微观组织老化与损伤分级方法 | |
| Zhang | Application of artificial intelligence recognition technology in digital image processing | |
| Rethik et al. | Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer | |
| CN109872319B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
| Adaïmé et al. | Deep learning approaches to the phylogenetic placement of extinct pollen morphotypes | |
| CN112488188A (zh) | 一种基于深度强化学习的特征选择方法 | |
| Nugraha et al. | Offline signature identification using deep learning and Euclidean distance | |
| CN116503674B (zh) | 一种基于语义指导的小样本图像分类方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191227 Assignee: Wuhan langlichi Technology Co.,Ltd. Assignor: WUHAN University OF SCIENCE AND TECHNOLOGY Contract record no.: X2023980050623 Denomination of invention: Automatic identification method of microstructure of steel materials based on deep learning Granted publication date: 20230106 License type: Common License Record date: 20231211 |