CN111723738A - 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统 - Google Patents
一种基于迁移学习的煤岩壳质组显微图像分类方法及系统 Download PDFInfo
- Publication number
- CN111723738A CN111723738A CN202010565445.XA CN202010565445A CN111723738A CN 111723738 A CN111723738 A CN 111723738A CN 202010565445 A CN202010565445 A CN 202010565445A CN 111723738 A CN111723738 A CN 111723738A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- coal petrography
- group
- coal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013526 transfer learning Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 69
- 239000011435 rock Substances 0.000 claims abstract description 32
- 238000011176 pooling Methods 0.000 claims abstract description 30
- 230000001054 cortical effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013519 translation Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 18
- 229920002101 Chitin Polymers 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 241000195493 Cryptophyta Species 0.000 claims description 6
- 238000001459 lithography Methods 0.000 claims description 6
- 239000007799 cork Substances 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 210000002637 putamen Anatomy 0.000 claims description 2
- 230000005012 migration Effects 0.000 description 9
- 238000013508 migration Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 241001071917 Lithospermum Species 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000004215 Carbon black (E152) Substances 0.000 description 2
- 229930183415 Suberin Natural products 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229930195733 hydrocarbon Natural products 0.000 description 2
- 150000002430 hydrocarbons Chemical class 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000001878 scanning electron micrograph Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于迁移学习的煤岩壳质组显微图像分类方法及系统，属于图像处理技术领域，包括以下步骤：S1：采集并扩充样本数量；S2：获取预训练模型；S3：构建煤岩壳质组显微组分识别模型；S4：进行组分识别。在所述步骤S1中，数据增强的过程如下：S11；将获取的样本分为训练集和测试集S12；对训练集中的图像进行随机缩放、随机水平平移、竖直平移，实现数据扩充。本发明基于迁移学习方法通过共享预训练网络中卷积层与池化层的参数完成对目标数据集的训练，使得在壳质组样本量有限的情况下也能训练出一个泛化能力很好的模型，实现了对煤岩壳质图像的有效分类，值得被推广使用。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于迁移学习的煤岩壳质组显微图像分类方法及系统。
背景技术
煤岩显微组分的构成对其物理和化学性质影响较大，因此，研究煤岩显微图像组分特征，实现煤岩显微组分的自动分类与识别，在煤岩的高效清洁方面具有重要意义。
煤岩壳质组富烃且具有较高的产烃能力，与油气的生成有着密切的关系，它在很大程度上影响着煤的使用性能，故针对煤岩壳质组的分类识别极具研究价值。
国内外相关学者在煤岩显微组分的分类与识别上也有研究：一部分学者结合形态学理论与图像处理方法分析煤岩显微组分中的颗粒状、蜂窝状及未融化组分；一部分学者利用反射光和SEM图像系统测量煤岩显微组分区域面积等参量；还有一部分学者基于改进的圆形LBP算法对煤岩显微图像的纹理特征进行分析；采用Tamura算法提取煤岩显微图像的纹理特征，并构建支持向量机分类器进行分类；采用灰度共生矩阵提取图像特征，进一步采用PCA进行特征抽取并送入支持向量机中分类；采用小波变换将煤岩显微图像进行分解，提取不同尺度下的纹理特征。
现有的卷积神经网络能自动学习图像特征，使人工特征提取环节实现自动化，但需要大量的训练样本进行学习提取图像特征的能力，而煤岩壳质组显微图像较少，缺乏大量的数据集，故采用卷积神经网络不能很好的对壳质组进行识别。因此，提出一种基于迁移学习的煤岩壳质组显微图像分类方法及系统。
发明内容
本发明所要解决的技术问题在于：如何解决现有煤岩壳质组显微图像分类方法在小数据集上识别率低的问题，提供了一种基于迁移学习的煤岩壳质组显微图像分类方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：采集并扩充样本数量
采集壳质组样本，得到壳质组图像数据集，并对图像数据集进行数据增强，扩充数据集中样本数量；
S2：获取预训练模型
获取经大型图像数据集训练后的基于卷积神经网络的预训练模型；
S3：构建煤岩壳质组显微组分识别模型
构建煤岩壳质组识别模型，将预训练模型中的卷积层与池化层参数迁移至所搭建的模型中，并根据煤岩壳质组图像数据集调整全连接层结构再保存模型，该模型即煤岩壳质组显微组分识别模型；
S4：进行组分识别
利用步骤S3中的煤岩壳质组显微组分识别模型对煤岩壳质组图像数据集进行显微组分识别。
更进一步地，在所述步骤S1中，数据增强的过程如下：
S11；将获取的样本分为训练集和测试集；
S12；对训练集中的图像进行随机缩放、随机水平平移、竖直平移，实现数据扩充。
更进一步地，在所述步骤S11中，所述训练集和所述测试集中图像样本均包括7种类别，分别为孢子体、角质体、沥青质体、木栓质体、树皮体、碎屑壳质体、藻类体。
更进一步地，在所述步骤S3中，煤岩壳质组显微组分识别模型的构建过程如下：
S31：以VGG16网络模型为基础架构，搭建13个卷积层与5个池化层，形成煤岩壳质组识别模型(相当于一个初步的识别模型)；
S32：再在煤岩壳质组识别模型中搭建2个全连接层与批归一化层；
S33：将VGG16网络模型在ImageNet数据集上训练完成的网络参数迁移至煤岩壳质组识别模型的卷积层和池化层上；
S34：将训练集中图像输入到煤岩壳质组识别模型中，设置合适的超参数进行训练并保存模型，该模型即煤岩壳质组显微组分识别模型。
更进一步地，所述VGG16网络模型包括16个权重层，分别为13个卷积层和3个全连接层，13个所述卷积层中的第2、4、7、10、13层均被最大池化层分割，3个所述全连接层的输出特征维数分别为4096、4096、1000。
更进一步地，两个所述全连接层的维数分别为1024、7。
更进一步地，在所述步骤S32中，批归一化层的输入为x：β＝{x1,…，m}，其中x为输入变量，m为最小批次大小，β为引入的可学习重构参数，批归一化层的输出为{yi＝BNγ,β(xi)}，中y为输出变量，γ为引入的可学习重构参数。
更进一步地，批归一化层的运算过程如下：
S321：计算批处理数据均值，计算公式为：
其中，μβ为批处理数据的均值；
S322：计算批处理数据方差，计算公式为：
其中，
为批处理数据方差；
S323：归一化，计算公式为：
其中，ε为误差；
S324：尺度变换和偏移，计算公式为：
S325：返回学习的参数γ和β。
本发明还提供了一种基于迁移学习的煤岩壳质组显微图像分类系统，包括：
数据采集处理模块，用于采集壳质组样本，得到壳质组图像数据集，并对图像数据集进行数据增强，扩充数据集中样本数量；
预训练模型获取模块，用于获取经大型图像数据集训练后的基于卷积神经网络的预训练模型；
显微组分识别模型构建模块，用于构建煤岩壳质组识别模型，将预训练模型中的卷积层与池化层参数迁移至所搭建的模型中，并根据煤岩壳质组图像数据集调整全连接层结构再保存模型；
组分识别模块，用于利用煤岩壳质组显微组分识别模型对煤岩壳质组图像数据集进行显微组分识别；
中央处理模块，用于向其他模块发出指令，完成相关动作；
所述数据采集处理模块、预训练模型获取模块、显微组分识别模型构建模块、组分识别模块均与中央处理模块电连接。
本发明相比现有技术具有以下优点：该基于迁移学习的煤岩壳质组显微图像分类方法，基于迁移学习方法通过共享预训练网络中卷积层与池化层的参数完成对目标数据集的训练，使得在壳质组样本量有限的情况下也能训练出一个泛化能力很好的模型，实现了对煤岩壳质图像的有效分类，值得被推广使用。
附图说明
图1是本发明实施例二中基于迁移学习的煤岩壳质组显微图像分类方法流程图；
图2是本发明实施例二中7类典型的壳质组显微组分图像；
图3是本发明实施例二中VGG16网络模型结构图；
图4是本发明实施例二中基于迁移学习的分类器结构图；
图5是本发明实施例二中模型训练流程图；
图6是本发明实施例二中各种迁移学习网络模型的识别准确率曲线图；
图7是本发明实施例二中F-VGG16模型的混淆矩阵。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种技术方案：一种基于迁移学习的煤岩壳质组显微图像分类方法，包括以下步骤：
S1：采集并扩充样本数量
采集壳质组样本，得到壳质组图像数据集，并对图像数据集进行数据增强，扩充数据集中样本数量；
S2：获取预训练模型
获取经图像数据集训练后的基于卷积神经网络的预训练模型；
S3：构建煤岩壳质组显微组分识别模型
构建煤岩壳质组识别模型，将预训练模型中的卷积层与池化层参数迁移至所搭建的模型中，并根据煤岩壳质组图像数据集调整全连接层结构再保存模型，该模型即煤岩壳质组显微组分识别模型；
S4：进行组分识别
利用步骤S3中的煤岩壳质组显微组分识别模型对煤岩壳质组图像数据集进行显微组分识别。
在所述步骤S1中，数据增强的过程如下：
S11；将获取的样本分为训练集和测试集；
S12；对训练集中的图像进行随机缩放、随机水平平移、竖直平移，实现数据扩充。
在所述步骤S11中，所述训练集和所述测试集中图像样本均包括7种类别，分别为孢子体、角质体、沥青质体、木栓质体、树皮体、碎屑壳质体、藻类体。
在所述步骤S3中，在所述步骤S3中，煤岩壳质组显微组分识别模型的构建过程如下：
S31：以VGG16网络模型为基础架构，搭建13个卷积层与5个池化层，形成煤岩壳质组识别模型(相当于一个初步的识别模型)；
S32：再在煤岩壳质组识别模型中搭建2个全连接层与批归一化层；
S33：将VGG16网络模型在ImageNet数据集上训练完成的网络参数迁移至煤岩壳质组识别模型的卷积层和池化层上；
S34：将训练集中图像输入到煤岩壳质组识别模型中，设置合适的超参数进行训练并保存模型，该模型即煤岩壳质组显微组分识别模型。
所述VGG16网络模型包括16个权重层，分别为13个卷积层和3个全连接层，13个所述卷积层中的第2、4、7、10、13层均被最大池化层分割，3个所述全连接层的输出特征维数分别为4096、4096、1000。
两个所述全连接层的维数分别为1024、7。
在所述步骤S32中，批归一化层的输入为x：β＝{x1,…，m}，其中x为输入变量，m为最小批次大小，β为引入的可学习重构参数，批归一化层的输出为{yi＝BNγ,β(xi)}，中y为输出变量，γ为引入的可学习重构参数。
批归一化层的运算过程如下：
S321：计算批处理数据均值，计算公式为：
其中，μβ为批处理数据的均值；
S322：计算批处理数据方差，计算公式为：
其中，
为批处理数据方差；
S323：归一化，计算公式为：
其中，ε为误差；
S324：尺度变换和偏移，计算公式为：
S325：返回学习的参数γ和β。
本实施例还提供了一种基于迁移学习的煤岩壳质组显微图像分类系统，包括：
数据采集处理模块，用于采集壳质组样本，得到壳质组图像数据集，并对图像数据集进行数据增强，扩充数据集中样本数量；
预训练模型获取模块，用于获取经大型图像数据集训练后的基于卷积神经网络的预训练模型；
显微组分识别模型构建模块，用于构建煤岩壳质组识别模型，将预训练模型中的卷积层与池化层参数迁移至所搭建的模型中，并根据煤岩壳质组图像数据集调整全连接层结构再保存模型；
组分识别模块，用于利用煤岩壳质组显微组分识别模型对煤岩壳质组图像数据集进行显微组分识别；
中央处理模块，用于向其他模块发出指令，完成相关动作；
所述数据采集处理模块、预训练模型获取模块、显微组分识别模型构建模块、组分识别模块均与中央处理模块电连接。
实施例二
如图1所示，本实施例提供一种技术方案：基于迁移学习的煤岩壳质组显微图像分类方法，包括以下步骤：
S1：采集壳质组样本，得到壳质组图像数据集，并对原始数据集进行数据增强，以扩充图像的数量。
具体的，步骤S1包括以下子步骤：
S11：将获取的样本分为训练集和测试集，所述训练集与所述测试集均包含7种类别；
S12：根据壳质组图像的特点，利用keras的数据生成器对训练集中的图像进行随机缩放、随机水平平移、竖直平移，以实现图像样本数量扩充。
S2：获取在图像数据集上训练过的基于卷积神经网络的VGG16预训练模型。
S3：利用迁移学习方法共享预训练模型中的卷积层与池化层参数，并用煤岩壳质组图像数据集微调预训练模型的全连接层，得到适合于煤岩壳质组显微组分分类的神经网络模型。
具体的，步骤S3包括以下子步骤：
S31：基于VGG16网络模型，搭建13个卷积层与5个池化层；
S32：根据图像数据集特点，搭建2个全连接层与一个批归一化层，2个所述全连接层的维数分别为1024、7。
VGG16网络原模型的参数是为1000个分类类别设计的，而煤岩壳质组数据集较小，仅有7类组分，且模型的训练参数大多集中在全连接层上，若采用原模型的3个全连接层，则参数较多，使得训练困难；
将第一层全连接层维数设置1024可以减少模型的训练参数，并缩短模型训练时间，而将最后一层全连接层维数设置成7则是根据数据集的类别数所设置的。这样设置可以缩短训练时间、提高模型识别精度。
其中批归一化层算法步骤如下：
输入：批处理输入x：β＝{x1,…，m}，式中x为输入变量，m为最小批次大小，β为引入的可学习重构参数；
输出：归一化后的网络响应{yi＝BNγ,β(xi)}，式中y为输出变量，γ为引入的可学习重构参数。
第一步：计算批处理数据均值，计算公式为：
式中，μβ为批处理数据的均值；
第二步：计算批处理数据方差，计算公式为：
式中，
为批处理数据方差；
第三步：归一化，计算公式为：
式中，ε为误差；
第四步：尺度变换和偏移，计算公式为：
第五步：返回学习的参数γ和β。
S33：将VGG16基础网络模型在ImageNet数据集上训练好的网络参数迁移至煤岩壳质组识别模型的卷积层和池化层中；
S34：将图像输入煤岩壳质组识别模型中，进行模型训练并保存模型，形成新模型。
S4：用新模型对煤岩壳质组显微组分进行识别
如图2所示，在所述步骤S1中，煤岩壳质组包含7类显微组分，图2中a、b、c、d、e、f、g分别为孢子体、角质体、沥青质体、木栓质体、树皮体、碎屑壳质体、藻类体。所述孢子体分为大孢子体和小孢子体，大孢子体形态大多为压扁长环形，呈封闭状态，小孢子体呈扁环形、线条型或蠕虫状等；所述角质体在垂直层理的切面中呈长条状，外缘平滑内缘呈锯齿状；所述沥青质体常分布于其他组分之间，没有固定的形态和结构；所述木栓质体常为叠瓦状；所述树皮体大多呈扁平的长方形或砖形，排列比较规则；所述碎屑壳质体大多呈棱角状或不规则形态；所述藻类体呈纺锤形或不规则椭圆形。
选取油浸反光下壳质组7类显微组分样本共315幅，其中随机选取210幅为测试集，105幅为训练集。为避免样本数量少引起的过拟合现象，利用keras的数据生成器对训练集中的图像进行随机缩放、随机水平平移、竖直平移，以实现图像数据扩充。
在所述步骤S2中，采用VGG16网络模型作为本数据集的预训练网络模型。
在本实施例的VGG16网络模型中，通过小卷积核提取更小的特征，网络由16个权重层组成：13个卷积层和3个全连接层。13个卷积层分别在第2、4、7、10和13层被Max-pooling层(最大池化层)分割，可将Feature map(经卷积层操作所生成的特征图)长宽减少1/2，每个卷积层都不会改变前一层的长和宽，通过Conv(向量卷积运算)可以实现通道数的增加，最后三层为全连接层，输出特征维数分别为4096、4096、1000，本实施例的VGG16网络结构图如图3所示。
对本实施例的VGG16网络结构详细介绍如下所示：
卷积层：对图像进行特征提取，每层包含多个卷积核，卷积核与图像作用获得图像的局部信息。
卷积层计算公式为：
其中，
为卷积层l的输入张量；fm,n为维度H×W的卷积核；
为该卷积层的输出张量；(i,j)为张量的坐标；m,n为张量的坐标值。
池化层：使用池化函数对特征图像进行压缩降维处理，对输入具有平移不变性，不仅能提高模型对图像发生位移、旋转等变换的容忍能力，还减少模型的计算量和参数个数。若采用最大池化函数和2×2的池化窗口，则池化层的计算公式为：
fpool＝Max(si,j,si+1,j,si,j+1,si+1,j+1)
其中，fpool为池化后的结果；si,j为特征图张量上(i,j)位置上的元素。
激活函数：模型采用ReLu激活函数，用于隐层神经元输出，具有计算简单、收敛速度快的特点，其表达式为：
其中，fReLu为ReLu函数的计算结果；t为ReLu函数的自变量。
全连接层：对卷积层与池化层提取的高维特征数据进行降维平铺，再进行非线性变换，将分布式特征映射到样本标记空间。
Dropout层：在网络的每次训练过程中，按照一定的概率将一部分神经元权重暂时置0，可以缓解神经元之间的协同适应，降低神经元间的依赖，避免网络的过拟合。
在所述步骤S3中，基于迁移学习的分类器(即上述的新模型)的构建过程如下：
冻结的卷积层与池化层作为特征提取器，通过一系列非线性变换提取图像的特征，分类器包含BN层、Dropout层和全连接层。如图4所示，为了减少训练参数，VGG16网络将输入尺寸调整为128×128，再从预训练模型中导入各层权重，然后调整分类器结构，具体为将三个全连接层替换为两个并减少神经元个数，为了防止模型过拟合加入Dropout，同时为了加快网络收敛速度加入BN层。
如图5所示，本实施例的迁移学习网络模型(即上述的新模型)训练方法具体为：输入煤岩壳质组样本并构建煤岩壳质组识别模型，随机初始化模型参数，优化全连接层参数，对预训练的VGG16基础网络进行微调，在训练时选用Adam优化算法，学习率设置为1e-5，每次迭代输入8个样本，迭代次数设置为60。
为了进一步分析本实施例的迁移学习模型对壳质组显微组分的识别精度，本实施例用传统算法、传统卷积神经网络和基于3种三种不同的基础网络模型迁移学习模型(F-VGG16、F-InceptionV3、F-ResNet50)对煤岩壳质组显微组分进行识别，用识别率A表明模型的分类识别精度。
识别率的计算公式如下：
其中，Nall代表所有的测试集图像数目，Nr代表被正确分类的图像数目。
识别率结果参见下表。
表1不同训练机制下的识别精度
| 网络模型 | Accuracy/％ |
| F-VGG16 | 97.14 |
| F-InceptionV3 | 93.33 |
| F-ResNet50 | 96.19 |
| VGG16 | 84.76 |
| InceptionV3 | 83.80 |
| ResNet50 | 92.38 |
通过对上表具体分析可得：三种迁移学习模型的识别率均达到90％以上，其中F-VGG16(本实施例的迁移学习模型)识别率最高，为97.14％，而传统卷积神经网络最低识别精度为83.80％，远不如F-VGG16识别精度高。
如图6所示，通过分析比较三种迁移学习网络模型的收敛性，可以看出F-VGG16网络模型在第10个周期达到收敛，并且准确率保持在90％以上，而F-InceptionV3、F-ResNet50模型比较震荡，且训练集的准确率比F-VGG16模型的准确率低，以此证明F-VGG16模型为煤岩壳质组最优识别模型。
为了分析构建的迁移学习模型F-VGG16对每一类煤岩壳质组显微组分的分类识别能力，通过混淆矩阵来表示F-VGG16网络的识别结果。
通过图7分析可得：在F-VGG16网络模型中，孢子体、角质体、沥青质体、木栓质体和藻类体中15个样本均被识别正确；碎屑体14个样本识别正确；而对树皮体这一组分表现较差，仅13个样本识别正确，剩余2个样本被错误识别在沥青质体和碎屑体中。可见，采用本发明的F-VGG16网络对测试样本进行识别时，仅有极少数的样本被错误划分，表明本发明对煤岩壳质组显微组分的识别具有较好的效果。
表2 F-VGG16模型与几种传统方法的识别精度对比
| 方法 | Accuracy/％ |
| F-VGG16 | 97.14 |
| 灰度共生矩阵 | 65.77 |
| Tamura纹理 | 80.15 |
| 小波变换 | 83.70 |
由表2具体分析可得：本实施例构建的F-VGG16模型识别精度明显优于三种传统算法，其识别率为97.14％，更加有效实现了对煤岩壳质组的自动识别。
综上所述，上述实施例的基于迁移学习的煤岩壳质组显微图像分类方法，基于迁移学习方法通过共享预训练网络中卷积层与池化层的参数完成对目标数据集的训练，使得在壳质组样本量有限的情况下也能训练出一个泛化能力很好的模型，实现了对煤岩壳质图像的有效分类，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于，包括以下步骤：
S1：采集并扩充样本数量
采集壳质组样本，得到壳质组图像数据集，并对图像数据集进行数据增强，扩充数据集中样本数量；
S2：获取预训练模型
获取经大型图像数据集训练后的基于卷积神经网络的预训练模型；
S3：构建煤岩壳质组显微组分识别模型
构建煤岩壳质组识别模型，将预训练模型中的卷积层与池化层参数迁移至所搭建的模型中，并根据煤岩壳质组图像数据集调整全连接层结构再保存模型；
S4：进行组分识别
利用步骤S3中的煤岩壳质组显微组分识别模型对煤岩壳质组图像数据集进行显微组分识别。
2.根据权利要求1所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：在所述步骤S1中，数据增强的过程如下：
S11；将获取的样本分为训练集和测试集；
S12；对训练集中的图像进行随机缩放、随机水平平移、竖直平移，实现数据扩充。
3.根据权利要求2所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：在所述步骤S11中，所述训练集和所述测试集中图像样本均包括7种类别，分别为孢子体、角质体、沥青质体、木栓质体、树皮体、碎屑壳质体、藻类体。
4.根据权利要求2所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：在所述步骤S3中，煤岩壳质组显微组分识别模型的构建过程如下：
S31：以VGG16网络模型为基础架构，搭建13个卷积层与5个池化层，形成煤岩壳质组识别模型；
S32：再在识别模型中搭建2个全连接层与批归一化层；
S33：将VGG16网络模型在ImageNet数据集上训练完成的网络参数迁移至识别模型的卷积层和池化层上；
S34：将训练集的图像输入到煤岩壳质组识别模型中，设置合适的超参数进行训练，并保存训练好的识别模型。
5.根据权利要求4所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：所述VGG16网络模型包括16个权重层，分别为13个卷积层和3个全连接层，13个所述卷积层中的第2、4、7、10、13层均被最大池化层分割，3个所述全连接层的输出特征维数分别为4096、4096、1000。
6.根据权利要求4所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：两个所述全连接层的维数分别为1024、7。
7.根据权利要求4所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：在所述步骤S32中，批归一化层的输入为x：β＝{x1,…，m}，其中x为输入变量，m为最小批次大小，β为引入的可学习重构参数，批归一化层的输出为{yi＝BNγ,β(xi)}，中y为输出变量，γ为引入的可学习重构参数。
8.根据权利要求7所述的一种基于迁移学习的煤岩壳质组显微图像分类方法，其特征在于：批归一化层的运算过程如下：
S321：计算批处理数据均值，计算公式为：
其中，μβ为批处理数据的均值；
S322：计算批处理数据方差，计算公式为：
其中，
为批处理数据方差；
S323：归一化，计算公式为：
其中，ε为误差；
S324：尺度变换和偏移，计算公式为：
S325：返回学习的参数γ和β。
9.一种基于迁移学习的煤岩壳质组显微图像分类系统，其特征在于，根据如权利要求1～8任一项所述的分类方法对煤岩壳质组显微图像进行分类，包括：
数据采集处理模块，用于采集壳质组样本，得到壳质组图像数据集，并对图像数据集进行数据增强，扩充数据集中样本数量；
预训练模型获取模块，用于获取经大型图像数据集训练后的基于卷积神经网络的预训练模型；
显微组分识别模型构建模块，用于构建煤岩壳质组识别模型，将预训练模型中的卷积层与池化层参数迁移至所搭建的模型中，并根据煤岩壳质组图像数据集调整全连接层结构再保存模型；
组分识别模块，用于利用煤岩壳质组显微组分识别模型对煤岩壳质组图像数据集进行显微组分识别；
中央处理模块，用于向其他模块发出指令，完成相关动作；
所述数据采集处理模块、预训练模型获取模块、显微组分识别模型构建模块、组分识别模块均与中央处理模块电连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010565445.XA CN111723738B (zh) | 2020-06-19 | 2020-06-19 | 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010565445.XA CN111723738B (zh) | 2020-06-19 | 2020-06-19 | 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723738A true CN111723738A (zh) | 2020-09-29 |
| CN111723738B CN111723738B (zh) | 2024-06-21 |
Family
ID=72567713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010565445.XA Active CN111723738B (zh) | 2020-06-19 | 2020-06-19 | 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723738B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112146882A (zh) * | 2020-10-12 | 2020-12-29 | 中国人民解放军海军工程大学 | 基于迁移学习振动信号图像识别的轴承故障诊断方法 |
| CN112183669A (zh) * | 2020-11-04 | 2021-01-05 | 北京航天泰坦科技股份有限公司 | 图像分类方法和装置、设备及存储介质 |
| CN112818941A (zh) * | 2021-03-04 | 2021-05-18 | 西北大学 | 基于迁移学习的文物碎片显微图像的分类方法、系统、设备及存储介质 |
| CN112906829A (zh) * | 2021-04-13 | 2021-06-04 | 成都四方伟业软件股份有限公司 | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
| CN112967270A (zh) * | 2020-11-06 | 2021-06-15 | 长江大学 | 基于人工智能的有机组分显微识别定量方法 |
| CN113077009A (zh) * | 2021-04-20 | 2021-07-06 | 长沙理工大学 | 一种基于迁移学习模型的隧道围岩岩性识别方法 |
| CN113191452A (zh) * | 2021-05-21 | 2021-07-30 | 中国矿业大学(北京) | 一种基于深度学习的煤灰分在线检测系统及其检测方法 |
| CN113344847A (zh) * | 2021-04-21 | 2021-09-03 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
| CN113537394A (zh) * | 2021-04-08 | 2021-10-22 | 中国农业大学 | 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 |
| CN113569966A (zh) * | 2021-07-30 | 2021-10-29 | 太原理工大学 | 基于gaf-深度学习的煤岩界面比例识别分类方法 |
| CN113936165A (zh) * | 2021-09-07 | 2022-01-14 | 上海商涌科技有限公司 | Ct图像的处理方法、终端及计算机存储介质 |
| CN114219988A (zh) * | 2021-11-25 | 2022-03-22 | 中国地质大学（武汉） | 基于ViT框架的多类目岩矿快速分类方法、设备及存储介质 |
| CN114581907A (zh) * | 2022-01-06 | 2022-06-03 | 安徽工业大学 | 一种基于改进MobileNetV3的煤岩惰质组显微图像分类方法及系统 |
| CN118262235A (zh) * | 2024-03-27 | 2024-06-28 | 江苏省电力试验研究院有限公司 | 一种基于迁移学习的跨场景屋顶识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019001209A1 (zh) * | 2017-06-28 | 2019-01-03 | 苏州比格威医疗科技有限公司 | 基于三维卷积神经网络的视网膜oct图像的分类算法 |
| CN109508650A (zh) * | 2018-10-23 | 2019-03-22 | 浙江农林大学 | 一种基于迁移学习的树种识别方法 |
| CN110097027A (zh) * | 2019-05-13 | 2019-08-06 | 安徽工业大学 | 基于卷积神经网络的煤岩壳质组显微图像分类方法及系统 |
| WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
-
2020
- 2020-06-19 CN CN202010565445.XA patent/CN111723738B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019001209A1 (zh) * | 2017-06-28 | 2019-01-03 | 苏州比格威医疗科技有限公司 | 基于三维卷积神经网络的视网膜oct图像的分类算法 |
| WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
| CN109508650A (zh) * | 2018-10-23 | 2019-03-22 | 浙江农林大学 | 一种基于迁移学习的树种识别方法 |
| CN110097027A (zh) * | 2019-05-13 | 2019-08-06 | 安徽工业大学 | 基于卷积神经网络的煤岩壳质组显微图像分类方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王培珍等: "基于迁移学习的煤岩壳质组显微组分识别模型", 煤炭科学技术, vol. 50, no. 1, 31 January 2022 (2022-01-31) * |
| 许景辉;邵明烨;王一琛;韩文霆;: "基于迁移学习的卷积神经网络玉米病害图像识别", 农业机械学报, no. 02, 25 February 2020 (2020-02-25) * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112146882A (zh) * | 2020-10-12 | 2020-12-29 | 中国人民解放军海军工程大学 | 基于迁移学习振动信号图像识别的轴承故障诊断方法 |
| CN112183669A (zh) * | 2020-11-04 | 2021-01-05 | 北京航天泰坦科技股份有限公司 | 图像分类方法和装置、设备及存储介质 |
| CN112183669B (zh) * | 2020-11-04 | 2024-02-13 | 航天科工(北京)空间信息应用股份有限公司 | 图像分类方法和装置、设备及存储介质 |
| CN112967270B (zh) * | 2020-11-06 | 2022-07-15 | 长江大学 | 基于人工智能的有机组分显微识别定量方法 |
| CN112967270A (zh) * | 2020-11-06 | 2021-06-15 | 长江大学 | 基于人工智能的有机组分显微识别定量方法 |
| CN112818941A (zh) * | 2021-03-04 | 2021-05-18 | 西北大学 | 基于迁移学习的文物碎片显微图像的分类方法、系统、设备及存储介质 |
| CN113537394A (zh) * | 2021-04-08 | 2021-10-22 | 中国农业大学 | 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 |
| CN112906829A (zh) * | 2021-04-13 | 2021-06-04 | 成都四方伟业软件股份有限公司 | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
| CN113077009A (zh) * | 2021-04-20 | 2021-07-06 | 长沙理工大学 | 一种基于迁移学习模型的隧道围岩岩性识别方法 |
| CN113344847A (zh) * | 2021-04-21 | 2021-09-03 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
| CN113344847B (zh) * | 2021-04-21 | 2023-10-31 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
| CN113191452A (zh) * | 2021-05-21 | 2021-07-30 | 中国矿业大学(北京) | 一种基于深度学习的煤灰分在线检测系统及其检测方法 |
| CN113191452B (zh) * | 2021-05-21 | 2022-03-01 | 中国矿业大学(北京) | 一种基于深度学习的煤灰分在线检测系统及其检测方法 |
| CN113569966B (zh) * | 2021-07-30 | 2023-10-10 | 太原理工大学 | 基于gaf-深度学习的煤岩界面比例识别分类方法 |
| CN113569966A (zh) * | 2021-07-30 | 2021-10-29 | 太原理工大学 | 基于gaf-深度学习的煤岩界面比例识别分类方法 |
| CN113936165A (zh) * | 2021-09-07 | 2022-01-14 | 上海商涌科技有限公司 | Ct图像的处理方法、终端及计算机存储介质 |
| CN113936165B (zh) * | 2021-09-07 | 2024-06-07 | 上海商涌科技有限公司 | Ct图像的处理方法、终端及计算机存储介质 |
| CN114219988A (zh) * | 2021-11-25 | 2022-03-22 | 中国地质大学（武汉） | 基于ViT框架的多类目岩矿快速分类方法、设备及存储介质 |
| CN114219988B (zh) * | 2021-11-25 | 2024-09-17 | 中国地质大学（武汉） | 基于ViT框架的多类目岩矿快速分类方法、设备及存储介质 |
| CN114581907A (zh) * | 2022-01-06 | 2022-06-03 | 安徽工业大学 | 一种基于改进MobileNetV3的煤岩惰质组显微图像分类方法及系统 |
| CN118262235A (zh) * | 2024-03-27 | 2024-06-28 | 江苏省电力试验研究院有限公司 | 一种基于迁移学习的跨场景屋顶识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723738B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723738A (zh) | 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统 | |
| Zhao et al. | A visual long-short-term memory based integrated CNN model for fabric defect image classification | |
| CN109800754A (zh) | 一种基于卷积神经网络的古字体分类方法 | |
| CN109993100B (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
| CN111882040A (zh) | 基于通道数量搜索的卷积神经网络压缩方法 | |
| CN105760821A (zh) | 基于核空间的分类聚集稀疏表示的人脸识别方法 | |
| CN107330480A (zh) | 手写字符计算机识别方法 | |
| CN111488917A (zh) | 一种基于增量学习的垃圾图像细粒度分类方法 | |
| CN109344898A (zh) | 基于稀疏编码预训练的卷积神经网络图像分类方法 | |
| CN111401156A (zh) | 基于Gabor卷积神经网络的图像识别方法 | |
| CN107392155A (zh) | 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 | |
| CN115909011A (zh) | 基于改进的SE-Inception-v3网络模型的天文图像自动分类方法 | |
| CN114299362A (zh) | 一种基于k-means聚类的小样本图像分类方法 | |
| CN114758224A (zh) | 一种基于深度学习的垃圾分类检测方法 | |
| CN113139487A (zh) | 一种面向遥感影像增量数据的建筑物特征学习方法 | |
| CN112434145A (zh) | 一种基于图像识别和自然语言处理的看图作诗方法 | |
| CN108304546B (zh) | 一种基于内容相似度和Softmax分类器的医学图像检索方法 | |
| CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 | |
| CN116630718A (zh) | 一种基于原型的低扰动的图像类增量学习算法 | |
| CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN111178174B (zh) | 基于深度卷积神经网络的尿液有形成分图像识别方法 | |
| CN113469129A (zh) | 一种基于卷积神经网络的小麦杂质图像检测方法 | |
| CN111598119A (zh) | 一种基于残差网络的图像聚类方法 | |
| CN110738217A (zh) | 一种基于多尺度卷积稀疏编码的藏医尿液特征分类方法 | |
| CN114462548B (zh) | 一种提高单细胞深度聚类算法精度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |