CN117011646A - 一种煤岩显微组分组自动分割模型的构建方法 - Google Patents

一种煤岩显微组分组自动分割模型的构建方法 Download PDF

Info

Publication number
CN117011646A
CN117011646A CN202311037144.XA CN202311037144A CN117011646A CN 117011646 A CN117011646 A CN 117011646A CN 202311037144 A CN202311037144 A CN 202311037144A CN 117011646 A CN117011646 A CN 117011646A
Authority
CN
China
Prior art keywords
pixel
model
coal
pixels
component group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311037144.XA
Other languages
English (en)
Inventor
奚峥皓
周新涛
吴明阳
胡晋玮
杨君怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202311037144.XA priority Critical patent/CN117011646A/zh
Publication of CN117011646A publication Critical patent/CN117011646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种煤岩显微组分组自动分割模型的构建方法，其包括：全监督学习阶段：将有标签图像按批次输入卷积神经网络，以最小化分割头处的交叉熵损失和表征头处的对比损失为目标对煤岩显微组分组自动分割模型进行优化以得到教师模型；伪标签学习阶段：以教师模型作为初始的学生模型；教师模型对无标签图像进行伪标签推断，得到伪标签图像；根据像素的概率分布熵以区分可靠像素与不可靠像素；将可靠像素加入学生模型，以最小化分割头处的交叉熵损失和表征头处的对比损失为目标对学生模型进行优化；不可靠像素参与对比学习过程对学生模型进行优化。本方法构建的模型仅需要少量标注的煤岩显微图像，即可实现对煤岩显微图像的高质量自动化分割。

Description

一种煤岩显微组分组自动分割模型的构建方法
技术领域
本发明涉及煤岩识别技术领域，尤其涉及一种煤岩显微组分组自动分割模型的构建方法。
背景技术
煤是一种有机的沉积岩石，利用研究岩石的方法来研究煤就产生了煤炭科学的一个分支——煤岩学。煤岩分析是指以光学显微镜为主兼具肉眼等其他手段，对煤的岩石组成、结构、性质、煤化度作定性描述和定量测定的方法，是研究煤岩学的重要手段。最常规的分析项目是煤岩显微组分和矿物质的测定、镜质组反射率测定、显微煤岩类型测定和宏观描述，这三项已有国际标准或国际标准草案，中国也已经制订了相应的国家标准(GB6948)。由于在不同时间和地质条件下形成的煤岩，其显微组分组在灰度值、结构、大小、各向异性、突出度和形状等方面具有很大的随机性和复杂性，因此对于煤岩显微组分组分割这样复杂的任务，现有方法还存在改进的空间。
传统的对于煤岩显微组分组的测定是由人工进行的，主要是根据显微组分组的反射率、形态结构等指标的差异来进行。随后普遍使用的是基于传统图像处理的分割方法，不仅省时省力，分析结果也更客观。随着机器学习的发展，多层感知机、最近邻等方法被应用于煤岩显微组分组的分类中，取得了不错的效果。近年来，基于深度学习的语义分割模型逐渐成为煤岩显微组分组分割任务中的主流方法之一。此类模型主要是利用深度卷积神经网络对煤岩显微图像进行特征提取，进而实现煤岩显微组分组的自动分割。基于深度学习的方法可以从训练样本中自动学习到更加抽象和高级别的特征表达，具有较好的分割效果。
现有的煤岩显微组分组识别方式存在以下问题：人工方式不仅需要测试人员具备很强的专业性，而且耗时费力、主观性强、还不可重复。采用传统图像处理方法进行的分析大多是建立在图像像素灰度值单一的特征基础上，无法准确识别到所有的煤岩显微组分组。由于煤岩显微组分组结构复杂，形态各异，呈现多样性和渐变性，反映在煤岩显微图像上表现为低对比度、弱边缘等现象，使用手工设计特征的方法泛化性能差且无法实现端到端的识别，不能满足工业生产中的应用需求。采用全监督的深度学习方法需要有大量的标注样本进行训练，但是对煤岩显微图像进行像素级标注需要耗费专家大量的时间和精力，训练时间成本很高。
发明内容
为了解决以上问题，本发明提供了一种煤岩显微组分组自动分割模型的构建方法，以构建在煤岩显微组分组分割任务中能够根据少量标注的煤岩显微图像完成高质量分割的自动分割模型。
为实现以上目的，本发明提供了一种煤岩显微组分组自动分割模型的构建方法，在该方法中，所述煤岩显微组分组自动分割模型包括从输入图像提取特征图的卷积神经网络以及对所述特征图进行处理的分割头和表征头，构建过程包括以下步骤：
S1、全监督学习阶段：将有标签图像按批次输入卷积神经网络，以最小化分割头处的交叉熵损失和表征头处的对比损失为目标对所述煤岩显微组分组自动分割模型进行优化，从而得到教师模型；
S2、伪标签学习阶段：以教师模型作为初始的学生模型；采用各批次无标签图像进行训练过程中，教师模型首先对无标签图像进行伪标签推断，得到伪标签图像；计算伪标签图像中每个像素的概率分布熵以区分可靠像素与不可靠像素；将可靠像素加入学生模型进行训练，以最小化分割头处的交叉熵损失和表征头处的对比损失为目标对所述学生模型进行优化；不可靠像素参与对比学习过程，对所述学生模型进行优化；
所述有标签图像以及所述无标签图像均为煤岩显微图像；有标签图像中，每个像素均标注有相应的像素类别。
本发明的进一步改进在于：步骤S1中像素表征i的对比损失的表达式为：
其中：Pi和Ni分别为像素i的正样本和负样本的像素表征集合，i+和i-则为分别在Pi和Ni中选取的正负样本像素表征，'·'表示内积，τ>0是温度系数；正样本和负样本包括选取自像素表征记忆库的困难正、负样本以及随机选取自当前批次特征图中的普通正、负样本。
本发明的进一步改进在于：所述像素表征记忆库中，每个像素类别c具有对应的像素表征记忆队列，所述像素表征记忆库还包括区域均值表征记忆库；所述区域均值表征记忆库中存储有当前批次有标签图像对应的特征图中，每个像素类别c对应的各像素表征的像素表征均值；
每个批次的有标签图像输入到卷积神经网络后根据输出的特征图对所述区域均值表征记忆库进行更新，并随机选取预定数目的像素，根据该像素被标注的类别将对应的像素表征填充至相应像素表征记忆队列的尾部；
选取困难正、负样本的过程中，计算像素i的像素表征与所述像素表征记忆库中各表征的内积，并选取内积最大的若干个表征以及最小的若干个表征作为困难正、负样本。
本发明的进一步改进在于：从当前批次特征图中随机选取自普通正、负样本的过程中，从当前批次输出的特征图中随机选取预定数量的像素表征，计算被选取的各像素表征与像素i的像素表征之间的内积，将内积大于0的被选取像素表征作为简单正样本，将内积小于0的被选取像素表征作为简单负样本。
本发明的进一步改进在于：步骤S2中，计算伪标签图像中每个像素的概率分布熵H(pij)的表达式为：
其中：pij表示教师模型的分割头对于第i张无标签图像中像素j处生成的softmax概率值，C为煤岩显微组分组的类别数，pij(c)即pij在第c个类别上的softmax概率值；
区分可靠像素与不可靠像素的表达式为
其中：α为阈值，概率分布熵H(pij)小于该阈值则为可靠像素。
本发明的进一步改进在于：步骤S2中，对比学习过程具体包括：
对于各像素类别c，选取相应的像素表征作为锚点像素集合Ac；
计算各像素类别c的锚点像素集合Ac中像素表征的均值，作为该类别的正样本
从当前批次的特征图中选取负样本，并对负样本库进行更新；
计算对比学习的损失函数其表达式为：
其中C为煤岩显微组分组的类别数，M是锚点像素的总数，N为抽取负样本的数量；zci表示c类别的第i个锚点，每个锚点像素都有1个正样本和N个负样本进行计算，分别记做和/><·,·>为两个不同像素点特征间的余弦相似度，其范围在-1到1之间；温度参数τ＝0.5。
本发明的进一步改进在于：步骤S2中，更新优化学生模型的时，教师模型通过指数移动平均的形式接受来自学生模型的参数更新
本发明提供的方案具有以下技术效果：
1.煤炭作为我国能源消费的主体，随着碳中和策略的逐渐推进，优化煤炭供给结构、实现低碳化、高效利用煤炭已经成为实现碳中和目标的关键。本技术方案解决了传统煤岩显微图像人工分析鉴定过程中存在的高效、高精度、人员技术经验要求高、时间成本高等难题，实现煤岩显微组分组的自动分类。同时，本技术方案具有提高煤炭分析工艺水平的意义，可以为炼焦、钢铁冶炼、煤化工等行业的自动化改造提供强有力的支持，进一步推动我国煤炭行业的升级和转型，促进我国煤岩显微组分组分析工艺产业的发展，为钢铁冶金、煤化工事业发展贡献了力量。
2.煤岩显微组分组分析是对煤炭煤质进一步研究和评价的重要环节。在生产中该技术往往用于决定煤的品级，从而直接影响生产成本和燃煤效率。本技术方案的使用，可将现有的煤岩显微组分组人工分析煤样数量从每天(按8小时算)可处理2个提升至25个，同时将分析精度由80％提升至93％。按照每50吨一个煤样计算，每天可多处理1150吨煤。按照每人每月6000元工资计算，一个月30天，人工处理100个煤样，该项目可4天完成。效率提高1250％，成本节约90万/年，每年可多处理1150*30*12＝41.4万吨煤。以煤炭500元/吨计，每年可完成价值2.07亿的煤岩显微组分组分析工作。根据使用该发明专利后带来的效果分析，将大幅提升经济效益。
3.通过该技术方案可以有效提高现有深度学习语义分割模型对于煤岩显微组分组的分割准确率，能够在标注图像较少的情况下充分利用大量无标注的煤岩显微图像进行训练，减少训练时间。本发明专利可以做到在小样本的情况下自动对煤岩显微组分组进行分割，只需要少量的有标签图像进行训练就可以达到与需要大量有标签图像进行训练的全监督方法相近的准确率。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的煤岩显微组分组自动分割模型的构建方法的流程图；
图2是本发明的煤岩显微组分组自动分割模型的构建方法的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
为了阐释的目的而描述了本发明的一些示例性实施例，需要理解的是，本发明可通过附图中没有具体示出的其他方式来实现。
如图1、图2所示，本实施例提供了一种煤岩显微组分组自动分割模型的构建方法，在本实施例中所用数据样本为合作单位采集，包含60个不同变质程度的煤样本，镜质体最大反射率在0.61％～1.70％间。样本图像由光学显微镜蔡司Axioskop 40放大500倍获得，其分辨率为2048×1536，且均为在黄色滤镜下采集的RGB格式。采集的样本图像为79张。由于采集的图片过大会导致网络无法训练，因此本文将原图分辨率大小裁剪为512×512。为了避免过拟合现象的发生，每张图片都将进行随机裁剪、按比例缩放、随机翻转和亮度调节的操作，其中缩放的比例为0.8～1.2，若缩放后小于固定输入尺寸则镜像补全，若大于固定输入则随机裁剪，其标签也对应做相同操作。随机翻转的概率为50％，亮度的调节范围为0.8～1.2。此外，本文的数据增强方法仅在训练时使用，在测试模型时不使用数据增强。
本实施例使用了79张煤岩显微图像进行实验，每个模型训练200个epoch，训练的批量大小为4，使用Adam优化器，初始学习率为10-3。为了更加准确客观地验证本方法所构建的模型的性能，使用五折交叉验证方法进行评估。
如图1、2所示，在得到训练图像后，首先进行的是全监督学习的过程，该过程学习各显微组分组的语义表示。该过程中将有标签图像送入任何一个可以提取特征的卷积神经网络，本实施例采用的是全卷积神经网络。提取到的特征图会分别进入分割头和表征头得到相应结果(每个像素点的类别概率以及煤岩显微组分组的语义分割图)，并进行损失函数的计算。由于只使用交叉熵损失函数会导致神经网络在训练时仅仅考虑单个像素，而忽略了像素之间的关系，无法拉开煤岩显微组分组中每个类别间的差距，所以本实施例中对于每一张有标签的图像，其训练目标是最小化式1中的交叉熵损失和式2中表征头处的对比损失/>两处损失分别对应图中的/>和/>
式中y(c)表示标注的真实标签，p(c)表示预测结果，C为训练样本数量。
式中Pi和Ni分别为像素i的正样本和负样本的像素表征集合，i+和i-则为分别在Pi和Ni中选取的正负样本像素表征，'·'表示内积，τ>0是温度系数。
使用式(2)的NCE Loss需要正负样本进行对比学习，所以本实施例提出了像素表征记忆库。具体来说，像素表征记忆库中，每个像素类别c具有对应的像素表征记忆队列，所述像素表征记忆库还包括区域均值表征记忆库；所述区域均值表征记忆库中存储有当前批次有标签图像对应的特征图中，每个像素类别c对应的各像素表征的像素表征均值。
所有像素表征记忆队列总的大小为C×N×D，其中，C为煤岩显微组分组的类别的总数，N为自己指定的数值(队列的长度)，D为像素表征的维度(输出特征图的通道数大小)。向量(c，n，d)表示具有特定类别c的队列中第n个像素表征的第d个维度。其中c的取值范围为1到C，表示具体的类别标识；n的取值范围为1到N，表示具体哪个像素表征；d的取值范围为1到D，表示指定像素表征的具体维度。
每个批次的有标签图像输入到卷积神经网络后根据输出的特征图对所述区域均值表征记忆库进行更新，并随机选取预定数目的像素，根据该像素被标注的类别将对应的像素表征填充至相应像素表征记忆队列的尾部。
考虑到在像素表征记忆库中，本实施例随机采样的像素表征太稀疏了可能无法代表整张图像的内容，所以构建了区域均值表征记忆库存储当前训练批次图像中计算出属于同一类别的像素表征的均值。区域均值表征记忆库的大小为C×D，C为煤岩显微组分组的类别的总数，D为像素表征的维度。区域均值表征记忆库在每一个批次中它的值都会更新，重点是它计算的是这个批次图像中所有同一类别像素表征的均值，具有代表性。建立像素表征和区域均值表征记忆库的方法不但可以更好地表征数据集中所有像素，而且降低了训练的时间和记忆库的存储空间。
对于煤岩来说每种显微组分组组内的特征不但有巨大差异，而且容易与其它煤岩显微组分组产生混淆，随着训练的进行，越来越多的样本对模型的训练过于简单，大量易混淆的显微组分组混在简单样本中无法给模型提供足够大的梯度。而使用困难样本训练对模型性能的提升有着显著的效果，因为相比简单样本来说困难样本提供了更大的梯度，因此关键困难训练样本的选择对于对比表征学习有着非常重要的影响。所以本实施例在计算表征的对比损失时希望困难样本更多地加入损失计算，但如果困难样本的数量过多又会导致模型陷入局部最优，为了解决这一问题，本实施例使用了随机采样困难样本和普通样本的策略。
正样本和负样本包括选取自像素表征记忆库的困难正、负样本以及随机选取自当前批次特征图中的普通正、负样本。选取困难正、负样本的过程中，计算像素i的像素表征与所述像素表征记忆库中各表征(包括队列中的像素表征和区域均值表征记忆库中的各像素表征均值)的内积，并选取内积最大的以及最小的10％的表征作为困难正、负样本。
从当前批次特征图中随机选取自普通正、负样本的过程中，从当前批次输入图像对应输出的特征图中随机选取预定数量的像素表征。本实施例中，被选取像素表征的数目等于困难正、负样本的总数。选取完成后，计算被选取的各像素表征与像素i的像素表征之间的内积，将内积大于0的被选取像素表征作为简单正样本，将内积小于0的被选取像素表征作为简单负样本。
随机采样困难样本和普通样本的策略既保证了模型可以学习到整个数据库中的普通样本，也避免了只学习最困难样本导致模型陷入局部最优，同时由于记忆库在不断更新，因此每个像素表征都有机会与整个数据集中的困难样本作对比学习。提升了模型性能的同时还使特征空间更加结构化。通过在训练中最小化两项损失函数从而调整参数得到的神经网络可以在高质量伪标签学习模块中预测出更高质量的伪标签图像，从而使得最终构建出的模型具有更好的性能。
全监督学习阶段结束后可以得到教师模型。伪标签学习阶段以教师模型作为初始的学生模型。伪标签学习阶段可以有效利用无标签数据，作为有标签数据的补充，以提升模型性能。在训练过程中，常规的样本筛选方法是只留下高置信度(可靠)预测结果，但这会将大量低置信度的无标签数据排除在外。例如在煤岩显微组分组分割任务中，直接忽略掉那些不可靠伪标签像素会导致丢失大量的可用信息，导致模型训练不充分。所以在本实施例高质量伪标签学习阶段中，就使用了所有的无标签数据，将预测得到的可靠和不可靠伪标签都加入模型的训练，充分挖掘它们的价值。
无标签图像首先进入教师模型进行预测，得到伪标签。为了避免不可靠的伪标签直接加入训练，本实施例中利用伪标签中每个像素的概率分布熵来区分可靠与不可靠伪标签。其中熵的计算公式如式3所示，判断可靠与不可靠标签判别方法如式4所示。
其中：pij表示教师模型的分割头对于第i张无标签图像中像素j处生成的softmax概率值，C为煤岩显微组分组的类别数，pij(c)即pij在第c个类别上的softmax概率值；
区分可靠像素与不可靠像素的表达式为
其中：α为阈值，概率分布熵H(pij)小于该阈值则为可靠像素。
对于可靠像素，本实施例直接将其加入学生模型的训练中。通过交叉熵损失函数(式1)对学生模型进行优化。不可靠像素参与对比学习过程，对所述学生模型进行优化。
伪标签学习阶段中的对比学习过程包括：对于各像素类别c，选取相应的像素表征作为锚点像素集合Ac；计算各像素类别c的锚点像素集合Ac中像素表征的均值，作为该类别的正样本从当前批次的特征图中选取负样本，并对负样本库进行更新；计算对比学习的损失函数/>
锚点像素选择。训练过程中，每一个批次会选出一系列锚点像素，这些锚点需要满足一定条件，对于有标签样本和无标签样本，筛选标准是一致的，即该样本在真值标签类别或伪标签类别上的预测概率大于一个阈值，其中有标签样本其c类锚点像素的特征集合表示为无标签样本其c类锚点像素的特征集合表示为/>则对于类别c，其所有可以满足条件的锚点像素集合为Ac,如式5所示。
式中yij为第i张有标签图像的第j个像素的标签值，为第i张伪标签图像的第j个像素的伪标签值，δ为阈值，在此设定为0.3。
(2)正样本选择。对于上面筛选出来的像素点表征zij的集合Ac，本实施例计算它们的均值，并将结果作为该类别的特征中心，对于同一个类别中所有锚点像素，它们都以该特征中心为正样本，记做如式6所示。
(3)负样本选择。
首先，本实施例定义一个二进制(只能取0或1)变量nij(c)来确定第i张图像的第j个像素是否能作为类别c的合格负样本，如公式7所示。
式中和/>分别表示有标签和无标签的第i张图像的第j个像素能否作为类别c的负样本的指标，下面介绍其值具体如何确定。
对于有标签图像来说，类别c的负样本需要满足：a)不属于c类；b)其真实的类别标签很难与类别c区分开来。因此，本实施例引入了像素级的类别顺序Oij，对图像中每个像素的softmax概率值pij进行排序，依据是该类别和其真实类别标签的区分难度，即Oij(c)＝argsort(pij)。可以看出，对于输出概率值最大的情况，其与类别c是最难区分的，所以其顺序为第1位，在本实施例的顺序中规定为0，即Oij(arg max pij)＝0。同理，对于输出概率值最小的情况，其与类别c是最容易区分的，排在最末位，即Oij(arg min pij)＝C-1，C为总的类别数。故对于有标签图像来说，指标的计算公式如式8所示。
其中xl是阈值，设置为2。公式8等号右边两项正好对应了成为类别c的负样本需要满足的两个条件。
对于无标签图像来说，由于伪标签可能存在错误，因此本实施例并不完全确定预测出的标签的正确性，对于类别c的负样本需要满足：a)不属于c类；b)预测的概率值在一定范围内；c)属于不可靠伪标签像素。指标的计算公式如式9所示。
其中阈值xh设置为5。所有可以加入训练的负样本都满足nij(c)＝1，如式10。
Nc＝{zij|nij(c)＝1} (10)
综上，对于不可靠像素进行对比学习，损失函数如式11所示。
其中C为煤岩显微组分组的类别数，M是锚点像素的总数，N为抽取负样本的数量。zci表示c类别的第i个锚点，每个锚点像素都有1个正样本和N个负样本进行计算，分别记做和/><·,·>为两个不同像素点特征间的余弦相似度，其范围在-1到1之间。温度参数τ＝0.5。
由于数据集中存在长尾问题，如果只使用一个批次的样本作为对比学习的负样本存在问题，因此本实施例采用记忆库来维护一个类别相关的负样本库，以队列(先进先出)的方式更新。注意，在高质量伪标签学习阶段中的记忆库和全监督模块中的记忆库不同，高质量伪标签学习阶段中的记忆库只是一个普通的记忆库。
在对比学习中，本实施例采用锚点像素、正样本像素和负样本像素的筛选方法将伪标签的不可靠像素加入到训练当中，充分利用所有的像素点信息提升模型的性能。
整个模型中，有标签的煤岩显微图像，其优化目标分别为使分割头和表征头处的交叉熵损失函数(式1)和对比损失函数/>(式2)最小。而对于无标签的煤岩显微图像，先将其放入教师模型得到伪标签，再通过上文所述筛选标签的方法，筛选出伪标签中可靠的像素，将可靠像素通过式1加入学生模型的训练，其损失记为为/>于不可靠的伪标签本实施例将其加入对比学习，其损失记为/>整个模型的优化目标函数如式12所示。
式中和/>分别表示应用于有标签图像的分割头和表征头处的损失，/>和分别表示应用于无标签的处可靠伪标签和不可靠伪标签的损失。λr和λc为可靠伪标签损失和不可靠伪标签损失的权重。伪标签学习阶段结束后，最终的学生模型为本方法所构建的煤岩显微组分组自动分割模型。
在实验中，本实施例在使用标注图片占整个数据集的比例为1/2、1/4和1/8情况下，将本方法与目前最先进的半监督方法作比较，分别如表1,2,3所示，可以发现本实施例的方法在不同比例的标注图像数据集上均取得了最优。本实施例对模型性能进行评价的三个语义分割指标，分别为像素准确率(Pixel Accuracy，PA)、平均像素准确率(Mean PixelAccuracy，MPA)和平均交集与并集比(Mean Intersection over Union，MIoU)。
表1在使用比例为1/2的标注数据训练条件下与先进的半监督分割方法比较
表2在使用比例为1/4的标注数据训练条件下与先进的半监督分割方法比较
表3在使用比例为1/8的标注数据训练条件下与先进的半监督分割方法比较
表4为本实施例在使用标注图片占整个数据集的比例为1/8、1/4、1/2和全部的情况下，将本实施例的方法与目前最先进的全监督分割方法做的对比实验。在煤岩显微组分组分割任务中标注图像少于一半的情况下，本实施例的方法在像素准确率指标上，比全监督方法高11.2％。
表4本文所提半监督分割方法与最先进的全监督分割方法对比实验
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种煤岩显微组分组自动分割模型的构建方法，所述煤岩显微组分组自动分割模型包括从输入图像提取特征图的卷积神经网络以及对所述特征图进行处理的分割头和表征头，构建过程包括以下步骤：
S1、全监督学习阶段：将有标签图像按批次输入卷积神经网络，以最小化分割头处的交叉熵损失和表征头处的对比损失为目标对所述煤岩显微组分组自动分割模型进行优化，从而得到教师模型；
S2、伪标签学习阶段：以教师模型作为初始的学生模型；采用各批次无标签图像进行训练过程中，教师模型首先对无标签图像进行伪标签推断，得到伪标签图像；计算伪标签图像中每个像素的概率分布熵以区分可靠像素与不可靠像素；将可靠像素加入学生模型进行训练，以最小化分割头处的交叉熵损失和表征头处的对比损失为目标对所述学生模型进行优化；不可靠像素参与对比学习过程，对所述学生模型进行优化；
所述有标签图像以及所述无标签图像均为煤岩显微图像。
2.根据权利要求1所述的一种煤岩显微组分组自动分割模型的构建方法，其特征在于：步骤S1中，像素表征i的对比损失的表达式为：
其中：Pi和Ni分别为像素i的正样本和负样本的像素表征集合，i+和i-则为分别在Pi和Ni中选取的正负样本像素表征，'·'表示内积，τ>0是温度系数；正样本和负样本包括选取自像素表征记忆库的困难正、负样本以及随机选取自当前批次特征图中的普通正、负样本。
3.根据权利要求2所述的一种煤岩显微组分组自动分割模型的构建方法，其特征在于：所述像素表征记忆库中，每个像素类别c具有对应的像素表征记忆队列，所述像素表征记忆库还包括区域均值表征记忆库；所述区域均值表征记忆库中存储有当前批次有标签图像对应的特征图中，每个像素类别c对应的各像素表征的像素表征均值；
每个批次的有标签图像输入到卷积神经网络后根据输出的特征图对所述区域均值表征记忆库进行更新，并随机选取预定数目的像素，根据该像素被标注的类别将对应的像素表征填充至相应像素表征记忆队列的尾部；
选取困难正、负样本的过程中，计算像素i的像素表征与所述像素表征记忆库中各表征的内积，并选取内积最大和最小的若干表征作为困难正、负样本。
4.根据权利要求3所述的一种煤岩显微组分组自动分割模型的构建方法，其特征在于：从当前批次特征图中随机选取自普通正、负样本的过程中，从当前批次输出的特征图中随机选取预定数量的像素表征，计算被选取的各像素表征与像素i的像素表征之间的内积，将内积大于0的被选取像素表征作为简单正样本，将内积小于0的被选取像素表征作为简单负样本。
5.根据权利要求1所述的一种煤岩显微组分组自动分割模型的构建方法，其特征在于：步骤S2中，计算伪标签图像中每个像素的概率分布熵H(pij)的表达式为：
其中：pij表示教师模型的分割头对于第i张无标签图像中像素j处生成的softmax概率值，C为煤岩显微组分组的类别数，pij(c)即pij在第c个类别上的softmax概率值；
区分可靠像素与不可靠像素的表达式为
其中：α为阈值，概率分布熵H(pij)小于该阈值则为可靠像素。
6.根据权利要求5所述的一种煤岩显微组分组自动分割模型的构建方法，其特征在于：步骤S2中，对比学习过程具体包括：
对于各像素类别c，选取相应的像素表征作为锚点像素集合Ac；
计算各像素类别c的锚点像素集合Ac中像素表征的均值，作为该类别的正样本
从当前批次的特征图中选取负样本，并对负样本库进行更新；
计算对比学习的损失函数其表达式为：
其中C为煤岩显微组分组的类别数，M是锚点像素的总数，N为抽取负样本的数量；zci表示c类别的第i个锚点，每个锚点像素都有1个正样本和N个负样本进行计算，分别记做和<·,·>为两个不同像素点特征间的余弦相似度，其范围在-1到1之间；温度参数τ＝0.5。
7.根据权利要求1所述的一种煤岩显微组分组自动分割模型的构建方法，其特征在于：步骤S2中，更新优化所述学生模型时，所述教师模型通过指数移动平均的形式接受来自所述自学生模型的参数更新。
CN202311037144.XA 2023-08-17 2023-08-17 一种煤岩显微组分组自动分割模型的构建方法 Pending CN117011646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311037144.XA CN117011646A (zh) 2023-08-17 2023-08-17 一种煤岩显微组分组自动分割模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311037144.XA CN117011646A (zh) 2023-08-17 2023-08-17 一种煤岩显微组分组自动分割模型的构建方法

Publications (1)

Publication Number Publication Date
CN117011646A true CN117011646A (zh) 2023-11-07

Family

ID=88576170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311037144.XA Pending CN117011646A (zh) 2023-08-17 2023-08-17 一种煤岩显微组分组自动分割模型的构建方法

Country Status (1)

Country Link
CN (1) CN117011646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237343A (zh) * 2023-11-13 2023-12-15 安徽大学 半监督rgb-d图像镜面检测方法、存储介质及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237343A (zh) * 2023-11-13 2023-12-15 安徽大学 半监督rgb-d图像镜面检测方法、存储介质及计算机设备
CN117237343B (zh) * 2023-11-13 2024-01-30 安徽大学 半监督rgb-d图像镜面检测方法、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
Ibragimov et al. Automated pavement distress detection using region based convolutional neural networks
CN105678332B (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN103984959B (zh) 一种基于数据与任务驱动的图像分类方法
Xue et al. A fast and easy method for predicting agricultural waste compost maturity by image-based deep learning
CN109117883B (zh) 基于长短时记忆网络的sar影像海冰分类方法及系统
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
CN110309868A (zh) 结合无监督学习的高光谱图像分类方法
CN114092389A (zh) 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN111401426B (zh) 基于伪标签学习的小样本高光谱图像分类方法
CN104346440A (zh) 一种基于神经网络的跨媒体哈希索引方法
CN110363253A (zh) 一种基于卷积神经网络的热轧带钢表面缺陷分类方法
CN104102929A (zh) 基于深度学习的高光谱遥感数据分类方法
CN117011646A (zh) 一种煤岩显微组分组自动分割模型的构建方法
CN111325264A (zh) 一种基于熵的多标签数据分类方法
CN114912423A (zh) 一种基于迁移学习的方面级别情感分析方法及装置
CN110610482A (zh) 一种基于resnet的工件瑕疵检测方法
Wang et al. Identification of maceral groups in Chinese bituminous coals based on semantic segmentation models
CN110310012B (zh) 数据分析方法、装置、设备及计算机可读存储介质
Bouguettaya et al. Deep ensemble transfer learning-based approach for classifying hot-rolled steel strips surface defects
CN110807426B (zh) 一种基于深度学习的寄生虫检测系统及方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN115953621A (zh) 一种基于不可靠伪标签学习的半监督高光谱图像分类方法
CN110414575A (zh) 一种融合局部度量的半监督多标记距离度量学习方法
Huang et al. A weakly supervised method for mud detection in ores based on deep active learning
Wen et al. Transfer learning using small-sized dataset for concentrate ash content prediction of coal flotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination