CN113159038B - 一种基于多模态融合的煤岩分割方法 - Google Patents

一种基于多模态融合的煤岩分割方法 Download PDF

Info

Publication number
CN113159038B
CN113159038B CN202011609417.XA CN202011609417A CN113159038B CN 113159038 B CN113159038 B CN 113159038B CN 202011609417 A CN202011609417 A CN 202011609417A CN 113159038 B CN113159038 B CN 113159038B
Authority
CN
China
Prior art keywords
characteristic diagram
coal
output
convolution
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011609417.XA
Other languages
English (en)
Other versions
CN113159038A (zh
Inventor
刘宇
王宏伟
武仲斌
王浩然
李永安
闫志蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202011609417.XA priority Critical patent/CN113159038B/zh
Publication of CN113159038A publication Critical patent/CN113159038A/zh
Application granted granted Critical
Publication of CN113159038B publication Critical patent/CN113159038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Husbandry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Agronomy & Crop Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多模态融合的煤岩分割方法，本发明以煤岩图像分割为主干进行多传感器模式融合，符合采煤机滚筒高度调节的实际需求，明确煤岩边界，有效避免切割岩层；高级语义信息与低级特征提取是煤岩分割的核心，提出图像传感器与中红外光谱仪的多模态逐像素融合。图像传感器采集可见光图像，中红外光谱仪获取对应图像的响应图谱，以二维高斯分布进行重采样，再通过双线性插值改变尺寸与要融合的特征图一致。煤岩分割网络的特征金字塔结构融合可见光图像的多尺度特征，通过中红外响应图谱补偿实现多模态融合；含有边界权值的损失函数，进一步提升分割算法对煤和其他目标边界的刻画能力。

Description

一种基于多模态融合的煤岩分割方法
技术领域
本发明涉及一种基于多模态融合的煤岩分割方法，属于图像分割技术和传感器模式融合技术领域。
背景技术
煤炭实际生产过程中，煤炭与岩石识别技术主要运用在开采和选煤阶段中，识别技术一方面包括射线、雷达、激光雷达和太赫兹等主动探测手段，另一方面包括设备的功率检测、振动检测和声音检测等被动检测方法。然而，由于传感器部署问题、结构复杂性问题、普适性问题以及成本问题，机器视觉技术逐渐取代上述方法。
机器视觉技术主要包括特征提取，特征向量表征和分类。现有技术中，
主要包括如下的技术进行煤岩识别：
1、煤岩特征提取阶段包括基于小波变换识别方法提取煤岩图像特征，(CN104732239A、CN102930253A)；利用字典学习提取煤岩图像特征，(CN106845560B)；基于扩展局部二值模式和回归分析提取特征，(CN107239783B)；利用本质相似性提取煤岩特征，(CN104778461A)。
2、煤岩表征阶段煤岩的特征向量通过稀疏矩阵构建，(CN105320964B)。
3、煤岩识别算法包括机器学习的支持向量机，(CN108197630A)、随机森林和卷积神经网络分类算法，(CN108596163A)。
在煤岩图像识别技术基础上，提出了图像与多传感器数据融合方法，检测信息丰富，抗干扰能力提升和边界细节增强，具体包括一种基于雷达波-图像复合式煤岩识别的采煤方法，(CN110685687A)；一种基于可见光和红外图像融合的煤岩识别装置及方法，(CN108711146A)。
以上技术在煤岩识别方向取得了突破，但是仍有可以优化的空间。现有图像处理技术的相关专利的技术路线主要是通过提升煤样鲁棒性表示和岩石鲁棒性表示，改进分类算法实现对未知标签的样品分类，将煤岩识别转化成一个二分类问题(CN106845560B，CN107239783B)。训练集中一幅图像的标签仅有0(岩石)或1(煤)，最终输出结果也只能为煤或岩石其中的一种情况。在实际生产中，煤岩共存是常态，这与上述煤岩分割方法的训练集数据不是同分布，所以识别准确率和识别结果置信度有提升空间。煤与岩检测应该是实例分割问题，即实现视场中多个煤层(或煤块)、岩石层(或岩块)的识别，并且完成煤岩边界绘制。
其次，现有融合识别技术通过特征分析提取边界特征点，利用曲线拟合算法构建边界曲线模型，特征点选取缺少交叉验证存在随机误差，因此图像融合技术仍有提升空间。
发明内容
为解决上述技术问题，本发明提供了一种基于多模态融合的煤岩分割方法。
本发明提供了一种基于多模态融合的煤岩分割方法，包括：
采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签：煤、Fe2O3、Al2O3、SiO2和未知类；通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样，再配合双线性插值尺寸分别为
Figure GDA0003069832610000021
Figure GDA0003069832610000022
(m-180)×(m-180)×1的响应图，保证融合时与相应特征图像的尺寸一致；
对任意一幅煤岩样本图像进行有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-2)×(m-2)×64；再进行一次有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-4)×(m-4)×64；然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000031
将输出的
Figure GDA0003069832610000032
特征图，进行两次卷积核为3×3×128、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000033
和
Figure GDA0003069832610000034
然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000035
将输出的
Figure GDA0003069832610000036
特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000037
和
Figure GDA0003069832610000038
然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000039
将输出的
Figure GDA00030698326100000310
特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为
Figure GDA00030698326100000311
和
Figure GDA00030698326100000312
然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA00030698326100000313
将输出的
Figure GDA00030698326100000314
特征图，进行两次卷积核3×3×1024、步长1的有效卷积，输出特征图为
Figure GDA0003069832610000041
和
Figure GDA0003069832610000042
特征图
Figure GDA0003069832610000043
进行上采样，卷积核为2×2×512，步长为1的反卷积运算，输出特征图为
Figure GDA0003069832610000044
为保持高通道数和实现多尺度特征融合，对特征图
Figure GDA0003069832610000045
进行裁剪，使其与特征图
Figure GDA0003069832610000046
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure GDA0003069832610000047
将输出的
Figure GDA0003069832610000048
特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000049
和
Figure GDA00030698326100000410
对特征图
Figure GDA00030698326100000411
进行卷积核为2×2×256，步长1的反卷积，输出特征图为
Figure GDA00030698326100000412
对特征图
Figure GDA00030698326100000413
进行裁剪，使其与特征图
Figure GDA00030698326100000414
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure GDA00030698326100000415
高斯重采样后的中红外响应光谱
Figure GDA0003069832610000051
使n×n＝
Figure GDA0003069832610000052
与特征图
Figure GDA0003069832610000053
进行通道数堆叠，输出特征图为
Figure GDA0003069832610000054
将输出的
Figure GDA0003069832610000055
特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000056
和
Figure GDA0003069832610000057
对特征图
Figure GDA0003069832610000058
进行卷积核为2×2×128，步长1的反卷积，输出特征图为
Figure GDA0003069832610000059
对特征图
Figure GDA00030698326100000510
进行裁剪，使其与特征图
Figure GDA00030698326100000511
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure GDA00030698326100000512
高斯重采样后的中红外响应光谱
Figure GDA00030698326100000513
使n×n＝
Figure GDA00030698326100000514
与特征图
Figure GDA00030698326100000515
进行通道数堆叠，输出特征图为
Figure GDA00030698326100000516
将输出的
Figure GDA0003069832610000061
特征图，进行两次卷积核为3×3×128，步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000062
和
Figure GDA0003069832610000063
对特征图
Figure GDA0003069832610000064
进行卷积核为2×2×64，步长1的反卷积，输出特征图为(m-180)×(m-180)×64；
对特征图(m-4)×(m-4)×64进行裁剪，使其与特征图(m-180)×(m-180)×64有相同尺寸，再进行通道数堆叠，输出特征图为(m-180)×(m-180)×128；
高斯重采样的中红外响应光谱
Figure GDA0003069832610000065
尺寸n×n＝(m-180)×(m-180)×1与特征图(m-180)×(m-180)×128进行通道数堆叠，输出特征图为(m-180)×(m-180)×129；
将输出的(m-180)×(m-180)×129特征图，进行两次卷积核为3×3×64、步长为1的有效卷积，输出特征图分别为(m-182)×(m-182)×64和(m-184)×(m-184)×64；对特征图(m-184)×(m-184)×64进行卷积核为1×1×5、步长为1的同维卷积，输出特征图为(m-184)×(m-184)×5；
特征图(m-184)×(m-184)×5，对任意像素k进行softmax操作，
Figure GDA0003069832610000066
表示softmax后的概率值，c表示某一类别，像素k的分割类别
Figure GDA0003069832610000067
取该像素在煤，Fe2O3,Al2O3,SiO2和未知类5个类别的最大值，预测输出(m-184)×(m-184)×1；像素k的可见光图像真值、中红外响应最高值均用Tk *表示，损失函数：
Figure GDA0003069832610000071
其中，对构建的神经网络模型进行优化的步骤包括：
将衡量图像分割效果的评价指标IOU直接作为优化目标，使用含边界权值的Lovasz-Softmax损失函数；令煤的标签用C表示，Lc为煤的分割结果与可见光标签或中红外响应不匹配的部分，其中
Figure GDA0003069832610000079
表示分割结果，真值均用T*表示，Lc错误分割集表示为
Figure GDA0003069832610000072
煤的Jaccard相似系数表示
Figure GDA0003069832610000073
ΔJc作为优化目标函数，
Figure GDA0003069832610000074
ΔJc是Δ:{0,1}p→R的子模函数，即当A,B∈{0,1}p时，ΔA+ΔB≥Δ(AUB)+Δ(A∩B)；为求解损失函数ΔJc最小值，使用Lovasz扩展对ΔJc子模函数进行光滑延拓，形成一个分段线性凸函数
Figure GDA0003069832610000075
gk(l)为
Figure GDA0003069832610000076
的梯度；
边界权值的Lovasz-Softmax损失函数，
Figure GDA0003069832610000077
其中，
Figure GDA0003069832610000078
向量G和I卷积变换后的第k个元素，为平衡类别比例设wc(k)为煤初始权值；
通过损失函数保证煤岩分割准确率提升。
其中，在通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样的步骤中，包括步骤：
分别对Fe2O3、Al2O3和SiO2的响应值进行排序，按大小顺序选取三种响应的前N个值及其可见光图像映射位置，如若不足N个按顺序补齐；
对已选取的高响应点在规定偏移距离H范围内进行偏移，构建高响应点(i,j)关于Fe2O3,Al2O3,和SiO2的参数为μ1，μ2，ρ，σ1，σ2二维高斯分布G(x,y)；
Figure GDA0003069832610000081
Figure GDA0003069832610000082
Figure GDA0003069832610000083
任意像素(i,j)的论域是Xi,j＝{Fe2O3,Al2O3,SiO2}，其光谱响应表达式G，
Figure GDA0003069832610000085
即表示像素(i,j)具有Fe2O3,Al2O3,SiO2的程度，G：Xi,j→[0,1]；
像素(i,j)的中红外响应输出数值为
Figure GDA0003069832610000086
Figure GDA0003069832610000087
且
Figure GDA0003069832610000088
时，像素(i,j)不属于Fe2O3,Al2O3,SiO2，也不表示煤，属于未知类型；其中，像素(i,j)的类别通过图像分割技术获得；高斯重采样后的中红外响应光谱大小m×m，
Figure GDA0003069832610000084
矩阵各个元素转化行向量形式G＝{g11,g12,…g1m,g21,…gmm}，重新采样的中红外响应图谱尺寸可以通过双线性插值进行调整，以满足匹配尺寸。
其中，在Lovasz-Softmax损失函数基础上增加边界权值的步骤中，包括步骤：
计算所有可见光像素与煤的真实框中心点的距离Uβ(β＝1,2，…,n)，该像素属于距离最近u＝minU的真实框β，设第β个真实框的斜边长为
Figure GDA0003069832610000091
1≥ipq≥0.93时加大像素权重，侧重改变像素在损失函数中的权值；
通过中红外光谱信息分析，gij<0.13时中红外光谱对应位置加大权重，侧重改变煤层区域整体权值。
其中，在将图像尺寸设置为m×m×1的步骤中，包括：
对不同尺寸煤岩样本图像边缘进行镜像填充的步骤，保证输入尺寸的一致性。
区别于现有技术，本发明的基于多模态融合的煤岩分割方法，以煤岩图像识别为主干进行多传感器模式融合，符合采煤机滚筒高度调节的实际需求，明确煤岩边界，有效避免切割岩层；使用中红外光谱仪与图像传感器进行模式融合，通过成像仪捕捉物体反射的光子能量，不同的光强形成中红外光谱，不同物体的光谱数据在不同波数范围的透过率响应不同，通过中红外光谱的透过率分析实现不同物质检测。如若煤岩视觉特征近似时，经过特征金字塔的多尺度特征融合，再结合中红外光谱响应图谱进行补偿，提升分割算法对煤和其他目标边界的刻画能力。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种基于多模态融合的煤岩分割方法的流程示意图。
图2是本发明提供的一种基于多模态融合的煤岩分割方法的多模态融合的煤岩分割网络结构示意图。
图3是本发明提供的一种基于多模态融合的煤岩分割方法中红外光谱透过率曲线图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参阅图1和图2，本发明提供了一种基于多模态融合的煤岩分割方法，包括：
采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签：煤、Fe2O3、Al2O3、SiO2和未知类；通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样，再配合双线性插值尺寸分别为
Figure GDA0003069832610000101
Figure GDA0003069832610000102
(m-180)×(m-180)×1的响应图，保证融合时与相应特征图像的尺寸一致；
在将图像尺寸设置为m×m×1时，对煤岩样本图像边缘和对应的煤岩中红外时域光谱进行镜像填充。
当可见光图像填充后，煤岩中红外时域光谱也进行对应的镜像填充，同时配合双线性差值，保证融合尺寸匹配。中红外响应图谱有利于煤碳位置的更精准定位。Fe2O3,Al2O3和SiO2的中红外图谱信息能丰富图像分割技术的上下文信息，为分割提供先验信息。例如Fe2O3,Al2O3和SiO2中的某一物质在中红外图谱某处的响应为1或者局部区域的响应最高值，映射到可见光图像对应位置像素，该像素的8邻域位置出现煤炭的概率为0。
不填充时的图像为:输入图像大小m×m，
Figure GDA0003069832610000111
矩阵各个元素转换成行向量形式I＝{i11,i12,…i1m,i21,…imm}，并明确个像素对应的标签类别。填充后，补齐像素的对应标签不变。
中红外光谱仪采集的响应图谱较为稀疏且数据样本相对较少，在后续特征提取和训练时效果不佳。确定中红外光谱的局部最高响应点位置并映射到可见光图像，基于可见光图像煤的真实框标签和像素的点级标签，保证红外光谱的局部最高响应值不变在目标框内以高斯分布重采样，使响应光谱具有平移不变性。具体操作：1、分别对Fe2O3,Al2O3和SiO2的响应值进行排序，按大小顺序选取三种响应的前N个值及其可见光图像映射位置，如若不足N个按顺序补齐；2、对已选取的高响应点在规定偏移距离H范围内进行偏移，构建高响应点(i,j)关于Fe2O3,Al2O3,和SiO2的参数为μ1，μ2，ρ，σ1，σ2二维高斯分布G(x,y)。
Figure GDA0003069832610000112
Figure GDA0003069832610000113
Figure GDA0003069832610000114
任意像素(i,j)的论域是Xi,j＝{Fe2O3,Al2O3,SiO2}，其光谱响应表达式G，
Figure GDA0003069832610000121
即表示像素(i,j)具有Fe2O3,Al2O3,SiO2的程度，G：Xi,j→[0,1]。
像素(i,j)的中红外响应输出数值为
Figure GDA0003069832610000122
Figure GDA0003069832610000123
且
Figure GDA0003069832610000124
时，像素(i,j)不属于Fe2O3,Al2O3,SiO2，也不表示煤，属于未知类型避免训练过拟合，像素(i,j)的类别通过图像分割技术获得。高斯重采样后的中红外响应光谱大小m×m，
Figure GDA0003069832610000125
矩阵各个元素转化行向量形式G＝{g11,g12,…g1m,g21,…gmm}，重新采样的中红外响应图谱尺寸可以通过双线性插值进行调整，以满足匹配尺寸。
对任意一幅煤岩样本图像进行有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-2)×(m-2)×64；再进行一次有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-4)×(m-4)×64；然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000126
将输出的
Figure GDA0003069832610000127
特征图，进行两次卷积核为3×3×128、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000128
和
Figure GDA0003069832610000129
然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000131
将输出的
Figure GDA0003069832610000132
特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000133
和
Figure GDA0003069832610000134
然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000135
将输出的
Figure GDA0003069832610000136
特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000137
和
Figure GDA0003069832610000138
然后进行核为2×2最大池化下采样，输出特征图为
Figure GDA0003069832610000139
将输出的
Figure GDA00030698326100001310
特征图，进行两次卷积核3×3×1024、步长1的有效卷积，输出特征图为
Figure GDA00030698326100001311
和
Figure GDA00030698326100001312
特征图
Figure GDA00030698326100001313
进行上采样，卷积核为2×2×512，步长为1的反卷积运算，输出特征图为
Figure GDA00030698326100001314
为保持高通道数和实现多尺度特征融合，对特征图
Figure GDA0003069832610000141
进行裁剪，使其与特征图
Figure GDA0003069832610000142
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure GDA0003069832610000143
将输出的
Figure GDA0003069832610000144
特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000145
和
Figure GDA0003069832610000146
对特征图
Figure GDA0003069832610000147
进行卷积核为2×2×256，步长1的反卷积，输出特征图为
Figure GDA0003069832610000148
对特征图
Figure GDA0003069832610000149
进行裁剪，使其与特征图
Figure GDA00030698326100001410
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure GDA00030698326100001411
高斯重采样后的中红外响应光谱
Figure GDA00030698326100001412
使n×n＝
Figure GDA00030698326100001413
与特征图
Figure GDA00030698326100001414
进行通道数堆叠，输出特征图为
Figure GDA00030698326100001415
将输出的
Figure GDA00030698326100001416
特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为
Figure GDA0003069832610000151
和
Figure GDA0003069832610000152
对特征图
Figure GDA0003069832610000153
进行卷积核为2×2×128，步长1的反卷积，输出特征图为
Figure GDA0003069832610000154
对特征图
Figure GDA0003069832610000155
进行裁剪，使其与特征图
Figure GDA0003069832610000156
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure GDA0003069832610000157
高斯重采样后的中红外响应光谱
Figure GDA0003069832610000158
使n×n＝
Figure GDA0003069832610000159
与特征图
Figure GDA00030698326100001510
进行通道数堆叠，输出特征图为
Figure GDA00030698326100001511
将输出的
Figure GDA00030698326100001512
特征图，进行两次卷积核为3×3×128，步长为1的有效卷积，输出特征图分别为
Figure GDA00030698326100001513
和
Figure GDA00030698326100001514
对特征图
Figure GDA00030698326100001515
进行卷积核为2×2×64，步长1的反卷积，输出特征图为(m-180)×(m-180)×64；
对特征图(m-4)×(m-4)×64进行裁剪，使其与特征图(m-180)×(m-180)×64有相同尺寸，再进行通道数堆叠，输出特征图为(m-180)×(m-180)×128；
高斯重采样的中红外响应光谱
Figure GDA0003069832610000161
尺寸n×n＝(m-180)×(m-180)×1与特征图(m-180)×(m-180)×128进行通道数堆叠，输出特征图为(m-180)×(m-180)×129；
将输出的(m-180)×(m-180)×129特征图，进行两次卷积核为3×3×64、步长为1的有效卷积，输出特征图分别为(m-182)×(m-182)×64和(m-184)×(m-184)×64；对特征图(m-184)×(m-184)×64进行卷积核为1×1×5、步长为1的同维卷积，输出特征图为(m-184)×(m-184)×5；
特征图(m-184)×(m-184)×5，对任意像素k进行softmax操作，
Figure GDA0003069832610000162
表示softmax后的概率值，c表示某一类别，像素k的分割类别
Figure GDA0003069832610000163
取该像素在煤，Fe2O3,Al2O3,SiO2和未知类5个类别的最大值，预测输出(m-184)×(m-184)×1；像素k的可见光图像真值、中红外响应最高值均用Tk *表示，损失函数：
Figure GDA0003069832610000164
其中，对构建的神经网络模型进行优化的步骤包括：
将衡量图像分割效果的评价指标IOU直接作为优化目标，使用含边界权值的Lovasz-Softmax损失函数；令煤的标签用C表示，Lc为煤的分割结果与可见光标签或中红外响应不匹配的部分，其中
Figure GDA0003069832610000165
表示分割结果，真值均用T*表示，Lc错误分割集表示为
Figure GDA0003069832610000171
煤的Jaccard相似系数表示
Figure GDA0003069832610000172
ΔJc作为优化目标函数，
Figure GDA0003069832610000173
ΔJc是Δ:{0,1}p→R的子模函数，即当A,B∈{0,1}p时，ΔA+ΔB≥Δ(A∪B)+Δ(A∩B)；为求解损失函数ΔJc最小值，使用Lovasz扩展对ΔJc子模函数进行光滑延拓，形成一个分段线性凸函数
Figure GDA0003069832610000174
gk(l)为
Figure GDA0003069832610000175
的梯度；
边界权值的Lovasz-Softmax损失函数，
Figure GDA0003069832610000176
其中，
Figure GDA0003069832610000177
向量G和I卷积变换后的第k个元素，为平衡类别比例设wc(k)为煤初始权值；
通过损失函数保证煤岩分割准确率提升。
其中，在Lovasz-Softmax损失函数基础上增加边界权值的步骤中，包括步骤：
计算所有可见光像素与煤的真实框中心点的距离Uβ(β＝1,2，…,n)，该像素属于距离最近u＝minU的真实框β，设第β个真实框的斜边长为
Figure GDA0003069832610000178
1≥ipq≥0.93时加大像素权重，侧重改变像素在损失函数中的权值；
通过中红外光谱信息分析，gij<0.13时中红外光谱对应位置加大权重，侧重改变煤层区域整体权值。
其中，在采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签的步骤之后，还包括数据增强的步骤，通过对煤岩样本图像和和中红外光谱仪采集的对应时域响应图谱进行几何变换、平移和旋转操作，实现数据增强。
岩石成分包括Fe2O3,Al2O3和SiO2等化合物，三种化合物的红外光谱透过率曲线如图3所示。其中SiO2的含量较大，以它响应范围调节中红外成像仪的参数。透过率越低红外光谱响应程度越大相应物质容易被捕捉，中红外波数为447±3cm-1时，三种物质透过率总和最小且具有区分度，SiO2透过率约为23.6％，Fe2O3透过率约34％，Al2O3透过率约57.7％。根据透过率不同形成的响应差异作为图像的灰度差异，进而转换成伪彩色图像，通过颜色差异可视化不同物质。同时，使用透过率作为数据集的像素标签，标记方式不是0,1构成的行向量，通过矩阵标记对应区域的中红外光谱响应程度。最终输出结果包括识别与分割，识别结果不是煤或岩石的单目标情况，而是煤和岩多个实例的识别置信度；分割不再通过关键特征点拟合边界曲线，而是以像素为单位的精确边界分割。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种基于多模态融合的煤岩分割方法，其特征在于，包括：
采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签：煤、Fe2O3、Al2O3、SiO2和未知类；通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样，再配合双线性插值尺寸分别为
Figure FDA0003564149870000011
Figure FDA0003564149870000012
(m-180)×(m-180)×1的响应图，保证融合时与相应特征图像的尺寸一致；
对任意一幅煤岩样本图像进行有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-2)×(m-2)×64；再进行一次有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-4)×(m-4)×64；然后进行核为2×2最大池化下采样，输出特征图为
Figure FDA0003564149870000013
将输出的
Figure FDA0003564149870000014
特征图，进行两次卷积核为3×3×128、步长为1的有效卷积，输出特征图分别为
Figure FDA0003564149870000015
和
Figure FDA0003564149870000016
然后进行核为2×2最大池化下采样，输出特征图为
Figure FDA0003564149870000017
将输出的
Figure FDA0003564149870000018
特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为
Figure FDA0003564149870000021
和
Figure FDA0003564149870000022
然后进行核为2×2最大池化下采样，输出特征图为
Figure FDA0003564149870000023
将输出的
Figure FDA0003564149870000024
特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为
Figure FDA0003564149870000025
和
Figure FDA0003564149870000026
然后进行核为2×2最大池化下采样，输出特征图为
Figure FDA0003564149870000027
将输出的
Figure FDA0003564149870000028
特征图，进行两次卷积核3×3×1024、步长1的有效卷积，输出特征图为
Figure FDA0003564149870000029
和
Figure FDA00035641498700000210
特征图
Figure FDA00035641498700000211
进行上采样，卷积核为2×2×512，步长为1的反卷积运算，输出特征图为
Figure FDA00035641498700000212
为保持高通道数和实现多尺度特征融合，对特征图
Figure FDA00035641498700000213
进行裁剪，使其与特征图
Figure FDA00035641498700000214
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure FDA00035641498700000215
将输出的
Figure FDA0003564149870000031
特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为
Figure FDA0003564149870000032
和
Figure FDA0003564149870000033
对特征图
Figure FDA0003564149870000034
进行卷积核为2×2×256，步长1的反卷积，输出特征图为
Figure FDA0003564149870000035
对特征图
Figure FDA0003564149870000036
进行裁剪，使其与特征图
Figure FDA0003564149870000037
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure FDA0003564149870000038
高斯重采样后的中红外响应光谱
Figure FDA0003564149870000039
使
Figure FDA00035641498700000310
Figure FDA00035641498700000311
与特征图
Figure FDA00035641498700000312
进行通道数堆叠，输出特征图为
Figure FDA00035641498700000313
将输出的
Figure FDA00035641498700000314
特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为
Figure FDA00035641498700000315
和
Figure FDA00035641498700000316
对特征图
Figure FDA00035641498700000317
进行卷积核为2×2×128，步长1的反卷积，输出特征图为
Figure FDA0003564149870000041
对特征图
Figure FDA0003564149870000042
进行裁剪，使其与特征图
Figure FDA0003564149870000043
有相同尺寸，再进行通道数堆叠，输出特征图为
Figure FDA0003564149870000044
高斯重采样后的中红外响应光谱
Figure FDA0003564149870000045
使
Figure FDA0003564149870000046
Figure FDA0003564149870000047
与特征图
Figure FDA0003564149870000048
进行通道数堆叠，输出特征图为
Figure FDA0003564149870000049
将输出的
Figure FDA00035641498700000410
特征图，进行两次卷积核为3×3×128，步长为1的有效卷积，输出特征图分别为
Figure FDA00035641498700000411
和
Figure FDA00035641498700000412
对特征图
Figure FDA00035641498700000413
进行卷积核为2×2×64，步长1的反卷积，输出特征图为(m-180)×(m-180)×64；
对特征图(m-4)×(m-4)×64进行裁剪，使其与特征图(m-180)×(m-180)×64有相同尺寸，再进行通道数堆叠，输出特征图为(m-180)×(m-180)×128；
高斯重采样的中红外响应光谱
Figure FDA00035641498700000414
尺寸n×n＝(m-180)×(m-180)×1与特征图(m-180)×(m-180)×128进行通道数堆叠，输出特征图为(m-180)×(m-180)×129；
将输出的(m-180)×(m-180)×129特征图，进行两次卷积核为3×3×64、步长为1的有效卷积，输出特征图分别为(m-182)×(m-182)×64和(m-184)×(m-184)×64；对特征图(m-184)×(m-184)×64进行卷积核为1×1×5、步长为1的同维卷积，输出特征图为(m-184)×(m-184)×5；
特征图(m-184)×(m-184)×5，对任意像素k进行softmax操作，
Figure FDA0003564149870000051
表示softmax后的概率值，c表示某一类别，像素k的分割类别
Figure FDA0003564149870000052
Figure FDA0003564149870000053
取该像素在煤，Fe2O3,Al2O3,SiO2和未知类5个类别的最大值，预测输出(m-184)×(m-184)×1；像素k的可见光图像真值、中红外响应最高值均用Tk *表示，损失函数：
Figure FDA0003564149870000054
2.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，对构建的神经网络模型进行优化的步骤包括：
将衡量图像分割效果的评价指标IOU直接作为优化目标，使用含边界权值的Lovasz-Softmax损失函数；令煤的标签用C表示，Lc为煤的分割结果与可见光标签或中红外响应不匹配的部分，其中
Figure FDA0003564149870000055
表示分割结果，真值均用T*表示，Lc错误分割集表示为
Figure FDA0003564149870000056
煤的Jaccard相似系数表示
Figure FDA0003564149870000057
ΔJc作为优化目标函数，
Figure FDA0003564149870000061
ΔJc是Δ:{0,1}p→R的子模函数，对于子模函数而言当A,B∈{0,1}p时，ΔA+ΔB≥Δ(A∪B)+Δ(A∩B)；为求解损失函数ΔJc最小值，使用Lovasz扩展对ΔJc子模函数进行光滑延拓，形成一个分段线性凸函数
Figure FDA0003564149870000062
gk(l)为
Figure FDA0003564149870000063
的梯度；
含边界权值的Lovasz-Softmax损失函数，
Figure FDA0003564149870000064
其中权值w(k)的表达式如：
Figure FDA0003564149870000065
k表示向量G和I卷积变换后特征图像的第k个元素，为平衡类别比例设wc(k)为煤初始权值；
通过损失函数保证煤岩分割准确率提升。
3.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，在通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样的步骤中，包括步骤：
分别对Fe2O3、Al2O3和SiO2的响应值进行排序，按大小顺序选取三种响应的前N个值及其可见光图像映射位置，如若不足N个按顺序补齐；
对已选取的高响应点在规定偏移距离H范围内进行偏移，构建高响应点(i,j)关于Fe2O3,Al2O3,和SiO2的参数为μ1，μ2，ρ，σ1，σ2二维高斯分布G(x,y)；
Figure FDA0003564149870000066
Figure FDA0003564149870000067
Figure FDA0003564149870000068
对于任意像素(i,j)的论域是Xi,j＝{Fe2O3,Al2O3,SiO2}，其光谱响应表达式G，
Figure FDA0003564149870000071
G：Xi,j→[0,1]，即表示像素(i,j)具有Fe2O3,Al2O3,SiO2的程度；
像素(i,j)中红外响应
Figure FDA0003564149870000072
Figure FDA0003564149870000073
且
Figure FDA0003564149870000074
时，像素(i,j)不属于Fe2O3,Al2O3,SiO2，也不表示煤，属于未知类型；此时，像素(i,j)的类别通过图像分割技术获得；高斯重采样后的中红外响应光谱大小m×m，
Figure FDA0003564149870000075
矩阵各个元素转化行向量形式G＝{g11,g12,…g1m,g21,…gmm}，重新采样的中红外响应图谱尺寸可以通过双线性插值进行调整，以满足匹配尺寸。
4.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，在Lovasz-Softmax损失函数基础上增加边界权值的步骤中，包括步骤：
计算所有可见光像素与煤的真实框中心点的距离Uβ(β＝1,2，…,n)，该像素属于距离最近u＝minU的真实框β，设第β个真实框的斜边长为wβ；
Figure FDA0003564149870000076
1≥ipq≥0.93时加大像素权重，侧重改变煤边界像素在损失函数中的权值；
通过中红外光谱信息分析，gij＜0.13时中红外光谱对应位置加大权重，侧重改变煤层区域整体权值。
5.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，在将图像尺寸设置为m×m×1的步骤中，包括：
对不同尺寸煤岩样本图像边缘进行镜像填充的步骤，保证输入尺寸的一致性。
CN202011609417.XA 2020-12-30 2020-12-30 一种基于多模态融合的煤岩分割方法 Active CN113159038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011609417.XA CN113159038B (zh) 2020-12-30 2020-12-30 一种基于多模态融合的煤岩分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011609417.XA CN113159038B (zh) 2020-12-30 2020-12-30 一种基于多模态融合的煤岩分割方法

Publications (2)

Publication Number Publication Date
CN113159038A CN113159038A (zh) 2021-07-23
CN113159038B true CN113159038B (zh) 2022-05-27

Family

ID=76878098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011609417.XA Active CN113159038B (zh) 2020-12-30 2020-12-30 一种基于多模态融合的煤岩分割方法

Country Status (1)

Country Link
CN (1) CN113159038B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805874A (zh) * 2018-06-11 2018-11-13 中国电子科技集团公司第三研究所 一种基于卷积神经网络的多光谱图像语义切割方法
CN110264484A (zh) * 2019-06-27 2019-09-20 上海海洋大学 一种面向遥感数据的改进海岛岸线分割系统及分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062756B (zh) * 2018-01-29 2020-04-14 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN109461157B (zh) * 2018-10-19 2021-07-09 苏州大学 基于多级特征融合及高斯条件随机场的图像语义分割方法
US11600006B2 (en) * 2018-10-26 2023-03-07 Here Global B.V. Deep neural network architecture for image segmentation
WO2020125806A1 (en) * 2018-12-17 2020-06-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN109712150A (zh) * 2018-12-26 2019-05-03 航天恒星科技有限公司 基于稀疏表示的光学微波图像融合重建方法和装置
WO2020167314A1 (en) * 2019-02-15 2020-08-20 Google Llc Detection of projected infrared patterns using difference of gaussian and blob identification
CN110245635B (zh) * 2019-06-20 2023-08-04 安徽理工大学 一种煤和矸石的红外图像识别方法
CN111389763A (zh) * 2020-04-26 2020-07-10 山西科泰自动化科技有限公司 一种基于图像数据处理的煤矸石分选系统和方法
CN111582280B (zh) * 2020-05-11 2023-10-17 吉林省森祥科技有限公司 一种面向多光谱救援机器人的数据深层融合图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805874A (zh) * 2018-06-11 2018-11-13 中国电子科技集团公司第三研究所 一种基于卷积神经网络的多光谱图像语义切割方法
CN110264484A (zh) * 2019-06-27 2019-09-20 上海海洋大学 一种面向遥感数据的改进海岛岸线分割系统及分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Also Published As

Publication number Publication date
CN113159038A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110378196B (zh) 一种结合激光点云数据的道路视觉检测方法
CN108154192B (zh) 基于多尺度卷积与特征融合的高分辨sar地物分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN111259828B (zh) 基于高分辨率遥感图像多特征的识别方法
Toivanen et al. Edge detection in multispectral images using the self-organizing map
CN107145830A (zh) 基于空间信息增强和深度信念网络的高光谱图像分类方法
CN111126127B (zh) 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
WO2020062360A1 (zh) 一种图像融合分类的方法及装置
CN112434745A (zh) 基于多源认知融合的遮挡目标检测识别方法
CN108182449A (zh) 一种高光谱图像分类方法
CN112200121A (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN109829507B (zh) 航拍高压输电线路环境检测方法
CN114581773A (zh) 基于图卷积网络的多模态遥感数据分类方法
CN111401380A (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
Lone et al. Object detection in hyperspectral images
CN111639697A (zh) 基于非重复采样与原型网络的高光谱图像分类方法
Wu et al. Improved mask R-CNN-based cloud masking method for remote sensing images
CN111222576B (zh) 一种高分辨率遥感图像分类方法
CN113159038B (zh) 一种基于多模态融合的煤岩分割方法
CN116310459B (zh) 基于多视图空谱联合的高光谱图像子空间聚类方法
CN116664954A (zh) 基于图卷积与卷积融合的高光谱地物分类方法
CN111368776A (zh) 一种基于深度集成学习的高分辨率遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant