CN113159038A - 一种基于多模态融合的煤岩分割方法 - Google Patents

Abstract

本发明涉及一种基于多模态融合的煤岩分割方法，本发明以煤岩图像分割为主干进行多传感器模式融合，符合采煤机滚筒高度调节的实际需求，明确煤岩边界，有效避免切割岩层；高级语义信息与低级特征提取是煤岩分割的核心，提出图像传感器与中红外光谱仪的多模态逐像素融合。图像传感器采集可见光图像，中红外光谱仪获取对应图像的响应图谱，以二维高斯分布进行重采样，再通过双线性插值改变尺寸与要融合的特征图一致。煤岩分割网络的特征金字塔结构融合可见光图像的多尺度特征，通过中红外响应图谱补偿实现多模态融合；含有边界权值的损失函数，进一步提升分割算法对煤和其他目标边界的刻画能力。

Description

一种基于多模态融合的煤岩分割方法

技术领域

本发明涉及一种基于多模态融合的煤岩分割方法，属于图像分割 技术和传感器模式融合技术领域。

背景技术

煤炭实际生产过程中，煤炭与岩石识别技术主要运用在开采和选 煤阶段中，识别技术一方面包括射线、雷达、激光雷达和太赫兹等主 动探测手段，另一方面包括设备的功率检测、振动检测和声音检测等 被动检测方法。然而，由于传感器部署问题、结构复杂性问题、普适 性问题以及成本问题，机器视觉技术逐渐取代上述方法。

机器视觉技术主要包括特征提取，特征向量表征和分类。现有技术中， 主要包括如下的技术进行煤岩识别：

1、煤岩特征提取阶段包括基于小波变换识别方法提取煤岩图像 特征，(CN104732239A、CN102930253A)；利用字典学习提取煤岩 图像特征，(CN106845560B)；基于扩展局部二值模式和回归分析提 取特征，(CN107239783B)；利用本质相似性提取煤岩特征， (CN104778461A)。

2、煤岩表征阶段煤岩的特征向量通过稀疏矩阵构建， (CN105320964B)。

3、煤岩识别算法包括机器学习的支持向量机，(CN108197630A)、 随机森林和卷积神经网络分类算法，(CN108596163A)。

在煤岩图像识别技术基础上，提出了图像与多传感器数据融合方 法，检测信息丰富，抗干扰能力提升和边界细节增强，具体包括一种 基于雷达波-图像复合式煤岩识别的采煤方法，(CN110685687A)；一 种基于可见光和红外图像融合的煤岩识别装置及方法，(CN108711146A)。

以上技术在煤岩识别方向取得了突破，但是仍有可以优化的空间。 现有图像处理技术的相关专利的技术路线主要是通过提升煤样鲁棒 性表示和岩石鲁棒性表示，改进分类算法实现对未知标签的样品分类， 将煤岩识别转化成一个二分类问题(CN106845560B，CN107239783B)。 训练集中一幅图像的标签仅有0(岩石)或1(煤)，最终输出结果也 只能为煤或岩石其中的一种情况。在实际生产中，煤岩共存是常态， 这与上述煤岩分割方法的训练集数据不是同分布，所以识别准确率和 识别结果置信度有提升空间。煤与岩检测应该是实例分割问题，即实 现视场中多个煤层(或煤块)、岩石层(或岩块)的识别，并且完成 煤岩边界绘制。

其次，现有融合识别技术通过特征分析提取边界特征点，利用曲 线拟合算法构建边界曲线模型，特征点选取缺少交叉验证存在随机误 差，因此图像融合技术仍有提升空间。

发明内容

为解决上述技术问题，本发明提供了一种基于多模态融合的煤岩 分割方法。

本发明提供了一种基于多模态融合的煤岩分割方法，包括：

采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签： 煤、Fe₂O₃、Al₂O₃、SiO₂和未知类；通过中红外光谱仪采集多幅煤岩 样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高 斯分布三次重采样，再配合双线性插值尺寸分别为

(m-180)×(m-180)×1的响应图，保证融合时与相应 特征图像的尺寸一致；

对任意一幅煤岩样本图像进行有效卷积，卷积核3×3×64，步长 为1，输出特征图为(m-2)×(m-2)×64；再进行一次有效卷积，卷积核 3×3×64，步长为1，输出特征图为(m-4)×(m-4)×64；然后进行核为2×2 最大池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×128、 步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图 为

将输出的

特征图，进行两次卷积核为3×3×256、 步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图 为

将输出的

特征图，进行两次卷积核为 3×3×512、步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大 池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核3×3×1024、步长1的有效卷积，输出特征图为

和

特征图

进行上采样，卷积核为2×2×512， 步长为1的反卷积运算，输出特征图为

为保持高通道数和实现多尺度特征融合，对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

将输出的

特征图，进行两次卷积核为 3×3×512、步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为2×2×256，步长1的反卷积，输 出特征图为

对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

高斯重采样后的中红外响应光谱

使

与特征图

进行通道数堆叠，输出 特征图为

将输出的

特征图，进行两次卷积核为3×3×256、 步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为 2×2×128，步长1的反卷积，输出特征图为

对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

高斯重采样后的中红外响应光谱

使

与特征图

进行通道数堆叠，输出 特征图为

将输出的

特征图，进行两次卷积核为3×3×128， 步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为 2×2×64，步长1的反卷积，输出特征图为(m-180)×(m-180)×64；

对特征图(m-4)×(m-4)×64进行裁剪，使其与特征图 (m-180)×(m-180)×64有相同尺寸，再进行通道数堆叠，输出特征图为 (m-180)×(m-180)×128；

高斯重采样的中红外响应光谱

尺寸n×n＝ (m-180)×(m-180)×1与特征图(m-180)×(m-180)×128进行通道数堆叠，输 出特征图为(m-180)×(m-180)×129；

将输出的(m-180)×(m-180)×129特征图，进行两次卷积核为3×3×64、 步长为1的有效卷积，输出特征图分别为(m-182)×(m-182)×64和 (m-184)×(m-184)×64；对特征图(m-184)×(m-184)×64进行卷积核为 1×1×5、步长为1的同维卷积，输出特征图为(m-184)×(m-184)×5；

特征图(m-184)×(m-184)×5，对任意像素k进行softmax操作，

表示softmax后的概率值，c表示某一类别，像素k的分 割类别

取该像素在煤，Fe₂O₃,Al₂O₃,SiO₂和未知类 5个类别的最大值，预测输出(m-184)×(m-184)×1；像素k的可见光图 像真值、中红外响应最高值均用T_k ^*表示，损失函数：

其中，对构建的神经网络模型进行优化的步骤包括：

将衡量图像分割效果的评价指标IOU直接作为优化目标，使用含 边界权值的Lovasz-Softmax损失函数；令煤的标签用C表示，L_c为 煤的分割结果与可见光标签或中红外响应不匹配的部分，其中

表示 分割结果，真值均用T^*表示，L_c错误分割集表示为

煤的Jaccard相似系数表示

ΔJ_c作为优化 目标函数，

ΔJ_c是Δ:{0,1}^p→R的子模函数， 即当A,B∈{0,1}^p时，ΔA+ΔB≥Δ(AUB)+Δ(A∩B)；为求解损失函数ΔJ_c最小值， 使用Lovasz扩展对ΔJ_c子模函数进行光滑延拓，形成一个分段线性凸 函数

g_k(l)为

的梯度；

边界权值的Lovasz-Softmax损失函数，

其中，

向量G和I卷积变换后的第k个元 素，为平衡类别比例设w_c(k)为煤初始权值；

通过损失函数保证煤岩分割准确率提升。

其中，在通过中红外光谱仪采集多幅煤岩样本图像对应的时域响 应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样的步 骤中，包括步骤：

分别对Fe₂O₃、Al₂O₃和SiO₂的响应值进行排序，按大小顺序选取 三种响应的前N个值及其可见光图像映射位置，如若不足N个按顺 序补齐；

对已选取的高响应点在规定偏移距离H范围内进行偏移，构建 高响应点(i,j)关于Fe₂O₃,Al₂O₃,和SiO₂的参数为μ₁，μ₂，ρ，σ₁，σ₂二维 高斯分布G(x,y)；

任意像素(i,j)的论域是X_i,j＝{Fe₂O₃,Al₂O₃,SiO₂}，其光谱响应表 达式G，

即表示 像素(i,j)具有Fe₂O₃,Al₂O₃,SiO₂的程度，G：X_i,j→[0,1]；

像素(i,j)的中红外响应输出数值为

且

时，像素(i,j)不属于Fe₂O₃,Al₂O₃,SiO₂，也不表示煤，属于未知类型； 其中，像素(i,j)的类别通过图像分割技术获得；高斯重采样后的中 红外响应光谱大小m×m，

矩阵各个元素转化行 向量形式G＝{g₁₁,g₁₂,…g_1m,g₂₁,…g_mm}，重新采样的中红外响应图谱尺

其中，在Lovasz-Softmax损失函数基础上增加边界权值的步骤 中，包括步骤：

计算所有可见光像素与煤的真实框中心点的距离U_β(β ＝1,2，…,n)，该像素属于距离最近u＝minU的真实框β，设第β个 真实框的斜边长为w_β。

时加大像素权重，侧 重改变像素在损失函数中的权值；

通过中红外光谱信息分析，g_ij<0.13时中红外光谱对应位置加大 权重，侧重改变煤层区域整体权值。

其中，在将图像尺寸设置为m×m×1的步骤中，包括：

对不同尺寸煤岩样本图像边缘进行镜像填充的步骤，保证输入尺 寸的一致性。

区别于现有技术，本发明的基于多模态融合的煤岩分割方法，以 煤岩图像识别为主干进行多传感器模式融合，符合采煤机滚筒高度调 节的实际需求，明确煤岩边界，有效避免切割岩层；使用中红外光谱 仪与图像传感器进行模式融合，通过成像仪捕捉物体反射的光子能量， 不同的光强形成中红外光谱，不同物体的光谱数据在不同波数范围的 透过率响应不同，通过中红外光谱的透过率分析实现不同物质检测。 如若煤岩视觉特征近似时，经过特征金字塔的多尺度特征融合，再结 合中红外光谱响应图谱进行补偿，提升分割算法对煤和其他目标边界 的刻画能力。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明提供的一种基于多模态融合的煤岩分割方法的流 程示意图。

图2是本发明提供的一种基于多模态融合的煤岩分割方法的多 模态融合的煤岩分割网络结构示意图。

图3是本发明提供的一种基于多模态融合的煤岩分割方法中红 外光谱透过率曲线图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现 对照附图详细说明本发明的具体实施方式。

参阅图1和图2，本发明提供了一种基于多模态融合的煤岩分割 方法，包括：

采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签： 煤、Fe₂O₃、Al₂O₃、SiO₂和未知类；通过中红外光谱仪采集多幅煤岩 样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高 斯分布三次重采样，再配合双线性插值尺寸分别为

(m-180)×(m-180)×1的响应图，保证融合时与相应 特征图像的尺寸一致；

在将图像尺寸设置为m×m×1时，对煤岩样本图像边缘和对应的煤 岩中红外时域光谱进行镜像填充。

当可见光图像填充后，煤岩中红外时域光谱也进行对应的镜像填 充，同时配合双线性差值，保证融合尺寸匹配。中红外响应图谱有利 于煤碳位置的更精准定位。Fe₂O₃,Al₂O₃和SiO₂的中红外图谱信息能丰 富图像分割技术的上下文信息，为分割提供先验信息。例如Fe₂O₃, Al₂O₃和SiO₂中的某一物质在中红外图谱某处的响应为1或者局部区 域的响应最高值，映射到可见光图像对应位置像素，该像素的8邻域 位置出现煤炭的概率为0。

不填充时的图像为:输入图像大小m×m，

矩 阵各个元素转换成行向量形式I＝{i₁₁,i₁₂,…i_1m,i₂₁,…i_mm}，并明确个像素对 应的标签类别。填充后，补齐像素的对应标签不变。

中红外光谱仪采集的响应图谱较为稀疏且数据样本相对较少，在 后续特征提取和训练时效果不佳。确定中红外光谱的局部最高响应点 位置并映射到可见光图像，基于可见光图像煤的真实框标签和像素的 点级标签，保证红外光谱的局部最高响应值不变在目标框内以高斯分 布重采样，使响应光谱具有平移不变性。具体操作：1、分别对Fe₂O₃, Al₂O₃和SiO₂的响应值进行排序，按大小顺序选取三种响应的前N个 值及其可见光图像映射位置，如若不足N个按顺序补齐；2、对已选 取的高响应点在规定偏移距离H范围内进行偏移，构建高响应点(i,j) 关于Fe₂O₃,Al₂O₃,和SiO₂的参数为μ₁，μ₂，ρ，σ₁，σ₂二维高斯分布 G(x,y)。

任意像素(i,j)的论域是X_i,j＝{Fe₂O₃,Al₂O₃,SiO₂}，其光谱响应表 达式G，

即表示 像素(i,j)具有Fe₂O₃,Al₂O₃,SiO₂的程度，G：X_i,j→[0,1]。

像素(i,j)的中红外响应输出数值为

且

时，像素(i,j)不属于Fe₂O₃,Al₂O₃,SiO₂，也不表示煤，属于未知类 型避免训练过拟合，像素(i,j)的类别通过图像分割技术获得。高 斯重采样后的中红外响应光谱大小m×m，

矩阵各 个元素转化行向量形式G＝{g₁₁,g₁₂,…g_1m,g₂₁,…g_mm}，重新采样的中红 外响应图谱尺寸可以通过双线性插值进行调整，以满足匹配尺寸。

对任意一幅煤岩样本图像进行有效卷积，卷积核3×3×64，步长 为1，输出特征图为(m-2)×(m-2)×64；再进行一次有效卷积，卷积核 3×3×64，步长为1，输出特征图为(m-4)×(m-4)×64；然后进行核为2×2 最大池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×128、 步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图 为

将输出的

特征图，进行两次卷积核为3×3×256、 步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图 为

将输出的

特征图，进行两次卷积核为 3×3×512、步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大 池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核 3×3×1024、步长1的有效卷积，输出特征图为

和

特征图

进行上采样，卷积核为2×2×512， 步长为1的反卷积运算，输出特征图为

为保持高通道数和实现多尺度特征融合，对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

将输出的

特征图，进行两次卷积核为 3×3×512、步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为2×2×256，步长1的反卷积，输 出特征图为

对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

高斯重采样后的中红外响应光谱

使

与特征图

进行通道数堆叠，输出 特征图为

将输出的

特征图，进行两次卷积核为3×3×256、 步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为 2×2×128，步长1的反卷积，输出特征图为

对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

高斯重采样后的中红外响应光谱

使

与特征图

进行通道数堆叠，输出 特征图为

将输出的

特征图，进行两次卷积核为3×3×128， 步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为 2×2×64，步长1的反卷积，输出特征图为(m-180)×(m-180)×64；

对特征图(m-4)×(m-4)×64进行裁剪，使其与特征图 (m-180)×(m-180)×64有相同尺寸，再进行通道数堆叠，输出特征图为 (m-180)×(m-180)×128；

高斯重采样的中红外响应光谱

尺寸n×n＝(m-180)×(m-180)×1与特征图(m-180)×(m-180)×128进行通道数堆叠，输 出特征图为(m-180)×(m-180)×129；

将输出的(m-180)×(m-180)×129特征图，进行两次卷积核为3×3×64、 步长为1的有效卷积，输出特征图分别为(m-182)×(m-182)×64和 (m-184)×(m-184)×64；对特征图(m-184)×(m-184)×64进行卷积核为 1×1×5、步长为1的同维卷积，输出特征图为(m-184)×(m-184)×5；

特征图(m-184)×(m-184)×5，对任意像素k进行softmax操作，

表示softmax后的概率值，c表示某一类别，像素k的分 割类别

取该像素在煤，Fe₂O₃,Al₂O₃,SiO₂和未知类 5个类别的最大值，预测输出(m-184)×(m-184)×1；像素k的可见光图 像真值、中红外响应最高值均用T_k ^*表示，损失函数：

其中，对构建的神经网络模型进行优化的步骤包括：

将衡量图像分割效果的评价指标IOU直接作为优化目标，使用含 边界权值的Lovasz-Softmax损失函数；令煤的标签用C表示，L_c为 煤的分割结果与可见光标签或中红外响应不匹配的部分，其中

表示 分割结果，真值均用T^*表示，L_c错误分割集表示为

煤的Jaccard相似系数表示

ΔJ_c作为优化 目标函数，

ΔJ_c是Δ:{0,1}^p→R的子模函数， 即当A,B∈{0,1}^p时，ΔA+ΔB≥Δ(AUB)+Δ(A∩B)；为求解损失函数ΔJ_c最小值， 使用Lovasz扩展对ΔJ_c子模函数进行光滑延拓，形成一个分段线性凸 函数

g_k(l)为

的梯度；

边界权值的Lovasz-Softmax损失函数，

其中，

向量G和I卷积变换后的第k个元 素，为平衡类别比例设w_c(k)为煤初始权值；

通过损失函数保证煤岩分割准确率提升。

其中，在Lovasz-Softmax损失函数基础上增加边界权值的步骤 中，包括步骤：

计算所有可见光像素与煤的真实框中心点的距离U_β(β ＝1,2，…,n)，该像素属于距离最近u＝minU的真实框β，设第β个 真实框的斜边长为w_β。

时加大像素权重，侧 重改变像素在损失函数中的权值；

通过中红外光谱信息分析，g_ij<0.13时中红外光谱对应位置加大 权重，侧重改变煤层区域整体权值。

其中，在采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应 5类标签的步骤之后，还包括数据增强的步骤，通过对煤岩样本图像 和和中红外光谱仪采集的对应时域响应图谱进行几何变换、平移和旋 转操作，实现数据增强。

岩石成分包括Fe₂O₃,Al₂O₃和SiO₂等化合物，三种化合物的红外光 谱透过率曲线如图3所示。其中SiO₂的含量较大，以它响应范围调节 中红外成像仪的参数。透过率越低红外光谱响应程度越大相应物质容 易被捕捉，中红外波数为447±3cm^-1时，三种物质透过率总和最小且 具有区分度，SiO₂透过率约为23.6％，Fe₂O₃透过率约34％，Al₂O₃透 过率约57.7％。根据透过率不同形成的响应差异作为图像的灰度差异， 进而转换成伪彩色图像，通过颜色差异可视化不同物质。同时，使用 透过率作为数据集的像素标签，标记方式不是0,1构成的行向量，通 过矩阵标记对应区域的中红外光谱响应程度。最终输出结果包括识别 与分割，识别结果不是煤或岩石的单目标情况，而是煤和岩多个实例 的识别置信度；分割不再通过关键特征点拟合边界曲线，而是以像素 为单位的精确边界分割。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局 限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而 不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离 本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这 些均属于本发明的保护之内。

Claims (5)

1.一种基于多模态融合的煤岩分割方法，其特征在于，包括：

采集多幅煤岩样本图像，图像尺寸设置为m×m×1，对应5类标签：煤、Fe₂O₃、Al₂O₃、SiO₂和未知类；通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样，再配合双线性插值尺寸分别为

(m-180)×(m-180)×1的响应图，保证融合时与相应特征图像的尺寸一致；

对任意一幅煤岩样本图像进行有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-2)×(m-2)×64；再进行一次有效卷积，卷积核3×3×64，步长为1，输出特征图为(m-4)×(m-4)×64；然后进行核为2×2最大池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×128、步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为

和

然后进行核为2×2最大池化下采样，输出特征图为

将输出的

特征图，进行两次卷积核3×3×1024、步长1的有效卷积，输出特征图为

和

特征图

进行上采样，卷积核为2×2×512，步长为1的反卷积运算，输出特征图为

为保持高通道数和实现多尺度特征融合，对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×512、步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为2×2×256，步长1的反卷积，输出特征图为

对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

高斯重采样后的中红外响应光谱

使

与特征图

进行通道数堆叠，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×256、步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为2×2×128，步长1的反卷积，输出特征图为

对特征图

进行裁剪，使其与特征图

有相同尺寸，再进行通道数堆叠，输出特征图为

高斯重采样后的中红外响应光谱

使

与特征图

进行通道数堆叠，输出特征图为

将输出的

特征图，进行两次卷积核为3×3×128，步长为1的有效卷积，输出特征图分别为

和

对特征图

进行卷积核为2×2×64，步长1的反卷积，输出特征图为(m-180)×(m-180)×64；

对特征图(m-4)×(m-4)×64进行裁剪，使其与特征图(m-180)×(m-180)×64有相同尺寸，再进行通道数堆叠，输出特征图为(m-180)×(m-180)×128；

高斯重采样的中红外响应光谱

尺寸n×n＝(m-180)×(m-180)×1与特征图(m-180)×(m-180)×128进行通道数堆叠，输出特征图为(m-180)×(m-180)×129；

将输出的(m-180)×(m-180)×129特征图，进行两次卷积核为3×3×64、步长为1的有效卷积，输出特征图分别为(m-182)×(m-182)×64和(m-184)×(m-184)×64；对特征图(m-184)×(m-184)×64进行卷积核为1×1×5、步长为1的同维卷积，输出特征图为(m-184)×(m-184)×5；

特征图(m-184)×(m-184)×5，对任意像素k进行softmax操作，

表示softmax后的概率值，c表示某一类别，像素k的分割类别

取该像素在煤，Fe₂O₃,Al₂O₃,SiO₂和未知类5个类别的最大值，预测输出(m-184)×(m-184)×1；像素k的可见光图像真值、中红外响应最高值均用T_k ^*表示，损失函数：

2.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，对构建的神经网络模型进行优化的步骤包括：

将衡量图像分割效果的评价指标IOU直接作为优化目标，使用含边界权值的Lovasz-Softmax损失函数；令煤的标签用C表示，L_c为煤的分割结果与可见光标签或中红外响应不匹配的部分，其中

表示分割结果，真值均用T^*表示，L_c错误分割集表示为

煤的Jaccard相似系数表示

ΔJ_c作为优化目标函数，

ΔJ_c是Δ:{0,1}^p→R的子模函数，对于子模函数而言当A,B∈{0,1}^p时，ΔA+ΔB≥Δ(A∪B)+Δ(A∩B)；为求解损失函数ΔJ_c最小值，使用Lovasz扩展对ΔJ_c子模函数进行光滑延拓，形成一个分段线性凸函数

g_k(l)为

的梯度；

含边界权值的Lovasz-Softmax损失函数，

其中权值w(k)的表达式如：

k表示向量G和I卷积变换后特征图像的第k个元素，为平衡类别比例设w_c(k)为煤初始权值；

通过损失函数保证煤岩分割准确率提升。

3.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，在通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱，选取符合条件的响应点，利用二维高斯分布三次重采样的步骤中，包括步骤：

分别对Fe₂O₃、Al₂O₃和SiO₂的响应值进行排序，按大小顺序选取三种响应的前N个值及其可见光图像映射位置，如若不足N个按顺序补齐；

对已选取的高响应点在规定偏移距离H范围内进行偏移，构建高响应点(i,j)关于Fe₂O₃,Al₂O₃,和SiO₂的参数为μ₁，μ₂，ρ，σ₁，σ₂二维高斯分布G(x,y)；

对于任意像素(i,j)的论域是X_i,j＝{Fe₂O₃,Al₂O₃,SiO₂}，其光谱响应表达式G，

G：X_i,j→[0,1]，即表示像素(i,j)具有Fe₂O₃,Al₂O₃,SiO₂的程度；

像素(i,j)中红外响应

且

时，像素(i,j)不属于Fe₂O₃,Al₂O₃,SiO₂，也不表示煤，属于未知类型；此时，像素(i,j)的类别通过图像分割技术获得；高斯重采样后的中红外响应光谱大小m×m，

矩阵各个元素转化行向量形式G＝{g₁₁,g₁₂,…g_1m,g₂₁,…g_mm}，重新采样的中红外响应图谱尺寸可以通过双线性插值进行调整，以满足匹配尺寸。

4.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，在Lovasz-Softmax损失函数基础上增加边界权值的步骤中，包括步骤：

计算所有可见光像素与煤的真实框中心点的距离U_β(β＝1,2，…,n)，该像素属于距离最近u＝minU的真实框β，设第β个真实框的斜边长为w_β。

1≥i_pq≥0.93时加大像素权重，侧重改变煤边界像素在损失函数中的权值；

通过中红外光谱信息分析，g_ij<0.13时中红外光谱对应位置加大权重，侧重改变煤层区域整体权值。

5.根据权利要求1所述的基于多模态融合的煤岩分割方法，其特征在于，在将图像尺寸设置为m×m×1的步骤中，包括：

对不同尺寸煤岩样本图像边缘进行镜像填充的步骤，保证输入尺寸的一致性。

Images