CN112508001A - 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法 - Google Patents

Abstract

本发明涉及一种基于多光谱波段筛选和改进U‑Net的煤矸石定位方法，其包括以下步骤：步骤1、在不同的环境下采集煤矸石的多光谱数据；步骤2、根据标准差选择最佳波段，将所选波段的光谱数据转换为灰度图像；步骤3、在每一张被转换的灰度图像中标注煤矸石的位置和形态；步骤4、改进基本的U‑Net模型，然后构建基于改进的U‑Net煤矸石识别和定位模型；步骤5、将标注数据转换为改进后的U‑Net所用数据形式；步骤6、训练改进后的U‑Net模型；步骤7、保存U‑Net训练过程中的最佳模型的权重，然后把保存的最佳模型用于煤矸石识别和定位。改进U‑Ne模型轻量易训练，不仅能快速准确的对煤矸石识别和定，而且可以预测煤矸石的形态，判断煤矸石的相对大小。

Description

一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法

技术领域

本发明涉及煤矸石智能分选领域，具体是一种基于多光谱波段筛选和改进 U-Net的煤矸石定位方法。

背景技术

煤炭，人类重要的一次能源，也是中国能源安全保障的压舱石。尽管中国的能源结构继续改进，但煤炭每年仍被大量开采，2019年全国原煤产量为39.7 亿吨，同比增长4.0％。在煤炭的开采过程中不可避免的会混入煤矸石，含量超过10％，它不仅降低煤的燃烧效率，而且增加污染物的排放。因此，需将煤矸石从煤中分离(被称之为洗煤)。2020年初国家发改委等8部门联合发布加快煤矿智能化发展的指导意见，意见明确指出“2025年实现洗选系统的智能化决策和自动化协同运行”。

利用成像技术获得煤矸石的图片，然后利用人工智能算法基于图像识别煤矸石，学术上被称之为智能分选法。“识别”只能判断图像中有无煤矸石，而无法确定煤矸石的位置，这使得基于图像识别的煤矸石分离操作难以实现。当前的研究主要是煤矸石的“识别”，如申请号为201910391577.2公开了一种基于多颜色空间主元分析描述的煤矸石识别方法，通过RGB图像识别煤矸石。针对煤矸石定位的研究非常少，此外，RGB图像由于窄带，易受可见光干扰。

因此，提出一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，以实现煤矸石快速、精准的识别和定位，并且还能预测煤矸石的形态，预估煤矸石的相对大小，为煤矸石的分离操作提供有效的位置和大小信息。

发明内容

为解决当前基于多光谱成像的煤和煤矸石智能分离无法对煤矸石快速、精准的识别和定位问题，本发明提供一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法；该发明不仅能快速、精准的识别和定位煤矸石，而且还能预测煤矸石的形态，进而实现煤矸石相对大小的评估。

本发明实现发明目的采用如下技术方案：

一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，包括以下步骤：

步骤1、在不同的环境下采集多组煤矸石的多光谱数据；

步骤2、计算所采集的煤矸石多光谱数据的每一个波段的方差，选择一个信息量最大的波段作为最佳波段，然后将所选的最佳波段的光谱数据转换为一个灰度图像；

步骤3、利用图像分割标注工具在每一张被转换的灰度图像中标注煤矸石的位置和形态，将标注的位置和形态数据保存为json文件；

步骤4、设计一个轻量的用于特征提取的主干网络改进基本的U-Net模型，然后构建基于改进的U-Net煤矸石识别和定位模型；

步骤5、把json中的位置和形态数据转换为改进后的U-Net所用数据形式，然后将波段选择后的数据按4:1划分为训练数据集和验证数据集；

步骤6、把训练数据集和验证数据集中的最佳波段的光谱数据归一化，然后联合格式转换后的标注数据训练改进后的U-Net模型；

步骤7、保存U-Net训练过程中的最佳模型的权重，然后把保存的最佳模型用于煤矸石识别和定位。

作为优选，步骤1中所述的“不同的环境”包括在实验室理想环境下、矿井下和选煤厂等复杂环境下采集煤矸石的多光谱数据。

作为优选，步骤2中所述的方差分析的计算如下：

公式(1)中，H和W是每个多光谱每个波段的光谱图的高和宽，X_h,w是第w行和第h列的光谱强度，

是每个波段光谱数据的平均值，公式(2)是

的计算原理，并且公式(2)中的变量与公式(1)中的变量相同；

信息量最大的波段的选择机制是选择标准差最大的波段，将所选的波段的光谱数据按公式(3)转换为灰度图像：

公式(3)中，x和x_max是所选波段光谱数据值和最大值，x_img转换的灰度图像的像素值，uint8是将数据转换为无符号8位整型。

作为优选，步骤4中所述U-Net改进和轻量的用于特征提取的网络的设计包括如下：

4.1、改进U-Net模型的输入图像的分辨率为H′×W′×1，其中，H′和W′可以是每多光谱每个波段的光谱图的高H和宽W，也可以由用户自行设定；

4.2、轻量特征提取网络采用残差连接(Residual)和跨阶段部分连接(CrossStage Partial-connection,CSP)；

4.3、轻量特征提取网络的卷积操作后均连接一个批归一化层，批归一化的机制如式所示：

公式(4)、(5)和(6)中，x为待批归一化数据，μ和σ分别是均值和标准差，ε为无穷小变量，γ和β待学习参数，

为批归一化后的变量；

4.4、批归一化层后均进行一次Mish非线性映射，以学习复杂特征，Mish 非线性映射的函数如式所示：

f(x)＝x·tanh[ln(1+e^x)] (7)

公式(7)中ln为以e为底的对数，x为输入变量，f(x)为x的非线性变换；

4.5、将改进U-Net模型的最后一层网络的输出指数归一化，指数归一化的公式如下：

公式(8)中的x′_i是输入x_i的指数归一化后的输出，K是变量x的长度，e是自然数；

作为优选，步骤6中所述光谱数据归一化方式如下式所示：

公式(9)中，x_max为所选波段的光谱最大强度，

为归一化后的光谱数据；

为使改进后的U-Net能稳定和快速的被训练，采用三种学习率训练，先使用小的学习率预训练，随后增大学习率训练一段时间，最后在使用小的学习率训练一段时间；

作为优选，步骤7中所述的最佳模型保存是在U-Net训练时监视验证集的损失，每次验证损失降低保存模型权重；训练结束后，把采集的全部光谱数据用于测试所保存的模型权重，煤矸石平均精度最小的权重作为最佳模型。

本发明与现有技术相比，其有益效果体现在：首先，改进U-Net用于煤矸石识别和定位，不仅能获取煤矸石的相对位置，而且可以预测煤矸石的形态，判断煤矸石的相对大小；其次，设计一个轻量网络，采用残差连接和跨阶段部分连接，并在每个卷积后引入一个批归一化层，使得改进后的U-Net更易于被训练、速度快和不易过学习；最后，采用多光谱成像技术和方差分析选择一个最佳波段用于煤矸石定位，不仅能有效的减少可见光的干扰，而且通过最佳波段的选择降低冗余信息不确定的干扰的同时，进一步提升了煤矸石定位速度。综上，本发明解决了当前基于成像的煤和煤矸石智能分离中无法对煤矸石快速、精准的识别和定位问题，且识别和定位速度快，模型易实现。

附图说明

图1是本发明实施例一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法；

图2是多光谱单一波段光谱数据转换的灰度图像；

图3是改进U-Net轻量特征学习网络的残差连接；

图4是改进U-Net轻量特征学习网络的跨阶段部分连接；

图5是改进U-Net的轻量特征学习网络结构；

图6是改进U-Net模型训练时的输出数据格式；

图7是不同波段的煤矸石多光谱数据的标准差；

图8是改进U-Net模型训练时训练和验证集的损失曲线；

图9是改进U-Net模型训练时训练和验证集的得分曲线；

图10是改进U-Net模型训练后的测试输出；

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明提供一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，旨在解决当前基于成像的煤和煤矸石智能分离中无法对煤矸石快速、精准的识别和定位问题；此外，该发明不仅能快速、精准的识别和定位煤矸石，而且还能预测煤矸石的形态，进而实现煤矸石相对大小的评估。如图1所示，一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，包括以下步骤：

S1、在不同的环境下采集多组煤矸石的多光谱数据。

S2、计算所采集的煤矸石多光谱数据的每一个波段的方差，二维光谱数据的方法计算如式所示：

公式(1)中，H和W是每个多光谱每个波段的光谱图的高和宽，X_h,w是第w行和第h列的光谱强度，

是每个波段光谱数据的平均值，公式(2)是

的计算原理，并且公式(2)中的变量与公式(1)中的变量相同。

将方差最大的波段作为最佳波段，然后将所选的最佳波段的光谱数据转换为一个灰度图像，转换后的灰度图像如附图2所示。

S3、利用图像分割标注工具在每一张被转换的灰度图像中标注煤矸石的位置和形态，将标注的位置和形态数据保存为json文件。

S4、设计一个轻量的用于特征提取的主干网络改进基本的U-Net模型，然后构建基于改进的U-Net煤矸石识别和定位模型。

改进U-Net模型的输入图像的分辨率为H′×W′×1，其中，H′和W′可以是每多光谱每个波段的光谱图的高H和宽W，也可以由用户自行设定。

轻量特征提取网络采用残差连接(Residual)和跨阶段部分连接(Cross StagePartial-connection,CSP)。本发明的残差连接方式如附图3所示，附图3中“卷积 +批归一化+Mish非线性映射”代表依次执行卷积、批归一化和Mish非线性映射操作。本发明的跨阶段部分连接方式如附图4所示，附图4中的残差块的连接采用附图3中的连接方式。跨阶段部分连接中的残差块的个数n可任意设定。

卷积操作后均连接一个批归一化层，本发明的批归一化的机制如式所示：

公式(4)、(5)和(6)中，x为待批归一化数据，μ和σ分别是均值和标准差，ε为无穷小变量，γ和β待学习参数，

为批归一化后的变量。

批归一化层后均进行一次非线性映射，以学习复杂特征，非线性映射的函数如式所示：

f(x)＝x·tanh[ln(1+e^x)] (7)

公式(7)中ln为以e为底的对数，x为输入变量，f(x)为x的非线性变换。

构建的轻量特征学习主干网络的结构如附图5所示，模型共采用3次下采样和3次上采样，每次采样后均有一个跨阶段部分连接块。改进U-Net模型的最后一层网络的输出指数归一化，指数归一化的公式如下：

公式(8)中的x′_i是输入x_i的指数归一化后的输出，K是变量x的长度，e是自然数。

S5、把json中的位置和形态数据转换为改进后的U-Net所用数据形式，转换后的数据格式如附图5所示，只标注煤矸石的位置。将选择的最佳波段的光谱数据按4:1划分为训练数据集和验证数据集。

S6、把训练数据集和验证数据集中的光谱数据归一化，如公式所示

公式(9)中，x_max为所选波段的光谱最大强度，

为归一化后的光谱数据；

把归一化后的光谱数据联合格式转换后的标注数据训练改进后的U-Net模型。改进后的U-Net模型训练时采用三种学习率，先使用小的学习率预训练，随后增大学习率训练一段时间，最后在使用小的学习率训练一段时间。

S7、改进后的U-Net训练时监视验证集的损失，每次验证损失降低保存模型权重。训练结束后，把采集的全部光谱数据用于测试所保存的模型权重，煤矸石平均精度最小的权重作为最佳模型，保存的最佳模型用于煤矸石识别和定位。

在具体实现中，本发明准确快速的识别和定位煤矸石，并能预测煤矸石的形态，预判煤矸石的相对大小，下面以实际案例仿真说明实施方案的有效性。

首先获取煤和矸石的近红外光谱图像。实验仪器为XIMEA公司生产的 xiSpec系列低功耗多光谱成像仪，在波长[682.921 959.369](单位：nm)内有25 个通道，即25个波段。每个波段的光谱数据的分辨率为409pixel×216pixel，实验共采集煤矸石多光谱数据的500组。

采集的煤矸石多光谱数据中有的包含有煤块，在波段选择时，仅使用只有煤矸石的多光谱数据。获取煤矸石多光谱数据后利用公式(1)和公式(2)计算其方差，不同波段的煤矸石的标准差平均值如图7所示，从附图7中不难发现，波段7的标准差最大，因此将波段7作为最佳波段用于煤矸石识别和定位。利用开源图像分割工具LabelMe标注煤矸石。利用公式(8)将波段选择后的光谱数据归一化，然后数据按4:1划分为训练集和测试集，其中训练集数据有400，验证集100。

构建改进的U-Net模型，其输入分辨率为216×216×1，三次下采样为步长为2的卷积操作，每个跨阶段部分连接中的残差数n设置相同，为2。模型共计训练150个Epoch，训练批大小均为8。首先将学习率设为0.0005训练25个Epoch，将学习率调整为0.001训练50个Epoch，最后将学习率设为0.00025训练75个 Epoch。

改进的U-Net模型训练过程中的损失曲线如附图8所示，得分曲线如附图9 所示。为使改进的模型能快速且相对稳定的被训练，采用三种学习率。从图8 和图9可知，尽管在前25个Epoch使用相对小的学习率，但模型的处于被训练得初始阶段，其验证集损失波动相对大，但是训练和验证损失一直保持降低。为加快模型的损失的收敛速度，增大学习率训练50个Epoch，最后降低学习率训练75个Epoch。整个过程中，前100个Epoch，损失一直保持降低，之后保持稳定。

从整个损失和得分曲线看，本发明提出的使用三种学习率训练改进的U-Net 模型，能兼顾稳定和收敛速度。此外，从图中8和图9中可清楚的看出，尽管从 100个Epoch后损失几乎不在减少，但本发明提出的改进U-Net模型没有发生过学习，即，改进的U-Net模型具有非常优秀的抗过学习能力。

测试训练好的改进U-Net模型，其输出如图10所示。图10中共有9张光谱图像，大部分光谱图像中既有煤也有煤矸石，而改进后的U-Net均准确的识别出并定位到煤矸石，并也准确的预测煤矸石的形态。

综上可知，本发明提出一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，结果证实本发明提供的方法是真实有效的。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，其特征在于，包括以下步骤：

步骤1、在不同的环境下采集多组煤矸石的多光谱数据；

步骤2、计算所采集的煤矸石多光谱数据的每一个波段的方差，选择一个信息量最大的波段作为最佳波段，然后将所选的最佳波段的光谱数据转换为一个灰度图像；

步骤3、利用图像分割标注工具在每一张被转换的灰度图像中标注煤矸石的位置和形态，将标注的位置和形态数据保存为json文件；

步骤4、设计一个轻量的用于特征提取的主干网络改进基本的U-Net模型，然后构建基于改进的U-Net煤矸石识别和定位模型；

步骤5、把json中的位置和形态数据转换为改进后的U-Net所用数据形式，然后将波段选择后的数据按4:1划分为训练数据集和验证数据集；

步骤6、把训练数据集和验证数据集中的最佳波段的光谱数据归一化，然后联合格式转换后的标注数据训练改进后的U-Net模型；

步骤7、保存U-Net训练过程中的最佳模型的权重，然后把保存的最佳模型用于煤矸石识别和定位。

2.根据权利要求1所述的一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，其特征在于，步骤2中所述的方差分析的计算如下：

公式(1)中，H和W是每个多光谱每个波段的光谱图的高和宽，X_h,w是第w行和第h列的光谱强度，

是每个波段光谱数据的平均值，公式(2)是

的计算原理，并且公式(2)中的变量与公式(1)中的变量相同；

信息量最大的波段的选择机制是选择标准差最大的波段，将所选的波段的光谱数据按公式(3)转换为灰度图像：

公式(3)中，x和x_max是所选波段光谱数据值和最大值，x_img转换的灰度图像的像素值，uint8是将数据转换为无符号8位整型。

3.根据权利要求1所述的一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，其特征在于，步骤4中所述U-Net改进和轻量的用于特征提取的网络的设计包括如下：

4.1、改进U-Net模型的输入图像的分辨率为H′×W′×1，其中，H′和W′可以是每多光谱每个波段的光谱图的高H和宽W，也可以由用户自行设定；

4.2、轻量特征提取网络采用残差连接(Residual)和跨阶段部分连接(Cross StagePartial-connection,CSP)；

4.3、轻量特征提取网络的卷积操作后均连接一个批归一化层，批归一化的机制如式所示：

公式(4)、(5)和(6)中，x为待批归一化数据，μ和σ分别是均值和标准差，ε为无穷小变量，γ和β待学习参数，

为批归一化后的变量；

4.4、批归一化层后均进行一次Mish非线性映射，以学习复杂特征，Mish非线性映射的函数如式所示：

f(x)＝x·tanh[ln(1+e^x)] (7)

公式(7)中ln为以e为底的对数，x为输入变量，f(x)为x的非线性变换；

4.5、将改进U-Net模型的最后一层网络的输出指数归一化，指数归一化的公式如下：

公式(8)中的x′_i是输入x_i的指数归一化后的输出，K是变量x的长度，e是自然数。

4.根据权利要求1所述的一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，其特征在于，步骤6中所述光谱数据归一化方式如下式所示：

公式(8)中，x_max为所选波段的光谱最大强度，

为归一化后的光谱数据；

为使改进后的U-Net能稳定和快速的被训练，采用三种学习率训练，先使用小的学习率预训练，随后增大学习率训练一段时间，最后在使用小的学习率训练一段时间。

5.根据权利要求1所述的一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法，其特征在于，步骤7中所述的最佳模型保存是在U-Net训练时监视验证集的损失，每次验证损失降低保存模型权重；训练结束后，把采集的全部光谱数据用于测试所保存的模型权重，煤矸石平均精度最小的权重作为最佳模型。

Images