CN113449743B

CN113449743B - 一种煤尘颗粒特征提取方法

Info

Publication number: CN113449743B
Application number: CN202110781494.1A
Authority: CN
Inventors: 王征; 谢丁丁; 李冬艳; 王浩明; 左纯子
Original assignee: Xian University of Science and Technology
Current assignee: Xian University of Science and Technology
Priority date: 2021-07-12
Filing date: 2021-07-12
Publication date: 2022-12-09
Anticipated expiration: 2041-07-12
Also published as: CN113449743A

Abstract

本发明公开了一种煤尘颗粒特征提取方法，包括步骤：一、将煤尘颗粒图像输入训练好的卷积神经网络中；所述卷积神经网络为对U‑Net网络进行改进得到的Ghost‑SE‑Unet网络，所述Ghost‑SE‑Unet网络包括用于提取图像中煤尘颗粒的特征信息的特征提取主干Feature Backbone和用于完成煤尘颗粒特征图的尺寸还原以及生成与煤尘颗粒对应的掩膜的特征上采样Feature Upsample；二、所述卷积神经网络对煤尘颗粒图像进行特征提取，得到煤尘颗粒分割图，将煤尘颗粒从背景中识别出来。本发明能够提高对煤尘颗粒的分割精度，并精确获取颗粒特征更多细节信息。

Description

一种煤尘颗粒特征提取方法

技术领域

本发明属于煤尘特性参数图像分析技术领域，具体涉及一种煤尘颗粒特征提取方法。

背景技术

煤尘的治理是世界煤炭行业公认的难题之一，煤矿生产过程形成的大量煤尘不仅是一种环境污染源，也是对煤炭原料的一种损耗，同时易造成作业设备的磨损，使得产品质量下降，当煤尘颗粒达到一定浓度，会引起煤尘爆炸事故，其参与的爆炸危害远大于瓦斯爆炸，这严重威胁着煤矿的生产安全。因此对煤尘颗粒的特征信息进行提取分析，尤其是从煤尘颗粒的图像特征这一新角度审视和探索煤尘颗粒特性机理，有利于煤尘颗粒的防治，能够有效避免重大事故的发生，对煤矿的生产安全具有指导意义。

目前对煤尘颗粒特征机理已经进行了大量研究，例如，2016年，魏明生、童敏明、梁良和王华睿等人在第47期第05卷的《煤矿安全》上发表的论文《矿井煤尘粒度和浓度实时在线检测系统实验研究》，研究了不同厚度光束对煤尘平均粒度的影响，并指出采用直径为0.24mm光束测量，误差最小；2019年，景明明和韩东志等人在第38期第09卷的《价值工程》上发表的论文《基于伯努利效应在煤尘检测通道的实现研究》，研究了煤尘颗粒粒径对管道内的效应段粒子运动速度的影响，所提改进装置模型能有效应用于煤尘检测；2019年，邹炜、腾晖等人在第38期第06卷的《煤炭技术》上发表的论文《煤矿风机治理上隅角瓦斯技术研究》，研究了某一典型高挥发分煤尘的爆炸压力变化特性，经分析指出，随着煤尘云浓度的增加，爆后残留物的孔隙率逐渐增加，其粒径呈指数增大的趋势变化。鉴于技术手段及研究角度的局限，专家们提出的方案是基于不同实验条件下对煤尘特征的一个或几个参数适用。基于此，考虑进一步对煤尘特性参数图像分析的内在机理进行探索。

近年来，大量研究人员开始基于图像分析的角度探索新的煤尘颗粒特佂提取方法，并取得一定成果。2016年，张泽林等人在International Journal of MineralProcessing(国际矿物加工杂志)上发表的论文Particle overlapping error correctionfor coal size distribution estimation by image analysis(通过图像分析估算煤层粒度分布的粒子重叠误差校正)，提出一种半自动局部分割算法用于煤尘区域的分割；2016年，于顺洋、朱红、王晶等人在Journal of Modern Optics(现代光学杂志)上发表的论文Single sand-dust image restoration using information loss constraint(利用信息损失约束的单沙尘图像恢复)，提出基于信息损失约束下的粗估计传输算法用于粉尘图像恢复；2019年，BRENDAN J.Florio,PHILLIP D.Fawell,MICHAEL Small等人在PowderTechnology(粉末技术)上发表的论文The use of the perim-eter-area method tocalculate the fractal dimension of aggregates(Small使用区域面积法计算聚集体的分形维数)，根据煤尘颗粒的边缘特性进行分析，得出颗粒表面光滑度、黏合性等对颗粒的物理化学特性的影响。上述研究均实现了对颗粒图像特性的分析，但对煤尘颗粒图像特征细节信息的提取未进行深入探讨。而考虑从颗粒图像特征细节信息入手，可以更好的解决煤尘颗粒图像特征提取问题。

传统的煤尘特性参数分析方法已经凸显出一定的局限性，因此迫切需要运用新的技术解决现有问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种煤尘颗粒特征提取方法，其煤尘颗粒图像分割过程中产生的“溢出”和“模糊”等痕迹显著减少，能够提高对煤尘颗粒的分割精度，并精确获取颗粒特征更多细节信息。

为解决上述技术问题，本发明采用的技术方案是：一种煤尘颗粒特征提取方法，该方法包括以下步骤：

步骤一、将煤尘颗粒图像输入训练好的卷积神经网络中；所述卷积神经网络为对U-Net网络进行改进得到的Ghost-SE-Unet网络，所述Ghost-SE-Unet网络包括用于提取图像中煤尘颗粒的特征信息的特征提取主干Feature Backbone和用于完成煤尘颗粒特征图的尺寸还原以及生成与煤尘颗粒对应的掩膜的特征上采样Feature Upsample；

步骤二、所述卷积神经网络对煤尘颗粒图像进行特征提取，得到煤尘颗粒分割图，将煤尘颗粒从背景中识别出来。

上述的煤尘颗粒特征提取方法，步骤一中所述特征提取主干Feature Backbone采用MobileNet V3框架，包括卷积层和5个Ghost layer，5个Ghost layer分别表示为G1、G2、G3、G4和G5，其中，G1包括G-bneck结构，G2、G3、G4和G5均包括G-bneck和G-SE-benck两种结构。

上述的煤尘颗粒特征提取方法，所述G1包括依次设置的2个G-bneck结构，第1个G-bneck结构的步长为1，第2个G-bneck结构的步长为2；所述G2包括依次设置的1个G-bneck结构和1个G-SE-benck结构，G-bneck结构的步长为1，G-SE-benck结构的步长为2；所述G3包括依次设置的1个G-SE-benck结构和1个G-bneck结构，G-SE-benck结构的步长为1，G-bneck结构的步长为2；所述G4包括依次设置的3个G-bneck结构和3个G-SE-benck结构，3个G-bneck结构的步长均为1，3个G-SE-benck结构中前两个的步长均为1，最后一个的步长为2；所述G5包括依次设置的第1个G-SE-benck结构、第1个G-bneck结构、第2个G-SE-benck结构和第2个G-bneck结构，第1个G-SE-benck结构、第1个G-bneck结构、第2个G-SE-benck结构的步长均为1，第2个G-bneck结构的步长为2。

上述的煤尘颗粒特征提取方法，所述G-bneck包括Ghost module和批量归一化层BN。

上述的煤尘颗粒特征提取方法，步长为1的G-bneck包括依次设置的用于扩增特征图通道数的第1个Ghost module、用来减少通道数以便于输出与Shortcut路径数据相匹配的第2个Ghost module、相加模块Add，第1个Ghost module的输入和第2个Ghost module的输出通过Shortcut连接，所述第1个Ghost module之后应用批量归一化层BN和激活函数ReLU，所述第2个Ghost module之后应用批量归一化层BN。

上述的煤尘颗粒特征提取方法，步长为2的G-bneck包括依次设置的用于扩增特征图通道数的第1个Ghost module、点卷积DW Conv、用来减少通道数以便于输出与Shortcut路径数据相匹配的第2个Ghost module、相加模块Add，第1个Ghost module的输入和第2个Ghost module的输出通过Shortcut连接，所述第1个Ghost module之后应用批量归一化层BN和激活函数ReLU，所述点卷积DW Conv之后应用批量归一化层BN和激活函数ReLU，所述第2个Ghost module之后应用批量归一化层BN。

上述的煤尘颗粒特征提取方法，所述Ghost module先采用一次标准卷积Y＝X*f+b得到输出特征图Y，再对Y中的每个原始特征应用线性运算

生成m·s个Ghost特征图y'_ij；其中，*表示卷积运算，b为偏差项，Y∈R^h×w×m，f为卷积核且f∈R^c×k×k×m，h为输出特征图Y的高，w为输出特征图Y的宽，m为卷积核的个数，c为卷积核的通道数，k为卷积核的尺寸；y_i是Y中第i个输出特征图，Φ_i,j表示对第i个输出特征图做第j个线性运算。

上述的煤尘颗粒特征提取方法，所述G-SE-benck结构包括依次设置的用于获取煤尘特征图的G-bneck、用于提升模型对煤尘特征图的通道注意力的压缩激活模块SEmodule、相加模块Add，所述压缩激活模块SE module包括依次设置的用于获取特征图的全局感受野的Global pooling、两个全连接层FC、sigmoid激活函数、比例Scale。

上述的煤尘颗粒特征提取方法，步骤一中所述特征上采样Feature Upsample包含5个上采样模块，每一个上采样模块通过双线性插值法对煤尘特征图进行放大，由特征提取主干Feature Backbone的G5通过1×1卷积得到第1个采样特征图U1，然后U1进行上采样后并与G4相加得到第2个采样特征图U2，U4进行上采样后并与G3相加得到第3个采样特征图U3，U3进行上采样后并与G2相加得到第4个采样特征图U4，U4进行上采样后并与G1相加得到第5个采样特征图U5，最后再通过1×1卷积得到煤尘颗粒分割图。

上述的煤尘颗粒特征提取方法，训练所述卷积神经网络时采用的损失函数为二值交叉熵及合页协同损失函数L_Coll＝βJ_BCE+(1-β)J_Hinge，其中，J_BCE表示二值交叉熵损失函数，J_Hinge表示合页损失函数，β为二值交叉熵损失函数的权重参数。

本发明与现有技术相比具有以下优点：

1、U-Ne网络模型用于解决图像分割问题，尤其是针对形状较小的微观粒子分割效果显著，能够很好地提取其图像特征信息；由于煤尘颗粒边界与微观粒子边界特征相似，因此使用U-Net网络作为煤尘颗粒图像分割网络的基础网络框架；本发明再对U-Net网络进行改进得到Ghost-SE-Unet网络，能够提高对煤尘颗粒的分割精度、减少网络参数数量并提高网络训练速度。

2、Ghost模块、SE模块、BN层分别可以减少网络参数量、提高煤尘颗粒分割精度、加快网络收敛速度；二值交叉熵及合页协同损失函数可缓解颗粒特征类别不平衡的问题；与其他识别算法相比，本发明提出的改进Ghost-SE-Unet网络对不同形状及粒径的颗粒类别具有较优的学习效果，可有效增强煤尘特征的学习能力，大幅减少模型参数，并精确获取颗粒特征更多细节信息。

3、本发明所提Ghost-SE-Unet针对煤尘颗粒分割任务在精确度、召回率以及F1分数三个指标分别达到0.9732、0.9434和0.9581，优于FCN、SegNet、DeepLabV3以及U-Net网络。

4、本发明能够提取煤尘样本颗粒的有效特征、降低图像噪声干扰、平衡颗粒灰度以及提升边缘清晰度。同时使得煤尘颗粒图像分割过程中产生的“溢出”和“模糊”等痕迹显著减少，提升了网络对不同粒径颗粒的学习能力。

5、本发明所提协同损失函数相对二值交叉熵及合页损失函数能同时有效解决样本类别不平衡和网络前向传播中梯度消失的问题，并使得网络得到置信度较高的预测结果，提升网络在煤尘图像数据集上的运行效率和分割性能。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明煤尘颗粒特征提取方法的方法流程框图；

图2为本发明Ghost-SE-Unet网络的结构示意图；

图3A为本发明步长为1时Ghost bottleneck的结构示意图；

图3B为本发明步长为2时Ghost bottleneck的结构示意图；

图4为本发明s＝2时ghost module对特征图的处理方式示意图；

图5为本发明Ghost-SE Bottleneck的结构示意图；

图6(a)～6(g)为本发明运用五种网络模型对不同粒径的煤尘颗粒特征进行提取的结果对比图；

图7为本发明运用五种网络模型训练过程中的协同损失函数仿真结果图；

图8(a)～8(f)为本发明不同场所煤尘污染程度仿真结果图。

具体实施方式

如图1所示，本发明的煤尘颗粒特征提取方法，包括以下步骤：

步骤一、将煤尘颗粒图像输入训练好的卷积神经网络中；所述卷积神经网络为对U-Net网络进行改进得到的Ghost-SE-Unet网络，所述Ghost-SE-Unet网络包括用于提取图像中煤尘颗粒的特征信息的特征提取主干Feature Backbone和用于完成煤尘颗粒特征图的尺寸还原以及生成与煤尘颗粒对应的掩膜(mask)的特征上采样Feature Upsample；

U-Net网络模型用于解决图像分割问题，尤其是针对形状较小的微观粒子分割效果显著，能够很好地提取其图像特征信息；由于煤尘颗粒边界与微观粒子边界特征相似，因此使用U-Net网络作为煤尘颗粒图像分割网络的基础网络框架，进一步地，为提高U-Net对煤尘颗粒的分割精度、减少网络参数数量并提高网络训练速度，本发明对U-Net网络进行改进提出了Ghost-SE-Unet网络。

本实施例中，步骤一中所述特征提取主干Feature Backbone采用MobileNet V3框架，包括卷积层和5个Ghost layer，5个Ghost layer分别表示为G1、G2、G3、G4和G5(如图2中的G1～G5和表1中的G1～G5所示)，其中，G1包括G-bneck(Ghost bottleneck)结构，G2、G3、G4和G5均包括G-bneck(Ghost bottleneck)和G-SE-benck(Ghost-SE bottleneck)两种结构。

具体实施时，所述卷积层为包含16个卷积核的标准卷积。

如表1所示，所述G1包括依次设置的2个G-bneck结构，第1个G-bneck结构的步长(stride)为1，第2个G-bneck结构的步长为2；所述G2包括依次设置的1个G-bneck结构和1个G-SE-benck结构，G-bneck结构的步长为1，G-SE-benck结构的步长为2；所述G3包括依次设置的1个G-SE-benck结构和1个G-bneck结构，G-SE-benck结构的步长为1，G-bneck结构的步长为2；所述G4包括依次设置的3个G-bneck结构和3个G-SE-benck结构，3个G-bneck结构的步长均为1，3个G-SE-benck结构中前两个的步长均为1，最后一个的步长为2；所述G5包括依次设置的第1个G-SE-benck结构、第1个G-bneck结构、第2个G-SE-benck结构和第2个G-bneck结构，第1个G-SE-benck结构、第1个G-bneck结构、第2个G-SE-benck结构的步长均为1，第2个G-bneck结构的步长为2。

表1特征提取主干Feature Backbone的结构表

本实施例中，所述G-bneck包括Ghost module和批量归一化层BN(BN layer)。

所述G-bneck的作用为减少煤尘颗粒分割网络的参数数量、提高网络训练速度，可代替传统标准卷积。所述G-bneck包括步长为1的G-bneck和步长为2的G-bneck两种结构。

如图3A所示，步长为1的G-bneck包括依次设置的用于扩增特征图通道数的第1个Ghost module、用来减少通道数以便于输出与Shortcut(短接)路径数据相匹配的第2个Ghost module、相加模块Add，第1个Ghost module的输入和第2个Ghost module的输出通过Shortcut(短接)连接，所述第1个Ghost module之后应用批量归一化层BN和激活函数ReLU(Rectified Linear Unit整流线性单元)，所述第2个Ghost module之后应用批量归一化层BN。

步长为1时的G-bneck，主要由两个Ghost module堆叠而成，第一个Ghost module用作扩增特征图通道数，第二个Ghost module用来减少通道数以便于输出与Shortcut(短接)路径数据相匹配；再使用shortcut连接两个Ghost module的输入和输出，通过相加模块Add得到整个模块的输出特征图；G-bneck中除过第二个Ghost module之后不使用ReLU(Rectified Linear Unit整流线性单元常用激活函数)，其他层后面都应用了BN(批量归一化层)和ReLU(Rectified Linear Unit整流线性单元常用激活函数)。

如图3B所示，步长为2的G-bneck包括依次设置的用于扩增特征图通道数的第1个Ghost module、点卷积DW Conv、用来减少通道数以便于输出与Shortcut(短接)路径数据相匹配的第2个Ghost module、相加模块Add，第1个Ghost module的输入和第2个Ghostmodule的输出通过Shortcut(短接)连接，所述第1个Ghost module之后应用批量归一化层BN和激活函数ReLU(Rectified Linear Unit整流线性单元)，所述点卷积DW Conv之后应用批量归一化层BN和激活函数ReLU(Rectified Linear Unit整流线性单元)，所述第2个Ghost module之后应用批量归一化层BN。

具体实施时，所述点卷积DW Conv的步长为2。

本实施例中，所述Ghost module先采用一次标准卷积Y＝X*f+b得到输出特征图Y，再对Y中的每个原始特征应用线性运算

生成m·s个Ghost特征图y'_ij；其中，*表示卷积运算，b为偏差项，Y∈R^h×w×m，f为卷积核且f∈R^c ^×k×k×m，h为输出特征图Y的高，w为输出特征图Y的宽，m为卷积核的个数，c为卷积核的通道数，k为卷积核的尺寸；y_i是Y中第i个输出特征图，Φ_i,j表示对第i个输出特征图做第j个线性运算(用于生成第i个输出特征图对应的第j个ghost特征图y'_ij)。

Ghost module，在对煤尘颗粒图像的分割任务中，原始U-Net网络产生的训练参数较大，大量参数来自特征冗余(ghost特征图)，即feature map(特征图)中一些彼此相似的煤尘特征图，因此为减少该部分ghost特征图产生的过多参数数量以及FLOPs(floatingpoint operations浮点运算数)，本发明使用Ghost module作为煤尘颗粒特征提取网络的核心部分，卷积核f大小、stride(步长)、padding(填充)等超参数与普通卷积中的超参数相同，以保持输出特征图的空间大小(即h和w)；

具体实施时，y_i可以具有一个或多个Ghost特征图

最后的Φ_i,s是用于保留原始特征图的恒等映射，图4为s＝2时ghost module对特征图的处理方式；最终通过使用廉价线性运算，可以获得m·s＝2m个特征图Y＝[y₁₁,...,y_ms]，此时参数量相对于标准卷积减少了一半。

批量归一化层BN，由于U-Net结构中每层及同层网络不同维度的接受域大小不同，导致所需学习率大小各异且无法规范，要确保损失函数有效地下降可采用其中最小的初始学习率进行训练，在每个Ghost module后连接批量归一化层BN，可对网络每层、每个维度的接受域大小规范统一，以保证网络在对煤尘颗粒特征提取过程中选取较高的初始学习率进行优化，并提高训练过程中学习率的衰减速度，使网络具有快速收敛的特性，批量归一化层BN可限制参数的搜索空间，使得参数的搜索更加容易，增强了Ghost-SE-Unet网络对超参数选择的稳定性。

如图5所示，所述G-SE-benck结构包括依次设置的用于获取煤尘特征图的G-bneck(Ghost bottleneck)、用于提升模型对煤尘特征图的通道注意力的压缩激活模块SEmodule、相加模块Add，所述压缩激活模块SE module包括依次设置的用于获取特征图的全局感受野的Global pooling(全局池化)、两个全连接层FC、sigmoid激活函数、比例Scale。

所述G-SE-benck结构先使用Ghost bottleneck获取煤尘特征图，再通过压缩激活模块SE module提升模型对煤尘特征图的通道注意力，其中使用Global pooling(全局池化)获取特征图的全局感受野，再经过两个全连接层FC和sigmoid激活函数对应每个通道生成相应的权重，该组权重代表了经过特征选择后的每个特征通道的重要性，最后将该组权重通过比例Scale逐通道加权到先前的特征上，完成在通道维度上对Ghost bottleneck煤尘特征进行重组。

本发明提出该结构主要用于提高网络中某些关键G-bneck对煤尘特征图通道之间的关注度，从而提升该bottleneck对煤尘颗粒特征的学习能力。

具体实施时，所述压缩激活模块SE module包括压缩操作和激活操作，能够达到对通道之间的依赖关系进行精确建模以校准卷积核操作的目的。

压缩操作，即通过全局平均池化操作对批量归一化层BN获得的煤尘特征输出进行压缩，将煤尘特征压缩为一组实数数列，该操作目的是扩大感受野；

激活操作，旨在抓取各个通道之间的关系，此操作需满足两个准则：学习各个通道之间的非线性交互关系；学习其非互斥关系；其目的是使网络更加关注煤尘特征图各个通道之间的关系。

压缩激活模块SE module是对各个通道进行权重的分配，类似注意力机制，帮助网络快速学习到重要的特征信息；该模块连接到G-bneck之后可帮助G-bneck在空间上融合更多特征，提取多尺度空间信息，以提高G-bneck的感受野。

G-bneck(Ghost bottleneck)和G-SE-benck(Ghost-SE bottleneck)两种结构的相同点在于均使用了Ghost module和批量归一化层BN作为特征提取的核心部分，其中Ghost module可保证网络在继承深层轻量网络框架带来的分割精度效益的同时减少大量卷积运算产生的参数量和FLOPs，批量归一化层BN可以提高网络的训练速度和损失函数的收敛速度。不同点在于，G-SE-benck(Ghost-SE bottleneck)相比G-bneck(Ghostbottleneck)增添了压缩激活模块SE module，压缩激活模块SE module可提升网络对通道的注意力以及网络对煤尘颗粒的分割精度。

本实施例中，步骤一中所述特征上采样Feature Upsample包含5个上采样模块，每一个上采样模块通过双线性插值法对煤尘特征图进行放大，由特征提取主干FeatureBackbone的G5通过1×1卷积得到第1个采样特征图U1，然后U1进行上采样后并与G4相加得到第2个采样特征图U2，U4进行上采样后并与G3相加得到第3个采样特征图U3，U3进行上采样后并与G2相加得到第4个采样特征图U4，U4进行上采样后并与G1相加得到第5个采样特征图U5，该得到的特征图的特点是深度深，且分辨率高，最后再通过1×1卷积得到煤尘颗粒分割图。

综上所述，本发明从微观学和复杂的非线性模型研究角度出发，首先选择U-Net网络为煤尘颗粒特征提取的基础网络框架，然后使用Ghost module、压缩激活模块SE module以及批量归一化层BN组合得到的Ghost-bottleneck和Ghost-SE-bottleneck，组合得到新的特征提取主干Feature Backbone；将该特征提取主干Feature Backbone用作U-Net的下采样阶段，得到新型轻量化煤尘颗粒特征提取Ghost-SE-Unet模型，实现煤尘颗粒图像的特征提取。

本实施例中，训练所述卷积神经网络时采用的损失函数为二值交叉熵及合页协同损失函数L_Coll＝βJ_BCE+(1-β)J_Hinge，其中，J_BCE表示二值交叉熵损失函数，J_Hinge表示合页损失函数，β为二值交叉熵损失函数的权重参数。

针对煤尘颗粒的二分类语义分割任务，本发明结合二值交叉熵损失函数与合页损失函数的特点，提出了二值交叉熵及合页协同损失函数，该二值交叉熵及合页协同损失函数既能避免反向传播中梯度消失的问题，缓解煤尘图像分割任务中的颗粒特征类别不平衡，又能确保输出特征获得较高的预测值置信度。

为了验证本发明能够产生的技术效果，进行了实验仿真及分析，具体如下：

A、煤尘样本图像数据集

图像煤样取自某煤矿选煤厂，采样标准按照《环境空气质量手工监测技术规范》(HJ/T194)进行，依据30组不同类别的煤尘图像作为训练样本，类别按照取像光源、取像时段、取像温度不同条件划分，按粒度分类获取煤尘颗粒信息。实验前将每组颗粒样本放入60℃恒温干燥箱中干燥24小时以上，并打好样本标签。每组取像20幅图片，限于篇幅，仅列出部分样本。取像基于Pentium Dual Core G3420CPU，4GRAM的PC机，Olympus BX41(显微放大倍数:目镜×10,物镜×10)及其Matlab7.0平台下获得的。经对原始图像数据筛选后，所组成的数据集包含了6组图像，每组数据集包含80张训练图像，10张验证图像和20张测试图像，具有红绿蓝3个通道，图片尺寸大小为3072×2048，扫描精度为600dpi。考虑到显存大小的限制，将每张图像用512像元×512像元的滑窗进行裁剪，每张原始图像产生24张小图像，相邻图像无像元重叠，最终每组中训练集、验证集和测试集分别包含1920、240和480张图像。

B、实验分析

煤尘特征识别仿真实验平台环境选取Windows10操作系统,采用Intel(R)Core(TM)i7-7700HQ的处理器,主频2.80GHz，内存16GB，深度学习搭建框架选取Kears，软件编程以Python3.7作为平台，GPU为NVIDIA GeForce GTX 1070。

B1、消融研究

(1)Ghost module消融实验

Ghost module中存在两个超参数：普通特征图对应产生的ghost特征图个数s(s≥2)，以及计算特征图冗余时的深度卷积核大小d(d≥1，d为奇数)。为得到效果最佳的Ghostmodule超参数组合方式，本实验选择未添加Ghost module的U-Net作为对比网络，对超参数s和d进行消融实验。

首先固定s＝2，在{1,3,5,7}范围内调整超参数d。表2列出了不同d对U-Net网络性能的影响，观察可得，随着d由1奇数增加至7，网络的Parameter(参数)几乎保持3.89M不变，FLOPs由108M轻微增加至114M，当d＝3时网络在测试集上的mAP取得最大值97.28％，超过了未添加Ghost module的U-Net。这是因为1×1的卷积核不能引入特征图的空间信息，从而导致煤尘分割精度略低，而5×5、7×7等更大的卷积核容易导致训练过拟合使得煤尘分割精度降低。因此后续实验中，为保证煤尘分割精度，固定卷积核的大小为3×3。

表2 The performance of U-Net with different d

其次固定d＝3，在{2,3,4,5,6}范围内调整超参数s。表3展示了不同s对U-Net性能的影响，分析可得，随着s由2增大至6，Parameter(参数)由3.89M减少至1.87M，FLOPs由105M减少至27M，U-Net在测试集上的mAP由97.28％降低至94.66％。实验结果和预期效果一样，s与网络最终的计算成本直接相关，随着s的增大，网络的Parameter(参数)与FLOPs(floating point operations浮点运算数)将会大幅度缩减，但对煤尘颗粒的分割精度也会随之降低，只有当s＝2时网络的测试集mAP高于未添加Ghost module的U-Net。因此后续实验固定s＝2，该超参数的取值不仅可以保证原始网络的mAP，也能压缩原始网络一半的计算量，从而大幅度提升网络的性能。

表3 The performance of U-Net with different s

(2)各个模块实际作用评测

在对煤尘图像的实际分割实验中，加入的Ghost module、SE module(压缩激活模块)以及BN layer(批量归一化层)分别对网络性能产生了影响，为确定每个模块对实验结果的影响是否与理论假设一致，同时为确定各个模块是否对实验结果产生了其他新的积极或消极影响，本发明进行了以下消融实验，如表4所示。

表4各个模块性能评测

观察表中数据，只加入BN layer(批量归一化层)的U-Net对训练集和测试集的mAP都有微弱的提升，同时缩短了训练时间，但对模型参数量未产生影响。说明BN layer(批量归一化层)不仅验证了理论，即提高了网络的收敛速度，而且实际中对mAP产生了积极影响。只加入SE module(压缩激活模块)的U-Net大幅提高了训练集与测试集的mAP，但同时产生了多余的微量参数、增加了训练时间。这说明SE module(压缩激活模块)实际中对煤尘颗粒的分割精度具有可观的积极作用，而对参数量和训练时间的消极影响可以忽略。只加入Ghost module的U-Net对mAP影响不显著，而对微量参数数量和训练时间则是有较大的积极作用。说明Ghost module的实际作用同理论结果一样，可以在保证U-Net分割精度的同时对参数数量减半，达到提高网络运行效率的目的。为测试上述三个模块的综合性能，该实验对U-Net同时加入这三个模块进行评估。实验结果显示，训练集与测试集的mAP都有额外的提升，而训练时间和参数数量相对只加入Ghost module的U-Net较差。这说明同时使用BNlayer(批量归一化层)、SE module(压缩激活模块)和Ghost module虽未能消减SE module(压缩激活模块)对参数数量和训练时间产生的可以忽略的负面作用，但却能够带来更高的煤尘分割精度收益，这种收益可能来自于三个模块的组合方式，即网络结构的设计能够超常发挥这三个模块的性能。

B2、不同主干网络对煤尘分割效果的影响分析

本发明所提网络Ghost-SE-Unet主要基于U-Net修改了其下采样backbone(主干网络)，而对于backbone(主干网络)框架的选择最为重要。本实验介绍了下采样backbone(主干网络)的选择方法，首先选择VGG19^[19]、ResNet-56^[20]、ResNet-101^[21]、Mask R-CNN^[22]、GoogLeNet V4^[23]以及MobileNet V3一些主流网络框架作为预选框架，对于VGG19、Mask R-CNN两种经典的卷积块叠加网络，直接使用Ghost module替换掉所有卷积层得到Ghost-VGG19与Ghost-Mask R-CNN两个预选backbone。而对于ResNet-56、ResNet-101、GoogLeNetV4以及MobileNet V3四个主流轻量级网络结构，则使用G-bneck与G-SE-bneck视情况替换掉其内部原本的bottleneck，得到轻量级预选backbone：Ghost-ResNet-56、Ghost-ResNet-101、Ghost-GoogLeNet V4以及Ghost-MobileNet V3。然后通过对比搭建上诉预选backbone后，Ghost-SE-Unet在训练集和测试集上的mAP以确定最终将使用的backbone。表5展示了各个预选backbone在煤尘数据集上的实际性能，分析可得，使用Ghost-MobileNet V3作为backbone(主干网络)的Ghost-SE-Unet在训练集与测试集上分均取得了最高的mAP。因此本发明所提Ghost-SE-Unet模型使用MobileNet V3作为backbone(主干网络)。

表5不同backbone的实验结果对比

B3、Comparison to the state of the art

实验对FCN、SegNet、DeepLabV3、U-Net和Ghost-SE-Unet五种网络进行训练，其中FCN、SegNet、DeepLab V3具有典型深度学习机制，需要较多模块集合的重复叠加，属于轻量级网络，可完成自主学习并获取各特征通道的重要程度，同时提取更重要的特征并抑制对当前任务作用不大的特征。

为对煤尘图像分割结果进行评估，本发明选择经常用于深度学习神经网络性能评估的三个指标：精确度(Precision)、召回率(Recall)、F1分数(F1)，其中精确度表示网络预测为正的结果中为真的概率；召回率表示样本数据中的正例被网络预测正确的概率；F1分数可以视为召回率与精确度的一种调和平均。上述指标值越大代表网络分割结果越好。

表6不同网络评价指标对比

通过煤尘样本测试集分别对上述模型进行性能测试，表5给出各网络通过测试集训练后的性能指标。通过对表5分析发现，FCN、SegNet、DeepLab V3的F1数值较低，这是由于这三种网络对网络编码器提取的特征，只通过上采样操作将其恢复为输入图像尺寸，而未对多尺度特征的像素定位和分类之间的相关性进行学习，因此获得的实验结果较为模糊。而U-Net与Ghost-SE-Unet网络添加了跳跃连接，将提取到的底层简单特征和高层抽象特征相融合，有效的帮助网络得到更准确的分割结果。从表6中可以看到，Ghost-SE-Unet的精确度、召回率及F1分数分别达到0.9732、0.9434和0.9581，与U-Net网络相比分割结果明显提升。效果的改善主要是因为Ghost-SE-Unet网络中加入BN层能有效地统一训练数据的分布，从而提升网络性能的优化；SE模块的引入可帮助网络对于重要的特征信息快速学习，扩大其感受野，增强网络对特征的利用并提高对颗粒的学习能力。

图6(a)～6(g)给出运用上述五种网络模型对不同粒径的煤尘颗粒特征进行提取的结果对比，三行图像分别对应不同粒径的颗粒。图6(a)表示输入网络的煤尘样本颗粒图，通过观察图6(b)、图6(c)、图6(d)可以发现FCN、SegNet以及DeepLabV3三种网络对煤尘颗粒图像分割时，背景区域产生了许多噪声，分割结果较为粗糙。其中FCN网络能绘制出煤尘颗粒的部分轮廓，但无法较好区分颗粒轮廓与背景。SEgNet与DeepLab V3则是产生了更多噪点，但煤尘颗粒中仅缺失少量的煤尘信息，产生的黑色区域较少，相较FCN网络能够更好地还原煤尘颗粒区域。图6(e)为U-Net网络分割结果，观察发现网络虽然能较好地还原煤尘颗粒的尺寸，但其成像较为“模糊”，生成的煤尘颗粒边缘较为光滑，相比原图存在轻微失真，另外颗粒轮廓部分成色较淡，可能是由于U-Net学习到部分不重要的特征，导致所学特征并未很好地表达煤尘信息。通过图6(f)发现本发明提出的Ghost-SE-Unet能有效区分煤尘颗粒和背景信息，煤尘内部未出现黑色区域，也未生成噪点，并且煤尘颗粒成像更为清晰，对颗粒轮廓信息有较好识别结果，且颗粒边界比较接近原图颗粒边界形状。图6(g)插入了对Ghost-SE-Unet分割图内煤尘颗粒黏合部分处理的结果图，该图反映了分割图中颗粒之间的黏合程度，红色为黏合最多的煤尘区域，黄色则为没有黏合情况的煤尘颗粒。实验对黏合情况严重的区域进行了检测和颗粒分离，共记录了三组分割图，三组图分别对应“R≤75μm”、“75<R≤200μm”及“R>200μm”三个范围粒径的颗粒。分析可得在“R≤75μm”范围内煤尘图像中黏合情况最为严重，对绝大部分黏合区域可以成功检测和分离；在“75<R≤200μm”范围内煤尘图像中黏合情况降低，黏合区域也全部成功被检测和分离；在“R>200μm”范围内煤尘图像中黏合情况最少，黏合区域也同样全部被检测和分离。随着煤尘颗粒粒径的增加，颗粒之间的黏合情况逐渐减少，对黏合区域的检测与分离难度也随之下降，这主要是因为粒径的大小对颗粒之间的黏合程度有较大的影响，粒径越小，采样区域内煤尘颗粒越多，堆叠黏合情况越明显。

B4、不同损失函数的对比分析

为研究不同损失函数对网络分割性能的影响，针对二值交叉熵损失函数(BinaryCross-Entropy Loss Function，简称BCE Loss)、合页损失函数(Hinge Loss Function,简称Hinge Loss)和二值交叉熵及合页协同损失函数(Binary Cross-Entropy-based HingeCollaborative Loss，简称BCE-H Loss)进行实验对比。U-Net与Ghost-SE-Unet在三种不同损失函数下的煤尘颗粒分割结果如表7所示。从表中结果可以看出，加入Loss后U-Net与Ghost-SE-Unet的三项指标均高于融合前BCE loss与Hinge Loss的结果，说明BCE-H损失函数能够促进网络在反向传播过程中对学习难度大的样本颗粒实现稳定的优化，解决梯度消失及类别不平衡的问题，有效提升网络分割性能。

表7不同损失函数下网络的分割结果

此外，实验记录了FCN、SegNet、DeepLabV3、U-Net和Ghost-SE-Unet五个网络训练过程中的协同损失函数数值(每2次训练记录1次数值)，仿真结果如图7所示。从图中曲线分析可知，Ghost-SE-Unet初始损失值低于其他网络，在第45次训练最先达到平稳状态，并且其稳定后的损失值相对最小，低于0.1。这是因为BN layer的存在以及协同损失函数的惩罚机制能够提高Ghost-SE-Unet训练速度，同时BN layer能够加快协同损失函数的收敛速度，才使得损失曲线能够拥有较小的初始损失值，并先于其他网络到达最低平衡点。

B5、不同场所煤尘污染程度分析

实验过程中，为观察分析煤尘颗粒对各个产尘现场的污染程度，首先选择煤矿选煤厂的原煤煤仓、原煤破碎站、筛分破碎车间、跳汰车间、产品煤仓和输煤走廊作为煤尘颗粒样本采集点。在6个产尘场所设置固定煤尘采样器，通过采样器内采样头上安装的纤维滤膜，采集煤尘颗粒样品。其次对煤尘颗粒样品进行划分，由于引起煤尘爆炸的必要条件之一是粒径，这是影响其反应速度和灵敏度的重要因素。粒径大于200μm，且包含一定数量的大颗粒则不宜引起爆炸。颗粒越小越易燃烧，爆炸也越强。粒径在200μm以下，且分散度较大时，易于在空中漂浮，吸热快，易着火，而引发爆炸等安全事故的煤尘粒径大多是<75μm颗粒群。基于以上因素将粒径范围划分为“R≤75μm”、“75<R≤200μm”及“R>200μm”三组。最后根据八邻域算法和面积比公式推导出煤尘颗粒占比值：

该占比值可反映煤尘样本图中煤尘颗粒所占百分比情况，可用于分析产尘场所煤尘浓度情况。

在各个产尘场所中，由于粒径小于75μm的煤尘颗粒，质量较轻，易悬浮于空气之中，对人体的伤害最大；粒径在75～200μm的煤尘颗粒质量较大，在重力作用下会附着在设备表面或其他工作表面，但在振动作用下会产生二次扬尘，该粒径范围的颗粒易造成煤尘爆炸事故；粒径大于200μm的煤尘颗粒质量相对较大，可在重力作用下降尘，在空气中悬浮时间较短。因此实验中将煤尘按照粒径不同分为“R≤75μm”、“75<R≤200μm”及“R>200μm”三个组别，先对每个产尘场所采集的煤尘样本的颗粒面积进行记录，仿真结果如图8(a)～8(f)所示，再对每个场所的煤尘颗粒占比值进行统计，如表8所示。

表8产尘场所颗粒占比值对比

Table8 Contrast of particle proportion in dust producing fields

图8(a)为在Raw coal bunker产尘场所环境下煤尘污染程度仿真结果图；图8(b)为在Raw coal crushing station产尘场所环境下煤尘污染程度仿真结果图；图8(c)为在Screening crushing workshop产尘场所环境下煤尘污染程度仿真结果图；图8(d)为在Jigging workshop产尘场所环境下煤尘污染程度仿真结果图；图8(e)为在Product bunker产尘场所环境下煤尘污染程度仿真结果图；图8(f)为在Coal handling corridor产尘场所环境下煤尘污染程度仿真结果图。

在六个产尘场所环境下，通过对获取的煤尘图像样本分析，粒径小于75μm的煤尘颗粒数目平均值为214，在各个产尘产所中该范围颗粒数目占比平均值为64.22％，面积占比平均值为7.3％，说明该粒径范围的煤尘颗粒在整个生产环节中颗粒数目最多，面积占比最小，小颗粒的大量存在对人体和精密设备的危害程度最大；随着粒径的增大，颗粒面积随之增加，粒径75<R≤200μm的煤尘颗粒数目平均值为99，在各个产尘产所中该范围颗粒数目占比平均值为29.54％，面积占比平均值为33.2％；另外粒径R>200μm的煤尘颗粒数目平均值为21，在各个产尘产所中该范围颗粒数目占比平均值为6.24％，面积占比平均值为35.3％，表明随着生产环节后移，这两个粒径范围内的煤尘颗粒数目逐渐减少，但其面积占比逐渐变大，生产设备故障以及煤尘爆炸事故易发生在靠前的生产车间即原煤煤仓与原煤破碎站。其中原煤煤仓车间煤尘颗粒数目为449个，煤尘面积总占比达81％，粒径R>200μm的煤尘颗粒面积占比达40％；原煤破碎站煤尘颗粒数目为367，煤尘总占比达90％，粒径R>200μm的煤尘颗粒面积占比达42％，明显高于其他四个场所，对于这两个场所应提高煤尘浓度监测与清理的频率，以预防煤尘爆炸等恶性事件的发生。此外，对于煤尘粒径小于75μm的场所如产品煤仓，应提高通风降尘的频率，以减少煤尘对人体健康的伤害。

综上所述，本发明使得煤尘颗粒图像分割过程中产生的“溢出”和“模糊”等痕迹显著减少，提升了网络对不同粒径颗粒的学习能力；能够提高对煤尘颗粒的分割精度，并精确获取颗粒特征更多细节信息。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims

1.一种煤尘颗粒特征提取方法，其特征在于，该方法包括以下步骤：

步骤一中所述特征提取主干Feature Backbone采用MobileNet V3框架，包括卷积层和5个Ghostlayer，5个Ghostlayer分别表示为G1、G2、G3、G4和G5，其中，G1包括G-bneck结构，G2、G3、G4和G5均包括G-bneck和G-SE-benck两种结构；

所述G1包括依次设置的2个G-bneck结构，第1个G-bneck结构的步长为1，第2个G-bneck结构的步长为2；所述G2包括依次设置的1个G-bneck结构和1个G-SE-benck结构，G-bneck结构的步长为1，G-SE-benck结构的步长为2；所述G3包括依次设置的1个G-SE-benck结构和1个G-bneck结构，G-SE-benck结构的步长为1，G-bneck结构的步长为2；所述G4包括依次设置的3个G-bneck结构和3个G-SE-benck结构，3个G-bneck结构的步长均为1，3个G-SE-benck结构中前两个的步长均为1，最后一个的步长为2；所述G5包括依次设置的第1个G-SE-benck结构、第1个G-bneck结构、第2个G-SE-benck结构和第2个G-bneck结构，第1个G-SE-benck结构、第1个G-bneck结构、第2个G-SE-benck结构的步长均为1，第2个G-bneck结构的步长为2；

2.按照权利要求1所述的一种煤尘颗粒特征提取方法，其特征在于：所述G-bneck包括Ghost module和批量归一化层BN。

3.按照权利要求2所述的一种煤尘颗粒特征提取方法，其特征在于：步长为1的G-bneck包括依次设置的用于扩增特征图通道数的第1个Ghost module、用来减少通道数以便于输出与Shortcut路径数据相匹配的第2个Ghost module、相加模块Add，第1个Ghost module的输入和第2个Ghost module的输出通过Shortcut连接，所述第1个Ghost module之后应用批量归一化层BN和激活函数ReLU，所述第2个Ghost module之后应用批量归一化层BN。

4.按照权利要求2所述的一种煤尘颗粒特征提取方法，其特征在于：步长为2的G-bneck包括依次设置的用于扩增特征图通道数的第1个Ghost module、点卷积DW Conv、用来减少通道数以便于输出与Shortcut路径数据相匹配的第2个Ghost module、相加模块Add，第1个Ghost module的输入和第2个Ghost module的输出通过Shortcut连接，所述第1个Ghostmodule之后应用批量归一化层BN和激活函数ReLU，所述点卷积DW Conv之后应用批量归一化层BN和激活函数ReLU，所述第2个Ghost module之后应用批量归一化层BN。

5.按照权利要求3或4所述的一种煤尘颗粒特征提取方法，其特征在于：所述Ghostmodule先采用一次标准卷积Y＝X*f+b得到输出特征图Y，再对Y中的每个原始特征应用线性运算

6.按照权利要求1～4中任一权利要求所述的一种煤尘颗粒特征提取方法，其特征在于：所述G-SE-benck结构包括依次设置的用于获取煤尘特征图的G-bneck、用于提升模型对煤尘特征图的通道注意力的压缩激活模块SE module、相加模块Add，所述压缩激活模块SEmodule包括依次设置的用于获取特征图的全局感受野的Global pooling、两个全连接层FC、sigmoid激活函数、比例Scale。

7.按照权利要求1所述的一种煤尘颗粒特征提取方法，其特征在于：步骤一中所述特征上采样Feature Upsample包含5个上采样模块，每一个上采样模块通过双线性插值法对煤尘特征图进行放大，由特征提取主干Feature Backbone的G5通过1×1卷积得到第1个采样特征图U1，然后U1进行上采样后并与G4相加得到第2个采样特征图U2，U4进行上采样后并与G3相加得到第3个采样特征图U3，U3进行上采样后并与G2相加得到第4个采样特征图U4，U4进行上采样后并与G1相加得到第5个采样特征图U5，最后再通过1×1卷积得到煤尘颗粒分割图。

8.按照权利要求1所述的一种煤尘颗粒特征提取方法，其特征在于：训练所述卷积神经网络时采用的损失函数为二值交叉熵及合页协同损失函数L_Coll＝βJ_BCE+(1-β)J_Hin，其中，J_BCE表示二值交叉熵损失函数，J_Hinge表示合页损失函数，β为二值交叉熵损失函数的权重参数。