CN113569966B - 基于gaf-深度学习的煤岩界面比例识别分类方法 - Google Patents

Abstract

本发明公开了一种基于GAF‑深度学习的煤岩界面比例识别分类方法，包括首先引入格拉姆角场算法对传感器信号的时间域进行预处理，将一维的时间信号转化为了二维的图片信号；然后利用机器可以视觉识别和分类时间序列的优势，通过一种深度学习Resnet‑34算法识别二维图片信号中的特征并进一步完成分类，并且引入迁移学习提高训练速度与分类正确率，该方法实现了传感器信号在时间域上的维度转化，解决了现有在煤岩界面识别方法中传感器信息处理方法以频率方法为主，缺少在时域上分析方法的创新，且普适性差、缺乏自适应性，识别精度低，且鲁棒性较差的问题。

Description

基于GAF-深度学习的煤岩界面比例识别分类方法

技术领域

本发明涉及传感器信息处理技术领域，具体涉及一种基于GAF-深度学习的煤岩界面比例识别分类方法。

背景技术

煤炭作为我国的主要能源，既是主要的燃料，也是重要的工业原料，因此煤岩界面自动识别技术是实现综采少人化的重要技术之一，也是实现煤矿生产的高产高效和煤炭资源的合理利用的关键，随着机器视觉技术的发展，基于传感器信息处理的煤岩界面识别方法研究取得了进展，能以较高的识别率实现工作面煤岩比的分类，基于GAF-深度学习的煤岩界面比例识别分类方法实现了综采工作面自动化、无人化开采，实现了煤炭高效开采和高质输出，目前基于传感器信息处理实现煤岩界面识别的方法主要是根据传感器信号在频域方面的研究，在时间域方面的研究较少，因此提出一种基于传感器信号时间域的图像处理方法格外重要。

传感器信号预处理手段多种多样，其主要目的是根据传感器输出信号的特点，采取不同的信号处理方法来抑制干扰信号，并对检测系统的非线性、零位误差和增益误差等进行补偿和修改，从而提高检测系统的测量精度和线性度，但在煤岩识别中现有的传感器信号处理方法基本上是为后续的频域特征提取方法做准备，如对传感器采集摇臂振动信号和滚筒轴扭矩信号使用小波分析法进行识别、基于采煤机滚筒截割振动特性的EMD算法的煤岩识别、基于 Mean shift 算法的煤岩分界识别等，而且由于煤矿井下特殊的生产环境，采用传统的煤岩识别方法普适性差、缺乏自适应性，识别精度低，且鲁棒性较差，难以满足井下生产可靠性的需要，不利于矿井下的安全、稳定的生产。

发明内容

针对煤矿井下条件恶劣，智能化、无人化开采的迫切需求日益突出的情况，本发明要解决的具体技术问题是现有在煤岩界面识别方法中的传感器信息处理方法以频率方法为主，缺少在时域上分析方法的创新，且普适性差、缺乏自适应性，识别精度低，且鲁棒性较差的问题，并提供一种基于GAF-深度学习的煤岩界面比例识别分类方法。

为了实现上述目的，本发明采取如下技术方案。

一种基于GAF-深度学习的煤岩界面比例识别分类方法，所述方法是按照下列步骤进行的：

（1）输入采集到的传感器振动信号，该传感器信号是在牵引速度为1米/分钟，滚筒转速为90转/分钟，切割深度25cm,切割高度依次为煤5cm岩15cm、煤15cm岩15cm、煤20cm岩15cm、煤25cm岩15cm、煤0cm岩20cm、煤20cm岩0cm六种情况的试验条件下得到的。

（2）由于Resnet-34算法每次识别的图像大小为224×224，为保证图片信息的充足与充分利用，取信号中连续的长度为500的时间短序列作为GAF算法的输入。

（3）将截取到的时间序列转化为（.csv）格式的文件，导入GAF算法。

（4）给定n个实值观测值的时间，重新定标X，使所有值都落在区间[-1,1]，使内积不偏向于值最大的观测：

（5）通过编码如下值来表示极坐标中重新定标的时间序列X

在上面的等式中，t_i是时间戳，而N是用于常数化极坐标系跨度的常数。

（6）由类Gram矩阵定义了格拉姆角和场（GASF），如下：

定义了格拉姆角差场（GADF），如下：

式中，I是单位行向量[1,1,…,1]。

（7）Resnet-34由5个卷积组组成，每个卷积组由一个或多个基本卷积计算过程（Conv>BN>Relu）组成。将信号特征图输入Resnet-34网络的卷积层，通过残差结构模块，逐层卷积加深网络，提取深层的图片特征。

（8）在最后一个卷积层执行结束后，将输出的图片依此输入平均池化层，载入预训练权重的全连接层和softmax层。

（9）输出得到的煤岩比结果。

进一步地，步骤（6）所述的类Gram矩阵的定义为：

由于原内积公式：，不可避免地将两个不同观测值的信息转换成一个值，所以不能同时保留两个角度给出的信息，因此定义了内积的另一种操作：

其中，θ₁和θ₂分别表示 x和 y的角度。

进一步可得到类Gram矩阵：

由于时间随着位置从左上角到右下角的移动而增加，所以时间维度被编码到矩阵的几何结构中。因此Gram 矩阵保留了时间依赖性，并且通过变换可以得到格拉姆角和场（GASF）和格拉姆角差场（GADF）。

进一步地，步骤（7）所述的Resnet-34卷积过程的定义为：

（1）Resnet-34算法第一个卷积组每次识别的输入图像大小为224×224×3，该卷积组仅包含一个卷积操作，其内核为7×7，步长为2。可输出大小为112×112×64的图片。第二至第五个卷积组包含多个相同的残差结构单元，分别命名为conv2_x、conv3_x、conv4_x、conv5_x。

（2）conv2_x输入conv1的输出图片，该层包含三个卷积操作，其内核为3 × 3，步长为2。可输出大小为56×56×64的图片。

（3）conv3_x输入conv2_x的输出图片，该层包含四个卷积操作，其内核为3×3，步长为2，进行downsampling、BatchNorm2d、Relu操作，可输出大小为28×28×128的图片。

（4）conv4_x输入conv3_x的输出图片，该层包含六个卷积操作，其内核为3×3，进行downsampling、BatchNorm2d、Relu操作，可输出大小为14×14×256的图片。

（5）conv5_x输入conv4_x的输出图片，该层包含三个卷积操作，其内核为3×3，进行downsampling、BatchNorm2d、Relu操作，可输出大小为7×7×512的图片。

（6）在最后一个卷积层执行结束后，将输出的图片依此输入平均池化层，全连接层和softmax层。

进一步地，步骤（7）所述的Resnet-34残差结构的定义为：

（1）残差结构的主分支是由两层3×3的卷积层组成，残差结构的分支连接线是shortcut分支也称捷径分支。

（2）判断输入和输出是否具有相同维度，若有，可以直接使用恒等快捷连接，直接使与x相加。若无，则执行步骤（3）。

（3）当维度增加时，例如，输入8×28×128的图片后，首先进行步长为 1的卷积、BatchNorm2d，然后进行快捷链接，将上层的输出56×56×64进行1× 1卷积，步长为2, 变成28×28×128。再与28×28×128矩阵相加，再进行Relu，可输出大小为14×14×256的图片。

进一步地，步骤（8）所述的载入预训练权重的定义为：

（1）在训练自己的数据集之前，可以先在大规模成熟数据集（如 ImageNet）上进行预训练。

（2）提取其训练好的特征层，去除其最后的全连接层，但保留最后一层中的激活层。

（3）训练自己的数据集时，只需要在上一步提取出来的模型中的最后一层加上自己的分类层，为线性分类器softmax，只需要对最后的那一层进行参数调整，实现迁移学习。

针对井下照度不均，整体亮度较低的环境，采用本发明所提供的一种基于GAF-深度学习的煤岩界面比例识别分类方法能有效的分类煤岩比，为后续摇臂自动调高提供基础，与现有技术相比，上述技术方案至少具有以下有益效果。

1、本发明中的煤岩界面比例识别分类方法，采用格拉姆角场算法对传感器信号的时间域进行预处理，将一维的时间信号转化为了二维的图片信号；然后利用机器可以视觉识别和分类时间序列的优势，通过深度学习算法识别二维图片信号中的特征并进一步完成分类，并且引入迁移学习提高训练速度与分类正确率。

2、本发明中的传感器信号处理方法，利用格拉姆角场算法对传感器信号的时间域进行预处理，实现传感器信号在时间域上的维度转化，使信号特征明显化，并且可以充分利用深度学习在图像识别领域的优势。

3、本发明中的信号特征图识别分类方法，可以识别信号特征图中包含的颜色，纹理，复杂程度等信息，进一步完成煤岩界面煤岩比的分类。引入迁移学习思想与Resnet-34网络结合，可以很好的提高分类准确率，并加快网络训练。

附图说明

图1是本发明中煤岩界面比例识别分类方法的主要步骤示意图。

图2是使用GAF算法处理传感器信号的流程示意图。

图3是Resnet-34 的残差结构模块示意图。

具体实施方式

下面结合附图1，附图2和附图3对本发明的一种基于格拉姆角场（GramianAngular Field,GAF）-深度学习的煤岩界面比例识别分类方法，具体实施方式作进一步的说明，本发明具体实施方式如下：

如附图1、附图2所示，一种基于GAF-深度学习的煤岩界面比例识别分类方法，该方法是按下列步骤进行的：

步骤1：输入采集到的传感器振动信号。该传感器信号是在牵引速度为1米/分钟，滚筒转速为90转/分钟，切割深度25cm,切割高度依次为煤5cm岩15cm、煤15cm岩15cm、煤20cm岩15cm、煤25cm岩15cm、煤0cm岩20cm、煤20cm岩0cm六种情况的试验条件下得到的。

步骤2：由于Resnet-34算法每次识别的图像大小为224×224，为保证图片信息的充足与充分利用，取信号中连续的长度为500的时间短序列作为GAF算法的输入。

步骤3：将截取到的时间序列转化为（.csv）格式的文件，导入GAF算法。

步骤3.1：给定n个实值观测值的时间，重新定标X，使所有值都落在区间[-1,1]，使内积不偏向于值最大的观测：

步骤3.2：通过编码如下值来表示极坐标中重新定标的时间序列X：

在上面的等式中，t_i是时间戳，而N是用于常数化极坐标系跨度的常数。

步骤3.3：由类Gram矩阵定义了格拉姆角和场（GASF），如下：

定义了格拉姆角差场（GADF），如下：

式中，I是单位行向量[1,1,…,1]。

步骤3.3.1：由于原内积公式：，不可避免地将两个不同观测值的信息转换成一个值，所以不能同时保留两个角度给出的信息。因此定义了内积的另一种操作：

其中，θ₁和θ₂分别表示 x和 y的角度。

步骤3.3.2：进一步可得到类Gram矩阵：

由于时间随着位置从左上角到右下角的移动而增加，所以时间维度被编码到矩阵的几何结构中。因此Gram 矩阵保留了时间依赖性，并且通过变换可以得到格拉姆角和场（GASF）和格拉姆角差场（GADF）。

步骤4：Resnet-34由5个卷积组组成，每个卷积组由一个或多个基本卷积计算过程（Conv>BN>Relu）组成。将信号特征图输入Resnet-34网络的卷积层，通过残差结构模块，逐层卷积加深网络，提取深层的图片特征。

步骤4.1：Resnet-34算法第一个卷积组每次识别的输入图像大小为224×224×3，该卷积组仅包含一个卷积操作，其内核为7×7，步长为2。可输出大小为112×112×64的图片。第二至第五个卷积组包含多个相同的残差结构单元，分别命名为 conv2_x、conv3_x、conv4_x、conv5_x。

步骤4.1.1：残差结构的主分支是由两层3×3的卷积层组成，残差结构的分支连接线是shortcut分支也称捷径分支。

步骤4.1.2：判断输入和输出是否具有相同维度，若有，可以直接使用恒等快捷连接，直接使与x相加。若无，则执行步骤4.1.3。

步骤4.1.3：当维度增加时，例如，输入8×28×128的图片后，首先进行步长为 1的卷积、BatchNorm2d，然后进行快捷链接，将上层的输出56×56×64进行1× 1卷积，步长为2, 变成28×28×128。再与28×28×128矩阵相加，再进行Relu，可输出大小为14×14×256的图片。

步骤4.2：conv2_x输入conv1的输出图片，该层包含三个卷积操作，其内核为3 ×3，步长为2。可输出大小为56×56×64的图片。

步骤4.3：conv3_x输入conv2_x的输出图片，该层包含四个卷积操作，其内核为3×3，步长为2，进行down sampling、BatchNorm2d、Relu操作，可输出大小为28×28×128的图片。

步骤4.4：conv4_x输入conv3_x的输出图片，该层包含六个卷积操作，其内核为3×3，进行down sampling、BatchNorm2d、Relu操作，可输出大小为14×14×256的图片。

步骤4.5：conv5_x输入conv4_x的输出图片，该层包含三个卷积操作，其内核为3×3，进行down sampling、BatchNorm2d、Relu操作，可输出大小为7×7×512的图片。

步骤5：在最后一个卷积层执行结束后，将输出的图片依此输入平均池化层，载入预训练权重的全连接层和softmax层。

步骤5.1：在训练自己的数据集之前，可以先在大规模成熟数据集（如 ImageNet）上进行预训练。

步骤5.2：提取其训练好的特征层，去除其最后的全连接层，但保留最后一层中的激活层。

步骤5.3：训练自己的数据集时，只需要在上一步提取出来的模型中的最后一层加上自己的分类层，为线性分类器softmax，只需要对最后的那一层进行参数调整，实现迁移学习。

步骤6：输出得到的煤岩比结果。

本发明上述所实施的一种基于GAF-深度学习的煤岩界面比例识别分类方法，该方法结合GAF算法和Resnet-34算法，利用深度学习在图片识别方面的优越性，将一维时间序列转化为二维图像实现了煤岩界面比例的识别分类。解决了现有的在煤岩界面识别方法中的传感器信息处理方法以频率方法为主，缺少在时域上分析方法的创新，且普适性差、缺乏自适应性，识别精度低，且鲁棒性较差的问题。

尽管上面结合附图对本发明进行了描述，但本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (3)

1.一种基于GAF-深度学习的煤岩界面比例识别分类方法，其特征在于：所述煤岩界面比例识别分类方法是按下列步骤进行的：

步骤（1），输入采集到的传感器信号，该传感器信号是在牵引速度为1米/分钟，滚筒转速为90转/分钟，切割深度25cm，切割高度依次为煤5cm岩15cm、煤15cm岩15cm、煤20cm岩15cm、煤25cm岩15cm、煤0cm岩20cm、煤20cm岩0cm六种情况的试验条件下得到的；

步骤（2），由于Resnet-34算法每次识别的图像大小为224×224，而传感器采样频率为2000Hz，为保证图片信息的充足与传感器信息充分利用，取信号中连续的长度为500的时间短序列作为GAF算法的输入；

步骤（3），将截取到的时间序列转化为（.csv）格式的文件，导入GAF算法；运行可得在这个时间段内的传感器信号特征图；

该步骤（3）包含以下步骤：

（1）给定n个实值观测值的时间，重新定标X，使所有值都落在区间[-1,1]，使内积不偏向于值最大的观测：

，

（2）通过编码如下值来表示极坐标中重新定标的时间序列X：

，

在上面的等式中，t_i 是时间戳，而N是用于常数化极坐标系跨度的常数；

（3）将重新缩放的时间序列转换为极坐标系后，可以通过考虑变换每个点之间的三角函数来轻松确定角度，以识别不同时间间隔内的时间相关性，其中，由类Gram矩阵定义了格拉姆角和场（GASF），如下：

，

定义了格拉姆角差场（GADF），如下：

，

式中，I是单位行向量[1,1,…,1] ；

步骤（4），将信号特征图输入Resnet-34网络的卷积层，通过残差结构模块，逐层卷积加深网络，提取深层的图片特征；

该步骤（4）包含如下步骤：

Resnet-34由5个卷积组组成，每个卷积组由一个或多个基本卷积计算过程（Conv>BN>Relu）组成；

（1）Resnet-34算法第一个卷积组每次识别的输入图像大小为224×224×3，该卷积组仅包含一个卷积操作，其内核为 7×7，步长为2；

可输出大小为112×112×64的图片；

第二至第五个卷积组包含多个相同的残差结构单元，分别命名为 conv2_x、conv3_x、conv4_x、conv5_x；

（2）conv2_x输入conv1的输出图片，该层包含三个卷积操作，其内核为3×3，步长为2，可输出大小为56×56×64的图片；

（3）conv3_x输入conv2_x的输出图片，该层包含四个卷积操作，其内核为3×3，步长为2，进行down sampling、BatchNorm2d、Relu操作，可输出大小为28×28×128的图片；

（4）conv4_x输入conv3_x的输出图片，该层包含六个卷积操作，其内核为3×3，进行down sampling、BatchNorm2d、Relu操作，可输出大小为14×14×256的图片；

（5）conv5_x输入conv4_x的输出图片，该层包含三个卷积操作，其内核为3×3，进行down sampling、BatchNorm2d、Relu操作，可输出大小为7×7×512的图片；

步骤（5），在最后一个卷积层执行结束后，将输出的图片依此输入平均池化层，载入预训练权重的全连接层和softmax层；

步骤（6），输出得到的煤岩比结果。

2.根据权利要求1所述的基于GAF-深度学习的煤岩界面比例识别分类方法，其特征在于：步骤（3）通过定义类内积运算，得到类 Gram 矩阵是一个格拉姆矩阵，其包含如下步骤：

（1）二维极坐标空间的内积有限制，每个向量的范数都会根据时间依赖性进行调整，两个截然不同的观察结果之间的内积将偏向于最近的一个；

由于原内积公式： ，不可避免地将两个不同观测值的信息转换成一个值，所以不能同时保留两个角度给出的信息；

因此定义了内积的另一种操作：

，

其中，θ₁ 和θ₂ 分别表示 x和 y的角度；

（2）得到类Gram矩阵：

，

Gram 矩阵保留了时间依赖性；

由于时间随着位置从左上角到右下角的移动而增加，所以时间维度被编码到矩阵的几何结构中。

3.根据权利要求1或2所述的基于GAF-深度学习的煤岩界面比例识别分类方法，其特征在于：步骤（5）中的载入预训练权重的全连接层和softmax层，包含如下步骤：

（1）在训练自己的数据集之前，可以先在大规模成熟数据集上进行预训练；

（2）提取其训练好的特征层，去除其最后的全连接层，但保留最后一层中的激活层；

（3）训练自己的数据集时，只需要在上一步提取出来的模型中的最后一层加上自己的分类层，为线性分类器softmax，只需要对最后的那一层进行参数调整，实现迁移学习。