CN109815999B - 一种简便高效的自动化煤矸识别方法 - Google Patents

Abstract

本发明公开了一种简便高效的自动化煤矸识别方法，本发明首先利用摄像装置获取煤矸图像并标记类别作为训练样本，然后对训练样本图像进行预处理，再构建煤矸识别网络，将处理后的训练样本输入网络中进行训练后，将处理后的训练样本再次输入已训练的网络，得到样本对应的特征向量；再将得到的特征向量利用PCA降维方法进行降维后作为新的训练样本输入SVM分类器中训练分类器；最后将待识别煤矸图像作预处理后输入煤矸识别网络得到特征向量后用PCA降维，再用SVM分类器进行识别，得到煤矸识别结果。本系统主要解决基于x射线的煤矸识别系统硬件成本较高、普适性较差的问题。

Description

一种简便高效的自动化煤矸识别方法

技术领域

本发明属于图像处理技术领域，特别地涉及一种基于图像的煤矸自动识别系统，主要解决基于x射线的煤矸识别系统硬件成本较高、普适性较差的问题。

背景技术

煤矸自动识别是实现采煤机自动调高、智能化选煤和综采工作面无人化的前提。目前实现煤矸识别技术的有效方法是使用一些对煤和矸石具有识别能力的传感器，结合实际生产中的控制系统组成具有一定精度的煤矸分离装置，现今比较典型使用广泛的识别系统为x射线法。x射线法的原理是根据x射线在煤和矸石中透射过程中衰减率的不同实现煤矸识别，其优点是设备自动化程度较高、选煤精度较高，但x射线法也存在设备维护成本高、x射线对环境存在危害、普适性较差的缺点。

发明内容

针对现有的基于x射线法的煤矸识别技术备维护成本高、x射线对环境存在危害、普适性较差的弊端，本发明的目的在于提供一种简便高效的自动化煤矸识别方法，采用基于图像的系统实现煤矸的自动识别。

本发明的目的是通过以下技术方案实现的：一种简便高效的自动化煤矸识别方法，其实现步骤包含：

1)利用摄像装置获取煤矸图像并标记类别作为训练样本；

2)对训练样本图像进行预处理；

预处理：按公式(1)进行图像预处理：

其中x代表样本图像，x(i,j)为图像(i,j)处的像素值，mean(x)为图像像素平均值，

为图像像素标准差，x'(x,j)为预处理后(i,j)处的像素值；

3)构建煤矸识别网络；

3.1)煤矸识别网络的结构包括：

3.1.1)卷积层：卷积核在输入的特征图上滑动，卷积核参数与特征图数据作卷积操作，卷积操作公式如下，其中*代表卷积操作，in^k为输入到第k层的特征图，out^k为第k层输出的特征图，W^k和b^k为第k层的卷积参数：

out^k＝in^k*W^k+b^k (2)

3.1.2)全连接层：用于将输入的特征图进行提纯为维数与类别数相等的特征向量；

3.1.3)非线性变换层：网络中每个卷积层之后都将采用本系统新提出的Swish-ReLU激活函数f(z)，该函数表达式如下，其中中z代表输入的特征图：

3.1.4)池化层：用到了最大值池化和全局平均池化两种池化方式，全局平均池化用在最后一个卷积层之后，其他地方都采用最大值池化；

3.1.5)连接块：连接块由多个连接层组成，连接层又是由卷积层、池化层和非线性变换层构成；连接块中的每个连接层与其他所有连接层都相连接，其输入由之前的所有卷积层的输入构成，而其输出也将作为所有之后的卷积层的输入，用公式表示为：

l_m＝δ_m(l_m-1，l_m-2，...，l₁) (4)

公式(4)中(l_m-1，l_m-2，...，l₁)代表前面所有连接层的输出堆叠而成的特征图，δ_m()代表对

输入特征图进行的由卷积和非线性变换组合而成的操作，其中卷积操作都先补零使输入输出的特征图大小一致。

3.2)所构建的煤矸识别网络的具体结构为：

3.2.1)卷积池化层一：对输入图像作卷积，卷积核个数为64、大小为7×7、移动步数为2，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2，最后输出的特征图维数为32×32×64；

3.2.2)连接块一：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.3)卷积池化层二：对连接块一的输出作卷积，卷积核个数为136、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

3.2.4)连接块二：包含12个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.5)卷积池化层三：对连接块二的输出作卷积，卷积核个数为280、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

3.2.6)连接块三：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.7)识别层：对连接块三的输出作全局平均池化得到特征向量，再用全连接层对该向量进行降维，全连接层神经元数与目标类别数相等，最后采用softmax分类器作分类，以网络顶层softmax分类的输出为目标识别结果。

4)将处理后的训练样本输入网络中进行训练；

5)将处理后的训练样本再次输入已训练的网络，得到样本对应的特征向量；

具体以煤矸识别网络的连接块三输出的向量为特征向量；

6)将得到的特征向量利用PCA降维方法进行降维后作为新的训练样本输入SVM分类器中训练分类器；

对特征向量降维处理的步骤为：

6.1)所有特征向量训练样本组成n行r列矩阵X，n为样本数量，r为特征向量维数；

6.2)将X的每一行(代表一个属性字段)进行零均值化；

6.3)求出X的协方差矩阵；

6.4)求出协方差矩阵的特征值及对应的特征向量；

6.5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前L行组成矩阵P即为降维到L维后的特征向量。

7)将待识别煤矸图像也采用公式(1)作预处理后输入煤矸识别网络得到特征向量后用PCA降维，再用SVM分类器进行识别，得到煤矸识别结果。

本发明的技术构思为：本发明基于图像处理技术，利用摄像装置获取煤和矸石的图像作为识别对象，首先获取已知类别的图像并对其进行预处理后，输入到所构建的煤矸识别网络中进行训练，再用训练完成的识别网络提取图像的特征向量训练SVM分类器，整体训练完成后即可结合实际生产过程中的摄像装置，将待识别煤矸图像输入到网络中实现对煤矸的自动识别。

本发明的有益效果主要表现在：本发明以稠密连接卷积神经网络为基础构建煤矸识别网络并结合SVM分类器，能够得到较好的识别效果；本发明没有类似x射线法的设计和选择特征的步骤，使用更为简单；本发明采用的各种装置便于安装维护，具有较强的普适性。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面根据附图具体说明本发明。

参照图1，本发明的具体实施步骤如下：

1)利用摄像装置获取煤矸图像并标记类别作为训练样本；

2)对训练样本图像进行预处理；

预处理：按公式(1)进行图像预处理：

其中x代表样本图像，x(i,j)为图像(i,j)处的像素值，mean(x)为图像像素平均值，

为图像像素标准差，x'(x,j)为预处理后(i,j)处的像素值；

3)构建煤矸识别网络；

3.1)煤矸识别网络的结构包括：

3.1.1)卷积层：卷积核在输入的特征图上滑动，卷积核参数与特征图数据作卷积操作，卷积操作公式如下，其中*代表卷积操作，in^k为输入到第k层的特征图，out^k为第k层输出的特征图，W^k和b^k为第k层的卷积参数：

out^k＝in^k*W^k+b^k (2)

3.1.2)全连接层：用于将输入的特征图进行提纯为维数与类别数相等的特征向量；

3.1.3)非线性变换层：网络中每个卷积层之后都将采用本系统新提出的Swish-ReLU激活函数f(z)，该函数表达式如下，其中中z代表输入的特征图：

3.1.4)池化层：用到了最大值池化和全局平均池化两种池化方式，全局平均池化用在最后一个卷积层之后，其他地方都采用最大值池化；

3.1.5)连接块：连接块由多个连接层组成，连接层又是由卷积层、池化层和非线性变换层构成；连接块中的每个连接层与其他所有连接层都相连接，其输入由之前的所有卷积层的输入构成，而其输出也将作为所有之后的卷积层的输入，用公式表示为：

l_m＝δ_m(l_m-1，l_m-2，...，l₁) (4)

公式(4)中(l_m-1，l_m-2，...，l₁)代表前面所有连接层的输出堆叠而成的特征图，δ_m()代表对输入特征图进行的由卷积和非线性变换组合而成的操作，其中卷积操作都先补零使输入输出的特征图大小一致。

3.2)所构建的煤矸识别网络的具体结构为：

3.2.1)卷积池化层一：对输入图像作卷积，卷积核个数为64、大小为7×7、移动步数为2，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2，最后输出的特征图维数为32×32×64；

3.2.2)连接块一：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.3)卷积池化层二：对连接块一的输出作卷积，卷积核个数为136、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

3.2.4)连接块二：包含12个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.5)卷积池化层三：对连接块二的输出作卷积，卷积核个数为280、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

3.2.6)连接块三：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.7)识别层：对连接块三的输出作全局平均池化得到特征向量，再用全连接层对该向量进行降维，全连接层神经元数与目标类别数相等，最后采用softmax分类器作分类，以网络顶层softmax分类的输出为目标识别结果。

4)将处理后的训练样本输入网络中进行训练；

5)将处理后的训练样本再次输入已训练的网络，得到样本对应的特征向量；

具体以煤矸识别网络的连接块三输出的向量为特征向量；

6)将得到的特征向量利用PCA降维方法进行降维后作为新的训练样本输入SVM分类器中训练分类器；

对特征向量降维处理的步骤为：

6.1)所有特征向量训练样本组成n行r列矩阵X，n为样本数量，r为特征向量维数；

6.2)将X的每一行(代表一个属性字段)进行零均值化；

6.3)求出X的协方差矩阵；

6.4)求出协方差矩阵的特征值及对应的特征向量；

6.5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前L行组成矩阵P

即为降维到L维后的特征向量。

7)将待识别煤矸图像也采用公式(1)作预处理后输入煤矸识别网络得到特征向量后用PCA降维，再用SVM分类器进行识别，得到煤矸识别结果。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.一种简便高效的自动化煤矸识别方法，其实现步骤包括：

1)利用摄像装置获取煤矸图像并标记类别作为训练样本；

2)对训练样本图像进行预处理；

预处理：按公式(1)进行图像预处理：

其中x代表样本图像，x(i,j)为图像(i,j)处的像素值，mean(x)为图像像素平均值，

为图像像素标准差，x'(x,j)为预处理后(i,j)处的像素值；

3)构建煤矸识别网络；

3.1)煤矸识别网络的结构包括：

3.1.1)卷积层：卷积核在输入的特征图上滑动，卷积核参数与特征图数据作卷积操作，卷积操作公式如下，其中*代表卷积操作，in^k为输入到第k层的特征图，out^k为第k层输出的特征图，W^k和b^k为第k层的卷积参数：

out^k＝in^k*W^k+b^k (2)

3.1.2)全连接层：用于将输入的特征图进行提纯为维数与类别数相等的特征向量；

3.1.3)非线性变换层：网络中每个卷积层之后都将采用Swish-ReLU激活函数f(z)，该函数表达式如下，其中中z代表输入的特征图：

3.1.4)池化层：用到了最大值池化和全局平均池化两种池化方式，全局平均池化用在最后一个卷积层之后，其他地方都采用最大值池化；

3.1.5)连接块：连接块由多个连接层组成，连接层又是由卷积层、池化层和非线性变换层构成；连接块中的每个连接层与其他所有连接层都相连接，其输入由之前的所有卷积层的输入构成，而其输出也将作为所有之后的卷积层的输入，用公式表示为：

l_m＝δ_m(l_m-1，l_m-2，...，l₁) (4)

公式(4)中(l_m-1，l_m-2，...，l₁)代表前面所有连接层的输出堆叠而成的特征图，δ_m()代表对输入特征图进行的由卷积和非线性变换组合而成的操作，其中卷积操作都先补零使输入输出的特征图大小一致；

3.2)所构建的煤矸识别网络的具体结构为：

3.2.1)卷积池化层一：对输入图像作卷积，卷积核个数为64、大小为7×7、移动步数为2，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2，最后输出的特征图维数为32×32×64；

3.2.2)连接块一：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.3)卷积池化层二：对连接块一的输出作卷积，卷积核个数为136、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

3.2.4)连接块二：包含12个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.5)卷积池化层三：对连接块二的输出作卷积，卷积核个数为280、大小为1×1、移动步数为1，对卷积层的输出进行Swish_ReLU非线性变换后作最大值池化，池化窗口大小为2×2、移动步数为2；

3.2.6)连接块三：包含6个连接层，每个连接层按顺序为Swish_ReLU非线性变换，卷积核个数为48、大小为1×1、移动步数为1的卷积操作，Swish_ReLU非线性变换，卷积核个数为12、大小为3×3、移动步数为1的卷积操作；

3.2.7)识别层：对连接块三的输出作全局平均池化得到特征向量，再用全连接层对该向量进行降维，全连接层神经元数与目标类别数相等，最后采用softmax分类器作分类，以网络顶层softmax分类的输出为目标识别结果；

4)将处理后的训练样本输入网络中进行训练；

5)将处理后的训练样本再次输入已训练的网络，得到样本对应的特征向量；

具体以煤矸识别网络的连接块三输出的向量为特征向量；

6)将得到的特征向量利用PCA降维方法进行降维后作为新的训练样本输入SVM分类器中训练分类器；

对特征向量降维处理的步骤为：

6.1)所有特征向量训练样本组成n行r列矩阵X，n为样本数量，r为特征向量维数；

6.2)将X的每一行进行零均值化；

6.3)求出X的协方差矩阵；

6.4)求出协方差矩阵的特征值及对应的特征向量；

6.5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前L行组成矩阵P即为降维到L维后的特征向量；

7)将待识别煤矸图像也采用公式(1)作预处理后输入煤矸识别网络得到特征向量后用PCA降维，再用SVM分类器进行识别，得到煤矸识别结果。

Images