CN111860689A - 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法 - Google Patents
一种基于相位一致性和轻量卷积神经网络的煤矸识别方法 Download PDFInfo
- Publication number
- CN111860689A CN111860689A CN202010758374.5A CN202010758374A CN111860689A CN 111860689 A CN111860689 A CN 111860689A CN 202010758374 A CN202010758374 A CN 202010758374A CN 111860689 A CN111860689 A CN 111860689A
- Authority
- CN
- China
- Prior art keywords
- size
- convolution
- image
- neural network
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 50
- 239000003245 coal Substances 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 230000003213 activating effect Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 235000002566 Capsicum Nutrition 0.000 claims description 9
- 239000006002 Pepper Substances 0.000 claims description 9
- 241000722363 Piper Species 0.000 claims description 9
- 235000016761 Piper aduncum Nutrition 0.000 claims description 9
- 235000017804 Piper guineense Nutrition 0.000 claims description 9
- 235000008184 Piper nigrum Nutrition 0.000 claims description 9
- 150000003839 salts Chemical class 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000009469 supplementation Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于相位一致性和轻量卷积神经网络的煤矸识别方法，包括如下步骤：使用摄像装置采集煤矸石的图片样本；对图片样本进行预处理，预处理操作包括：图像扩充优化、图像归一化和划分样本集；使用相位一致性的方法对样本集中的训练集进行特征提取；使用Keras构建用来识别煤矸的卷积神经网络；将提取的的特征图与原图像分别输入卷积神经网络进行模型训练，最后全连接进行分类识别；softmax分类层输出识别结果；将样本集中的测试集输入经过模型训练的卷积神经网络验证其性能，输出识别结果。本方案不受综采工作面温度的影响，且相位一致性的特征提取在矿下光照影响极大的环境下更优，维护成本更低，降低了安全隐患。
Description
技术领域
本发明涉及煤矸识别技术领域，尤其涉及一种基于相位一致性和轻量卷积神经网络的煤矸识别方法。
背景技术
在煤炭的开采过程中，不可避免地混入了矸石，它与煤炭同时形成，而且相对煤炭而言，煤矸石颜色深，含碳量低且硬度大，一般作为煤炭的杂质进行处理。矸石若混入过多，会导致燃煤发电厂的巨大经济损失，甚至危害锅炉安全。故此，在采煤、选煤过程中须对煤和矸石进行分离，提高煤炭质量。一般的煤矸识别方法包括x射线法、红外探测法、声音识别以及图像识别法等。但是x射线法维护成本高、危害大，红外探测受综采工作面三机温度影响大，声音识别也容易受干扰，以及一般的图像识别技术受光照影响较大。
最接近的现有技术中，一种煤和矸石的红外图像识别方法中，利用红外图像与CNN特征提取和SVM进行分类，上述方案容易受综采工作面的温度影响，并且无法在特征提取中保留更有用的信息；一种基于X射线图像的煤矸识别方法中，利用X射线获得图像并进行特征提取与识别，上述方案维护成本高，且存在安全隐患；一种简便高效的自动化煤矸识别方法中，通过多层卷积神经网络以及swish-relu激活函数，并且使用密集连接的方式提高特征提取，增强映射，大大提高识别精度，但是上述方案参数大量冗余，计算量多大，可能导致过拟合；一种煤炭中煤矸石和煤的分类识别方法中，用小波变换进行图像频域分解及特征提取，并用卷积神经网络训练提高了识别精度，但上述方案由于矿下光照影响极大，会降低相位一致性特征提取的精确度；一种多光谱图像信息和光谱信息异构融合的煤矸识别方法中将图像信息和光谱信息分别进行2D和1D卷积网络特征提取，通过随机森林构建分类器的方法，极大利用了煤矸的光谱信息和原图信息，对煤矸的识别增加了依据，但上述方案在通过的卷积神经网络特征提取上能力不足。
发明内容
针对以上问题，本发明提出一种基于相位一致性和轻量卷积神经网络的煤矸识别方法。
为实现本发明的目的，提供一种基于相位一致性和轻量卷积神经网络的煤矸识别方法，包括如下步骤：
使用摄像装置采集煤矸石的图片样本；
对图片样本进行预处理，所述预处理包括：图像扩充优化、图像归一化和划分样本集，所述样本集包括：训练集和测试集，所述训练集包括图像数据组一和图像数据组二；
使用相位一致性的方法对所述图像数据组一进行特征提取得到特征图组；
使用Keras构建用来识别煤矸的卷积神经网络，所述卷积神经网络的输出口依次接入全连接层、Dropout层和softmax分类层；
将所述特征图组与所述图像数据组二分别输入完全相同的卷积神经网络一和卷积神经网络二进行网络特征提取；
所述全连接层将所述卷积神经网络一和所述卷积神经网络二各自提取的网络特征融合并进行分类识别，得到网络权重，完成所述卷积神经网络的模型训练；
所述softmax分类层输出识别结果；
将所述测试集输入经过所述模型训练的卷积神经网络验证其性能，输出识别结果。
进一步地，所述摄像装置采用海康威视的摄像装置。
进一步地，所述预处理步骤之前，人工去除模糊不清的无效图像。
进一步地，所述预处理步骤具体为：
在图像上通过增加椒盐噪声和高斯噪声扩充数据集；
使用背景差分法分离图像和背景，将经过背景差分法分离后的图像裁剪成统一尺寸，将裁剪后的煤的图像并作标签0，裁剪后的矸石的图像并作标签1；
对所述标签0和标签1的图像采用Keras中数据增强ImageDataGenerator模块进行数据补充，其中，所述数据补充的方式包括：翻转、平移、缩放和尺度变换；
将经过所述数据补充的图像的数据除以255归一化图像；
将经过所述归一化的图像按3：1划分为训练集和测试集。
进一步地，在图像上通过增加椒盐噪声和高斯噪声扩充数据集的操作具体为：
使用C++的随机产生器，给所述图像增加白点和黑点的椒盐噪声，通过均值不变且改变图像方差的方法随机增加高斯噪声。
进一步地，使用相位一致性的方法对所述图像数据组一进行特征提取得到特征图组的步骤具体为：
首先使用相位一致性边缘检测法提取图像的边缘特征，然后再利用Log Gabor小波对图像进行滤波，滤波的传递函数如公式(1)，再通过二维图像的计算公式(2)，得出相位一致性PC值；
其中o为滤波方向，k为固定常数，w为自变量频率，wo为滤波器中心频率，n为尺度的个数，Ano(x)和Φno(x)分别为幅值和相位，Wo(x)和T为频率扩展和噪声补偿，x为图像的像素点在频域的位置坐标，ε为极小常数，
符号表示当Ano(x)△Φno(x)-T的值大于0时取原值，小于0时取0。
进一步地，所述卷积神经网络使用激活函数relu6增加输入数据和输出数据的非线性关系，所述激活函数relu6为：F(z)＝min(max(0,z),6)；
其中，z指经过卷积层后输出的特征图数据；
所述卷积神经网络包括：普通卷积块、深度可分离卷积块一、深度可分离卷积块二、深度可分离卷积块三、深度可分离卷积块四、深度可分离卷积块五、深度可分离卷积块六、深度可分离卷积块七、深度可分离卷积块八和全局平均池化层，其中，网络特征提取的顺序依次为：普通卷积块、深度可分离卷积块一、深度可分离卷积块二、深度可分离卷积块三、深度可分离卷积块四、深度可分离卷积块五、深度可分离卷积块六、深度可分离卷积块七、深度可分离卷积块八、全局平均池化层；
所述普通卷积块包括：32个步长为2、尺寸为3×3的卷积核，所述普通卷积块进行特征提取的过程包括：对经过所述普通卷积块输出的特征图数据使用relu6激活函数；
所述深度可分离卷积块一包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和64个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块一进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述64个步长为1，尺寸为1×1的卷积核将上述步骤得到的图像增维至64，并线性输出；
所述深度可分离卷积块二包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和128个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块二进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述128个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至128，并线性输出；
所述深度可分离卷积块三包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和128个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块三进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述128个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至128，并线性输出；
所述深度可分离卷积块四包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和256个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块四进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述256个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至256，并线性输出；
所述深度可分离卷积块五包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和256个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块五进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；256个步长为1、尺寸为1×1的卷积核对上述步骤得到的图像进行特征提取，并线性输出；
所述深度可分离卷积块六包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和512个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块六进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述512个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至512，并线性输出；
所述深度可分离卷积块七包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和512个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块七进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述512个步长为1、尺寸为1×1的卷积核对上述步骤得到的图像进行特征提取，并线性输出；
所述深度可分离卷积块八包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和1024个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块八进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述1024个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至1024，并线性输出。
进一步地，所述全局平均池化层的池化窗口大小为7，步长为1。
进一步地，所述Dropout层的dropout设置为0.5。
跟现有技术相比，本发明的技术方案具有以下的技术效果：
本方案不受综采工作面温度的影响，且相位一致性的特征提取在矿下光照影响极大的环境下更优，并且在特征提取过程中保留了更多有用的信息，维护成本更低，降低了安全隐患。本方案数据处理过程中避免了参数大量冗余而可能导致的过拟合。并且，本方案由于其网络层数更深，而且速度较快，因此卷积神经网络特征提取上的能力很足。
附图说明
图1是一个实施例的基于相位一致性和轻量卷积神经网络的煤矸识别方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参考图1所示，图1为一个实施例的基于相位一致性和轻量卷积神经网络的煤矸识别方法的流程示意图，包括如下步骤：
使用摄像装置采集煤矸石的图片样本；
对图片样本进行预处理，所述预处理包括：图像扩充优化、图像归一化和划分样本集，所述样本集包括：训练集和测试集，所述训练集包括图像数据组一和图像数据组二；所述预处理的作用主要就是处理成可以输入网络的格式，以便后续更好的完成所述卷积神经网络的模型训练。
使用相位一致性的方法对所述图像数据组一进行特征提取得到特征图组；相位一致性是一种边缘检测法，指对图像使用相位一致性的方法提取图像的边缘特征。
使用Keras构建用来识别煤矸的卷积神经网络，所述卷积神经网络的输出口依次接入传统网络的全连接层、Dropout层和softmax分类层；
将所述特征图组与所述图像数据组二分别输入完全相同的卷积神经网络一和卷积神经网络二进行网络特征提取；
所述全连接层将所述卷积神经网络一和所述卷积神经网络二各自提取的网络特征融合并进行分类识别，得到网络权重，完成所述卷积神经网络的模型训练；将经过网络特征提取的所述特征图组和所述图像数据组二分别输入所构建的卷积神经网络中，双网络权值共享，最后在所述全连接层将所述特征图组和所述图像数据组二提取的特征进行特征融合，如特征图组特征向量为α，图像数据组二特征向量为β，则特征融合后的向量为[α:β]。最后通过损失函数二元交叉熵，梯度下降法进行权值更新迭代，训练出最终模型。训练结束后，会生成一个固定的权重，相当于所述卷积神经网络的参数，通过加载这个网络权重，输入图像数据后可以直接预测图像的类别。
所述softmax分类层输出识别结果；识别的结果就是输入的图像是煤的概率和矸石的概率，哪一类的概率大，图像就属于哪一类。
将所述测试集输入经过所述模型训练的卷积神经网络验证其性能，输出识别结果。测试集就是用来验证、测试所述卷积神经网络的模型训练的进展程度和其分类能力。
在一个实施例中，所述摄像装置采用海康威视的摄像装置。
在一个实施例中，所述预处理步骤之前，人工去除模糊不清的无效图像。
在一个实施例中，所述预处理步骤具体为：
在图像上通过增加椒盐噪声和高斯噪声扩充数据集；
使用背景差分法分离图像和背景，将经过背景差分法分离后的图像裁剪成统一尺寸，将裁剪后的煤的图像并作标签0，裁剪后的矸石的图像并作标签1；
对所述标签0和标签1的图像采用Keras中数据增强ImageDataGenerator模块进行数据补充，其中，所述数据补充的方式包括：翻转、平移、缩放和尺度变换；
将经过所述数据补充的图像的数据除以255归一化图像；
将经过所述归一化的图像按3：1划分为训练集和测试集。
在一个实施例中，在图像上通过增加椒盐噪声和高斯噪声扩充数据集的操作具体为：
使用C++的随机产生器，给所述图像增加白点和黑点的椒盐噪声，通过均值不变且改变图像方差的方法随机增加高斯噪声。
在一个实施例中，使用相位一致性的方法对所述图像数据组一进行特征提取得到特征图组的步骤具体为：
首先使用相位一致性边缘检测法提取图像的边缘特征，这里是为了相位一致性的计算转换为对局部能量的计算，这里的局部能量指局部的频率信息，下面公式(2)中的分子即为局部能量。然后再利用Log Gabor小波对图像进行滤波，滤波的传递函数如公式(1)，再通过二维图像的计算公式(2)，得出相位一致性PC值；
其中o为滤波方向，k为固定常数，w为自变量频率，wo为滤波器中心频率，n为尺度的个数，Ano(x)和Φno(x)分别为幅值和相位，Wo(x)和T为频率扩展和噪声补偿，x为图像的像素点在频域的位置坐标，ε为极小常数，
符号表示当Ano(x)△Φno(x)-T的值大于0时取原值，小于0时取0。公式(1)是一种滤波方法，对图像进行滤波；公式(2)是图像在频域下计算相位一致性的公式，计算出的结果就是得到的特征图。传递函数公式(1)用于计算相位一致性，根据其得到偶对称滤波器，联合傅里叶变换计算得到公式(2)PC中的相位和幅值。通常，设定尺度为3，滤波方向为9，ε取0.0001，k/wo固定为一个常数，通常取为0.55。尺度为3就是滤波窗口的尺寸，方向为9是在9个不同方向滤波，通常经验取奇数值，ε取0.0001是小点好，防止分母为0即可。
在一个实施例中，所述卷积神经网络使用激活函数relu6增加输入数据和输出数据的非线性关系，所述激活函数relu6为：F(z)＝min(max(0,z),6)；其中，z指经过卷积层后输出的特征图数据；z再通过激活函数输出的作用是防止单纯的输入和输出是线性关系。激活函数都是非线性的，用激活函数是为了增加非线性关系。
所述卷积神经网络包括：普通卷积块、深度可分离卷积块一、深度可分离卷积块二、深度可分离卷积块三、深度可分离卷积块四、深度可分离卷积块五、深度可分离卷积块六、深度可分离卷积块七、深度可分离卷积块八和全局平均池化层，其中，网络特征提取的顺序依次为：普通卷积块、深度可分离卷积块一、深度可分离卷积块二、深度可分离卷积块三、深度可分离卷积块四、深度可分离卷积块五、深度可分离卷积块六、深度可分离卷积块七、深度可分离卷积块八、全局平均池化层；
所述普通卷积块包括：32个步长为2、尺寸为3×3的卷积核，所述普通卷积块进行特征提取的过程包括：对经过所述普通卷积块输出的特征图数据使用relu6激活函数；所述深度可分离卷积块一包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和64个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块一进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述64个步长为1，尺寸为1×1的卷积核将上述步骤得到的图像增维至64，并线性输出；其中，BatchNormalization是指批标准化，批标准化一般用在非线性映射(比如：激活函数)之前，对卷积层的输出进行规范化，使结果(输出信号的各个维度)的均值都为0,方差为1,让每一层的输入有一个稳定的分布会有利于网络的模型训练。
所述深度可分离卷积块二包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和128个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块二进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述128个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至128，并线性输出；不使用激活函数，就是线性输出，此时输入和输出是线性关系。
所述深度可分离卷积块三包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和128个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块三进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述128个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至128，并线性输出；所述深度可分离卷积块四包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和256个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块四进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述256个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至256，并线性输出；
所述深度可分离卷积块五包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和256个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块五进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；256个步长为1、尺寸为1×1的卷积核对上述步骤得到的图像进行特征提取，并线性输出；
所述深度可分离卷积块六包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和512个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块六进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述512个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至512，并线性输出；
所述深度可分离卷积块七包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和512个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块七进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述512个步长为1、尺寸为1×1的卷积核对上述步骤得到的图像进行特征提取，并线性输出；所述深度可分离卷积块八包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和1024个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块八进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述1024个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至1024，并线性输出。
在一个实施例中，所述全局平均池化层的池化窗口大小为7，步长为1；所述Dropout层的dropout设置为0.5，所述全局平均池化层用于缩小图片。所述Dropout层用于防止网络过拟合。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，包括如下步骤：
使用摄像装置采集煤矸石的图片样本；
对图片样本进行预处理，所述预处理包括：图像扩充优化、图像归一化和划分样本集，所述样本集包括：训练集和测试集，所述训练集包括图像数据组一和图像数据组二；
使用相位一致性的方法对所述图像数据组一进行特征提取得到特征图组；
使用Keras构建用来识别煤矸的卷积神经网络，所述卷积神经网络的输出口依次接入全连接层、Dropout层和softmax分类层；
将所述特征图组与所述图像数据组二分别输入完全相同的卷积神经网络一和卷积神经网络二进行网络特征提取；
所述全连接层将所述卷积神经网络一和所述卷积神经网络二提取的网络特征融合并进行分类识别，得到网络权重，完成所述卷积神经网络的模型训练；
所述softmax分类层输出识别结果；
将所述测试集输入经过所述模型训练的卷积神经网络验证其性能，输出识别结果。
2.根据权利要求1所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，所述摄像装置采用海康威视的摄像装置。
3.根据权利要求1所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，所述预处理步骤之前，人工去除模糊不清的无效图像。
4.根据权利要求1所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，所述预处理步骤具体为：
在图像上通过增加椒盐噪声和高斯噪声扩充数据集；
使用背景差分法分离图像和背景，将经过背景差分法分离后的图像裁剪成统一尺寸，将裁剪后的煤的图像并作标签0，裁剪后的矸石的图像并作标签1；
对所述标签0和标签1的图像采用Keras中数据增强ImageDataGenerator模块进行数据补充，其中，所述数据补充的方式包括：翻转、平移、缩放和尺度变换；
将经过所述数据补充的图像的数据除以255归一化图像；
将经过所述归一化的图像按3：1划分为训练集和测试集。
5.根据权利要求4所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，在图像上通过增加椒盐噪声和高斯噪声扩充数据集的操作具体为：
使用C++的随机产生器，给所述图像增加白点和黑点的椒盐噪声，通过均值不变且改变图像方差的方法随机增加高斯噪声。
6.根据权利要求1所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，使用相位一致性的方法对所述图像数据组一进行特征提取得到特征图组的步骤具体为：
首先使用相位一致性边缘检测法提取图像的边缘特征，然后再利用Log Gabor小波对图像进行滤波，滤波的传递函数如公式(1)，再通过二维图像的计算公式(2)，得出相位一致性PC值；
其中o为滤波方向，k为固定常数，w为自变量频率，wo为滤波器中心频率，n为尺度的个数，Ano(x)和Φno(x)分别为幅值和相位，Wo(x)和T为频率扩展和噪声补偿，x为图像的像素点在频域的位置坐标，ε为极小常数，
符号表示当Ano(x)△Φno(x)-T的值大于0时取原值，小于0时取0。
7.根据权利要求1所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，
所述卷积神经网络使用激活函数relu6增加输入数据和输出数据的非线性关系，所述激活函数relu6为：F(z)＝min(max(0,z),6)；
其中，z指经过卷积层后输出的特征图数据；
所述卷积神经网络包括：普通卷积块、深度可分离卷积块一、深度可分离卷积块二、深度可分离卷积块三、深度可分离卷积块四、深度可分离卷积块五、深度可分离卷积块六、深度可分离卷积块七、深度可分离卷积块八和全局平均池化层，其中，网络特征提取的顺序依次为：普通卷积块、深度可分离卷积块一、深度可分离卷积块二、深度可分离卷积块三、深度可分离卷积块四、深度可分离卷积块五、深度可分离卷积块六、深度可分离卷积块七、深度可分离卷积块八、全局平均池化层；
所述普通卷积块包括：32个步长为2、尺寸为3×3的卷积核，所述普通卷积块进行特征提取的过程包括：对经过所述普通卷积块输出的特征图数据使用relu6激活函数；
所述深度可分离卷积块一包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和64个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块一进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述64个步长为1，尺寸为1×1的卷积核将上述步骤得到的图像增维至64，并线性输出；
所述深度可分离卷积块二包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和128个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块二进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述128个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至128，并线性输出；
所述深度可分离卷积块三包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和128个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块三进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述128个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至128，并线性输出；
所述深度可分离卷积块四包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和256个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块四进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述256个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至256，并线性输出；
所述深度可分离卷积块五包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和256个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块五进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；256个步长为1、尺寸为1×1的卷积核对上述步骤得到的图像进行特征提取，并线性输出；
所述深度可分离卷积块六包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和512个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块六进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述512个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至512，并线性输出；
所述深度可分离卷积块七包括：1个步长为1、尺寸为3×3且遍历所有通道的卷积核和512个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块七进行特征提取的过程包括：所述步长为1、尺寸为3×3的卷积核对特征图数据进行补零操作；对补零操作后的特征图数据依次使用BatchNormalization和relu6激活；所述512个步长为1、尺寸为1×1的卷积核对上述步骤得到的图像进行特征提取，并线性输出；
所述深度可分离卷积块八包括：1个步长为2、尺寸为3×3且遍历所有通道的卷积核和1024个步长为1、尺寸为1×1且遍历所有通道的卷积核，所述深度可分离卷积块八进行特征提取的过程包括：对特征图数据依次使用BatchNormalization和relu6激活；所述1024个步长为1、尺寸为1×1的卷积核将上述步骤得到的图像增维至1024，并线性输出。
8.根据权利要求7所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，所述全局平均池化层的池化窗口大小为7，步长为1。
9.根据权利要求1所述的基于相位一致性和轻量卷积神经网络的煤矸识别方法，其特征在于，所述Dropout层的dropout设置为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758374.5A CN111860689B (zh) | 2020-07-31 | 2020-07-31 | 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758374.5A CN111860689B (zh) | 2020-07-31 | 2020-07-31 | 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860689A true CN111860689A (zh) | 2020-10-30 |
| CN111860689B CN111860689B (zh) | 2023-11-03 |
Family
ID=72953808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010758374.5A Active CN111860689B (zh) | 2020-07-31 | 2020-07-31 | 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860689B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446914A (zh) * | 2020-12-04 | 2021-03-05 | 中国矿业大学(北京) | 一种放顶煤过程中的煤矸石质量计算方法及系统 |
| CN112560941A (zh) * | 2020-12-14 | 2021-03-26 | 中科院计算所西部高等技术研究院 | 基于图像检测的煤矸识别方法 |
| CN112733665A (zh) * | 2020-12-31 | 2021-04-30 | 中科院微电子研究所南京智能技术研究院 | 一种基于轻量化网络结构设计的人脸识别方法及系统 |
| CN113591689A (zh) * | 2021-07-29 | 2021-11-02 | 安徽理工大学 | 一种煤和矸石rgb图像识别方法及其系统 |
| CN114973320A (zh) * | 2022-05-17 | 2022-08-30 | 中国矿业大学 | 一种基于深度信息的煤矿井下人员检测方法 |
| CN115205637A (zh) * | 2022-09-19 | 2022-10-18 | 山东世纪矿山机电有限公司 | 一种矿车物料的智能识别方法 |
| CN115375660A (zh) * | 2022-08-24 | 2022-11-22 | 陕西陕煤曹家滩矿业有限公司 | 一种放顶煤过程中煤矸石质量确定方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009472A (zh) * | 2017-10-25 | 2018-05-08 | 五邑大学 | 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法 |
| CN110100774A (zh) * | 2019-05-08 | 2019-08-09 | 安徽大学 | 基于卷积神经网络的河蟹雌雄识别方法 |
| US20190340507A1 (en) * | 2017-01-17 | 2019-11-07 | Catchoom Technologies, S.L. | Classifying data |
| CN111079845A (zh) * | 2019-12-20 | 2020-04-28 | 西安交通大学 | 一种煤炭中煤矸石和煤的分类识别方法 |
-
2020
- 2020-07-31 CN CN202010758374.5A patent/CN111860689B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190340507A1 (en) * | 2017-01-17 | 2019-11-07 | Catchoom Technologies, S.L. | Classifying data |
| CN108009472A (zh) * | 2017-10-25 | 2018-05-08 | 五邑大学 | 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法 |
| CN110100774A (zh) * | 2019-05-08 | 2019-08-09 | 安徽大学 | 基于卷积神经网络的河蟹雌雄识别方法 |
| CN111079845A (zh) * | 2019-12-20 | 2020-04-28 | 西安交通大学 | 一种煤炭中煤矸石和煤的分类识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| BEIJI ZOU 等: "Multi-Label Classification Scheme Based on Local Regression for Retinal Vessel Segmentation", 《IEEE/ACM TRANSACTIONS ON COMPUTATIONAL BIOLOGY AND BIOINFORMATICS》, vol. 18, no. 6, pages 2586, XP011893105, DOI: 10.1109/TCBB.2020.2980233 * |
| 于腾飞: "基于相位一致性的煤矸边缘检测方法", 《电子器件》, vol. 39, no. 6, pages 1349 - 1352 * |
| 司垒 等: "基于煤层分布预测的采煤机截割路径规划", 《中国矿业大学学报》, vol. 43, no. 3, pages 464 - 471 * |
| 饶中钰 等: "煤矸石图像分类方法", 《工矿自动化》, vol. 46, no. 3, pages 69 - 73 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446914A (zh) * | 2020-12-04 | 2021-03-05 | 中国矿业大学(北京) | 一种放顶煤过程中的煤矸石质量计算方法及系统 |
| CN112446914B (zh) * | 2020-12-04 | 2023-08-15 | 中国矿业大学(北京) | 一种放顶煤过程中的煤矸石质量计算方法及系统 |
| CN112560941A (zh) * | 2020-12-14 | 2021-03-26 | 中科院计算所西部高等技术研究院 | 基于图像检测的煤矸识别方法 |
| CN112733665A (zh) * | 2020-12-31 | 2021-04-30 | 中科院微电子研究所南京智能技术研究院 | 一种基于轻量化网络结构设计的人脸识别方法及系统 |
| CN113591689A (zh) * | 2021-07-29 | 2021-11-02 | 安徽理工大学 | 一种煤和矸石rgb图像识别方法及其系统 |
| CN114973320A (zh) * | 2022-05-17 | 2022-08-30 | 中国矿业大学 | 一种基于深度信息的煤矿井下人员检测方法 |
| CN115375660A (zh) * | 2022-08-24 | 2022-11-22 | 陕西陕煤曹家滩矿业有限公司 | 一种放顶煤过程中煤矸石质量确定方法及系统 |
| CN115205637A (zh) * | 2022-09-19 | 2022-10-18 | 山东世纪矿山机电有限公司 | 一种矿车物料的智能识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860689B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860689A (zh) | 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法 | |
| CN105184303B (zh) | 一种基于多模态深度学习的图像标注方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
| CN107220641B (zh) | 一种基于深度学习的多语言文本分类方法 | |
| CN111260568B (zh) | 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法 | |
| CN104239872A (zh) | 异态汉字识别方法 | |
| CN105335760A (zh) | 一种图像数字字符识别方法 | |
| Raja et al. | An effective contour detection based image retrieval using multi-fusion method and neural network | |
| CN115661069A (zh) | 一种高光谱异常检测方法及计算机装置 | |
| Tseng et al. | An interpretable compression and classification system: Theory and applications | |
| James et al. | Malayalam handwritten character recognition using AlexNet based architecture | |
| CN111126169A (zh) | 基于正交化的图正则非负矩阵分解的人脸识别方法及系统 | |
| CN111259792A (zh) | 基于dwt-lbp-dct特征的人脸活体检测方法 | |
| Fu et al. | Detecting GAN-generated face images via hybrid texture and sensor noise based features | |
| CN112348097A (zh) | 一种高光谱图像分类方法 | |
| CN112200789A (zh) | 一种图像识别的方法及装置、电子设备和存储介质 | |
| CN116363535A (zh) | 基于卷积神经网络的无人机航拍影像中的船舶检测方法 | |
| CN105512682A (zh) | 一种基于Krawtchouk矩和KNN-SMO分类器的密级标识识别方法 | |
| CN112132104B (zh) | 一种基于环路生成对抗网络的isar舰船目标图像域增强识别方法 | |
| CN114565772A (zh) | 集合特征提取方法、装置、电子设备及存储介质 | |
| Shrivastava et al. | Bridging the semantic gap with human perception based features for scene categorization | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| Mu et al. | Tree leaf feature extraction and recognition based on geometric features and haar wavelet theory | |
| Zhang et al. | Single-sample face recognition under varying lighting conditions based on logarithmic total variation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |