CN110378295B - 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法 - Google Patents

一种多光谱图像信息和光谱信息异构融合的煤矸识别方法 Download PDF

Info

Publication number
CN110378295B
CN110378295B CN201910663782.XA CN201910663782A CN110378295B CN 110378295 B CN110378295 B CN 110378295B CN 201910663782 A CN201910663782 A CN 201910663782A CN 110378295 B CN110378295 B CN 110378295B
Authority
CN
China
Prior art keywords
coal
gangue
spectral
information
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910663782.XA
Other languages
English (en)
Other versions
CN110378295A (zh
Inventor
胡锋
周孟然
闫鹏程
李蓓
卞凯
戴荣英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201910663782.XA priority Critical patent/CN110378295B/zh
Publication of CN110378295A publication Critical patent/CN110378295A/zh
Application granted granted Critical
Publication of CN110378295B publication Critical patent/CN110378295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal

Abstract

本发明公开了一种多光谱图像信息和光谱信息异构融合的煤矸识别方法，包括以下步骤：(1)煤和矸石多光谱数据的获取；(2)构造煤和矸石的多光谱数据库；(3)二维卷积神经网络图像信息的特征提取；(4)一维卷积神经网络光谱信息的特征提取；(5)图像特征和光谱特征的融合；(6)随机森林煤矸识别模型构建。本发明采用2D‑CNN和1D‑CNN分别提取图像特征和光谱特征，特征融合后进行煤和矸石多光谱的识别模型构建，提出一种可用于图像信息和光谱信息特征提取、融合的异构融合框架能够提取更多、更有效的特征信息，且可以有效避免过拟合等问题，非常适用于煤和矸石的实时、精准识别。

Description

一种多光谱图像信息和光谱信息异构融合的煤矸识别方法
技术领域
本发明涉及煤矸识别技术领域，具体是一种多光谱图像信息和光谱信息异构融合的煤矸识别方法。
背景技术
煤炭是国家经济的命脉，被称为“工业的粮食”，是人类自十八世纪以来所使用的主要能源之一。我国煤炭储存量十分丰富，“富煤、贫油、少气”能源资源的基本特点决定了煤炭在一次能源中的重要地位。在煤炭开采过程中，会伴有大量的矸石和煤被一起开采出来。当矸石与煤混合后，会影响影响煤的发热量，影响煤炭的质量，同时在燃烧过程中会对环境造成严重污染。因此，将矸石从煤中分选出来是煤炭使用前一个至关重要的处理环节。现阶段国内外选煤技术中，除了人工选矸之外，自动选矸(煤)技术可根据是否利用水资源，分为湿法选矸和干法选矸。湿法选矸需要消耗大量的水资源，同时产生的煤泥污染难以处理；伽马射线和X射线选矸等射线选矸存在一定的辐射，而普通的图像识别选矸受光线等因素干扰大。
多光谱成像技术(Multispectral Imaging，MSI)最早应用于军事领域，之后随着技术不断发展，逐渐应用到农业各个方面。多光谱成像后获得多个不同光谱区域图像，多光谱成像技术可以解决RGB图像波段范围窄和易受光照等环境干扰的问题。同时，与传统的CCD成像相比，多光谱成像技术在获取不同光谱区域的图像信息外，还能获取到不同波段的光谱信息。目前，针对多光谱数据的分析主要是按照图像信息和光谱信息分别进行相对独立的研究。
发明内容
本发明的目的是提供一种多光谱图像信息和光谱信息异构融合的煤矸识别方法，以解决现有煤矸识别方法存在的不足，通过多光谱图像信息和光谱信息的融合有效降低了单一图像信息或者光谱信息判断的误差，实现煤和矸石的实时在线精准识别。
为了实现上述目的，本发明采用的技术方案为：一种多光谱图像信息和光谱信息异构融合的煤矸识别方法，包括以下步骤：
(1)煤和矸石多光谱数据的获取；
(2)构造煤和矸石的多光谱数据库；
(3)二维卷积神经网络图像信息的特征提取；
(4)一维卷积神经网络光谱信息的特征提取；
(5)图像特征和光谱特征的融合；
(6)随机森林煤矸识别模型构建。
作为优选，所述步骤(1)中，利用多光谱成像技术获取煤和矸石的多光谱数据，得到煤和矸石的多光谱数据集。
作为优选，所述步骤(2)中，利用煤和矸石的多光谱数据集，结合煤和矸石的样本标签，构造煤和矸石的多光谱数据库，该数据库同时包含图像信息和光谱信息。
作为优选，所述步骤(3)中，用于提取图像信息特征的二维卷积神经网络(Two-dimensional convolutional neural network,2D-CNN)是一种包含两个卷积层的网络结构，主要包含标准化层、卷积层、池化层、全连接层。
作为优选，所述步骤(4)中，用于提取光谱信息特征的一维卷积神经网络(One-dimensional convolutional neural network,1D-CNN)是一种包含两个卷积层的网络结构，主要包含标准化层、卷积层、池化层、全连接层。
作为优选，所述步骤(5)中，利用融合规则实现上述步骤(3)和(4)中提取的图像特征和光谱特征的融合。
作为优选，所述步骤(6)中，利用融合后的特征在训练集上构建随机森林(Randomforest,RF)煤矸识别模型，确定RF煤矸识别模型的参数，然后利用测试集来测试识别的效果，验证模型性能。
通过上述技术方案，本发明的有益效果是：采用多光谱成像技术获取煤和矸石的多光谱数据并进行煤矸识别解决现有煤矸识别方法存在的不足；提出一种可用于图像信息和光谱信息特征提取、融合的异构融合框架能够提取更多、更有效的特征信息，且可以有效避免过拟合等问题，非常适用于煤和矸石的实时、精准识别。
附图说明
图1是本发明实施案例煤矸识别方法的流程图；
图2是本发明实施案例用于提取图像信息特征的二维卷积神经网络的结构简图；
图3是本发明实施案例用于提取光谱信息特征的一维卷积神经网络的结构简图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明在Windows 10环境下进行，采用Keras(V 2.2.4)进行分析，并将TensorFlow(V 1.10.0)作为其后端，硬件使用英特尔酷睿I7-9700K和双路英伟达GeforceRTX 2070。
本发明实施例为了解决现在技术的全部或者部分不足提供了一种多光谱图像信息和光谱信息异构融合的煤矸识别方法，所述的识别方法包括如下步骤：
(1)煤和矸石多光谱数据的获取；
(2)构造煤和矸石的多光谱数据库；
(3)二维卷积神经网络图像信息的特征提取；
(4)一维卷积神经网络光谱信息的特征提取；
(5)图像特征和光谱特征的融合；
(6)随机森林煤矸识别模型构建。
为使本发明实施例的目的、技术方案和优点更加清楚明白，结合附图，对本发明实施例提供的一种多光谱图像信息和光谱信息异构融合的煤矸识别方法作详细说明，本发明实施例提供的一种多光谱图像信息和光谱信息异构融合的煤矸识别方法，所述识别方法包括的步骤如图1所示：
101：煤和矸石多光谱数据的获取，多光谱成像模块选用上海五铃光电科技有限公司的实时多光谱Mosaic面型相机，对煤和矸石的多个样本进行多光谱的数据采集。
102：构造煤和矸石的多光谱数据库，采集到的多光谱数据包含图像信息和光谱信息两部分，其中图像信息的图像分辨率为2048*1088，光谱数据的数据量为25个(波长范围为600-875nm)，结合煤和矸石的类别标签信息构成煤和矸石的多光谱数据库。
103：二维卷积神经网络图像信息的特征提取，用于提取图像信息特征的二维卷积神经网络(Two-dimensional convolutional neural network,2D-CNN)是一种包含两个卷积层的网络结构，主要包含标准化层、卷积层、池化层、全连接层，其结构简图如图2所示，具体说明如下：
201：标准层使用Keras中的批量标准化层BatchNormalization，其输出尺寸与输入一致；
202：卷积层1使用Keras中的2D卷积层Conv2D，卷积核尺寸为3×3，卷积核数量为16；
203：池化层使用Keras中的2D最大池化MaxPooling2D，池化尺寸为2×2；
204：卷积层2使用Keras中的2D卷积层Conv2D，卷积核尺寸为3×3，卷积核数量为32；
205：全连接层使用Keras中的Dense对输入进行展平、点乘操作；
206：输出的2D-CNN提取得到的图像信息的特征将用于后续图像特征和光谱特征的融合。
104：一维卷积神经网络光谱信息的特征提取，用于提取光谱信息特征的一维卷积神经网络(One-dimensional convolutional neural network,1D-CNN)是一种包含两个卷积层的网络结构，主要包含标准化层、卷积层、池化层、全连接层，其结构简图如图3所示，具体说明如下：
301：标准层使用Keras中的批量标准化层BatchNormalization，其输出尺寸与输入一致；
302：卷积层1使用Keras中的1D卷积层Conv1D，卷积核尺寸为3，卷积核数量为16；
303：池化层使用Keras中的1D最大池化MaxPooling1D，池化尺寸为2；
304：卷积层2使用Keras中的1D卷积层Conv1D，卷积核尺寸为3，卷积核数量为32；
305：全连接层使用Keras中的Dense对输入进行展平、点乘操作；
306：输出的1D-CNN提取得到的光谱信息的特征将用于后续图像特征和光谱特征的融合。
105：图像特征和光谱特征的融合，使用Keras中的Concatenate对2D-CNN提取的图像信息特征和1D-CNN提取的光谱信息特征进行特征的融合，融合后的特征将作为RF的输入，用于构建模型和测试模型。
106：随机森林煤矸识别模型构建，利用融合后的特征在训练集上构建随机森林(Random forest,RF)煤矸识别模型，确定RF煤矸识别模型的参数，然后利用测试集来测试识别的效果，验证模型性能。
通过上述技术方案，本发明的有益效果是：采用多光谱成像技术获取煤和矸石的多光谱数据并进行煤矸识别解决现有煤矸识别方法存在的不足；提出一种可用于图像信息和光谱信息特征提取、融合的异构融合框架能够提取更多、更有效的特征信息，且可以有效避免过拟合等问题，非常适用于煤和矸石的实时、精准识别。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种多光谱图像信息和光谱信息异构融合的煤矸识别方法，其特征在于：包括以下步骤：
（1）煤和矸石多光谱数据的获取；
（2）构造煤和矸石的多光谱数据库；
（3）二维卷积神经网络图像信息的特征提取；
（4）一维卷积神经网络光谱信息的特征提取；
（5）图像特征和光谱特征的融合；
（6）随机森林煤矸识别模型构建；
所述步骤（1）中，利用多光谱成像技术获取煤和矸石的多光谱数据，得到煤和矸石的多光谱数据集；
所述步骤（2）中，利用煤和矸石的多光谱数据集，结合煤和矸石的样本标签，构造煤和矸石的多光谱数据库，该数据库同时包含图像信息和光谱信息；
所述步骤（3）中，用于提取图像信息特征的二维卷积神经网络（Two-dimensionalconvolutional neural network, 2D-CNN）是一种包含两个卷积层的网络结构，主要包含标准化层、卷积层、池化层、全连接层；
所述步骤（4）中，用于提取光谱信息特征的一维卷积神经网络（One-dimensionalconvolutional neural network, 1D-CNN）是一种包含两个卷积层的网络结构，主要包含标准化层、卷积层、池化层、全连接层；
所述步骤（5）中，利用融合规则实现上述步骤（3）和（4）中提取的图像特征和光谱特征的融合；
所述步骤（6）中，利用融合后的特征在训练集上构建随机森林（Random forest, RF）煤矸识别模型，确定RF煤矸识别模型的参数，然后利用测试集来测试识别的效果，验证模型性能。
CN201910663782.XA 2019-07-22 2019-07-22 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法 Active CN110378295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910663782.XA CN110378295B (zh) 2019-07-22 2019-07-22 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910663782.XA CN110378295B (zh) 2019-07-22 2019-07-22 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法

Publications (2)

Publication Number Publication Date
CN110378295A CN110378295A (zh) 2019-10-25
CN110378295B true CN110378295B (zh) 2022-12-20

Family

ID=68254935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910663782.XA Active CN110378295B (zh) 2019-07-22 2019-07-22 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法

Country Status (1)

Country Link
CN (1) CN110378295B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111077093A (zh) * 2020-01-10 2020-04-28 安徽理工大学 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN111468430B (zh) * 2020-04-17 2022-06-21 无锡雪浪数制科技有限公司 一种基于深度视觉的煤矸石分离方法
CN112200813B (zh) * 2020-09-30 2024-02-06 中国矿业大学(北京) 一种考虑照度因素的煤矸识别方法和系统
CN112990027A (zh) * 2021-03-22 2021-06-18 精英数智科技股份有限公司 一种基于高光谱图像的煤矸识别方法及装置
CN114935364B (zh) * 2022-05-13 2023-05-23 河北工业大学 基于多源信息融合的煤矸在线识别设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
WO2019025716A1 (fr) * 2017-08-03 2019-02-07 Universite D'orleans Procede et systeme de cartographie de l'etat sanitaire de cultures
CN109977747A (zh) * 2019-01-08 2019-07-05 浙江大学 一种综合时空特征的煤矸识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025716A1 (fr) * 2017-08-03 2019-02-07 Universite D'orleans Procede et systeme de cartographie de l'etat sanitaire de cultures
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109977747A (zh) * 2019-01-08 2019-07-05 浙江大学 一种综合时空特征的煤矸识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的遥感图像分类研究;李亚飞等;《智能系统学报》;20180328(第04期);全文 *

Also Published As

Publication number Publication date
CN110378295A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378295B (zh) 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法
CN110348538B (zh) 一种多光谱光谱信息和1d-cnn的煤矸识别方法
CN110321959B (zh) 一种多光谱图像信息和cnn的煤矸识别方法
CN102621077B (zh) 基于高光谱反射图像采集系统的玉米种子纯度无损检测方法
US20210199579A1 (en) Method and system for urban impervious surface extraction based on remote sensing
CN101832926B (zh) 一种利用高光谱图像技术进行苹果粉质化无损检测方法
CN112906822B (zh) 一种面向生态保护红线的人类活动识别融合方法及系统
CN102288613A (zh) 一种灰度和深度信息融合的表面缺陷检测方法
CN111105389B (zh) 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法
CN111985543A (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
CN103955583B (zh) 一种确定夜晚灯光数据提取城市建成区阈值的方法
CN110245635A (zh) 一种煤和矸石的红外图像识别方法
CN111077093A (zh) 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN107784634A (zh) 一种基于模板匹配的输电线杆塔鸟巢识别方法
CN103914692A (zh) 一种用于煤矿周围地表水系的遥感识别方法
CN113920376B (zh) 一种基于轻量型卷积神经网络的小麦种子品种鉴别的方法
CN110488368A (zh) 一种基于双能x光安检机的违禁品识别方法及装置
CN103090946B (zh) 果树单树产量测量的方法和系统
CN103543107A (zh) 基于机器视觉和高光谱技术的烟叶智能分级系统和方法
CN116012726A (zh) 一种基于深度学习的黑臭水体遥感监测分级方法
Hu et al. Recognition method of coal and gangue combined with structural similarity index measure and principal component analysis network under multispectral imaging
CN113538559B (zh) 一种基于高光谱遥感影像的近海养殖筏提取指数的提取方法
CN113420497B (zh) 浑浊湖泊总磷浓度遥感估算方法
CN112329791B (zh) 一种高光谱影像水域自动提取方法
CN109269987A (zh) 一种基于spot5遥感数据的盐湖水体矿化度定性估测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191025

Assignee: HEFEI KEDA INDUSTRIAL EQUIPMENT Co.,Ltd.

Assignor: Anhui University of Science and Technology

Contract record no.: X2023980034435

Denomination of invention: A Coal Gangue Recognition Method Based on Heterogeneous Fusion of Multispectral Image Information and Spectral Information

Granted publication date: 20221220

License type: Common License

Record date: 20230406