CN113269725A - 一种基于成像技术和深度学习的煤矸石快速检测方法 - Google Patents

一种基于成像技术和深度学习的煤矸石快速检测方法 Download PDF

Info

Publication number
CN113269725A
CN113269725A CN202110467751.4A CN202110467751A CN113269725A CN 113269725 A CN113269725 A CN 113269725A CN 202110467751 A CN202110467751 A CN 202110467751A CN 113269725 A CN113269725 A CN 113269725A
Authority
CN
China
Prior art keywords
coal gangue
image
deep learning
coal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110467751.4A
Other languages
English (en)
Inventor
周孟然
闫鹏程
胡锋
来文豪
卞凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202110467751.4A priority Critical patent/CN113269725A/zh
Publication of CN113269725A publication Critical patent/CN113269725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于成像技术和深度学习的煤矸石快速检测方法，获取煤矸石矿石图像数据；对获取的煤矸石图像中每个通道图像的分辨率进行调整，再进行图像数据归一化处理；将归一化处理后的图像数据进行深度学习，建立煤矸石深度学习检测模型；对建立的煤矸石深度学习检测模型进行训练和保存，得到模型权重；将待检测的煤矿图像输入到该模型权重中，完成煤矸石的识别和定位。检测速度快，多尺度特征图，对不同大小的煤矸石都具有较好的识别和定位能力；其次，本发明提供的检测模型可扩展性较好，允许用户根据实际需求进行修改和参数设定；最后，本发明提供的模型既可以用于RGB成像设备的煤矸石检测，也可用于多光谱或高光谱成像设备的煤矸石检测。

Description

一种基于成像技术和深度学习的煤矸石快速检测方法
技术领域
本发明涉及煤矸石检测技术领域，具体的是涉及一种基于成像技术和 深度学习的煤矸石快速检测方法。
背景技术
作为煤炭开采中最多的伴生物，在现有技术下，煤矸石在原煤中的含 量约为10％。煤矸石燃烧值低，有的甚至不能燃烧，若不将其从原煤中分离， 不仅会降低煤的利用率，而且还会增加污染物排放。近年来，尽管煤炭供 给结构持续优化、供给质量稳步提升，但预计“十四五”期间煤炭仍将占 到我国一次能源消费的一半以上。从环境保护和能源的高效利用角度出发， 将煤矸石从原煤中快速、准确的分离势在必行。
2020年，国家能源局联合发布《智能化示范煤矿管理暂行办法》和《煤 矿智能化专家库管理暂行办法》，旨在加快煤矿的现代化建设。煤矸石分 离作为煤炭开采中重要一环，其自动化和智能化也被提上日程。煤矸石的 智能分离，首先需要识别煤矸石，让后对其定位，最后利用机械或其他手 段将其从原煤中分离。
近两年，计算机硬件技术的进步，极大的推动深度学习理论的发展和 人工智能的进步。基于深度学习理论的人脸识别、交通路况识别、目标检 测和场景分割等取得较大的成果，但将深度学习用于煤矸石快速检测的研 究较少。
当前的煤矸石智能分离研究主要以“识别”为主，针对煤矸石的快速 检测的研究较少。尽管许多性能优异的目标检测稍加修改即可用于煤矸石 检测，但是检测速度相对较慢，这直接关系煤矿的生产效率。此外，当前 的目标检测模型基于RGB图像而设计，部分检测可用于近红外光谱图像， 但没有一个既能用于RGB图像也能用于多光谱图像或高光谱图像的目标检 测模型。
发明内容
为了克服上述现有技术的缺点，本发明的目的是提供一种具有非常快的 检测速度，且根据需求既可以用于RGB成像设备的煤矸石检测，也可用于 多光谱或高光谱成像设备的煤矸石检测的基于成像技术和深度学习的煤矸 石快速检测方法。
为达到上述目的，本发明采用以下技术方案，一种基于成像技术和深度 学习的煤矸石快速检测方法，
获取煤矸石矿石图像数据；
对获取的煤矸石矿石图像中每个通道图像的分辨率进行调整，再进行图 像数据归一化处理；
将归一化处理后的图像数据进行深度学习，建立煤矸石深度学习检测模 型；
对建立的煤矸石深度学习检测模型进行训练和保存，得到模型权重；
将待检测的煤矿图像输入到该模型权重中，完成煤矸石的识别和定位。
采集到的煤矿图像为多光谱或高光谱图像，将多光谱或高光谱图像中每 个通道的光谱数据转化为uint8类型数据；然后将每个通道的图像调整到固 定的分辨率，再进行归一化处理。
多光谱或高光谱每个通道的光谱数据转化为uint8类型的方法如下：
Figure BDA0003044775200000021
式1中，X′是多光谱或高光谱数据转化为uint8类型，
Figure BDA0003044775200000022
是实验采集 的原始多光谱或高光谱数据，
Figure BDA0003044775200000023
是取
Figure BDA0003044775200000024
中最大的值，int8是将数据转 化为uint8类型。
将获取每张煤矿图像中的煤矸石坐标进行标记，并保存每块煤矸石在图 像中的矩形框的左上和右下坐标；
利用双线性插值法对每个通道的图像分辨率进行调整；
分辨率调整后的图像按照如下方法进行归一化处理：
Figure BDA0003044775200000031
公式2中，X′为多光谱或高光谱数据转化为uint8类型后的数据，或 者是原始的RGB图像数据，X代表归一化后的数据。
所述煤矸石深度学习检测模型的建立按照如下方法进行；
主干网络：经过归一化处理后的图像数据输入到用于特征学习的主干 网络中；该主干网络为深度学习模型VggNet或GoogleNet或ResNet或 DenseNet或XceptionNet或MobileNe的一种；
多尺度特征图：将经过主干网络的图像数据分为六种刻度的特征图， 每张刻度特征图的分辨率为P1×P1、P2×P2、P3×P3、P4×P4、P5×P5和P6×P6， 每张特征图的每个像素点的目标数分别为n1、n2、n3、n4、n5和n6，即，每 张输入的图像最多可预测N个有效目标，N的计算公式如下：
Figure BDA0003044775200000032
多尺度特征图的通道数分别为64×n，n＝{n1,n2,n3,n4,n5,n6}，其中 {n1,n2,n3,n4,n5,n6}分别为每个特征图的每个像素点的目标数，相邻的两个不同 分辨率的特征图由多个卷积层相连接，且每个卷积操作后均依次连接批归 一化层和非线性映射层；
批归一化层的公式4如下：
Figure BDA0003044775200000033
式中，x为批归一化的输入，
Figure BDA0003044775200000034
为批归一化输出，μ和σ2分别是批归一 化输入的均值和方差，ε是一个无穷小，γ和δ两变量由模型在训练和学习 中获得；
非线性变换的公式如下：
Figure BDA0003044775200000035
式中，b是一个介于0和1之间的小数；
目标识别和坐标回归：对每张特征图的像素点进行煤矸石预测和煤矸石 边框预测，所述煤矸石边框预测是对煤矸石的边界框左上坐标和右下坐标 进行变更后的坐标，具体公式如下：
Figure BDA0003044775200000041
Figure BDA0003044775200000042
w＝xr-xl (8)
h＝yr-yl (9)
公式6、7、8和9中，xl和yl煤矸石在图像中的左上坐标，xr和yr煤矸 石在图像中的右下坐标，坐标转换后，cx和cy则视为煤矸石在图像中的中 心坐标，w和h则是煤矸石的长和宽；
两个边界框相交面积除以相并的面积大于λ时，保留置信度大的预测边 界框，其中参数λ为设定参数。
在煤矸石深度学习检测模型进行训练时的损失包括分类损失和坐标损 失；
位置回归采用Smooth L1损失，损失函数的计算公式如下：
Figure BDA0003044775200000043
公式10中，M为匹配到的真实目标和默认框的数量，Lconf和Lloc分别是 分类误差和边界框预测误差；
分类误差Lconf计算公式如下：
Figure BDA0003044775200000044
式中，
Figure BDA0003044775200000045
是第i个边界框对第j个真实目标的分类结果，其取值为0 或1，Pos代表边界框中有煤矸石或煤块，Neg则是为背景，
Figure BDA0003044775200000046
是分类概率， q为类别标签，其最大值为2；
坐标误差Lloc计算公式如下：
Figure BDA0003044775200000047
Figure BDA0003044775200000051
Figure BDA0003044775200000052
Figure BDA0003044775200000053
Figure BDA0003044775200000054
公中，
Figure BDA0003044775200000055
代表默认框的所对应边界框的位置预测值，cxj和cyj是训练数 据中煤矸石或煤在图像中的中心坐标，wj和hj则是目标的长和高，
Figure BDA0003044775200000056
和
Figure BDA0003044775200000057
为默认框的中心坐标，
Figure BDA0003044775200000058
和
Figure BDA0003044775200000059
则是默认框的长和高，smoothL1则代表Smooth L1损失，其计算公式如下：
Figure BDA00030447752000000510
默认边界框是为每个特征图的每个像素点默认设置的边界框，默认边 界框的dcx和dcy为值由像素点的坐标决定，dh和dw的计算公式如下：
Figure BDA00030447752000000511
Figure BDA00030447752000000512
Figure BDA00030447752000000513
公式18中smin和smax分别为两个大于零小于1的数，分别设为0.2和0.9； 公式19和公式20中，a为比例系数，当a＝1时，
Figure BDA00030447752000000514
煤矸石深度学习检测模型的训练的优化函数采用Adam；首先将学习率 设为0.0001，批大小为4训练20个Epoch；然后将学习率设为0.0005， 批大小为8训练100个Epoch；在模型训练过程中监测验证损失，将验证 损失最小的Epoch训练得的模型权重保存，作为最优权重用于煤矸石快速 检测。
通过RGB成像仪、多光谱成像仪、高光谱成像仪或近红外光谱成像仪对 图像进行采集。
本发明的有益效果是：能快速、准确的识别和定位煤矸石；设计的深 度学习的煤矸石检测模型不仅能用于RGB图像煤矸石识别和定位，根据实 际需求，也可用于多光谱成像仪、高光谱成像仪或其他近红外光谱成像设 备的数据煤矸石定位和识别；煤矸石检测模型采用6中刻度的特征图，使 得模型对不同大小的煤矸石都具有较好的识别和定位能力；刻度数用户根 据需求可以自行删减，每种刻度的特征图的分别率，以及每个像素点预测的目标数n＝{n1,n2,n3,n4,n5,n6}可根据需求设定，以获得更优的检测速度或更 高的检测精度。
附图说明
图1是本发明基于成像技术和深度学习的煤矸石快速检测方法的流程 图；
图2是本发明中煤矸石深度学习检测模型的流程图；
图3是本发明中煤矸石数据采集系统示意图；
图4是本发明实施例中煤矸石多光谱通道1的光谱数据图；
图5是本发明实施例中经过转换后的多光谱图像；
图6是本发明实施例中煤矸石标注示意图；
图7本发明实施例中主干网络流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示的一种基于成像技术和深度学习的煤矸石快速检测方法，
获取煤矸石矿石图像数据；在对煤矿图像采集时，采用成像设备对图像 进行采集，该成像设备为RGB成像仪、多光谱成像仪、高光谱成像仪或近红 外光谱成像仪，通过不同的设备所采集的图像的模式所不相同，
在设计煤矸石深度学习模型时，确保能够用于RGB图像检测，也能用于 多光谱或高光谱图像煤矸石检测，基于RGB图像煤矸石检测，数据的预处理 是先分别调整每个通道的图像的分辨率，再将图像数据归一化；多光谱或 高光谱图像煤矸石检测，数据的预处理分别将每个通道的光谱数据转化为 uint8类型数据，然后将每个通道的图像调整到固定的分辨率，最后归一化 处理；
所述的多光谱或高光谱每个通道的光谱数据转化为uint8类型数据的 方式如公式(1)所示：
Figure BDA0003044775200000071
式1中，X′是多光谱或高光谱数据转化为uint8类型，
Figure BDA0003044775200000072
是实验采集 的原始多光谱或高光谱数据，
Figure BDA0003044775200000073
是取
Figure BDA0003044775200000074
中最大的值，int8是将数据转 化为uint8型。
所述的打标签是利用软件标注每张RGB、多光谱或高光谱图像中的煤矸 石坐标，并保存每块煤矸石在图像中的矩形框的左上和右下坐标。
所述的每个通道的图像的分辨率的调整采用双线性插值法，分辨率变 换后的图像的归一化如公式(2)所示：
Figure BDA0003044775200000075
公式2中，X′为多光谱或高光谱数据转化为uint8类型后的数据，或 者是原始的RGB图像数据，X代表归一化后的数据。
如图2将归一化处理后的图像数据进行深度学习，建立煤矸石深度学习 检测模型；
煤矸石深度学习检测模型有三部分构成，如图2所示，分别是用于特 征学习的主干网络、多尺度特征图和最终的煤矸石识别及目标的坐标回归。
所述的用于特征学习的主干网络可以是任何深度学习模型，如经典的 深度学习模型VggNet、GoogleNet、ResNet、DenseNet、XceptionNet和 MobileNet等，模型的输入的通道数取决于输入图像；
所述的多尺度特征图部分采用六种刻度，其中特征图1、特征图2、特 征图3、特征图4、特征图5和特征图6的分辨率分别为P1×P1、P2×P2、P3×P3、 P4×P4、P5×P5和P6×P6，每张特征图的每个像素点最多能预测的目标数分别 为n1、n2、n3、n4、n5和n6，即，每张输入的图像最多可预测N个有效目标，N的计算如公式3所示：
Figure BDA0003044775200000081
所述的多尺度特征图的通道数分别为64×n，n＝{n1,n2,n3,n4,n5,n6}，其中 {n1,n2,n3,n4,n5,n6}分别为每个特征图的每个像素点最多能预测的目标数，相邻 的两个不同分辨率的特征图由多个卷积层相连接，且每个卷积操作后均依 次连接批归一化层和非线性映射层；
所述的批归一化层的原理如公式4所示：
Figure BDA0003044775200000082
公式4中，x为批归一化的输入，
Figure BDA0003044775200000083
为批归一化输出，μ和σ2分别是批 归一化输入的均值和方差，ε是一个无穷小，其作用是防止分母为0，γ和δ 两变量由模型在训练和学习中获得；
所述的非线性变换的如公式5所示：
Figure BDA0003044775200000084
公式5中，b是一个介于0和1之间的小数；
所述目标识别和坐标回归，对每个特征图的像素点进行煤矸石预测和 煤矸石的边框预测，需要强调的是边框的预测并非直接预测煤矸石的边界 框的左上坐标和右下坐标，而是经过转换后的坐标，具体如公式所示：
Figure BDA0003044775200000085
Figure BDA0003044775200000086
w＝xr-xl (8)
h＝yr-yl (9)
公式6、7、8和9中，xl和yl煤矸石在图像中的左上坐标，xr和yr煤矸 石在图像中的右下坐标，坐标转换后，cx和cy则视为煤矸石在图像中的中 心坐标，w和h则是煤矸石的长和宽；
所述的非极大值抑制就是预测的两个边界框相交面积除以相并的面积 大于λ时，只保留置信度大的预测边界框，其中参数λ可由用于设定，其中 置信度是预测目标属于某类的最大概率；
对建立的煤矸石深度学习检测模型进行训练和保存，得到模型权重；
设计的煤矸石深度学习检测模型在训练时损失包含两部分，分别是分 类损失和坐标损失，为使模型更易被训练，位置回归则是采用Smooth L1损 失，损失函数的计算如公式10所示：
Figure BDA0003044775200000091
公式10中，M为匹配到的真实目标和默认框的数量，Lconf和Lloc分别是 分类误差和边界框预测误差；
所述的置信度Lconf计算如公式所11示：
Figure BDA0003044775200000092
公式11中，
Figure BDA0003044775200000093
是第i个边界框对第j个真实目标的分类结果，其取值 为0或1，Pos代表边界框中有煤矸石或煤块，Neg则是为背景，
Figure BDA0003044775200000094
是分类 概率，本发明检测的目标只用煤和煤矸石两类，因此类别标签q的最大值为 2；
所述的坐标误差Lloc计算如公式所12示：
Figure BDA0003044775200000095
Figure BDA0003044775200000096
Figure BDA0003044775200000097
Figure BDA0003044775200000098
Figure BDA0003044775200000099
公式12中，
Figure BDA00030447752000000910
代表默认框的所对应边界框的位置预测值，cxj和cyj是 训练数据中煤矸石或煤在图像中的中心坐标，wj和hj则是目标的长和高，
Figure BDA00030447752000000911
和
Figure BDA0003044775200000101
为默认框的中心坐标，
Figure BDA0003044775200000102
和
Figure BDA0003044775200000103
则是默认框的长和高，smoothL1则代表 Smooth L1损失，其计算如公式17所示：
Figure BDA0003044775200000104
所述的默认边界框是为每个特征图的每个像素点默认设置的边界框， 默认边界框的dcx和dcy为值由像素点的坐标决定，dh和dw的计算如公式所 示：
Figure BDA0003044775200000105
Figure BDA0003044775200000106
Figure BDA0003044775200000107
公式18中smin和smax分别为两个大于零小于1的数，在本发明中，分别 设为0.2和0.9；公式19和公式20中，a为比例系数，当a＝1时，
Figure BDA0003044775200000108
所述的模型的训练的优化函数采用Adam，在训练工程中使用两种学习 率，首先将学习率设为0.0001，批大小为4训练20个Epoch；然后将学习 率设为0.0005，批大小为8，训练100个Epoch；
所述的模型的保存，在模型训练过程中监测验证损失，将验证损失最 小的Epoch训练得的模型权重保存，作为最优权重用于煤矸石快速检测；
将待检测的煤矿图像输入到该模型权重中，完成煤矸石的识别和定位。
与现有的通用RGB目标检测模型相比，首先，本发明提供的方法具有 非常快的检测速度，使用多尺度特征图，对不同大小的煤矸石都具有较好 的识别和定位能力；其次，本发明提供的检测模型可扩展性较好，允许用 户根据实际需求进行修改和参数设定；最后，本发明提供的模型既可以用 于RGB成像设备的煤矸石检测，也可用于多光谱或高光谱成像设备的煤矸 石检测。
实施例1
如图3所示在进煤矸石图像数据采集时，以多光谱成像为技术手段获 得实验数据，煤矸石多光谱数据采集系统有四部分构成，分别为电源、光 源、计算机和多光谱成像仪。为使多光谱成像仪拍摄效果更好，本发明使 用3个光源。各设备的连接方式如图3所示，电源为计算机和3个光源供 电，多光谱成像仪通过USB数据线与计算机相连，并由USB数据线供电。 实验使用多光谱成像仪为XIMEA公司生产的xiSpec系列低功耗相机，共有 25个通道，光源为日本SUMITA生产的卤素灯LS-LHA。
实验设备采集的多光谱数据的格式为uint16，共有25个通道，通道1 的多光谱数据如图4所示，光谱强度最大值超过600。
实施例2
在进行煤矸石多光谱数据处理及标注时，多光谱数据类型为uint16， 按照公式1将其转换为uint8型。实例1中的多光谱由25个通道，分别将 每个通道转为灰度图像，数据类型转换后的多光谱图像立方如图5所示；
所述的图像打标签就是在每组多光谱图像中标注每块煤矸石及其坐 标，由于多光谱图像25个通道，尽管每个通道均已准化为一张灰度图像， 但是每个通道中煤矸石的位置相同，因此只在通道1中标注煤矸石，煤矸 石的标注如图6所示；
所述的图像打标签，在标注煤矸石时，仅保留煤矸石在图像中的左上 和右下坐标。标注的煤矸石坐标如表1所示：
表1多光谱图像中煤矸石坐标
煤矸石块 x<sub>l</sub> y<sub>l</sub> x<sub>r</sub> y<sub>r</sub>
煤矸石1 140 19 185 77
煤矸石2 232 1 285 55
煤矸石3 326 1 376 68
煤矸石4 215 56 268 129
煤矸石5 333 95 396 156
表2中xl和yl是左上坐标，xr和yr右下坐标。
实施例3
煤矸石深度学习检测模型的实例，主干网为改进的VggNet， 深度是15个卷积层，模型的输入300×300×25，其中300×300 是输入图像的分辨率，25是多光谱图像的通道数。实例改进VggNet 的主干网络结构简图如图7所示：
图7中，输入数据分辨率的降低是通过多步长卷积实现，其 中“[卷积层+批归一化+非线性映射]×2”代表网络串联重 复两次，且参数设置相同，其他同理。
所述的多尺度特征图的分辨率在本实例中P1×P1、P2×P2、P3×P3、 P4×P4、P5×P5和P6×P6的取值分别为38×38、19×19、10×10、5×5、 3×3和1×1。
所述每张特征图的每个像素点最多能预测的目标数为n1、n2、 n3、n4、n5和n6在本实例设置分别为4、6、6、6、4和4。
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围 的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (8)

1.一种基于成像技术和深度学习的煤矸石快速检测方法，其特征在于：
获取煤矸石矿石图像数据；
对获取的煤矸石矿石图像中每个通道图像的分辨率进行调整，再进行图像数据归一化处理；
将归一化处理后的图像数据进行深度学习，建立煤矸石深度学习检测模型；
对建立的煤矸石深度学习检测模型进行训练和保存，得到模型权重；
将待检测的煤矿图像输入到该模型权重中，完成煤矸石的识别和定位。
2.根据权利要求1所述的基于成像技术和深度学习的煤矸石快速检测方法，其特征在于，采集到的煤矿图像为多光谱或高光谱图像，将多光谱或高光谱图像中每个通道的光谱数据转化为uint8类型数据；然后将每个通道的图像调整到固定的分辨率，再进行归一化处理。
3.根据权利要求2所述的基于成像技术和深度学习的煤矸石快速检测方法，其特征在于，多光谱或高光谱每个通道的光谱数据转化为uint8类型的方法如下：
Figure FDA0003044775190000011
式1中，X′是多光谱或高光谱数据转化为uint8类型，
Figure FDA0003044775190000012
是实验采集的原始多光谱或高光谱数据，
Figure FDA0003044775190000013
是取
Figure FDA0003044775190000014
中最大的值，int8是将数据转化为uint8类型。
4.根据权利要求2所述的基于成像技术和深度学习的煤矸石快速检测方法，其特征在于，将获取每张煤矿图像中的煤矸石坐标进行标记，并保存每块煤矸石在图像中的矩形框的左上和右下坐标；
利用双线性插值法对每个通道的图像分辨率进行调整；
分辨率调整后的图像按照如下方法进行归一化处理：
Figure FDA0003044775190000015
公式2中，X′为多光谱或高光谱数据转化为uint8类型后的数据，或者是原始的RGB图像数据，X代表归一化后的数据。
5.根据权利要求1所述的基于成像技术和深度学习的煤矸石快速检测方法，其特征在于，所述煤矸石深度学习检测模型的建立按照如下方法进行；
主干网络：经过归一化处理后的图像数据输入到用于特征学习的主干网络中；该主干网络为深度学习模型VggNet或GoogleNet或ResNet或DenseNet或XceptionNet或MobileNe的一种；
多尺度特征图：将经过主干网络的图像数据分为六种刻度的特征图，每张刻度特征图的分辨率为P1×P1、P2×P2、P3×P3、P4×P4、P5×P5和P6×P6，每张特征图的每个像素点的目标数分别为n1、n2、n3、n4、n5和n6，即，每张输入的图像最多可预测N个有效目标，N的计算公式如下：
Figure FDA0003044775190000021
多尺度特征图的通道数分别为64×n，n＝{n1,n2,n3,n4,n5,n6}，其中{n1,n2,n3,n4,n5,n6}分别为每个特征图的每个像素点的目标数，相邻的两个不同分辨率的特征图由多个卷积层相连接，且每个卷积操作后均依次连接批归一化层和非线性映射层；
批归一化层的公式4如下：
Figure FDA0003044775190000022
式中，x为批归一化的输入，
Figure FDA0003044775190000023
为批归一化输出，μ和σ2分别是批归一化输入的均值和方差，ε是一个无穷小，γ和δ两变量由模型在训练和学习中获得；
非线性变换的公式如下：
Figure FDA0003044775190000024
式中，b是一个介于0和1之间的小数；
目标识别和坐标回归：对每张特征图的像素点进行煤矸石预测和煤矸石边框预测，所述煤矸石边框预测是对煤矸石的边界框左上坐标和右下坐标进行变更后的坐标，具体公式如下：
Figure FDA0003044775190000031
Figure FDA0003044775190000032
w＝xr-xl (8)
h＝yr-yl (9)
公式6、7、8和9中，xl和yl煤矸石在图像中的左上坐标，xr和yr煤矸石在图像中的右下坐标，坐标转换后，cx和cy则视为煤矸石在图像中的中心坐标，w和h则是煤矸石的长和宽；
两个边界框相交面积除以相并的面积大于λ时，保留置信度大的预测边界框，其中参数λ为设定参数。
6.根据权利要求5所述的基于成像技术和深度学习的煤矸石快速检测方法，其特征在于，在煤矸石深度学习检测模型进行训练时的损失包括分类损失和坐标损失；
位置回归采用Smooth L1损失，损失函数的计算公式如下：
Figure FDA0003044775190000033
公式10中，M为匹配到的真实目标和默认框的数量，Lconf和Lloc分别是分类误差和边界框预测误差；
分类误差Lconf计算公式如下：
Figure FDA0003044775190000034
式中，
Figure FDA0003044775190000035
是第i个边界框对第j个真实目标的分类结果，其取值为0或1，Pos代表边界框中有煤矸石或煤块，Neg则是为背景，
Figure FDA0003044775190000036
是分类概率，q为类别标签，其最大值为2；
坐标误差Lloc计算公式如下：
Figure FDA0003044775190000037
Figure FDA0003044775190000038
Figure FDA0003044775190000041
Figure FDA0003044775190000042
Figure FDA0003044775190000043
公中，
Figure FDA0003044775190000044
代表默认框的所对应边界框的位置预测值，cxj和cyj是训练数据中煤矸石或煤在图像中的中心坐标，wj和hj则是目标的长和高，
Figure FDA0003044775190000045
和
Figure FDA0003044775190000046
为默认框的中心坐标，
Figure FDA0003044775190000047
和
Figure FDA0003044775190000048
则是默认框的长和高，smoothL1则代表Smooth L1损失，其计算公式如下：
Figure FDA0003044775190000049
默认边界框是为每个特征图的每个像素点默认设置的边界框，默认边界框的dcx和dcy为值由像素点的坐标决定，dh和dw的计算公式如下：
Figure FDA00030447751900000410
Figure FDA00030447751900000411
Figure FDA00030447751900000412
公式18中smin和smax分别为两个大于零小于1的数，分别设为0.2和0.9；公式19和公式20中，a为比例系数，当a＝1时，
Figure FDA00030447751900000413
7.根据权利要求6所述的基于成像技术和深度学习的煤矸石快速检测方法，其特征在于，煤矸石深度学习检测模型的训练的优化函数采用Adam；首先将学习率设为0.0001，批大小为4训练20个Epoch；然后将学习率设为0.0005，批大小为8训练100个Epoch；在模型训练过程中监测验证损失，将验证损失最小的Epoch训练得的模型权重保存，作为最优权重用于煤矸石快速检测。
8.根据权利要求1所述的基于成像技术和深度学习的煤矸石快速检测方法，通过RGB成像仪、多光谱成像仪、高光谱成像仪或近红外光谱成像仪对图像进行采集。
CN202110467751.4A 2021-04-28 2021-04-28 一种基于成像技术和深度学习的煤矸石快速检测方法 Pending CN113269725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110467751.4A CN113269725A (zh) 2021-04-28 2021-04-28 一种基于成像技术和深度学习的煤矸石快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467751.4A CN113269725A (zh) 2021-04-28 2021-04-28 一种基于成像技术和深度学习的煤矸石快速检测方法

Publications (1)

Publication Number Publication Date
CN113269725A true CN113269725A (zh) 2021-08-17

Family

ID=77229663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467751.4A Pending CN113269725A (zh) 2021-04-28 2021-04-28 一种基于成像技术和深度学习的煤矸石快速检测方法

Country Status (1)

Country Link
CN (1) CN113269725A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114104666A (zh) * 2021-11-23 2022-03-01 西安华创马科智能控制系统有限公司 煤矸识别方法及煤矿运送系统
CN114431005A (zh) * 2022-02-11 2022-05-06 苏州书农科技有限公司 智能化农业果实采摘识别与定位方法、系统及装置
CN115841594A (zh) * 2022-12-07 2023-03-24 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN111077093A (zh) * 2020-01-10 2020-04-28 安徽理工大学 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN112288008A (zh) * 2020-10-29 2021-01-29 四川九洲电器集团有限责任公司 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112508001A (zh) * 2020-12-03 2021-03-16 安徽理工大学 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN111077093A (zh) * 2020-01-10 2020-04-28 安徽理工大学 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN112288008A (zh) * 2020-10-29 2021-01-29 四川九洲电器集团有限责任公司 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112508001A (zh) * 2020-12-03 2021-03-16 安徽理工大学 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114104666A (zh) * 2021-11-23 2022-03-01 西安华创马科智能控制系统有限公司 煤矸识别方法及煤矿运送系统
CN114431005A (zh) * 2022-02-11 2022-05-06 苏州书农科技有限公司 智能化农业果实采摘识别与定位方法、系统及装置
CN115841594A (zh) * 2022-12-07 2023-03-24 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法
CN115841594B (zh) * 2022-12-07 2023-11-10 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法

Similar Documents

Publication Publication Date Title
CN113269725A (zh) 一种基于成像技术和深度学习的煤矸石快速检测方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN109165623B (zh) 基于深度学习的水稻病斑检测方法及系统
CN111696075A (zh) 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN113239954B (zh) 基于注意力机制的图像语义分割特征融合方法
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN111401380B (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN104484658A (zh) 一种基于多通道卷积神经网络的人脸性别识别方法及装置
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN111077093A (zh) 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
CN112733914A (zh) 一种基于支持向量机的水下目标视觉识别分类方法
CN114049589A (zh) 一种基于人工智能的变电站监测系统
CN108830908A (zh) 一种基于人工神经网络的魔方颜色识别方法
CN115880529A (zh) 基于注意力和解耦知识蒸馏的鸟类细粒度分类方法及系统
CN116664431B (zh) 一种基于人工智能的图像处理系统及方法
CN111160372B (zh) 一种基于高速卷积神经网络的大目标识别方法
CN109815999B (zh) 一种简便高效的自动化煤矸识别方法
CN110992301A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication