CN114494696A - 一种多尺度煤矸图像快速检测的方法、系统及装置 - Google Patents

一种多尺度煤矸图像快速检测的方法、系统及装置 Download PDF

Info

Publication number
CN114494696A
CN114494696A CN202210093931.5A CN202210093931A CN114494696A CN 114494696 A CN114494696 A CN 114494696A CN 202210093931 A CN202210093931 A CN 202210093931A CN 114494696 A CN114494696 A CN 114494696A
Authority
CN
China
Prior art keywords
gangue
coal
image
scale
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210093931.5A
Other languages
English (en)
Inventor
郭永存
王希
王爽
程刚
胡坤
何磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202210093931.5A priority Critical patent/CN114494696A/zh
Publication of CN114494696A publication Critical patent/CN114494696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多尺度煤矸图像快速检测的方法、系统及装置，属于煤矸检测技术领域；包括：构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；将多尺度煤矸图像集划分为训练集和测试集；构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型，输出得到对应的煤和矸石分割图像；利用煤和矸石分割图像检测煤和矸石。本发明可精准识别半遮挡住的小粒径煤和矸石，并精准分割连接处，不但成功识别了煤和矸石，而且为煤和矸石的剔除提供了位置信息。

Description

一种多尺度煤矸图像快速检测的方法、系统及装置
技术领域
本发明涉及煤矸检测技术领域，具体是一种多尺度煤矸图像快速检测的方法、系统及装置。
背景技术
目前基于深度学习的煤矸识别方法取得了一定进展，诸多研究学者基于卷积神经网络设计优化方法，构建煤和矸石识别模型。徐志强等[徐志强,吕子奇,王卫东,张康辉,吕海梅.煤矸智能分选的机器视觉识别方法与优化[J].煤炭学报,2020,45(06):2207-2216.DOI:10.13225/j.cnki.jccs.zn20.0307.]设计模型剪枝方法优化模型结构，基于经典CNN网络与轻量级网络构建多种煤矸识别模型，其中效果最好的识别模型F1分数可达0.954。郭永存等[郭永存,王希,何磊,刘普壮.基于TW-RN优化CNN的煤矸识别方法研究[J/OL].煤炭科学技术:1-9[2022-01-13].http://kns.cnki.net/kcms/detail/11.2402.TD.20210803.1557.002.html.]设计一种迁移权重和简化神经元方法简化经典卷积神经网络结构，建立煤和矸石图像识别方法，优化后的煤和矸石识别率可达97.46％。但以上方法均是针对煤或者矸石单个类别的识别问题研究，并未考虑到单张图像中存在多个不同目标时的识别以及定位问题。
当一张图像中存在粒径较小的煤和矸石时，效果差的检测模型易忽略其特征，从而产生漏检；此外，当煤和矸石在输送带上呈现粘连或者部分遮挡状态时，易导致“合二为一”的情况，即识别网络把粘连或者堆积在一起的两个或者多个目标当作为一个，从而增加识别错误率。
发明内容
本公开的目的在于提供一种多尺度煤矸图像快速检测方法，以解决现有煤矸识别方法存在的不足，实现煤矸多尺度、半遮挡与粘连等复杂工况下的煤和矸石精准检测问题。
本公开的目的可以通过以下技术方案实现：
一种多尺度煤矸图像快速检测方法，包括：
构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；
将多尺度煤矸图像集划分为训练集和测试集；
构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；
将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型，输出得到对应的煤和矸石分割图像；
利用煤和矸石分割图像检测煤和矸石。
在一些公开中，对多尺度煤矸图像进行数据增强处理；增强处理方法包括：图片翻转、调整明亮度、添加噪声方式批量扩充数据集。
在一些公开中，构建图像语义分割网络模型，包括：以轻量型网络MobilNet v2的全卷积层结构作为基础，构建MobileNet_C模块作为SSNet_CG的骨干特征提取网络，提取煤和矸石全局特征；使用1×1，3×3，6×6三层池化层组建特征金字塔模块PPM_S；设置特征融合通道，联系浅层特征语义信息，增强深层网络特征图的位置细节语义信息表征能力。
在一些公开中，设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数。
在一些公开中，设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数包括：构建损失函数，损失函数采用交叉熵损失和辅助损失，交叉熵损失和辅助损失同时传播，选择warmup学习率设置方式，从新开始训练参数。
本公开还提供了一种多尺度煤矸图像快速检测系统，包括：
输入模块：将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型；
处理模块：构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；将多尺度煤矸图像集划分为训练集和测试集；构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；
输出模块：输出实际待测多尺度煤矸图像对应的煤和矸石分割图像；
检测模块：利用煤和矸石分割图像检测煤和矸石。
在一些公开中，对多尺度煤矸图像进行数据增强处理；增强处理方法包括：图片翻转、调整明亮度、添加噪声方式批量扩充数据集。
在一些公开中，构建图像语义分割网络模型，包括：以轻量型网络MobilNet v2的全卷积层结构作为基础，构建MobileNet_C模块作为SSNet_CG的骨干特征提取网络，提取煤和矸石全局特征；使用1×1，3×3，6×6三层池化层组建特征金字塔模块PPM_S；设置特征融合通道，联系浅层特征语义信息，增强深层网络特征图的位置细节语义信息表征能力。
在一些公开中，设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数；
设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数包括：构建损失函数，损失函数采用交叉熵损失和辅助损失，交叉熵损失和辅助损失同时传播，选择warmup学习率设置方式，从新开始训练参数。
本公开还提供了一种多尺度煤矸图像快速检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述多尺度煤矸图像快速检测方法的步骤。
本公开的有益效果：
本公开可精准识别半遮挡住的小粒径煤和矸石，并精准分割连接处，不但成功识别了煤和矸石，而且为煤和矸石的剔除提供了位置信息。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一种实现方式的流程图；
图2是本发明实施例中煤矸图像语义分割网络SSNet_CG的网络结构图；
图3是本发明实施例中骨干特征提取模型MobileNet_C中的两个特征提取模块结构图；
图4是本发明实施例中煤矸图像语义分割网络SSNet_CG中的特征金字塔模块PPM_S的结构图；
图5是本发明实施例中的煤矸图像语义分割网络SSNet_CG的参数训练和验证曲线图；
图6是本发明实施例中的模型改进前后的特征图可视化结果；
图7是本发明实施例中的模型对比实验的图片测试结果。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
实施例一：
一种多尺度煤矸图像快速检测方法，包括以下步骤：
构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；将多尺度煤矸图像集划分为训练集和测试集；构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型，输出得到对应的煤和矸石分割图像；利用煤和矸石分割图像检测煤和矸石。
在实际使用时，如图1所示，可进行以下操作：
S1搭建实验平台，采集煤和矸石RGB图像数据到工况机；
S2建立煤和矸石数据库，标注图像中的煤和矸石；
S3优化轻量型网络MobilNet V2的全卷积层,缩减特征金字塔网络层数，设计上下文信息融合通道，构建煤和矸石图像语义分割模型；
S4设置网络仿真实验参数，重头开始训练模型参数；
S5设置消融实验，验证模型优化方法的有效性；
S6与经典语义分割模型对此，验证检测模型性能。
作为优选，所述步骤S1中，通过工业相机获取运动状态下的煤和矸石混合图像，通过USB存储到工控机。
作为优选，所述步骤S2中，采用图片翻转、调整明亮度、添加噪声方式批量扩充数据集，并制作模型训练、验证、测试集，然后对图片中的煤和矸石块进行人工标注。
作为优选，所述步骤S3中，基于PSPNet构建煤矸图像检测模型SSNet_CG的结构，具体过程如下：
首先，以轻量型网络MobilNetv2的全卷积层结构作为基础，构建MobileNet_C模块作为SSNet_CG的骨干特征提取网络,提取煤和矸石全局特征。
然后，缩减PSPNet(Pyramid Scene Parsing Network)中特征金字塔网络层级，仅使用1×1，3×3，6×6三层池化层组建特征金字塔模块PPM_S(Small Pyramid PoolingModule)。
最后，在特征图上采样过程中增设两特征加强通道，联系输入图片经过4倍下采样与8倍下采样后的底层特征信息，实现上下文信息融合，增强深层网络特征图的位置细节语义信息表征能力。
作为优选，所述步骤S4中，损失函数采用交叉熵损失L_CE和辅助损失L_DIC两个loss同时传播，选择warmup学习率设置方式，从新开始训练参数，即刚开始训练时学习率设置为0.00001，每隔20个epoch增长为原来的10倍，在进行3轮扩增后开始衰减，然后每隔40个epoch下降为为原来的10％。
作为优选，所述步骤S5中，依托煤和矸石验证集，设置消融实验验证煤矸图像语义分割模型中三个模块的有效性。
作为优选，所述步骤S6中，从模型检测速度和检测效果两方面与其他语义分割模型进行测试对比。
实施例二：
一种多尺度煤矸图像快速检测系统，包括：
输入模块：将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型；
处理模块：构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；将多尺度煤矸图像集划分为训练集和测试集；构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；
输出模块：输出实际待测多尺度煤矸图像对应的煤和矸石分割图像；
检测模块：利用煤和矸石分割图像检测煤和矸石。
在实际使用时，如图1所示，可进行以下操作：
S1搭建实验平台，采集煤和矸石RGB图像数据到工况机；
S2建立煤和矸石数据库，标注图像中的煤和矸石；
S3优化轻量型网络MobilNetv2的全卷积层，缩减特征金字塔网络层数，设计上下文信息融合通道，构建煤和矸石图像语义分割模型；
S4设置网络仿真实验参数，重头开始训练模型参数；
S5设置消融实验，验证模型优化方法的有效性；
S6与经典语义分割模型对此，验证检测模型性能。
S1，通过彩色CMOS工业相机获取运动状态下的煤和矸石混合图像，通过USB存储到工控机，并在输送带表面撒上煤灰作为环境干扰，实际视频采集帧率为30fps，光强度设置在3800(±20)Lux，相机安装高度距离输送带约42cm。
作为优选，所述步骤S2中，在python语言下，使用opencv中的图片翻转、调整明亮度、添加噪声函数批量扩充数据集，并安装8:2:1的比例制作模型训练、验证、测试集。然后借助labelme对图片中的煤和矸石块进行人工标注,生成的json文件里包含标签和位置信息，每张图像中含有背景(0)、煤(1)和矸石(2)三个类别。
作为优选，所述步骤S3中，基于PSPNet构建如附图2所示的煤矸图像检测模型SSNet_CG，具体过程如下：
首先，优化MobileNetv2中的倒置残差块结构，构建如附图3所示的Bottleneck_A(s＝1)和Bottleneck_D(s＝2)两特征提取模块。此外，削减MobileNet v2网络层数，构建超轻型骨干网络MobileNet_C，作为SSNet_CG的骨干特征提取网络，提取煤和矸石全局特征。
MobileNet_C各层参数设置如表1所示，其中t表示结构块中点卷积操作后的通道数与操作之前通道数的比值，c表示此操作后的输出特征图的通道数，n表示此操作执行次数，s代表深度卷积操作步长。由于第一个Bottleneck_D模块的输入通道仅有18，且所处位置在浅层，为避免空间特征信息的大量丢失，因此不进行通道降维操作(t＝1)。DSC(Depthwise Separable Convolution)代表卷积核为3×3的深度可分离卷积，PW代表卷积核为1×1的点卷积操作。
表1
Figure BDA0003490318670000081
MobileNet_C首先使用两个卷积层进行过渡，提取图片浅层特征，然后是Bottleneck_A、Bottleneck_D两特征提取模块的堆叠，Bottleneck_A结构中的参数步长s为1，输出的特征图大小不变。Bottleneck_D的步长设置为2，对输入的特征图进行2倍长和宽的压缩。
Bottleneck_A(s＝1)结构块的输入特征图首先经过1×1PW选择是否进行通道扩展，若t＝6，则操作后的特征图通道数变为原来的6倍。然后采用DSC提取特征，相比标准卷积可较大程度降低参数量。由于煤矿井下湿度、粉尘、杂物等不确定性因素使得煤矸分选技术应用环境较复杂，造成煤矸图像中所含干扰信息较多。SA(Shuffle Attentio)是在CBAM注意力机制的基础上引入特征分组与通道注意力信息置换，获得一种超轻量型的即插即用注意力模块。因此，该结构块中嵌入SA注意力机制，用于调整卷积操作后的权重分布，抑制背景等干扰信息，突显有用语义权重值。
Bottleneck_D(s＝2)模块借鉴Inception稀疏性结构特点，设计了三分支特征提取通道。第1个分支使用1×1卷积修改特征图通道数。第2和3分支首先把通道数缩减为原来的1/3，然后分别使用3×3的卷积核进行扩张率为1和2的空洞卷积DC(DilatedConvolutions)操作。空洞卷积与标准卷积相比，可以保证卷积核感受野的同时降低参数计算量。然后再使用和第1分支通道数相同的1×1卷积核扩张通道数。由于拼接会增加特征图的通道数，进而大幅增加计算量，因此采用特征图对应像素点相加的方法融合3个分支的语义信息。
然后，缩减原PSPNet中特征金字塔网络层级，仅使用1×1，3×3，6×6三层池化层组建特征金字塔模块PPM_S，其网络结构如附图4所示。
缩减金字塔特征网络层级，在保证网络对多尺度目标特效适应的同时降低网络参数量，有利于提高煤矸图像检测速度。
最后，在特征图上采样过程中增设两特征加强通道，联系输入图片经过4倍下采样与8倍下采样后的底层特征信息，实现上下文信息融合，增强深层网络特征图的位置细节语义信息表征能力；特征融合通道使得网络提取到的煤和矸石的边界特征信息更细致，有利于目标粘连的边界分割以及小目标的检测。
作为优选，所述步骤S4中，损失函数采用交叉熵损失L_CE和辅助损失L_DIC。两个loss同时传播，L_DIC相当于从全局上进行考察，L_CE是从微观上逐像素进行拉近，两者互补，计算公式如下。
Figure BDA0003490318670000101
Figure BDA0003490318670000102
式中：m表示像素总数，p(xji)表示第i类第j个像素的类别标签，q(xji)表示像素的分割结果类别。
检测模型SSNet_CG在原PSPNet的基础上改动较大，无法使用经典网络的预训练权重，参数需要从新开始训练。学习率设置方式选择warmup方式，有助于加快模型收敛速度。刚开始学习率设置为0.0001，每隔20个epoch后增长为原来的10倍，在进行2轮扩增后保持10个epoch后开始衰减，每隔20个epoch下降为为原来的10％。总训练轮次epoch设为100，一次训练4张图像。则训练集共进行10800次迭代，验证集进行了2700次迭代，IoU阈值设置为0.7。模型训练和验证过程中的损失值和F1分数变化如图附图5所示，在大约5000迭代次数时时网络训练参数开始收敛，最终趋于稳定，此时的损失值小于0.01，F1分数值接近0.98。模型在验证集上参数曲线变化为：前半部分由于学习步长较大，曲线呈震动状态，随着后期学习率的缩小，参数逐渐收敛并稳定。
作为优选，所述步骤S5中，依托煤和矸石验证集，设置消融实验验证煤矸图像语义分割网络各个组成模块的有效性，遵循控制变量法思想构建了PSPNet_C、PSPNet_S、PSPNet_M三个模型。每个煤矸分割模型在验证集上测试，从模型体积和分割效果两方面与改进之前的网络PSPNet(resnet259)以及自建网络SSNet_CG进行对比。实验设计方案及验证结果如表2所示。
表2
Figure BDA0003490318670000111
附图6中(a)、(b)、(c)分别为输入图片经过广特征提取模块、多尺度特征提取模块以及上采样操作后的部分通道热力图可视化。颜色越深代表网络对图像像素点的关注力越强。PSPNet_base采用MobileNetV2作为骨干特征提取网络。由表2以及附图6可见，PSPNet_C比PSPNet_base的参数量减少了近1/2，图片识别帧率也加快了约2/3，网络MPA和MIoU分别提高了1.8、2.4。改进之后的热力图中的背景响应点明减少，较平滑，因此Bottleneck_A和Bottleneck_D中的SA注意力机制以及多条并行通道能够使网络有效关注煤和矸石特征信息，抑制输送带和煤灰等无关特征。PSPNet_S删减了特征金字塔结构中的2×2这一层级，参数量降低了0.85MB，帧率也提高了9.16。然而网络对煤和矸石目标特征信息的响应并未减弱，热力图的煤和矸石处的响应区域更多。可见参数冗余量的减少反而防止了模型过拟合，使网络综合全局信息后，更好的提取煤和矸石特征，有利于网络对小尺度煤和矸石的关注。PSPNet_M的MPA、MIoU以F1-Score与基础模型相比分别提高3.0、2.9、0.028，热力图中煤和矸石的边界更加清晰。可见两特征融合通道使网络提取到的煤和矸石的边界特征信息更细致，有利于目标粘连的边界分割。因此，本文对语义分割网络PSPNet提出的三模块改进方法均有效。
作为优选，所述步骤S6中，设置对比实验用于证明所构建模型SSNet_CG对煤矸识别定位的有效性，在同样实验条件下测试了pspnet(resnet269)、Uet、DeconvNet、SegNet、DeepLabv3经典语义分割网络中的煤和矸石图像分割模型性能。实验结果如表3所示，T为模型分割一张图片的平均时间。6张具有代表性的煤和矸石图像分割结果如附图7所示。
表3
Figure BDA0003490318670000121
由表3所示，算法SSNet_CG的测试效果最好。在分割精度方面，SSNet_CG在自建煤矸数据集上的MPA和MIoU分别达到97.3和95.1，比pspnet(resnet269)高出4.5和4.6。即使是目前最先进的DeepLabv3的MPA和MioU仅为93.1和91.4，因为网络中的连续的空洞卷积操作损失了信息的连续性，导致网络将部分煤的特征误认为矸石；在识别速度方面，SSNet_CG网络单张图片识别时间为0.027s，远远小于PSPNet。因为使用resnet269作为基础特征提取模块的PSPNet网络层次深，结构复杂，导致图片分割用时较长。而SSNet_CG中的MobileNet_C网络分层少，卷积操作计算量小，因此图像处理速度快。
从附图7的分割结果上来看，对于图片(4)中粘连在一起的两块煤的边界处，前5种模型的分割结果不够平滑，相对模糊。另外，对于图片(4)中被部分遮挡而形状不规则的矸石，前4中方法均出现了漏识别的情况。Unet、DeconvNet在图片(5)中把被矸石遮挡住的煤识别为矸石的一部分，出现了2.1节预测的“合二为一”的情况。DeepLabv3在图片(3)和图片(5)中将部分煤识别为了矸石，并且对图片(1)和(6)中被遮挡的目标识别不全。Unet模型其网络结构简单有序，对煤和矸石特征点学习不够充分，导致把部分背景信息误分割为目标，在自建煤矸验证集上的MPA和MIoU仅为86.1和85.7。不仅混淆了目标和背景，也无法对煤和矸石的差异特征进行有效辨别，产生了漏识别和误识别。另外几个算法对图像细节分割不够平滑，相对模糊。
相反，不管是多个煤和矸石粘连在一起时，还是煤块被矸石遮挡住仅有一小部分被相机采集到时，SSNet_CG都可以精准的对其进行分割。由此可见，SSNet_CG模型确实能够更优的检测出图像的边缘、形态、纹理等特征。
实施三：
本发明实施例三还提供了一种多尺度煤矸图像快速检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述多尺度煤矸图像快速检测方法的步骤。
其中，所述处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中图像处理装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述多尺度煤矸图像快速检测方法的步骤。
所述多尺度煤矸图像快速检测装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种多尺度煤矸图像快速检测方法，其特征在于，包括：
构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；
将多尺度煤矸图像集划分为训练集和测试集；
构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；
将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型，输出得到对应的煤和矸石分割图像；
利用煤和矸石分割图像检测煤和矸石。
2.根据权利要求1所述的多尺度煤矸图像快速检测方法，其特征在于，对多尺度煤矸图像进行数据增强处理；增强处理方法包括：图片翻转、调整明亮度、添加噪声方式。
3.根据权利要求1所述的多尺度煤矸图像快速检测方法，其特征在于，构建图像语义分割网络模型，包括：以轻量型网络MobilNetv2的全卷积层结构作为基础，构建MobileNet_C模块作为SSNet_CG(Semantic SegmentationNetwork ofCoal and Gangue Image)的骨干特征提取网络，提取煤和矸石全局特征；使用1×1，3×3，6×6三层池化层组建特征金字塔模块PPM_S(Small Pyramid Pooling Module)；设置特征融合通道，联系浅层特征语义信息，增强深层网络特征图的位置细节语义信息表征能力。
4.根据权利要求1所述的多尺度煤矸图像快速检测方法，其特征在于，设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数。
5.根据权利要求4所述的多尺度煤矸图像快速检测方法，其特征在于，设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数包括：构建损失函数，损失函数采用交叉熵损失和辅助损失，交叉熵损失和辅助损失同时传播，选择warmup学习率设置方式，从新开始训练参数。
6.一种多尺度煤矸图像快速检测系统，其特征在于，包括：
输入模块：将实际待测多尺度煤矸图像输入煤和矸石图像语义分割模型；
处理模块：构建多尺度煤矸图像集，对多尺度煤矸图像集中的多尺度煤矸图像中的煤和矸石目标进行标记；将多尺度煤矸图像集划分为训练集和测试集；构建图像语义分割网络模型，利用训练集和测试集对图像语义分割网络模型进行训练和测试，得到煤和矸石图像语义分割模型；
输出模块：输出实际待测多尺度煤矸图像对应的煤和矸石分割图像；
检测模块：利用煤和矸石分割图像检测煤和矸石。
7.根据权利要求6所述的多尺度煤矸图像快速检测系统，其特征在于，对多尺度煤矸图像进行数据增强处理；增强处理方法包括：图片翻转、调整明亮度、添加噪声方式批量扩充数据集。
8.根据权利要求6所述的多尺度煤矸图像快速检测系统，其特征在于，构建图像语义分割网络模型，包括：以轻量型网络MobilNetv2的全卷积层结构作为基础，构建MobileNet_C模块作为SSNet_CG的骨干特征提取网络，提取煤和矸石全局特征；使用1×1，3×3，6×6三层池化层组建特征金字塔模块PPM_S；设置特征融合通道，联系浅层特征语义信息，增强深层网络特征图的位置细节语义信息表征能力。
9.根据权利要求6所述的多尺度煤矸图像快速检测系统，其特征在于，设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数；
设置网络仿真实验参数，重头开始训练煤和矸石图像语义分割模型参数包括：构建损失函数，损失函数采用交叉熵损失和辅助损失，交叉熵损失和辅助损失同时传播，选择warmup学习率设置方式，从新开始训练参数。
10.一种多尺度煤矸图像快速检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任意一个所述多尺度煤矸图像快速检测方法的步骤。
CN202210093931.5A 2022-01-26 2022-01-26 一种多尺度煤矸图像快速检测的方法、系统及装置 Pending CN114494696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210093931.5A CN114494696A (zh) 2022-01-26 2022-01-26 一种多尺度煤矸图像快速检测的方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210093931.5A CN114494696A (zh) 2022-01-26 2022-01-26 一种多尺度煤矸图像快速检测的方法、系统及装置

Publications (1)

Publication Number Publication Date
CN114494696A true CN114494696A (zh) 2022-05-13

Family

ID=81477304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210093931.5A Pending CN114494696A (zh) 2022-01-26 2022-01-26 一种多尺度煤矸图像快速检测的方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114494696A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841594A (zh) * 2022-12-07 2023-03-24 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法
CN116363134A (zh) * 2023-06-01 2023-06-30 深圳海清智元科技股份有限公司 煤与矸石的识别与分割方法、装置及电子设备
CN116977827A (zh) * 2023-09-25 2023-10-31 中国检验认证集团山东有限公司 一种基于人工智能的铁矿石检测方法和系统
US11847811B1 (en) 2022-07-26 2023-12-19 Nanjing University Of Posts And Telecommunications Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition
WO2024021413A1 (zh) * 2022-07-26 2024-02-01 南京邮电大学 一种结合超像素和多尺度分层特征识别的图像分割方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847811B1 (en) 2022-07-26 2023-12-19 Nanjing University Of Posts And Telecommunications Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition
WO2024021413A1 (zh) * 2022-07-26 2024-02-01 南京邮电大学 一种结合超像素和多尺度分层特征识别的图像分割方法
CN115841594A (zh) * 2022-12-07 2023-03-24 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法
CN115841594B (zh) * 2022-12-07 2023-11-10 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法
CN116363134A (zh) * 2023-06-01 2023-06-30 深圳海清智元科技股份有限公司 煤与矸石的识别与分割方法、装置及电子设备
CN116363134B (zh) * 2023-06-01 2023-09-05 深圳海清智元科技股份有限公司 煤与矸石的识别与分割方法、装置及电子设备
CN116977827A (zh) * 2023-09-25 2023-10-31 中国检验认证集团山东有限公司 一种基于人工智能的铁矿石检测方法和系统

Similar Documents

Publication Publication Date Title
CN114494696A (zh) 一种多尺度煤矸图像快速检测的方法、系统及装置
CN110135243B (zh) 一种基于两级注意力机制的行人检测方法及系统
Lu et al. Immature citrus fruit detection based on local binary pattern feature and hierarchical contour analysis
Maheswari et al. Intelligent fruit yield estimation for orchards using deep learning based semantic segmentation techniques—a review
Kamal et al. Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint
CN111046821B (zh) 一种视频行为识别方法、系统及电子设备
CN111145188B (zh) 一种基于ResNet与UNet模型的图像分割方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Liu et al. Performance comparison of deep learning techniques for recognizing birds in aerial images
CN111797846B (zh) 一种基于特征金字塔网络的反馈式目标检测方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
Lv et al. A visual identification method for the apple growth forms in the orchard
Wang et al. Rapid detection of incomplete coal and gangue based on improved PSPNet
CN113223027A (zh) 基于PolarMask的未成熟柿子分割方法及系统
Toprak et al. Conditional weighted ensemble of transferred models for camera based onboard pedestrian detection in railway driver support systems
CN116434012A (zh) 一种基于边缘感知的轻量型棉铃检测方法及系统
CN114596274A (zh) 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法
Ma et al. Feature selection module for CNN based object detector
US9633283B1 (en) Adaptive device and adaptive method for classifying objects with parallel architecture
CN112232240A (zh) 一种基于优化交并比函数的道路抛洒物检测与识别方法
Guo et al. An improved YOLO v4 used for grape detection in unstructured environment
CN114898359A (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN113850166A (zh) 一种基于卷积神经网络的船舶图像识别方法及系统
Singh et al. An OMR based automatic music player
CN114913488A (zh) 抛洒物检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination