CN112001253B - 基于改进Fast R-CNN的煤尘颗粒图像识别方法 - Google Patents

基于改进Fast R-CNN的煤尘颗粒图像识别方法 Download PDF

Info

Publication number
CN112001253B
CN112001253B CN202010718963.0A CN202010718963A CN112001253B CN 112001253 B CN112001253 B CN 112001253B CN 202010718963 A CN202010718963 A CN 202010718963A CN 112001253 B CN112001253 B CN 112001253B
Authority
CN
China
Prior art keywords
coal dust
dust particle
layer
image
particle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010718963.0A
Other languages
English (en)
Other versions
CN112001253A (zh
Inventor
王征
李冬艳
李磊
张赫林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202010718963.0A priority Critical patent/CN112001253B/zh
Publication of CN112001253A publication Critical patent/CN112001253A/zh
Application granted granted Critical
Publication of CN112001253B publication Critical patent/CN112001253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明公开了一种基于改进Fast R‑CNN的煤尘颗粒图像识别方法，包括步骤：一、将煤尘颗粒图像输入训练好的改进Fast R‑CNN网络中；改进Fast R‑CNN网络中存储了训练样本的多个煤尘颗粒标定区域；二、改进Fast R‑CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图；三、改进Fast R‑CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来；四、改进Fast R‑CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调。本发明检测过程高效、检测精度高，能够最大限度还原颗粒样本的轮廓信息。

Description

基于改进Fast R-CNN的煤尘颗粒图像识别方法
技术领域
本发明属于煤尘颗粒图像识别技术领域，具体涉及一种基于改进Fast R-CNN的煤尘颗粒图像识别方法。
背景技术
随着煤尘爆炸事件的频繁发生，人们对安全事故发生的原因越来越重视。煤尘在煤尘颗粒大小浓度，环境温度达到一定条件下会产生爆炸，一次煤尘的爆炸将造成几个甚至几百个矿工的宝贵生命的丧失。中国的产煤总量约占世界总量的37％，煤尘爆炸事件占煤矿事故的50％，而死亡人数约占世界的70％。尤其是粒径为70-200μm的煤尘的参与会加剧爆炸的破坏力。煤尘颗粒图像可以通过阈值分割的方法进行识别，但是粒径相当的颗粒，由于煤尘颗粒轮廓角度的不同，碰撞引起爆炸程度也不同，因此对煤尘颗粒轮廓的精确识别是研究煤尘爆炸的一个重要方向。
在对颗粒图像识别的研究中，有人工提取方法对图像轮廓进行勾勒，例如，程钟琪、石江豪和毛懿俊在2019第9卷的《网络安全技术与应用》期刊上发表的论文《基于深度学习的图像检索技术的实现》中提出的方法，但是，这种方法在检测时间和精度处理上较为粗糙。GUO Guankai,LIU Wei,YU Lingling(刘观凯，刘伟，余玲玲)等在2019第25期第2卷的《China powder science and technology》(中国粉体技术)期刊上发表了论文《Imagesegmentation of touching particles based on improved FAST and watershedalgorithm》(基于改进FAST与分水岭算法的颗粒图像分割)，提出特征点检测和分水岭算法相结合，提取颗粒图像的分割点，但是，这对多特征小区域的图像提取检测精度较低。SUN,Guodong,LIN Kai,GAO Yuan(孙国栋，林凯，高媛)等在2019第12期的《InstrumentTechnique and Sensor》(仪表技术与传感器)期刊上发表了论文《Research andImplementation of Ore Particles Image Segmentation Based on Improved AffinityGraph》(基于改进亲和度图的矿石颗粒图像分割研究与实现)，提出邻域内线性表达的方法改进像素关联性，对矿石颗粒进行多尺度特征提取，但限制提取特征的深度。现有技术中，还缺乏煤尘颗粒的识别精度高，能够对边缘不清晰的煤尘颗粒图像进行有效识别的煤尘颗粒图像识别方法。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于改进Fast R-CNN的煤尘颗粒图像识别方法，其检测过程高效、检测精度高，能够最大限度还原颗粒样本的轮廓信息。
为解决上述技术问题，本发明采用的技术方案是：一种基于改进Fast R-CNN的煤尘颗粒图像识别方法，该方法包括以下步骤：
步骤一、将煤尘颗粒图像输入训练好的改进Fast R-CNN网络中；训练好的改进Fast R-CNN网络中存储了训练样本的多个煤尘颗粒标定区域；
步骤二、所述改进Fast R-CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图；
步骤三、所述改进Fast R-CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来；
步骤四、所述改进Fast R-CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，步骤二中所述改进FastR-CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图的具体过程为：
步骤201、经过第一个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2011、采用第一个卷积层提取煤尘颗粒图像的第一层特征；
步骤2012、采用ReLU激活函数对煤尘颗粒图像的第一层特征进行激活统计；
步骤2013、采用压缩激发特征模块对煤尘颗粒图像的第一层特征进行压缩激发处理，激励重要的特征，抑制不重要的特征；
步骤2014、将煤尘颗粒图像的第一层特征送入池化层，进行最大池化处理；
步骤2015、对煤尘颗粒图像的第一层特征进行腐蚀和膨胀的开运算操作；
步骤202、经过第二个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2021、采用第二个卷积层提取煤尘颗粒图像的第二层特征；
步骤2022、采用ReLU激活函数对煤尘颗粒图像的第二层特征进行激活统计；
步骤2023、采用压缩激发特征模块对煤尘颗粒图像的第二层特征进行压缩激发处理，激励重要的特征，抑制不重要的特征；
步骤2024、将煤尘颗粒图像的第二层特征送入池化层，进行最大池化处理；
步骤2025、对煤尘颗粒图像的第二层特征进行腐蚀和膨胀的开运算操作；
步骤203、经过第三个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2031、采用第三个卷积层提取煤尘颗粒图像的第三层特征；
步骤2032、采用ReLU激活函数对煤尘颗粒图像的第三层特征进行激活统计；
步骤2033、将煤尘颗粒图像的第三层特征送入池化层，进行最大池化处理；
步骤2034、对煤尘颗粒图像的第三层特征进行腐蚀和膨胀的开运算操作；
步骤204、经过第四个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2041、采用第四个卷积层提取煤尘颗粒图像的第四层特征；
步骤2042、采用ReLU激活函数对煤尘颗粒图像的第四层特征进行激活统计；
步骤2043、将煤尘颗粒图像的第四层特征送入池化层，进行最大池化处理；
步骤2044、对煤尘颗粒图像的第四层特征进行腐蚀和膨胀的开运算操作；
步骤205、经过第五个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2051、采用第五个卷积层提取煤尘颗粒图像的第五层特征；
步骤2052、采用ReLU激活函数对煤尘颗粒图像的第五层特征进行激活统计；
步骤2053、将煤尘颗粒图像的第五层特征送入池化层，进行最大池化处理；
步骤2054、对煤尘颗粒图像的第五层特征进行腐蚀和膨胀的开运算操作。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，步骤2011、步骤2021、步骤2031、步骤2041和步骤2051中进行卷积操作时，采用的卷积计算公式为
Figure GDA0003302598020000041
其中，g(i,j)表示输入图像的像素点，i为输入图像的像素点g(i,j)的横坐标，j为输入图像的像素点g(i,j)的纵坐标，h(k,l)为卷积核，k为卷积核的高度，l为卷积核的宽度，g(i-k,j-l)为输入图像进行卷积映射的像素点，G(i,j)为卷积计算后的输出图像。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，步骤2012、步骤2022、步骤2032、步骤2042和步骤2052中的ReLU激活函数用公式表示为
Figure GDA0003302598020000051
其中，x为输入图像的每个像素点。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，步骤2013和步骤2023中采用压缩激发特征模块对输入图像进行压缩激发处理时的具体过程为：
步骤A1、采用函数Fsq(·)对煤尘颗粒特征图像进行压缩；其中，
Figure GDA0003302598020000052
Pc(i，j)为输入图像的第c个通道二维矩阵，c的取值为1～C的自然数，C为输入图像的通道总个数，i为输入图像的像素点g(i，j)的横坐标，j为输入图像的像素点g(i，j)的纵坐标，W为输入图像的横坐标像素总数，H为输入图像的纵坐标像素总数；
步骤B1、采用函数Fex(·，M)对压缩后的输入图像进行特征激发；其中，Fex(zc，M)＝σ(M2 δ(M1 zc))，zc为输入图像c通道对应的权值且zc＝Fsq(Pc(i，j))，M为压缩激发特征模块中两个全连接层的权值矩阵，M1为第一个全连接层的权值矩阵，M1的维度为
Figure GDA0003302598020000053
M2为第二个全连接层的权值矩阵，M2的维度为
Figure GDA0003302598020000054
r为缩放参数，σ(·)为sigmoid激活函数，δ为ReLU激活函数。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，步骤2015、步骤2025、步骤2035、步骤2045和步骤2055中进行腐蚀和膨胀的开运算操作的具体过程为：
步骤A2、定义一个3×3的卷积核为模板，卷积核自左向右，自上向下的运算，步长取1，得到卷积后一个3×3的矩阵，取出该卷积核区域的最小值，将其赋值给该卷积核区域的中心点像素进行更新；
步骤B2、定义一个3×3的卷积核为模板，卷积核自左向右，自上向下的运算，步长取1，得到卷积后一个3×3的矩阵，取出该卷积核区域的最大值，将其赋值给该卷积核区域的中心点像素进行更新。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，步骤三中所述改进FastR-CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来的具体过程为：
步骤301、采用过分割的方法将煤尘颗粒图像的特征图分为n个候选框；其中，n的取值为大于1000的自然数；
步骤302、将n个候选框分别与训练样本的煤尘颗粒标定区域特征进行比较，输出表示每个区域属于煤尘颗粒、背景以及煤尘颗粒概率的三维数组，并将属于煤尘颗粒的标定区域确定为标定框；
步骤303、采用目标检测算法中的IoU函数计算各个标定框与训练样本的煤尘颗粒标定区域的重叠区域面积，将第p个标定框的面积表示为Sp，将训练样本的第q个煤尘颗粒标定区域的面积表示为Sq，将第p个标定框与第q个煤尘颗粒标定区域的重叠区域面积表示为So，其中，p的取值为1～n的自然数，q的取值为1～m的自然数，m为训练样本的煤尘颗粒标定区域的总个数；
步骤304、根据公式
Figure GDA0003302598020000061
计算重叠区域面积比率η，将η的取值大于0.7的标定框确定为煤尘颗粒，将η的取值不大于0.7的标定框确定为背景。
上述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤四中所述改进Fast R-CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调的具体过程为：
步骤401、改进Fast R-CNN网络的第一个全连接层对步骤304确定出的各个煤尘颗粒所在的标定框通过线性回归器获取暂时最优解；将第t个煤尘颗粒所在的标定框Λt＝(rt，ct，ht，wt)的暂时最优解表示为(Rt，Ct，Ht，Wt)，其中，rt为第t个煤尘颗粒所在的标定框的中心像素点的横坐标，ct为第t个煤尘颗粒所在的标定框的中心像素点的纵坐标，ht为第t个煤尘颗粒所在的标定框的高度，wt为第t个煤尘颗粒所在的标定框的宽度，Rt＝rt+Δrt，Ct＝ct+Δct，Ht＝ht·Δht，Wt＝wt·Δwt；Jt＝[Δrt，Δct，Δht，Δwt]为第t个煤尘颗粒所在的标定框平移缩放的权重矩阵，由损失函数
Figure GDA0003302598020000071
取最小值计算得到权重矩阵Jt的值，t的取值为1～n′的自然数，n′为步骤304确定出的煤尘颗粒所在的标定框的总个数，对步骤二之前的原始图像按照过分割的方法切割n个标准框，Φt表示与步骤304对应的第t个标准框的位置；
步骤402、改进Fast R-CNN网络的第二个全连接层根据步骤302得到的煤尘颗粒概率，对步骤401获得的标定框按照煤尘颗粒概率由高到低的顺序进行排序，以非极大值抑制法从煤尘颗粒概率最高开始对相邻的两个颗粒框进行比较，将分类概率较高的标定框面积表示为Sμ，将分类概率较低的标定框面积表示为Sλ，将两个标定框中颗粒的重叠面积表示为Sγ；再根据公式
Figure GDA0003302598020000072
计算重叠区域面积比率η′，当η′的取值大于0.5时，剔除概率较低的第二个标定框，引入下一个分类概率相邻的标定框代替第二个标定框进行继续比较；当η′的取值小于0.5时，保留概率较高的标定框作为最终提取的颗粒区域，再引入下一个分类概率相邻颗粒框代替第一个标定框进行比较。
本发明与现有技术相比具有以下优点：改进Fast R-CNN模型可以对不同环境，温度和时间下的煤尘颗粒图像进行检测，并表现出良好的性能：1)通过VGG网络对Fast R-CNN检测模型中特征区域的提取部分进行优化，与原网络相比，改进模型的MIoU指标提升了2.1％，并且在训练过程中，损失值表现最优；2)相对于传统的分割网络模型，提出网络结构的深度对多特征区域的提取效果更好，mAP值较R-CNN提升4个指标值，运算和检测过程都更加高效；3)能够提取到更多的特征，提升Fast R-CNN网络对煤尘颗粒的正确分类概率，还能够激发关联度高的特征，抑制不重要的特征，更准确区分煤尘轮廓，提升Fast R-CNN对图像中煤尘颗粒检测的精度，能够最大限度还原颗粒样本的轮廓信息。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图；
图2为本发明池化层前向传播过程示意图；
图3为本发明具体实施例中神经母细胞瘤，Erothroblats细胞，金属粉末以及煤尘颗粒的实验结果图；
图4(a)为本发明具体实施例中时间对颗粒样本的检测结果图；
图4(b)为本发明具体实施例中温度对颗粒样本的检测结果图；
图5(a)为本发明具体实施例中原煤煤仓下对煤尘颗粒的检测结果图；
图5(b)为本发明具体实施例中原煤破碎站下对煤尘颗粒的检测结果图；
图5(c)为本发明具体实施例中筛分车间下对煤尘颗粒的检测结果图；
图5(d)为本发明具体实施例中跳汰车间下对煤尘颗粒的检测结果图；
图5(e)为本发明具体实施例中产品煤仓下对煤尘颗粒的检测结果图；
图5(f)为本发明具体实施例中输煤走廊下对煤尘颗粒的检测结果图；
图6为本发明具体实施例中不同网络的损失值对比结果图。
具体实施方式
如图1所示，本发明的基于改进Fast R-CNN的煤尘颗粒图像识别方法，包括以下步骤：
步骤一、将煤尘颗粒图像输入训练好的改进Fast R-CNN网络中；训练好的改进Fast R-CNN网络中存储了训练样本的多个煤尘颗粒标定区域；
步骤二、所述改进Fast R-CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图；
本实施例中，步骤二中所述改进Fast R-CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图的具体过程为：
步骤201、经过第一个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2011、采用第一个卷积层提取煤尘颗粒图像的第一层特征；
步骤2012、采用ReLU激活函数对煤尘颗粒图像的第一层特征进行激活统计；
步骤2013、采用压缩激发特征模块对煤尘颗粒图像的第一层特征进行压缩激发处理，激励重要的特征，抑制不重要的特征；
步骤2014、将煤尘颗粒图像的第一层特征送入池化层，进行最大池化处理；
步骤2015、对煤尘颗粒图像的第一层特征进行腐蚀和膨胀的开运算操作；
步骤202、经过第二个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2021、采用第二个卷积层提取煤尘颗粒图像的第二层特征；
步骤2022、采用ReLU激活函数对煤尘颗粒图像的第二层特征进行激活统计；
步骤2023、采用压缩激发特征模块对煤尘颗粒图像的第二层特征进行压缩激发处理，激励重要的特征，抑制不重要的特征；
步骤2024、将煤尘颗粒图像的第二层特征送入池化层，进行最大池化处理；
步骤2025、对煤尘颗粒图像的第二层特征进行腐蚀和膨胀的开运算操作；
步骤203、经过第三个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2031、采用第三个卷积层提取煤尘颗粒图像的第三层特征；
步骤2032、采用ReLU激活函数对煤尘颗粒图像的第三层特征进行激活统计；
步骤2033、将煤尘颗粒图像的第三层特征送入池化层，进行最大池化处理；
步骤2034、对煤尘颗粒图像的第三层特征进行腐蚀和膨胀的开运算操作；
步骤204、经过第四个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2041、采用第四个卷积层提取煤尘颗粒图像的第四层特征；
步骤2042、采用ReLU激活函数对煤尘颗粒图像的第四层特征进行激活统计；
步骤2043、将煤尘颗粒图像的第四层特征送入池化层，进行最大池化处理；
步骤2044、对煤尘颗粒图像的第四层特征进行腐蚀和膨胀的开运算操作；
步骤205、经过第五个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2051、采用第五个卷积层提取煤尘颗粒图像的第五层特征；
步骤2052、采用ReLU激活函数对煤尘颗粒图像的第五层特征进行激活统计；
步骤2053、将煤尘颗粒图像的第五层特征送入池化层，进行最大池化处理；
步骤2054、对煤尘颗粒图像的第五层特征进行腐蚀和膨胀的开运算操作。
具体实施时，VGG网络采用VGG16；
本实施例中，步骤2011、步骤2021、步骤2031、步骤2041和步骤2051中进行卷积操作时，采用的卷积计算公式为
Figure GDA0003302598020000101
其中，g(i,j)表示输入图像的像素点，i为输入图像的像素点g(i,j)的横坐标，j为输入图像的像素点g(i,j)的纵坐标，h(k,l)为卷积核，k为卷积核的高度，l为卷积核的宽度，g(i-k,j-l)为输入图像进行卷积映射的像素点，G(i,j)为卷积计算后的输出图像。
具体实施时，步骤2011中所述卷积核h(k,l)为3×3的矩阵；i的取值范围为1～224，j的取值范围为1～224，k的取值范围为1～3，l的取值范围为1～3；
具体实施时，步骤2021中所述卷积核h(k,l)为3×3的矩阵；i的取值范围为1～112，j的取值范围为1～112，k的取值范围为1～3，l的取值范围为1～3；
具体实施时，步骤2031中所述卷积核h(k,l)为3×3的矩阵；i的取值范围为1～56，j的取值范围为1～56，k的取值范围为1～3，l的取值范围为1～3；
具体实施时，步骤2041中所述卷积核h(k,l)为3×3的矩阵；i的取值范围为1～28，j的取值范围为1～28，k的取值范围为1～3，l的取值范围为1～3；
具体实施时，步骤251中所述卷积核h(k,l)为3×3的矩阵；i的取值范围为1～14，j的取值范围为1～14，k的取值范围为1～3，l的取值范围为1～3。
本实施例中，步骤2012、步骤2022、步骤2032、步骤2042和步骤2052中的ReLU激活函数用公式表示为
Figure GDA0003302598020000111
其中，x为输入图像的每个像素点。
通过ReLU激活函数的激活统计，能够增强改进Fast R-CNN网络模型的非线性，提升改进Fast R-CNN网络模型的表达能力。
本实施例中，步骤2013和步骤2023中采用压缩激发特征模块对输入图像(在步骤2013中指输入图像的第一层特征，在步骤2023中指输入图像的第二层特征)进行压缩激发处理时的具体过程为：
步骤A1、采用函数Fsq(·)对煤尘颗粒特征图像进行压缩；其中，
Figure GDA0003302598020000121
Pc(i,j)为输入图像的第c个通道二维矩阵，c的取值为1～C的自然数，C为输入图像的通道总个数，i为输入图像的像素点g(i,j)的横坐标，j为输入图像的像素点g(i,j)的纵坐标，W为输入图像的横坐标像素总数，H为输入图像的纵坐标像素总数；
步骤B1、采用函数Fex(·,M)对压缩后的输入图像进行特征激发；其中，Fex(zc,M)＝σ(M2δ(M1 zc))，zc为输入图像c通道对应的权值且zc＝Fsq(Pc(i,j))，M为压缩激发特征模块中两个全连接层的权值矩阵，M1为第一个全连接层的权值矩阵，M1的维度为
Figure GDA0003302598020000122
M2为第二个全连接层的权值矩阵，M2的维度为
Figure GDA0003302598020000123
r为缩放参数，σ(·)为sigmoid激活函数，δ为ReLU激活函数。
本实施例中，r的取值为16；能够避免特征激发时通道数的增加引起计算量的加大。
具体实施时，步骤2014、步骤2024、步骤2034、步骤2044和步骤2054中进行最大池化，能够减少图像操作的计算量，并能够保留主要特征，同时防止过拟合，提高网络模型的泛化能力，具体的操作如图2所示，是将每个颜色框中最大的数选出来，即进行了最大池化。
本实施例中，步骤2015、步骤2025、步骤2035、步骤2045和步骤2055中进行腐蚀和膨胀的开运算操作的具体过程为：
步骤A2、定义一个3×3的卷积核为模板，卷积核自左向右，自上向下的运算，步长取1，得到卷积后一个3×3的矩阵，取出该卷积核区域的最小值，将其赋值给该卷积核区域的中心点像素进行更新；
步骤B2、定义一个3×3的卷积核为模板，卷积核自左向右，自上向下的运算，步长取1，得到卷积后一个3×3的矩阵，取出该卷积核区域的最大值，将其赋值给该卷积核区域的中心点像素进行更新。
步骤三、所述改进Fast R-CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来；
本实施例中，步骤三中所述改进Fast R-CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来的具体过程为：
步骤301、采用过分割的方法将煤尘颗粒图像的特征图分为n个候选框；其中，n的取值为大于1000的自然数；
本实施例中，所述n的取值为2000；
步骤302、将n个候选框分别与训练样本的煤尘颗粒标定区域特征进行比较，输出表示每个区域属于煤尘颗粒、背景以及煤尘颗粒概率的三维数组，并将属于煤尘颗粒的标定区域确定为标定框；
步骤303、采用目标检测算法中的IoU函数计算各个标定框与训练样本的煤尘颗粒标定区域的重叠区域面积，将第p个标定框的面积表示为Sp，将训练样本的第q个煤尘颗粒标定区域的面积表示为Sq，将第p个标定框与第q个煤尘颗粒标定区域的重叠区域面积表示为So，其中，p的取值为1～n的自然数，q的取值为1～m的自然数，m为训练样本的煤尘颗粒标定区域的总个数；
步骤304、根据公式
Figure GDA0003302598020000131
计算重叠区域面积比率η，将η的取值大于0.7的标定框确定为煤尘颗粒，将η的取值不大于0.7的标定框确定为背景。
步骤四、所述改进Fast R-CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调。
本实施例中，步骤四中所述改进Fast R-CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调的具体过程为：
步骤401、改进Fast R-CNN网络的第一个全连接层对步骤304确定出的各个煤尘颗粒所在的标定框通过线性回归器获取暂时最优解；将第t个煤尘颗粒所在的标定框Λt＝(rt,ct,ht,wt)的暂时最优解表示为(Rt,Ct,Ht,Wt)，其中，rt为第t个煤尘颗粒所在的标定框的中心像素点的横坐标，ct为第t个煤尘颗粒所在的标定框的中心像素点的纵坐标，ht为第t个煤尘颗粒所在的标定框的高度，wt为第t个煤尘颗粒所在的标定框的宽度，Rt＝rt+Δrt，Ct＝ct+Δct，Ht＝ht·Δht，Wt＝wt·Δwt；Jt＝[Δrt,Δct,Δht,Δwt]为第t个煤尘颗粒所在的标定框平移缩放的权重矩阵，由损失函数
Figure GDA0003302598020000141
取最小值计算得到权重矩阵Jt的值，t的取值为1～n′的自然数，n′为步骤304确定出的煤尘颗粒所在的标定框的总个数，对步骤二之前的原始图像按照过分割的方法切割n个标准框，Φt表示与步骤304对应的第t个标准框的位置；
步骤402、改进Fast R-CNN网络的第二个全连接层根据步骤302得到的煤尘颗粒概率，对步骤401获得的标定框按照煤尘颗粒概率由高到低的顺序进行排序，以非极大值抑制法(non-maximun suppression)从煤尘颗粒概率最高开始对相邻的两个颗粒框进行比较，将分类概率较高的标定框面积表示为Sμ，将分类概率较低的标定框面积表示为Sλ，将两个标定框中颗粒的重叠面积表示为Sγ；再根据公式
Figure GDA0003302598020000142
计算重叠区域面积比率η'，当η'的取值大于0.5时，剔除概率较低的第二个标定框，引入下一个分类概率相邻的标定框代替第二个标定框进行继续比较；当η'的取值小于0.5时，保留概率较高的标定框作为最终提取的颗粒区域，再引入下一个分类概率相邻颗粒框代替第一个标定框进行比较。
具体实施时，进行改进Fast R-CNN网络训练时，将采集的700张煤尘颗粒显微图片按照粒径小于75μm，75μm～200μm，大于200μm分为三类，每个类别都经过90°，180°以及270°的顺时针翻转变换，将图片进行扩增至2100张，将训练图片通过PASCAL VOC格式的xml文件对特征区域进行标记，作为训练样本；改进Fast R-CNN网络对训练样本的具体的处理方法同步骤二至步骤四，在此不再赘述。
为了验证本发明能够产生的技术效果，进行了实验验证。实验以某煤矿煤尘颗粒为样本集，在原煤煤仓，破碎站，筛分破碎车间，跳汰车间，产品煤仓及输煤走廊六个场景下，采用Leica S 9D体式显微镜获得采样原图，并通过其配套软件ImageView进行保存(JPG格式)参与实验，训练集图像的尺寸调整为224×224，进行训练集排序，程序在Window10系统下运行。
实验设计两组对比实验：一组针对本发明提出算法对不同场景下的显微图像进行检测；另一组是本发明提出算法与常见的图像检测及分割算法的比较。
(1)不同场景下的对比实验
取四组分别为神经母细胞瘤，Erothroblats细胞，金属粉末以及煤尘颗粒的图片，采用本发明的方法进行小目标检测，结果如图3所示，图3的第一排四张图片分别为神经母细胞瘤，Erothroblats细胞，金属粉末以及煤尘颗粒的原始图片，图3的第二排四张图片分别为经过本发明的方法处理后神经母细胞瘤，Erothroblats细胞，金属粉末以及煤尘颗粒的图；
由图3可直观看到，本发明的方法，对不同类型的小颗粒图像进行识别，对细胞模型的轮廓分割不清晰；对规则的金属粉尘颗粒出现过拟合的结果，不能抑制不重要的特征；对煤尘颗粒的检测，能够抑制较小的不重要的特征，表达出特征区域的清晰轮廓，有较高的精度。
针对煤尘颗粒，选取了原煤煤仓，破碎站，筛分车间，跳汰车间，产品煤仓以及输煤走廊六个场所，并依次标记为场所1～6，在工作状态下每隔三个小时进行一次采样，并将样本在100～600温度下进行记录，以交互比为评价指标，实验结果如下：
由图4(a)得，在不同的时间段，改进Fast R-CNN对煤尘检测的精度较为稳定，平均误差不超过0.2％，其中对产品煤仓以及筛分车间的煤尘颗粒识别精度均高于96％，对跳汰车间颗粒识别精度更高，在0-21时达到97％，97.2％，97.1％，97％，96.5％，97.2％，97.4％，97.3％。
由图4(b)得，在不同的温度条件下，检测结果在100～300℃的条件下，对产品煤仓的MIoU值为97％，97.2％，97.1％，在400～700℃的条件下，对产品煤仓颗粒样本检测值为97.4％，97.3％，97.4％，97.3％，输煤走廊颗粒图像的MIoU值达到97.25％，97.1％，97.3％，96.6％。
将温度和时间两个参数同时作为变量，选取原煤煤仓，原煤破碎站，筛分车间，跳汰车间，产品煤仓及输煤走廊六个场所的煤尘颗粒进行检测，检测MIoU指标结果如图5(a)～图5(f)所示：
由图5(a)～图5(f)得，在温度和时间都作为变量的情况下，改进的Fast R-CNN算法对不同场所下的煤尘颗粒识别指标MIoU稳定在95.6～97.5％。综上所述，改进Fast R-CNN网络在不同场景下对颗粒轮廓识别更加精确，在煤矿的不同场所对煤尘颗粒检测结果稳定，识别精度指标均值在97％及以上。
(2)不同网络下的对比实验
本发明提出算法与分割算法以检测性能指标PA和MIoU值进行对比；优化网络以运算时间，训练时间和mAP值进行对比。
表1：流行网络性能参数对比
PA/％ MIoU/％
Fast–SCNN BSF[14] 99.53 94.88
Fast–SCNN TSF 99.71 96.58
U-Net[15] 99.714 96.82
Improved Fast R-CNN 99.70 97.46
由表1可得，与当前较为流行的Fast-SCNN、UNet网络相比，对不同类别物体识别指标PA值较低，但是对煤尘颗粒识别的平均性能MIoU指数值为97.46％，比Fast-SCNN，U-Net模型提升了0.88％和0.64％。
表2：经典网络性能参数对比
Train time(h) Test rate(s/im) mAP
R-CNN 84 47 66
SPP net 25 2.3 63.1
Fast R-CNN 10 0.32 69.2
Improved Fast R-CNN 9.5 0.3 70
由表2可得，随着对网络的改进，网络的结构逐渐复杂，但是检测时间从传统网络的84小时到现在的10小时，又将SENet模块压缩特征的特点加入原网络结构，加深网络特征提取的深度，提取多个候选框，mAP达到70，在几种网络中表现最好。
对4个网络分别进行了90次迭代，并对比网络的loss损失函数(每10次迭代记录loss值)，如图6所示：
由图6可得，改进Fast R-CNN网络损失率刚开始最小，当迭代次数越多，该算法的loss值越接近于0。以上分析证明在加入SE模块对特征的压缩激活作用，改善了网络性能，使得本发明算法的运行结果得到显著改善，得到了更小的损失值和更高的精确度。
综上所述，本发明基于深度学习框架实现对煤尘颗粒显微图像的识别，在Fast R-CNN的基础框架上进行改进，结合压缩激发特征模块对煤尘颗粒显微图像进行检测。由于Fast R-CNN是同系列网络对小特征图像识别精度最高的网络，但是由于模型结构的卷积采样次数较多，容易丢失原图像的浅层特征，导致网络出现对多个小特征区域检测的漏检及误检，影响网络的检测精度；因此，本发明将VGG网络应用到了Fast R-CNN网络中，对FastR-CNN进行改进，针对输入颗粒图像特征区域大且多的特点，将分层采样和压缩特征结合在一起，同时保留Fast R-CNN原有的网络特点，形成了一个复合任务的模型，不仅能够提取到更多的特征，提升Fast R-CNN网络对煤尘颗粒的正确分类概率，还能够激发关联度高的特征，抑制不重要的特征，更准确区分煤尘轮廓，提升Fast R-CNN对图像中煤尘颗粒检测的精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (7)

1.一种基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于，该方法包括以下步骤：
步骤一、将煤尘颗粒图像输入训练好的改进Fast R-CNN网络中；训练好的改进Fast R-CNN网络中存储了训练样本的多个煤尘颗粒标定区域；
步骤二、所述改进Fast R-CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图；
步骤三、所述改进Fast R-CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来；
步骤四、所述改进Fast R-CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调；
步骤二中所述改进Fast R-CNN网络采用VGG网络的卷积层进行特征提取，得到煤尘颗粒图像的特征图的具体过程为：
步骤201、经过第一个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2011、采用第一个卷积层提取煤尘颗粒图像的第一层特征；
步骤2012、采用ReLU激活函数对煤尘颗粒图像的第一层特征进行激活统计；
步骤2013、采用压缩激发特征模块对煤尘颗粒图像的第一层特征进行压缩激发处理，激励重要的特征，抑制不重要的特征；
步骤2014、将煤尘颗粒图像的第一层特征送入池化层，进行最大池化处理；
步骤2015、对煤尘颗粒图像的第一层特征进行腐蚀和膨胀的开运算操作；
步骤202、经过第二个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2021、采用第二个卷积层提取煤尘颗粒图像的第二层特征；
步骤2022、采用ReLU激活函数对煤尘颗粒图像的第二层特征进行激活统计；
步骤2023、采用压缩激发特征模块对煤尘颗粒图像的第二层特征进行压缩激发处理，激励重要的特征，抑制不重要的特征；
步骤2024、将煤尘颗粒图像的第二层特征送入池化层，进行最大池化处理；
步骤2025、对煤尘颗粒图像的第二层特征进行腐蚀和膨胀的开运算操作；
步骤203、经过第三个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2031、采用第三个卷积层提取煤尘颗粒图像的第三层特征；
步骤2032、采用ReLU激活函数对煤尘颗粒图像的第三层特征进行激活统计；
步骤2033、将煤尘颗粒图像的第三层特征送入池化层，进行最大池化处理；
步骤2034、对煤尘颗粒图像的第三层特征进行腐蚀和膨胀的开运算操作；
步骤204、经过第四个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2041、采用第四个卷积层提取煤尘颗粒图像的第四层特征；
步骤2042、采用ReLU激活函数对煤尘颗粒图像的第四层特征进行激活统计；
步骤2043、将煤尘颗粒图像的第四层特征送入池化层，进行最大池化处理；
步骤2044、对煤尘颗粒图像的第四层特征进行腐蚀和膨胀的开运算操作；
步骤205、经过第五个卷积层对煤尘颗粒图像进行特征提取，具体过程为：
步骤2051、采用第五个卷积层提取煤尘颗粒图像的第五层特征；
步骤2052、采用ReLU激活函数对煤尘颗粒图像的第五层特征进行激活统计；
步骤2053、将煤尘颗粒图像的第五层特征送入池化层，进行最大池化处理；
步骤2054、对煤尘颗粒图像的第五层特征进行腐蚀和膨胀的开运算操作。
2.按照权利要求1所述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤2011、步骤2021、步骤2031、步骤2041和步骤2051中进行卷积操作时，采用的卷积计算公式为
Figure FDA0003302598010000031
其中，g(i,j)表示输入图像的像素点，i为输入图像的像素点g(i,j)的横坐标，j为输入图像的像素点g(i,j)的纵坐标，h(k,l)为卷积核，k为卷积核的高度，l为卷积核的宽度，g(i-k,j-l)为输入图像进行卷积映射的像素点，G(i,j)为卷积计算后的输出图像。
3.按照权利要求1所述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤2012、步骤2022、步骤2032、步骤2042和步骤2052中的ReLU激活函数用公式表示为
Figure FDA0003302598010000032
其中，x为输入图像的每个像素点。
4.按照权利要求1所述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤2013和步骤2023中采用压缩激发特征模块对输入图像进行压缩激发处理时的具体过程为：
步骤A1、采用函数Fsq(·)对煤尘颗粒特征图像进行压缩；其中，
Figure FDA0003302598010000033
Pc(i,j)为输入图像的第c个通道二维矩阵，c的取值为1～C的自然数，C为输入图像的通道总个数，i为输入图像的像素点g(i,j)的横坐标，j为输入图像的像素点g(i,j)的纵坐标，W为输入图像的横坐标像素总数，H为输入图像的纵坐标像素总数；
步骤B1、采用函数Fex(·,M)对压缩后的输入图像进行特征激发；其中，Fex(zc,M)＝σ(M2δ(M1 zc))，zc为输入图像c通道对应的权值且zc＝Fsq(Pc(i,j))，M为压缩激发特征模块中两个全连接层的权值矩阵，M1为第一个全连接层的权值矩阵，M1的维度为
Figure FDA0003302598010000041
M2为第二个全连接层的权值矩阵，M2的维度为
Figure FDA0003302598010000042
r为缩放参数，σ(·)为sigmoid激活函数，δ为ReLU激活函数。
5.按照权利要求1所述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤2015、步骤2025、步骤2035、步骤2045和步骤2055中进行腐蚀和膨胀的开运算操作的具体过程为：
步骤A2、定义一个3×3的卷积核为模板，卷积核自左向右，自上向下的运算，步长取1，得到卷积后一个3×3的矩阵，取出该卷积核区域的最小值，将其赋值给该卷积核区域的中心点像素进行更新；
步骤B2、定义一个3×3的卷积核为模板，卷积核自左向右，自上向下的运算，步长取1，得到卷积后一个3×3的矩阵，取出该卷积核区域的最大值，将其赋值给该卷积核区域的中心点像素进行更新。
6.按照权利要求1所述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤三中所述改进Fast R-CNN网络将煤尘颗粒图像的特征图中的煤尘颗粒从背景中识别出来的具体过程为：
步骤301、采用过分割的方法将煤尘颗粒图像的特征图分为n个候选框；其中，n的取值为大于1000的自然数；
步骤302、将n个候选框分别与训练样本的煤尘颗粒标定区域特征进行比较，输出表示每个区域属于煤尘颗粒、背景以及煤尘颗粒概率的三维数组，并将属于煤尘颗粒的标定区域确定为标定框；
步骤303、采用目标检测算法中的IoU函数计算各个标定框与训练样本的煤尘颗粒标定区域的重叠区域面积，将第p个标定框的面积表示为Sp，将训练样本的第q个煤尘颗粒标定区域的面积表示为Sq，将第p个标定框与第q个煤尘颗粒标定区域的重叠区域面积表示为So，其中，p的取值为1～n的自然数，q的取值为1～m的自然数，m为训练样本的煤尘颗粒标定区域的总个数；
步骤304、根据公式
Figure FDA0003302598010000051
计算重叠区域面积比率η，将η的取值大于0.7的标定框确定为煤尘颗粒，将η的取值不大于0.7的标定框确定为背景。
7.按照权利要求6所述的基于改进Fast R-CNN的煤尘颗粒图像识别方法，其特征在于：步骤四中所述改进Fast R-CNN网络将步骤三识别出煤尘颗粒目标的煤尘颗粒图像输入到两个并列的全连接层，通过线性脊回归器对煤尘颗粒目标的位置进行精调的具体过程为：
步骤401、改进Fast R-CNN网络的第一个全连接层对步骤304确定出的各个煤尘颗粒所在的标定框通过线性回归器获取暂时最优解；将第t个煤尘颗粒所在的标定框Λt＝(rt,ct,ht,wt)的暂时最优解表示为(Rt,Ct,Ht,Wt)，其中，rt为第t个煤尘颗粒所在的标定框的中心像素点的横坐标，ct为第t个煤尘颗粒所在的标定框的中心像素点的纵坐标，ht为第t个煤尘颗粒所在的标定框的高度，wt为第t个煤尘颗粒所在的标定框的宽度，Rt＝rt+Δrt，Ct＝ct+Δct，Ht＝ht·Δht，Wt＝wt·Δwt；Jt＝[Δrt,Δct,Δht,Δwt]为第t个煤尘颗粒所在的标定框平移缩放的权重矩阵，Δrt为rt的平移量，Δct为ct的平移量，Δht为ht的缩放量，Δwt为wt的所放量，由损失函数
Figure FDA0003302598010000052
取最小值计算得到权重矩阵Jt的值，t的取值为1～n′的自然数，n′为步骤304确定出的煤尘颗粒所在的标定框的总个数；对步骤二之前的原始图像按照过分割的方法切割n个标准框，Φt表示与步骤304对应的第t个标准框的位置；
步骤402、改进Fast R-CNN网络的第二个全连接层根据步骤302得到的煤尘颗粒概率，对步骤401获得的标定框按照煤尘颗粒概率由高到低的顺序进行排序，以非极大值抑制法从煤尘颗粒概率最高开始对相邻的两个颗粒框进行比较，将分类概率较高的标定框面积表示为Sμ，将分类概率较低的标定框面积表示为Sλ，将两个标定框中颗粒的重叠面积表示为Sγ；再根据公式
Figure FDA0003302598010000061
计算重叠区域面积比率η'，当η'的取值大于0.5时，剔除概率较低的第二个标定框，引入下一个分类概率相邻的标定框代替第二个标定框进行继续比较；当η'的取值小于0.5时，保留概率较高的标定框作为最终提取的颗粒区域，再引入下一个分类概率相邻颗粒框代替第一个标定框进行比较。
CN202010718963.0A 2020-07-23 2020-07-23 基于改进Fast R-CNN的煤尘颗粒图像识别方法 Active CN112001253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010718963.0A CN112001253B (zh) 2020-07-23 2020-07-23 基于改进Fast R-CNN的煤尘颗粒图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010718963.0A CN112001253B (zh) 2020-07-23 2020-07-23 基于改进Fast R-CNN的煤尘颗粒图像识别方法

Publications (2)

Publication Number Publication Date
CN112001253A CN112001253A (zh) 2020-11-27
CN112001253B true CN112001253B (zh) 2021-11-30

Family

ID=73468232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010718963.0A Active CN112001253B (zh) 2020-07-23 2020-07-23 基于改进Fast R-CNN的煤尘颗粒图像识别方法

Country Status (1)

Country Link
CN (1) CN112001253B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508001A (zh) * 2020-12-03 2021-03-16 安徽理工大学 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法
CN112800995A (zh) * 2021-02-04 2021-05-14 广州甄好数码科技有限公司 使用多尺度特征加权的智能颗粒大小检测方法
CN113420811B (zh) * 2021-06-23 2023-04-07 中国矿业大学(北京) 一种使用深度学习的煤岩识别方法
CN113449743B (zh) * 2021-07-12 2022-12-09 西安科技大学 一种煤尘颗粒特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103969162A (zh) * 2014-05-09 2014-08-06 山东科技大学 一种基于数据融合的矿井煤尘浓度测量的方法及装置
CN109444845A (zh) * 2018-09-28 2019-03-08 中国矿业大学 基于固态激光雷达成像对煤岩界面进行识别的装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079845A (zh) * 2019-12-20 2020-04-28 西安交通大学 一种煤炭中煤矸石和煤的分类识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103969162A (zh) * 2014-05-09 2014-08-06 山东科技大学 一种基于数据融合的矿井煤尘浓度测量的方法及装置
CN109444845A (zh) * 2018-09-28 2019-03-08 中国矿业大学 基于固态激光雷达成像对煤岩界面进行识别的装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Faster R-CNN的癌症影像检测方法;王黎 等;《中国计量大学学报》;20180630;第29卷(第2期);第136-141页 *
Squeeze and Excitation Rank Faster R-CNN for Ship Detection in SAR Images;Zhao Lin et al.;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20181231;第1-5页 *
基于改进差分进化粒子群的煤尘颗粒图像辨识;王征 等;《煤炭学报》;20200229;第45卷(第2期);第695-702页 *
基于机器视觉的煤尘检测算法研究;冯鑫;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》;20200315(第03期);第B021-325页 *

Also Published As

Publication number Publication date
CN112001253A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112001253B (zh) 基于改进Fast R-CNN的煤尘颗粒图像识别方法
He et al. Defect detection of hot rolled steels with a new object detection framework called classification priority network
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN110363104B (zh) 一种柴油黑烟车的检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111275044A (zh) 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN108416775B (zh) 一种基于深度学习的矿石粒度检测方法
CN111860171A (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN109919145B (zh) 一种基于3d点云深度学习的矿卡检测方法及系统
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN110852369B (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN111860290B (zh) 一种激光熔覆过程中裂纹识别的方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN111539957A (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant