CN111507963B - 一种基于目标检测的煤矿异物剔除方法 - Google Patents

一种基于目标检测的煤矿异物剔除方法 Download PDF

Info

Publication number
CN111507963B
CN111507963B CN202010304313.1A CN202010304313A CN111507963B CN 111507963 B CN111507963 B CN 111507963B CN 202010304313 A CN202010304313 A CN 202010304313A CN 111507963 B CN111507963 B CN 111507963B
Authority
CN
China
Prior art keywords
convolution
layer
foreign matter
size
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010304313.1A
Other languages
English (en)
Other versions
CN111507963A (zh
Inventor
丁发展
姜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202010304313.1A priority Critical patent/CN111507963B/zh
Publication of CN111507963A publication Critical patent/CN111507963A/zh
Application granted granted Critical
Publication of CN111507963B publication Critical patent/CN111507963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的煤矿异物剔除方法，涉及机器视觉技术领域，该方法以实时获取到的煤矿产线的图像为输入，利用异物分割卷积神经网络为全图进行异物区域检测定位输出异物热点图，然后根据异物热点图切片后输入异物分类卷积神经网络进行异物类型检测，两次检测完成后，将结果合成煤矿异物检测图谱为剔除提供引导信息，该方法可以对各级选煤生产线中的各类异物进行实时检测定位和精准识别分类，实现自动化的精确异物剔除，异物分割卷积神经网络和异物分类卷积神经网络专为煤矿异物场景定制，具有体量小、实时性强、检测精度高等特点，同时，经过二次筛检，极大地降低了误检率，异物剔除准确度很高。

Description

一种基于目标检测的煤矿异物剔除方法
技术领域
本发明涉及机器视觉技术领域，尤其是一种基于目标检测的煤矿异物剔除方法。
背景技术
在煤矿开采的过程中，井下职工餐食大多用塑料袋带包装。这些塑料袋、火腿肠皮、矿泉水瓶和在生产过程中产生的一些比如材料包装纸箱、小木块、编织袋、细铁丝、碎砖头、烂棉丝等生产垃圾，时常会随运输系统混入原煤中。由于塑料袋、包装纸箱等特别轻，漂浮在煤上面，很容易将跳汰机筛子的筛孔堵住，影响产品精煤产品分级。小木块、碎砖头由于比重与煤相近造成无法分离，便直接进入洗精块煤中，有些铁丝、螺栓等还可能绕到设备中损坏机器，这些垃圾在选煤厂原煤洗选过程中是最令人头疼的事。
因此选煤厂不得不在原煤皮带入口、入洗皮带机头、跳汰机出口、精煤出口等处安排人工捡杂，费时费工费力。即便如此，由于这些煤矿异物混合在原煤中，粘上煤灰后色泽与原煤无异，肉眼难以在第一时间辨识出异物，漏检的几率非常大。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于目标检测的煤矿异物剔除方法，本发明的技术方案如下：
一种基于目标检测的煤矿异物剔除方法，该方法包括：
通过布设在煤矿产线上方的相机获取煤矿实时图像；
将煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，异物热点图标示煤矿实时图像中异物所在区域；
根据异物热点图对煤矿实时图像进行分割切片并输出异物热点切片图，异物热点切片图是煤矿产线中异物所在区域的图像；
将异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果；
将异物热点图和各个异物类型检测结果合成煤矿异物检测图谱，煤矿异物检测图谱标识煤矿产线中异物所在区域及其对应的异物类型；
根据煤矿异物检测图谱利用异物类型对应的除杂设备剔除煤矿产线中相应区域的异物。
其进一步的技术方案为，将煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，包括：
使用双线性插值法将煤矿实时图像进行缩放得到尺寸变换后的煤矿实时图像；尺寸变换后的煤矿实时图像依次经过异物分割卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第一最大上池化层、第一反卷积网络、第二最大上池化层、第二反卷积网络、第三最大上池化层以及第三反卷积网络后输出异物热点图；
其中，第一卷积网络包括一个卷积层，第二卷积网络包括6个卷积层，第三卷积网络包括5个卷积层，第一反卷积网络包括3个反卷积层，第二反卷积网络包括3个反卷积层，第三反卷积网络包括1个反卷积层；第一卷积网络、第二卷积网络和第三卷积网络中的各个卷积层采用ReLU作为激活函数。
其进一步的技术方案为，异物分割卷积神经网络中的第一卷积网络包括第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16；
异物分割卷积神经网络中的第二卷积网络依次包括第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及第七卷积层，第二卷积层的卷积核的尺寸为1*3、通道数为32，第三卷积层的卷积核的尺寸为3*1、通道数为32，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的个数为3*3、通道数为16，第六卷积层的卷积核的个数为3*3、通道数为64，第七卷积层的卷积核的个数为3*3、通道数为64；
异物分割卷积神经网络中的第三卷积网络依次包括第八卷积层、第九卷积层、第十卷积层、第十一卷积层以及第十二卷积层，第八卷积层的卷积核的尺寸为1*3、通道数为128，第九卷积层的卷积核的尺寸为3*1、通道数为128，第十卷积层的卷积核的尺寸为1*1、通道数为64，第十一卷积层的卷积核的尺寸为3*3、通道数为64，第十二卷积层的卷积核的尺寸为1*1、通道数为256。
其进一步的技术方案为，第一反卷积网络依次包括第一反卷积层、第二反卷积层以及第三反卷积层，第一反卷积层的卷积核的尺寸为2*2、通道数为128，第二反卷积层的卷积核的尺寸为3*3、通道数为64，第三反卷积层的卷积核的尺寸为3*3、通道数为64；
第二反卷积网络依次包括第四反卷积层、第五反卷积层以及第六反卷积层，第四反卷积层的卷积核的尺寸为2*2、通道数为64，第五反卷积层的卷积核的尺寸为3*3、通道数为16，第六反卷积层的卷积核的尺寸为3*3、通道数为16；
第三反卷积网络包括第七反卷积层，第七反卷积层的卷积核的尺寸为1*1、通道数为2。
其进一步的技术方案为，异物分割卷积神经网络中的各个最大池化层和各个最大上池化层的规格相同，池化核的尺寸均为2*2、步长均为2。
其进一步的技术方案为，将异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果，包括：
使用双线性插值法将异物热点切片图进行缩放得到尺寸变换后的异物热点切片图；尺寸变换后的异物热点切片图依次经过异物分类卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第三最大池化层、第四卷积网络、第四最大池化层、第五卷积网络、全局平均池化层、全连接层和输出层后输出对应的异物类型检测结果；
其中，第一卷积网络包括一个卷积层，第二卷积网络包括2个卷积层，第三卷积网络包括5个卷积层，第四卷积网络包括5个卷积网络，第五卷积网络包括3个卷积层，各个卷积网络中的卷积层均采用ReLU作为激活函数，输出层采用Softmax作为激活函数。
其进一步的技术方案为，异物分类卷积神经网络中的第一卷积网络包括第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16；
异物分类卷积神经网络中的第二卷积网络依次包括第二卷积层和第三卷积层，第二卷积层的卷积核的尺寸为3*1、通道数为32，第三卷积层的卷积核的尺寸为1*3、通道数为32；
异物分类卷积神经网络中的第三卷积网络依次包括第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的尺寸为3*3、通道数为16，第六卷积层的卷积核的尺寸为3*3、通道数为64，第七卷积层的卷积核的尺寸为3*1、通道数为64，第八卷积层的卷积核的尺寸为1*3、通道数为64；
异物分类卷积神经网络中的第四卷积网络依次包括第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和第十三卷积层，第九卷积层的卷积核为3*3、通道数为64，第十卷积层的卷积核为3*3、通道数为64，第十一卷积层的卷积核为3*3、通道数为256，第十二卷积层的卷积核的尺寸为3*1、通道数为256，第十三卷积层的卷积核的尺寸为1*3、通道数为256；
异物分类卷积神经网络中的第五卷积网络依次包括第十四卷积层、第十五卷积层和第十六卷积层，第十四卷积层的卷积核的尺寸为3*3、通道数为128，第十五卷积层的卷积核的尺寸为3*3、通道数为128，第十六卷积层的卷积核的尺寸为3*3、通道数512。
其进一步的技术方案为，异物分类卷积神经网络中的各个最大池化层的规格相同，池化核的尺寸均为2*2、步长均为2。
其进一步的技术方案为，通过布设在煤矿产线上方的相机获取煤矿实时图像，包括：
通过布设在煤矿产线上方不同位置处的若干个相机分别获取各自视野范围内的煤矿子图像；
将各个相机获取到的煤矿子图像合并生成全画幅的煤矿实时图像。
本发明的有益技术效果是：
本申请公开了一种基于目标检测的煤矿异物剔除方法，通过使用异物分割卷积神经网络和异物分类卷积神经网络进行煤矿异物智能检测，对各级选煤生产线中的各类异物进行实时检测定位和精准识别分类，可以实现自动化的精确异物剔除，异物分割卷积神经网络和异物分类卷积神经网络专为煤矿异物场景定制，具有体量小、实时性强、检测精度高等特点，同时，经过二次筛检，极大地降低了误检率，异物剔除准确度很高。
附图说明
图1是本申请的基于目标检测的煤矿异物剔除方法的方法流程图。
图2是本申请中异物分割卷积神经网络的结构图。
图3是本申请中异物分类卷积神经网络的结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于目标检测的煤矿异物剔除方法，请参考图1所示的流程，该方法包括如下步骤：
1、通过布设在煤矿产线上方的相机获取煤矿实时图像，煤矿产线中除了包括煤块和各类异物，比如金属丝、塑料制品等等。在实际应用时，单一相机的视野范围往往很难覆盖煤矿产线的全部区域，因此通常通过多个相机来获取煤矿实时图像，则通过布设在煤矿产线上方不同位置处的若干个相机分别获取各自视野范围内的煤矿子图像，然后将各个相机获取到的煤矿子图像合并生成全画幅的煤矿实时图像。
2、将煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，异物热点图标示煤矿实时图像中异物所在区域。
本申请中异物分割卷积神经网络的结构如图2所示，其对煤矿实时图像的处理过程如下：
首先使用双线性插值法将煤矿实时图像进行缩放得到尺寸变换后的煤矿实时图像，在本申请中，尺寸变换后的煤矿实时图像的尺寸为2048*512。
尺寸变换后的煤矿实时图像依次经过异物分割卷积神经网络中的第一卷积网络、第一最大池化层(max pooling层)、第二卷积网络、第二最大池化层、第三卷积网络、第一最大上池化层(max unpooing层)、第一反卷积网络、第二最大上池化层、第二反卷积网络、第三最大上池化层以及第三反卷积网络后输出异物热点图。
其中，第一卷积网络包括一个卷积层为第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16。
第二卷积网络包括6个卷积层，依次分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及第七卷积层，其中，第二卷积层的卷积核的尺寸为1*3、通道数为32，第三卷积层的卷积核的尺寸为3*1、通道数为32，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的个数为3*3、通道数为16，第六卷积层的卷积核的个数为3*3、通道数为64，第七卷积层的卷积核的个数为3*3、通道数为64。
第三卷积网络包括5个卷积层，依次为第八卷积层、第九卷积层、第十卷积层、第十一卷积层以及第十二卷积层，其中，第八卷积层的卷积核的尺寸为1*3、通道数为128，第九卷积层的卷积核的尺寸为3*1、通道数为128，第十卷积层的卷积核的尺寸为1*1、通道数为64，第十一卷积层的卷积核的尺寸为3*3、通道数为64，第十二卷积层的卷积核的尺寸为1*1、通道数为256。
上述第一卷积网络、第二卷积网络和第三卷积网络中的各个卷积层采用ReLU作为激活函数。
第一反卷积网络包括3个反卷积层，依次为第一反卷积层、第二反卷积层以及第三反卷积层，第一反卷积层的卷积核的尺寸为2*2、通道数为128，第二反卷积层的卷积核的尺寸为3*3、通道数为64，第三反卷积层的卷积核的尺寸为3*3、通道数为64。
第二反卷积网络包括3个反卷积层，依次为第四反卷积层、第五反卷积层以及第六反卷积层，第四反卷积层的卷积核的尺寸为2*2、通道数为64，第五反卷积层的卷积核的尺寸为3*3、通道数为16，第六反卷积层的卷积核的尺寸为3*3、通道数为16。
第三反卷积网络包括1个反卷积层为第七反卷积层，第七反卷积层的卷积核的尺寸为1*1、通道数为2。
另外，各个最大池化层和各个最大上池化层的规格相同，池化核的尺寸均为2*2、步长均为2。
3、根据异物热点图对煤矿实时图像进行分割切片并输出异物热点切片图，异物热点切片图是煤矿产线中异物所在区域的图像。
4、将异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果。
本申请中异物分类卷积神经网络的结构如图3所示，其对煤矿实时图像的处理过程如下：
首先，使用双线性插值法将异物热点切片图进行缩放得到尺寸变换后的异物热点切片图。在本申请中，尺寸变换后的异物热点切片图的尺寸为128*128。
尺寸变换后的异物热点切片图依次经过异物分类卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第三最大池化层、第四卷积网络、第四最大池化层、第五卷积网络、全局平均池化层(average pool)、全连接层(2-d fully connected layer)和输出层(softmax layer)后输出对应的异物类型检测结果，比如输出异物类型检测结果为煤块、金属、塑料等等，如图3所示的举例情况。
其中，第一卷积网络包括一个卷积层为第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16。
第二卷积网络包括2个卷积层依次为第二卷积层和第三卷积层，第二卷积层的卷积核的尺寸为3*1、通道数为32，第三卷积层的卷积核的尺寸为1*3、通道数为32。
第三卷积网络包括5个卷积层，依次为第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的尺寸为3*3、通道数为16，第六卷积层的卷积核的尺寸为3*3、通道数为64，第七卷积层的卷积核的尺寸为3*1、通道数为64，第八卷积层的卷积核的尺寸为1*3、通道数为64。
第四卷积网络包括5个卷积网络，依次为第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和第十三卷积层，第九卷积层的卷积核为3*3、通道数为64，第十卷积层的卷积核为3*3、通道数为64，第十一卷积层的卷积核为3*3、通道数为256，第十二卷积层的卷积核的尺寸为3*1、通道数为256，第十三卷积层的卷积核的尺寸为1*3、通道数为256。
第五卷积网络包括3个卷积层，依次为第十四卷积层、第十五卷积层和第十六卷积层，第十四卷积层的卷积核的尺寸为3*3、通道数为128，第十五卷积层的卷积核的尺寸为3*3、通道数为128，第十六卷积层的卷积核的尺寸为3*3、通道数512。
上述各个卷积网络中的卷积层均采用ReLU作为激活函数，输出层采用Softmax作为激活函数。各个最大池化层的规格相同，池化核的尺寸均为2*2、步长均为2。
需要说明的是，上述异物分割卷积神经网络和异物分类卷积神经网络
5、将异物热点图和各个异物类型检测结果合成煤矿异物检测图谱，煤矿异物检测图谱标识煤矿产线中异物所在区域及其对应的异物类型。
6、根据煤矿异物检测图谱利用异物类型对应的除杂设备剔除煤矿产线中相应区域的异物。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (2)

1.一种基于目标检测的煤矿异物剔除方法，其特征在于，所述方法包括：
通过布设在煤矿产线上方的相机获取煤矿实时图像；
将所述煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，所述异物热点图标示所述煤矿实时图像中异物所在区域；
根据所述异物热点图对所述煤矿实时图像进行分割切片并输出异物热点切片图，所述异物热点切片图是煤矿产线中异物所在区域的图像；
将所述异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果；
将所述异物热点图和各个异物类型检测结果合成煤矿异物检测图谱，所述煤矿异物检测图谱标识煤矿产线中异物所在区域及其对应的异物类型；
根据所述煤矿异物检测图谱利用异物类型对应的除杂设备剔除煤矿产线中相应区域的异物；
所述将所述煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，包括：使用双线性插值法将所述煤矿实时图像进行缩放得到尺寸变换后的煤矿实时图像；所述尺寸变换后的煤矿实时图像依次经过所述异物分割卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第一最大上池化层、第一反卷积网络、第二最大上池化层、第二反卷积网络、第三最大上池化层以及第三反卷积网络后输出所述异物热点图；在所述异物分割卷积神经网络中：所述第一卷积网络包括第一卷积层，所述第一卷积层的卷积核的尺寸为3*3、通道数为16；所述第二卷积网络依次包括第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及第七卷积层，所述第二卷积层的卷积核的尺寸为1*3、通道数为32，所述第三卷积层的卷积核的尺寸为3*1、通道数为32，所述第四卷积层的卷积核的尺寸为3*3、通道数为16，所述第五卷积层的卷积核的个数为3*3、通道数为16，所述第六卷积层的卷积核的个数为3*3、通道数为64，所述第七卷积层的卷积核的个数为3*3、通道数为64；所述第三卷积网络依次包括第八卷积层、第九卷积层、第十卷积层、第十一卷积层以及第十二卷积层，所述第八卷积层的卷积核的尺寸为1*3、通道数为128，所述第九卷积层的卷积核的尺寸为3*1、通道数为128，所述第十卷积层的卷积核的尺寸为1*1、通道数为64，所述第十一卷积层的卷积核的尺寸为3*3、通道数为64，所述第十二卷积层的卷积核的尺寸为1*1、通道数为256；所述第一反卷积网络依次包括第一反卷积层、第二反卷积层以及第三反卷积层，所述第一反卷积层的卷积核的尺寸为2*2、通道数为128，所述第二反卷积层的卷积核的尺寸为3*3、通道数为64，所述第三反卷积层的卷积核的尺寸为3*3、通道数为64；所述第二反卷积网络依次包括第四反卷积层、第五反卷积层以及第六反卷积层，所述第四反卷积层的卷积核的尺寸为2*2、通道数为64，所述第五反卷积层的卷积核的尺寸为3*3、通道数为16，所述第六反卷积层的卷积核的尺寸为3*3、通道数为16；所述第三反卷积网络包括第七反卷积层，所述第七反卷积层的卷积核的尺寸为1*1、通道数为2；所述第一卷积网络、第二卷积网络和第三卷积网络中的各个卷积层采用ReLU作为激活函数；所述异物分割卷积神经网络中的各个最大池化层和各个最大上池化层的规格相同，池化核的尺寸均为2*2、步长均为2；
所述将所述异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果，包括使用双线性插值法将所述异物热点切片图进行缩放得到尺寸变换后的异物热点切片图；所述尺寸变换后的异物热点切片图依次经过所述异物分类卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第三最大池化层、第四卷积网络、第四最大池化层、第五卷积网络、全局平均池化层、全连接层和输出层后输出对应的异物类型检测结果；在所述异物分类卷积神经网络中：所述第一卷积网络包括第一卷积层，所述第一卷积层的卷积核的尺寸为3*3、通道数为16；所述第二卷积网络依次包括第二卷积层和第三卷积层，所述第二卷积层的卷积核的尺寸为3*1、通道数为32，所述第三卷积层的卷积核的尺寸为1*3、通道数为32；所述第三卷积网络依次包括第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层，所述第四卷积层的卷积核的尺寸为3*3、通道数为16，所述第五卷积层的卷积核的尺寸为3*3、通道数为16，所述第六卷积层的卷积核的尺寸为3*3、通道数为64，所述第七卷积层的卷积核的尺寸为3*1、通道数为64，所述第八卷积层的卷积核的尺寸为1*3、通道数为64；所述第四卷积网络依次包括第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和第十三卷积层，所述第九卷积层的卷积核为3*3、通道数为64，所述第十卷积层的卷积核为3*3、通道数为64，所述第十一卷积层的卷积核为3*3、通道数为256，所述第十二卷积层的卷积核的尺寸为3*1、通道数为256，所述第十三卷积层的卷积核的尺寸为1*3、通道数为256；所述第五卷积网络依次包括第十四卷积层、第十五卷积层和第十六卷积层，所述第十四卷积层的卷积核的尺寸为3*3、通道数为128，所述第十五卷积层的卷积核的尺寸为3*3、通道数为128，所述第十六卷积层的卷积核的尺寸为3*3、通道数512；所述异物分类卷积神经网络中的各个最大池化层的规格相同，池化核的尺寸均为2*2、步长均为2。
2.根据权利要求1所述的方法，其特征在于，所述通过布设在煤矿产线上方的相机获取煤矿实时图像，包括：
通过布设在所述煤矿产线上方不同位置处的若干个相机分别获取各自视野范围内的煤矿子图像；
将各个相机获取到的煤矿子图像合并生成全画幅的所述煤矿实时图像。
CN202010304313.1A 2020-04-17 2020-04-17 一种基于目标检测的煤矿异物剔除方法 Active CN111507963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304313.1A CN111507963B (zh) 2020-04-17 2020-04-17 一种基于目标检测的煤矿异物剔除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304313.1A CN111507963B (zh) 2020-04-17 2020-04-17 一种基于目标检测的煤矿异物剔除方法

Publications (2)

Publication Number Publication Date
CN111507963A CN111507963A (zh) 2020-08-07
CN111507963B true CN111507963B (zh) 2023-08-29

Family

ID=71864090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304313.1A Active CN111507963B (zh) 2020-04-17 2020-04-17 一种基于目标检测的煤矿异物剔除方法

Country Status (1)

Country Link
CN (1) CN111507963B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446961A (zh) * 2016-10-11 2017-02-22 山东为华智能设备制造有限公司 一种采用反光性方法对煤和煤矸石及杂物进行识别的技术
CN108830242A (zh) * 2018-06-22 2018-11-16 北京航空航天大学 基于卷积神经网络的sar图像海洋目标分类检测方法
CN110052409A (zh) * 2019-05-24 2019-07-26 天津美腾科技有限公司 原煤分选系统
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268885B (zh) * 2017-01-03 2020-06-30 京东方科技集团股份有限公司 特征点检测方法、设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446961A (zh) * 2016-10-11 2017-02-22 山东为华智能设备制造有限公司 一种采用反光性方法对煤和煤矸石及杂物进行识别的技术
CN108830242A (zh) * 2018-06-22 2018-11-16 北京航空航天大学 基于卷积神经网络的sar图像海洋目标分类检测方法
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110052409A (zh) * 2019-05-24 2019-07-26 天津美腾科技有限公司 原煤分选系统

Also Published As

Publication number Publication date
CN111507963A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN106238342B (zh) 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法
CN103406286B (zh) 一种基于LabVIEW的水果外部品质在线分级方法
CN105388162B (zh) 基于机器视觉的原料硅片表面划痕检测方法
CN206139527U (zh) 全景视觉马铃薯分选和缺陷检测装置
CN101907453B (zh) 基于机器视觉的块状农产品尺寸在线测量方法与装置
CN105251563B (zh) 一种齿辊式破碎机的自动调速控制系统及控制方法
CN104034638B (zh) 基于机器视觉的金刚线颗粒在线质检方法
CN105701476A (zh) 一种基于机器视觉的生产线产品自动化识别系统及方法
CN103454285A (zh) 基于机器视觉的传动链条质量检测系统
CN104162514B (zh) 一种基于图像识别的盆花智能分级装备及方法
CN101324427A (zh) 绿叶面积自动测量装置及方法
CN111468430B (zh) 一种基于深度视觉的煤矸石分离方法
CN108280838A (zh) 一种基于边缘检测的夹片牙型缺陷检测方法
CN204148152U (zh) 大型多品种混搭内衣自动化分拣生产线
CN114235837A (zh) 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备
CN111507963B (zh) 一种基于目标检测的煤矿异物剔除方法
CN110473174A (zh) 一种基于图像计算铅笔精确数目的方法
CN101561316B (zh) 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统
CN116363505A (zh) 一种基于采摘机器人视觉系统的目标采摘方法
CN101172274B (zh) 一种枸杞子分级分选装置及其方法
CN107891012A (zh) 基于等效算法的珍珠大小及圆形度分拣装置
Thong et al. Mango sorting mechanical system combines image processing
CN111398294B (zh) 一种基于机器视觉的秸秆颗粒缺陷检测系统及检测方法
CN111833327A (zh) 一种基于图像识别的砂石检测方法
CN105548210B (zh) 基于机器视觉的美标电源延长线的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant