CN111709935B - 一种用于地面运动皮带上实时煤矸石定位识别方法 - Google Patents

一种用于地面运动皮带上实时煤矸石定位识别方法 Download PDF

Info

Publication number
CN111709935B
CN111709935B CN202010554760.2A CN202010554760A CN111709935B CN 111709935 B CN111709935 B CN 111709935B CN 202010554760 A CN202010554760 A CN 202010554760A CN 111709935 B CN111709935 B CN 111709935B
Authority
CN
China
Prior art keywords
target
real
coal gangue
image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010554760.2A
Other languages
English (en)
Other versions
CN111709935A (zh
Inventor
杜京义
郝乐
陈宇航
汶武
董刚
胡伟杰
井萌
刘赟超
闫爱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202010554760.2A priority Critical patent/CN111709935B/zh
Publication of CN111709935A publication Critical patent/CN111709935A/zh
Application granted granted Critical
Publication of CN111709935B publication Critical patent/CN111709935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于地面运动皮带上实时煤矸石定位识别方法,具体包括如下步骤:步骤1,数据集建立;步骤2,训练目标检测模型;步骤3,实时图像采集:通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流;步骤4,提取模型检测实时视频,统计实时视频中目标物类别;步骤5,基于步骤4确定的目标物类别,计算煤矸石大小并确定相对位置。本发明采用图像识别运动皮带上的煤矸石,解决了射线方法对环境的污染问题。

Description

一种用于地面运动皮带上实时煤矸石定位识别方法
技术领域
本发明属于图像处理技术领域,涉及一种用于地面运动皮带上实时煤矸石定位识别方法。
背景技术
在煤矿企业开采过程中,采煤面具有不同灰分的矸石,经过皮带运输系统运输上煤楼,工人通过经验检测皮带上目标物为煤块或矸石,并手动对检测结果进行分类。随着传感器技术与图像处理技术的发展,如何实时自动检测煤矸石目标物,对目标物进行定位分类,从而将运动皮带上目标信息数据化成为需要考虑的问题。同时,如何将检测的像素信息转化为物理信息,便于为后续反馈设备、储存设备进行反馈或储存,避免像素信息实用性差等问题。
当前检测方法主要为人工检测、射线检测或视觉检测三种方式,人工检测受工人主观性经验影响较大,存在人为检测率较低等问题;
中国专利(申请号:ZL200910107879.9,申请号:一种煤矸石自动分选机,申请日:20090616)公开了一种煤矸石自动分选机”,通过输送带下方的单能伽玛射线区分煤矸石目标物类别,造价相对较高,对环境有所危害;中国专利(申请号:ZL201610885658.4),公开了一种视觉识别煤和煤矸石并用机械手进行分离的系统”,通过视背景识别法定位煤矸石目标物,这种方法能够快速定位煤矸石目标,存在易受皮带上杂物干扰的问题;通过神经网络检测,一般通用网络无法直接应用在煤矸石背景下,且模型误差需要修正等现状,有必要提出进一步改进方案。
发明内容
本发明的目的是提供一种用于地面运动皮带上实时煤矸石定位识别方法,该方法采用图像识别运动皮带上的煤矸石,解决了射线方法对环境的污染问题。
本发明所采用的技术方案是,一种用于地面运动皮带上实时煤矸石定位识别方法,具体包括如下步骤:
步骤1,数据集建立;
步骤2,训练目标检测模型;
步骤3,实时图像采集:通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流;
步骤4,提取模型检测实时视频,统计实时视频中目标物类别;
步骤5,基于步骤4确定的目标物类别,计算煤矸石大小并确定相对位置。
本发明的特点还在于,
步骤1的具体过程为:
步骤101,数据集数据搜集;
查询原有地面运动皮带历史视频,选取皮带上存在运动煤矸石目标的视频段,手动将选取的视频段拆分为单帧图像;
步骤102,数据图像归一化;
将步骤101拆分后的单帧图像进行图像大小归一化,得到大小统一的归一化图像;
步骤103,图像数据模糊;
选取20~50%经步骤102归一化后的数据图像进行高斯滤波,得到仿照水雾环境的数据集图像,将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合,得到完整的煤矸石数据集;
步骤104,将步骤103得到的数据集进行标注;
应用labelme对将步骤103得到的数据集图像进行标注,采用矩形标注的形式对图像内所有目标物进行二分类标注;其中a类为运动皮带上的煤块,b类为运动皮带上的矸石块;
步骤105,对步骤104标注后的数据集均衡化;
选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类,进行边界框操作,得到数据量相对均衡的煤矸石数据集,完成对煤矸石数据集的建立。
步骤105中的边框操作为旋转、翻转、图像均衡化操作。
步骤2的具体过程为:
步骤201,改变原有YOLO网络结构;
对原有YOLO_v3中Darknet-53网络去除末端全连接层与末端的四个残差块,得到能够检测宽度为80~300mm的煤矸石的43层网络结构;
步骤202,通过如下模型损失公式(1),得到YOLO模型的损失函数;
loss=xy_loss+wh_loss+con_loss+α×class_loss  (1);
其中,模型损失分为四类,loss为模型损失,xy_loss为目标中心坐标(x,y)的损失,wh_loss为目标长宽距离w、h的损失,con_loss为置信度损失,class_loss为分类损失,α为类别权重,(x,y)为预测矩形框左上顶点像素坐标,w、h为预测矩形框像素宽、长;
步骤203,从步骤1建立的数据集中提取训练集数据;
将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集,提取划分完成的训练集煤矸石数据;
步骤204,带入改进YOLO模型;
将步骤203所得的训练集煤矸石数据带入改进YOLO模型,得到输出煤矸石识别模型并保存。
步骤4的具体过程为:
步骤401,对步骤3采集的实时视频进行归一化,统一现场实时视频图像大小;
步骤402,将步骤401归一化后的实时图像进行均匀减帧,得到均匀减帧的视频流;
步骤403,将步骤402得到的均匀减帧的视频流图像窗口均匀分为三部分,图像最上部分S1为预备检测区,图像第二部分S2为检测区,图像最下部分S3为候补检测区;
步骤404,将步骤403划分后的图像带入步骤2训练完成的模型,得到经过模型预测的目标中心坐标、目标大小、目标类别三类数据;
步骤405,提取步骤404输出的目标中心坐标、目标大小、目标类别信息,对视频流中当前帧的检测结果进行质心与矩形标注,将单目标物检测类别实时标注在矩形标注左上角;
步骤406,对步骤405标注后的目标物类别进行统计并固定;
当目标物x1出现,目标质心在预备检测区S1,不对目标进行统计;
当目标物x1流经预备检测区S1,目标质心出现在检测区S2时,开始统计每帧目标物x1类别;
当目标物x1流经检测区S2,目标质心出现在候补检测区S3,结束对目标物x1类别统计;
通过统计目标物x1在统计中出现煤块和矸石块这两个类别的次数,出现次数多的类别为目标物x1的固定类别。
步骤406的具体过程为:
设置参数
Figure BDA0002543903760000051
Figure BDA0002543903760000052
初始值为0;目标物x1质心在统计区域S2中时,当目标物x1当前检测为煤块,参数
Figure BDA0002543903760000053
当目标物x1当前检测为矸石块,参数
Figure BDA0002543903760000054
当目标物x1质心离开统计区域S2时,若参数
Figure BDA0002543903760000055
则目标物x1固定为煤块,若参数
Figure BDA0002543903760000056
则目标物x1固定为矸石块。
步骤5的具体步骤为:
步骤501,提取步骤404实时输出的三类数据,读取实时经过模型检测的视频;
步骤502,判断当前检测帧是否存在新增固定目标物类别,若存在,运行步骤503,若不存在,运行下一帧并执行步骤501;
步骤503,将新增目标物的像素坐标系转化为世界坐标系,得到像素坐标转化为世界坐标的系数β;
步骤504,计算煤矸石目标物大小与相距皮带边沿距离。
提取目标物矩形标注的四种参数xs,ys,ws,hs,通过如下公式(2)确定煤矸石目标物的大小如下公式(3)、(4)所示;同时通过如下公式(2)确定煤矸石目标物距皮带边沿的距离如下公式(5)所示:
(xs,ys,ws,hs)=β(x,y,w,h)  (2);
ws=βw  (3);
hs=βh  (4);
xs=βx  (5);
xs为目标距离图像左边沿位置的实际距离,ys为目标距离图像上边沿位置的实际距离,ws为二维目标实际宽度,hs为二维目标实际长度;设置摄像头高度,一般将图像左边沿近似为皮带边沿,因此,xs为煤矸石目标物距皮带边沿的距离。
本发明的有益效果是,本发明采用图像识别运动皮带上的煤矸石,解决了射线方法对环境的污染问题;通过建立数据库并带入改进YOLO_v3目标检测网络,从而针对煤矸石物体大小与原目标网络特征进行改进,增强了在煤矸石背景数据下单帧图像的检测精度;采用图像检测区三等划分,解决了由模型在检测过程中带来的部分结果误差问题;采用像素坐标系转化世界坐标系,将图像信息距离话,便于反馈设备、存储设备的储存与响应,减少煤矿企业的经济损失,便于推广使用。
附图说明
图1是本发明一种用于地面运动皮带上实时煤矸石定位识别方法的流程图;
图2是本发明一种用于地面运动皮带上实时煤矸石定位识别方法中数据集建立的流程图;
图3是本发明一种用于地面运动皮带上实时煤矸石定位识别方法中图像三部分检测区划分示意图;
图4是本发明一种用于地面运动皮带上实时煤矸石定位识别方法中计算煤矸石大小与相对位置的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种用于地面运动皮带上实时煤矸石定位识别方法,如图1所示,具体包括如下步骤:
步骤1,数据集建立;数据集通过200万像素摄像机连续拍摄7*24小时平顶山天安煤业股份有限公司四矿煤楼手选皮带,煤矸石大小主要集中在80-300mm,采用俯视拍摄角度,摄像机距手选皮带垂直距离约50-100cm,经过labelme标注生成xml文件,最终标注图像高于3000张。
步骤1的具体过程为,参见图2;
步骤101,数据集数据搜集;
查询原有地面运动皮带历史视频,选取皮带上存在运动煤矸石目标的视频段,手动将选取视频段拆分为单帧图像;
视频段拆分为单帧图像,以每两秒储存一张图像的速率,对所述视频段进行拆帧,得到相似性较小的数据图像。
步骤102,数据图像归一化;
对拆分的单帧图像进行图像大小归一化,将图像统一为416×416×3,得到大小统一的归一化图像;
步骤103,图像数据模糊;
选取20~50%经步骤102归一化后的数据图像进行高斯滤波,得到仿照水雾环境的数据集图像,将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合,得到完整的煤矸石数据集;高斯滤波模板为3×3,高斯滤波中标准差σ的取值范围为0<σ≤1。
步骤104,将步骤103得到的数据集进行标注;
应用labelme对将步骤103得到的数据集图像进行标注,采用矩形标注的形式对图像内所有目标物进行二分类标注;其中a类为运动皮带上的煤块,b类为运动皮带上的矸石块;
步骤105,对步骤104标注后的数据集均衡化;
选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类,进行边界框操作,得到数据量相对均衡的煤矸石数据集,完成对煤矸石数据集的建立。边框操作为旋转、翻转、图像均衡化操作。
步骤2,训练目标检测模型;
步骤2的具体过程为:
步骤201,改变原有YOLO网络结构;
对原有YOLO_v3中Darknet-53网络去除末端全连接层与末端的四个残差块,得到能够检测宽度为80~300mm的煤矸石的43层网络结构;
改变原有YOLO网络结构,在前馈网络结束后,网络中底层特征图逐层与前层特征融合,不存在8倍采样的感受野,只存在32倍与16倍采样感受野,对网络第26层进行下采样。
残差块由一层1×1卷积层、一层3×3卷积层与卷积层之间的跳跃连接构成。
引入学习率衰减概念,在Adam优化算法的基础上引入Logistic学习率衰减;
Logistic学习率衰减,在
Figure BDA0002543903760000091
的条件下,满足等式-2a≈nb,得出
Figure BDA0002543903760000092
公式,其中n为学习总轮数,y为输出学习率,得到提高模型准确率的学习率衰减函数。
步骤202,增加类别损失权重,通过如下模型损失公式(1),得到YOLO模型的损失函数;
loss=xy_loss+wh_loss+con_loss+α×class_loss  (1);
其中,模型损失分为四类,loss为模型损失,xy_loss为目标中心坐标(x,y)的损失,wh_loss为目标长宽距离w、h的损失,con_loss为置信度损失,class_loss为分类损失,α为类别权重,(x,y)为预测矩形框左上顶点像素坐标,w、h为预测矩形框像素宽、长;类别权重α的取值范围为1<α≤2。
步骤203,从步骤1建立的数据集中提取训练集数据;
将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集,提取划分完成的训练集煤矸石数据;将原数据集中训练数据集与测试数据集按照8:2的数据量进行划分。
步骤204,带入改进YOLO模型;
将步骤203所得的训练集煤矸石数据带入改进YOLO模型,得到输出煤矸石识别模型并保存。
通过改进模型与加入学习率衰减函数,通过识别率进行验证,原有模型煤矸石平均识别率为80.26%,经过模型改进后,能够有效将识别率提升至90.01%,检测速度为53.5帧/秒。
步骤3,实时图像采集:通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流;
步骤4,提取模型检测实时视频,统计实时视频中目标物类别;
步骤4的具体过程为:
步骤401,对步骤3采集的实时视频进行归一化,将实时图像归一化为416×416大小的图像;
步骤402,将步骤401归一化后的实时图像进行均匀减帧,将归一化实时视频流由原24帧/秒速度减帧为5帧/秒,得到均匀减帧的视频流;
步骤403,将步骤402得到的均匀减帧的视频流图像窗口均匀分为三部分,图像最上部分S1为预备检测区,图像第二部分S2为检测区,图像最下部分S3为候补检测区;参见图3;
实时视频图像大小为416×416,预备检测区S1区域为像素点(0,0)与像素点(416,138)构成的矩形区域,检测区S2区域为像素点(0,138)与像素点(416,277)构成的矩形区域,候补检测区S3区域为像素点(0,277)与像素点(416,416)构成的矩形区域,皮带上运动的煤流运动方向由预备检测区S1最终流向候补检测区S3
步骤404,将步骤403划分后的图像带入步骤2训练完成的模型,得到经过模型预测的目标中心坐标、目标大小、目标类别三类数据;
步骤405,提取步骤404输出的目标中心坐标、目标大小、目标类别信息,对视频流中当前帧的检测结果进行质心与矩形标注,将单目标物检测类别实时标注在矩形标注左上角;
步骤406,对步骤405标注后的目标物类别进行统计并固定;
当目标物x1出现,目标质心在预备检测区S1,不对目标进行统计;
当目标物x1流经预备检测区S1,目标质心出现在检测区S2时,开始统计每帧目标物x1类别;
当目标物x1流经检测区S2,目标质心出现在候补检测区S3,结束对目标物x1类别统计;
通过统计目标物x1在统计中出现煤块和矸石块这两个类别的次数,出现次数多的类别为目标物x1的固定类别。
步骤406的具体过程为:
设置参数
Figure BDA0002543903760000111
Figure BDA0002543903760000112
初始值为0;目标物x1质心在统计区域S2中时,当目标物x1当前检测为煤块,参数
Figure BDA0002543903760000113
当目标物x1当前检测为矸石块,参数
Figure BDA0002543903760000114
当目标物x1质心离开统计区域S2时,若参数
Figure BDA0002543903760000115
则目标物x1固定为煤块,若参数
Figure BDA0002543903760000116
则目标物x1固定为矸石块。
通过划分检测区,能有效避免目标刚出现在图像识别范围,由于视角不完整,造成的多种误识别,从而延长目标分类时间,减少由于光强度变化造成的识别结果差异,为后续反馈设备提供可靠类别。
步骤5,基于步骤4确定的目标物类别,计算煤矸石大小并确定相对位置。
步骤5的具体步骤为:参见图4;
步骤501,提取步骤404实时输出的三类数据,读取实时经过模型检测的视频;
步骤502,判断当前检测帧是否存在新增固定目标物类别,若存在,运行步骤503,若不存在,运行下一帧并执行步骤501;
步骤503,将新增目标物的像素坐标系转化为世界坐标系,得到像素坐标转化为世界坐标的系数β;
步骤504,计算煤矸石目标物大小与煤矸石目标物距皮带边沿的距离,具体为:
提取目标物矩形标注的四种参数xs,ys,ws,hs,通过如下公式(2)确定煤矸石目标物的大小如下公式(3)、(4)所示;同时通过如下公式(2)确定煤矸石目标物距皮带边沿的距离如下公式(5)所示:
(xs,ys,ws,hs)=β(x,y,w,h)  (2);
ws=βw  (3);
hs=βh  (4);
xs=βx  (5);
xs为目标距离图像左边沿位置的实际距离,ys为目标距离图像上边沿位置的实际距离,ws为二维目标实际宽度,hs为二维目标实际长度;设置摄像头高度,一般将图像左边沿近似为皮带边沿,因此,xs为煤矸石目标物距皮带边沿的距离。
由于反馈设备无法接收图像坐标信息,一般系数β取值为10-20,具体取值依照皮带实际宽度与皮带像素宽度比值决定,八矿皮带宽1.5m,系数设置为15.81,能够使得抓取设备准确分辨煤矸石目标位置。
本发明一种用于地面运动皮带上实时煤矸石定位识别方法的优点如下:
1.本发明通过阈值α,在loss=xy_loss+wh_loss+con_loss+α×class_loss的公式下,得到YOLO模型的损失函数;其中模型损失分为四类,loss为模型损失,xy_loss为(x,y)的损失,wh_loss为w、h的损失,con_loss为置信度损失,class_loss为分类损失,α为类别权重,(x,y)为预测矩形框左上顶点像素坐标,w、h为预测矩形框像素宽、长。增加分类损失比重,优化检测精度。
2.本发明通过改变原有YOLO网络结构,对原有YOLO_v3中Darknet-53网络去除末端全连接层与末端的四个残差块,得到不检测小目标的43层网络结构,去除原网络中8倍采样的感受野,只存在32倍与16倍采样感受野。得到更符合煤矸石背景的网络结构,提高网络精度。
3.本发明通过计算并固定目标物类别,设置参数
Figure BDA0002543903760000131
Figure BDA0002543903760000132
初始值为0;目标物x1质心在统计区域S2中时,当目标物x1当前检测为煤块,参数
Figure BDA0002543903760000133
当目标物x1当前检测为矸石块,参数
Figure BDA0002543903760000134
当目标物x1质心离开统计区域S2时,若参数
Figure BDA0002543903760000135
则目标物x1固定为煤块,若参数
Figure BDA0002543903760000136
则目标物x1固定为矸石块。最大限度地解决了模型在单帧检测中的检测误差。
4.本发明通过像素坐标转化世界坐标的系数β,根据矩形标注参数为(x,y)、w、h四项参数与质心点像素坐标为(x0,y0),求得目标物实际长度为β×h,目标物实际宽度为β×w,目标物距离皮带边沿距离为β×(x0-皮带边沿像素横坐标位置)。将图像信息转化为实际信息,便于反馈设备、存储设备的储存与响应。

Claims (6)

1.一种用于地面运动皮带上实时煤矸石定位识别方法,其特征在于:具体包括如下步骤:
步骤1,数据集建立;
步骤2,训练目标检测模型;
所述步骤2的具体过程为:
步骤201,改变原有YOLO网络结构;
对原有YOLO_v3中Darknet-53网络去除末端全连接层与末端的四个残差块,得到能够检测宽度为80~300mm的煤矸石的43层网络结构;
步骤202,通过如下模型损失公式(1),得到YOLO模型的损失函数;
loss=xy_loss+wh_loss+con_loss+α×class_loss(1);
其中,模型损失分为四类,loss为模型损失,xy_loss为目标中心坐标(x,y)的损失,wh_loss为目标长宽距离w、h的损失,con_loss为置信度损失,class_loss为分类损失,α为类别权重,(x,y)为预测矩形框左上顶点像素坐标,w、h为预测矩形框像素宽、长;
步骤203,从步骤1建立的数据集中提取训练集数据;
将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集,提取划分完成的训练集煤矸石数据;
步骤204,带入改进YOLO模型;
将步骤203所得的训练集煤矸石数据带入改进YOLO模型,得到输出煤矸石识别模型并保存;
步骤3,实时图像采集:通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流;
步骤4,提取模型检测实时视频,统计实时视频中目标物类别;
所述步骤4的具体过程为:
步骤401,对步骤3采集的实时视频进行归一化,统一现场实时视频图像大小;
步骤402,将步骤401归一化后的实时图像进行均匀减帧,得到均匀减帧的视频流;
步骤403,将步骤402得到的均匀减帧的视频流图像窗口均匀分为三部分,图像最上部分S1为预备检测区,图像第二部分S2为检测区,图像最下部分S3为候补检测区;
步骤404,将步骤403划分后的图像带入步骤2训练完成的模型,得到经过模型预测的目标中心坐标、目标大小、目标类别三类数据;
步骤405,提取步骤404输出的目标中心坐标、目标大小、目标类别信息,对视频流中当前帧的检测结果进行质心与矩形标注,将单目标物检测类别实时标注在矩形标注左上角;
步骤406,对步骤405标注后的目标物类别进行统计并固定;
当目标物x1出现,目标质心在预备检测区S1,不对目标进行统计;
当目标物x1流经预备检测区S1,目标质心出现在检测区S2时,开始统计每帧目标物x1类别;
当目标物x1流经检测区S2,目标质心出现在候补检测区S3,结束对目标物x1类别统计;
通过统计目标物x1在统计中出现煤块和矸石块这两个类别的次数,出现次数多的类别为目标物x1的固定类别;
步骤5,基于步骤4确定的目标物类别,计算煤矸石大小并确定相对位置。
2.根据权利要求1所述的一种用于地面运动皮带上实时煤矸石定位识别方法,其特征在于:所述步骤1的具体过程为:
步骤101,数据集数据搜集;
查询原有地面运动皮带历史视频,选取皮带上存在运动煤矸石目标的视频段,手动将选取的视频段拆分为单帧图像;
步骤102,数据图像归一化;
将步骤101拆分后的单帧图像进行图像大小归一化,得到大小统一的归一化图像;
步骤103,图像数据模糊;
选取20~50%经步骤102归一化后的数据图像进行高斯滤波,得到仿照水雾环境的数据集图像,将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合,得到完整的煤矸石数据集;
步骤104,将步骤103得到的数据集进行标注;
应用labelme对将步骤103得到的数据集图像进行标注,采用矩形标注的形式对图像内所有目标物进行二分类标注;其中a类为运动皮带上的煤块,b类为运动皮带上的矸石块;
步骤105,对步骤104标注后的数据集均衡化;
选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类,进行边界框操作,得到数据量相对均衡的煤矸石数据集,完成对煤矸石数据集的建立。
3.根据权利要求2所述的一种用于地面运动皮带上实时煤矸石定位识别方法,其特征在于:所述步骤105中的边框操作为旋转、翻转、图像均衡化操作。
4.根据权利要求1所述的一种用于地面运动皮带上实时煤矸石定位识别方法,其特征在于:所述步骤406的具体过程为:
设置参数
Figure FDA0004054087670000041
初始值为0;目标物x1质心在统计区域S2中时,当目标物x1当前检测为煤块,参数
Figure FDA0004054087670000042
当目标物x1当前检测为矸石块,参数
Figure FDA0004054087670000043
当目标物x1质心离开统计区域S2时,若参数
Figure FDA0004054087670000044
则目标物x1固定为煤块,若参数
Figure FDA0004054087670000045
则目标物x1固定为矸石块。
5.根据权利要求4所述的一种用于地面运动皮带上实时煤矸石定位识别方法,其特征在于:所述步骤5的具体步骤为:
步骤501,提取步骤404实时输出的三类数据,读取实时经过模型检测的视频;
步骤502,判断当前检测帧是否存在新增固定目标物类别,若存在,运行步骤503,若不存在,运行下一帧并执行步骤501;
步骤503,将新增目标物的像素坐标系转化为世界坐标系,得到像素坐标转化为世界坐标的系数β;
步骤504,计算煤矸石目标物大小与相距皮带边沿距离。
6.根据权利要求5所述的一种用于地面运动皮带上实时煤矸石定位识别方法,其特征在于:所述步骤504的具体过程为:
提取目标物矩形标注的四种参数xs,ys,ws,hs,通过如下公式(2)确定煤矸石目标物的大小如下公式(3)、(4)所示;同时通过如下公式(2)确定煤矸石目标物距皮带边沿的距离如下公式(5)所示:
(xs,ys,ws,hs)=β(x,y,w,h)(2);
ws=βw(3);
hs=βh(4);
xs=βx(5);
xs为目标距离图像左边沿位置的实际距离,ys为目标距离图像上边沿位置的实际距离,ws为二维目标实际宽度,hs为二维目标实际长度;设置摄像头高度,一般将图像左边沿近似为皮带边沿,因此,xs为煤矸石目标物距皮带边沿的距离。
CN202010554760.2A 2020-06-17 2020-06-17 一种用于地面运动皮带上实时煤矸石定位识别方法 Active CN111709935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554760.2A CN111709935B (zh) 2020-06-17 2020-06-17 一种用于地面运动皮带上实时煤矸石定位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554760.2A CN111709935B (zh) 2020-06-17 2020-06-17 一种用于地面运动皮带上实时煤矸石定位识别方法

Publications (2)

Publication Number Publication Date
CN111709935A CN111709935A (zh) 2020-09-25
CN111709935B true CN111709935B (zh) 2023-04-07

Family

ID=72541114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554760.2A Active CN111709935B (zh) 2020-06-17 2020-06-17 一种用于地面运动皮带上实时煤矸石定位识别方法

Country Status (1)

Country Link
CN (1) CN111709935B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330607A (zh) * 2020-10-20 2021-02-05 精英数智科技股份有限公司 基于图像识别技术的煤矸识别方法、装置及系统
CN112508001A (zh) * 2020-12-03 2021-03-16 安徽理工大学 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法
CN112446914B (zh) * 2020-12-04 2023-08-15 中国矿业大学(北京) 一种放顶煤过程中的煤矸石质量计算方法及系统
CN112686250A (zh) * 2020-12-23 2021-04-20 三梁环境技术(山西)有限公司 一种煤矸石分类方法、装置、设备及存储介质
TWI819266B (zh) 2021-01-06 2023-10-21 緯創資通股份有限公司 物件計數系統及物件計數方法
CN112784904A (zh) * 2021-01-26 2021-05-11 山西三友和智慧信息技术股份有限公司 一种基于MobileNet的煤矸石自动识别方法
CN112871751A (zh) * 2021-02-03 2021-06-01 精英数智科技股份有限公司 识别煤和煤矸石的方法及其识别装置
CN112991438B (zh) * 2021-04-12 2023-05-12 天津美腾科技股份有限公司 煤矸检测识别系统、智能放煤系统和模型的训练方法
CN113989251B (zh) * 2021-11-02 2022-05-24 河南中平自动化股份有限公司 一种矿用煤矸分选智能控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934170A (zh) * 2019-03-13 2019-06-25 武汉大学 一种基于计算机视觉的矿山资源统计方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109934170A (zh) * 2019-03-13 2019-06-25 武汉大学 一种基于计算机视觉的矿山资源统计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何克焓 ; .基于卷积神经网络的煤矸石图像识别研究.河南科技.2020,(04),全文. *
程健 ; 王东伟 ; 杨凌凯 ; 张美玲 ; 郭一楠 ; .一种改进的高斯混合模型煤矸石视频检测方法.中南大学学报(自然科学版).2018,(01),全文. *

Also Published As

Publication number Publication date
CN111709935A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111709935B (zh) 一种用于地面运动皮带上实时煤矸石定位识别方法
CN107617573B (zh) 一种基于多任务深度学习的物流编码识别和分拣方法
CN110390691B (zh) 一种基于深度学习的矿石尺度测量方法及应用系统
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN111241931B (zh) 一种基于YOLOv3的空中无人机目标识别和跟踪方法
CN109550712A (zh) 一种化纤丝尾丝外观缺陷检测系统及方法
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN113283395B (zh) 一种运煤皮带转接处堵塞异物的视频检测方法
CN111242108A (zh) 基于目标检测的皮带转载点堵煤识别方法
CN102706274A (zh) 工业结构化场景中机器视觉精确定位机械零件的系统
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN111738367B (zh) 一种基于图像识别的零件分类方法
CN113222938A (zh) 芯片缺陷检测方法及系统与计算机可读存储介质
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN115082923B (zh) 一种基于机器视觉的牛奶包装盒生产日期识别方法
CN111723861B (zh) 一种用于煤矿控制挡板的煤矸石百分比识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant