CN112347841A - 一种基于深度学习的矸石充填捣实机构防碰撞应用方法 - Google Patents

一种基于深度学习的矸石充填捣实机构防碰撞应用方法 Download PDF

Info

Publication number
CN112347841A
CN112347841A CN202010870773.0A CN202010870773A CN112347841A CN 112347841 A CN112347841 A CN 112347841A CN 202010870773 A CN202010870773 A CN 202010870773A CN 112347841 A CN112347841 A CN 112347841A
Authority
CN
China
Prior art keywords
scraper conveyor
distance
specific point
tamping
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010870773.0A
Other languages
English (en)
Other versions
CN112347841B (zh
Inventor
高�浩
胡敏
李昊伦
金晓燕
成超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010870773.0A priority Critical patent/CN112347841B/zh
Publication of CN112347841A publication Critical patent/CN112347841A/zh
Application granted granted Critical
Publication of CN112347841B publication Critical patent/CN112347841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的矸石充填捣实机构防碰撞应用方法，制作矸石充填捣实数据集并使用神经网络进行训练，训练得到权重；视频以逐帧图片形式输入神经网络，使用训练好的权重对捣实过程中的捣实机构和刮板输送机进行预测识别；步骤三，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离；步骤四，设置安全阈值，若刮板输送机和捣实机构之间的距离大于安全阈值，则控制系统控制捣实机构正常运行；若刮板输送机和捣实机构之间的距离小于安全阈值，则控制系统控制捣实机构停止运行，调整捣实机构与刮板输送机之间的距离。通过深度学习的方法将目标检测问题转化为回归问题，有效解决了捣实机构与刮板输送机之间防碰撞的问题。

Description

一种基于深度学习的矸石充填捣实机构防碰撞应用方法
技术领域
本发明涉及一种基于深度学习的矸石充填捣实机构防碰撞应用方法，属于煤矿捣实视觉自动检测识别控制技术领域。
背景技术
我国目前每年由于煤炭开采塌陷土地面积约4万公顷,受煤炭开采影响下沉的土地面积约60万公顷，直接经济损失约20亿元。煤矿开采造成的土地破坏不仅使农民失去赖以生存的土地，而且还导致了一系列严重的社会与生态环境问题。
矿井一直重视矿区的资源与环境协调发展，着力寻求合理开发利用矿产资源、保护地表建筑和保护环境的新途径。自2008年以来，由于煤矿矸石充填捣实能够很好的保护环境，矸石充填捣实系统也随之被广泛使用在煤矿开采保护中。然而传统的矸石充填捣实系统需要矿工长时间24小时轮班保持在矿井下，通过工作经验手动来操作矸石充填捣实系统。这样会大量耗费人力，随着人力的费用越来越高昂。如果一直保持数人的轮班工作，不仅是对人力资源的浪费，而且受到煤矿复杂环境的影响，人工操作在轮班倒的情况下会不可避免的造成操作上的失误和疏漏。在实际的工程操作中，发生了多起捣实机构撞断刮板输送机的事故。这些如果一直保持人工操作的话，这些情况显然是不可避免的。传
由于压实扳与后部底卸式刮板输送机之间的动作关系和安全距离，传统的到位、限位、倾角等动作感知传感器无法利用，一是捣实机构与刮板输送机之间安装外置传感器无法固定或固定位置不佳，无法正常发挥传感器作用；二是捣实机构属于动作部位，传感器运行环境与电源提供、线缆管理等问题难以解决，传感器、线缆极易在捣实过程中损坏，造成系统保护不工作，影响整个充填捣实系统的工作效率，如何摒弃传统方式解决捣实机构防碰撞成为制约后部智能化升级改造必须要解决和攻克的最大技术难点。
现有技术中的视觉检测方法大部分依靠工作台、机械臂、CCD镜头等与标准图像进行对比分析，这种方法速度慢且自动化程度不高。随着深度学习的蓬勃发展，更多基于神经网络的实时目标检测方法成为视频检测的热门研究方向，这种办法速度快，精度高，同时可以实现端到端的检测方案，自动化程度也比较高。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于深度学习的矸石充填捣实机构防碰撞应用方法，该方法实现了基于视频的实时目标检测，能将传统的图像处理、目标检测、测距算法与PLC控制进行封装统一，提高检测的自动化程度和精确度。
为达到上述目的，本发明提供一种基于深度学习的矸石充填捣实机构防碰撞应用方法，包括以下步骤：
步骤一，制作数据集并使用神经网络进行训练，训练得到相应的权重；
步骤二，视频以逐帧图片的形式输入神经网络，使用训练好的权重对捣实过程中的捣实机构和刮板输送机进行预测识别；
步骤三，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离，设置安全阈值；
步骤四，若刮板输送机和压实板之间的距离大于安全阈值，则控制系统控制捣实机构正常运行；
若刮板输送机和压实板之间的距离小于安全阈值，则控制系统控制捣实机构停止运行，调整压实板与刮板输送机之间的距离，执行步骤三。
优先地，步骤一中，调整摄像仪的采集角度和光照环境，摄像仪采集矿井下捣实环境的视频，对视频截图保存得到图像，根据角点坐标对图像进行放射变换和透视变换得到矫正后的图像，并在神经网络上训练图像，分别对压实板和刮板输送机进行标注并制作成数据集；
优先地，步骤二中，在捣实过程中采用YOLOV3网络结构训练得到权重，采用YOLOV3网络结构对压实板和刮板输送机进行预测识别和定位。
优先地，步骤三中，对图像进行逐帧处理，控制系统计算出压实板与刮板输送机之间像素级别的差值，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离。
优先地，步骤四中，将步骤三中测得的距离与安全阈值进行比较，若距离小于安全阈值，则报警并输出信号给到控制系统。
优先地，步骤四中，根据收到的信号，控制系统控制调整压实板与刮板输送机的距离，控制系统实时使用测距算法测出压实板与刮板输送机之间的距离；
对YOLOV3网络预测出来的边界框进行算法分析，测距是基于像素的距离计算，在图像中刮板输送机和压实板之间的纵向像素差值，得到刮板输送机和压实板之间的距离的数值。
优先地，在压实板的边界框上边缘选定特定点A和特定点B，将特定点A向上延长至刮板输送机的边界框的下边缘相交得到新特定点A’，将特定点B向上延长至刮板输送机的边界框的下边缘相交得到新特定点B’；
以图像的左上角的像素点作为(0，0)起点的，特定点A在图像中纵坐标的像素值减去新特定点A’在图像中纵坐标的像素值即特定点A和新特定A’两者的像素距离，特定点B在图像中纵坐标的像素值减去新特定点B’在图像中纵坐标的像素值即特定点B和新特定B’两者的像素距离；
将特定点A和新特定A’两者的像素距离、特定点B和新特定B’两者的像素距离分别与安全阈值比较，对当前捣实机构的安全性进行实时的判定；
找到一个参照物，测量参照物的实物长度，以及在图像中该参照物实物长度所占像素值，参照物的实物长度除以像素值得到比值，从而得到摄镜仪与实物之间的实物像素比，将安全阈值的实际大小换算为安全阈值的像素值，输出安全阈值的像素值；安全阈值的像素值取值 10个像素。
优先地，训练使用的最小的图像尺寸为320x 320像素，最大的图像尺寸为608x608 像素。
优先地，YOLOV3网络使用Darknet-53去除全连接层的前面52层，Darknet-53采用残差网络的跳层连接方式。
优先地，YOLOV3网络预测出压实板的像素位置和压实板的边界框的大小，YOLOV3网络预测出刮板输送机的像素位置和刮板输送机的边界框的大小，压实板的边界框和刮板输送机的边界框预测公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure RE-GDA0002885159800000031
Figure RE-GDA0002885159800000032
其中，(bx,by)为需要预测的边界框的中心点坐标，bw为边界框的宽度，bh为边界框的高度，(tx,ty)是预测的边界框中心点坐标的坐标偏移值；(tw,th)是尺度缩放，tw和th分别经过sigmoid函数输出0-1之间的偏移量，tw与cx相加得到边界框中心点的X轴坐标，th与 cy相加得到边界框中心点的Y轴坐标；(cx,cy)是相对于边界框左上角的位置坐标；pw是预设的锚框映射到特征图中的宽，ph是预设的锚框映射到特征图中的高；tw与pw作用后得到边界框的宽度bw,th与ph作用后得到边界框的高度bh。
本发明所达到的有益效果：
本方法实现了基于视频的实时目标检测，能将传统的图像处理、目标检测、测距算法与 PLC控制进行封装统一，运用神经网络相对于传统方法更加快速、准确和稳定的特性，提高检测的自动化程度和精确度；本发明通过深度学习的方法将目标检测问题转化为回归问题，有效解决了智能化矸石充填工作面后部捣实机构与刮板输送机之间防碰撞的问题，简化了系统安装使用和维护，创造了良好的经济效益和社会效益。
附图说明
图1是现有技术中的捣实机构的结构图；
图2为本发明中摄像仪和探照灯安装示意图；
图3为本发明中矸石充填捣实系统的流程图；
图4为本发明中YOLOV3网络结构图。
附图标记含义，1-后梁；2-刮板输送机；3-压实板；4-捣实千斤顶；5-捣实油缸；6-摆梁升降油缸；7-底座；8-照明灯；9-摄像仪。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
一种基于深度学习的矸石充填捣实机构防碰撞应用方法，包括以下步骤：
步骤一，制作数据集并使用神经网络进行训练，训练得到相应的权重；
步骤二，视频以逐帧图片的形式输入神经网络，使用训练好的权重对捣实过程中的捣实机构和刮板输送机进行预测识别；
步骤三，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离，设置安全阈值；
步骤四，若刮板输送机和压实板之间的距离大于安全阈值，则控制系统控制捣实机构正常运行；
若刮板输送机和压实板之间的距离小于安全阈值，则控制系统控制捣实机构停止运行，调整压实板与刮板输送机之间的距离，执行步骤三。
进一步地，步骤一中，调整摄像仪的采集角度和光照环境，摄像仪采集矿井下捣实环境的视频，对视频截图保存得到图像，根据角点坐标对图像进行放射变换和透视变换得到矫正后的图像，并在神经网络上训练图像，分别对压实板和刮板输送机进行标注并制作成数据集；
进一步地，步骤二中，在捣实过程中采用YOLOV3网络结构训练得到权重，采用YOLOV3 网络结构对压实板和刮板输送机进行预测识别和定位。
进一步地，步骤三中，对图像进行逐帧处理，控制系统计算出压实板与刮板输送机之间像素级别的差值，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离。
进一步地，步骤四中，将步骤三中测得的距离与安全阈值进行比较，若距离小于安全阈值，则报警并输出信号给到控制系统。
进一步地，步骤四中，根据收到的信号，控制系统控制调整压实板与刮板输送机的距离，控制系统实时使用测距算法测出压实板与刮板输送机之间的距离；
对YOLOV3网络预测出来的边界框进行算法分析，测距是基于像素的距离计算，在图像中刮板输送机和压实板之间的纵向像素差值，得到刮板输送机和压实板之间的距离的数值。
进一步地，在压实板的边界框上边缘选定特定点A和特定点B，将特定点A向上延长至刮板输送机的边界框的下边缘相交得到新特定点A’，将特定点B向上延长至刮板输送机的边界框的下边缘相交得到新特定点B’；
以图像的左上角的像素点作为(0，0)起点的，特定点A在图像中纵坐标的像素值减去新特定点A’在图像中纵坐标的像素值即特定点A和新特定A’两者的像素距离，特定点B在图像中纵坐标的像素值减去新特定点B’在图像中纵坐标的像素值即特定点B和新特定B’两者的像素距离；
将特定点A和新特定A’两者的像素距离、特定点B和新特定B’两者的像素距离分别与安全阈值比较，对当前捣实机构的安全性进行实时的判定；
找到一个参照物，测量参照物的实物长度，以及在图像中该参照物实物长度所占像素值，参照物的实物长度除以像素值得到比值，从而得到摄镜仪与实物之间的实物像素比，将安全阈值的实际大小换算为安全阈值的像素值，输出安全阈值的像素值；安全阈值的像素值取值 10个像素。
进一步地，训练使用的最小的图像尺寸为320x 320像素，最大的图像尺寸为608x608 像素。
进一步地，YOLOV3网络预测出压实板的像素位置和压实板的边界框的大小，YOLOV3网络预测出刮板输送机的像素位置和刮板输送机的边界框的大小，压实板的边界框和刮板输送机的边界框预测公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure RE-GDA0002885159800000051
Figure RE-GDA0002885159800000052
其中，(bx,by)为需要预测的边界框的中心点坐标，bw为边界框的宽度，bh为边界框的高度，(tx,ty)是预测的边界框中心点坐标的坐标偏移值；(tw,th)是尺度缩放，tw和th分别经过sigmoid函数输出0-1之间的偏移量，tw与cx相加得到边界框中心点的X轴坐标，th与cy相加得到边界框中心点的Y轴坐标；(cx,cy)是相对于边界框左上角的位置坐标；pw是预设的锚框映射到特征图中的宽，ph是预设的锚框映射到特征图中的高；tw与pw作用后得到边界框的宽度bw,th与ph作用后得到边界框的高度bh。
进一步地，安全阈值最小为2CM。
YOLOV3使用新的网络来实现特征提取。在Darknet-19中添加残差网络的混合方式，使用连续的3×3和1×1卷积层，将其扩充为53层并称之为Darknet-53，并作为YOLOV3的主干网络。YOLOV3网络使用Darknet-53主干网络去除全连接层的前面52层，Darknet-53 主干网络采用残差网络的跳层连接方式。
在目标检测时，首先生成多个锚框，然后为每个锚框预测类别以及偏移量，接着根据预测的偏移量调整锚框位置从而得到预测边界框，最后筛选需要输出的预测边界框。锚框用来实现一个窗口能够检测多个目标。
特征图是卷积核对图像卷积的结果，可以实现多个角度去分析图片。不同的特征提取(核) 会提取不同的特征。
控制系统为PLC控制台，整个过程是基于PLC控制台进行操作的。PLC控制技术是一种可编程的控制器技术，这种控制技术是在计算机技术的基础上进行工业领域的一种控制装置。它采用编制程序的存储器，用来在其内部存储执行逻辑运算、顺序运算、计时、计数和算术运算等操作的指令，并能通过数字式或模拟式的输入和输出，控制各种类型的机械或生产过程。PLC的控制技术都应该与工业控制系统形成一个整体，易于扩展其功能的原则而设计。
如图1所示，矸石充填捣实装置主要由前部割煤系统和后部充填捣实部分组成，前部割煤系统由采煤机、液压支架和刮板输送机等设备组成，实现工作面的破煤、落煤、装煤与运煤，后部充填捣实部分由液压支架、底卸式刮板输送机组成，实现工作面采空区的矸石充填，整个矸石充填过程，是由压实板对刮板输送机输送过来的矸石进行捣实工作。
如图2所示，在硬件安装方面：每台支架配置1台摄像仪和照明灯，通过在支架摆梁油缸处安装固定支架，一侧安装照明灯保证摄像仪拍摄区域有充足的光照，同时在安装支架另一侧固定高清的摄像仪作为视频传感器，代替人眼睛对捣实机构的动作进行识别，捣实作业时将监测到的信号反馈给PLC控制台，由PLC控制台控制捣实机构在安全距离范围内进行捣实作业。
如图3所示，步骤一进一步包括：制作数据集的步骤总共包括两步。第一步为采集数据，由于每一个矸石充填捣实环境都安装了摄像仪，对摄像仪按一定角度下载过往的录像。对录像采用专业的软件，按一定的帧速进行截图得到图像。第二步为标注数据，先通过仿射变换与图像变换对采集数据进行扩充，仿射变换对图像进行旋转、平移或缩放等操作，图像变换对图像进行加噪声、色彩偏移、高斯模糊或锐化等操作，再对图像进行扩充，采用合环境需求标注方法对捣实机构和刮板输送机进行信息标注得到需要的矸石充填捣实数据集。在制作矸石充填捣实数据集时，训练集、验证集、测试机划分比例为：7：2：1。
YOLOV3依然采用YOLOV2中Multi-Scale Training的思想，每隔几次迭代后就会微调网络的输入尺寸。训练时每迭代10次就会随机选择新的输入图像尺寸，因为YOLOV3的网络使用的下采样倍率为32，所以使用32的倍数调整输入图像尺寸{320,352，…，608}，训练使用的最小的图像尺寸为320x 320，最大的图像尺寸为608x 608，这使得网络可以适应多种不同尺度的输入。
YOLOV3网络就是使用了Darknet-53去除全连接层的前面52层。这样是为了：网络结构能在ImageNet上有好的分类结果，从而说明这个网路能学习到好的特征。Darknet-53相对于ResNet-152和ResNet-101，不仅在分类精度上相差不大，计算速度优于ResNet-152和 ResNet-101，网络结构也更加简洁。Darknet-53采用了残差网络的跳层连接方式，性能优于 ResNet-152和ResNet-101这两种深层网络的原因为:网络的基本单元的差异，网络层数越少，参数少，需要的计算量少。
YOLOV3使用聚类算法得到9种不同宽高的先验框，前面输出的三种不同尺寸的特征图，每个特征图上的一个点只需要预测三个先验框。如COCO数据集在特征图上的anchors分布如表1所示(默认输入为416*416*3)：
表1anchors分布表
特征图大小 感受野 先验框
13*13 大 (116*90)(156*198)(373*326)
26*26 中 (30*61)(62*45)(59*119)
52*52 小 (10*13)(16*30)(33*23)
关于分类预测值，YOLOV3采用Logistic函数代替了Softmax函数，使得各个分类相互独立，实现了类别解耦。关于位置预测值，YOLOV3通常不会预测边界框中心的确切坐标，它预测的是与预测目标的网格单元左上角相关的偏移，并且使用特征图中的cell大小进行了归一化。当输入图像为416*416时，假设边框中心偏移预测值是(0.4,0.7)，则实际边框在13x13 特征图上预测所得的相对坐标是(1.4,1.7)，具体的位置x坐标还需要1.4乘以cell的宽， y坐标为1.7乘以cell的高。YOLOV3得出的宽/高偏移预测值使用图像的高和宽进行了归一化，假设预测值为(0.3,0.8)则13x13特征图的实际宽和高是(13x0.3,13x0.8)。
优选地，步骤2中，使用训练数据集获得的权重信息，YOLOV3预测出捣实机构和刮板输送机的像素位置和边界框的大小。
具体的，边框预测公式如下：
bx＝σ(tx)+cxby＝σ(ty)+cy
Figure RE-GDA0002885159800000081
其中，Cx,Cy是feature map中grid cell的左上角坐标，在YOLOV3中每个gridcell 在feature map中的宽和高均为1。这个边界框的中心属于第二行第二列的gridcell，它的左上角坐标为(1,1)，故Cx＝1,Cy＝1.公式中的Pw、Ph是预设的anchor box映射到feature map 中的宽和高(anchor box原本设定是相对于416*416坐标系下的坐标，在YOLOV3.cfg文件中写明了，代码中是把cfg中读取的坐标除以stride如32映射到featuremap坐标系中)。最终得到的边框坐标值是bx,by,bw,bh即边界框bounding box相对于feature map的位置和大小，是我们需要的预测输出坐标。
优选地，步骤3中，使用测距算法。具体的使用图像处理的办法，对YOLOV3网络预测出来的边界框，使用像素级别的距离运算，圈画出捣实过程的大概区域和其实物所占图像的像素面积，使用数学的方法，两者边界框中间的红色线段长度即为两者距离。在识别到的捣实机构的边界框上边，选定两个特定的点，同时向上延长至刮板输送机边界框的下边得到两个新的点。由于图像处理时，是以左上角的像素点作为(0，0)起点的，所以用初始的两个点在图像中纵坐标的像素值分别减去对应延长而得到的两点在图像中纵坐标的像素值，运算得到两者之间像素值的差即两者距离在像素上的体现。通过与安全阈值的比较会对当时系统的安全性进行实时的判定，安全阈值的取值则根据实地测量和操作要求，设置两者的最小安全距离为2CM，通过找到一个参照物测量实物长度其在图像中所占像素值进行比值，从而得到一个镜头与实物之间的实物像素比，将实物安全阈值距离换算为像素值，得到大约为10pixel 即作为安全阈值，同时输出距离结果。
优选地，步骤4中，步骤3输出的距离数值，用来与安全阈值进行大小的比较。如果距离大于安全阈值，说明此时捣实过程较为安全，在视频的右上角会显示Safe。系统会输出安全的信号输出到PLC系统上，PLC控制捣实机构继续安全生产。反之，则执行步骤5。
优选地，步骤5中，PLC收到步骤4中发出的不安全信号，在视频的右上角会显示Dangerous，同时控制捣实机构慢慢调整与刮板输送机之间的距离。并执行步骤4，对捣实机构和刮板输送机实时保持测距。
优选地，步骤6中，重复执行步骤3至步骤5始终使捣实机构和刮板输送机一直处在安全距离保持工作。
图4为YOLOV3网络结构。详细的网络结构已经在对步骤介绍中详细介绍。图中DBL为是网络结构的最小组件，Res是残差网络模块，Concat为通道凭借模块。YOLOV3在Darknet-53 的基础上通过上采样和Concat操作，输出了三个大小不同的特征图，从上到下分别对应深层 /中层/浅层特征，实现了深浅层特征的融合。
其中还包含测距算法，中间红色线条像素长度为两个边界框的距离，对下框上边界随机采点，同时采集向上延伸到的第一个点。将两个点的纵向像素值进行相减，从而得到图片中两物体的像素距离。将像素距离与设定的安全阈值不断比较，根据输出的信号，PLC实现对捣实系统的实时安全控制。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，包括以下步骤：
步骤一，制作数据集并使用神经网络进行训练，训练得到相应的权重；
步骤二，视频以逐帧图片的形式输入神经网络，使用训练好的权重对捣实过程中的捣实机构和刮板输送机进行预测识别；
步骤三，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离，设置安全阈值；
步骤四，若刮板输送机和压实板之间的距离大于安全阈值，则控制系统控制捣实机构正常运行；
若刮板输送机和压实板之间的距离小于安全阈值，则控制系统控制捣实机构停止运行，调整压实板与刮板输送机之间的距离，执行步骤三。
2.根据权利要求1所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，步骤一中，调整摄像仪的采集角度和光照环境，摄像仪采集矿井下捣实环境的视频，对视频截图保存得到图像，根据角点坐标对图像进行放射变换和透视变换得到矫正后的图像，并在神经网络上训练图像，分别对压实板和刮板输送机进行标注并制作成数据集。
3.根据权利要求1所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，步骤二中，在捣实过程中采用YOLOV3网络结构训练得到权重，采用YOLOV3网络结构对压实板和刮板输送机进行预测识别和定位。
4.根据权利要求2所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，步骤三中，对图像进行逐帧处理，控制系统计算出压实板与刮板输送机之间像素级别的差值，通过测距算法测出捣实过程中刮板输送机和压实板之间的距离。
5.根据权利要求1所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，步骤四中，将步骤三中测得的距离与安全阈值进行比较，若距离小于安全阈值，则报警并输出信号给到控制系统。
6.根据权利要求3所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，步骤四中，根据收到的信号，控制系统控制调整压实板与刮板输送机的距离，控制系统实时使用测距算法测出压实板与刮板输送机之间的距离；
对YOLOV3网络预测出来的边界框进行算法分析，测距是基于像素的距离计算，在图像中刮板输送机和压实板之间的纵向像素差值，得到刮板输送机和压实板之间的距离的数值。
7.根据权利要求6所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，在压实板的边界框上边缘选定特定点A和特定点B，将特定点A向上延长至刮板输送机的边界框的下边缘相交得到新特定点A’，将特定点B向上延长至刮板输送机的边界框的下边缘相交得到新特定点B’；
以图像的左上角的像素点作为(0，0)起点的，特定点A在图像中纵坐标的像素值减去新特定点A’在图像中纵坐标的像素值即特定点A和新特定A’两者的像素距离，特定点B在图像中纵坐标的像素值减去新特定点B’在图像中纵坐标的像素值即特定点B和新特定B’两者的像素距离；
将特定点A和新特定A’两者的像素距离、特定点B和新特定B’两者的像素距离分别与安全阈值比较，对当前捣实机构的安全性进行实时的判定；
找到一个参照物，测量参照物的实物长度，以及在图像中该参照物实物长度所占像素值，参照物的实物长度除以像素值得到比值，从而得到摄镜仪与实物之间的实物像素比，将安全阈值的实际大小换算为安全阈值的像素值，输出安全阈值的像素值；安全阈值的像素值取值10个像素。
8.根据权利要求1所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，训练使用的最小的图像尺寸为320x 320像素，最大的图像尺寸为608x 608像素。
9.根据权利要求3所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，YOLOV3网络使用Darknet-53去除全连接层的前面52层，Darknet-53采用残差网络的跳层连接方式。
10.根据权利要求3所述的一种基于深度学习的矸石充填捣实机构防碰撞应用方法，其特征在于，YOLOV3网络预测出压实板的像素位置和压实板的边界框的大小，YOLOV3网络预测出刮板输送机的像素位置和刮板输送机的边界框的大小，压实板的边界框和刮板输送机的边界框预测公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure FDA0002651006430000021
Figure FDA0002651006430000022
其中，(bx,by)为需要预测的边界框的中心点坐标，bw为边界框的宽度，bh为边界框的高度，(tx,ty)是预测的边界框中心点坐标的坐标偏移值；(tw,th)是尺度缩放，tw和th分别经过sigmoid函数输出0-1之间的偏移量，tw与cx相加得到边界框中心点的X轴坐标，th与cy相加得到边界框中心点的Y轴坐标；(cx,cy)是相对于边界框左上角的位置坐标；pw是预设的锚框映射到特征图中的宽，ph是预设的锚框映射到特征图中的高；tw与pw作用后得到边界框的宽度bw,th与ph作用后得到边界框的高度bh。
CN202010870773.0A 2020-08-26 2020-08-26 一种基于深度学习的矸石充填捣实机构防碰撞应用方法 Active CN112347841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010870773.0A CN112347841B (zh) 2020-08-26 2020-08-26 一种基于深度学习的矸石充填捣实机构防碰撞应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010870773.0A CN112347841B (zh) 2020-08-26 2020-08-26 一种基于深度学习的矸石充填捣实机构防碰撞应用方法

Publications (2)

Publication Number Publication Date
CN112347841A true CN112347841A (zh) 2021-02-09
CN112347841B CN112347841B (zh) 2022-07-26

Family

ID=74357887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010870773.0A Active CN112347841B (zh) 2020-08-26 2020-08-26 一种基于深度学习的矸石充填捣实机构防碰撞应用方法

Country Status (1)

Country Link
CN (1) CN112347841B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110390691A (zh) * 2019-06-12 2019-10-29 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
CN110472597A (zh) * 2019-07-31 2019-11-19 中铁二院工程集团有限责任公司 基于深度学习的岩石图像风化程度检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110390691A (zh) * 2019-06-12 2019-10-29 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
CN110472597A (zh) * 2019-07-31 2019-11-19 中铁二院工程集团有限责任公司 基于深度学习的岩石图像风化程度检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵琼等: "基于改进YOLO v3的目标检测算法", 《激光与光电子学进展》 *

Also Published As

Publication number Publication date
CN112347841B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN103217436B (zh) 一种背光模组瑕疵的检测方法及设备
CN110826514A (zh) 一种基于深度学习的施工现场违章智能识别方法
CN106546263B (zh) 一种基于机器视觉的激光水平仪出射激光线检测方法
CN104616009A (zh) 一种字符切割识别方法
Zhong et al. Multi-scale feature fusion network for pixel-level pavement distress detection
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
KR102660837B1 (ko) 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
CN101751603A (zh) 在线棒型材图像自动计数设备及方法
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111739020B (zh) 周期纹理背景缺陷标签自动标注方法、装置、设备及介质
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN109934170B (zh) 一种基于计算机视觉的矿山资源统计方法
CN115115768A (zh) 基于立体视觉的物体坐标识别系统及方法、装置、介质
CN115007474A (zh) 一种基于图像识别的选煤机器人及选煤方法
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN112347841B (zh) 一种基于深度学习的矸石充填捣实机构防碰撞应用方法
CN113963314A (zh) 降雨量监测方法、装置、计算机设备及存储介质
CN109236292A (zh) 一种掘进机截割轨迹规划系统与方法
JP7348575B2 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
Ji et al. Bucket teeth detection based on faster region convolutional neural network
CN110686649A (zh) 一种基于机器视觉的危险废物库存量变化的检测方法
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质
CN114067097A (zh) 基于深度学习的图像分块目标检测方法、系统及介质
CN112712055A (zh) 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法
CN101469984A (zh) 影像杂质分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant