CN111144508A - 煤矿副井轨道运输自动控制系统与控制方法 - Google Patents

煤矿副井轨道运输自动控制系统与控制方法 Download PDF

Info

Publication number
CN111144508A
CN111144508A CN201911401796.0A CN201911401796A CN111144508A CN 111144508 A CN111144508 A CN 111144508A CN 201911401796 A CN201911401796 A CN 201911401796A CN 111144508 A CN111144508 A CN 111144508A
Authority
CN
China
Prior art keywords
mine car
image
coal
training
mine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911401796.0A
Other languages
English (en)
Inventor
杨克虎
王统海
李宗珠
刘彪
魏冠楠
吴忠伦
张龙飞
张禄洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Dongshan Gucheng Coal Mine Co ltd
China University of Mining and Technology Beijing CUMTB
Linyi Mining Group Co Ltd
Original Assignee
Shandong Dongshan Gucheng Coal Mine Co ltd
China University of Mining and Technology Beijing CUMTB
Linyi Mining Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Dongshan Gucheng Coal Mine Co ltd, China University of Mining and Technology Beijing CUMTB, Linyi Mining Group Co Ltd filed Critical Shandong Dongshan Gucheng Coal Mine Co ltd
Priority to CN201911401796.0A priority Critical patent/CN111144508A/zh
Publication of CN111144508A publication Critical patent/CN111144508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L5/00—Local operating mechanisms for points or track-mounted scotch-blocks; Visible or audible signals; Local operating mechanisms for visible or audible signals
    • B61L5/06—Electric devices for operating points or scotch-blocks, e.g. using electromotive driving means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种煤矿副井轨道运输自动控制系统和控制方法，在煤矿掘进生产矿车运输过程中，能够将矿车内装载物识别为煤、矸石或者物料，从而控制矿车走煤炭运输轨道、矸石运输轨道或物料运输轨道，实现煤矿副井分运轨道的无人值守。所述煤矿副井轨道运输自动控制系统包括：摄像头、计算机、司控道岔控制器、司控道岔。本发明摒弃了传统的煤矸图像分类所使用基于灰度和纹理信息的方法，采用了深度学习技术自动提取特征，具有较强的鲁棒性；并使用图像处理技术判断矿车位置，仅使用摄像头、计算机、司控道岔控制器和司控道岔组成的系统就能实现对矿车装载物的实时识别和矿车运输方向的实时控制，实现矿车运输自动控制。

Description

煤矿副井轨道运输自动控制系统与控制方法
技术领域
本发明专利涉及煤矿开采运输自动化领域，特别是煤矿副井轨道运输的自动控制系统。
背景技术
在煤矿掘进开采中，开采出的煤和矸石还有一些井下所需生产工具被采煤工人选择性地装在不同的矿车后，矿车被提升到地面，再由地面工人操作运输轨道分别运输到煤仓、矸石仓和杂物仓。该过程目前仍然为人工操作，由工人值守在煤矿副井地面，通过人眼观察矿车内装载物的种类，手动操纵道岔控制器，将矿车分别运输到不同地点。由于每隔一段时间就有矿车驶出，需要工人长时间驻守，自动化程度低、劳动强度大、生产效率低。目前煤矸图像识别技术主要是根据在光照下煤和矸石的灰度及纹理信息的区别来进行区分，但是在生产现场中，矿车装载物不仅有煤、矸石，还有一些井下生产工具也需要矿车运输，仅仅依靠灰度和纹理信息不能很好的将三者区分开。并且生产现场环境恶劣，光照条件得不到保障，有必要在目前的图像处理技术和深度学习技术基础上，开发一套鲁棒性强、能自动识别矿车装载物的系统，实现煤、矸石和物料的自动分运。
该专利实现了煤矿副井运输矿车分运的自动化，减轻了工人的劳动强度，提高了煤矿的生产效率，填补了在结合深度学习技术实现矿车运输自动分运上的空白。
发明内容
本发明的目的在于解决目前矿车分运技术的不足，提供一套煤矿副井轨道运输自动控制系统和矿车装载物分类方法，克服目前只能通过人工操作来实现矿车分运的缺点。
本发明的技术方案是一种煤矿副井轨道运输自动控制系统和矿车装载物分类方法，其特征是能够不需任何触发装置，通过计算机运行相应算法判断矿车是否到达指定位置，如果矿车到达指定位置能够通过计算机处理摄像头实时视频流，判断矿车内装载物是煤、矸石还是物料，从而根据判断结果实现煤、矸石和物料的不同路径的分选运输。
所述煤矿副井轨道运输自动控制系统，包括：
摄像头：架设于副井主运输轨道上方，用于采集矿车经过时的实时视频流，可选用普通的可见光摄像头或红外摄像头，摄像头可选配补光光源，采集的视频流信号通过有线或无线方式发送给计算机；
计算机：用于接收摄像头发送过来的实时视频流，并在矿车经过时对矿车装载物进行分类，根据分类结果生成道岔控制指令发送给司控道岔控制器；
司控道岔控制器：用于接收计算机发送过来的道岔控制指令并控制司控道岔与指定轨道实现机械连接，当矿车驶入指定轨道后，司控道岔控制器根据下一条控制指令进行道岔切换；
司控道岔：连接主运输轨道的机械轨道道岔，在司控道岔控制器的控制下，使主运输轨道与指定轨道实现机械连接，实现分运。
所述煤矿副井轨道运输自动控制系统，可以在所述摄像头中嵌入计算模块，由该计算模块完成所述计算机的全部功能。
所述煤矿副井轨道运输自动控制方法，包括以下步骤：
步骤1：利用架设在副井主运输轨道上方的摄像头实时采集矿车行进区域的视频流，并将视频流发送给计算机进行处理；
步骤2：计算机接收摄像头的视频流，并对视频流中的图像进行处理，判断是否有矿车经过；
步骤3：如有矿车经过，则启动图像分类算法对矿车装载物进行分类，分类结果为煤、矸石或物料；
步骤4：根据分类结果生成道岔控制指令，并发送给道岔控制器；
步骤5：道岔控制器根据道岔控制指令，将主运输轨道与指定轨道进行机械连接。
所述的煤矿副井轨道运输自动控制方法，步骤2中判断是否有矿车经过包括使用以下方法中的一种或同时使用多种进行综合判断：
方法1：基于几何结构特征的判断方法，利用矿车、轨道或地面的几何结构特征，根据其在矿车行进过程中是否出现或是否被遮挡来判断是否有矿车经过。
方法2：基于图像灰度值的判断方法，利用矿车经过时的图像相对于背景图像会发生较大变化这一特征，计算图像灰度的变化量，根据灰度变化量是否大于给定的阈值来判断是否有矿车经过。
方法3：基于模板匹配的判断方法，利用轨道或地面的几何结构特征和灰度特征，选定轨道或地面上某一目标物，根据其在矿车行进过程中是否能匹配到来判断是否有矿车经过。
方法4：目标检测方法，对矿车目标进行特征提取，根据在视频流中能否检测到矿车目标来判断是否有矿车经过。
所述的煤矿副井轨道运输自动控制方法，步骤3中对矿车装载物的分类使用了以下方法：
计算机采用事先训练好的矿车装载物分类模型或目标检测模型对视频流中矿车经过时的n帧图像序列进行处理，并得到相应的分类结果，用Pm、Pg、Pw分别表示n帧中每一帧分类为煤、矸石和物料的概率，取
Figure BSA0000199078270000031
中最大值对应的分类结果为当前矿车装载物的类别。
所述煤矿副井轨道运输自动控制方法，步骤3中对矿车装载物进行分类所使用的矿车装载物分类模型的训练方法包括以下步骤：
步骤311：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤、矸石、物料的样本数量；
步骤312：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式将训练样本分类为煤、矸石和物料三类，划分为训练集和测试集；
步骤313：模型训练：将训练集图像和相应类别输入到深度学习神经网络中进行训练，获得网络模型，其中深度学习神经网络包括依次连接的图像输入层、编码层、全连接层和softmax层或者包括依次连接的图像输入层、编码层和softmax层。在训练过程中用测试集图像对模型进行测试，并获得当前模型的分类准确率，训练结束后，将准确率最高的模型保存作为最终的深度神经网络模型。
所述煤矿副井轨道运输自动控制方法，步骤3中对矿车装载物进行分类所使用的目标检测模型的训练方法包括以下步骤：
步骤321：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤车、矸石车、物料车的样本数量；
步骤322：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式标注出训练样本中包含矿车的矩形框的四个顶点坐标和对应分类类别存为位置信息及类别文件，划分为训练集和测试集；
步骤323：模型训练：将训练集图像和位置信息及类别文件输入到深度学习神经网络中进行训练，获得网络模型，其中深度学习神经网络包括依次连接的图像输入层、编码层、全连接层和softmax层或者包括依次连接的图像输入层、编码层和softmax层。在训练过程中用测试集图像对模型进行测试，并获得当前模型的检测准确率，训练结束后，将准确率最高的模型保存作为最终的深度神经网络模型。
所述煤矿副井轨道运输自动控制方法，步骤3中对矿车装载物进行分类所使用的矿车装载物分类模型的训练方法还包括以下步骤：
步骤331：获取图像样本：利用摄像头采集矿车装载物图像样本集，剔除质量不好的图像，要求样本集中有足够的煤、矸石、物料的样本数量；
步骤332：样本预处理：人工将矿车装载物图像样本分类为煤、矸石和物料三类，划分为训练集和测试集；
步骤333：特征提取：人工设计特征，提取训练集图像的一种或多种组合特征；
步骤334：模型训练：利用提取到的图像特征训练分类器，在训练过程中定时用测试集图像对模型进行测试，并获得当前模型的分类准确率，训练结束后，将准确率最高的模型保存作为最终的分类模型。
所述煤矿副井轨道运输自动控制方法，步骤3中对矿车装载物进行分类所使用的目标检测模型的训练方法还包括以下步骤：
步骤341：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤车、矸石车、物料车的样本数量；
步骤342：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式标注出样本图像中的煤车、矸石车、物料车和非煤车、非矸石车、非物料车分别作为正样本和负样本，将样本图像划分为训练集和测试集；
步骤343：模型训练：人工设计特征，提取正负样本的特征，用训练集中的正负样本分别训练出煤车检测器、矸石车检测器、物料车检测器，结合测试集样本图像的检测准确率对检测器进行调整，最终得到准确率较高的检测器。
考虑到现场情况，可根据光照、煤质和出车时间的不同，增加矿车装载物的分类类别，并在向道岔控制器发送指令前对分类类别进行对应组合。
本发明实现了矿车运输煤炭、矸石和杂物的自动化控制，具有较强的鲁棒性，降低了采掘运输工人的劳动强度，提高了煤矿的生产效率和自动化程度，降低了煤矿的生产成本，科研成果将极大地带动科技进步和社会、经济的发展。
附图说明
图1是本发明实施例中煤矿副井轨道运输自动控制系统总体组成结构框架图。
图2是本发明实施例中矿车装载物分类模型和目标检测模型训练流程图。
图3是本发明实施例中VGG16深度神经网络模型结构图。
图4是本发明实施例中SqueezeNet深度神经网络模型结构图。
图5是本发明实施例中Faster-RCNN网络结构图。
图6是本发明实施例中SSD网络结构图。
图7是本发明实施例中煤矿副井轨道运输自动控制系统运行流程图。
附图标记说明：100-煤矿副井轨道运输自动控制系统总体组成结构框图；101-第一摄像头；102-计算机；103-第二摄像头；104-第一司控道岔控制器；105-第二司控道岔控制器；106-第一司控道岔；107-第二司控道岔。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其他实施例，都属于本发明所保护的范围。
本发明的目的在于克服现有技术中所存在的不足，提供一套基于图像处理技术和机器学习的煤矿副井轨道运输自动控制系统与控制方法。通过对煤矿副井现场视频流进行分析和处理，自动判断矿车装载物种类并对轨道做出控制，解决了煤矿副井依靠人工操作进行轨道控制的问题，克服了现有技术中仅通过灰度和纹理信息进行煤矸识别的不足，自动判断矿车位置，不需要额外的触发装置，显著的节约了人力成本，提高了煤矿生产效率。并且使用了深度学习技术自动提取特征，系统具有较强的鲁棒性和较高的准确率。
为了实现上述发明目的，本发明提供了以下技术方案：
在本发明的一个具体实施例中，硬件平台包括摄像头(HIKDS-2CD3025D)、计算机(AMD Ryzen 7 1700X Eight-Core Processor×16 GeForce GTX 1080 Ti)，软件平台包括Pycharm、Python3.6、Pytorch0.4.0。
图1是煤矿副井轨道运输自动控制系统总体组成结构框架100的框图，包括：第一摄像头101，架设于副井主运输轨道上方，用于采集矿车经过时的实时视频流，可选用普通的可见光摄像头或红外摄像头，可选用嵌入计算模块的摄像头，摄像头可选配补光光源，采集的视频流信号通过有线或无线方式发送给计算机102，为避免网速对图像大小产生影响，将获取的视频帧图像大小固定为1280×720像素。计算机102，通过有线或者无线方式与第一摄像头101和第二摄像头102相连，接收第一摄像头101和第二摄像头102发送的实时视频流信息，通过对视频流的分析和计算得到矿车位置信息和矿车装载物所属类别，并将相应道岔控制指令发送给第一司控道岔控制器104和第二司控道岔控制器105。第一司控道岔控制器104和第二司控道岔控制器105，通过有线或无线方式与计算机102相连，接收计算机102发送的道岔控制指令，并对第一司控道岔106和第二司控道岔107做出控制，在第二司控道岔107上方加装第二摄像头103，判断矿车是否已经驶入相应轨道并反馈给计算机。第一司控道岔106和第二司控道岔107，通过有线方式分别与第一司控道岔控制器104和第二司控道岔控制器105相连，在司控道岔控制器的控制下，使主运输轨道与煤炭运输轨道、矸石物料运输轨道实现机械连接，使矸石物料运输轨道与矸石运输轨道、物料运输轨道实现机械连接，实现矿车分运。
结合煤矿副井运输自动控制系统，本发明采用的煤矿副井轨道运输自动控制方法是，如图7所示，计算机102获取第一摄像头101发送的实时视频流后，用事先训练好的矿车装载物分类模型或目标检测模型对连续n帧图像序列进行处理，判断矿车位置和矿车装载物种类，用Pm、Pg、Pw分别表示n帧中每一帧分类为煤、矸石和物料的概率，取
Figure BSA0000199078270000061
中最大值对应的分类结果为当前矿车装载物的类别，生成对应的控制指令发送给第一司控道岔控制器104，第一司控道岔控制器104根据道岔控制指令，控制第一司控道岔106，使煤车进入煤炭运输轨道，其他车辆进入矸石物料运输轨道。如果两辆矿车中一辆为煤车，另一辆为矸石车或者物料车，则计算机102向第二司控道岔控制器105发送对应控制指令，第一司控道岔控制器104控制第一司控道岔106使煤车进入煤炭运输轨道，另一辆车进入矸石物料运输轨道，第二司控道岔控制器105控制第二司控道岔107使该辆矿车进入对应的矸石运输轨道或者物料运输轨道。如果两辆矿车分类结果都为矸石和物料，计算机102先向第二司控道岔控制器105发送第一个控制指令，第二司控道岔控制器105先根据第一辆矿车装载物分类结果产生的道岔控制指令将第二司控道岔107切换到第一辆矿车对应的分运轨道，计算机102读取第二摄像头103的视频流，判断第一辆矿车是否已经经过第二司控道岔107，等待第一辆矿车经过第二司控道岔107后，计算机102向第二司控道岔控制器105发送第二个控制指令，第二司控道岔控制器105再根据第二个控制指令切换第二司控道岔107，使第二辆车进入另一对应分运轨道。实现煤矿副井轨道运输自动控制。
考虑到煤矿副井生产现场实际情况，白天和晚上光线差距较大，而且煤矸混合物和大块矸石差距较大，可以选择在数据集构建中将矿车装载物分类为白天煤、白天矸石、白天物料、白天煤矸混合物、夜晚煤、夜晚矸石、夜晚物料、夜晚煤矸混合物八类。在实时识别中，将分类为白天煤和夜晚煤的情况统一输出为煤类，将分类为白天矸石、白天煤矸混合物、夜晚矸石、夜晚煤矸混合物的情况统一输出为矸石类，将分类为白天物料和夜晚物料的情况统一输出为物料类。
本发明判断矿车是否经过第一摄像头101或者第二摄像头103采用了五种方法，分别为：直线检测法，背景差分法，直线检测法结合背景差分法，三帧差分法结合背景分割方法，模板匹配方法。
所述使用直线检测法判断是否有矿车经过，具体方法是将计算机获得的实时视频帧转为灰度图，选取包含所要检测直线轨道的部分区域，做Canny边缘检测，本实施例中控制强边缘的初始分割系数设定为200，控制边缘连接的系数设定为50。在进行边缘检测后的图像上做霍夫直线检测，本实施例中霍夫直线检测中距离精度设置为1.0像素，角度精度设置为π/180弧度，累加平面的阈值参数设置为100像素，如果能检测到直线，则说明没有矿车，反之则说明有矿车经过。
所述使用背景差分法判断是否有矿车经过，将视频流第一帧中待识别区域设置为背景，对待识别区域进行灰度处理，再使用高斯滤波平滑去噪，其中高斯内核大小为21×21，实时计算待识别区域图像与背景之间的差值的绝对值。本实施例中阈值设置为4000000，如果差值的绝对值大于设定的阈值，则说明矿车到达待识别区域；如果差值绝对值小于设定阈值，将当前待识别区域图像设置为背景帧。
所述使用直线检测法结合背景差分法判断是否有矿车经过，具体方法是如果待识别区域与背景之间差值大于设定阈值，而且检测不到直线，说明矿车到达待识别区域，保存视频帧图像。如果差值小于设定阈值并且能检测到直线，则设置当前帧为背景帧。此方法可以排除行人经过待识别区域带来的影响。
所述使用三帧差分法结合背景分割方法判断是否有矿车经过，具体方法是将实时视频流每相邻三帧图像使用三帧差分法得到中间图像S，再对三帧中最后一帧使用背景减除法得到中间图像K；将图像S和图像K做二值化处理，得到二值化图像Ss和二值化图像Kk；对二值化图像Ss和Kk做逻辑或处理后，进行腐蚀、膨胀和连通域分析，最终获得运动目标区域；
其中，背景在持续50帧没检测到矿车时更新一次，更新后背景为50帧图像对应的每个像素点上灰度值的平均值。
所述使用模板匹配方法判断是否有矿车经过，具体方法是将计算机获得的实时视频帧进行低通滤波处理，本实施例中选择的卷积核大小为5×5，选取包含所要检测区域的部分，对处理后的视频帧进行Sobel边缘检测，本实施例中x和y方向上的差分阶数均设置为1，再对x和y方向差分图分别以0.5的权重进行融合，得到最后的差分图。设置一张没有矿车的差分图作为模板图像，使用Opencv中matchTemplate函数对实时视频差分图和模板图像进行相似度计算，如果相似度大于某个阈值，则说明没有矿车经过，反之则说明有矿车经过。本实施例中阈值设置为0.6，且如果50帧内相似度都小于设定的阈值，则更新模板图像。
所述煤矿副井轨道运输自动控制方法中，模型可以使用矿车装载物分类模型或者目标检测模型。进一步地，矿车装载物分类模型和目标检测模型又可以分为使用深度神经网络训练的模型和使用传统机器学习方法训练的模型。
其中，使用深度神经网络训练的矿车装载物分类模型，其训练过程包括以下步骤：
步骤1：获取图像样本：利用摄像头采集矿车装载物图像样本集，剔除质量不好的图像，要求样本集中有足够的煤、矸石、物料的样本数量；
步骤2：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集。人工将训练样本分类为煤、矸石和物料三类，按照7：3的比例划分为训练集和测试集，将训练集和测试集图像进行归一化操作，获得归一化以后的图片；
步骤3：模型训练：将归一化的训练集图像和相应类别输入到深度学习神经网络中进行训练，获得网络模型，其中深度学习神经网络包括依次连接的图像输入层、编码层、全连接层和softmax层(如图3中VGG16网络模型包括十三个卷积层conv1～conv13，五个最大池化层maxpool/2，三个全连接层fc1～fc3，一个softmax层)或者包括依次连接的图像输入层、编码层和softmax层(如图4中SqueezeNet网络模型包括两个卷积层conv1和conv10，八个fire层fire2～fire9，三个最大池化层maxpool/2，一个平均池化层global avgpool，一个softmax层)。在训练过程中定时用测试集图像对模型进行测试，并获得当前模型的分类准确率，训练结束后，将准确率最高的模型保存作为最终的深度神经网络模型。
使用深度神经网络训练的目标检测模型，其训练过程包括以下步骤：
步骤1：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤车、矸石车、物料车的样本数量；
步骤2：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集。标注出训练样本中包含矿车的矩形框的四个顶点坐标和所属类别(煤、矸石、物料)存为位置信息及类别文件。按照7：3的比例划分为训练集和测试集，将训练集和测试集图像进行归一化操作，获得归一化以后的图片；
步骤3：模型训练：将归一化的训练集图像和相应的位置信息及类别文件输入到深度学习神经网络中进行训练，获得网络模型，其中深度学习神经网络包括依次连接的图像输入层、编码层、全连接层和softmax层(如图5中Faster-RCNN网络模型中包括image图像输入层，CNN卷积层，FC全连接层和softmax层)或者包括依次连接的图像输入层、编码层和softmax层(如图6中SSD网络模型中包括image图像输入层，VGG16中的卷积层以及使用3×3和1×1卷积核的卷积层，以及使用softmax层同时进行分类和回归)。在训练过程中定时用测试集图像对模型进行测试，并获得当前模型的分类准确率或分类和定位综合准确率，训练结束后，将准确率最高的模型保存作为最终的深度神经网络模型。
在本发明的一个具体实施例中，使用了支持向量机、随机森林和贝叶斯三种传统机器学习方法对矿车装载物进行分类。
其中，使用支持向量机对矿车装载物进行分类模型训练过程：使用surf或sift算法对训练集图像进行特征提取，使用聚类算法将提取到的特征聚成n类，对n类训练集图像构造词袋，将所有训练集图像中的特征归到不同的类中，统计每一类特征的概率。将每张训练集图像的词袋作为特征向量，将图像类别作为标签，对每一类分别训练SVM分类器。使用测试集图像对分类器性能进行测试并做出改进，直到分类器性能满足要求，停止训练。
使用随机森林模型对矿车装载物进行分类模型训练过程：对训练集样本使用bagging方法结合特征提取方法生成n个特征向量子样本。选取p个属性作为节点分裂的候选属性，在选取的属性中计算基尼指数，选择基尼指数最大的属性对决策树进行分裂。重复上一步，直到得到一个小于某一规定阈值的基尼系数，停止分裂。
使用贝叶斯模型对矿车装载物进行分类模型训练过程：对训练集图像进行特征提取，其中图像特征包括颜色、纹理、形状、空间关系，得到训练集图像特征向量，对每个特征属性分别计算该属性下的条件概率，选取条件概率最高的特征属性构建分类器。使用测试集图像对分类器性能进行测试并做出调整，最终得到性能较好的分类器。
使用传统机器学习算法对矿车进行目标检测，分为以下步骤：
步骤1：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤车、矸石车、物料车的样本数量；
步骤2：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式标注出样本图像中的煤车作为正样本一、非煤车作为负样本一，矸石车作为正样本二、非矸石车作为负样本二，物料车作为正样本三、非物料车作为负样本三，将样本图像划分为训练集和测试集；
步骤3：分别提取正负样本的HOG特征，用正负样本一、正负样本二、正负样本三分别训练煤车分类器、矸石车分类器、物料车分类器，用这三个分类器产生检测器。
步骤4：使用初始分类器在负样本图像上进行检测，得到难例。
步骤5：提取难例的HOG特征，并结合步骤1中提取到的特征，重新训练，生成检测器。在测试集图像上进行评估和调整，生成最终检测器。
以上所述，仅是本发明的较佳实施例，并非本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明的技术方案的范围内。

Claims (10)

1.一种煤矿副井轨道运输自动控制系统，包括：
摄像头：架设于副井主运输轨道上方，用于采集矿车经过时的实时视频流，可选用普通的可见光摄像头或红外摄像头，摄像头可选配补光光源，采集的视频流信号通过有线或无线方式发送给计算机；
计算机：用于接收摄像头发送过来的实时视频流，并在矿车经过时对矿车装载物进行分类，根据分类结果生成道岔控制指令发送给司控道岔控制器；
司控道岔控制器：用于接收计算机发送过来的道岔控制指令并控制司控道岔与指定轨道实现机械连接，当矿车驶入指定轨道后，司控道岔控制器根据下一条控制指令进行道岔切换；
司控道岔：连接主运输轨道的机械轨道道岔，在司控道岔控制器的控制下，使主运输轨道与指定轨道实现机械连接，实现分运。
2.如权利要求1所述的煤矿副井轨道运输自动控制系统，其特征在于，在所述摄像头中嵌入计算模块，由该计算模块完成所述计算机的全部功能。
3.一种煤矿副井轨道运输自动控制方法，包括以下步骤：
步骤1：利用架设在副井主运输轨道上方的摄像头实时采集矿车行进区域的视频流，并将视频流发送给计算机进行处理；
步骤2：计算机接收摄像头的视频流，并对视频流中的图像进行处理，判断是否有矿车经过；
步骤3：如有矿车经过，则启动图像分类算法对矿车装载物进行分类，分类结果为煤、矸石或物料；
步骤4：根据分类结果生成道岔控制指令，并发送给道岔控制器；
步骤5：道岔控制器根据道岔控制指令，将主运输轨道与指定轨道进行机械连接。
4.如权利要求3所述的煤矿副井轨道运输自动控制方法，其特征在于，所述步骤2中判断是否有矿车经过包括使用以下方法中的一种或同时使用多种进行综合判断：
方法1：基于几何结构特征的判断方法，利用矿车、轨道或地面的几何结构特征，根据其在矿车行进过程中是否出现或是否被遮挡来判断是否有矿车经过。
方法2：基于图像灰度值的判断方法，利用矿车经过时的图像相对于背景图像会发生较大变化这一特征，计算图像灰度的变化量，根据灰度变化量是否大于给定的阈值来判断是否有矿车经过。
方法3：基于模板匹配的判断方法，利用轨道或地面的几何结构特征和灰度特征，选定轨道或地面上某一目标物，根据其在矿车行进过程中是否能匹配到来判断是否有矿车经过。
方法4：目标检测方法，对矿车目标进行特征提取，根据在视频流中能否检测到矿车目标来判断是否有矿车经过。
5.如权利要求3或4所述的煤矿副井轨道运输自动控制方法，其特征在于，所述步骤3中对矿车装载物分类使用了以下方法：
计算机采用事先训练好的矿车装载物分类模型或目标检测模型对视频流中矿车经过时的n帧图像序列进行处理，并得到相应的分类结果，用Pm、Pg、Pw分别表示n帧中每一帧分类为煤、矸石和物料的概率，取
Figure FSA0000199078260000021
中最大值对应的分类结果为当前矿车装载物的类别。
6.如权利要求5所述的煤矿副井轨道运输自动控制方法，其特征在于，所述步骤3中对矿车装载物进行分类所使用的矿车装载物分类模型的训练方法包括以下步骤：
步骤311：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤、矸石、物料的样本数量；
步骤312：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式将训练样本分类为煤、矸石和物料三类，划分为训练集和测试集；
步骤313：模型训练：将训练集图像和相应类别输入到深度学习神经网络中进行训练，获得网络模型，其中深度学习神经网络包括依次连接的图像输入层、编码层、全连接层和softmax层或者包括依次连接的图像输入层、编码层和softmax层。在训练过程中用测试集图像对模型进行测试，并获得当前模型的分类准确率，训练结束后，将准确率最高的模型保存作为最终的深度神经网络模型。
7.如权利要求5所述的煤矿副井轨道运输自动控制方法，其特征在于，所述步骤3中对矿车装载物进行分类所使用的目标检测模型的训练方法包括以下步骤：
步骤321：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤车、矸石车、物料车的样本数量；
步骤322：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式标注出训练样本中包含矿车的矩形框的四个顶点坐标和对应分类类别存为位置信息及类别文件，划分为训练集和测试集；
步骤323：模型训练：将训练集图像和位置信息及类别文件输入到深度学习神经网络中进行训练，获得网络模型，其中深度学习神经网络包括依次连接的图像输入层、编码层、全连接层和softmax层或者包括依次连接的图像输入层、编码层和softmax层。在训练过程中用测试集图像对模型进行测试，并获得当前模型的检测准确率，训练结束后，将准确率最高的模型保存作为最终的深度神经网络模型。
8.如权利要求5所述的煤矿副井轨道运输自动控制方法，其特征在于，所述步骤3中对矿车装载物进行分类所使用的矿车装载物分类模型的训练方法还包括以下步骤：
步骤331：获取图像样本：利用摄像头采集矿车装载物图像样本集，剔除质量不好的图像，要求样本集中有足够的煤、矸石、物料的样本数量；
步骤332：样本预处理：人工将矿车装载物图像样本分类为煤、矸石和物料三类，划分为训练集和测试集；
步骤333：特征提取：人工设计特征，提取训练集图像的一种或多种组合特征；
步骤334：模型训练：利用提取到的图像特征训练分类器，在训练过程中定时用测试集图像对模型进行测试，并获得当前模型的分类准确率，训练结束后，将准确率最高的模型保存作为最终的分类模型。
9.如权利要求5所述的煤矿副井轨道运输自动控制方法，其特征在于，所述步骤3中对矿车装载物进行分类所使用的目标检测模型的训练方法还包括以下步骤：
步骤341：获取图像样本：利用摄像头采集矿车图像样本集，剔除质量不好的图像，要求样本集中有足够的煤车、矸石车、物料车的样本数量；
步骤342：样本预处理：对样本图像做添加噪声和随机改变亮度的操作，扩充样本集，通过人工方式标注出样本图像中的煤车、矸石车、物料车和非煤车、非矸石车、非物料车分别作为正样本和负样本，将样本图像划分为训练集和测试集；
步骤343：模型训练：人工设计特征，提取正负样本的特征，用训练集中的正负样本分别训练出煤车检测器、矸石车检测器、物料车检测器，结合测试集样本图像的检测准确率对检测器进行调整，最终得到准确率较高的检测器。
10.如权利要求6-9中任一所述的煤矿副井轨道运输自动控制方法，其特征在于，可根据光照、煤质和出车时间的不同，增加矿车装载物的分类类别，并在向道岔控制器发送指令前对分类类别进行对应组合。
CN201911401796.0A 2019-12-30 2019-12-30 煤矿副井轨道运输自动控制系统与控制方法 Pending CN111144508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911401796.0A CN111144508A (zh) 2019-12-30 2019-12-30 煤矿副井轨道运输自动控制系统与控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911401796.0A CN111144508A (zh) 2019-12-30 2019-12-30 煤矿副井轨道运输自动控制系统与控制方法

Publications (1)

Publication Number Publication Date
CN111144508A true CN111144508A (zh) 2020-05-12

Family

ID=70522186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911401796.0A Pending CN111144508A (zh) 2019-12-30 2019-12-30 煤矿副井轨道运输自动控制系统与控制方法

Country Status (1)

Country Link
CN (1) CN111144508A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678683A (zh) * 2020-06-08 2020-09-18 中国矿业大学 煤矿智能化综采工作面顶板来压预测方法和装置
CN112648007A (zh) * 2020-12-28 2021-04-13 北京宸控科技有限公司 一种液压柱搬运方法
CN112712134A (zh) * 2021-01-15 2021-04-27 中冶赛迪重庆信息技术有限公司 一种原料颗粒分类识别方法、系统、介质及电子终端
CN112990350A (zh) * 2021-04-12 2021-06-18 天津美腾科技股份有限公司 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN114261431A (zh) * 2021-12-29 2022-04-01 淮北金源工贸有限责任公司 一种用于煤矿井下运输的单轨吊道岔司控安全管理系统
CN116972914A (zh) * 2023-09-22 2023-10-31 华夏天信智能物联股份有限公司 变频一体机智能测试方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106516647A (zh) * 2016-10-21 2017-03-22 山东科技大学 一种矿车运输智能煤矸识别及分运装置
CN107194419A (zh) * 2017-05-10 2017-09-22 百度在线网络技术（北京）有限公司 视频分类方法及装置、计算机设备与可读介质
CN107730473A (zh) * 2017-11-03 2018-02-23 中国矿业大学 一种基于深度神经网络的煤矿井下图像处理方法
CN109508584A (zh) * 2017-09-15 2019-03-22 腾讯科技（深圳）有限公司 视频分类的方法、信息处理的方法以及服务器
CN109522450A (zh) * 2018-11-29 2019-03-26 腾讯科技（深圳）有限公司 一种视频分类的方法以及服务器
CN109635158A (zh) * 2018-12-17 2019-04-16 杭州柚子街信息科技有限公司 为视频自动打标签的方法及装置、介质和电子设备
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110321959A (zh) * 2019-07-09 2019-10-11 安徽理工大学 一种多光谱图像信息和cnn的煤矸识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106516647A (zh) * 2016-10-21 2017-03-22 山东科技大学 一种矿车运输智能煤矸识别及分运装置
CN107194419A (zh) * 2017-05-10 2017-09-22 百度在线网络技术（北京）有限公司 视频分类方法及装置、计算机设备与可读介质
CN109508584A (zh) * 2017-09-15 2019-03-22 腾讯科技（深圳）有限公司 视频分类的方法、信息处理的方法以及服务器
CN107730473A (zh) * 2017-11-03 2018-02-23 中国矿业大学 一种基于深度神经网络的煤矿井下图像处理方法
CN109522450A (zh) * 2018-11-29 2019-03-26 腾讯科技（深圳）有限公司 一种视频分类的方法以及服务器
CN109635158A (zh) * 2018-12-17 2019-04-16 杭州柚子街信息科技有限公司 为视频自动打标签的方法及装置、介质和电子设备
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110321959A (zh) * 2019-07-09 2019-10-11 安徽理工大学 一种多光谱图像信息和cnn的煤矸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
姜丹: ""基于视频监控的目标检测与跟踪算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
姜丹: ""基于视频监控的目标检测与跟踪算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 12, 15 December 2018 (2018-12-15), pages 4 - 5 *
曹现刚 等: ""基于迁移学习的GoogLenet煤矸石图像识别"", 《软件导刊》 *
曹现刚 等: ""基于迁移学习的GoogLenet煤矸石图像识别"", 《软件导刊》, 31 July 2019 (2019-07-31), pages 57 - 60 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678683A (zh) * 2020-06-08 2020-09-18 中国矿业大学 煤矿智能化综采工作面顶板来压预测方法和装置
CN111678683B (zh) * 2020-06-08 2022-05-13 中国矿业大学 煤矿智能化综采工作面顶板来压预测方法和装置
CN112648007A (zh) * 2020-12-28 2021-04-13 北京宸控科技有限公司 一种液压柱搬运方法
CN112648007B (zh) * 2020-12-28 2023-10-10 北京宸控科技有限公司 一种液压柱搬运方法
CN112712134A (zh) * 2021-01-15 2021-04-27 中冶赛迪重庆信息技术有限公司 一种原料颗粒分类识别方法、系统、介质及电子终端
CN112990350A (zh) * 2021-04-12 2021-06-18 天津美腾科技股份有限公司 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN114261431A (zh) * 2021-12-29 2022-04-01 淮北金源工贸有限责任公司 一种用于煤矿井下运输的单轨吊道岔司控安全管理系统
CN114261431B (zh) * 2021-12-29 2024-03-29 淮北金源工贸有限责任公司 一种用于煤矿井下运输的单轨吊道岔司控安全管理系统
CN116972914A (zh) * 2023-09-22 2023-10-31 华夏天信智能物联股份有限公司 变频一体机智能测试方法和系统
CN116972914B (zh) * 2023-09-22 2023-12-26 华夏天信智能物联股份有限公司 变频一体机智能测试方法和系统

Similar Documents

Publication Publication Date Title
CN111144508A (zh) 煤矿副井轨道运输自动控制系统与控制方法
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN106611162B (zh) 基于深度学习ssd框架的道路车辆实时检测方法
CN107766821B (zh) 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
Mi et al. Research on regional clustering and two-stage SVM method for container truck recognition
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
Tripathy et al. Novel methods for separation of gangue from limestone and coal using multispectral and joint color-texture features
CN106845387B (zh) 基于自学习的行人检测方法
Lu et al. A supervised approach for automated surface defect detection in ceramic tile quality control
US20200034626A1 (en) Method for recognizing an object of a mobile unit
CN105976390A (zh) 一种结合支持向量机阈值统计与斑点检测的钢管计数方法
CN111723705A (zh) 基于树莓派的厢式货车运输管理控制方法
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN111723708A (zh) 一种基于深度学习的厢式货车厢门状态识别装置与系统
CN111738109A (zh) 一种基于深度学习的厢式货车厢门状态识别方法
Onim et al. Traffic surveillance using vehicle license plate detection and recognition in bangladesh
Wang et al. Real-time vehicle target detection in inclement weather conditions based on YOLOv4
Ghahremannezhad et al. Automatic road detection in traffic videos
Fernando et al. Automatic road traffic signs detection and recognition using ‘You Only Look Once’version 4 (YOLOv4)
CN113701642A (zh) 一种车身外观尺寸的计算方法及系统
CN115359306B (zh) 一种铁路货检高清图像智能识别方法和系统
Dagvasumberel et al. Railroad near-miss occurrence detection and risk estimation system with data from camera using deep learning
Aminmansour et al. Improving near-miss event detection rate at railway level crossings
CN115007474A (zh) 一种基于图像识别的选煤机器人及选煤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination