CN113942805A - 煤块运输监控方法及装置 - Google Patents
煤块运输监控方法及装置 Download PDFInfo
- Publication number
- CN113942805A CN113942805A CN202111577015.0A CN202111577015A CN113942805A CN 113942805 A CN113942805 A CN 113942805A CN 202111577015 A CN202111577015 A CN 202111577015A CN 113942805 A CN113942805 A CN 113942805A
- Authority
- CN
- China
- Prior art keywords
- coal
- real
- large coal
- transportation
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 622
- 238000012544 monitoring process Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000033001 locomotion Effects 0.000 claims abstract description 68
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 23
- 239000004484 Briquette Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012806 monitoring device Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000005065 mining Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003818 cinder Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G19/00—Conveyors comprising an impeller or a series of impellers carried by an endless traction element and arranged to move articles or materials over a supporting surface or underlying material, e.g. endless scraper conveyors
- B65G19/18—Details
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
- E21F13/00—Transport specially adapted to underground conditions
- E21F13/06—Transport of mined material at or adjacent to the working face
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Geology (AREA)
- Image Analysis (AREA)
- Control Of Conveyors (AREA)
Abstract
本申请实施例提供一种煤块运输监控方法及装置，方法包括：基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息；将目标视频数据对应的目标图像数据输入大块煤识别模型，并根据其输出获取当前的大块煤识别结果；若结果中包含有大块煤，则根据刮板组件和大块煤识别结果中的该大块煤的实时坐标信息判断大块煤当前是否位于刮板运输机上，若是，则获取大块煤的运动状态以确定是否针对大块煤进行运输阻塞预警。本申请能够有效提高大块煤的识别精度，能够有效提高大块煤所在区域的识别准确性，并能够提高获取大块煤运动状态的准确性，以提高煤块运输监控及阻塞监控预警的准确性。
Description
技术领域
本申请涉及煤块识别技术领域，具体涉及煤块运输监控方法及装置。
背景技术
大采高综采工作面煤层随采高增加和开采强度加大，产生的大块煤也随之增多，大块煤是超大不规则块体，在输送转载设备上运移易发生堵塞，且一旦发生堵塞，在堵塞位置的后续煤流将快速持续堆积，进而造成输送转载设备的超载、卡阻及停机等现象，严重影响生产，同时给人员和设备带来巨大安全隐患。针对该问题，可以通过图像识别的方式识别大块煤阻塞场景，实时发出预警信号，可以帮助煤矿有效的降低损失。
目前，现有的大块煤阻塞识别方式通常为：通过图像识别采集运输中的煤流，根据图像的运动特性和亮度特性获取大块煤区域，这种误差较大，对大块煤所在区域定位不准，且采用静态图片场景下所识别到的大块煤去做阻塞预警，会导致大量误报情况发生，基于此，还可以考虑采用视频识别方式根据煤块直径大小与刮板运输机宽度对大块煤进行阻塞识别，然而，仅通过煤块直径大小与刮板运输机宽度去判断是否是大块煤，这种方法看似正确，实在存在不合理性，即：若煤块直径虽然大于刮板宽度，但其并不影响刮板运行，因此并不会发生阻塞现象，若将该煤块识别为存在阻塞的大块煤则会使得煤块阻塞预警的可靠性变低。
也就是说，无论是哪一种现有的煤块运输监控方式，均存在大块煤识别区域不准确、运动状态判断不准而导致阻塞判断准确性差等问题。
发明内容
针对现有技术中的问题，本申请提供一种煤块运输监控方法及装置，能够有效提高大块煤的识别精度，能够有效提高大块煤所在区域的识别准确性，并能够提高获取大块煤运动状态的准确性，以提高煤块运输监控及阻塞监控预警的准确性。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种煤块运输监控方法，包括：
基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息；
以及，将当前的所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果；
若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
进一步地，所述基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，包括：
自实时且连续采集的煤块运输区域的目标视频数据中获取当前基础帧的目标图像数据；
应用预设的帧差法，根据预先获取的与所述基础帧相邻的上一帧的图像数据以及所述基础帧的目标图像数据之间的差分图像，确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息。
进一步地，所述将当前的所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，包括：
将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型中，以使该大块煤识别模型输出对应的煤块识别结果，其中，所述煤块识别结果包括：各个煤块分别在所述目标图像数据中所占的像素面积及实时坐标信息；
判断所述煤块识别结果中是否包含有大于像素面积阈值的煤块，若是，则将该煤块确认为大块煤，并将该大块煤在所述目标图像数据中所占的像素面积及实时坐标信息存储至当前的大块煤识别结果。
进一步地，在所述将当前的所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果之前，还包括：
对连续采集的煤块运输区域的历史视频数据进行抽帧处理以得到多个历史图像数据；
获取各个所述历史图像数据各自对应的标注信息，其中，所述标注信息包括：煤块在其所在的历史图像数据中所占的像素面积及坐标信息；
将各个所述历史图像数据分别划分至训练集及测试集；
应用预设的yolov5算法，根据所述训练集训练得到大块煤初始识别模型，并基于指标调整该大块煤初始识别模型的参数以对该大块煤初始识别模型进行迭代训练；
基于所述测试集测试所述大块煤初始识别模型并在所述指标满足对应的预设的通过条件后，将该大块煤初始识别模型确定为大块煤识别模型。
进一步地，所述若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，包括：
若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则应用预设的Deep SORT算法，根据该大块煤在所述目标图像数据中的实时坐标信息和所述刮板组件的实时坐标信息判断该大块煤当前是否位于所述刮板运输机上，若是，则将该大块煤确定为目标大块煤；
获取所述目标大块煤的运动状态以确定是否针对该目标大块煤进行运输阻塞预警。
进一步地，所述获取所述目标大块煤的运动状态以确定是否针对该目标大块煤进行运输阻塞预警，包括：
判断在预设时段内的所述大块煤识别模型各次分别输出的该目标大块煤在所述目标图像数据中的各个实时坐标信息之间的移动距离是否超过移动阈值，若否，则确定所述目标大块煤的运动状态为异常运动状态；
输出针对所述目标大块煤的运输阻塞预警信息。
进一步地，在所述应用预设的帧差法，根据预先获取的与所述基础帧相邻的上一帧的图像数据以及所述基础帧的目标图像数据，确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息之前，以及，在所述将所述目标图像数据输入预先基于yolov5算法训练得到的大块煤识别模型中之前，还包括：
对所述目标图像进行格式转换处理和/或图像预处理。
第二方面，本申请提供一种煤块运输监控装置，包括：
刮板识别模块，用于基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息；
大块煤识别模块，用于将当前的所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果；
阻塞判断预警模块，用于若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的煤块运输监控方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的煤块运输监控方法。
由上述技术方案可知，本申请提供的一种煤块运输监控方法及装置，通过将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，能够有效提高大块煤识别的自动化程度、智能化程度、精度和稳定性；通过基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，能够先确认刮板位置再去筛选大块煤所在的坐标信息，能够有效提高大块煤所在区域的识别准确性，并降低误识别率，进而能够有效提高大块煤运动状态的准确性，并能够提高煤块运输监控及阻塞监控预警的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中的煤块运输监控装置分别与图像采集设备与客户端设备之间的连接示意图。
图2是本申请实施例中的煤块运输监控方法的第一种流程示意图。
图3是本申请实施例中的煤块运输监控方法的第二种流程示意图。
图4是本申请实施例中的煤块运输监控方法的第三种流程示意图。
图5是本申请实施例中的煤块运输监控方法的第四种流程示意图。
图6是本申请实施例中的煤块运输监控方法的第五种流程示意图。
图7是本申请实施例中的煤块运输监控方法的第六种流程示意图。
图8是本申请实施例中的煤块运输监控方法的第七种流程示意图。
图9是本申请实施例中的煤块运输监控装置的结构示意图。
图10是本申请应用实例提供的煤块运输监控方法的执行逻辑示意图。
图11是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请公开的煤块运输监控方法和装置可用于煤块识别技术领域，也可用于除煤块之外的其他物品运输中，例如可以将本申请中的煤块替换为其他可开采物质等，本申请公开的煤块运输监控方法和装置的应用领域不做限定。
随着人工智能图像识别视频分析等技术的飞速发展，特别是各类物体的目标检测与识别变得越来越简单容易。伴随着AI赋能监控行业，煤矿综采工作面可视化视频监控分析对工作面自动化的发展具有重要作用。
因此，大块煤阻塞识别方式首先考虑利用井下监控视频通过OpenCV完成图像预处理，再对图像进行灰度化操作和阈值分割，去除背景部分，将运动的大块目标物摘取出来进行标注，从而对运动目标进行准确有效的分析。大块煤识别环节主要流程：通过分析图像的运动特性和亮度特性来实时获取大块煤感兴趣区域，并通过阈值去除干扰部分，实时获取大块煤区域；当其中出现大块时，其作用为防止堵塞及时向工作人员报警便于及时清理。主要是基于机器视觉的运煤输送带异物识别方法，输送带目标检测是运用智能分析技术，通过双边滤波对图像进行预处理，再经过自适应阈值分割将灰度图转换为二值图像，去除背景部分，再进行膨胀腐蚀操作突出特征部分，检测图像中煤块的最外围轮廓，仅保存轮廓的拐点信息，将运动目标摘取出来，再遍历大块煤或矸石的外部轮廓，用最小外接圆进行标注，通过对标注的最小外接圆半径进行判断，输出符合条件的异物并报警。然而，通过图像的运动特性和亮度特性获取感兴趣区域，这种传统方法误差较大，对大块煤所在区域定位不准，且采用静态图片场景下所识别到的大块煤去做阻塞预警，会导致大量误报情况发生。
基于此，还可以考虑进行刮板输送机内大块煤智能视频识别，通过监控视频的智能识别技术，对刮板输送机内的煤量进行估算，并对大块煤进行智能识别。识别出的煤量分为5个等级，当煤量达到最高级和出现大块煤时，系统进行事件预警并将结果推送到智能决策平台；当发现直径大于刮板输送机宽度的大块煤时，发出预警信息，并弹窗上报智能决策平台。把人和机器的力量加以统一，极大地提高了工作效率，为井下移动目标管理提供决策依据，能够提高综采工作面的安全监管水平。然而，仅仅通过煤块直径大小与刮板运输机宽度去判断是否是大块煤，这种方法看似正确，实在存在不合理性。例如，煤块直径大于刮板宽度，但是不影响刮板运行时，也不会发生阻塞现象。
基于此，针对现有的煤块运输监控方式存在大块煤识别位置不准确、运动状态判断不准确而导致煤块运输阻塞的准确性差等问题，本申请实施例提供一种煤块运输监控方案，视频识别刮板实时位置、机器学习识别大块煤以及将刮板位置应用在大块煤运动状态判断中，通过将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，能够有效提高大块煤识别的自动化程度、智能化程度、精度和稳定性；通过基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，能够先确认刮板位置再去筛选大块煤所在的坐标信息，能够有效提高大块煤所在区域的识别准确性，并降低误识别率，进而能够有效提高大块煤运动状态的准确性，并能够提高煤块运输监控及阻塞监控预警的准确性。
在本申请的一个或多个实施例中，刮板运输机是指用刮板链牵引且在槽内运送物料的输送机。在当前采煤工作面内，刮板输送机的作用不仅是运送煤和物料，而且还是采煤机的运行轨道，因此它成为现代化采煤工艺中不可缺少的主要设备。刮板输送机能保持连续运转，生产就能正常进行。否则，整个采煤工作面就会呈现停产状态，使整个生产中断。
在本申请的一个或多个实施例中，所述煤块运输区域是指图像采集设备所采集的煤块运输的特定区域，在煤块运输的整个作业路径中，可以设置多个图像采集设备，且各个图像采集设备各自分别对应一个煤块运输区域，各个图像采集设备的煤块运输区域之间是连续的，甚至可以有部分相邻或重点区域的重叠，以进一步提高煤块运输监控的全面性及有效性。
其中，所述刮板组件是指一个图像采集设备采集的煤块运输区域中涉及到的多个刮板形成的一个单位体，每个图像采集设备各自对应的刮板组件的规格不一定相同，具体根据实际应用情形设置以进一步提高本申请的应用灵活性。
在本申请的一个或多个实施例中，所述图像采集设备可以复用煤块运输路径上已设置的图像采集设备，该图像采集设备可以为多用设备，例如获取原本用于监控区域内人员安全配置的摄像头实时且连续采集的煤块运输区域的目标视频数据等等，进而能够在有效提高图像采集设备的应用全面性及广泛性的基础上，有效降低本申请的硬件实施成本。
在本申请的一个或多个实施例中，目标图像数据是指当前实时采集的视频数据中抽帧得到的图像数据，历史图像数据是指训练机器学习模型时对历史视频数据中抽帧得到的图像数据。
基于上述内容，本申请还提供一种用于实现本申请一个或多个实施例中提供的煤块运输监控方法的煤块运输监控装置，该煤块运输监控装置的具体实现可以为一服务器，在一种具体举例中，参见图1，所述煤块运输监控装置可以分别与所述煤块运输路径上的各个图像采集设备之间通信连接，还可以与技术人员或运维人员持有的客户端设备、控制中心的显示屏以及声光报警装置等之间通信连接，所述煤块运输监控装置可以分别接收各个所述图像采集设备分别实时且连续采集的煤块运输区域的目标视频数据，并基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后在确定需要针对该大块煤进行运输阻塞预警之后，可以向技术人员或运维人员持有的客户端设备、控制中心的显示屏以及声光报警装置等发送预警信息。
可以理解的是，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、个人数字助理(PDA)、车载设备、智能穿戴设备等任何能够装载应用的移动设备。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
上述的客户端设备可以具有通信模块（即通信单元），可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
具体通过下述各个实施例及应用实例分别进行详细说明。
为了解决现有的煤块运输监控方式存在大块煤识别位置不准确、运动状态判断不准确而导致煤块运输阻塞的准确性差等问题，本申请提供一种煤块运输监控方法的实施例，参见图2，基于煤块运输监控装置执行的所述煤块运输监控方法具体包含有如下内容：
步骤100：基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息。
可以理解的是，可以应用帧差法根据相邻的帧图像确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息；还可以通过摄像头的相对位置构建电子围栏的方式进行判断，或者其他视频连续帧的分析方法进行判断。
步骤200：将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果。
上述步骤100和步骤200可以并行或顺序执行，为了进一步提高煤块运输监控的实时性及效率，优选为将步骤100和步骤200同时执行。
可以理解的是，大块煤识别模型可以采用的Yolov5大块煤识别算法训练得到，可以精确识别煤块面积、位置坐标信息，但本申请的保护范围并不局限于此，例如可以采用其他基于深度学习的一阶段、两阶段目标检测识别算法进行代替。
在步骤200中，大块煤识别模型可以专门用于识别目标图像数据是否包含有大块煤，以及若有大块煤，该大块煤在目标图像数据中所占的像素面积及坐标信息，以进一步提高大块煤识别的效率及便捷性；当然，大块煤识别模型也可以仅用于识别各个煤块分别在目标图像数据中所占的像素面积及坐标信息，而后根据像素面积阈值来判断其中是否包含有大块煤，该种方式更便于根据实际应用场景灵活设置及变更像素面积阈值，能够进一步提高煤块运输监控的应用灵活性及适用广泛性。
步骤300：若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
在步骤300中，针对该大块煤进行运输阻塞预警的具体方式可以包含有：外部预警和/或识别结果视频输出；其中，外部预警是指可以将显示大块煤造成运输阻塞的预警信息及该大块煤所在的业务位置信息（例如大块煤所在的支架号等）发送至技术人员或运维人员持有的客户端设备、发送至预设的显示屏进行显示，还可以在技术人员或运维人员所在的区域及控制中心等进行语音、声光播报等预警处理。而识别结果视频输出是指可以将大块煤阻塞的实时视频数据发送至技术人员或运维人员持有的客户端设备及显示屏等进行播放等。
从上述描述可知，本申请实施例提供的煤块运输监控方法，通过将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，能够有效提高大块煤识别的自动化程度、智能化程度、精度和稳定性；通过基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，能够先确认刮板位置再去筛选大块煤所在的坐标信息，能够有效提高大块煤所在区域的识别准确性，并降低误识别率，进而能够有效提高大块煤运动状态的准确性，并能够提高煤块运输监控及阻塞监控预警的准确性。
为了进一步提高刮板识别的准确性，在本申请提供的煤块运输监控方法的一个实施例，参见图3，所述煤块运输监控方法的步骤100具体包含有如下内容：
步骤110：自实时且连续采集的煤块运输区域的目标视频数据中获取当前基础帧的目标图像数据。
步骤120：应用预设的帧差法，根据预先获取的与所述基础帧相邻的上一帧的图像数据以及所述基础帧的目标图像数据之间的差分图像，确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息。
可以理解的是，可以将预先解码得到的前一帧图像与当前帧图像进行像素值相减处理以得到对应的差分图像；对所述差分图像进行图像二值化处理，并基于对应的二值化处理结果确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息。
具体来说，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阈值时，可以认为此处为背景像素；如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。其中，连续运动区域可初步判断为刮板位置，通过数据库初始刮板位置坐标进行简单验证，在拉架、推溜操作时进行位置更新。
从上述描述可知，本申请实施例提供的煤块运输监控方法，通过采用连续的视频帧序列，可以为煤块的运动状态、运动方向提供良好的支撑，避免了简单粗暴的预测阻塞问题；结合视频上下文的信息自动进行刮板位置的判断算法，可以很好对刮板位置变化做出判断，从而更新位置信息，通过确认刮板位置再去筛选大块煤区域坐标，而不是直接对大块煤进行目标检测，这样可以很好的减少误识别。
为了进一步提高煤块运输监控的应用灵活性及适用广泛性，在本申请提供的煤块运输监控方法的一个实施例，参见图4，所述煤块运输监控方法的步骤200具体包含有如下内容：
步骤210：将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型中，以使该大块煤识别模型输出对应的煤块识别结果，其中，所述煤块识别结果包括：各个煤块分别在所述目标图像数据中所占的像素面积及实时坐标信息；
步骤220：判断所述煤块识别结果中是否包含有大于像素面积阈值的煤块，若是，则执行步骤230；若否，则确认当前没有大块煤，并返回步骤100。
步骤230：将该煤块确认为大块煤，并将该大块煤在所述目标图像数据中所占的像素面积及实时坐标信息存储至当前的大块煤识别结果。
可以理解的是，所述像素面积阈值可以根据实际应用场景进行设置，例如：像素面积阈值以像素面积计量，可以根据实际需要进行设置，例如：50像素面积，其中，像素面积阈值大小与实际刮板宽度对应，多种刮板规格对应多种像素面积阈值。所述实时坐标信息是指大块煤在所述目标图像数据对应的预设坐标系内的坐标数据。
从上述描述可知，本申请实施例提供的煤块运输监控方法，更便于根据实际应用场景灵活设置及变更像素面积阈值，能够进一步提高煤块运输监控的应用灵活性及适用广泛性。
为了进一步提高煤块识别的效率和精度，在本申请提供的煤块运输监控方法的一个实施例，参见图5，所述煤块运输监控方法的步骤200或者步骤100之前还具体包含有如下内容：
步骤010：对连续采集的煤块运输区域的历史视频数据进行抽帧处理以得到多个历史图像数据。
步骤020：获取各个所述历史图像数据各自对应的标注信息，其中，所述标注信息包括：煤块在其所在的历史图像数据中所占的像素面积及坐标信息。
步骤030：将各个所述历史图像数据分别划分至训练集及测试集。
步骤040：应用预设的yolov5算法，根据所述训练集训练得到大块煤初始识别模型，并基于指标调整该大块煤初始识别模型的参数以对该大块煤初始识别模型进行迭代训练。
可以理解的是，yolov5算法是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。主要的改进思路包括：输入端：在模型训练阶段，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；基准网络主要包括：Focus结构与CSP结构；Neck网络：目标检测网络在Backbone与最后的Head输出层之间往往会插入一些层，Yolov5中添加了FPN+PAN结构；Head输出层：输出层的锚框机制与YOLOv4相同，主要改进的是训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_nms。
步骤050：基于所述测试集测试所述大块煤初始识别模型并在所述指标满足对应的预设的通过条件后，将该大块煤初始识别模型确定为大块煤识别模型。
具体来说，可以先对井下的监控视频进行抽帧存储，采用人工进行逐张标注煤块信息，包含煤块位置坐标、大小等，而后进行模型训练，采用yolov5算法通过训练时的数据指标：准确率、召回率等调整模型超参数，并进行迭代训练，再进行线下模型测试，通过分割好的测试集进行测试，评估模型指标，准确率达到95%后进行模型上线发布。
从上述描述可知，本申请实施例提供的煤块运输监控方法，通过采用yolov5一阶段识别算法属于端到端的模型，能够有效提高煤块识别的效率和精度，并能够有效提高大块煤识别的自动化程度及智能化程度，以进一步提高大块煤运输阻塞预警的可靠性及有效性。
为了进一步降低减少误识别率，在本申请提供的煤块运输监控方法的一个实施例，参见图6，所述煤块运输监控方法的步骤300具体包含有如下内容：
步骤310：若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则应用预设的Deep SORT算法，根据该大块煤在所述目标图像数据中的实时坐标信息和所述刮板组件的实时坐标信息判断该大块煤当前是否位于所述刮板运输机上，若是，则将该大块煤确定为目标大块煤。
可以理解的是，Deep SORT算法是在Sort目标追踪基础上的改进。引入了在行人重识别数据集上离线训练的深度学习模型，在实时目标追踪过程中，提取目标的表观特征进行最近邻匹配，可以改善有遮挡情况下的目标追踪效果。
具体来说，采用Deep SORT多目标追踪算法，对上、下帧中所有的煤块位置区域进行级联匹配，关联匹配成功的煤块进行坐标运动判断和计时统计。未成功匹配的定义为第一次出现的新煤块。
步骤320：获取所述目标大块煤的运动状态以确定是否针对该目标大块煤进行运输阻塞预警。
从上述描述可知，本申请实施例提供的煤块运输监控方法，结合视频上下文的信息自动进行刮板位置的判断算法，可以很好对刮板位置变化做出判断，从而更新位置信息，通过确认刮板位置再去筛选大块煤区域坐标，而不是直接对大块煤进行目标检测，这样可以很好的减少误识别。
为了实时有效的进行预警，降低损失，在本申请提供的煤块运输监控方法的一个实施例，参见图7，所述煤块运输监控方法的步骤320具体包含有如下内容：
步骤321：判断在预设时段内的所述大块煤识别模型各次分别输出的该目标大块煤在所述目标图像数据中的各个实时坐标信息之间的移动距离是否超过移动阈值，若否，则执行步骤322；若是，则确定所述目标大块煤的运动状态为正常移动状态，返回执行步骤100。
步骤322：确定所述目标大块煤的运动状态为异常运动状态。
可以理解的是，所述预设时段可以根据实际应用情形设置，例如15s或30s等，即：若所述目标大块煤在15s内没有发生移动，则可以进行阻塞预警。
可以理解的是，所述大块煤识别模型各次分别输出的该目标大块煤在所述目标图像数据中的各个实时坐标信息之间的移动距离是否超过移动阈值可以指：若大块煤识别模型在30S内输出了30个目标大块煤在所述目标图像数据中的实时坐标信息，则比较30个中的第一个和最后一个的目标大块煤的实时坐标信息之间的变化是否超过移动阈值；也可以比较30个目标大块煤的实时坐标信息中的任意两个目标大块煤的实时坐标信息之间的变化是否超过移动阈值；还可以比较30个目标大块煤的实时坐标信息中的多于两个、甚至全部的目标大块煤的实时坐标信息之间，每两个相邻的目标大块煤的实时坐标信息之间是否存在超过移动阈值的变化等，具体可以根据实际应用需求进行设置。
其中，所述移动阈值可以指目标大块煤的实时坐标信息的横纵坐标的变化分别对应相同或不同的移动阈值，也可以指目标大块煤的实时坐标信息横坐标或者纵坐标对应的移动阈值。所述移动阈值以像素为单位给出，可以根据实际应用需要进行设置，例如：10个像素大小等。
步骤323：输出针对所述目标大块煤的运输阻塞预警信息。
从上述描述可知，本申请实施例提供的煤块运输监控方法，连续的视频帧序列，可以为煤块的运动状态、运动方向提供良好的支撑，避免了简单粗暴的预测阻塞问题，通过煤块的运动状态来判断是否刮板运输机上的大块煤发生阻塞，实时有效的进行预警，降低损失。
为了进一步提高煤块运输监控的准确性，在本申请提供的煤块运输监控方法的一个实施例，参见图8，所述煤块运输监控方法中的步骤110之后，以及步骤120和210之前，还具体包含有如下内容：
步骤060：对所述目标图像进行格式转换处理和/或图像预处理。
在步骤110之后，以及步骤120和所述步骤210之前，还可以根据实际应用情形对目标图像进行处理，具体来说：由于不同国家的电视信号系统支持的图像格式不同，有YUV格式成像，也有RGB格式成像，因此为了保证兼容性，需要进行RGB与YUV格式的互转。另外YUV格式具有亮度信息和色彩信息分离的特点，而当图像进行后期显示时，又需要将YUV转换为RGB。同时，因为煤矿生产环境下，粉尘比较大，光照不均匀，所以需要为采集到的数据进行降噪、去雾、去强光操作，从而保证图片的清晰度。
从上述描述可知，本申请实施例提供的煤块运输监控方法，能够进一步提高目标图像数据的应用可靠性及有效性，进而能够进一步提高煤块运输监控的准确性。
从软件层面来说，为了解决现有的煤块运输监控方式存在大块煤识别位置不准确、运动状态判断不准确而导致煤块运输阻塞的准确性差等问题，本申请提供一种用于执行所述煤块运输监控方法中全部或部分内容的煤块运输监控装置的实施例，参见图9，所述煤块运输监控装置具体包含有如下内容：
刮板识别模块10，用于基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息；
大块煤识别模块20，用于将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果；
阻塞判断预警模块30，用于若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
本申请提供的煤块运输监控装置的实施例具体可以用于执行上述实施例中的煤块运输监控方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本申请实施例提供的煤块运输监控装置，通过将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，能够有效提高大块煤识别的自动化程度、智能化程度、精度和稳定性；通过基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，能够先确认刮板位置再去筛选大块煤所在的坐标信息，能够有效提高大块煤所在区域的识别准确性，并降低误识别率，进而能够有效提高大块煤运动状态的准确性，并能够提高煤块运输监控及阻塞监控预警的准确性。
为了进一步说明本方案，本申请应用实例的目的是解决大块煤识别区域不准确、运动状态判断不准的问题。采用深度学习的yolov5图像识别算法，可以更精准的识别大块煤。通过视频上下帧之间的关系，结合帧差法、光流法、Deep SORT物体追踪的技术，可以更精准的判断大块煤的运动状态。从而可以在刮板运输机上大块煤发生阻塞时做到实时预警。
为了实现上述目的，本申请应用实例矿井工作面监控视频为实验数据，围绕大块煤阻塞预警的特点和需求，以提高预警精确度为核心目标，提出了一种刮板运输机上大块煤阻塞的煤块运输监控方法。
具体来说，本申请应用实例的核心算法模块包含三大部分：
第一，基于视频分析的刮板运输机位置的识别；
第二，基于yolov5的大块煤图像识别；
第三，大块煤运动状态判断算法。
参见图10，本申请应用实例提供的煤块运输监控方法具体包含有如下内容：
（一）基于视频分析的刮板运输机位置的识别，主要包含六个步骤：
1、输入RTSP视频流。
在摄像机安装好之后，一般是通过局域网与本地的服务器进行连接，要取录像机的视频流就要在局域网范围内进行操作。摄像机的IP地址、配置的用户名和密码是已知的参数，在安装的时候即已配置好。RTSP协议地址码根据所用摄像机的型号来定。
2、解码出相关联的上下帧。
对于视频解码而言，就是把被编码/压缩后的一组帧数据尽量恢复成原来的样子。I帧是帧内压缩编码得到的，通常是每个GOP组的第一帧/基础帧，在一组中只有一个I帧，I帧所占信息量大，解码时仅有I帧即可完整重构图像。在这一步我们去获取相邻I帧。
3、图像格式转换。
由于不同国家的电视信号系统支持的图像格式不同，有YUV格式成像，也有RGB格式成像，因此为了保证兼容性，需要进行RGB与YUV格式的互转。另外YUV格式具有亮度信息和色彩信息分离的特点，而当图像进行后期显示时，又需要将YUV转换为RGB。
4、对图像进行预处理。
因为煤矿生产环境下，粉尘比较大，光照不均匀，所以需要为采集到的数据进行降噪、去雾、去强光操作，从而保证图片的清晰度。
5、采用帧差法进行计算。
首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阈值时，可以认为此处为背景像素；如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。
6、判断运动区域坐标并存储。
连续运动区域可初步判断为刮板位置，通过数据库初始刮板位置坐标进行简单验证，在拉架、推溜操作时进行位置更新。
其中，刮板运输机位置识别，通过视频上下帧煤流的运动区域进行结合帧差法判断确认刮板位置，但本申请应用实例的保护范围并不局限于此，也可以通过摄像头的相对位置构建电子围栏的方式进行判断，或者其他视频连续帧的分析方法进行判断也可完成申请目的，也应涵盖在本申请应用实例的保护范围之内。
（二）基于yolov5的大块煤图像识别，主要包含线下模型训练和线上模型预测两部分。
其一，线下深度学习图像识别模型训练：
1、数据采集模块，对井下的监控视频进行抽帧存储。
2、数据标注模块，采用人工进行逐张标注煤块信息，包含煤块位置坐标、大小等。
3、进行模型训练，采用yolov5算法通过训练时的数据指标：准确率、召回率等调整模型超参数，并进行迭代训练。
4、线下模型测试，通过分割好的测试集进行测试，评估模型指标。
5、准确率达到95%后进行模型上线发布，形成煤块识别模型。
其二，线上模型应用：
输入RTSP流。
编解码输出单张图像。
进行图像的格式转换、预处理。
图像输入线上模型进行煤块预测。
输出模型的预测结果。
其中，本申请应用实例采用的Yolov5大块煤识别算法，可以精确识别煤块面积、位置坐标信息，但本申请应用实例的保护范围并不局限于此，例如可以采用其他基于深度学习的一阶段、两阶段目标检测识别算法进行代替，也可完成申请目的，也应涵盖在本申请应用实例的保护范围之内。
（三）大块煤运动状态判断算法，主要包含四个步骤：
1、输入煤块位置信息。
2、将上述yolov5端到端的目标检测算法识别结果bbox信息，输入到运动状态判断模块。
3、输入刮板运输机位置信息。
4、将第一个模块中获取到的刮板运输机位置坐标信息，输入到运动状态判断模块。
5、判断所有煤块运动状态。
6、采用Deep SORT多目标追踪算法，对上、下帧中所有的煤块位置区域进行级联匹配，关联匹配成功的煤块进行坐标运动判断和计时统计。未成功匹配的定义为第一次出现的新煤块。
7、预警输出支架号、阻塞煤块大小信息。
8、对于上一步中追踪到的，同时处于刮板运输机上的煤块在30s内位置变化不大，则认定属于阻塞煤块，进行上报预警。
其中，煤块运动状态识别，本申请应用实例主要采用Deep SORT追踪结合采用光流、帧差法完成煤块运动状态的识别，但本申请应用实例的保护范围并不局限于此，采用其他传统的、基于深度学习的追踪算法也可以完成本申请应用实例目的，也应涵盖在本申请应用实例的保护范围之内。
基于上述内容可知，本申请应用实例的具体优势如下：
优势一：结合视频上下文的信息自动进行刮板位置的判断算法，可以很好对刮板位置变化做出判断，从而更新位置信息。
优势二：使用yolov5一阶段识别算法属于端到端的模型，识别效率和精度是目前目标检测算法里效果最好的。
优势三：连续的视频帧序列，可以为煤块的运动状态、运动方向提供良好的支撑，避免了简单粗暴的预测阻塞问题。
由此，本申请应用实例的技术关键点和欲保护点一是基于视频分析的方法确认刮板位置再去筛选大块煤区域坐标，而不是直接对大块煤进行目标检测，这样可以很好的减少误识别。
本申请应用实例的技术关键点和欲保护点二是提出了将yolov5图像识别算法应用到煤块的检测上，大大提高了识别的精度和稳定性。
本申请应用实例的技术关键点和欲保护点三是提出通过煤块的运动状态来判断是否刮板运输机上的大块煤发生阻塞。实时有效的进行预警，降低损失。
本申请应用实例通过基于深度学习的视频分析图像识别算法，对刮板运输机上大块煤阻塞场景进行实时精准的预警，可以很好将视频监控与人工智能技术融入到综采工作面的自动化系统中，从而实现煤矿井下工作面的减人增效。
从硬件层面来说，为了解决现有的煤块运输监控方式存在大块煤识别位置不准确、运动状态判断不准确而导致煤块运输阻塞的准确性差等问题，本申请提供一种用于实现所述煤块运输监控方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图11是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在一实施例中，煤块运输监控功能可以被集成到中央处理器中。其中，中央处理器可以被配置为进行如下控制：
步骤100：基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息。
步骤200：将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果。
上述步骤100和步骤200可以并行或顺序执行，为了进一步提高煤块运输监控的实时性及效率，优选为将步骤100和步骤200同时执行。
步骤300：若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
从上述描述可知，本申请实施例提供的电子设备，通过将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，能够有效提高大块煤识别的自动化程度、智能化程度、精度和稳定性；通过基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，能够先确认刮板位置再去筛选大块煤所在的坐标信息，能够有效提高大块煤所在区域的识别准确性，并降低误识别率，进而能够有效提高大块煤运动状态的准确性，并能够提高煤块运输监控及阻塞监控预警的准确性。
在另一个实施方式中，煤块运输监控装置可以与中央处理器9100分开配置，例如可以将煤块运输监控装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现煤块运输监控功能。
如图11所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图11中所示的所有部件；此外，电子设备9600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器（ROM）、随机存取存储器（RAM）、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141（有时被称为缓冲器）。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能（如消息传送应用、通讯录应用等）的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块（发送机/接收机）9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块（发送机/接收机）9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的煤块运输监控方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的煤块运输监控方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息。
步骤200：将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果。
上述步骤100和步骤200可以并行或顺序执行，为了进一步提高煤块运输监控的实时性及效率，优选为将步骤100和步骤200同时执行。
步骤300：若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，能够有效提高大块煤识别的自动化程度、智能化程度、精度和稳定性；通过基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，而后若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，能够先确认刮板位置再去筛选大块煤所在的坐标信息，能够有效提高大块煤所在区域的识别准确性，并降低误识别率，进而能够有效提高大块煤运动状态的准确性，并能够提高煤块运输监控及阻塞监控预警的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（装置）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种煤块运输监控方法，其特征在于，包括：
基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息；
以及，将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果；
若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
2.根据权利要求1所述的煤块运输监控方法，其特征在于，所述基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息，包括：
自实时且连续采集的煤块运输区域的目标视频数据中获取当前基础帧的目标图像数据；
应用预设的帧差法，根据预先获取的与所述基础帧相邻的上一帧的图像数据以及所述基础帧的目标图像数据之间的差分图像，确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息。
3.根据权利要求2所述的煤块运输监控方法，其特征在于，所述将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果，包括：
将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型中，以使该大块煤识别模型输出对应的煤块识别结果，其中，所述煤块识别结果包括：各个煤块分别在所述目标图像数据中所占的像素面积及实时坐标信息；
判断所述煤块识别结果中是否包含有大于像素面积阈值的煤块，若是，则将该煤块确认为大块煤，并将该大块煤在所述目标图像数据中所占的像素面积及实时坐标信息存储至当前的大块煤识别结果。
4.根据权利要求1或3所述的煤块运输监控方法，其特征在于，在所述将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果之前，还包括：
对连续采集的煤块运输区域的历史视频数据进行抽帧处理以得到多个历史图像数据；
获取各个所述历史图像数据各自对应的标注信息，其中，所述标注信息包括：煤块在其所在的历史图像数据中所占的像素面积及坐标信息；
将各个所述历史图像数据分别划分至训练集及测试集；
应用预设的yolov5算法，根据所述训练集训练得到大块煤初始识别模型，并基于指标调整该大块煤初始识别模型的参数以对该大块煤初始识别模型进行迭代训练；
基于所述测试集测试所述大块煤初始识别模型并在所述指标满足对应的预设的通过条件后，将该大块煤初始识别模型确定为大块煤识别模型。
5.根据权利要求1所述的煤块运输监控方法，其特征在于，所述若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警，包括：
若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则应用预设的DeepSORT算法，根据该大块煤在所述目标图像数据中的实时坐标信息和所述刮板组件的实时坐标信息判断该大块煤当前是否位于所述刮板运输机上，若是，则将该大块煤确定为目标大块煤；
获取所述目标大块煤的运动状态以确定是否针对该目标大块煤进行运输阻塞预警。
6.根据权利要求5所述的煤块运输监控方法，其特征在于，所述获取所述目标大块煤的运动状态以确定是否针对该目标大块煤进行运输阻塞预警，包括：
判断在预设时段内的所述大块煤识别模型各次分别输出的该目标大块煤在所述目标图像数据中的各个实时坐标信息之间的移动距离是否超过移动阈值，若否，则确定所述目标大块煤的运动状态为异常运动状态；
输出针对所述目标大块煤的运输阻塞预警信息。
7.根据权利要求3所述的煤块运输监控方法，其特征在于，在所述应用预设的帧差法，根据预先获取的与所述基础帧相邻的上一帧的图像数据以及所述基础帧的目标图像数据，确定刮板运输机在该煤块运输区域中的刮板组件在所述差分图像中的实时坐标信息之前，以及，在所述将所述目标图像数据输入预先基于yolov5算法训练得到的大块煤识别模型中之前，还包括：
对所述目标图像进行格式转换处理和/或图像预处理。
8.一种煤块运输监控装置，其特征在于，包括：
刮板识别模块，用于基于实时且连续采集的煤块运输区域的目标视频数据确定刮板运输机在该煤块运输区域中的刮板组件的实时坐标信息；
大块煤识别模块，用于将所述目标视频数据对应的目标图像数据输入预设的大块煤识别模型，并根据该大块煤识别模型的输出获取当前的大块煤识别结果；
阻塞判断预警模块，用于若所述大块煤识别结果显示所述煤块运输区域中包含有大块煤，则根据所述刮板组件的实时坐标信息以及所述大块煤识别结果中包含的该大块煤在所述目标图像数据中的实时坐标信息，判断该大块煤当前是否位于所述刮板运输机上，若是，则获取该大块煤的运动状态以确定是否针对该大块煤进行运输阻塞预警。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的煤块运输监控方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的煤块运输监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111577015.0A CN113942805B (zh) | 2021-12-22 | 2021-12-22 | 煤块运输监控方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111577015.0A CN113942805B (zh) | 2021-12-22 | 2021-12-22 | 煤块运输监控方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113942805A true CN113942805A (zh) | 2022-01-18 |
| CN113942805B CN113942805B (zh) | 2022-03-25 |
Family
ID=79339247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111577015.0A Active CN113942805B (zh) | 2021-12-22 | 2021-12-22 | 煤块运输监控方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113942805B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299067A (zh) * | 2022-03-04 | 2022-04-08 | 西安华创马科智能控制系统有限公司 | 一种井下煤壁片帮预警方法及装置 |
| CN114572722A (zh) * | 2022-03-15 | 2022-06-03 | 内蒙古京宁热电有限责任公司 | 一种基于人工智能技术的翻车机操控系统 |
| CN114890162A (zh) * | 2022-06-07 | 2022-08-12 | 华润电力技术研究院有限公司 | 配煤方法、配煤设备以及计算机可读存储介质 |
| CN115231205A (zh) * | 2022-08-31 | 2022-10-25 | 天津美腾科技股份有限公司 | 一种刮板运输机的故障监测方法及系统 |
| CN115646848A (zh) * | 2022-10-21 | 2023-01-31 | 微山金源煤矿 | 一种煤矿智能分类方法及系统 |
| CN116662764A (zh) * | 2023-07-28 | 2023-08-29 | 中国电子科技集团公司第十五研究所 | 误识别纠正的数据识别方法、模型训练方法、装置和设备 |
| CN114890162B (zh) * | 2022-06-07 | 2024-05-31 | 深圳市出新知识产权管理有限公司 | 配煤方法、配煤设备以及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06127663A (ja) * | 1992-10-21 | 1994-05-10 | Nippon Steel Corp | ベルトコンベア上の粉粒塊状物の積載状態の測定方法及びコンベア蛇行制御方法 |
| CN202272472U (zh) * | 2011-08-23 | 2012-06-13 | 北京纵横兴业科技发展有限公司 | 一种用于监控输煤系统的输煤皮带上大块煤的系统 |
| CN109359594A (zh) * | 2018-10-17 | 2019-02-19 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN110422588A (zh) * | 2019-07-29 | 2019-11-08 | 精英数智科技股份有限公司 | 刮板输送机的监测方法、装置、设备和存储介质 |
| CN210418175U (zh) * | 2019-01-21 | 2020-04-28 | 平顶山天安煤业股份有限公司 | 矿用皮带运输机大煤块检测装置 |
| CN111242108A (zh) * | 2020-04-26 | 2020-06-05 | 华夏天信（北京）智能低碳技术研究院有限公司 | 基于目标检测的皮带转载点堵煤识别方法 |
| CN210884127U (zh) * | 2019-10-11 | 2020-06-30 | 宁夏广天夏电子科技有限公司 | 一种基于三维图像及视频技术的皮带机物料堆积检测系统 |
| CN113408361A (zh) * | 2021-05-25 | 2021-09-17 | 中国矿业大学 | 一种基于深度学习的矿用输送带大块物料检测方法及系统 |
-
2021
- 2021-12-22 CN CN202111577015.0A patent/CN113942805B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06127663A (ja) * | 1992-10-21 | 1994-05-10 | Nippon Steel Corp | ベルトコンベア上の粉粒塊状物の積載状態の測定方法及びコンベア蛇行制御方法 |
| CN202272472U (zh) * | 2011-08-23 | 2012-06-13 | 北京纵横兴业科技发展有限公司 | 一种用于监控输煤系统的输煤皮带上大块煤的系统 |
| CN109359594A (zh) * | 2018-10-17 | 2019-02-19 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN210418175U (zh) * | 2019-01-21 | 2020-04-28 | 平顶山天安煤业股份有限公司 | 矿用皮带运输机大煤块检测装置 |
| CN110422588A (zh) * | 2019-07-29 | 2019-11-08 | 精英数智科技股份有限公司 | 刮板输送机的监测方法、装置、设备和存储介质 |
| CN210884127U (zh) * | 2019-10-11 | 2020-06-30 | 宁夏广天夏电子科技有限公司 | 一种基于三维图像及视频技术的皮带机物料堆积检测系统 |
| CN111242108A (zh) * | 2020-04-26 | 2020-06-05 | 华夏天信（北京）智能低碳技术研究院有限公司 | 基于目标检测的皮带转载点堵煤识别方法 |
| CN113408361A (zh) * | 2021-05-25 | 2021-09-17 | 中国矿业大学 | 一种基于深度学习的矿用输送带大块物料检测方法及系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299067A (zh) * | 2022-03-04 | 2022-04-08 | 西安华创马科智能控制系统有限公司 | 一种井下煤壁片帮预警方法及装置 |
| CN114572722A (zh) * | 2022-03-15 | 2022-06-03 | 内蒙古京宁热电有限责任公司 | 一种基于人工智能技术的翻车机操控系统 |
| CN114890162A (zh) * | 2022-06-07 | 2022-08-12 | 华润电力技术研究院有限公司 | 配煤方法、配煤设备以及计算机可读存储介质 |
| CN114890162B (zh) * | 2022-06-07 | 2024-05-31 | 深圳市出新知识产权管理有限公司 | 配煤方法、配煤设备以及计算机可读存储介质 |
| CN115231205A (zh) * | 2022-08-31 | 2022-10-25 | 天津美腾科技股份有限公司 | 一种刮板运输机的故障监测方法及系统 |
| CN115646848A (zh) * | 2022-10-21 | 2023-01-31 | 微山金源煤矿 | 一种煤矿智能分类方法及系统 |
| CN116662764A (zh) * | 2023-07-28 | 2023-08-29 | 中国电子科技集团公司第十五研究所 | 误识别纠正的数据识别方法、模型训练方法、装置和设备 |
| CN116662764B (zh) * | 2023-07-28 | 2023-09-29 | 中国电子科技集团公司第十五研究所 | 误识别纠正的数据识别方法、模型训练方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113942805B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113942805B (zh) | 煤块运输监控方法及装置 | |
| US9390333B2 (en) | System and method for robust motion detection | |
| CN102148959B (zh) | 一种视频监控系统及其图像的运动目标检测方法 | |
| US10223590B2 (en) | Methods and systems of performing adaptive morphology operations in video analytics | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN115272980A (zh) | 一种基于机器视觉的运输皮带表面检测方法及系统 | |
| CN114429544A (zh) | 基于计算机视觉的振动筛筛网破损检测方法、系统及装置 | |
| EP1333682A1 (en) | Motion detection from an encoded image bit stream | |
| CN114758271A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN113822110B (zh) | 一种目标检测的方法和装置 | |
| CN113822814A (zh) | 利用大数据存储的环境辨识系统及方法 | |
| CN116912758A (zh) | 一种用于安全隐患监测的目标图像识别方法和装置 | |
| EP1973351B1 (en) | Monitor | |
| CN110619645A (zh) | 一种桥吊下集装箱拖架的自动识别与定位装置及方法 | |
| CN115984378A (zh) | 一种轨道异物检测方法、装置、设备及介质 | |
| CN115762089A (zh) | 矿仓下料检堵装置 | |
| CN116051477A (zh) | 一种超高清视频文件的图像噪声检测方法及装置 | |
| CN113297940A (zh) | 一种高铁受电弓工作状态检测方法 | |
| CN111814734A (zh) | 识别刀闸状态的方法 | |
| CN110991286A (zh) | 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法 | |
| CN116193242B (zh) | 一种摄像装置图像解析与传输方法 | |
| KR102659734B1 (ko) | 정보 코드 패턴 판독 장치 | |
| CN117880759B (zh) | 一种智能化视频短信链路高效检测方法 | |
| CN114005068A (zh) | 监测货物移动的方法及装置 | |
| CN115019230A (zh) | 一种基于视频监视图像识别的自动化插板位置监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhu Chao Inventor after: Du Leiqi Inventor before: Zhao Jinjian Inventor before: Du Leiqi |