CN113306991B - 基于立体视觉的煤炭运输机监测管理系统 - Google Patents

基于立体视觉的煤炭运输机监测管理系统 Download PDF

Info

Publication number
CN113306991B
CN113306991B CN202110408307.5A CN202110408307A CN113306991B CN 113306991 B CN113306991 B CN 113306991B CN 202110408307 A CN202110408307 A CN 202110408307A CN 113306991 B CN113306991 B CN 113306991B
Authority
CN
China
Prior art keywords
coal
conveyor
conveyor belt
coal flow
dimensional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110408307.5A
Other languages
English (en)
Other versions
CN113306991A (zh
Inventor
李晨光
马俊伟
张兵
姜其言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vizum Intelligent Technology Co ltd
Original Assignee
Beijing Vizum Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vizum Intelligent Technology Co ltd filed Critical Beijing Vizum Intelligent Technology Co ltd
Priority to CN202110408307.5A priority Critical patent/CN113306991B/zh
Publication of CN113306991A publication Critical patent/CN113306991A/zh
Application granted granted Critical
Publication of CN113306991B publication Critical patent/CN113306991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
    • B65G15/30—Belts or like endless load-carriers
    • B65G15/32—Belts or like endless load-carriers made of rubber or plastics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/06—Control devices, e.g. for safety, warning or fault-correcting interrupting the drive in case of driving element breakage; Braking or stopping loose load-carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/04—Bulk
    • B65G2201/045—Sand, soil and mineral ore
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0275—Damage on the load carrier
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0283—Position of the load carrier
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Conveyors (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于立体视觉的煤炭运输机监测管理系统，包括煤炭运输机，设置于煤炭运输机上方的一个或者多个线激光双目立体相机；该线激光双目立体相机的视觉处理器包括：立体视觉处理模块，用于利用双目视觉处理算法处理激光线图像以得到输送带的正面三维立体信息以及输送带上煤流的三维立体信息；煤流监测模块，用于根据输送带上煤流的三维立体信息和基准面立体信息获取煤流监测信息；异物检测模块，用于根据输送带上煤流的三维立体信息和设定的面积阈值检测出大块物体；以及，运输机位置检测模块，用于根据煤炭运输机的三维立体信息和基准面立体信息计算得到运输机位置偏移信息。该监测管理系统能同步高精度完成多种检测，自动化程度高。

Description

基于立体视觉的煤炭运输机监测管理系统
技术领域
本发明涉及煤炭运输管理技术领域，尤其涉及一种基于立体视觉的煤炭运输机监测管理系统。
背景技术
我国是煤炭资源大国，同时也是煤炭消耗大国，煤炭作为我国的主要一次能源，占我国一次能源消费总量的60％以上，因此，国家对煤炭的开采加工非常重视。目前开采的煤炭在运输机上输送过程中，对于大块煤/异物检测方面，自动化程度低，依旧采用的是人在设备旁边盯着看大块煤/异物是否存在；对于煤流量的检测，往往忽略了皮带与托辊之间的间隙，认为皮带完全与托辊接触，导致对瞬时截面积计算精度不高，从而影响了煤流的检测精度；对于运输机的运行是否正常采取的仍是定期人工检测的方式，不能实时发现运输机跑偏、倾斜等现象，影响运输机的高效运行。因此，现有的煤炭运输系统存在自动化程度较低且检测精度不高等问题。
发明内容
为了解决上述技术问题，本发明实施例提供了一种基于立体视觉的煤炭运输机监测管理系统，解决了现有技术中煤炭运输系统的自动化程度较低，且检测精度不高的问题。
一方面，本发明实施例提供了一种基于立体视觉的煤炭运输机监测管理系统，包括煤炭运输机，以及设置于所述煤炭运输机上方的一个或者多个线激光双目立体相机；
所述线激光双目立体相机包括设置于外壳内的线激光器、相对间隔设置的两个摄像头以及与两个所述摄像头连接的视觉处理器，所述线激光器用于发射激光线到所述煤炭运输机的输送带上，两个所述摄像头用于拍摄所述输送带上的激光线图像；其中，所述视觉处理器包括：
立体视觉处理模块，被配置为利用双目视觉处理算法处理所述激光线图像以得到所述输送带的正面三维立体信息以及所述输送带上煤流的三维立体信息；
煤流监测模块，被配置为根据所述输送带上煤流的三维立体信息和基准面立体信息获取煤流监测信息；
异物检测模块，被配置为根据所述输送带上煤流的三维立体信息和设定的面积阈值检测出大块物体；
以及，运输机位置检测模块，被配置为根据所述输送带的正面三维立体信息和所述基准面立体信息计算得到运输机位置偏移信息。
在一些实施例中，所述视觉处理器还包括标定模块，被配置为以所述煤炭运输机空载时所述输送带表面为基准面对所述线激光双目立体相机进行标定，并获得所述基准面立体信息，所述基准面立体信息包括所述输送带三维轮廓基准数据和所述输送带的两边界点基准坐标。
在一些实施例中，所述立体视觉处理模块包括：
立体校正单元，被配置为对两个所述摄像头分别获取到的左图像和右图像进行立体校正，使校正后的左图像和校正后的右图像行对准；
匹配单元，被配置为对校正后的左图像和校正后的右图像进行匹配得到线激光成像匹配点对；
立体信息计算单元，被配置为根据所述线激光匹配点对得到左右图像视差，并根据所述左右图像视差计算得到所述输送带的正面三维立体信息以及所述输送带上煤流的三维立体信息。
在一些实施例中，所述煤流监测模块包括：
煤流截面获取单元，被配置为根据所述输送带上煤流的三维立体信息和所述基准面立体信息获取煤流截面积、煤流宽度以及煤流高度；
煤流量计算单元，被配置为根据所述煤流截面积、设定时间和输送带传输速率计算得到煤流量，其中，煤流量＝煤流截面积×设定时间×输送带传输速率；
煤流位置检测单元，被配置为计算所述煤流宽度和输送带宽度的宽度差值，并将所述宽度差值与设定的宽度阈值比较以确定煤流位置偏移信息，其中，所述输送带宽度根据所述输送带的两边界点基准坐标计算得到；
以及，堆煤检测单元，被配置为如果所述煤流高度大于设定的高度阈值则所述输送带上传送的煤流存在堆煤。
在一些实施例中，所述异物检测模块包括：
立体分割单元，被配置为根据所述输送带上煤流的三维立体信息得到相应的点云数据，并对所述点云数据进行立体分割得到多个潜在异物区域图像；
投影面积计算单元，被配置为计算每个所述潜在异物区域图像的投影面积；
以及，大块物体检测单元，被配置为如果所述潜在异物区域图像的投影面积大于设定的面积阈值，则所述潜在异物区域图像中存在大块物体。
在一些实施例中，所述异物检测模块还包括煤矸石检测单元，所述煤矸石检测单元被配置为利用预先训练好的深度卷积神经网络模型对每个所述潜在异物区域图像进行煤矸石检测。
在一些实施例中，所述立体分割单元被具体配置为：
对所述点云数据进行处理得到深度图像；
根据预设的分割阈值二值化所述深度图像得到掩码图像；
对所述掩码图像进行分割得到多个潜在异物区域图像。
在一些实施例中，所述运输机位置检测模块包括：
边界点获取单元，被配置为从所述输送带的正面三维立体信息中定位当前所述输送带两边界点并提取当前两边界点坐标；
运输机跑偏检测单元，被配置为如果当前两边界点横坐标与两边界点基准横坐标之差均大于第一预设阈值，则所述输送带存在跑偏；
运输机倾斜检测单元，被配置为如果当前两边界点竖坐标与两边界点基准竖坐标之差均大于第二预设阈值，则所述输送带存在倾斜。
在一些实施例中，所述煤炭运输机的下方还设有用于检测输送带撕裂的一个或者多个线激光双目立体相机，所述立体视觉处理模块还用于获取所述输送带的背面三维立体信息，所述视觉处理器还包括运输机撕裂检测模块，所述运输机撕裂检测模块被配置为根据所述输送带的背面三维立体信息得到所述输送带的背部点云数据，如果检测出所述输送带的背部点云数据中存在不连续点，则所述输送带存在撕裂。
在一些实施例中，还包括与所述煤炭运输机和所述线激光双目立体相机连接的煤炭运输机控制平台，所述线激光双目立体相机通过千兆网口将监测得到的煤流监测信息、异物检测信息、运输机位置偏移信息以及输送带撕裂信息发送到所述煤炭运输机控制平台，所述煤炭运输机控制平台用于向所述煤炭运输机发送输送带传输速率控制指令、异物处理指令以及停机检修指令。
本发明的有益效果：
本发明实施例的基于立体视觉的煤炭运输机监测管理系统，包括煤炭运输机，以及设置于煤炭运输机上方的线激光双目立体相机，整个系统结构布局简单，无需改造现场煤炭运输机使用环境，通过将线激光双目立体相机固定在煤炭运输机上方即可完成现场布置，安装快捷，极大地节约了人力和时间成本。本发明实施例的煤炭运输机监测管理系统采用前端智能的线激光双目立体相机，该相机采用具有深度图像处理和多种应用智能化算法的视觉处理器，采用线激光扫描输送带表面，摄像头获取输送带的激光线图像，通过立体视觉处理模块处理得到输送带的正面三维立体信息以及输送带上煤流的三维立体信息，从而获取到高精度的三维立体信息，再通过煤流监测模块、异物检测模块以及运输机位置检测模块分别获取煤流监测信息、大块物体检测信息以及运输机位置偏移信息，同步完成多种检测功能且检测精度高，极大提升了煤炭运输管理的自动化及智能化水平。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明的基于立体视觉的煤炭运输机监测管理系统的一些实施例的结构示意图；
图2为本发明的基于立体视觉的煤炭运输机监测管理系统中线激光双目立体相机的一些实施例的结构示意图；
图3为本发明的线激光双目立体相机中视觉处理器的一些实施例的结构框图；
图4为本发明的基于立体视觉的煤炭运输机监测管理系统进行煤流检测的一些实施例的结构示意图；
图5为本发明的基于立体视觉的煤炭运输机监测管理系统进行大块异物检测的一些实施例的结构示意图；
图6为本发明的基于立体视觉的煤炭运输机监测管理系统进行运输机位置检测的一些实施例的结构示意图；
图7为本发明的基于立体视觉的煤炭运输机监测管理系统进行运输机撕裂检测的一些实施例的结构示意图。
附图标记说明：
100-基于立体视觉的煤炭运输机监测管理系统
1-煤炭运输机；11-输送带；
2-线激光双目立体相机；21-壳体；22-线激光器；23-摄像头；24-视觉处理器；
3-煤炭运输机控制平台。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1-图3所示，本发明实施例提供了一种基于立体视觉的煤炭运输机监测管理系统100，包括煤炭运输机1，以及设置于煤炭运输机1上方的一个或者多个线激光双目立体相机2；线激光双目立体相机2包括设置于外壳21内的线激光器22、相对间隔设置的两个摄像头23以及与两个摄像头23连接的视觉处理器24，线激光器22用于发射激光线到煤炭运输机1的输送带11上，两个摄像头23用于拍摄输送带11上的激光线图像；
其中，视觉处理器24包括：
立体视觉处理模块241，被配置为利用双目视觉处理算法处理激光线图像以得到输送带的正面三维立体信息以及输送带上煤流的三维立体信息；
煤流监测模块242，被配置为根据输送带上煤流的三维立体信息和基准面立体信息获取煤流监测信息；
异物检测模块243，被配置为根据输送带上煤流的三维立体信息和设定的面积阈值检测出大块物体；
以及，运输机位置检测模块244，被配置为根据输送带的正面三维立体信息和基准面立体信息计算得到运输机位置偏移信息。
需要说明的是，本实施例中线激光双目立体相机的数量可以为1个、2个，3个或者更多，根据实际监控管理需求和煤炭输送机的结构参数确定，在此不做具体限定。
需要说明的是，本实施例中线激光双目立体相机的线激光器发射的线激光可以为蓝光、绿光或者红光。为了减少煤块的吸光，保证检测的准确性，本实施例中线激光器发射的激光线为波长在610nm-680nm范围内的红光。优选的，本实施例中线激光器发射的激光线波长为638nm。
需要说明的是，本实施例中线激光双目立体相机的视觉处理器为具有深度图像处理和嵌入多种应用智能化算法的处理器，其采用模块化设计，可在相机端直接生成并输出三维立体信息和应用检测结果，实现一机多用。
本发明实施例的基于立体视觉的煤炭运输机监测管理系统，包括煤炭运输机，以及设置于煤炭运输机上方的线激光双目立体相机，整个系统结构布局简单，无需改造现场煤炭运输机使用环境，通过将线激光双目立体相机固定在煤炭运输机上方即可完成现场布置，安装快捷，极大地节约了人力和时间成本。本发明实施例的煤炭运输机监测管理系统采用前端智能的线激光双目立体相机，该相机采用具有深度图像处理和多种应用智能化算法的视觉处理器，采用线激光扫描输送带表面，摄像头获取输送带的激光线图像，通过立体视觉处理模块处理得到输送带的正面三维立体信息以及输送带上煤流的三维立体信息，从而获取到高精度的三维立体信息，再通过煤流监测模块、异物检测模块以及运输机位置检测模块分别获取煤流监测信息、大块物体检测信息以及运输机位置偏移信息，同步完成多种检测功能且检测精度高，极大提升了煤炭运输管理的自动化及智能化水平。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中视觉处理器24还包括标定模块240，被配置为以煤炭运输机空载时输送带表面为基准面对线激光双目立体相机进行标定，并获得基准面立体信息，基准面立体信息包括输送带三维轮廓基准数据和输送带的两边界点基准坐标。本实施例中在搭建好基于立体视觉的煤炭运输机监测管理系统之后，需要先以煤炭运输机空载时输送带表面为基准面对线激光双目立体相机进行立体标定，获取实际的基准面及基准面立体信息，后续检测处理结果均基于该标定的基准面进行，以提高对瞬时截面积的计算精度，克服现有技术中由于认为皮带完全与托辊接触(即皮带为平面)导致的计算精度不高的问题。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中立体视觉处理模块241包括：
立体校正单元，被配置为对两个摄像头分别获取到的左图像和右图像进行立体校正，使校正后的左图像和校正后的右图像行对准；
匹配单元，被配置为对校正后的左图像和校正后的右图像进行匹配得到线激光成像匹配点对；
立体信息计算单元，被配置为根据线激光匹配点对得到左右图像视差，并根据左右图像视差计算得到输送带的正面三维立体信息以及输送带上煤流的三维立体信息。
其中，所述对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对具体包括：根据线激光双目立体相机的安装位置以及输送带的位置，确定图像的处理区域ROI；对校正后的左图像和校正后的右图像进行预处理，分别转换为左灰度图和右灰度图；分别对左灰度图和右灰度图位于ROI内的部分进行水平扫描，计算每个扫描点的窗口能量：
Figure BDA0003023161640000081
其中，(x,y)表示扫描点坐标，也是计算窗口的中心坐标；n表示从左灰度图所选窗口中心到边缘的距离，I(x+i，y+j)表示图像坐标(x+i，y+j)处的图像灰度值；每个扫描行E(x,y)的极大值处为线激光的成像处，根据线激光条数M，得到M个极值，按x坐标从左到右进行排序，记为(x,y)k，k＝1,2,…M；对左灰度图和右灰度图的坐标y相同的水平扫描行构成的水平极线进行扫描得到左灰度图和右灰度图的线激光成像点(xL,y)k和(xR,y)k，L和R分别表示左灰度图和右灰度图，左右序列中k相同的点构成匹配点对。
本发明实施例中通过将线激光与双目立体视觉相结合，能够对没有纹理或者纹理较弱的测量对象进行测量，即使对没有纹理或者纹理较弱的测量对象也可以获得较好的立体三维信息，测量准确，测量精度较高，并具有较好的实时性。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中煤流监测模块242包括：
煤流截面获取单元2421，被配置为根据输送带上煤流的三维立体信息和基准面立体信息获取煤流截面积、煤流宽度以及煤流高度；
参见图4所示，煤流截面获取单元根据输送带上煤流的三维立体信息和基准面立体信息计算出输送带上煤流的截面积S，煤流宽度W以及煤流高度G。
煤流量计算单元2422，被配置为根据煤流截面积、设定时间和输送带传输速率计算得到煤流量，其中，煤流量＝煤流截面积×设定时间×输送带传输速率；
其中，输送带传输速率，设定时间均为需先设定的，输送带传输速率为1m/s-6m/s，例如：4m/s，设定时间可以为1s，2s或者更长时间，当设定时间为1s时计算的是单位时间的煤流体积，当设定时间大于1s时计算的是一段时间内煤流总体积。
煤流位置检测单元2423，被配置为计算煤流宽度和输送带宽度的宽度差值，并将宽度差值与设定的宽度阈值比较以确定煤流位置偏移信息，其中，输送带宽度根据输送带的两边界点基准坐标计算得到；
根据输送带两边界点A和B的基准坐标计算得到输送带宽度W0，预先设定宽度阈值Wt，计算煤流宽度W与输送带宽度W0的差值，当W0-W<Wt时，说明煤流位置存在偏移；再结合煤流的两边界点坐标判断出煤流向左偏移还是向右偏移，例如图5所示为向左偏移。
以及，堆煤检测单元2424，被配置为如果煤流高度大于设定的高度阈值则输送带上传送的煤流存在堆煤。
预先设定煤流高度阈值为G0，当实际的煤流高度G>G0时，说明存在堆煤现象，此时可以适当调整煤炭输送机的输送带传输速率，如图4所示。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中异物检测模块243包括：
立体分割单元2431，被配置为根据输送带上煤流的三维立体信息得到相应的点云数据，并对点云数据进行立体分割得到多个潜在异物区域图像；
投影面积计算单元2432，被配置为计算每个潜在异物区域图像的投影面积；
以及，大块物体检测单元2433，被配置为如果潜在异物区域图像的投影面积大于设定的面积阈值，则潜在异物区域图像中存在大块物体，参见图5圆圈区域所示大块异物。
本发明实施例的基于立体视觉的煤炭运输机监测管理系统直接在获取的待检测煤块区域三维点云数据上进行立体分割得到潜在异物区域图像，通过比较潜在异物区域图像的投影面积与设定的面积阈值快速确定存在的大块异物。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中异物检测模块243还包括煤矸石检测单元2434，煤矸石检测单元2434被配置为利用预先训练好的深度卷积神经网络模型对每个潜在异物区域图像进行煤矸石检测。需要说明的是，本实施例中深度卷积神经网络模型可为Googlenet、Resenext、Vggnet、Resnet和Seresnex中的任意一种。
本发明实施例的基于立体视觉的煤炭运输机监测管理系统直接在获取的输送带上煤流的三维立体点云数据上进行立体分割得到潜在异物区域图像，再结合训练的深度卷积神经网络模型进行煤矸石检测，实现了煤矸石的高效率、高精度检测。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中立体分割单元2431被具体配置为：
对点云数据进行处理得到深度图像；
由于点云数据的数据量较大，为了加快处理速度，在确保一定的检测精度和速度的前提下对点云数据进行处理得到深度图像后再进行分割，可以通过投影方式从三维的点云数据中获取二维的深度图像。
根据预设的分割阈值二值化深度图像得到掩码图像；
具体为：根据预设的分割阈值从深度图像中获取边缘图像，二值化深度图像，并与边缘图像进行差处理得到掩码图像。
对掩码图像进行分割得到多个潜在异物区域图像。
具体可以利用传统的图像分割处理算法进行分割处理，例如：分水岭算法、连通区域标记算法等等。通过对掩码图像进行分割处理后得到了多个潜在异物区域的深度图像。
在一些实施例中，参见图3所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中运输机位置检测模块244包括：
边界点获取单元2441，被配置为从输送带的正面三维立体信息中定位当前输送带两边界点并提取当前两边界点坐标；
运输机跑偏检测单元2442，被配置为如果当前两边界点横坐标与两边界点基准横坐标之差均大于第一预设阈值，则输送带存在跑偏；参见图6所示，两边界点基准位置为A和B，当前两边界点位置为A’和B’，当前两边界点横坐标与两边界点基准横坐标之差均大于第一预设阈值，说明运输机传送带存在跑偏，需要说明的是，这里比较的是差值的绝对值。
运输机倾斜检测单元2443，被配置为如果当前两边界点竖坐标与两边界点基准竖坐标之差大于第二预设阈值，则输送带存在倾斜。参见图6所示，两边界基准坐标位置为A和B，当前两边界点位置A’和B’，当前两边界点竖坐标与两边界点基准竖坐标之差均大于第二预设阈值，说明运输机传送带存在倾斜，需要说明的是，这里比较的是差值的绝对值。
在一些实施例中，参见图3和图7所示，本发明的基于立体视觉的煤炭运输机监测管理系统100中煤炭运输机1的下方还设有用于检测输送带11撕裂的一个或者多个线激光双目立体相机2，立体视觉处理模块241还用于获取输送带11的背面三维立体信息，视觉处理器24还包括运输机撕裂检测模块245，运输机撕裂检测模块245被配置为根据输送带的背面三维立体信息得到输送带的背部点云数据，如果检测出输送带的背部点云数据中存在不连续点，则输送带存在撕裂。
本发明实施例的基于立体视觉的煤炭运输机监测管理系统通过线激光双目立体相机扫描输送带的背部，建立输送带背部的三维点云，通过检测点云数据的连续性判断输送带是否存在撕裂。
在一些实施例中，参见图1所示，本发明的基于立体视觉的煤炭运输机监测管理系统100还包括与煤炭运输机1和线激光双目立体相机2连接的煤炭运输机控制平台3，线激光双目立体相机2通过千兆网口将监测得到的煤流监测信息、异物检测信息、运输机位置偏移信息以及输送带撕裂信息发送到煤炭运输机控制平台3，煤炭运输机控制平台3用于向煤炭运输机1发送输送带传输速率控制指令、异物处理指令以及停机检修指令。
本发明实施例的基于立体视觉的煤炭运输机监测管理系统包括煤炭运输机、具有前端智能的线激光双目立体相机以及煤炭运输机控制平台，通过线激光双目立体相机生成的三维立体信息、煤流监测信息、异物检测信息、运输机位置偏移信息以及输送带撕裂信息等检测结果可通过千兆网口给煤炭运输机控制平台，煤炭运输机控制平台根据检测结果生成输送带传输速率控制指令、异物处理指令以及停机检修指令等，从而实现运输机速度控制、出库煤量大数据统计、运输安全检测等系统化管理，提升矿业自动化及智能化水平。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种基于立体视觉的煤炭运输机监测管理系统，其特征在于，包括煤炭运输机，以及设置于所述煤炭运输机上方的一个或者多个线激光双目立体相机；
所述线激光双目立体相机包括设置于外壳内的线激光器、相对间隔设置的两个摄像头以及与两个所述摄像头连接的视觉处理器，所述线激光器用于发射激光线到所述煤炭运输机的输送带上，两个所述摄像头用于拍摄所述输送带上的激光线图像；其中，所述视觉处理器包括：
立体视觉处理模块，被配置为利用双目视觉处理算法处理所述激光线图像以得到所述输送带的正面三维立体信息以及所述输送带上煤流的三维立体信息；
煤流监测模块，被配置为根据所述输送带上煤流的三维立体信息和基准面立体信息获取煤流监测信息；
异物检测模块，被配置为根据所述输送带上煤流的三维立体信息和设定的面积阈值检测出大块物体；
以及，运输机位置检测模块，被配置为根据所述输送带的正面三维立体信息和所述基准面立体信息计算得到运输机位置偏移信息；
其中，所述异物检测模块包括：
立体分割单元，被配置为根据所述输送带上煤流的三维立体信息得到相应的点云数据，并对所述点云数据进行立体分割得到多个潜在异物区域图像；
投影面积计算单元，被配置为计算每个所述潜在异物区域图像的投影面积；
以及，大块物体检测单元，被配置为如果所述潜在异物区域图像的投影面积大于设定的面积阈值，则所述潜在异物区域图像中存在大块物体；
所述视觉处理器还包括标定模块，被配置为以所述煤炭运输机空载时所述输送带表面为基准面对所述线激光双目立体相机进行标定，并获得所述基准面立体信息，所述基准面立体信息包括所述输送带三维轮廓基准数据和所述输送带的两边界点基准坐标；
所述煤流监测模块包括：
煤流截面获取单元，被配置为根据所述输送带上煤流的三维立体信息和所述基准面立体信息获取煤流截面积、煤流宽度以及煤流高度；
煤流量计算单元，被配置为根据所述煤流截面积、设定时间和输送带传输速率计算得到煤流量，其中，煤流量＝煤流截面积×设定时间×输送带传输速率；
煤流位置检测单元，被配置为计算所述煤流宽度和输送带宽度的宽度差值，并将所述宽度差值与设定的宽度阈值比较以确定煤流位置偏移信息，其中，所述输送带宽度根据所述输送带的两边界点基准坐标计算得到；
以及，堆煤检测单元，被配置为如果所述煤流高度大于设定的高度阈值则所述输送带上传送的煤流存在堆煤。
2.根据权利要求1所述的基于立体视觉的煤炭运输机监测管理系统，其特征在于，所述立体视觉处理模块包括：
立体校正单元，被配置为对两个所述摄像头分别获取到的左图像和右图像进行立体校正，使校正后的左图像和校正后的右图像行对准；
匹配单元，被配置为对校正后的左图像和校正后的右图像进行匹配得到线激光成像匹配点对；
立体信息计算单元，被配置为根据所述线激光匹配点对得到左右图像视差，并根据所述左右图像视差计算得到所述输送带的正面三维立体信息以及所述输送带上煤流的三维立体信息。
3.根据权利要求1所述的基于立体视觉的煤炭运输机监测管理系统，其特征在于，所述异物检测模块还包括煤矸石检测单元，所述煤矸石检测单元被配置为利用预先训练好的深度卷积神经网络模型对每个所述潜在异物区域图像进行煤矸石检测。
4.根据权利要求1所述的基于立体视觉的煤炭运输机监测管理系统，其特征在于，所述立体分割单元被具体配置为：
对所述点云数据进行处理得到深度图像；
根据预设的分割阈值二值化所述深度图像得到掩码图像；
对所述掩码图像进行分割得到多个潜在异物区域图像。
5.根据权利要求1所述的基于立体视觉的煤炭运输机监测管理系统，其特征在于，所述运输机位置检测模块包括：
边界点获取单元，被配置为从所述输送带的正面三维立体信息中定位当前所述输送带两边界点并提取当前两边界点坐标；
运输机跑偏检测单元，被配置为如果当前两边界点横坐标与两边界点基准横坐标之差均大于第一预设阈值，则所述输送带存在跑偏；
运输机倾斜检测单元，被配置为如果当前两边界点竖坐标与两边界点基准竖坐标之差均大于第二预设阈值，则所述输送带存在倾斜。
6.根据权利要求1-5任一项所述的基于立体视觉的煤炭运输机监测管理系统，其特征在于，所述煤炭运输机的下方还设有用于检测输送带撕裂的一个或者多个线激光双目立体相机，所述立体视觉处理模块还用于获取所述输送带的背面三维立体信息，所述视觉处理器还包括运输机撕裂检测模块，所述运输机撕裂检测模块被配置为根据所述输送带的背面三维立体信息得到所述输送带的背部点云数据，如果检测出所述输送带的背部点云数据中存在不连续点，则所述输送带存在撕裂。
7.根据权利要求6所述的基于立体视觉的煤炭运输机监测管理系统，其特征在于，还包括与所述煤炭运输机和所述线激光双目立体相机连接的煤炭运输机控制平台，所述线激光双目立体相机通过千兆网口将监测得到的煤流监测信息、异物检测信息、运输机位置偏移信息以及输送带撕裂信息发送到所述煤炭运输机控制平台，所述煤炭运输机控制平台用于向所述煤炭运输机发送输送带传输速率控制指令、异物处理指令以及停机检修指令。
CN202110408307.5A 2021-04-16 2021-04-16 基于立体视觉的煤炭运输机监测管理系统 Active CN113306991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110408307.5A CN113306991B (zh) 2021-04-16 2021-04-16 基于立体视觉的煤炭运输机监测管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110408307.5A CN113306991B (zh) 2021-04-16 2021-04-16 基于立体视觉的煤炭运输机监测管理系统

Publications (2)

Publication Number Publication Date
CN113306991A CN113306991A (zh) 2021-08-27
CN113306991B true CN113306991B (zh) 2023-07-04

Family

ID=77372438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110408307.5A Active CN113306991B (zh) 2021-04-16 2021-04-16 基于立体视觉的煤炭运输机监测管理系统

Country Status (1)

Country Link
CN (1) CN113306991B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113682763A (zh) * 2021-09-01 2021-11-23 陕西竹园嘉原矿业有限公司 一种煤流运输智能调速、异物识别系统
CN113984156A (zh) * 2021-09-22 2022-01-28 北京伟景智能科技有限公司 基于光学测量的皮带称重方法、装置及存储介质
CN114212452B (zh) * 2021-11-05 2022-11-11 中国矿业大学 基于激光辅助和图像处理的煤流检测方法及节能控制系统
CN113959502A (zh) * 2021-11-09 2022-01-21 北京华能新锐控制技术有限公司 非接触式皮带流量估算方法及系统
CN114772159A (zh) * 2022-03-31 2022-07-22 国能榆林能源有限责任公司 一种煤流量控制方法、系统及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2795136Y (zh) * 2005-01-31 2006-07-12 武汉钢铁(集团)公司 皮带运输机散装物料激光监视器
CN102673979B (zh) * 2012-06-12 2014-06-11 青岛科技大学 输送带跑偏判断方法及判断装置
CN105841614A (zh) * 2016-04-13 2016-08-10 太原理工大学 一种带式输送机输送煤量视觉扫描测距检测方法
CN107043000B (zh) * 2017-06-15 2018-10-12 西安科技大学 一种基于机器视觉的皮带运输机安全智能保障系统
CN111829434B (zh) * 2019-05-28 2023-01-10 北京伟景智能科技有限公司 一种料流计量检测方法及系统
CN110171691B (zh) * 2019-06-20 2021-06-15 天津市三特电子有限公司 带式传输机皮带撕裂状态检测方法及检测系统
CN112209053A (zh) * 2020-09-21 2021-01-12 山东科技大学 一种基于线激光的带式输送机运行状态检测系统
CN112340387A (zh) * 2020-09-30 2021-02-09 中煤科工集团上海有限公司 基于机器视觉的带式输送机智能控制系统及控制方法
CN112193765A (zh) * 2020-10-29 2021-01-08 河南理工大学 一种带式输送机机头物料堆积检测系统
CN112330693B (zh) * 2020-11-13 2023-12-29 北京伟景智能科技有限公司 一种煤矸石检测方法及系统

Also Published As

Publication number Publication date
CN113306991A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN113306991B (zh) 基于立体视觉的煤炭运输机监测管理系统
CN107578464B (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN110230998B (zh) 基于线激光和双目相机的快速精密三维测量方法和装置
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
KR100422370B1 (ko) 3차원 물체 부피계측시스템 및 방법
EP1087626B1 (en) Distance correcting apparatus in a surrounding monitoring system
CN102538705B (zh) 基于二次投影算法的在线非接触式中厚板轮廓检测系统及方法
CN106978774B (zh) 一种路面坑槽自动检测方法
CN103051872B (zh) 基于图像边缘提取的输送带跑偏检测方法
CN105447853A (zh) 飞行装置、飞行控制系统及方法
CN105335955A (zh) 对象检测方法和对象检测装置
CN104504688A (zh) 基于双目立体视觉的客流密度估计的方法和系统
CN108174111B (zh) 巡检机器人目标图像抓取方法
CN106650701A (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN113375566B (zh) 物体尺寸的精确测量方法及系统
JP2020112438A (ja) 海面計測システム、海面計測方法および海面計測プログラム
CN110782436A (zh) 一种基于计算机视觉的传送带物料状态检测方法
CN112561887A (zh) 基于深度迁移学习的带式输送机煤流量双目视觉测量方法
CN103834796B (zh) 一种在线识别炉内带钢跑偏的方法
CN115060343B (zh) 一种基于点云的河流水位检测系统、检测方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN114212452B (zh) 基于激光辅助和图像处理的煤流检测方法及节能控制系统
CN115797411B (zh) 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN112801975B (zh) 一种基于双目视觉的轨道道砟检验系统及其工作方法
CN202420446U (zh) 基于二次投影算法的在线非接触式中厚板轮廓检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Chenguang

Inventor after: Ma Junwei

Inventor after: Zhang Bing

Inventor after: Jiang Qiyan

Inventor before: Li Chenguang

Inventor before: Ma Junwei

Inventor before: Zhang Bing

GR01 Patent grant
GR01 Patent grant