CN115526878B - 一种带式输送机的煤流检测方法及装置 - Google Patents

一种带式输送机的煤流检测方法及装置 Download PDF

Info

Publication number
CN115526878B
CN115526878B CN202211265392.5A CN202211265392A CN115526878B CN 115526878 B CN115526878 B CN 115526878B CN 202211265392 A CN202211265392 A CN 202211265392A CN 115526878 B CN115526878 B CN 115526878B
Authority
CN
China
Prior art keywords
point cloud
cloud data
current
coal flow
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211265392.5A
Other languages
English (en)
Other versions
CN115526878A (zh
Inventor
郭彬
连振中
庞辉辉
樊博
金勇�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing North Road Intelligent Control Technology Co ltd
Original Assignee
Nanjing North Road Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing North Road Intelligent Control Technology Co ltd filed Critical Nanjing North Road Intelligent Control Technology Co ltd
Priority to CN202211265392.5A priority Critical patent/CN115526878B/zh
Publication of CN115526878A publication Critical patent/CN115526878A/zh
Application granted granted Critical
Publication of CN115526878B publication Critical patent/CN115526878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Control Of Conveyors (AREA)

Abstract

本发明实施例提供一种带式输送机的煤流检测方法及装置，该方法包括：根据图像捕获装置相对捕获区域采集的当前深度图，确定捕获区域的当前点云数据；根据从当前点云数据中筛选出的目标点云数据，对捕获区域进行煤流有无检测；在检测结果为存在煤流时，根据当前点云数据结合捕获区域对应的前一点云数据，确定带式输送机上的当前煤流量；在检测结果为不存在煤流时，根据当前深度图，结合图像捕获装置相对捕获区域采集的当前彩色图，对带式输送机的传送带进行损伤检测。利用该方法确定传送带上是否有煤流，并对有煤流时进行煤流量检测，对无煤流时进行传送带损伤检测，实现了非接触式的检测效果，提高了检测精度，并降低了功耗和成本。

Description

一种带式输送机的煤流检测方法及装置
技术领域
本发明涉及煤炭测量技术领域，尤其涉及一种带式输送机的煤流检测方法及装置。
背景技术
在煤矿矿井下，主要利用带式输送机来实现对煤料的运送，管理人员通过监控视频来监控输送机的运煤传送带。在运煤传送带的日常管理过程中，往往需要用到运煤传送带上煤流量的数据。目前，带式输送机输送煤料量的计量方法包括两种：一种是接触式，即测量传感器与煤料直接接触；另一种是非接触式，即利用其他测量器对煤料进行测量。
由于接触式测量方法中，测量传感器容易被煤料冲撞、刮蹭，测量传感器容易损坏导致检测结果不准确。因此，非接触式测量的方式被更加广泛地应用。但现有技术中的非接触式测量方式存在使用传感器多、功能单一、测量精度差、不方便维护等缺点。又或者采用人工智能的方法，虽然在精度上有所提高但是对算力有了更高的要求、功耗大、不便于本地部署，且对网络带宽与网络延时要求高，导致实时性差。
发明内容
本发明实施例提供了一种带式输送机的煤流检测方法及装置，以实现非接触式的煤流检测效果，提高了检测精度，并降低了功耗和成本。
第一方面，本实施例提供了一种带式输送机的煤流检测方法，所述带式输送机正上方固设有图像捕获装置，该方法包括：
根据所述图像捕获装置相对捕获区域采集的当前深度图，确定所述捕获区域的当前点云数据；
根据从所述当前点云数据中筛选出的目标点云数据，对所述捕获区域进行煤流有无检测；
在检测结果为存在煤流时，根据所述当前点云数据结合所述捕获区域对应的前一点云数据，确定所述带式输送机上的当前煤流量；
在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测。
第二方面，本实施例提供了一种带式输送机的煤流检测装置，该装置包括：
数据确定模块，用于根据所述图像捕获装置相对捕获区域采集的当前深度图，确定所述捕获区域的当前点云数据；
煤流检测模块，用于根据从所述当前点云数据中筛选出的目标点云数据，对所述捕获区域进行煤流有无检测；
煤流量确定模块，用于在检测结果为存在煤流时，根据所述当前点云数据结合所述捕获区域对应的前一点云数据，确定所述带式输送机上的当前煤流量；
损伤检测模块，用于在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测。
本发明实施例提供一种带式输送机的煤流检测方法及装置，带式输送机正上方固设有图像捕获装置，该方法包括：先根据图像捕获装置相对捕获区域采集的当前深度图，确定捕获区域的当前点云数据；然后根据从当前点云数据中筛选出的目标点云数据，对捕获区域进行煤流有无检测；最后在检测结果为存在煤流时，根据当前点云数据结合捕获区域对应的前一点云数据，确定带式输送机上的当前煤流量；在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测。上述技术方案，通过固设于带式输送机上方的图像捕获装置实时采集捕获区域的深度图，将深度图转化为点云数据，基于点云数据处理可以确定传送带上是否有煤流，并在检测到有煤流时基于相邻两帧深度图对应的点云数据确定煤流量，在检测到无煤流时基于深度图和彩色图对传送带进行损伤检测。实现了非接触式的煤流检测效果，提高了检测精度，并降低了功耗和成本、便于维护。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种带式输送机的煤流检测方法的流程示意图；
图2为本发明实施例一提供的相机相对传送带的位置示例图；
图3为本发明实施例二提供的一种带式输送机的煤流检测方法的流程示意图；
图4为本发明实施例二提供的当前煤流截面的示例图；
图5为本发明实施例三提供的一种带式输送机的煤流检测装置的结构示意图；
图6为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种带式输送机的煤流检测方法的流程示意图，该方法可适用于对带式输送机的煤流进行检测的情况，该方法可以由带式输送机的煤流检测装置来执行，该带式输送机的煤流检测装置可以采用硬件和/或软件的形式实现，并一般集成在电子设备中。
如图1所示，本实施例一提供的一种带式输送机的煤流检测方法具体可以包括以下步骤：
S101、根据图像捕获装置相对捕获区域采集的当前深度图，确定捕获区域的当前点云数据。
其中，带式输送机正上方固设有图像捕获装置，图像捕获装置用于获取传送带上方的图像，本实施例中将图像捕获装置拍摄的区域记为捕获区域。为了更清楚的表述图像捕获装置与传送带的相对位置，示例性的，图2为本发明实施例一提供的相机相对传送带的位置示例图，如图2所示，图像捕获装置1正对带式输送机上传送带2的最低点且图像捕获装置1的Y轴与传送带输送方向平行。当然，为了适应当前煤流量检测的环境，可以为图像捕获装置视野增加发光二极管(Light-Emitting Diode，LED)补光。例如，图像捕获装置可以包括深度相机和彩色相机。本步骤中主要利用深度相机采集捕获区域的深度图。随着带式输送机的工作运行，图像捕获装置不断采集捕获区域的深度图，将当前时刻采集的深度图记为当前深度图。
在本实施例中，当前深度图中每个像素值表示捕获区域中某点与图像捕获装置的距离。本实施例中将深度数据作为数据源进行后续煤流量检测的执行依据，深度数据是指经过预处理后的点云数据。因此，在图像捕获装置相对捕获区域采集当前深度图后，需要将当前深度图转换为点云数据。将当前深度图转换为当前点云数据的方式可以是将当前深度图中像素点经过相机内参换算为三维坐标系下的点云数据，记为当前点云数据。
S102、根据从当前点云数据中筛选出的目标点云数据，对捕获区域进行煤流有无检测。
本步骤用于对捕获区域进行煤流检测以确定捕获区域是否存在煤流。考虑到带式输送机的传送带侧切截面可用二次曲线来拟合，示例性的，传送带上无煤流时，由于重力作用，传送带的侧切截面模拟出来的二次曲线一般开口向上；当传送带上有煤流时，由于煤流的堆放，传送带上煤流是凸起状态，煤流与传送带的侧切截面模拟出来的二次曲线一般开口向下。通过判断传送带侧切截面拟合的二次曲线的方程系数可以确定传送带当前侧切截面的曲线的特性，如曲线开口方向、曲线开口大小等。
在本实施例中，为了拟合捕获区域侧切截面的二次曲线，可以从当前点云数据中获取捕获区域侧切截面上的点作为拟合点，该侧切截面上的点云数据作为目标点云数据。示例性的，若图像捕获装置的Y轴与传送带输送方向平行，则可以从三维的当前点云数据中取y＝0的点云数据为目标点云数据。
具体的，从当前点云数据中获取与传送带输送方向平行的轴坐标为零的点云数据作为目标点云数据。根据目标点云数据中除与传送带输送方向平行的轴以外的另外两轴的坐标作为拟合点的坐标集合。根据拟合点的坐标集合求出二次曲线方程的系数矩阵，系数矩阵中各元素依次表示二次曲线方程的二次项系数、一次项系数以及常数。进一步根据二次项系数、一次向系数的取值，确定二次曲线的开口方向以及开口大小，进一步确定捕获区域上是否有煤流。
示例性的，因无煤时，带式输送机的传送带截面可作为二次曲线来拟合，二次曲线一般方程为：ax2+bx+c＝y。若已知一组拟合点(ai,bi)(i＝0,1,2，…n,i∈N)，N表示拟合点个数，则有矩阵 系数矩阵/>矩阵/>AW＝B。ATAW＝ATB，(ATA)-1ATAW＝(ATA)-1ATB，可知W＝(ATA)-1ATB。从当前点云数据中筛选出y＝0时的点云坐标集合{(xi,zi)}，通过将点云坐标集合输入到矩阵A与矩阵B中，进行二次曲线拟合运算，输出系数矩阵。根据二次曲线的性质，判断捕获区域中是否有煤流。继续参考图2，以图像采集装置为坐标系原点，a<0且b＝0以及|a|的值小于设定阈值，则确定没有煤流，否则，则确定捕获区域中有煤流。
S103、在检测结果为存在煤流时，根据当前点云数据结合捕获区域对应的前一点云数据，确定带式输送机上的当前煤流量。
在本实施例中，在检测结果为存在煤流时，则需要根据前后两帧深度图确定带式输送机上的当前煤流量。分别获取当前深度图和前一帧深度图，当前深度图可以转换为当前点云数据，前一帧深度图可以转换为前一点云数据。另外，需要记录一帧无煤流时捕获区域的深度图。带式输送机上的当前煤流量的确定方式可以是确定出带式输送机上的当前煤流速度和当前煤流截面积，将当前煤流速度和当前煤流截面积相乘获得当前煤流量。
需要说明的是，由于大块煤块具有更明显的特征，因此，本实施例中当检测到大块煤块时才进行当前煤流速度检测。在进行当前煤流速度检测前，需要先检测当前煤流中是否有大块煤块，大块煤块检测方式可以是根据当前点云数据结合捕获区域对应的前一点云数据进行体素滤波采样，通过欧式距离聚类检测捕获区域中是否有大块煤块。
在本实施例中，分别采集当前深度图与前一帧深度图，将当前深度图与上一帧深度图进行特征对齐。通过当前点云数据与前一点云数据，可以确定出某特征点在传送带输送方向上的移动位移。另外，当前深度图与前一帧深度图的时间差是固定的，对于已确定的图像采集装置，其相邻两帧的时间间隔是已知的。因此，当获取移动位移和时间间隔后，通过两者作商，可以确定出当前煤流速度。
示例性的，本实施例中依次采用采样一致性初始配准算法(Sample ConsensusInitial Aligment，SAC-IA)进行粗配准和迭代最近点算法(Iterative Cloest Point，ICP)精配准对当前深度图与上一帧深度图进行特征对齐。SAC-IA算法主要依赖快速点特征直方图。分别对当前点云数据和前一点云数据进行滤波去噪，并通过相关算法寻找关键点，在确定关键点后求得关键点的特征，示例性的，如内部形状描述子(Intrinsic ShapeSignatures，ISS)算法、快速点特征直方图(Fast Point Feature Histogram，FPFH)算法。精配准主要基于ICP算法，ICP算法基于奇异值分解(Singular Value Decomposition，SVD)。
在本实施例中，最终需要确定单位时间内的煤流量。基于当前点云数据以及预先记录的无煤流时捕获区域对应的原始点云数据，可以确定出煤流相对传送带的高度以及煤流的宽度。通过对有煤流时的侧切截面积与无煤流时的侧切截面积作差，在对其进行宽度上积分，可以确定出当前煤流截面积。示例性的，若以点云数据Y轴坐标平行于传送带输送方向，侧切截面可以理解为X轴、Z轴方向坐标决定。其中，Z轴方向表示有煤流与无煤流之间的高度差，X轴方向表示煤流的宽度坐标值。
S104、在检测结果为不存在煤流时，根据当前深度图，结合图像捕获装置相对捕获区域采集的当前彩色图，对带式输送机的传送带进行损伤检测。
在本实施例中，若检测结果为不存在煤流，传送带上无煤流，则需要进一步根据图像捕获装置相对捕获区域采集当前彩色图。根据当前深度图和当前彩色图，对带式输送带的传送带进行损伤检测。具体的，首先确定当前彩色图中各像素点对应的梯度值，当梯度值大于设定梯度阈值时，需要进一步结合当前深度图获取当前深度值，将当前深度值与捕获区域无损伤及异物时对应的原始深度图中对应像素点的原始深度值，通过深度值的差值比较，确定带式输送机的传送带是否有损伤。其中，传送带损伤检测结果可能为传送带无损伤及异物、传送带有损伤或者传送带有异物。
可以清楚的是，本实施例提供的带式输送机的煤流检测方法可以在低功耗嵌入式高级RISC微处理器(Advanced RISC Microprocessor，ARM)算力平台上实现非接触式的煤流量测量，此处不做具体限制。
本发明实施例提供一种带式输送机的煤流检测方法，带式输送机正上方固设有图像捕获装置，该方法包括：先根据图像捕获装置相对捕获区域采集的当前深度图，确定捕获区域的当前点云数据；然后根据从当前点云数据中筛选出的目标点云数据，对捕获区域进行煤流检测；最后在检测结果为存在煤流时，根据当前点云数据结合捕获区域对应的前一点云数据，确定带式输送机上的当前煤流量；在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测。利用该方法，通过固设于带式输送机上方的图像捕获装置实时采集捕获区域的深度图，将深度图转化为点云数据，基于点云数据处理可以确定传送带上是否有煤流，并在检测到有煤流时基于相邻两帧深度图对应的点云数据确定煤流量，在检测到无煤流时基于深度图和彩色图对传送带进行损伤检测。实现了非接触式的煤流检测效果，提高了检测精度，并降低了功耗和成本、便于维护。
实施例二
图3为本发明实施例二提供的一种带式输送机的煤流量检测方法的流程示意图，本实施例为上述实施例的进一步优化，在本实施例中，进一步对根据所述图像捕获装置相对捕获区域采集的当前深度图，确定所述捕获区域的当前点云数据限定优化为：通过所述图像捕获装置采集所述捕获区域的当前深度图；对所述当前深度图进行相机内参转换，确定所述捕获区域的当前点云数据。
且，对根据从所述当前点云数据中筛选出的目标点云数据，对所述捕获区域进行煤流有无检测限定优化为：从所述当前点云数据中获取目标轴坐标为零的目标点云数据；根据所述目标点云数据中除所述目标轴以外的两轴坐标，结合设定的曲线拟合算法，确定所述传送带对应的二次曲线的系数矩阵；若所述系数矩阵满足预设条件，则确定所述捕获区域无煤流；若所述系数矩阵不满足预设条件，则确定所述捕获区域有煤流。
且，对在检测结果为存在煤流时，根据所述当前点云数据结合所述捕获区域对应的前一点云数据，确定所述带式输送机上的当前煤流量限定为：对所述当前点云数据结合所述捕获区域对应的前一点云数据进行预处理；根据处理结果，判断所述捕获区域是否存在大块煤块；若是，则根据所述当前点云数据、前一点云数据以及所述捕获区域无煤流时对应的原始点云数据，确定所述带式输送机上的当前煤流量；否则，获取所述捕获区域对应的后一点云数据作为当前点云数据，返回继续执行对所述点云数据进行预处理的步骤。
且，对在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测限定为：根据所述当前彩色图，结合设定的边缘检测算法，确定所述当前彩色图中各像素点对应的梯度值；若所述梯度值小于或等于设定梯度阈值，则确定所述传送带无损伤及异物；否则，根据所述像素点，结合所述当前深度图，对所述传送带进行损伤检测。
如图3所示，本实施例二提供一种带式输送机的煤流量检测方法，具体包括如下步骤：
S201、通过图像捕获装置采集捕获区域的当前深度图。
其中，图像捕获装置可以包括深度相机和彩色相机，本步骤中主要利用深度相机采集捕获区域的深度图，记为当前深度图。
S202、对当前深度图进行相机内参转换，确定捕获区域的当前点云数据。
具体的，当前深度图与当前点云数据可以通过相机内参进行转换。其转换公式可以表示为：
其中，x、y、z是点云坐标系的三维坐标，x’、y’是图像坐标系的二维坐标，D为深度值，fx、fy为相机内参。
S203、从当前点云数据中获取目标轴坐标为零的目标点云数据。
其中，图像捕获装置所处空间坐标系的横纵轴的任一轴与带式输送机的传送带方向平行，将平行轴记为目标轴。可以理解的是，当前点云数据包含三维坐标。示例性的，假设图像捕获装置正对带式输送机上传送带的最低点且图像捕获装置的Y轴与传送带输送方向平行，则可以认为Y轴是目标轴。本实施例中，以传送带的最低点且垂直于目标轴的侧切截面作为煤流计算的依据，因此，从当前点云数据中获取目标轴坐标为零的点云数据作为目标点云数据。目标点云数据可以理解为侧切截面上的点云数据。
S204、根据目标点云数据中除目标轴以外的两轴坐标，结合设定的曲线拟合算法，确定传送带对应的二次曲线的系数矩阵。
其中，带式输送机的传送带截面可作为二次曲线来拟合，二次曲线一般方程为：ax2+bx+c＝y。若已知一组拟合点(ai,bi)(i＝0,1,2，…n,i∈N)，N表示拟合点个数，则有矩阵系数矩阵/>矩阵/>AW＝B。ATAW＝ATB，(ATA)- 1ATAW＝(ATA)-1ATB，可知W＝(ATA)-1ATB。
示例性的，假设Y轴为目标轴，则获取目标轴以外的X轴、Z轴的坐标。从当前点云数据中筛选出y＝0时的点云坐标集合{(xi,zi)}，通过将点云坐标集合输入到矩阵A与矩阵B中，进行二次曲线拟合运算，输出系数矩阵。根据二次曲线的性质，判断捕获区域中是否有煤流。
S205、若系数矩阵满足预设条件，则确定捕获区域无煤流，继续执行步骤S206-S208。
其中，系数矩阵中包括二次项系数、一次项系数、常数。继续接上述示例进行描述，以图像采集装置为坐标原点，a<0且b＝0以及|a|的值小于设定阈值，确定捕获区域无煤流。
S206、在检测结果为不存在煤流时，根据当前彩色图，结合设定的边缘检测算法，确定当前彩色图中各像素点对应的梯度值。
其中，设定的边缘检测算法是指Sobel边缘检测算法。边缘是指像素值发生跃迁的地方，是图像的显著特征之一，因此，通过设定的边缘检测算法可以确定出彩色图中是否存在像素值发生跃迁的边缘。可以理解的是，图像采集装置固定安装，因此，图像采集装置与带式输送机之间的位置关系以及图像采集装置检测皮带的区域是已知的。具体的，利用Sobel边缘检测，Sobel卷积因子为假设M代表当前彩色图，对当前彩色图M进行卷积，为了提高效率，使用不开平方的近似值，梯度值可以表示为：G＝|Gx*M|+|Gy*M|。
S207、若梯度值小于或等于设定梯度阈值，则确定传送带无损伤及异物。
具体的，将各像素点的梯度值与设定梯度阈值进行比较，若梯度值小于或等于设定梯度阈值，则认为该点不为边缘点，若均不存在边缘点，则确定传送带无损伤及异物。
S208、否则，根据像素点，结合当前深度图，对传送带进行损伤检测。
具体的，如果某像素点的梯度值大于梯度阀值，则认为该点为边缘点。通过将当前彩色图中各像素点的梯度值与梯度阈值比较，确定出所有梯度值大于梯度阈值的像素点构成边缘点集合。根据边缘点可以确定出边缘包围的区域，进一步根据当前深度图中边缘包围区域中各像素点的深度值与预先记录的无损伤及异物的深度图中对应像素点的深度值比较，以对传送带进行损伤检测。
S209、若系数矩阵不满足预设条件，则确定捕获区域有煤流，继续执行步骤S2010-S213。
具体的，若系数矩阵不满足预设条件，则确定捕获区域存在煤流，则需要通过下述步骤判断是否存在大块煤块。
S210、在检测结果为存在煤流时，对当前点云数据结合捕获区域对应的前一点云数据进行预处理。
具体的，对当前点云数据和前一点云数据进行体素滤波降采样，并通过欧式距离聚类，获得处理结果。
S211、根据处理结果，判断捕获区域是否存在大块煤块。
考虑到大块煤块具有更鲜明的特征，本实施例中，通过对点云数据处理判断捕获区域是否存在大块煤块。
S212、若是，则根据当前点云数据、前一点云数据以及捕获区域无煤流时对应的原始点云数据，确定带式输送机上的当前煤流量。
具体的，若捕获区域存在大块煤块，则根据当前点云数据、前一点云数据以及捕获区域无煤流时对应的原始点云数据，确定带式输送机上的当前煤流量。其中，根据当前点云数据和前一点云数据，可以确定出相邻两帧深度图时间间隔内煤流的位移，根据煤流位移及时间间隔，可确定煤流速度。
另外，根据当前点云数据和捕获区域无煤流时对应的原始点云数据，可以确定当前时刻煤流的截面积。将煤流速度与煤流截面积进行相乘，可以确定出带式输送机上的当前煤流量。
S213、否则，获取捕获区域对应的后一点云数据作为当前点云数据，返回继续执行对点云数据进行预处理的步骤。
具体的，若捕获区域不存在大块煤块，则返回继续对捕获区域进行深度图采集，并将后一深度图对应的后一点云数据作为当前点云数据，继续执行对点云数据进行预处理的步骤。
本实施例将深度数据转化为点云数据，实现了皮带运输机有无煤流的检测，在有煤流时，利用深度数据先确定是否存在特征明显的大块煤块，当存在大块煤块时进行煤流量的截面计算与带式输送机的速度计算达到非接触式的煤流检测效果。在没有煤流时，根据当前彩色图先确定边缘包围区域，再进一步根据边缘包围区域中各像素点的深度值确定传送带是否存在损伤或异物，实现了对传送带的非接触式损伤检测，达到减少额外传感器的使用，降低成本、便于维护，也可及时进行破损皮带的维护减少经济损失。
作为本发明实施例的可选实施例，在上述实施例的基础上，进一步优化，根据当前点云数据、前一点云数据以及捕获区域无煤流时对应的原始点云数据，确定带式输送机上的当前煤流量，包括：
a1、根据当前点云数据以及前一点云数据，确定带式输送机的当前煤流速度。
具体的，根据当前点云数据以及前一点云数据，可以确定出关键特征点在前后两帧时间间隔内的位移，将位移与时间间隔作商，可以得到当前煤流速度。
进一步地，根据当前点云数据以及前一点云数据，确定带式输送机的当前煤流速度，包括：
a11、将当前点云数据与前一点云数据进行关键点对齐处理。
本实施例中，将当前点云数据与前一点云数据进行关键点对齐的方式可以是先进行粗配准，再进行精配准。本实施例中依次采用SAC-IA进行粗配准和ICP精配准对当前深度图与上一帧深度图进行特征对齐。SAC-IA算法主要依赖快速点特征直方图。分别对当前点云数据和前一点云数据进行滤波去噪，并通过相关算法寻找关键点，在确定关键点后求得关键点的特征，示例性的，如ISS算法、FPFH算法。精配准主要基于ICP算法，ICP算法基于SVD求解。SVD求解过程为对粗配准的关键点，求出两点云质心坐标，进一步确定质心位移，根据质心位移求出相关矩阵，并进行SVD分解，使代价函数最小，使其关键点进行精匹配。
a12、根据对齐处理后的当前点云数据和前一点云数据，确定带式输送机的当前煤流位移。
具体的，取前一点云数据中后半部分的点云作为源点云，当前点云数据作为目标点云，将前后两帧点云数据输入设定算法中，最后得到源点云在前后两帧中的平移关系T＝[0,dy,0]，其中dy为当前煤流位移。
a13、将煤流位移除以相邻两帧深度图的时间间隔，确定带式输送机的当前煤流速度。
具体的，相机固定则前后两帧点云变换关系不存在旋转，相机两帧数据之间的时间恒定。将煤流位移除以相邻两帧深度图的时间间隔，即可确定出带式输送机的当前煤流速度。示例性的，当前煤流速度可以表示为：v＝dy/t，其中，dy表示煤流位移，t表示相邻两帧深度图的时间间隔。
b1、根据当前点云数据以及原始点云数据，确定带式输送机的当前煤流截面积。
其中，当前点云数据表示有煤流时的点云数据，原始点云数据表示无煤流时传送带的点云数据。通过当前点云数据以及原始点云数据可以确定出当前时刻煤流的高度和所占宽度，通过积分的方式可以确定出当前煤流截面积。
进一步地，根据当前点云数据以及原始点云数据，确定带式输送机的当前煤流截面积，包括：
b11、分别对当前点云数据和原始点云数据沿横纵轴中非目标轴的方向按设定距离间隔进行体素滤波处理。
示例性的，若横纵轴中X轴为目标轴，则纵横轴的非目标轴方向为Y轴，若横纵轴中Y轴为目标轴，则纵横轴的非目标轴方向为X轴，这里假设目标轴为Y轴，则非目标轴为X轴。同时对当前点云数据和原始点云数据进行体素滤波使各点之间的距离间隔为1cm，按1cm进行分片。
b12、确定处理后的当前点云数据和原始点云数据在竖轴的高度差。
具体的，分别确定体素滤波处理后的各点当前点云数据与原始点云数据的高度差。示例性的，图4为本发明实施例二提供的当前煤流截面的示例图。如图4所示，为侧切截面示意图，10表示原始点云数据在Z轴方向的高度，20表示当前点云数据在竖轴方向的高度，可以看出X轴方向对当前点云数据和原始点云数据进行体素滤波的距离间隔是一致的。
b13、将设定距离间隔和高度差输入至截面公式中，确定带式输送机的当前煤流截面积。
其中，截面积可以表示为：
其中，f(x)＝fcp(x)-fnc(x)，fcp(x)表示有煤流时实时截面(即y＝0时，X坐标下对应的z值)，fnc(x)表示无煤流时实时截面(即y＝0时，X坐标下对应的z值)，x0、xi为X轴方向有煤流的起点坐标和终点坐标，i表示X轴方向进行体素滤波后的像素点个数，ΔX为设定距离间隔，0.01表示设定距离间隔，ΔH为对应点的高度差。
c1、将当前煤流速度与当前煤流截面积相乘，确定带式输送机的当前煤流量。
具体的，将当前煤流速度和当前煤流截面积相乘，可以得到带式输送机的当前煤流量。
本可选实施例具体化了带式输送机上的当前煤流量的确定步骤，将深度数据转化为点云数据，在有煤流时，利用深度数据进行煤流量的截面计算与带式输送机的速度计算达到非接触式的煤流检测效果。
作为本发明实施例的可选实施例，在上述实施例的基础上，进一步优化根据像素点，结合当前深度图，对传送带进行损伤检测的步骤，可以包括：
a2、对各像素点进行聚类，确定边缘包围区域。
具体的，将当前彩色图中梯度值大于设定阈值的像素点作为边缘点，确定出所有边缘点可以得到传送带上边缘像素点集，根据边缘像素点集进行聚类得到边缘包围区域。该边缘包围区域可以认为是梯度值异于其它区域的区域，通过下述步骤以进一步确定该区域上是有异物还是传送带有损伤。
b2、根据当前深度图，获取边缘包围区域中的设定数量像素点对应的当前深度值。
本步骤中，为了便于计算，取边缘包围区域中设定数量像素点进行计算。示例性的，离散均匀取每边缘包围区域中的6个像素点，然后获取与当前彩色图对应时刻的当前深度图中该像素点的深度值，记为当前深度值。
c2、根据捕获区域无损伤及异物时对应的原始深度图，获取边缘包围区域中对应像素点的原始深度值。
具体的，预先采集捕获区域无损伤及异物，且无煤流时对应的原始深度图，根据原始深度图获取边缘包围区域中对应像素点的原始深度值。
d2、若当前深度值与原始深度值的差值大于深度阈值，则确定传送带有异物。
其中，深度阈值是区分传送带有异物还是损伤的临界值，该深度阈值可以通过历史经验数据获得。具体的，将当前深度值与原始深度值作差，判断差值是否大于设定的深度阈值，若大于，则确定传送带有异物。
e2、若当前深度值与原始深度值的差值小于或等于深度阈值，则确定传送带有损伤。
其中，异物可以是散落的小的煤块或其他散落异物。具体的，将当前深度值与原始深度值作差，判断差值是否小于或等于设定的深度阈值，若小于或等于，则确定传送带有损伤。
本可选实施例，在传送带上无煤流时，利用彩色图进行无煤时的传送带撕裂、破损检测，实现传感器数据的复用，达到减少额外传感器的使用，降低成本、便于维护。同时，也可及时进行破损皮带的维护减少经济损失。
实施例三
图5为本发明实施例三提供的一种带式输送机的煤流检测装置的结构示意图，该装置可适用于对带式输送机的煤流进行检测的情况，带式输送机正上方固设有图像捕获装置，该带式输送机的煤流检测装置可以采用硬件和/或软件的形式实现，并一般集成在电子设备中。如图5所示，该装置包括：数据确定模块31、煤流检测模块32、煤流量确定模块33和损伤检测模块34，其中，
数据确定模块31，用于根据图像捕获装置相对捕获区域采集的当前深度图，确定捕获区域的当前点云数据；
煤流检测模块32，用于根据从当前点云数据中筛选出的目标点云数据，对捕获区域进行煤流检测；
煤流量确定模块33，用于在检测结果为存在煤流时，根据当前点云数据结合捕获区域对应的前一点云数据，确定带式输送机上的当前煤流量；
损伤检测模块34，用于在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测。
可选地，数据确定模块31，具体用于：
通过图像捕获装置采集捕获区域的当前深度图；
对当前深度图进行相机内参转换，确定捕获区域的当前点云数据。
可选地，图像捕获装置所处空间坐标系的横纵轴的任一轴与带式输送机的传送带方向平行，将平行轴记为目标轴；
煤流检测模块32，具体用于：
从当前点云数据中获取目标轴坐标为零的目标点云数据；
根据目标点云数据中除目标轴以外的两轴坐标，结合设定的曲线拟合算法，确定传送带对应的二次曲线的系数矩阵；
若系数矩阵满足预设条件，则确定捕获区域无煤流；
若系数矩阵不满足预设条件，则确定捕获区域有煤流。
可选地，煤流量确定模块33，具体包括：
处理单元，用于对当前点云数据结合捕获区域对应的前一点云数据进行预处理；
判断单元，用于根据处理结果，判断捕获区域是否存在大块煤块；
煤流量确定单元，用于若是，则根据当前点云数据、前一点云数据以及捕获区域无煤流时对应的原始点云数据，确定带式输送机上的当前煤流量；
返回单元，用于否则，获取捕获区域对应的后一点云数据作为当前点云数据，返回继续执行对点云数据进行预处理的步骤。
可选地，煤流量确定单元，具体包括：
速度确定子单元，用于根据当前点云数据以及前一点云数据，确定带式输送机的当前煤流速度；
面积确定子单元，用于根据当前点云数据以及原始点云数据，确定带式输送机的当前煤流截面积；
煤流量确定子单元，用于将当前煤流速度与当前煤流截面积相乘，确定带式输送机的当前煤流量。
可选地，速度确定子单元，具体用于：
将当前点云数据与前一点云数据进行关键点对齐处理；
根据对齐处理后的当前点云数据和前一点云数据，确定带式输送机的当前煤流位移；
将煤流位移除以相邻两帧深度图的时间间隔，确定带式输送机的当前煤流速度。
可选地，面积确定子单元，具体用于：
分别对当前点云数据和原始点云数据沿横纵轴中非目标轴的方向按设定距离间隔进行体素滤波处理；
确定处理后的当前点云数据和原始点云数据在竖轴的高度差；
将设定距离间隔和高度差输入至截面公式中，确定带式输送机的当前煤流截面积。
可选地，损伤检测模块34，具体包括：
梯度值确定单元，用于根据当前彩色图，结合设定的边缘检测算法，确定当前彩色图中各像素点对应的梯度值；
无损伤确定单元，用于若梯度值小于或等于设定梯度阈值，则确定传送带无损伤及异物；
损伤检测单元，用于否则，根据像素点，结合当前深度图，对传送带进行损伤检测。
可选地，损伤检测单元，具体用于：
对各像素点进行聚类，确定边缘包围区域；
根据当前深度图，获取边缘包围区域中的设定数量像素点对应的当前深度值；
根据捕获区域无损伤及异物时对应的原始深度图，获取边缘包围区域中对应像素点的原始深度值；
若当前深度值与原始深度值的差值大于深度阈值，则确定传送带有异物；
若当前深度值与原始深度值的差值小于或等于深度阈值，则确定传送带有损伤。
本发明实施例所提供的带式输送机的煤流检测装置可执行本发明任意实施例所提供的带式输送机的煤流检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如带式输送机的煤流检测方法。
在一些实施例中，带式输送机的煤流检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的带式输送机的煤流检测方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行带式输送机的煤流检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (2)

1.一种带式输送机的煤流检测方法，其特征在于，所述带式输送机正上方固设有图像捕获装置，所述方法包括：
根据所述图像捕获装置相对捕获区域采集的当前深度图，确定所述捕获区域的当前点云数据；
根据从所述当前点云数据中筛选出的目标点云数据，对所述捕获区域进行煤流有无检测；
在检测结果为存在煤流时，根据所述当前点云数据结合所述捕获区域对应的前一点云数据，确定所述带式输送机上的当前煤流量；
在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测；
其中，所述图像捕获装置所处空间坐标系的横纵轴的任一轴与所述带式输送机的传送带方向平行，将平行轴记为目标轴；
所述根据从所述当前点云数据中筛选出的目标点云数据，对所述捕获区域进行煤流检测，包括：
从所述当前点云数据中获取目标轴坐标为零的目标点云数据；
根据所述目标点云数据中除所述目标轴以外的两轴坐标，结合设定的曲线拟合算法，确定所述传送带对应的二次曲线的系数矩阵；
若所述系数矩阵满足预设条件，则确定所述捕获区域无煤流；
若所述系数矩阵不满足预设条件，则确定所述捕获区域有煤流；
其中，所述图像捕获装置相对捕获区域采集的当前深度图，确定所述捕获区域的当前点云数据，包括：
通过所述图像捕获装置采集所述捕获区域的当前深度图；
对所述当前深度图进行相机内参转换，确定所述捕获区域的当前点云数据；
其中，所述在检测结果为存在煤流时，根据所述当前点云数据结合所述捕获区域对应的前一点云数据，确定所述带式输送机上的当前煤流量，包括：
对所述当前点云数据结合所述捕获区域对应的前一点云数据进行预处理；
根据处理结果，判断所述捕获区域是否存在大块煤块；
若是，则根据所述当前点云数据、前一点云数据以及所述捕获区域无煤流时对应的原始点云数据，确定所述带式输送机上的当前煤流量；
否则，获取所述捕获区域对应的后一点云数据作为当前点云数据，返回继续执行对所述点云数据进行预处理的步骤；
其中，所述根据所述当前点云数据、前一点云数据以及所述捕获区域无煤流时对应的原始点云数据，确定所述带式输送机上的当前煤流量，包括：
根据所述当前点云数据以及所述前一点云数据，确定所述带式输送机的当前煤流速度；
根据所述当前点云数据以及所述原始点云数据，确定所述带式输送机的当前煤流截面积；
将所述当前煤流速度与所述当前煤流截面积相乘，确定所述带式输送机的当前煤流量；
其中，所述根据所述当前点云数据以及所述前一点云数据，确定所述带式输送机的当前煤流速度，包括：
将所述当前点云数据与所述前一点云数据进行关键点对齐处理；
根据对齐处理后的当前点云数据和前一点云数据，确定所述带式输送机的当前煤流位移；
将所述煤流位移除以相邻两帧深度图的时间间隔，确定所述带式输送机的当前煤流速度；
其中，所述根据所述当前点云数据以及所述原始点云数据，确定所述带式输送机的当前煤流截面积，包括：
分别对所述当前点云数据和所述原始点云数据沿横纵轴中非目标轴的方向按设定距离间隔进行体素滤波处理；
确定处理后的当前点云数据和原始点云数据在竖轴的高度差；
将所述设定距离间隔和所述高度差输入至截面公式中，确定所述带式输送机的当前煤流截面积；
其中，所述根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测，包括：
根据所述当前彩色图，结合设定的边缘检测算法，确定所述当前彩色图中各像素点对应的梯度值；
若所述梯度值小于或等于设定梯度阈值，则确定所述传送带无损伤及异物；
否则，根据所述像素点，结合所述当前深度图，对所述传送带进行损伤检测；
其中，所述根据所述像素点，结合所述当前深度图，对所述传送带进行损伤检测，包括：
对各所述像素点进行聚类，确定边缘包围区域；
根据所述当前深度图，获取所述边缘包围区域中的设定数量像素点对应的当前深度值；
根据所述捕获区域无损伤及异物时对应的原始深度图，获取所述边缘包围区域中对应像素点的原始深度值；
若所述当前深度值与所述原始深度值的差值大于深度阈值，则确定所述传送带有异物；
若所述当前深度值与所述原始深度值的差值小于或等于深度阈值，则确定所述传送带有损伤。
2.一种带式输送机的煤流检测装置，其特征在于，所述带式输送机正上方固设有图像捕获装置，所述装置包括：
数据确定模块，用于根据所述图像捕获装置相对捕获区域采集的当前深度图，确定所述捕获区域的当前点云数据；
煤流检测模块，用于根据从所述当前点云数据中筛选出的目标点云数据，对所述捕获区域进行煤流有无检测；
煤流量确定模块，用于在检测结果为存在煤流时，根据所述当前点云数据结合所述捕获区域对应的前一点云数据，确定所述带式输送机上的当前煤流量；
损伤检测模块，用于在检测结果为不存在煤流时，根据所述当前深度图，结合所述图像捕获装置相对所述捕获区域采集的当前彩色图，对所述带式输送机的传送带进行损伤检测；
其中，所述图像捕获装置所处空间坐标系的横纵轴的任一轴与所述带式输送机的传送带方向平行，将平行轴记为目标轴；
煤流检测模块，具体用于：
从所述当前点云数据中获取目标轴坐标为零的目标点云数据；
根据所述目标点云数据中除所述目标轴以外的两轴坐标，结合设定的曲线拟合算法，确定所述传送带对应的二次曲线的系数矩阵；
若所述系数矩阵满足预设条件，则确定所述捕获区域无煤流；
若所述系数矩阵不满足预设条件，则确定所述捕获区域有煤流；
其中，数据确定模块，具体用于：
通过图像捕获装置采集捕获区域的当前深度图；
对当前深度图进行相机内参转换，确定捕获区域的当前点云数据；
其中，煤流量确定模块，具体包括：
处理单元，用于对当前点云数据结合捕获区域对应的前一点云数据进行预处理；
判断单元，用于根据处理结果，判断捕获区域是否存在大块煤块；
煤流量确定单元，用于若是，则根据当前点云数据、前一点云数据以及捕获区域无煤流时对应的原始点云数据，确定带式输送机上的当前煤流量；
返回单元，用于否则，获取捕获区域对应的后一点云数据作为当前点云数据，返回继续执行对点云数据进行预处理的步骤；
其中，煤流量确定单元，具体包括：
速度确定子单元，用于根据当前点云数据以及前一点云数据，确定带式输送机的当前煤流速度；
面积确定子单元，用于根据当前点云数据以及原始点云数据，确定带式输送机的当前煤流截面积；
煤流量确定子单元，用于将当前煤流速度与当前煤流截面积相乘，确定带式输送机的当前煤流量；
其中，速度确定子单元，具体用于：
将当前点云数据与前一点云数据进行关键点对齐处理；
根据对齐处理后的当前点云数据和前一点云数据，确定带式输送机的当前煤流位移；
将煤流位移除以相邻两帧深度图的时间间隔，确定带式输送机的当前煤流速度；
其中，面积确定子单元，具体用于：
分别对当前点云数据和原始点云数据沿横纵轴中非目标轴的方向按设定距离间隔进行体素滤波处理；
确定处理后的当前点云数据和原始点云数据在竖轴的高度差；
将设定距离间隔和高度差输入至截面公式中，确定带式输送机的当前煤流截面积；
其中，损伤检测模块，具体包括：
梯度值确定单元，用于根据当前彩色图，结合设定的边缘检测算法，确定当前彩色图中各像素点对应的梯度值；
无损伤确定单元，用于若梯度值小于或等于设定梯度阈值，则确定传送带无损伤及异物；
损伤检测单元，用于否则，根据像素点，结合当前深度图，对传送带进行损伤检测；
其中，损伤检测单元，具体用于：
对各像素点进行聚类，确定边缘包围区域；
根据当前深度图，获取边缘包围区域中的设定数量像素点对应的当前深度值；
根据捕获区域无损伤及异物时对应的原始深度图，获取边缘包围区域中对应像素点的原始深度值；
若当前深度值与原始深度值的差值大于深度阈值，则确定传送带有异物；
若当前深度值与原始深度值的差值小于或等于深度阈值，则确定传送带有损伤。
CN202211265392.5A 2022-10-17 2022-10-17 一种带式输送机的煤流检测方法及装置 Active CN115526878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211265392.5A CN115526878B (zh) 2022-10-17 2022-10-17 一种带式输送机的煤流检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211265392.5A CN115526878B (zh) 2022-10-17 2022-10-17 一种带式输送机的煤流检测方法及装置

Publications (2)

Publication Number Publication Date
CN115526878A CN115526878A (zh) 2022-12-27
CN115526878B true CN115526878B (zh) 2024-03-29

Family

ID=84700930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211265392.5A Active CN115526878B (zh) 2022-10-17 2022-10-17 一种带式输送机的煤流检测方法及装置

Country Status (1)

Country Link
CN (1) CN115526878B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880644B (zh) * 2023-01-06 2023-05-16 华夏天信物联科技有限公司 一种基于人工智能的煤量识别的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664874A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于图像识别的井下煤流量检测方法
CN112833983A (zh) * 2019-11-25 2021-05-25 青岛中加特电气股份有限公司 一种基于激光扫描的煤量检测方法
CN114782359A (zh) * 2022-04-19 2022-07-22 上海交通大学 一种基于数据异构融合的工业传送带表面缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664874A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于图像识别的井下煤流量检测方法
CN112833983A (zh) * 2019-11-25 2021-05-25 青岛中加特电气股份有限公司 一种基于激光扫描的煤量检测方法
CN114782359A (zh) * 2022-04-19 2022-07-22 上海交通大学 一种基于数据异构融合的工业传送带表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔振国.基于机器视觉的带式输送机煤量监测系统研究.中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑.2022,21-52页. *

Also Published As

Publication number Publication date
CN115526878A (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN107610176B (zh) 一种基于Kinect的栈板动态识别与定位方法、系统及介质
CN110070570B (zh) 一种基于深度信息的障碍物检测系统及方法
CN107678192B (zh) 一种基于机器视觉的Mura缺陷检测方法
KR102320649B1 (ko) 얼굴 이미지 품질을 결정하는 방법과 장치, 전자 기기 및 컴퓨터 저장 매체
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN115526878B (zh) 一种带式输送机的煤流检测方法及装置
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN113607058B (zh) 一种基于机器视觉的直刃刀尺寸检测方法及系统
CN114332487A (zh) 基于图像的积水预警方法、装置、设备、存储介质及产品
CN111126296A (zh) 水果定位方法及装置
CN106530292B (zh) 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法
JP2008269218A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN102542239B (zh) 一种烧结机尾红断面有效图像自动捕捉方法
CN114066980A (zh) 对象检测方法、装置、电子设备及自动驾驶车辆
CN114581890B (zh) 确定车道线的方法、装置、电子设备和存储介质
CN117593780B (zh) 一种皱纹深度指数确定方法、装置、电子设备及存储介质
CN108917644B (zh) 三维立体测量系统
CN115631249B (zh) 一种相机校正方法、装置、设备和存储介质
CN113469025B (zh) 应用于车路协同的目标检测方法、装置、路侧设备和车辆
Li Design of computer vision and image processing technology based car keys tooth identification detection system
CN116503407B (zh) 图像中异物区域的检测方法、装置及电子设备
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
CN117173156B (zh) 基于机器视觉的极片毛刺检测方法、装置、设备及介质
CN107610135A (zh) 基于测地线距离算法和形态学识别的快速手指分割方法
Mou et al. A real time power line detect system based on stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant