CN115393343A - 基于视频分析的矿井罐耳故障检测方法和装置 - Google Patents

基于视频分析的矿井罐耳故障检测方法和装置 Download PDF

Info

Publication number
CN115393343A
CN115393343A CN202211165055.9A CN202211165055A CN115393343A CN 115393343 A CN115393343 A CN 115393343A CN 202211165055 A CN202211165055 A CN 202211165055A CN 115393343 A CN115393343 A CN 115393343A
Authority
CN
China
Prior art keywords
image
ear
cage shoe
fault
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211165055.9A
Other languages
English (en)
Inventor
孙大智
程健
李�昊
马永壮
杨国奇
李和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Coal Research Institute Co Ltd
Original Assignee
General Coal Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Coal Research Institute Co Ltd filed Critical General Coal Research Institute Co Ltd
Priority to CN202211165055.9A priority Critical patent/CN115393343A/zh
Publication of CN115393343A publication Critical patent/CN115393343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种基于视频分析的矿井罐耳故障检测方法和装置。其中，方法包括：获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于矿井中罐耳的图像信息，确定出罐耳的位置信息和罐耳轮廓图，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，并保障矿井罐耳的安全运行。

Description

基于视频分析的矿井罐耳故障检测方法和装置
技术领域
本申请涉及罐耳检测技术领域，尤其涉及一种基于视频分析的矿井罐耳故障检测方法和装置。
背景技术
目前，矿井提升系统在煤矿生产过程中具有十分重要的地位，担负着开采过程中人员与物资的输送任务。提升系统中普遍使用滚轮罐耳，为提升罐笼提供导向、缓冲和稳定作用，然而罐耳在罐笼高速运行时，罐耳的胶轮及缓冲装置受到较大的负荷和阻力，长时间使用后，会出现罐耳不旋转情况，甚至脱落的风险，当多个罐耳同时出现不旋转，如果不及时发现，继续运行的话，提升罐笼与罐道之间可能因运行摆动产生剧烈摩擦，损坏井筒装备，故亟需一种保障矿井安全生产的基于视频分析的矿井罐耳故障检测方法。
发明内容
本申请提出一种基于视频分析的矿井罐耳故障检测方法和装置。
本申请第一方面实施例提出了一种基于视频分析的矿井罐耳故障检测方法，所述方法包括：获取矿井中罐耳的图像信息；控制图像分割算法对所述图像信息进行分割，以得到所述罐耳的位置信息和罐耳轮廓图；将相邻两帧的所述罐耳轮廓图进行差异对比，以得到差分轮廓图像；根据所述差分轮廓图像中的像素值与预设像素阈值的差异性，确定所述位置信息对应的罐耳是否故障。
在本申请的一个实施例中，所述控制图像分割算法对所述图像信息进行分割，以得到所述罐耳的位置信息和罐耳轮廓图，包括：对所述图像信息中的罐耳图像进行特征分割，以得到多个特征图像块；根据所述多个特征图像块的相似性度量，对所述多个特征图像块进行聚类和定位，以得到所述罐耳的初始罐耳轮廓图和位置信息；对所述初始罐耳轮廓图进行去噪，以得到所述罐耳轮廓图的罐耳轮廓图。
在本申请的一个实施例中，所述对所述初始罐耳轮廓图进行去噪，以得到所述罐耳轮廓图的罐耳轮廓图，包括：对所述初始罐耳轮廓图进行扫描，以得到所述所述初始罐耳轮廓图的每个像素点；将相邻的所述像素点的加权平均灰度值作为所述所述初始罐耳轮廓图的去噪像素点；根据所述去噪像素点，生成所述罐耳的罐耳轮廓图。
在本申请的一个实施例中，所述根据所述差分轮廓图像中的像素值与预设像素阈值的差异性，确定所述位置信息对应的罐耳是否故障，包括：将所述差分轮廓图像二值化，以得到所述差分轮廓图像对应的二值化差分图；将所述二值化差分图中像素点的像素值大于所述预设像素阈值的像素点作为前景运动像素；根据所述前景运动像素，组建所述前景运动像素对应的像素运动区域；根据所述像素运动区域，确定所述位置信息下的罐耳是否故障。
本申请提出一种基于视频分析的矿井罐耳故障检测方法，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于矿井中罐耳的图像信息，确定出罐耳的位置信息和罐耳轮廓图，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，并保障矿井罐耳的安全运行。
本申请第二方面实施例提出了一种基于视频分析的矿井罐耳故障检测装置，所述装置包括：获取模块，用于获取矿井中罐耳的图像信息；分割模块，用于控制图像分割算法对所述图像信息进行分割，以得到所述罐耳的位置信息和罐耳轮廓图；对比模块，用于将相邻两帧的所述罐耳轮廓图进行差异对比，以得到差分轮廓图像；确定模块，用于根据所述差分轮廓图像中的像素值与预设像素阈值的差异性，确定所述位置信息对应的罐耳是否故障。
在本申请的一个实施例中，所述分割模块，包括：分割单元，用于对所述图像信息中的罐耳图像进行特征分割，以得到多个特征图像块；生成单元，用于根据所述多个特征图像块的相似性度量，对所述多个特征图像块进行聚类和定位，以得到所述罐耳的初始罐耳轮廓图和位置信息；去噪单元，用于对所述初始罐耳轮廓图进行去噪，以得到所述罐耳轮廓图的罐耳轮廓图。
在本申请的一个实施例中，所述去噪单元，具体用于：对所述初始罐耳轮廓图进行扫描，以得到所述所述初始罐耳轮廓图的每个像素点；将相邻的所述像素点的加权平均灰度值作为所述所述初始罐耳轮廓图的去噪像素点；根据所述去噪像素点，生成所述罐耳的罐耳轮廓图。
在本申请的一个实施例中，所述确定模块，具体用于：将所述差分轮廓图像二值化，以得到所述差分轮廓图像对应的二值化差分图；将所述二值化差分图中像素点的像素值大于所述预设像素阈值的像素点作为前景运动像素；根据所述前景运动像素，组建所述前景运动像素对应的像素运动区域；根据所述像素运动区域，确定所述位置信息下的罐耳是否故障。
在本申请的一个实施例中，所述确定模块，具体用于：将所述差分轮廓图像二值化，以得到所述差分轮廓图像对应的二值化差分图；将所述二值化差分图中像素点的像素值大于所述预设像素阈值的像素点作为前景运动像素；根据所述前景运动像素，组建所述前景运动像素对应的像素运动区域；根据所述像素运动区域，确定所述位置信息下的罐耳是否故障。
本申请提出一种基于视频分析的矿井罐耳故障检测装置，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于矿井中罐耳的图像信息，确定出罐耳的位置信息和罐耳轮廓图，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，并保障矿井罐耳的安全运行。
本申请第三方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例的基于视频分析的矿井罐耳故障检测方法。
本申请第四方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现本申请实施例的基于视频分析的矿井罐耳故障检测方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测方法的流程示意图；
图2是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测装置的结构示意图；
图3是本申请实施例所提供的另一种基于视频分析的矿井罐耳故障检测方法的流程示意图；
图4是本申请实施例所提供的另一种基于视频分析的矿井罐耳故障检测方法的流程示意图；
图5是本申请实施例所提供的另一种基于视频分析的矿井罐耳故障检测方法的流程示意图；
图6是本申请实施例所提供的另一种基于视频分析的矿井罐耳故障检测方法的流程示意图；
图7是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测方法的算法模块流程图；
图8是本申请实施例所提供一种基于视频分析的矿井罐耳故障检测装置的结构示意图；
图9是本申请实施例所提供另一种基于视频分析的矿井罐耳故障检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于视频分析的矿井罐耳故障检测方法和装置。
图1是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测方法的流程示意图。其中，需要说明的是，本实施例提供的基于视频分析的矿井罐耳故障检测方法的执行主体为基于视频分析的矿井罐耳故障检测装置，该基于视频分析的矿井罐耳故障检测装置可以由软件和/或硬件的方式实现，该实施例中的基于视频分析的矿井罐耳故障检测装置可以配置电子设备中，本实施例中的电子设备可以包括服务器，该实施例对电子设备不作具体限定。
图1是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测方法的流程示意图。
如图1所示，该基于视频分析的矿井罐耳故障检测方法可以包括：
步骤101，获取矿井中罐耳的图像信息。
在一些实施例中，矿井中罐耳的图像信息可以是通过安装在矿井中罐耳附近的监控设备所采集的图像信息，其中，该监控设备可以是摄像头，但不仅于此，该实施例对此不做具体限定。
其中，可以理解的是，为提高图像信息的准确性及覆盖范围，可以将矿井中罐耳附近的监控设备设置在罐耳对应罐笼的顶部，且距离罐耳上方1米、夹角为60度处，从而方便监控设备对罐的图像信息的监控采集。
在另一些实施例中，为提高图像信息的清晰度，还可以在距离罐耳上方2米、夹角为60度处安装直流矿用隔爆投光灯两套，负责给摄像头补光使用，从而保证监控设备采集的图像信息的图像效果。
步骤102，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图。
在一些实施例中，图像分割算法可以是深度学习分割算法，但不仅限于此，该实施例对此不做具体限定。
在另一些实施例中，图像信息可以包括罐耳的图像、罐耳位置信息，但不仅限于此。
其中，可以通过深度学习分割算法对罐耳的图像进行处理，以分割出罐耳的罐耳轮廓图，具体地，可以以图像分割算法采用二阶段体系two stage结构，首先通过一阶网络找出区域候选网络(RegionProposal Network,RPN)，然后对RPN找到的每个罐耳轮廓RoI进行分类、定位，并找到双极型掩模(binary mask)，以得到罐耳的位置信息和罐耳轮廓图。
其中，罐耳的位置信息用于标注罐耳在矿井中的位置，方便对矿井罐耳的管理。
步骤103，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像。
在一些实施例中，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像的一种实施方式可以为，可以将罐耳图像的上一帧和当前帧做帧差，保留出两帧差异部分，以将两帧差异部分作为差分轮廓图像，但不仅限于此。
其中，为了进一步保证罐耳故障检测的准确性，可以进行多帧差值比较，多帧数量随机可设，同时对于帧差的阈值也可以进行调节，根据实际业务场景调到最佳值为宜。
步骤104，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障。
在一些实施例中，可以根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定差分轮廓图像是否属于运动区域，从而根据多个帧差的差分轮廓图对应的运动区域，判断位置信息对应的罐耳是否故障，实现对罐耳的精准检测。
具体地，若差分轮廓图像不属于运动区域则可以认为是背景像素，若差分轮廓图像属于运动区域，从而根据多个差分轮廓图像对应的运动区域，确定罐耳是否是运动的，在罐耳运动的情况下，罐耳则在正在旋转工作，无故障，相反，罐耳处于故障状态。
本申请提出一种基于视频分析的矿井罐耳故障检测方法，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于矿井中罐耳的图像信息，确定出罐耳的位置信息和罐耳轮廓图，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，并保障矿井罐耳的安全运行。
此外，可以理解的是，为清楚描述基于视频分析的矿井罐耳故障检测方法，该基于视频分析的矿井罐耳故障检测方法可以应用在矿井的工控机上，如图2所示，本申请实施例还提供的一种基于视频分析的矿井罐耳故障检测装置的结构示意图，具体地，基于视频分析的矿井罐耳故障检测装置可以包括罐耳1、罐耳2、罐道3、监控设备4、基站5和工控机6，其中，在矿井罐耳正常运行过程中，罐耳1和2沿着罐道3一直贴合旋转，监控设备4一直拍摄罐耳1和2运行情况，监控设备4为可以为带云台摄像头，可以通过远程控制调节云台角度，使能拍摄到其它组罐耳，实现对矿井罐耳的全方位监测。
另一方面，如图2所示，在监测到矿井罐耳的图相信息的情况下，云台摄像头4通过搭设的基站5，经过无线通信wifi连接到工控机6，从而云台摄像头4将拍摄的罐耳1、2图像信息，以视频流传输到工控机6的算法模块进行故障检测分析处理，以确定矿井罐耳是否故障。
为清楚的理解本申请，下面结合图3对基于视频分析的矿井罐耳故障检测方法的处理过程进行示例性描述，其中，该实施例是对上述实施例的进一步细化或者扩展。
如图3所示，该基于视频分析的矿井罐耳故障检测方法可以包括：
步骤301，获取矿井中罐耳的图像信息。
其中，需要说明的是，关于步骤301的具体实现方式，可参见上述实施例中的相关描述。
步骤302，对图像信息中的罐耳图像进行特征分割，以得到多个特征图像块。
在一些实施例中，罐耳图像可以至少为几百张，以保障罐耳的故障检测方法的准确性。
在另一些实施例中，可以根据罐耳图像中每个像素点对应的原图所在区域是不是包含罐耳轮廓，从而进行特征分割，以得到罐耳轮廓对应的多个特征图像块
步骤303，根据多个特征图像块的相似性度量，对多个特征图像块进行聚类和定位，以得到罐耳的初始罐耳轮廓图和位置信息。
步骤304，对初始罐耳轮廓图进行去噪，以得到罐耳轮廓图的罐耳轮廓图。
在一些实施例中，对初始罐耳轮廓图进行去噪，以得到罐耳轮廓图的罐耳轮廓图的一种实施方式可以为，可以采用高斯滤波进行初始罐耳轮廓图的去噪，具体地，对初始罐耳轮廓图进行扫描，以得到初始罐耳轮廓图的每个像素点，将相邻的像素点的加权平均灰度值作为初始罐耳轮廓图的去噪像素点，根据去噪像素点，生成罐耳的罐耳轮廓图。
例如，可以采用一个模板扫描初始罐耳轮廓图的每一个像素点，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，以作为去噪像素点，从而生成罐耳的罐耳轮廓图。
其中，上述模板可以为卷积或掩模，但不仅限于此，该实施例对此不做具体限定。
步骤305，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像。
步骤306，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障。
本申请提出一种基于视频分析的矿井罐耳故障检测方法，获取矿井中罐耳的图像信息，对图像信息中的罐耳图像进行特征分割，以得到多个特征图像块，根据多个特征图像块的相似性度量，对多个特征图像块进行聚类和定位，以得到罐耳的初始罐耳轮廓图和位置信息，对初始罐耳轮廓图进行去噪，以得到罐耳轮廓图的罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于对矿井中罐耳的图像信息进行聚类和定位，准确确定出罐耳的位置信息和罐耳轮廓图，以确定罐耳是否故障，提高了罐耳故障定位进度，解决罐耳故障检修时间，提高罐耳的工作效率。
图4是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测装置的结构示意图。
步骤401，获取矿井中罐耳的图像信息。
步骤402，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图。
步骤403，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像。
其中，需要说明的是，关于步骤401至步骤403的具体实现方式，可参见上述实施例中的相关描述。
步骤404，将差分轮廓图像二值化，以得到差分轮廓图像对应的二值化差分图。
在一些实施例中，通过将差分轮廓图像上的像素点的灰度值设置为0或255，即将整个差分轮廓图像呈现出明显的只有黑和白的视觉效果，以作为差分轮廓图像对应的二值化差分图。
步骤405，将二值化差分图中像素点的像素值大于预设像素阈值的像素点作为前景运动像素。
在一些实施例中，在二值化差分图对应的光源恒定，胶圈轮廓位置恒定情况下，如果二值化差分图中像素点的像素值小于等于预设像素阈值的像素点，则认为是背景像素，如果二值化差分图中像素点的像素值大于预设像素阈值的像素点，则认为是由于运动物体引起的像素，以作为前景运动像素。
其中，预设像素阈值可以设置为180，但不仅限于此，具体预设像素阈值可以根据实际业务需求，由相关技术人员进行设定，该实施例对此不做具体限定。
步骤406，根据前景运动像素，组建前景运动像素对应的像素运动区域。
在一些实施例中，基于前景运动像素，组建像素运动区域，并进行标定，以将根据标定的像素运动区域，确定罐耳是否旋转，从而确定罐耳是否故障。
步骤407，根据像素运动区域，确定位置信息下的罐耳是否故障。
在一些实施例中，在像素运动区域变化较大，大于一定变化阈值的情况下，说明罐耳处于正常旋转，则该位置信息下的罐耳正常运行，在像素运动区域变化较小，且小于一定变化阈值的情况下，则说明罐耳处于异常旋转，则该位置信息下的罐耳存在故障。
本申请提出一种基于视频分析的矿井罐耳故障检测方法，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，差分轮廓图像二值化，以得到差分轮廓图像对应的二值化差分图，将二值化差分图中像素点的像素值大于预设像素阈值的像素点作为前景运动像素，根据前景运动像素，组建前景运动像素对应的像素运动区域，根据像素运动区域，确定位置信息下的罐耳是否故障，由此，基于矿井中罐耳的图像信息，以得到罐耳差分轮廓图，并根据差分轮廓图像对应的像素运动区域，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，提高了罐耳的使用寿命。
图5是本申请实施例所提供的另一种基于视频分析的矿井罐耳故障检测方法的流程示意图。
步骤501，获取矿井中罐耳的图像信息。
步骤502，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图。
步骤503，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像。
步骤504，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障。
其中，需要说明的是，关于步骤501至步骤504的具体实现方式，可参见上述实施例中的相关描述。
步骤505，在位置信息下的罐耳存在故障罐耳的情况下，保存故障罐耳对应的故障视频，以生成故障视频对应的报警信息。
在一些实施例中，故障罐耳对应的故障视频可以从监控矿井罐耳的监控设备中获取，但不仅限于此。
可以理解的是，在位置信息下的罐耳存在故障罐耳的情况下，保存故障罐耳对应的故障视频，不同的故障视频对应不同的报警信息，例如，在故障视频为罐耳胶圈表面会有一些油渍和污垢导致罐耳故障的情况下，生成对应的污垢信息，以方便管理人员进行检修。
在另一些实施例中，在位置信息下的罐耳不存在故障罐耳的情况下，罐耳正常运行，无需保存罐耳的监控信息。
步骤506，根据报警信息，生成调控报警信息的控制信号。
在一些实施例中，报警信息中罐耳故障的数量多少，影响报警信息的控制信号，例如，在报警信息中只有一个罐耳故障的情况下，报警信息对应的控制信号为保存故障罐耳的故障视频，当报警信息中存在大于等于两个罐耳故障的情况下，则报警信息对应的控制信号为停机检修指令，并保存所有故障罐耳的故障视频，以对矿井罐耳进行检修。
步骤507，将控制信号发送到罐耳对应的系统控制平台，通过系统控制平台对罐耳进行调控。
可以理解的是，系统控制平台基于不同控制信号，对罐耳进行不同的调控，具体地，当多个罐耳同时异常时，系统控制平台控制罐耳停机进入检修状态，直至检修完毕，再次启动，并对检修后罐耳进行检测，直至罐耳检测无故障。
本申请提出一种基于视频分析的矿井罐耳故障检测方法，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，在位置信息下的罐耳存在故障罐耳的情况下，保存故障罐耳对应的故障视频，以生成故障视频对应的报警信息，根据报警信息，生成调控报警信息的控制信号，将控制信号发送到罐耳对应的系统控制平台，通过系统控制平台对罐耳进行调控，由此，基于矿井中罐耳的位置信息和罐耳轮廓图，在确定罐耳存在故障的情况下，通过罐耳对应的系统控制平台对罐耳进行调控，实现矿井罐耳的安全运行，提高矿井的生产效率。
综上，为更好的理解基于视频分析的矿井罐耳故障检测方法，该基于视频分析的矿井罐耳故障检测方法可以应用在矿井对应的工控机中，如图6所示，图6是本申请实施例所提供的另一种基于视频分析的矿井罐耳故障检测方法的流程示意图，具体地，通过矿井罐耳对应的云台摄像头采集罐耳的多帧图像信息，以发送到工控机的算法模块，进行罐耳检测算法分析处理，在罐耳旋转正常的情况下，持续检测，若罐耳旋转异常则进行报警，并生成报警信息，同时记录报警信息对应的故障视频，根据故障视频判断是否多个罐耳旋转异常，若没有多个罐耳旋转异常，则持续检测，若存在多个罐耳旋转异常，则通知系统控制平台，并进行检修，以保障矿井罐耳的安全运行。
其中，上述工控机的算法模块的处理罐耳的图像信息的流程可以如图7所示，图7是本申请实施例所提供的一种基于视频分析的矿井罐耳故障检测方法的算法模块流程图，具体地，将多帧图像信息输入到算法模块中，以定位出罐耳的位置信息和初始罐耳轮廓图，并通过对初始罐耳轮廓图进行高斯滤波去噪，以得到更精确的罐耳轮廓图，通过对相邻帧的罐耳轮廓图进行帧差差异对比，以得到帧差差异部分，根据帧差差异部分的像素值确定罐耳是否异常，若罐耳正常，则输入下一次图像信息进行进行处理，若罐耳异常，则生成报警信息，并纪律报警信息对应的故障视频，以生成故障视频对应的控制信号，最后持续下一次图像信息进行进行检测，由此，基于矿井罐耳的多帧图像信息，实现对罐耳故障的精准检测，节约检修成本。
图8是本申请实施例所提供一种基于视频分析的矿井罐耳故障检测装置的结构示意图。
如图8所示，该基于视频分析的矿井罐耳故障检测装置800包括：获取模块801、分割模块802、对比模块803和确定模块804，其中：
获取模块801，用于获取矿井中罐耳的图像信息。
分割模块802，用于控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图。
对比模块803，用于将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像。
确定模块804，用于根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障。
本申请提出一种基于视频分析的矿井罐耳故障检测装置，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于矿井中罐耳的图像信息，确定出罐耳的位置信息和罐耳轮廓图，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，并保障矿井罐耳的安全运行。
在本申请的一个实施例中，图9是本申请实施例所提供另一种基于视频分析的矿井罐耳故障检测装置的结构示意图，如图9所示，该基于视频分析的矿井罐耳故障检测装置900还可以包括：获取模块901、分割模块902、对比模块903、确定模块904、保存模块905、生成模块906和调控模块907，其中，分割模块902包括分割单元9021、生成单元9022和去噪单元9023。
其中，关于获取模块901、分割模块902、对比模块903、确定模块904的详细描述请参考图8所示实施例中获取模块801、分割模块802、对比模块803和确定模块804的说明，此处不在进行描述。
在本申请的一个实施例中，如图9所示，分割模块902，包括：
分割单元9021，用于对图像信息中的罐耳图像进行特征分割，以得到多个特征图像块。
生成单元9022，用于根据多个特征图像块的相似性度量，对多个特征图像块进行聚类和定位，以得到罐耳的初始罐耳轮廓图和位置信息。
去噪单元9023，用于对初始罐耳轮廓图进行去噪，以得到罐耳轮廓图的罐耳轮廓图。
在本申请的一个实施例中，如图9所示，去噪单元9023，具体用于：
对初始罐耳轮廓图进行扫描，以得到初始罐耳轮廓图的每个像素点。
将相邻的像素点的加权平均灰度值作为初始罐耳轮廓图的去噪像素点。
根据去噪像素点，生成罐耳的罐耳轮廓图。
在本申请的一个实施例中，如图9所示，确定模块904，具体用于：
将差分轮廓图像二值化，以得到差分轮廓图像对应的二值化差分图。
将二值化差分图中像素点的像素值大于预设像素阈值的像素点作为前景运动像素。
根据前景运动像素，组建前景运动像素对应的像素运动区域。
根据像素运动区域，确定位置信息下的罐耳是否故障。
在本申请的一个实施例中，如图9所示，装置，还包括：
保存模块905，用于在位置信息下的罐耳存在故障罐耳的情况下，保存故障罐耳对应的故障视频，以生成故障视频对应的报警信息。
生成模块906，用于根据报警信息，生成调控报警信息的控制信号。
调控模块907，用于将控制信号发送到罐耳对应的系统控制平台，通过系统控制平台对罐耳进行调控。
本申请提出一种基于视频分析的矿井罐耳故障检测装置，获取矿井中罐耳的图像信息，控制图像分割算法对图像信息进行分割，以得到罐耳的位置信息和罐耳轮廓图，将相邻两帧的罐耳轮廓图进行差异对比，以得到差分轮廓图像，根据差分轮廓图像中的像素值与预设像素阈值的差异性，确定位置信息对应的罐耳是否故障，由此，基于矿井中罐耳的图像信息，确定出罐耳的位置信息和罐耳轮廓图，以准确确定罐耳是否故障，实现对矿井罐耳故障的精准检测，并保障矿井罐耳的安全运行。
根据本申请的实施例，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请实施例的基于视频分析的矿井罐耳故障检测方法。
本申请还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时实现本申请实施例的基于视频分析的矿井罐耳故障检测方法。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于视频分析的矿井罐耳故障检测方法，其特征在于，所述方法包括：
获取矿井中罐耳的图像信息；
控制图像分割算法对所述图像信息进行分割，以得到所述罐耳的位置信息和罐耳轮廓图；
将相邻两帧的所述罐耳轮廓图进行差异对比，以得到差分轮廓图像；
根据所述差分轮廓图像中的像素值与预设像素阈值的差异性，确定所述位置信息对应的罐耳是否故障。
2.根据权利要求1所述的方法，其特征在于，所述控制图像分割算法对所述图像信息进行分割，以得到所述罐耳的位置信息和罐耳轮廓图，包括：
对所述图像信息中的罐耳图像进行特征分割，以得到多个特征图像块；
根据所述多个特征图像块的相似性度量，对所述多个特征图像块进行聚类和定位，以得到所述罐耳的初始罐耳轮廓图和位置信息；
对所述初始罐耳轮廓图进行去噪，以得到所述罐耳轮廓图的罐耳轮廓图。
3.根据权利要求2所述的方法，其特征在于，所述对所述初始罐耳轮廓图进行去噪，以得到所述罐耳轮廓图的罐耳轮廓图，包括：
对所述初始罐耳轮廓图进行扫描，以得到所述所述初始罐耳轮廓图的每个像素点；
将相邻的所述像素点的加权平均灰度值作为所述所述初始罐耳轮廓图的去噪像素点；
根据所述去噪像素点，生成所述罐耳的罐耳轮廓图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述差分轮廓图像中的像素值与预设像素阈值的差异性，确定所述位置信息对应的罐耳是否故障，包括：
将所述差分轮廓图像二值化，以得到所述差分轮廓图像对应的二值化差分图；
将所述二值化差分图中像素点的像素值大于所述预设像素阈值的像素点作为前景运动像素；
根据所述前景运动像素，组建所述前景运动像素对应的像素运动区域；
根据所述像素运动区域，确定所述位置信息下的罐耳是否故障。
5.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
在所述位置信息下的罐耳存在故障罐耳的情况下，保存所述故障罐耳对应的故障视频，以生成所述故障视频对应的报警信息；
根据所述报警信息，生成调控所述报警信息的控制信号；
将所述控制信号发送到所述罐耳对应的系统控制平台，通过所述系统控制平台对所述罐耳进行调控。
6.一种基于视频分析的矿井罐耳故障检测装置，其特征在于，所述装置包括：
获取模块，用于获取矿井中罐耳的图像信息；
分割模块，用于控制图像分割算法对所述图像信息进行分割，以得到所述罐耳的位置信息和罐耳轮廓图；
对比模块，用于将相邻两帧的所述罐耳轮廓图进行差异对比，以得到差分轮廓图像；
确定模块，用于根据所述差分轮廓图像中的像素值与预设像素阈值的差异性，确定所述位置信息对应的罐耳是否故障。
7.根据权利要求6所述的装置，其特征在于，所述分割模块，包括：
分割单元，用于对所述图像信息中的罐耳图像进行特征分割，以得到多个特征图像块；
生成单元，用于根据所述多个特征图像块的相似性度量，对所述多个特征图像块进行聚类和定位，以得到所述罐耳的初始罐耳轮廓图和位置信息；
去噪单元，用于对所述初始罐耳轮廓图进行去噪，以得到所述罐耳轮廓图的罐耳轮廓图。
8.根据权利要求7所述的装置，其特征在于，所述去噪单元，具体用于：
对所述初始罐耳轮廓图进行扫描，以得到所述所述初始罐耳轮廓图的每个像素点；
将相邻的所述像素点的加权平均灰度值作为所述所述初始罐耳轮廓图的去噪像素点；
根据所述去噪像素点，生成所述罐耳的罐耳轮廓图。
9.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于：
将所述差分轮廓图像二值化，以得到所述差分轮廓图像对应的二值化差分图；
将所述二值化差分图中像素点的像素值大于所述预设像素阈值的像素点作为前景运动像素；
根据所述前景运动像素，组建所述前景运动像素对应的像素运动区域；
根据所述像素运动区域，确定所述位置信息下的罐耳是否故障。
10.根据权利要求6所述的装置，其特征在于，所述装置，还包括：
保存模块，用于在所述位置信息下的罐耳存在故障罐耳的情况下，保存所述故障罐耳对应的故障视频，以生成所述故障视频对应的报警信息；
生成模块，用于根据所述报警信息，生成调控所述报警信息的控制信号；
调控模块，用于将所述控制信号发送到所述罐耳对应的系统控制平台，通过所述系统控制平台对所述罐耳进行调控。
CN202211165055.9A 2022-09-20 2022-09-20 基于视频分析的矿井罐耳故障检测方法和装置 Pending CN115393343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211165055.9A CN115393343A (zh) 2022-09-20 2022-09-20 基于视频分析的矿井罐耳故障检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211165055.9A CN115393343A (zh) 2022-09-20 2022-09-20 基于视频分析的矿井罐耳故障检测方法和装置

Publications (1)

Publication Number Publication Date
CN115393343A true CN115393343A (zh) 2022-11-25

Family

ID=84129032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211165055.9A Pending CN115393343A (zh) 2022-09-20 2022-09-20 基于视频分析的矿井罐耳故障检测方法和装置

Country Status (1)

Country Link
CN (1) CN115393343A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403208A (zh) * 2023-06-07 2023-07-07 山东科技大学 基于激光雷达点云的滚轮罐耳运行状态检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403208A (zh) * 2023-06-07 2023-07-07 山东科技大学 基于激光雷达点云的滚轮罐耳运行状态检测方法及装置
CN116403208B (zh) * 2023-06-07 2023-08-22 山东科技大学 基于激光雷达点云的滚轮罐耳运行状态检测方法及装置

Similar Documents

Publication Publication Date Title
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
US20200380899A1 (en) Method and apparatus for detecting peripheral circuit of display screen, electronic device, and storage medium
CA2847825C (en) Measurement of belt wear through edge detection of a raster image
US9747501B2 (en) Fire detection method and apparatus
CN105844611B (zh) 用于使用输入图像来测量磨损销长度的算法
CN115393343A (zh) 基于视频分析的矿井罐耳故障检测方法和装置
KR102476048B1 (ko) 공정의 이상 여부를 감지하는 방법 및 공정의 이상 여부를 감지하는 장치
JP2017068815A (ja) アテンション検出装置及びアテンション検出方法
CN112784738A (zh) 运动目标检测告警方法、装置以及计算机可读存储介质
KR102477088B1 (ko) 검사 영역 조정 방법 및 검사 영역 조정 장치
CN115272980A (zh) 一种基于机器视觉的运输皮带表面检测方法及系统
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN111860429B (zh) 高炉风口异常检测方法、装置、电子设备和存储介质
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
KR20230036557A (ko) 드론 기반 대단위 태양광 패널 고장 모니터링 시스템
US20190325587A1 (en) Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program
WO2024016715A1 (zh) 检测系统的成像一致性的方法、装置和计算机存储介质
CN111462074A (zh) 轴承外观检测方法、装置、系统、计算机设备及存储介质
JP5286331B2 (ja) 乗客コンベアのハンドレール点検装置および乗客コンベアの保全方法
CN111047648B (zh) 角度校正方法及装置
CN113936242B (zh) 一种视频图像干扰检测方法、系统、设备以及介质
JP2017175789A (ja) パンタグラフの検査装置、検査方法、及び、検査システム
KR102116092B1 (ko) 윤형 철조망 검출 방법
CN116630316B (zh) 一种基于视频分析的皮带疲劳检测报警方法及报警系统
JP2017146704A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination