CN117036362B - 堵料检测方法、装置、设备及存储介质 - Google Patents

堵料检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117036362B
CN117036362B CN202311303033.9A CN202311303033A CN117036362B CN 117036362 B CN117036362 B CN 117036362B CN 202311303033 A CN202311303033 A CN 202311303033A CN 117036362 B CN117036362 B CN 117036362B
Authority
CN
China
Prior art keywords
information
recognition
data
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311303033.9A
Other languages
English (en)
Other versions
CN117036362A (zh
Inventor
曾发喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guoxun Robot Technology Co ltd
Original Assignee
Guangzhou Guoxun Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Guoxun Robot Technology Co ltd filed Critical Guangzhou Guoxun Robot Technology Co ltd
Priority to CN202311303033.9A priority Critical patent/CN117036362B/zh
Publication of CN117036362A publication Critical patent/CN117036362A/zh
Application granted granted Critical
Publication of CN117036362B publication Critical patent/CN117036362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及运输检测技术领域，提供一种堵料检测方法、装置、设备及存储介质。堵料检测方法包括：获取装料装置内探测数据以及指定区域的目标图像数据，装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，指定区域包括装料装置外的区域；对装料装置内探测数据进行对比分析得到第一识别结果；调用预置的目标识别模型对目标图像数据进行图像识别，并生成第二识别结果；若第一识别结果和第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息。该方法，实现了多角度、多方位的检测，避免了其受环境因素、检测因素的单一性或者其他客观因素的不良影响，提高了堵料检测的准确性。

Description

堵料检测方法、装置、设备及存储介质
技术领域
本发明涉及运输检测技术领域，尤其涉及一种堵料检测方法、装置、设备及存储介质。
背景技术
在煤炭、矿石等行业中，有个环节是将煤炭或者矿石等物料运输到落料仓等指定位置，但是由于煤矿或者矿石等的形状不规则、大小不确定等情况，因而极易发生堵料堆料问题，进而导致输送装置上的煤矿流受阻而瞬间堆积、外溢，这不仅影响输送煤矿系统的稳定性运行和设备安全性，还严重影响煤矿的运输效率。因而，堵料状况的检测显得尤为重要。目前，主要通过接触式的传感器进行堵料状况的检测。
上述方法，虽然能够检测到堵料状况，但是，会受环境因素、检测因素的单一性或者其他客观因素的不良影响，从而导致了堵料检测的准确性较低的问题。
发明内容
本发明提供一种堵料检测方法、装置、设备及存储介质，通过对落料口进行基于物料高度、物料探测和图像识别的检测，实现了多角度、多方位的检测，避免了其受环境因素、检测因素的单一性或者其他客观因素的不良影响，提高了堵料检测的准确性。
本发明第一方面提供了一种堵料检测方法，包括：
获取装料装置内探测数据以及指定区域的目标图像数据；其中，所述装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，所述指定区域包括装料装置外的区域；
对所述装料装置内探测数据进行对比分析，得到第一识别结果；
调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果；
若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息。
本发明第二方面提供了一种堵料检测装置，包括：
获取模块，用于获取装料装置内探测数据以及指定区域的目标图像数据；其中，所述装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，所述指定区域包括装料装置外的区域；
对比分析模块，用于对所述装料装置内探测数据进行对比分析，得到第一识别结果；
识别模块，用于调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果；
生成模块，用于若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息。
本发明第三方面提供了一种堵料检测设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述堵料检测设备执行上述的堵料检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的堵料检测方法。
本发明提供的技术方案中，获取装料装置内探测数据以及指定区域的目标图像数据；其中，所述装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，所述指定区域包括装料装置外的区域；对所述装料装置内探测数据进行对比分析，得到第一识别结果；调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果；若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息。本发明实施例中，通过对落料口进行基于物料高度、物料探测和图像识别的检测，实现了多角度、多方位的检测，避免了其受环境因素、检测因素的单一性或者其他客观因素的不良影响，提高了堵料检测的准确性。
附图说明
图1为本发明实施例中堵料检测方法的一个实施例示意图；
图2为本发明实施例中堵料检测方法的另一个实施例示意图；
图3为本发明实施例中堵料检测装置的一个实施例示意图；
图4为本发明实施例中堵料检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种堵料检测方法、装置、设备及存储介质，提高了堵料检测的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是，本发明的执行主体可以为堵料检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中堵料检测方法的一个实施例包括：
101、获取装料装置内探测数据以及指定区域的目标图像数据；其中，装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，指定区域包括装料装置外的区域；
上述装料装置用于装置运输的物料，例如，落料仓；作为示例而非限定的是，上述物料可为煤炭或者矿石。作为示例而非限定的是，上述物料高度实时数据和上述物料探测实时数据中的实时可理解为响应于堵料检测指令的时刻，或者数据（装料装置内的物料高度数据和物料探测数据）提取时的时刻，或者当前时刻。
作为示例而非限定的是，上述物料上一时刻高度数据可理解为在物料高度实时数据的时刻之前物料处于装料装置内的高度，也可理解为在当前时刻之前的上一时刻时物料处于装料装置内的高度。上述物料探测实时数据可理解为装料装置内指定位置对于物料的实时探测信息，上述指定位置为产生堵料的位置。上述装料装置外的区域可理解为装料装置置放于的平面中，在装料装置的置放位置外的指定范围的区域，例如，装料仓（装料装置）置放于的地面上，装料装置外指定范围的地面，通俗地理解，即为装料仓周边的地面。
可选的，上述装料装置内探测数据以及上述指定区域的目标图像数据均为经过数据预处理（数据预处理包括但不限于数据清理、数据规约和数据变换）后的数据。
可选的，响应于堵料检测指令，对堵料检测指令进行解析，得到解析信息，基于解析信息对预置的分布式数据库进行分布式检索并进行提取，得到装料装置内的初始探测数据以及指定区域的初始图像数据；对装料装置内的初始探测数据进行数据清洗和数据变换，得到装料装置内探测数据；对指定区域的初始图像数据进行像素亮度处理和几何变换，得到预处理后的图像数据；对预处理后的图像数据进行筛选，得到指定区域的目标图像数据，其中，上述指定区域的目标图像数据包括像素亮度和几何均符合预设条件的图像数据。
102、对装料装置内探测数据进行对比分析，得到第一识别结果；
作为示例而非限定的是，上述第一识别结果可仅为指示是否堵料的信息，也可包括指示是否堵料的信息和表示堵料程度的信息，其中，作为示例而非限定的是，堵料程度可为堵料的高度，也可为刚开始堵料、严重堵料或者产生外溢。
可选的，对物料上一时刻高度数据和物料高度实时数据进行分析，得到第一分析信息；对物料探测实时数据进行分析，得到第二分析信息；若第一分析信息指示不符合标准条件和/或第二分析信息指示探测到物料，则生成第一识别结果；其中，第一识别结果指示堵料；若第一分析信息指示符合标准条件且第二分析信息指示探测不到物料，则生成第一识别结果；其中，第一识别结果指示不堵料。
在一种实现方式中，上述对物料上一时刻高度数据和物料高度实时数据进行分析，得到第一分析信息，包括：将物料高度实时数据和物料上一时刻高度数据进行对比，得到对比结果；获取装料装置的结构状况，并根据对比结果和装料装置的结构状况生成第一分析信息。
其中，作为示例而非限定的是，上述装料装置的结构状况用于指示装料装置是否包括出料口。上述标准条件可为不堵料。
作为示例而非限定的是，若装料装置仅包括落料口，即装料装置不包括出料口，则计算物料高度实时数据和物料上一时刻高度数据的差值；若该差值处于第一预设区间，则生成第一分析信息，其中，作为示例而非限定的是，第一预设区间可为[0，指定值]，该指定值为根据误差范围进行设定的值，第一分析信息为落料口堵料；若该差值处于第二预设区间，则生成第一分析信息，其中，作为示例而非限定的是，第二预设区间为[设定的正常值，正常值+误差值]，该设定的正常值可根据落料的速度和量计算所得，第一分析信息为不堵料。
若装料装置包括落料口和出料口，即装料装置还包括出料口，则计算物料高度实时数据和物料上一时刻高度数据的差值，若该差值处于第一预设区间（物料高度实时数据和物料上一时刻高度数据等同），则生成第一分析信息，其中，作为示例而非限定的是，第一预设区间可为[0，指定值]，该指定值为根据误差范围和/或根据出料口正常状态下的出料量进行设定的值，第一分析信息为不堵料；若该差值处于第三预设区间，则生成第一分析信息，其中，作为示例而非限定的是，第三预设区间可为[指定值，落料装置的高度]，第一分析信息为堵料。
通过将物料高度实时数据和物料上一时刻高度数据进行对比分析，以便捷的方式准确地分析得到第一分析信息。
可选的，通过判断物料探测实时数据中是否存在指示检测到物料的数据，以实现对物料探测实时数据的分析，若存在指示检测到物料的数据，则生成指示探测到物料的第二分析信息，若不存在指示检测到物料的数据，则生成指示探测到物料的第二分析信息。
103、调用预置的目标识别模型对目标图像数据进行图像识别得到识别信息，根据识别信息生成第二识别结果；
在一种实现方式中，指定区域为装料装置外的区域，上述目标图像数据包括第一帧图像和第二帧图像，上述步骤103包括：调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息；其中，第一帧图像为当前帧的图像，第二帧图像为在第一帧图像之前的图像；若第一帧识别信息指示存在物料，则将第二帧图像和第一帧图像进行对比；若第二帧图像和第一帧图像等同，则根据第一帧识别信息生成第二识别结果；其中，第二识别结果指示不堵料；若第二帧图像和第一帧图像不等同，则调用预置的目标识别模型对第二帧图像进行图像识别，得到第二帧识别信息；根据第一帧识别信息和第二帧识别信息生成第二识别结果。
其中，作为示例而非限定的是，上述第二帧图像可为当前帧的上一帧的图像。
若第一帧识别信息指示不存在物料，则生成指示不堵料的第二识别结果。
若第二帧图像和第一帧图像等同，则表示装料装置外的区域处的物料没有数量上的增多，装料装置外的区域处的物料可能是在落料时意外撒落出落料口的。若第二帧图像和第一帧图像不等同，则表示装料装置外的区域处的物料在数量上增多了，可能因发生堵料而导致的物料外溢，需要进一步进行分析，因而，调用预置的目标目标识别模型对第二帧图像进行图像识别，得到第二帧识别信息；将第一帧识别信息与第二帧识别信息进行对比，得到图像对比结果；若图像对比结果表示当前帧所增加的物料体积小且量在设定的允许范围内，则表示装料装置外的区域处的物料可能是在落料时意外撒落出落料口的，生成指示不堵料的第二识别结果，若图像对比结果表示当前帧所增加的物料的量超出设定的允许范围，则生成指示堵料的第二识别结果。
通过先进行第一帧图像的图像识别，根据第一帧图像的图像识别结果进行第二帧图像的图像识别，减少了计算量，提高了处理效率和准确性。
在一种实现方式中，上述调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息的步骤，包括：调用预置的目标识别模型，对第一帧图像进行目标区域识别以及目标区域提取，得到目标区域图像；对目标区域图像进行特征提取，得到目标特征信息；其中，目标特征信息包括目标对象的颜色、形状和位置；通过目标特征信息进行分类得到第一帧识别信息。
其中，上述目标区域用于指示存在物体的目标框。调用预置的目标识别模型，对第一帧图像的目标区域进行识别（目标区域识别）和分割（目标区域提取），从而得到目标区域图像，其中，上述目标识别模型可为用于进行目标检测的算法，物体检测准确度较高、效率较快的目标检测的算法为优选，例如，目标检测算法（Single Shot MultiBox Detector，SSD）或者只需要浏览一次算法（You Only Look Once V5，YOLOV5），具体在此不做限定。
可选的，可调用预置的特征提取模型对目标区域图像中的各目标区域进行特征提取，得到目标特征信息，其中，预置的特征提取模型可为非监督降维类型的特征提取算法，例如，主成分分析（Principal Component Analysis, PCA）算法，也可为有监督降维类型的特征提取算法，例如，类型的特征提取算法，例如，线性判别降维算法（Latent DirichletAllocation，LDA），具体在此不做限定。
可选的，可通过预置的分类器，基于目标特征信息进行分类，以得到第一帧识别信息，其中，第一帧识别信息包括指示是否为物料、物料的体积和物料的数据的信息。
通过对第一帧图像进行目标检测、特征提取和特征分类，提高了图像识别的准确性，进而提高了第一帧识别信息的准确性。
在一种实现方式中，上述装料装置还包括出料口，上述指定区域还包括出料口处的区域，上述目标图像数据包括装料装置外的区域对应的第一区域图像和出料口处的区域对应的第三区域图像，上述调用预置的目标识别模型对目标图像数据进行图像识别得到识别信息，根据识别信息生成第二识别结果的步骤，包括：调用预置的目标识别模型分别对第一区域图像和第三区域图像进行图像识别，得到第一区域识别信息和第三区域识别信息；若第一区域识别信息指示不存在物料且第三区域识别信息指示出物料，则生成第二识别结果；其中，第二识别结果指示不堵料；若第三区域识别信息指示不出物料，则基于第一区域识别信息和第三区域识别信息生成第二识别结果；其中，第二识别结果包括堵料的位置和程度。
可选的，上述调用预置的目标识别模型分别对第一区域图像和第三区域图像进行图像识别的执行过程可与上述调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息的执行过程类似，在此不再赘述。
可选的，上述预置的目标识别模型具有目标检测、特征提取和分类的功能，目标识别模型由目标检测、特征提取和分类分别对应的结构组合、优化构成。
其中，若第一区域识别信息指示存在物料，则表示装料装置可能产生物料外溢。若第三区域识别信息指示不出物料，则表示出料口堵料。
若第三区域识别信息指示不出物料，则无论第一区域识别信息如何，都判定为堵料。具体的，若第一区域识别信息指示不存在物料、第三区域识别信息指示不出物料，则生成的第二识别结果为出料口发生堵料（堵料的位置），且为刚开始堵料（堵料的程度）；若第一区域识别信息指示存在物料、第三区域识别信息指示不出物料，则生成的第二识别结果为出料口发生堵料（堵料的位置），且物料外溢（堵料的程度）。
若第一区域识别信息指示存在物料、第三区域识别信息指示出物料，则生成的第二识别结果为不堵料。
通过结合装料装置外的区域和出料口处的区域的图像识别，实现了检测因素的多样性，避免了由于其受环境因素或者其他的客观因素的问题，提高了第二识别结果的准确性，进而有助于提高堵料检测的准确性。
在一种实现方式中，上述装料装置还包括出料口，上述指定区域还包括落料口处的区域和出料口处的区域，上述目标图像数据包括装料装置外的区域对应的第一区域图像、落料口处的区域对应的第二区域图像和出料口处的区域对应的第三区域图像，上述调用预置的目标识别模型对目标图像数据进行图像识别得到识别信息，根据识别信息生成第二识别结果的步骤，包括：调用预置的目标识别模型分别对第一区域图像、第二区域图像和第三区域图像进行图像识别，得到第一区域识别信息、第二区域识别信息和第三区域识别信息；若为目标信息，则生成第二识别结果；其中，目标信息为第二区域识别信息指示未存在物料堆积，且第三区域识别信息指示出物料，第二识别结果指示不堵料；若不为目标信息，则基于第一区域识别信息、第二区域识别信息和第三区域识别信息生成第二识别结果；其中，第二识别结果包括堵料的状况信息。
可选的，上述调用预置的目标识别模型分别对第一区域图像、第二区域图像和第三区域图像进行图像识别的执行过程可与上述调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息的执行过程类似，在此不再赘述。
可选的，上述预置的目标识别模型具有目标检测、特征提取和分类的功能，目标识别模型由目标检测、特征提取和分类分别对应的结构组合、优化构成。
其中，若第一区域识别信息指示存在物料，则表示装料装置可能产生物料外溢。若第二区域识别信息指示存在物料堆积，则表示堵料，可能是物料口堵料，也可能是出料口堵料。若第三区域识别信息指示不出物料，则表示出料口堵料。
若第二区域识别信息指示未存在物料堆积且第三区域识别信息指示出物料，则无论第一区域识别信息如何，都判定为不堵料，生成指示不堵料的第二识别结果。
若第三区域识别信息指示不出物料，则无论第一区域识别信息和第二区域识别信息如何，都判定为堵料。具体的，若第一区域识别信息指示不存在物料、第二区域识别信息指示不存在物料堆积和第三区域识别信息指示不出物料，则生成的第二识别结果为出料口发生堵料，且为刚开始堵料；若第一区域识别信息指示不存在物料、第二区域识别信息指示存在物料堆积和第三区域识别信息指示不出物料，则生成的第二识别结果为发生堵料且外溢；若第一区域识别信息指示存在物料、第二区域识别信息指示不存在物料堆积和第三区域识别信息指示不出物料，则生成的第二识别结果为出料口堵料；若第一区域识别信息指示存在物料、第二区域识别信息指示存在物料堆积和第三区域识别信息指示不出物料，则生成的第二识别结果为出料口堵料且外溢。
若第一区域识别信息指示不存在物料、第二区域识别信息指示存在物料堆积和第三区域识别信息指示出物料，则生成的第二识别结果为落料口发生堵料，且为刚开始堵料；若第一区域识别信息指示存在物料、第二区域识别信息指示存在物料堆积和第三区域识别信息指示出物料，则生成的第二识别结果为落料口堵料且外溢。
通过结合装料装置外的区域、落料口处的区域和出料口处的区域的图像识别，进一步实现了检测因素的多样性，避免了由于其受环境因素或者其他的客观因素的问题，进一步提高了第二识别结果的准确性，进而进一步有助于提高堵料检测的准确性。
104、若第一识别结果和第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息。
作为示例而非限定的是，上述目标堵料信息可包括指示堵料的信息、堵料程度信息和堵料位置信息中的至少一种。
若第一识别结果和第二识别结果均指示不堵料，则生成的目标堵料信息为不堵料。
可选的，若第一识别结果指示堵料、第二识别结果指示不堵料，则将第一识别结果作为目标堵料信息。
可选的，在第一识别结果指示不堵料、第二识别结果指示堵料且指定区域为装料装置外的区域的状况下，或者在第一识别结果指示不堵料、第二识别结果指示堵料、且指定区域包括装料装置外的区域和出料口处的区域的状况下，将第二识别结果作为目标堵料信息。
可选的，在第一识别结果指示不堵料、第二识别结果指示堵料且指定区域包括装料装置外的区域和出料口处的区域的状况下，若第二识别结果为落料口发生堵料，且为刚开始堵料，则生成的目标堵料信息为落料口发生堵料，且为刚开始堵料；若第二识别结果为出料口发生堵料，且为刚开始堵料，则生成的目标堵料信息为出料口发生堵料，且为刚开始堵料；若第二识别结果为发生堵料且外溢（第一区域识别信息指示不存在物料、第二区域识别信息指示存在物料堆积和第三区域识别信息指示不出物料），则生成的目标堵料信息为落料口堵料且外溢；若第二识别结果为落料口堵料且外溢，则生成的目标堵料信息为落料口堵料且外溢；若第二识别结果为出料口堵料（第一区域识别信息指示存在物料、第二区域识别信息指示不存在物料堆积和第三区域识别信息指示不出物料），则生成的目标堵料信息为出料口堵料，且刚开始堵料；若第二识别结果为出料口堵料且外溢（第一区域识别信息指示存在物料、第二区域识别信息指示存在物料堆积和第三区域识别信息指示不出物料），则生成的目标堵料信息为出料口和落料口均堵料，且物料外溢。
可选的，在第一识别结果和第二识别结果均指示堵料且指定区域为装料装置外的区域的状况下，生成的目标堵料信息为堵料且外溢。
可选的，在第一识别结果和第二识别结果均指示堵料且指定区域包括装料装置外的区域和出料口处的区域的状况下，若第二识别结果为出料口发生堵料且为刚开始堵料，则生成的目标堵料信息为出料口发生堵料且为刚开始堵料；若第二识别结果为出料口发生堵料且物料外溢，且物料探测实时数据的分析结果指示未探测到物料，则生成的目标堵料信息为落料口和出料口均发生堵料且物料外溢；若第二识别结果为出料口发生堵料且物料外溢，且物料探测实时数据的分析结果指示探测到物料，则生成的目标堵料信息为出料口发生堵料且物料外溢。
可选的，若第一识别结果指示堵料和第二识别结果均指示堵料且指定区域包括装料装置外的区域、落料口出的区域和出料口处的区域的状况下，若第二识别结果为出料口堵料，且物料探测实时数据的分析结果指示探测到物料，则生成的目标堵料信息为出料口堵料且堵料至落料口；若第二识别结果为出料口堵料且外溢，且物料探测实时数据的分析结果指示为探测到物料，则生成的目标堵料信息为落料口和出料口均堵料且物料外溢；除了上述两种状况（若第二识别结果为出料口堵料，且物料探测实时数据的分析结果指示探测到物料，以及若第二识别结果为出料口堵料且外溢，且物料探测实时数据的分析结果指示为探测到物料）外的其他状况下，均将第二识别结果作为目标堵料信息。
在一种实现方式中，响应于堵料检测信息的显示指令，显示目标堵料信息，以及目标堵料信息对应的装料装置内探测数据和/或指定区域的目标图像数据。
本发明实施例中，通过对落料口进行基于物料高度、物料探测和图像识别的检测，实现了多角度、多方位的检测，避免了其受环境因素、检测因素的单一性或者其他客观因素的不良影响，提高了堵料检测的准确性。
请参阅图2，本发明实施例中堵料检测方法的另一个实施例包括：
201、获取装料装置内探测数据以及指定区域的目标图像数据；其中，装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，指定区域包括装料装置外的区域；
在一种实现方式中，上述步骤201包括：响应于检测指令，读取预置的第一探测设备采集的物料上一时刻高度数据和物料高度实时数据，以及预置的第二探测设备采集的物料探测实时数据，得到装料装置内探测数据；其中，物料上一时刻高度数据为装料装置内上一时刻的物料位置与落料口之间的距离，物料高度实时数据为装料装置内当前时刻的物料位置与落料口之间的距离，物料探测实时数据为装料装置内指定位置对于物料的实时探测信息；读取指定区域的至少一个同区域摄像数据集；其中，同区域摄像数据集为同区域内的两个预置摄像设备分别对应的摄影数据；对至少一个同区域摄像数据集进行数据预处理和筛选，得到指定区域的目标图像数据。
上述第一探测设备置于落料口的上方，上述第一探测设备用于探测装料装置内的物料的高度，上述第一探测设备为非接触式的用于测量距离或者高度的传感器等设备，例如，雷达传感器。上述第一探测设备将实时检测得到的装料装置内的物料的高度数据发送至服务器，当服务器接收到该装料装置内的物料的高度数据时，将其分布式存储至预置的分布式存储框架对应的分布式数据库中。以提高数据的可用性和存取效率。
上述第二探测设备置于装料装置内的指定位置，该指定位置用于探测是否堵料。上述第二探测设备用于探测装料装置内指定位置的物料状况，即探测探测装料装置内的指定位置出是否存在物料。上述第二探测设备为非接触式的用于探测或感应物体的传感器等设备，例如，射频传感器。上述第二探测设备将实时检测得到的物料探测数据，当服务器接收到该实时检测得到的物料探测数据时，将其分布式存储至预置的分布式存储框架对应的分布式数据库中。以提高数据的可用性和存取效率。
上述指定区域的每个区域中设置有至少两台摄像设备，两台摄像设备为优选，通过两台摄像设备采集数据以避免采集的数据不可用，提高指定区域的目标图像数据的可用性和有效性。每个摄像设备将实时采集到的摄影数据（摄影数据为视频数据或者图像数据）发送至服务器，当服务器接收到该实时采集到的摄影数据时，将该实时采集到的摄影数据分布式存储至预置的分布式存储框架对应的分布式数据库中。以提高数据的可用性和存取效率。
响应于检测指令，从预置的分布式数据库中读取预置的第一探测设备当前时刻的检测数据，得到装料装置内的物料高度实时数据，以及读取预置的第二探测设备当前时刻的检测数据，得到装料装置内的物料探测实时数据。
作为示例而非限定的是，上述对至少一个同区域摄像数据集进行异常数据处理和筛选的执行过程包括：将至少一个同区域摄像数据集中的各同区域摄像数据进行数据转换（例如，将视频数据转换为图像数据），得到转换后的至少一个同区域图像数据集，对转换后的至少一个同区域图像数据集进行像素亮度处理和几何变换，得到预处理后的至少一个同区域图像数据集；对预处理后的至少一个同区域图像数据集进行筛选，得到指定区域的目标图像数据。
通过读取装料装置内的物料高度实时数据和物料探测实时数据得到装料装置内探测数据，以及通过至少一个同区域摄像数据集进行数据预处理和筛选得到指定区域的目标图像数据，提高了装料装置内探测数据以及指定区域的目标图像数据的有效性、存取效率和准确性。
202、对装料装置内探测数据进行对比分析，得到第一识别结果；
在一种实现方式中，上述步骤202包括：对物料上一时刻高度数据和物料高度实时数据进行分析，得到第一分析信息；对物料探测实时数据进行分析，得到第二分析信息；若第一分析信息指示不符合标准条件和/或第二分析信息指示探测到物料，则生成第一识别结果；其中，第一识别结果指示堵料；若第一分析信息指示符合标准条件且第二分析信息指示未探测到物料，则生成第一识别结果；其中，第一识别结果指示不堵料。
其中，可选的，通过判断物料探测实时数据中是否存在指示检测到物料的数据，以实现对物料探测实时数据的分析，若存在指示检测到物料的数据，则生成指示探测到物料的第二分析信息，若不存在指示检测到物料的数据，则生成指示探测到物料的第二分析信息。
通过结合物料上一时刻高度数据、物料高度实时数据和物料探测实时数据进行综合分析，丰富了其检测的因素和角度，提高了堵料的检测准确性。
在一种实现方式中，上述对物料上一时刻高度数据和物料高度实时数据进行分析，得到第一分析信息的步骤包括：通过预设的标准数据和物料上一时刻高度数据进行预测，得到物料高度预测数据；若物料高度实时数据与物料高度预测数据不等同，则生成第一分析信息；其中，第一分析信息指示不符合标准条件；若物料高度实时数据与物料高度预测数据等同，则生成第一分析信息；其中，第一分析信息指示符合标准条件。
其中，若装料装置仅包括落料口，不包括出料口，则上述标准数据可为装料装置内每次物料增加的高度；若装料装置包括落料口和出料口，则上述标准数据可为装料装置内每次物料出料的高度。上述标准条件用于指示堵料。
通过将物料高度实时数据与物料高度预测数据进行对比，以便捷的方式准确地分析得到第一分析信息。
203、指定区域还包括落料口处的区域，目标图像数据包括装料装置外的区域对应的第一区域图像和落料口处的区域对应的第二区域图像，调用预置的目标识别模型对第二区域图像进行图像识别，得到第二区域识别信息；
可选的，上述步骤203的执行过程与上述步骤103中的调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息的步骤的执行过程类似，在此不再赘述。
可选的，上述预置的目标识别模型具有目标检测、特征提取和分类的功能，目标识别模型由目标检测、特征提取和分类分别对应的结构组合、优化构成。通过预置的目标识别模型对第二区域图像依次进行目标检测、特征提取和分类，得到第二区域识别信息。
204、若第二区域识别信息指示未存在物料堆积，则生成第二识别结果；其中，第二识别结果指示不堵料；
若第二区域识别信息指示未存在物料堆积，则表示落料口处不堵塞（即不堵料），生成指示不堵料的第二识别结果。
205、若第二区域识别信息指示存在物料堆积，则调用预置的目标识别模型对第一区域图像进行图像识别，得到第一区域识别信息；
若第二区域识别信息指示存在物料堆积，则表示落料口处堵塞了，即堵料了，第一区域识别信息用于辅助判断堵料的状况，即是否物料外溢出装料装置。
可选的，上述调用预置的目标识别模型对第一区域图像进行图像识别，得到第一区域识别信息的执行过程与上述步骤103中的调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息的步骤的执行过程类似，在此不再赘述。
可选的，上述预置的目标识别模型具有目标检测、特征提取和分类的功能，目标识别模型由目标检测、特征提取和分类分别对应的结构组合、优化构成。通过预置的目标识别模型对第一区域图像依次进行目标检测、特征提取和分类，得到第一区域识别信息。
作为示例而非限定的是，上述第一区域识别信息为不存在物料，或者存在物料，或者存在物料、物料的位置、物料的体积和物料分布的面积。
206、基于第一区域识别信息和第二区域识别信息生成第二识别结果；其中，第二识别结果指示堵料；
若第一区域识别信息为不存在物料、第二区域识别信息指示存在物料堆积，则生成的第二识别结果为落料口堵料但未外溢；若第一区域识别信息为存在物料、第二区域识别信息指示存在物料堆积，则生成的第二识别结果为落料口堵料且外溢；若第一区域识别信息为存在物料、物料的位置、物料的体积和物料分布的面积，第二区域识别信息指示存在物料堆积，则生成的第二识别结果为落料口堵料且外溢、外溢的物料的体积和分布的面积。
通过结合装料装置外的区域和落料口处的区域进行综合分析，实现了检测因素的多样性，避免了由于其受环境因素或者其他的客观因素的问题，提高了第二识别结果的准确性，进而有助于提高堵料检测的准确性。
207、若第一识别结果和第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息；
可选的，若第一识别结果指示堵料但第二识别结果指示不堵料，则生成的目标堵料信息为刚开始堵料、未产生外溢。
可选的，在第一识别结果指示堵料且第二识别结果指示堵料的状况下，若第二识别结果为落料口堵料但未外溢（第一区域识别信息为不存在物料、第二区域识别信息指示存在物料堆积），则生成的目标堵料信息为堵料但未外溢；若第二识别结果为落料口堵料且外溢（第一区域识别信息为存在物料、第二区域识别信息指示存在物料堆积），则生成的目标堵料信息为堵料且外溢；若第二识别结果为落料口堵料且外溢、外溢的物料的体积和分布的面积（第一区域识别信息为存在物料、物料的位置、物料的体积和物料分布的面积，第二区域识别信息指示存在物料堆积），则生成的目标堵料信息为堵料且外溢、外溢的物料的体积和分布的面积。
可选的，在第一识别结果指示不堵料且第二识别结果指示堵料的状况下，将第二识别结果作为目标堵料信息。
208、响应于堵料检测信息的显示指令，读取装料装置内探测数据、指定区域的目标图像数据和目标堵料信息；
可选的，当检测到目标堵料信息生成时，发送堵料检测信息的显示指令，响应于堵料检测信息的显示指令，读取装料装置内探测数据、指定区域的目标图像数据和目标堵料信息。
可选的，响应于显示界面的触控操作，生成并发送堵料检测信息的显示指令至服务器，服务器响应于堵料检测信息的显示指令，从预置的分布式数据库中读取装料装置内探测数据、指定区域的目标图像数据和目标堵料信息。
209、按照预设显示格式将装料装置内探测数据、指定区域的目标图像数据和目标堵料信息渲染至显示页面。
其中，上述预设显示格式用于直观明了地显示装料装置内探测数据、指定区域的目标图像数据和目标堵料信息，以及三者之间的对应关系，上述预设显示格式可为表格格式、视频格式或者其他方式，具体在此不做限定。
作为示例而非限定的是，上述预设显示格式为表格格式，装料装置内探测数据、指定区域的目标图像数据和目标堵料信息对应表格中各自的指定位置。对装料装置内探测数据、指定区域的目标图像数据和目标堵料信息进行分类，得到装料装置内探测数据、指定区域的目标图像数据和目标堵料信息分别对应的表格项，以匹配预置的表格模板中对应的项；按照装料装置内探测数据、指定区域的目标图像数据和目标堵料信息分别对应的表格项，将装料装置内探测数据、指定区域的目标图像数据和目标堵料信息填充至预置的表格模板，得到填充后的表格数据，并将填充后的表格数据渲染至显示页面，其中，将填充后的表格数据渲染至显示页面的实现方式可为自动渲染、方法渲染、转为静态表格或其他实现方式，具体在此不做限定。
本发明实施例中，通过对落料口进行基于物料高度、物料探测和图像识别的检测，实现了多角度、多方位的检测，避免了其受环境因素、检测因素的单一性或者其他客观因素的不良影响，提高了堵料检测的准确性。
上面对本发明实施例中堵料检测方法进行了描述，下面对本发明实施例中堵料检测装置进行描述，请参阅图3，本发明实施例中堵料检测装置一个实施例包括：
获取模块301，用于获取装料装置内探测数据以及指定区域的目标图像数据；其中，装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，指定区域包括装料装置外的区域；
对比分析模块302，用于对装料装置内探测数据进行对比分析，得到第一识别结果；
识别模块303，用于调用预置的目标识别模型对目标图像数据进行图像识别得到识别信息，根据识别信息生成第二识别结果；
生成模块304，用于若第一识别结果和第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息。
可选的，对比分析模块302还可以具体用于：
对物料上一时刻高度数据和物料高度实时数据进行分析，得到第一分析信息；
对物料探测实时数据进行分析，得到第二分析信息；
若第一分析信息指示不符合标准条件和/或第二分析信息指示探测到物料，则生成第一识别结果；其中，第一识别结果指示堵料；
若第一分析信息指示符合标准条件且第二分析信息指示未探测到物料，则生成第一识别结果；其中，第一识别结果指示不堵料。
可选的，对比分析模块302还可以具体用于：
通过预设的标准数据和物料上一时刻高度数据进行预测，得到物料高度预测数据；
若物料高度实时数据与物料高度预测数据不等同，则生成第一分析信息；其中，第一分析信息指示不符合标准条件；
若物料高度实时数据与物料高度预测数据等同，则生成第一分析信息；其中，第一分析信息指示符合标准条件。
可选的，对比分析模块302还可以具体用于：
将物料高度实时数据和物料上一时刻高度数据进行对比，得到对比结果；
获取装料装置的结构状况，并根据对比结果和装料装置的结构状况生成第一分析信息。
可选的，指定区域为装料装置外的区域，目标图像数据包括第一帧图像和第二帧图像，识别模块303还可以具体用于：
调用预置的目标识别模型对第一帧图像进行图像识别，得到第一帧识别信息；其中，第一帧图像为当前帧的图像，第二帧图像为在第一帧图像之前的图像；
若第一帧识别信息指示存在物料，则将第二帧图像和第一帧图像进行对比；
若第二帧图像和第一帧图像等同，则根据第一帧识别信息生成第二识别结果；其中，第二识别结果指示不堵料；
若第二帧图像和第一帧图像不等同，则调用预置的目标识别模型对第二帧图像进行图像识别，得到第二帧识别信息；
根据第一帧识别信息和第二帧识别信息生成第二识别结果。
可选的，识别模块303还可以具体用于：
调用预置的目标识别模型，对第一帧图像进行目标区域识别以及目标区域提取，得到目标区域图像；
对目标区域图像进行特征提取，得到目标特征信息；其中，目标特征信息包括目标对象的颜色、形状和位置；
通过目标特征信息进行分类得到第一帧识别信息。
可选的，指定区域还包括落料口处的区域，目标图像数据包括装料装置外的区域对应的第一区域图像和落料口处的区域对应的第二区域图像，识别模块303还可以具体用于：
调用预置的目标识别模型对第二区域图像进行图像识别，得到第二区域识别信息；
若第二区域识别信息指示未存在物料堆积，则生成第二识别结果；其中，第二识别结果指示不堵料；
若第二区域识别信息指示存在物料堆积，则调用预置的目标识别模型对第一区域图像进行图像识别，得到第一区域识别信息；
基于第一区域识别信息和第二区域识别信息生成第二识别结果；其中，第二识别结果指示堵料。
可选的，装料装置还包括出料口，指定区域还包括出料口处的区域，目标图像数据包括装料装置外的区域对应的第一区域图像和出料口处的区域对应的第三区域图像，识别模块303还可以具体用于：
调用预置的目标识别模型分别对第一区域图像和第三区域图像进行图像识别，得到第一区域识别信息和第三区域识别信息；
若第一区域识别信息指示不存在物料且第三区域识别信息指示出物料，则生成第二识别结果；其中，第二识别结果指示不堵料；
若第三区域识别信息指示不出物料，则基于第一区域识别信息和第三区域识别信息生成第二识别结果；其中，第二识别结果包括堵料的位置和程度。
可选的，装料装置还包括出料口，指定区域还包括落料口处的区域和出料口处的区域，目标图像数据包括装料装置外的区域对应的第一区域图像、落料口处的区域对应的第二区域图像和出料口处的区域对应的第三区域图像，识别模块303还可以具体用于：
调用预置的目标识别模型分别对第一区域图像、第二区域图像和第三区域图像进行图像识别，得到第一区域识别信息、第二区域识别信息和第三区域识别信息；
若为目标信息，则生成第二识别结果；其中，目标信息为第二区域识别信息指示未存在物料堆积，且第三区域识别信息指示出物料，第二识别结果指示不堵料；
若不为目标信息，则基于第一区域识别信息、第二区域识别信息和第三区域识别信息生成第二识别结果；其中，第二识别结果包括堵料的状况信息。
可选的，获取模块301还可以具体用于：
响应于检测指令，读取预置的第一探测设备采集的物料上一时刻高度数据和物料高度实时数据，以及预置的第二探测设备采集的物料探测实时数据，得到装料装置内探测数据；其中，物料上一时刻高度数据为装料装置内上一时刻的物料位置与落料口之间的距离，物料高度实时数据为装料装置内当前时刻的物料位置与落料口之间的距离，物料探测实时数据为装料装置内指定位置对于物料的实时探测信息；
读取指定区域的至少一个同区域摄像数据集；其中，同区域摄像数据集为同区域内的两个预置摄像设备分别对应的摄影数据；
对至少一个同区域摄像数据集进行数据预处理和筛选，得到指定区域的目标图像数据。
可选的，堵料检测装置还包括：
响应读取模块305，用于响应于堵料检测信息的显示指令，读取装料装置内探测数据、指定区域的目标图像数据和目标堵料信息；
渲染模块306，用于按照预设显示格式将装料装置内探测数据、指定区域的目标图像数据和目标堵料信息渲染至显示页面。
上述堵料检测装置中各模块和各单元的功能实现与上述堵料检测方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明实施例中，通过对落料口进行基于物料高度、物料探测和图像识别的检测，实现了多角度、多方位的检测，避免了其受环境因素、检测因素的单一性或者其他客观因素的不良影响，提高了堵料检测的准确性。
上面图3从模块化功能实体的角度对本发明实施例中的堵料检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中堵料检测设备进行详细描述。
图4是本发明实施例提供的一种堵料检测设备的结构示意图，该堵料检测设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）410（例如，一个或一个以上处理器）和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430（例如一个或一个以上海量存储设备）。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对堵料检测设备400中的一系列计算机程序操作。更进一步地，处理器410可以设置为与存储介质430通信，在堵料检测设备400上执行存储介质430中的一系列计算机程序操作。
堵料检测设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的堵料检测设备结构并不构成对堵料检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种堵料检测设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机程序，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述堵料检测设备执行上述堵料检测方法中的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行堵料检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种堵料检测方法，其特征在于，所述堵料检测方法包括：
获取装料装置内探测数据以及指定区域的目标图像数据；其中，所述装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，所述指定区域包括装料装置外的区域；
对所述装料装置内探测数据进行对比分析，得到第一识别结果；
调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果；
若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息，所述目标堵料信息包括指示堵料的信息、堵料程度信息和堵料位置信息中的至少一种；
所述目标图像数据包括第一帧图像和第二帧图像，所述调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果，包括：
调用预置的目标识别模型对所述第一帧图像进行图像识别，得到第一帧识别信息；其中，所述第一帧图像为当前帧的图像，所述第二帧图像为在所述第一帧图像之前的图像；
若所述第一帧识别信息指示存在物料，则将所述第二帧图像和所述第一帧图像进行对比；
若所述第二帧图像和所述第一帧图像等同，则根据所述第一帧识别信息生成第二识别结果；其中，所述第二识别结果指示不堵料；
若所述第二帧图像和所述第一帧图像不等同，则调用预置的目标识别模型对所述第二帧图像进行图像识别，得到第二帧识别信息；
根据所述第一帧识别信息和所述第二帧识别信息生成第二识别结果；
所述若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息，包括：
若所述第一识别结果指示堵料，且所述第二识别结果指示不堵料，则将所述第一识别结果确定为目标堵料信息，所述第一识别结果包括指示堵料的信息和堵料位置信息，或者指示堵料的信息、堵料位置信息和堵料程度信息；
若所述第一识别结果指示不堵料，且所述第二识别结果指示堵料，则将所述第二识别结果确定为目标堵料信息，所述第二识别结果包括指示堵料的信息、堵料程度信息和堵料位置信息中的至少一种；
若所述第一识别结果指示堵料，且所述第二识别结果指示堵料，则将所述第一识别结果和所述第二识别结果确定为目标堵料信息，或者将所述第二识别结果确定为目标堵料信息。
2.根据权利要求1所述的堵料检测方法，其特征在于，所述对所述装料装置内探测数据进行对比分析，得到第一识别结果，包括：
对所述物料上一时刻高度数据和所述物料高度实时数据进行分析，得到第一分析信息；
对所述物料探测实时数据进行分析，得到第二分析信息；
若所述第一分析信息指示不符合标准条件和/或所述第二分析信息指示探测到物料，则生成第一识别结果；其中，所述第一识别结果指示堵料；
若所述第一分析信息指示符合标准条件且所述第二分析信息指示未探测到物料，则生成第一识别结果；其中，所述第一识别结果指示不堵料。
3.根据权利要求2所述的堵料检测方法，其特征在于，所述对所述物料上一时刻高度数据和所述物料高度实时数据进行分析，得到第一分析信息，包括：
通过预设的标准数据和所述物料上一时刻高度数据进行预测，得到物料高度预测数据；
若所述物料高度实时数据与所述物料高度预测数据不等同，则生成第一分析信息；其中，所述第一分析信息指示不符合标准条件；
若所述物料高度实时数据与所述物料高度预测数据等同，则生成第一分析信息；其中，所述第一分析信息指示符合标准条件。
4.根据权利要求2所述的堵料检测方法，其特征在于，所述对所述物料上一时刻高度数据和所述物料高度实时数据进行分析，得到第一分析信息，包括：
将所述物料高度实时数据和所述物料上一时刻高度数据进行对比，得到对比结果；
获取装料装置的结构状况，并根据所述对比结果和所述装料装置的结构状况生成第一分析信息。
5.根据权利要求1所述的堵料检测方法，其特征在于，所述调用预置的目标识别模型对所述第一帧图像进行图像识别，得到第一帧识别信息，包括：
调用预置的目标识别模型，对所述第一帧图像进行目标区域识别以及目标区域提取，得到目标区域图像；
对所述目标区域图像进行特征提取，得到目标特征信息；其中，所述目标特征信息包括目标对象的颜色、形状和位置；
通过所述目标特征信息进行分类得到第一帧识别信息。
6.根据权利要求1所述的堵料检测方法，其特征在于，所述指定区域还包括落料口处的区域，所述目标图像数据包括装料装置外的区域对应的第一区域图像和落料口处的区域对应的第二区域图像，所述调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果，包括：
调用预置的目标识别模型对所述第二区域图像进行图像识别，得到第二区域识别信息；
若所述第二区域识别信息指示未存在物料堆积，则生成第二识别结果；其中，所述第二识别结果指示不堵料；
若所述第二区域识别信息指示存在物料堆积，则调用预置的目标识别模型对所述第一区域图像进行图像识别，得到第一区域识别信息；
基于所述第一区域识别信息和所述第二区域识别信息生成第二识别结果；其中，所述第二识别结果指示堵料。
7.根据权利要求1所述的堵料检测方法，其特征在于，所述装料装置还包括出料口，所述指定区域还包括出料口处的区域，所述目标图像数据包括装料装置外的区域对应的第一区域图像和出料口处的区域对应的第三区域图像，所述调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果，包括：
调用预置的目标识别模型分别对所述第一区域图像和所述第三区域图像进行图像识别，得到第一区域识别信息和第三区域识别信息；
若所述第一区域识别信息指示不存在物料且所述第三区域识别信息指示出物料，则生成第二识别结果；其中，所述第二识别结果指示不堵料；
若所述第三区域识别信息指示不出物料，则基于所述第一区域识别信息和所述第三区域识别信息生成第二识别结果；其中，所述第二识别结果包括堵料的位置和程度。
8.根据权利要求1所述的堵料检测方法，其特征在于，所述装料装置还包括出料口，所述指定区域还包括落料口处的区域和出料口处的区域，所述目标图像数据包括装料装置外的区域对应的第一区域图像、落料口处的区域对应的第二区域图像和出料口处的区域对应的第三区域图像，所述调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果，包括：
调用预置的目标识别模型分别对所述第一区域图像、所述第二区域图像和所述第三区域图像进行图像识别，得到第一区域识别信息、第二区域识别信息和第三区域识别信息；
若为目标信息，则生成第二识别结果；其中，所述目标信息为所述第二区域识别信息指示未存在物料堆积，且所述第三区域识别信息指示出物料，所述第二识别结果指示不堵料；
若不为目标信息，则基于所述第一区域识别信息、所述第二区域识别信息和所述第三区域识别信息生成第二识别结果；其中，所述第二识别结果包括堵料的状况信息。
9.根据权利要求1所述的堵料检测方法，其特征在于，所述获取装料装置内探测数据以及指定区域的目标图像数据，包括：
响应于检测指令，读取预置的第一探测设备采集的物料上一时刻高度数据和物料高度实时数据，以及预置的第二探测设备采集的物料探测实时数据，得到装料装置内探测数据；其中，所述物料上一时刻高度数据为装料装置内上一时刻的物料位置与落料口之间的距离，所述物料高度实时数据为装料装置内当前时刻的物料位置与落料口之间的距离，所述物料探测实时数据为装料装置内指定位置对于物料的实时探测信息；
读取指定区域的至少一个同区域摄像数据集；其中，所述同区域摄像数据集为同区域内的两个预置摄像设备分别对应的摄影数据；
对所述至少一个同区域摄像数据集进行数据预处理和筛选，得到指定区域的目标图像数据。
10.根据权利要求1-9任意一项所述的堵料检测方法，其特征在于，所述若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息之后，还包括：
响应于堵料检测信息的显示指令，读取所述装料装置内探测数据、所述指定区域的目标图像数据和所述目标堵料信息；
按照预设显示格式将所述装料装置内探测数据、所述指定区域的目标图像数据和所述目标堵料信息渲染至显示页面。
11.一种堵料检测装置，其特征在于，所述堵料检测装置执行时实现如权利要求1-10中任一项所述堵料检测方法，所述堵料检测装置包括：
获取模块，用于获取装料装置内探测数据以及指定区域的目标图像数据；其中，所述装料装置内探测数据包括装料装置内的物料上一时刻高度数据、物料高度实时数据和物料探测实时数据，所述指定区域包括装料装置外的区域；
对比分析模块，用于对所述装料装置内探测数据进行对比分析，得到第一识别结果；
识别模块，用于调用预置的目标识别模型对所述目标图像数据进行图像识别得到识别信息，根据所述识别信息生成第二识别结果，所述目标图像数据包括第一帧图像和第二帧图像；
生成模块，用于若所述第一识别结果和所述第二识别结果中至少一个识别结果指示堵料，则生成目标堵料信息；
所述识别模块，具体用于：
调用预置的目标识别模型对所述第一帧图像进行图像识别，得到第一帧识别信息；其中，所述第一帧图像为当前帧的图像，所述第二帧图像为在所述第一帧图像之前的图像；
若所述第一帧识别信息指示存在物料，则将所述第二帧图像和所述第一帧图像进行对比；
若所述第二帧图像和所述第一帧图像等同，则根据所述第一帧识别信息生成第二识别结果；其中，所述第二识别结果指示不堵料；
若所述第二帧图像和所述第一帧图像不等同，则调用预置的目标识别模型对所述第二帧图像进行图像识别，得到第二帧识别信息；
根据所述第一帧识别信息和所述第二帧识别信息生成第二识别结果。
12.一种堵料检测设备，其特征在于，所述堵料检测设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；
所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述堵料检测设备执行如权利要求1-10中任意一项所述的堵料检测方法。
13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述堵料检测方法。
CN202311303033.9A 2023-10-10 2023-10-10 堵料检测方法、装置、设备及存储介质 Active CN117036362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311303033.9A CN117036362B (zh) 2023-10-10 2023-10-10 堵料检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311303033.9A CN117036362B (zh) 2023-10-10 2023-10-10 堵料检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117036362A CN117036362A (zh) 2023-11-10
CN117036362B true CN117036362B (zh) 2024-02-20

Family

ID=88626757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311303033.9A Active CN117036362B (zh) 2023-10-10 2023-10-10 堵料检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117036362B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112050850A (zh) * 2019-06-05 2020-12-08 西安瑞德宝尔智能科技有限公司 原料仓堵料监测方法及装置
CN113298751A (zh) * 2020-09-29 2021-08-24 湖南长天自控工程有限公司 一种辅门堵料的检测方法
CN114140684A (zh) * 2021-11-08 2022-03-04 深圳江行联加智能科技有限公司 堵煤漏煤检测方法、装置、设备及存储介质
CN115424075A (zh) * 2022-09-16 2022-12-02 福建省海峡智汇科技有限公司 一种流水线状态监测方法和系统
CN218143767U (zh) * 2022-09-19 2022-12-27 深圳华耀天源自动化设备有限公司 下料管道自动监测与清堵装置
WO2023155598A1 (zh) * 2022-02-21 2023-08-24 山东科技大学 基于物料动态计量的转载点溜槽堵塞检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112050850A (zh) * 2019-06-05 2020-12-08 西安瑞德宝尔智能科技有限公司 原料仓堵料监测方法及装置
CN113298751A (zh) * 2020-09-29 2021-08-24 湖南长天自控工程有限公司 一种辅门堵料的检测方法
CN114140684A (zh) * 2021-11-08 2022-03-04 深圳江行联加智能科技有限公司 堵煤漏煤检测方法、装置、设备及存储介质
WO2023155598A1 (zh) * 2022-02-21 2023-08-24 山东科技大学 基于物料动态计量的转载点溜槽堵塞检测系统
CN115424075A (zh) * 2022-09-16 2022-12-02 福建省海峡智汇科技有限公司 一种流水线状态监测方法和系统
CN218143767U (zh) * 2022-09-19 2022-12-27 深圳华耀天源自动化设备有限公司 下料管道自动监测与清堵装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉分析的皮带智能检测系统;袁海立 等;《电子技术与软件工程》;第124-127页 *

Also Published As

Publication number Publication date
CN117036362A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111310645B (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
JP4580233B2 (ja) 画像シグネチャによる郵便物の識別タグおよび関連するメール操作機
EP3118813A1 (en) Image recognition device, image sensor, and image recognition method
EP3118812A1 (en) Image processing device, image sensor, and image processing method
CN113850244B (zh) 基于图像识别的输煤量监测方法、装置、设备及存储介质
CN113688965B (zh) 一种自动仓储扫码检测的方法和货物管理系统
CN111723777A (zh) 商品取放过程判别方法、装置、智能货柜和可读存储介质
WO2023236825A1 (zh) 容积使用率的监控方法、装置和计算机可读存储介质
JP6558020B2 (ja) 検品処理装置、検品処理方法及びプログラム
CN115511875A (zh) 货物堆积的检测方法、装置、设备及存储介质
CN114724076A (zh) 图像识别方法、装置、设备及存储介质
CN114140684A (zh) 堵煤漏煤检测方法、装置、设备及存储介质
CN114140735B (zh) 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN108629310A (zh) 一种工程管理监督方法及装置
CN117036362B (zh) 堵料检测方法、装置、设备及存储介质
JP2016110625A (ja) 分類方法、検査方法、検査装置、およびプログラム
JP2022017307A (ja) 管理装置及び管理方法
US20110099137A1 (en) Graphical user interface component classification
CN114529843A (zh) 货物拥堵识别方法、装置、电子设备和存储介质
JP2006260310A (ja) 物品判別方法および物品判別装置ならびにプログラム
CN113191227B (zh) 柜门状态的检测方法、装置、设备及存储介质
KR101150754B1 (ko) 영상처리를 이용한 약품상자 영역 검출 시스템 및 방법
CN110634124A (zh) 一种区域检测的方法及设备
KR20210049705A (ko) 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법
CN113837173A (zh) 目标对象检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant