CN115170500A - 护帮板状态的检测方法、装置、存储介质及计算机设备 - Google Patents

护帮板状态的检测方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN115170500A
CN115170500A CN202210765559.8A CN202210765559A CN115170500A CN 115170500 A CN115170500 A CN 115170500A CN 202210765559 A CN202210765559 A CN 202210765559A CN 115170500 A CN115170500 A CN 115170500A
Authority
CN
China
Prior art keywords
image
protection plate
straight line
detected
side protection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210765559.8A
Other languages
English (en)
Inventor
袁丽燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Intelligent Mining Technology Co Ltd
Original Assignee
Sany Intelligent Mining Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Intelligent Mining Technology Co Ltd filed Critical Sany Intelligent Mining Technology Co Ltd
Priority to CN202210765559.8A priority Critical patent/CN115170500A/zh
Publication of CN115170500A publication Critical patent/CN115170500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种护帮板状态的检测方法、装置、存储介质及计算机设备，涉及综采工作面智能控制技术领域，主要在于能够提高护帮板状态的检测效率和检测准确度。其中方法包括：获取待检测护帮板对应的工作面图像；利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。本发明适用于对护帮板状态进行检测。

Description

护帮板状态的检测方法、装置、存储介质及计算机设备
技术领域
本发明涉及综采工作面智能控制技术领域，尤其是涉及一种护帮板状态的检测方法、装置、存储介质及计算机设备。
背景技术
综采工作面实时状态监控是实现综采工作面无人化、智能化的重要组成部分，综采工作面回采过程中，采煤机采煤后液压支架需要及时打开护帮板进行支护，防止工作面煤壁因采动应力发生片帮，引发安全生产事故，在采煤过程中需要及时收回液压支架护帮板，避免采煤机经过时与液压支架护帮板干涉，保证液压支架与采煤机的协调运行，基于此，为了保证采煤过程的有序进行和采煤的安全性，需要时刻了解护帮板的状态。
目前，通常利用传感器来确定护帮板的状态。然而，该种方式需要预先安装大量的传感器，导致护帮板状态的检测效率较低，同时煤矿中存在电磁干扰，从而导致传感器的测量结果存在误差，进而导致护帮板状态的检测精度较低。
发明内容
本发明提供了一种护帮板状态的检测方法、装置、存储介质及计算机设备，主要在于能够提高护帮板状态的检测效率和检测准确度。
根据本发明的第一个方面，提供一种护帮板状态的检测方法，包括：
获取待检测护帮板对应的工作面图像；
利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；
绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；
基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
根据本发明的第二个方面，提供一种护帮板状态的检测装置，包括：
获取单元，用于获取待检测护帮板对应的工作面图像；
检测单元，用于利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；
绘制单元，用于绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；
确定单元，用于基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
根据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
获取待检测护帮板对应的工作面图像；
利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；
绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；
基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
根据本发明的第四个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取待检测护帮板对应的工作面图像；
利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；
绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；
基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
根据本发明提供的一种护帮板状态的检测方法、装置、存储介质及计算机设备，与目前利用传感器来确定护帮板的状态的方式相比，本发明通过获取待检测护帮板对应的工作面图像；并利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；之后绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；最终基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态，由此利用预设图像检测模型在所述工作面图像中检测出所述待检测护帮板图像，并绘制所述待检测护帮板图像对应的纵向边缘直线，最终基于纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例提供的一种护帮板状态的检测方法流程图；
图2示出了本发明实施例提供的另一种护帮板状态的检测方法流程图；
图3示出了本发明实施例提供的一种护帮板状态的检测装置的结构示意图；
图4示出了本发明实施例提供的另一种护帮板状态的检测装置的结构示意图；
图5示出了本发明实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
目前，利用传感器来确定护帮板的状态的方式，护帮板状态的检测效率较低，与此同时，由于电磁干扰导致传感器测量出错误数据，从而导致护帮板状态的检测精度较低。
为了解决上述问题，本发明实施例提供了一种护帮板状态的检测方法，如图1所示，所述方法包括：
101、获取待检测护帮板对应的工作面图像。
其中，工作面图像为采煤机进行开采的操作面图像，所述操作面图像中包括护帮板图像、液压支架图像等，对于本发明实施例，为了克服现有技术中护帮板状态的检测效率低和检测准确度低的问题，本发明实施例利用预设图像检测模型在所述工作面图像中检测出所述待检测护帮板图像，并绘制所述待检测护帮板图像对应的纵向边缘直线，最终基于纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
具体地，综采工作面中安装了监控系统，可以基于所述监控系统获取对所述综采工作面的监控视频，对所述监控视频进行解码处理，得到视频帧图像，所述视频帧图像中会包含多个护帮板图像，并在多个护帮板中确定目标护帮板图像，同时为了确定所述待检测护帮板图像对应的现实场景中的目标护帮板，首先需要在实际场景的综采工作面中对各个护帮板进行标定，例如，在实际场景的综采工作面中对各个护帮板的第一中心位置标记上红色十字线，并对所述各个护帮板进行编号标记，每个编号能够唯一识别一个护帮板，之后获取标定后的综采工作面对应的监控视频，并基于所述监控视频，获取所述综采工作面的工作面图像，其中，所述工作面图像中的各个护帮板图像上会存在十字线标记，由于拍摄视频的角度等因素，所述工作面图像中的各个护帮板图像上的十字线并非是在护帮板图像的第二中心位置，因此确定综采工作面图像中护帮板图像的第二中心，并计算所述第二中心与所述第一中心之间的欧式距离，得到各个护帮板图像对应的欧氏距离，在各个欧氏距离中确定最小欧式距离，并确定所述最小欧式距离对应的目标护帮板图像编号，因此基于所述目标护帮板图像编号，能够确定现实场景中的目标护帮板，并将所述现实场景中的目标护帮板，确定为所述待检测护帮板。
102、利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框。
其中，所述目标矩形框为根据所述检测结果，在所述工作面图像中生成的所述待检测护帮板图像对应的最小外接矩形。
对于本发明实施例，在获取所述待检测护帮板对应的工作面图像后，为了确定所述待检测护帮板对应的状态，首先需要对所述工作面图像中的待检测护帮板图像进行定位并生成目标矩形框，具体定位并生成目标矩形框的方法为，将所述工作面图像输入至所述预设图像检测模型中进行图像检测，对所述图像进行加成呢后，在所述工作面图像中绘制所述待检测护帮板图像的最小外接矩形，并将所述最小外接矩形确定为所述待检测护帮板对应的目标矩形框，与此同时，将所述工作面图像输入至所述预设图像检测模型进行图像检测后，还能够输出所述待检测护帮板对应的第二状态，所述第二状态包括打开状态和关闭状态，之后绘制所述目标矩形框中的待检测护帮板图像的纵向边缘直线，最终就要所述纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免在护帮板上安装多个传感器耗费资金的问题，从而节约了资金，同时安装传感器进行状态检测时，传感器的维护成本和维护难度也较高。
103、绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线。
其中，所述纵向边缘直线为与采煤机工作时运行方向相垂直的直线，对于本发明实施例，在获取所述待检测护帮板对应的目标矩形框后，在所述工作面图像中裁剪出所述目标矩形框，得到裁剪后的目标矩形框，并将所述裁剪后的目标矩形框中的图像进行灰度处理和二值化处理，得到二值化图像，并对所述二值化图像中的待检测护帮板图像进行边缘直线拟合，得到各条拟合后的直线，并在各条拟合后的直线中确定所述纵向边缘直线，最终基于所述纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
104、基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
其中，所述第一状态为打开状态或关闭状态，所述打开状态为对煤壁进行防护的状态，所述关闭状态为护帮板的收回状态，可以利用液压支架的伸缩来实现护帮板的打开和关闭，对于本发明实施例，在绘制所述待检测护帮板图像对应的纵向边缘直线后，所述纵向边缘直线一般包括两条直线，即所述待检测互帮边的两条纵向边，取其中任意一条纵向边缘直线，并测量所述纵向边缘直线与水平直线之间的角度值，其中，所述水平直线为与采煤机采煤时的运动方向相垂直，且与地面相平行的直线，基于所述角度值，确定所述待检测护帮板对应的状态，由此利用预设图像检测模型在所述工作面图像中检测出所述待检测护帮板图像，并绘制所述待检测护帮板图像对应的纵向边缘直线，最终基于纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
根据本发明提供的一种护帮板状态的检测方法，与目前利用传感器来确定护帮板的状态的方式相比，本发明通过获取待检测护帮板对应的工作面图像；并利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；之后绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线；最终基于所述纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线，确定所述待检测护帮板对应的第一状态，由此利用预设图像检测模型在所述工作面图像中检测出所述待检测护帮板图像，并绘制所述待检测护帮板图像对应的纵向边缘直线，最终基于纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
进一步的，为了更好的说明上述对护帮板状态进行确定的过程，作为对上述实施例的细化和扩展，本发明实施例提供了另一种护帮板状态的检测方法，如图2所示，所述方法包括：
201、获取待检测护帮板对应的工作面图像。
对于本发明实施例，利用综采工作面中的监控系统能够拍摄到待检测护帮板对应的工作面监控视频，将监控视频解码为视频帧图像，图像大小为可以为1920*1080，将所述图像确定为所述待检测护帮板对应的工作面图像，之后将利用所述预设图像检测模型对所述工作面图像进行图像检测，并根据检测结果，在所述工作面图像中确定所述待检测护帮板图像的位置。
202、将所述工作面图像输入至所述预设图像检测模型进行图像检测，得到所述工作面图像中所述待检测护帮板对应的位置信息和第二状态。
其中，所述预设图像检测模型具体可以为预设yolov5模型，所述预设yolov5模型包括输入层、注意力层、卷积层和输出层，对于本发明实施例，在获取所述待检测护帮板对应的工作面图像后，需要利用预设图像检测模型在所述工作面图像中检测出待检测护帮板对应的图像，基于此，首先需要构建所述预设图像检测模型，具体构建所述预设图像检测模型的方法为：获取样本护帮板对应的样本工作面图像；将所述样本工作面图像作为训练集，构建所述预设图像检测模型。
具体地，获取样本综采工作面的监控视频，并将所述监控视频解码为视频帧图像，图像大小为1920*1080，每隔20帧保存一张样本工作面图像，并对样本工作面图像中的样本护帮板图像的位置和状态进行标注，具体可以使用VGG Image Annotator标注工具进行标注，位置采用矩形框标注，状态包含样本护帮板打开和样本护帮板收回两个状态，未完全打开或未完全收回标注为打开状态，标注好的样本工作面图像按照8：2的比例构建训练集和测试集，具体可以基于所述训练集，训练并构建多个预设初始图像检测模型，之后将测试集分别输入至构建好的多个预设初始图像检测模型中进行图像检测，得到多个预设初始图像检测模型分别对应的检测结果，将所述检测结果与实际标注的结果进行对比，计算所述多个预设初始图像检测模型分别对应的检测准确率，在多个检测准确率中确定最大检测准确率，并将最大检测准确率对应的目标预设初始图像检测模型确定为本发明实施例中的预设图像检测模型。
进一步地，在构建好预设图像检测模型后，需要利用所述预设图像检测模型对所述工作面图像进行图像检测，基于此，步骤202具体包括：对所述工作面图像的尺寸进行调整，得到调整后的工作面图像；将所述调整后的工作面图像经所述输入层输入至所述注意力层进行特征提取，得到所述调整后的工作面图像对应的第一图像特征向量；将所述第一图像特征向量输入至所述卷积层进行特征提取，得到所述调整后的工作面图像对应的第二图像特征向量；将所述第二图像特征向量输入至所述输出层，经所述输出层输出所述工作面图像中所述待检测护帮板对应的位置信息和第二状态。
具体地，在获取所述待检测护帮板对应的工作面图像后，通常情况下，所述工作面图像的大小为1920*1080，为了减小计算的复杂度，进而提高预设图像检测模型的检测精度，可以对所述工作面图像的尺寸进行调整，例如，可以将1920*1080的图像缩小为640*640的图像，从而得到调整后的工作面图像，之后将所述工作面图像经所述输入层输入至所述主力层进行特征提取，得到所述调整后的工作面图像对应的第一图片特征向量，为了提高所述注意力层的特征提取精度，在将所述工作面图像经所述输入层输入至所述主力层进行特征提取，得到所述调整后的工作面图像对应的第一图片特征向量之前，可以先确定所述调整后的工作面图像对应的第三图像特征向量，具体确定调整后的工作面图像对应的第三图像特征向量的方法为：确定所述调整后的工作面图像对应的像素矩阵；将所述像素矩阵中的各行像素进行横向拼接，得到所述调整后的工作面图像对应的第三图片特征向量，之后将所述第三图片特征向量经所述输入层输入至所述注意力层中的不同注意力子空间进行特征提取，得到所述调整后的工作面图像在所述不同注意力子空间下的第四图片特征向量，将所述调整后的工作面图像在所述不同注意力子空间下的第四图片特征向量与所述不同注意力子空间对应的权重相乘并求和，得到所述调整后的工作面图像对应的注意力层输出向量，即第一图片特征向量，之后将所述第一图片特征向量输入至卷积层进行特征提取，得到所述调整后的工作面图像对应的第二图像特征向量，最终将所述第二图像特征向量输入至所述输出层，经所述输出层输出所述工作面图像中所述待检测护帮板对应的位置信息和状态信息，其中所述位置信息为所述待检测护帮板图像在所述调整后的工作面图像中的位置坐标，所述状态信息具体为待检测护帮板对应的状态置信度，例如，打开状态对应的置信度为0.35，关闭状态对应的置信度为0.65，在所述置信度中确定最大置信度，最终将所述最大置信度对应的状态确定为所述待检测护帮板对应的第二状态。
203、基于所述位置信息，在所述工作面图像中生成所述目标矩形框。
对于本发明实施例，在所述工作面图像中确定所述待检测护帮板图像对应的位置信息后，绘制所述工作面图像中待检测护帮板图像的最小外接矩形，即目标矩形框，同时确定所述目标矩形框四个顶点的8个坐标值，即所述目标矩形框左上、右上、右下、左下各坐标点的X、Y值，并对所述目标矩形框进行识别标记，在本发明实施例中，为了避免工作面图像中背景图像的干扰，从而提高待检测互帮状态的检测精度，本发明基于所述目标矩形框对应的坐标值，在所述工作面图像中裁剪出所述目标矩形框，并在裁剪出的目标矩形框中绘制所述待检测护帮板的纵向边缘直线。
204、绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线。
其中，将护帮板的边缘直线中与采煤机采煤时的运行方向相垂直的直线确定为护帮板纵向边缘直线，而护帮板纵向边缘直线影射到护帮板图像中即为所述护帮板图像对应的纵向边缘直线，其中，所述边缘直线为护帮板的框架线。
对于本发明实施例，为了确定所述待检测护帮板对应的第一状态，首先需要绘制裁剪出的目标矩形框中待检测护帮板图像的纵向边缘直线，基于此，步骤204具体包括：对所述目标矩形框中的图像进行灰度处理，得到灰度图像，并对所述灰度图像进行二值化处理，得到二值化图像；确定所述二值化图像中像素值不为0的边缘像素点；判断所述边缘像素点中任意两个相邻的边缘像素点之间的距离是否小于预设距离；若所述任意两个相邻的边缘像素点之间的距离小于所述预设距离，则利用预设算法对所述边缘像素点进行直线拟合，得到所述待检测护帮板图像对应的边缘直线；在所述边缘直线中确定所述待检测护帮板图像对应的纵向边缘直线。
具体地，将所述目标矩形框中的图像进行灰度处理和二值化处理，得到二值化图像，所述二值化图像中护帮板图像的像素点对应的像素值为255，背景图像的像素点对应的像素值为0，因此在二值化图像中确定像素值为255的边缘像素点，该边缘像素点即为待检测护帮板图像对应的边缘像素点，之后判断所述边缘像素点中是否存在相邻边缘像素点之间的间隔大于预设间隔的，若不存在，则确定可以对所述边缘像素点进行直线拟合，之后利用最小二乘法对边缘像素点进行直线拟合，拟合后能够能到护帮板图像的多条边缘直线，因为护帮板的状态确定只与护帮板的纵向边缘直线有关，所以根据直线的斜率和截距，在多条直线中筛选出护帮板的纵向边缘直线，最终基于所述纵向边缘直线，确定待检测护帮板的第一状态。
进一步地，在判断所述边缘像素点中是否存在相邻边缘像素点之间的间隔大于预设间隔之后，所述方法还包括：若在所述边缘像素点中存在相邻的目标边缘像素点之间的距离大于或等于所述预设距离，则将所述第二状态确定为所述待检测护帮板对应的状态。
具体地，若所述边缘像素点中存在相邻边缘像素点之间的间隔大于预设间隔，则确定根据所述边缘像素点拟合出的直线为虚假边缘直线，因此终止边缘直线的拟合，并最终将所述预设图像检测模型检测得到的第二状态确定为所述待检测护帮板的状态，例如，若所述预设图像检测模型检测得到所述待检测护帮板的第二状态为打开状态，则最终确定所述待检测护帮板的第一状态为打开状态。
205、基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
对于本发明实施例，在拟合出所述待检测护帮板图像的纵向边缘直线后，需要基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态，基于此，步骤205具体包括：计算所述待检测护帮板图像对应的纵向边缘直线与水平直线之间的角度值，其中，所述水平直线为与采煤机工作时的运动方向相垂直，且与地面相平行的直线；判断所述角度值是否大于预设角度值；若所述角度值大于所述预设角度值，则确定所述待检测护帮板为打开状态；若所述角度值小于或等于所述预设角度值，则确定所述待检测护帮板为关闭状态。
其中，所述水平直线为与综采地面相平行，且与采煤机的运行方向相垂直的直线，所述预设角度值为根据实际情况设定的角度，对于本发明实施例，为了确定所述待检测互帮的第一状态，首先需要确定所述预设角度值，具体可以通过测量现实综采工作面中的护帮板在关闭时，所述护帮板的边缘直线与水平直线之间的夹角，并根据所述夹角，设定所述预设角度值，之后计算所述待检测护帮板图像的纵向边缘直线与水平直线之间的角度值，并判断所述角度值是否大于预设角度值，若所述角度值大于所述预设角度值，则确定所述待检测护帮板为打开状态，即对煤壁进行保护的状态，若所述角度值小于或等于所述预设角度值，则确定所述待检测护帮板为关闭状态，即收回状态，例如，预设角度值为35°，护帮板图像的纵向边缘直线与水平直线之间的角度值为75°，则确定所述待检测护帮板为打开状态。
根据本发明提供的另一种护帮板状态的检测方法，与目前利用传感器来确定护帮板的状态的方式相比，本发明通过获取待检测护帮板对应的工作面图像；并利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；之后绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；最终基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态，由此利用预设图像检测模型在所述工作面图像中检测出所述待检测护帮板图像，并绘制所述待检测护帮板图像对应的纵向边缘直线，最终基于纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
进一步地，作为图1的具体实现，本发明实施例提供了一种护帮板状态的检测装置，如图3所示，所述装置包括：获取单元31、检测单元32、绘制单元33和确定单元34。
所述获取单元31，可以用于获取待检测护帮板对应的工作面图像。
所述检测单元32，可以用于利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框。
所述绘制单元33，可以用于绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线。
所述确定单元34，可以用于基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
在具体应用场景中，为了根据检测结果，在所述工作面图像中生成目标矩形框，如图4所示，所述检测单元32，包括检测模块321和生成模块322。
所述检测模块321，可以用于将所述工作面图像输入至所述预设图像检测模型进行图像检测，得到所述工作面图像中所述待检测护帮板对应的位置信息和第二状态。
所述生成模块322，可以用于基于所述位置信息，在所述工作面图像中生成所述目标矩形框。
在具体应用场景中，为了确定所述工作面图像中所述待检测护帮板对应的位置信息和第二状态，所述检测模块321，包括调整子模块、提取子模块、确定子模块。
所述调整子模块，可以用于对所述工作面图像的尺寸进行调整，得到调整后的工作面图像。
所述提取子模块，可以用于将所述调整后的工作面图像经所述输入层输入至所述注意力层进行特征提取，得到所述调整后的工作面图像对应的第一图像特征向量。
所述提取子模块，具体可以用于将所述第一图像特征向量输入至所述卷积层进行特征提取，得到所述调整后的工作面图像对应的第二图像特征向量。
所述确定子模块，可以用于将所述第二图像特征向量输入至所述输出层，经所述输出层输出所述工作面图像中所述待检测护帮板对应的位置信息和第二状态。
在具体应用场景中，为了绘制所述目标矩形框中的所述待检测护帮板图像对应的纵向边缘直线，所述绘制单元33，包括处理模块331、第一确定模块332、第一判断模块333和直线拟合模块334。
所述处理模块331，可以用于对所述目标矩形框中的图像进行灰度处理，得到灰度图像，并对所述灰度图像进行二值化处理，得到二值化图像。
所述第一确定模块332，可以用于确定所述二值化图像中像素值不为0的边缘像素点。
所述第一判断模块333，可以用于判断所述边缘像素点中任意两个相邻的边缘像素点之间的距离是否小于预设距离。
所述直线拟合模块334，可以用于若所述任意两个相邻的边缘像素点之间的距离小于所述预设距离，则利用预设算法对所述边缘像素点进行直线拟合，得到所述待检测护帮板图像对应的边缘直线。
所述第一确定模块332，具体可以用于在所述边缘直线中确定所述待检测护帮板图像对应的纵向边缘直线。
在具体应用场景中，若未拟合出待检测护帮板图像对应的纵向边缘直线，为了确定所述待检测护帮板对应的状态，所述第一确定模块332，还可以用于若在所述边缘像素点中存在相邻的目标边缘像素点之间的距离大于或等于所述预设距离，则将所述第二状态确定为所述待检测护帮板对应的状态。
在具体应用场景中，为了训练并构建所述预设图像检测模型，所述装置还包括构建单元35。
所述获取单元31，还可以用于获取样本护帮板对应的样本工作面图像。
所述构建单元35，可以用于将所述样本工作面图像作为训练集，构建所述预设图像检测模型。
在具体应用场景中，为了确定所述待检测护帮板对应的第一状态，所述确定单元34，包括计算模块341、第二判断模块342、第二确定模块343。
所述计算模块341，可以用于计算所述待检测护帮板图像对应的纵向边缘直线与水平直线之间的角度值，其中，所述水平直线为与采煤机工作时的运动方向相垂直，且与地面相平行的直线。
所述第二判断模块342，可以用于判断所述角度值是否大于预设角度值。
所述第二确定模块343，可以用于若所述角度值大于所述预设角度值，则确定所述待检测护帮板为打开状态。
所述第二确定模块343，还可以用于若所述角度值小于或等于所述预设角度值，则确定所述待检测护帮板为关闭状态。
需要说明的是，本发明实施例提供的一种护帮板状态的检测装置所涉及各功能模块的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。
基于上述如图1所示方法，相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取待检测护帮板对应的工作面图像；利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
基于上述如图1所示方法和如图3所示装置的实施例，本发明实施例还提供了一种计算机设备的实体结构图，如图5所示，该计算机设备包括：处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序，其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤：获取待检测护帮板对应的工作面图像；利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
通过本发明的技术方案，本发明通过获取待检测护帮板对应的工作面图像；并利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；之后绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；最终基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态，由此利用预设图像检测模型在所述工作面图像中检测出所述待检测护帮板图像，并绘制所述待检测护帮板图像对应的纵向边缘直线，最终基于纵向边缘直线，确定所述待检测护帮板对应的状态，提高了护帮板状态的检测效率，与此同时，避免传感器由于电磁干扰等因素测量出错误的数据，从而提高了护帮板状态的检测精度。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种护帮板状态的检测方法，其特征在于，包括：
获取待检测护帮板对应的工作面图像；
利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；
绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；
基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
2.根据权利要求1所述的方法，其特征在于，所述利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框，包括：
将所述工作面图像输入至所述预设图像检测模型进行图像检测，得到所述工作面图像中所述待检测护帮板对应的位置信息和第二状态；
基于所述位置信息，在所述工作面图像中生成所述目标矩形框。
3.根据权利要求2所述的方法，其特征在于，所述预设图像检测模型包括输入层、注意力层、卷积层和输出层，所述将所述工作面图像输入至所述预设图像检测模型进行图像检测，得到所述工作面图像中所述待检测护帮板对应的位置信息和第二状态，包括：
对所述工作面图像的尺寸进行调整，得到调整后的工作面图像；
将所述调整后的工作面图像经所述输入层输入至所述注意力层进行特征提取，得到所述调整后的工作面图像对应的第一图像特征向量；
将所述第一图像特征向量输入至所述卷积层进行特征提取，得到所述调整后的工作面图像对应的第二图像特征向量；
将所述第二图像特征向量输入至所述输出层，经所述输出层输出所述工作面图像中所述待检测护帮板对应的位置信息和第二状态。
4.根据权利要求1所述的方法，其特征在于，所述绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，包括：
对所述目标矩形框中的图像进行灰度处理，得到灰度图像，并对所述灰度图像进行二值化处理，得到二值化图像；
确定所述二值化图像中像素值不为0的边缘像素点；
判断所述边缘像素点中任意两个相邻的边缘像素点之间的距离是否小于预设距离；
若所述任意两个相邻的边缘像素点之间的距离小于所述预设距离，则利用预设算法对所述边缘像素点进行直线拟合，得到所述待检测护帮板图像对应的边缘直线；
在所述边缘直线中确定所述待检测护帮板图像对应的纵向边缘直线。
5.根据权利要求4所述的方法，其特征在于，在所述判断所述边缘像素点中任意两个相邻的边缘像素点之间的距离是否小于预设距离之后，所述方法还包括：
若在所述边缘像素点中存在相邻的目标边缘像素点之间的距离大于或等于所述预设距离，则将所述第二状态确定为所述待检测护帮板对应的状态。
6.根据权利要求1所述的方法，其特征在于，在所述利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测之前，所述方法还包括：
获取样本护帮板对应的样本工作面图像；
将所述样本工作面图像作为训练集，构建所述预设图像检测模型。
7.根据权利要求1所述的方法，其特征在于，所述基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态，包括：
计算所述待检测护帮板图像对应的纵向边缘直线与水平直线之间的角度值，其中，所述水平直线为与采煤机工作时的运动方向相垂直，且与地面相平行的直线；
判断所述角度值是否大于预设角度值；
若所述角度值大于所述预设角度值，则确定所述待检测护帮板为打开状态；
若所述角度值小于或等于所述预设角度值，则确定所述待检测护帮板为关闭状态。
8.一种护帮板状态的检测装置，其特征在于，包括：
获取单元，用于获取待检测护帮板对应的工作面图像；
检测单元，用于利用预设图像检测模型对所述工作面图像中的待检测护帮板进行检测，根据检测结果，在所述工作面图像中生成目标矩形框；
绘制单元，用于绘制所述目标矩形框中的待检测护帮板图像对应的纵向边缘直线，其中，所述纵向边缘直线为与采煤机工作时的运动方向相垂直的直线；
确定单元，用于基于所述纵向边缘直线，确定所述待检测护帮板对应的第一状态。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210765559.8A 2022-07-01 2022-07-01 护帮板状态的检测方法、装置、存储介质及计算机设备 Pending CN115170500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210765559.8A CN115170500A (zh) 2022-07-01 2022-07-01 护帮板状态的检测方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210765559.8A CN115170500A (zh) 2022-07-01 2022-07-01 护帮板状态的检测方法、装置、存储介质及计算机设备

Publications (1)

Publication Number Publication Date
CN115170500A true CN115170500A (zh) 2022-10-11

Family

ID=83489545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210765559.8A Pending CN115170500A (zh) 2022-07-01 2022-07-01 护帮板状态的检测方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN115170500A (zh)

Similar Documents

Publication Publication Date Title
CN111307727B (zh) 基于时序遥感影像的水体水色异常识别方法和装置
CN110956169A (zh) 一种车牌识别方法、装置及电子设备
CN109284674A (zh) 一种确定车道线的方法及装置
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN111047640B (zh) 容量瓶容积的校准方法、装置、终端设备及存储介质
CN104537367B (zh) 一种vin码的校验方法
CN112013921B (zh) 一种基于水位尺测量图像获取水位信息的方法、装置和系统
CN109740609A (zh) 一种轨距检测方法及装置
CN114972531B (zh) 一种角点检测方法、设备及可读存储介质
CN111489387A (zh) 遥感图像建筑物面积计算方法
CN109993134A (zh) 一种基于hog和svm分类器的道路交叉口车辆检测方法
CN111141208B (zh) 一种平行线检测方法及装置
CN115977636A (zh) 煤矿综采工作面的控制方法、装置和电子设备
CN111402185B (zh) 一种图像检测方法及装置
CN103837135B (zh) 工件检测方法及其系统
CN115170500A (zh) 护帮板状态的检测方法、装置、存储介质及计算机设备
CN114445498A (zh) 深度相机标定方法、系统、设备及介质
CN114445499A (zh) 棋盘格角点自动提取方法、系统、设备及介质
CN114494323A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN110817674A (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
CN115496731A (zh) 一种皮带跑偏检测方法、装置及电子设备
CN115761468A (zh) 一种基于图像分割和目标检测技术的水位检测系统、方法
CN114708230A (zh) 基于图像分析的车架质量检测方法、装置、设备及介质
CN110706264B (zh) 一种基于声呐点云数据的水下施工控制事件自动获取方法
JP2022175768A (ja) 位置測定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination