CN115661729A - 煤矿掘进机的前探梁的支护确定方法与支护确定装置 - Google Patents

Abstract

本申请提供了一种煤矿掘进机的前探梁的支护确定方法与支护确定装置。该支护确定方法包括：接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对实时检测图像进行图像增强处理，得到目标检测图像，目标检测区域为掘进机的活动区域；检测步骤，采用目标检测模型，对目标检测图像进行检测，得到煤矿掘进机的前探梁在目标检测图像中的当前位置信息，目标检测模型是基于YoLoV3训练得到的；确定步骤，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，降低因前探梁支护不到位而造成的事故的发生概率，解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

Description

煤矿掘进机的前探梁的支护确定方法与支护确定装置

技术领域

本申请涉及煤矿生产技术领域，具体而言，涉及一种煤矿掘进机的前探梁的支护确定方法、支护确定装置、计算机可读存储介质、处理器与煤矿掘进机的前探梁的支护识别系统。

背景技术

随着科学技术的不断发展以及机械化的普及，煤矿生产有了较大的发展。但对比其它能源产业，煤矿生产还需采用人工施工的开采模式。而涉及人员生产，就会产生安全问题。针对我国煤矿掘进工作面智能化程度不足的问题，掘进装备位姿检测是提高智能化程度和降低煤矿事故率的关键。故通常采用井下监控摄像头，对煤矿掘进机的前探梁进行识别，以确定煤矿掘进机的前探梁是否支护到位，从而降低因煤矿掘进机的前探梁支护不到位而导致的事故发生概率。

当然，在实际的生产中，井下环境相较于自然环境，具有光照强度低、光照分布不均匀以及粉尘严重的特点。这些问题给视频细节清晰度以及分辨率造成阻碍，同时由于井下环境的色彩单一以及矿灯晃动干扰，也给井下目标检测跟踪与行为识别带来了一定的挑战。现有技术中，通常采用平均背景模型或者码本算法来对前探梁支护是否支护到位进行识别。但基于井下环境的特殊原因，使得上述方法均存在着对检测准确性较低以及稳定性较差的问题。

因此，亟需一种能够较为准确地确定出煤矿掘进机的前探梁是否支护到位的方法，从而降低因煤矿掘进机的前探梁支护不到位而造成的事故发生概率。

发明内容

本申请的主要目的在于提供一种煤矿掘进机的前探梁的支护确定方法、支护确定装置、计算机可读存储介质、处理器与煤矿掘进机的前探梁的支护识别系统，以解决现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

根据本发明实施例的一个方面，提供了一种煤矿掘进机的前探梁的支护确定方法，包括：接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对所述实时检测图像进行图像增强处理，得到目标检测图像，所述目标检测区域为掘进机的活动区域；检测步骤，采用目标检测模型，对所述目标检测图像进行检测，得到煤矿掘进机的前探梁在所述目标检测图像中的当前位置信息，所述目标检测模型是基于YoLoV3训练得到的；确定步骤，基于所述当前位置信息和支护位置信息，确定所述前探梁是否处于目标位置，所述支护位置信息为煤壁顶部的目标支护网的位置信息。

可选地，对所述实时检测图像进行图像增强处理，得到目标检测图像，包括：采用二维Gamma函数，对所述实时检测图像进行光照处理，得到备选检测图像；采用CLAHE算法，对所述备选检测图像进行进行对比度处理，得到所述目标检测图像。

可选地，基于所述当前位置信息和支护位置信息，确定所述前探梁是否处于目标位置，包括：基于所述当前位置信息与所述支护位置信息，计算所述前探梁与所述目标支护网的目标距离；在所述目标距离大于预定阈值的情况下，确定所述前探梁不处于所述目标位置；在所述目标距离小于或者等于所述预定阈值的情况下，确定所述前探梁处于所述目标位置。

可选地，所述支护确定方法还包括：在所述前探梁不处于所述目标位置，或者所述目标检测模型未检测到所述前探梁的情况下，采用基于像元亮度值的检测跟踪算法，对所述目标检测区域进行检测，以确定所述目标检测区域是否存在井下人员；在所述目标检测区域不存在所述井下人员的情况下，再次依次执行接收步骤、检测步骤和确定步骤至少一次；在所述目标检测区域存在所述井下人员的情况下，生成目标异常视频，并对所述目标异常视频进行保存，其中，所述目标异常视频是由所述实时检测图像之前的预定时长内的其它检测图像以及所述实时检测图像之后的所述预定时长的其它检测图像构成的视频。

可选地，所述支护确定方法还包括：在所述目标检测区域存在所述井下人员的情况下，生成报警信息，并将报警信息发送至目标终端设备。

可选地，所述支护确定方法还包括：将所述目标检测图像以及对应的所述当前位置信息发送至目标终端设备，以使得所述目标终端设备在所述目标检测图像中显示目标标记，所述目标标记是根据所述当前位置信息生成的。

根据本发明实施例的另一方面，还提供了一种煤矿掘进机的前探梁的支护确定装置，包括：接收单元，用于接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对所述实时检测图像进行图像增强处理，得到目标检测图像，所述目标检测区域为掘进机的活动区域；检测单元，用于检测步骤，采用目标检测模型，对所述目标检测图像进行检测，得到煤矿掘进机的前探梁在所述目标检测图像中的当前位置信息，所述目标检测模型是基于YoLoV3训练得到的；确定单元，用于确定步骤，基于所述当前位置信息和支护位置信息，确定所述前探梁是否处于目标位置，所述支护位置信息为煤壁顶部的目标支护网的位置信息。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的煤矿掘进机的前探梁的支护确定方法。

根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的煤矿掘进机的前探梁的支护确定方法。

根据本发明实施例的一方面，还提供了一种煤矿掘进机的前探梁的支护识别系统，包括：图像采集设备，用于采集目标检测区域的实时检测图像，所述目标检测区域为掘进机的活动区域；煤矿掘进机的前探梁的支护确定装置，所述支护确定装置与所述图像采集设备通信，用于执行任意一种所述的煤矿掘进机的前探梁的支护确定方法；目标终端设备，与所述目标终端设备与所述支护确定装置通信。

在本发明实施例中，所述的煤矿掘进机的前探梁的支护确定方法中，首先，对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；然后，将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定方法中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请的一种实施例的煤矿掘进机的前探梁的支护确定方法的流程图；

图2示出了本申请的一种实施例的计算目标距离的结构示意图；

图3示出了本申请的一种实施例的确定目标异常视频是否存在敏感区域的流程图；

图4示出了本申请的一种实施例的煤矿掘进机的前探梁的支护确定装置的结构示意图；

图5示出了本申请的一种具体实施例的煤矿掘进机的前探梁的支护确定方法的流程图。

其中，上述附图包括以下附图标记：

100、前探梁；200、目标支护网；300、支护位置信息；400、当前位置信息；500、目标距离。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的，现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种煤矿掘进机的前探梁的支护确定方法、支护确定装置、计算机可读存储介质、处理器与煤矿掘进机的前探梁的支护识别系统。

根据本申请的实施例，提供了一种煤矿掘进机的前探梁的支护确定方法。

图1是根据本申请实施例的煤矿掘进机的前探梁的支护确定方法的流程图。如图1所示，该支护确定方法包括以下步骤：

步骤S101，接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对上述实时检测图像进行图像增强处理，得到目标检测图像，上述目标检测区域为掘进机的活动区域；

步骤S102，检测步骤，采用目标检测模型，对上述目标检测图像进行检测，得到煤矿掘进机的前探梁在上述目标检测图像中的当前位置信息，上述目标检测模型是基于YoLoV3训练得到的；

步骤S103，确定步骤，基于上述当前位置信息和支护位置信息，确定上述前探梁是否处于目标位置，上述支护位置信息为煤壁顶部的目标支护网的位置信息。

上述的煤矿掘进机的前探梁的支护确定方法中，首先，对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；然后，将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定方法中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

在实际的应用过程中，在煤矿开采的过程中，为了保证井下人员的生命安全，通常会在煤壁上设置支护网。而本申请的一种具体的实施例中，支护位置信息为煤壁顶部的目标支护网的位置信息。而为了减少目标检测模型的计算量以及保证目标检测模型的检测稳定性，上述煤壁顶部的目标支护网的支护位置信息可以为预先输入到目标检测模型当中的。当然，也可以通过目标检测模型来确定的目标支护网的支护位置信息。在本申请中并不对如何得到支护位置信息的具体方式进行限制，其可以采用现有技术中任何一种可行的方法来得到目标支护网的支护位置信息。

本申请的一种具体的实施例中，上述当前位置信息可以为前探梁在目标检测图像中的位置信息，具体地可以以目标检测图像中的一个边角作为坐标原点，以水平方向为横轴并以垂直方向为纵轴，构建坐标系。上述当前位置信息可以为在该坐标系下的一个坐标位置信息。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了进一步地保证得到的目标检测图像的整体质量较好和清晰度较高，以及进一步地保证后续采用目标检测模型得到的当前位置信息较为准确，本申请的一种实施例中，对上述实时检测图像进行图像增强处理，得到目标检测图像，包括：采用二维Gamma函数，对上述实时检测图像进行光照处理，得到备选检测图像；采用CLAHE算法，对上述备选检测图像进行进行对比度处理，得到上述目标检测图像。

具体地，在上述的实施例中，通过二维Gamma函数，对实时检测图像进行光照处理，这样可以减弱实时检测图像中光照强度较高的区域的光照，以及增强实时检测图像中光照强度较弱的区域的光照，保证了得到的备选检测图像中的光照强度较为准确。再采用CLAHE算法，对备选检测图像进行进行对比度处理，这样保证了得到的目标检测图像的图像信息的清晰度较高，进一步地保证了后续采用目标检测模型得到的当前支护位置信息较为准确。

在实际的应用过程中，并不限于通过二维Gamma函数和CLAHE算法，对实时检测图像进行图像增强处理，还可以采用现有技术中任何一种可行的图像增强处理方法。本申请对此不再一一赘述了。

本申请的又一种实施例中，基于上述当前位置信息和支护位置信息，确定上述前探梁是否处于目标位置，包括：基于上述当前位置信息与上述支护位置信息，计算上述前探梁与上述目标支护网的目标距离；在上述目标距离大于预定阈值的情况下，确定上述前探梁不处于上述目标位置；在上述目标距离小于或者等于上述预定阈值的情况下，确定上述前探梁处于上述目标位置。在该实施例中，基于当前位置信息和支护位置信息之间的距离差值(即目标距离)以及预定阈值，来确定前探梁是否处于目标位置(即是否支护到位)，这样保证了可以较为简单地确定出前探梁是否支护到位。另外，上述预定阈值的实际大小可以基于实际的场景进行标定，这样保证目标检测算法可以适用于多种煤矿开采场景，保证了目标检测算法的灵活性较高。

本申请的一种具体的实施例中，如图2所示，在一个井下矿道的场景下，前探梁100的目标位置的当前位置信息400与煤壁顶部的目标支护网200的支护位置信息300的差值为目标距离500，在目标距离500大于5px(像素，pixel，简称px)的情况下，确定前探梁不处于目标位置，即前探梁未支护到位；在目标距离500小于或者等于5px的情况下，确定前探梁处于目标位置，即前探梁支护到位。当然，在实际的应用过程中，还可以通过计算前探梁100在目标检测图中的检测框与目标支护网200所在的检测框之间的距离来判断前探梁是否处于目标位置，即确定前探梁是否支护到位。

在实际的应用过程中，为了防止井下人员在煤矿掘进机迎头前进行“敲帮问顶”而造成安全事故的发生，本申请的另一种实施例中，上述支护确定方法还包括：在上述前探梁不处于上述目标位置，或者上述目标检测模型未检测到上述前探梁的情况下，采用基于像元亮度值的检测跟踪算法，对上述目标检测区域进行检测，以确定上述目标检测区域是否存在井下人员；在上述目标检测区域不存在上述井下人员的情况下，再次依次执行接收步骤、检测步骤和确定步骤至少一次；在上述目标检测区域存在上述井下人员的情况下，获取目标异常视频，并对上述目标异常视频进行保存，其中，上述目标异常视频是由上述实时检测图像之前的预定时长内的其它检测图像以及上述实时检测图像之后的上述预定时长的其它检测图像构成的视频。在实际的应用过程中，由于井下环境较暗，需要通过矿灯或者头灯进行照明，然而在头灯晃动的过程中，导致晃过的区域的亮度值特别大，而基于像元亮度值可以用来消除头灯的干扰，进一步地保证了对井下人员的检测的准确性较高。

本申请的一种具体的实施例中，为了进一步地提高目标检测以及目标跟踪的效率，还可以通过背景减除法来检测目标检测区域中的井下人员，以及通过卡尔曼滤波跟踪算法对井下人员进行跟踪。

具体地，在上述的实施例中，在目标检测区域中存在井下人员的情况下，再次依次执行接收步骤、检测步骤和确定步骤至少一次，即为再次接收图像采集设备发送的实时检测图像，并对实时检测图像进行图像增强处理，得到目标检测图像。再采用目标检测模型，对目标检测图像进行检测，得到煤矿掘进机的前探梁在目标检测图像中的当前位置信息，再次基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。

具体地，在上述的实施例中，在目标检测区域中存在井下人员的情况下，获取目标异常视频，并对目标异常视频进行保存，这样后续相关监控人员可以再次进行视频回溯，更加准确地确定出井下人员是否出现违规作业。

本申请的另一种具体的实施例中，对实时检测图像之前的预定时长内的其它检测图像以及上述实时检测图像之后的预定时长的其它检测图像构成的目标异常视频进行保存，即为以实时检测图像为中间点，前后预定时长的其它检测图像构成目标异常视频。例如，可以保存时长为10s的目标异常图像。这种情况下，预定时长即为5s。

本申请的又一种具体的实施例中，如图3所示，提供了一种确定目标异常视频是否存在敏感区域(即违规作业)的流程图。首先提取目标异常视频，然后获取一帧视频图像，并判断该帧视频图像是否为该目标异常视频中的最后一帧视频图像。若为最后一帧视频图像，则结束。若不为最后一帧视频图像，则依次提取该视频图像中的各检测框(其中，这里所提及到的检测框为上述目标检测模型对目标异常视频图像进行检测时得到的)。之后，依次确定各检测框是否存在敏感区域(例如，检测框中未检测到前探梁或者检测框中的井下人员出现违规作业)。在存在敏感区域的情况下，还可以再次生成报警信息，以进行再次报警。在未存在敏感区域的情况下，确定当前的检测框是否为末检测框。若不是末检测框的情况下，则继续确定其它检测框。若为末检测框的情况下，则确定当前的目标视频图像是否为最后一帧视频图像。

本申请的一种实施例中，上述支护确定方法还包括：在上述目标检测区域存在上述井下人员的情况下，生成报警信息，并将报警信息发送至目标终端设备。在该实施例中，将报警信息发送至目标终端设备，这样可以通过目标终端设备及时地提供监控人员，进一步地降低因井下人员的违规作业而导致安全事故发生的概率。

为了便于监控人员对井下作业进行监控，本申请的另一种实施例中，上述支护确定方法还包括：将上述目标检测图像以及对应的上述当前位置信息发送至目标终端设备，以使得上述目标终端设备在上述目标检测图像中显示目标标记，上述目标标记是根据上述当前位置信息生成的。

本申请的一种具体的实施例中，还可以将目标检测图像中对应的目标支护网的支护位置信息发送至目标终端设备，以使得目标终端设备在目标检测图像中显示目标支护网的目标标记，其中，目标支护网的目标标记是根据支护位置信息而生成的。

在实际的应用过程中，在通过目标检测模型检测到目标检测图像中的前探梁的当前位置信息的情况下，还可以基于当前位置信息生成前探梁所在的检测框，并将检测框的位置信息发送给目标终端设备。当然，也可以基于目标支护网的支护位置信息生成目标支护网的检测框，并将目标支护网的检测框发送给目标终端设备。

本申请实施例还提供了一种煤矿掘进机的前探梁的支护确定装置，需要说明的是，本申请实施例的煤矿掘进机的前探梁的支护确定装置可以用于执行本申请实施例所提供的用于煤矿掘进机的前探梁的支护确定方法。以下对本申请实施例提供的煤矿掘进机的前探梁的支护确定装置进行介绍。

图4是根据本申请实施例的煤矿掘进机的前探梁的支护确定装置的结构示意图。如图4所示，该支护确定装置包括：

接收单元10，用于接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对上述实时检测图像进行图像增强处理，得到目标检测图像，上述目标检测区域为掘进机的活动区域；

检测单元20，用于检测步骤，采用目标检测模型，对上述目标检测图像进行检测，得到煤矿掘进机的前探梁在上述目标检测图像中的当前位置信息，上述目标检测模型是基于YoLoV3训练得到的；

确定单元30，用于确定步骤，基于上述当前位置信息和支护位置信息，确定上述前探梁是否处于目标位置，上述支护位置信息为煤壁顶部的目标支护网的位置信息。

上述的煤矿掘进机的前探梁的支护确定装置中，接收单元用于对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；检测单元用于将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；确定单元用于基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定装置中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

在实际的应用过程中，在煤矿开采的过程中，为了保证井下人员的生命安全，通常会在煤壁上设置支护网。而本申请的一种具体的实施例中，支护位置信息为煤壁顶部的目标支护网的位置信息。而为了减少目标检测模型的计算量以及保证目标检测模型的检测稳定性，上述煤壁顶部的目标支护网的支护位置信息可以为预先输入到目标检测模型当中的。当然，也可以通过目标检测模型来确定的目标支护网的支护位置信息。在本申请中并不对如何得到支护位置信息的具体方式进行限制，其可以采用现有技术中任何一种可行的方法来得到目标支护网的支护位置信息。

本申请的一种具体的实施例中，上述当前位置信息可以为前探梁在目标检测图像中的位置信息，具体地可以以目标检测图像中的一个边角作为坐标原点，以水平方向为横轴并以垂直方向为纵轴，构建坐标系。上述当前位置信息可以为在该坐标系下的一个坐标位置信息。

为了进一步地保证得到的目标检测图像的整体质量较好和清晰度较高，以及进一步地保证后续采用目标检测模型得到的当前位置信息较为准确，本申请的一种实施例中，接收单元还包括光照处理模块和对比度处理模块，其中，上述光照处理模块用于采用二维Gamma函数，对上述实时检测图像进行光照处理，得到备选检测图像；上述对比度处理模块用于采用CLAHE算法，对上述备选检测图像进行进行对比度处理，得到上述目标检测图像。

具体地，在上述的实施例中，通过二维Gamma函数，对实时检测图像进行光照处理，这样可以减弱实时检测图像中光照强度较高的区域的光照，以及增强实时检测图像中光照强度较弱的区域的光照，保证了得到的备选检测图像中的光照强度较为准确。再采用CLAHE算法，对备选检测图像进行进行对比度处理，这样保证了得到的目标检测图像的图像信息的清晰度较高，进一步地保证了后续采用目标检测模型得到的当前支护位置信息较为准确。

在实际的应用过程中，并不限于通过二维Gamma函数和CLAHE算法，对实时检测图像进行图像增强处理，还可以采用现有技术中任何一种可行的图像增强处理方法。本申请对此不再一一赘述了。

本申请的又一种实施例中，上述确定单元包括计算模块、第一确定模块和第二确定模块，其中，上述计算模块用于基于上述当前位置信息与上述支护位置信息，计算上述前探梁与上述目标支护网的目标距离；上述第一确定模块用于在上述目标距离大于预定阈值的情况下，确定上述前探梁不处于上述目标位置；上述第二确定模块用于在上述目标距离小于或者等于上述预定阈值的情况下，确定上述前探梁处于上述目标位置。在该实施例中，基于当前位置信息和支护位置信息之间的距离差值(即目标距离)以及预定阈值，来确定前探梁是否处于目标位置(即是否支护到位)，这样保证了可以较为简单地确定出前探梁是否支护到位。另外，上述预定阈值的实际大小可以基于实际的场景进行标定，这样保证目标检测算法可以适用于多种煤矿开采场景，保证了目标检测算法的灵活性较高。

本申请的一种具体的实施例中，如图2所示，在一个井下矿道的场景下，前探梁100的目标位置的当前位置信息400与煤壁顶部的目标支护网200的支护位置信息300的差值为目标距离500，在目标距离500大于5px(像素，pixel，简称px)的情况下，确定前探梁不处于目标位置，即前探梁未支护到位；在目标距离500小于或者等于5px的情况下，确定前探梁处于目标位置，即前探梁支护到位。当然，在实际的应用过程中，还可以通过计算前探梁100在目标检测图中的检测框与目标支护网200所在的检测框之间的距离来判断前探梁是否处于目标位置，即确定前探梁是否支护到位。

在实际的应用过程中，为了防止井下人员在煤矿掘进机迎头前进行“敲帮问顶”而造成安全事故的发生，本申请的另一种实施例中，上述支护确定装置还包括检测单元、执行单元和第一生成单元，其中，上述检测单元用于在上述前探梁不处于上述目标位置，或者上述目标检测模型未检测到上述前探梁的情况下，采用基于像元亮度值的检测跟踪算法，对上述目标检测区域进行检测，以确定上述目标检测区域是否存在井下人员；上述执行单元用于在上述目标检测区域不存在上述井下人员的情况下，再次依次执行接收步骤、检测步骤和确定步骤至少一次；上述第一生成单元在上述目标检测区域存在上述井下人员的情况下，获取目标异常视频，并对上述目标异常视频进行保存，其中，上述目标异常视频是由上述实时检测图像之前的预定时长内的其它检测图像以及上述实时检测图像之后的上述预定时长的其它检测图像构成的视频。在实际的应用过程中，由于井下环境较暗，需要通过矿灯或者头灯进行照明，然而在头灯晃动的过程中，导致晃过的区域的亮度值特别大，而基于像元亮度值可以用来消除头灯的干扰，进一步地保证了对井下人员的检测的准确性较高。

本申请的一种具体的实施例中，为了进一步地提高目标检测以及目标跟踪的效率，还可以通过背景减除法来检测目标检测区域中的井下人员，以及通过卡尔曼滤波跟踪算法对井下人员进行跟踪。

具体地，在上述的实施例中，在目标检测区域中存在井下人员的情况下，再次依次执行接收步骤、检测步骤和确定步骤至少一次，即为再次接收图像采集设备发送的实时检测图像，并对实时检测图像进行图像增强处理，得到目标检测图像。再采用目标检测模型，对目标检测图像进行检测，得到煤矿掘进机的前探梁在目标检测图像中的当前位置信息，再次基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。

具体地，在上述的实施例中，在目标检测区域中存在井下人员的情况下，获取目标异常视频，并对目标异常视频进行保存，这样后续相关监控人员可以再次进行视频回溯，更加准确地确定出井下人员是否出现违规作业。

本申请的另一种具体的实施例中，对实时检测图像之前的预定时长内的其它检测图像以及上述实时检测图像之后的预定时长的其它检测图像构成的目标异常视频进行保存，即为以实时检测图像为中间点，前后预定时长的其它检测图像构成目标异常视频。例如，可以保存时长为10s的目标异常图像。这种情况下，预定时长即为5s。

本申请的又一种具体的实施例中，如图3所示，提供了一种确定目标异常视频是否存在敏感区域(即违规作业)的流程图。首先提取目标异常视频，然后获取一帧视频图像，并判断该帧视频图像是否为该目标异常视频中的最后一帧视频图像。若为最后一帧视频图像，则结束。若不为最后一帧视频图像，则依次提取该视频图像中的各检测框(其中，这里所提及到的检测框为上述目标检测模型对目标异常视频图像进行检测时得到的)。之后，依次确定各检测框是否存在敏感区域(例如，检测框中未检测到前探梁或者检测框中的井下人员出现违规作业)。在存在敏感区域的情况下，还可以再次生成报警信息，以进行再次报警。在未存在敏感区域的情况下，确定当前的检测框是否为末检测框。若不是末检测框的情况下，则继续确定其它检测框。若为末检测框的情况下，则确定当前的目标视频图像是否为最后一帧视频图像。

本申请的一种实施例中，上述支护确定装置还包括第二生成单元，用于在上述目标检测区域存在上述井下人员的情况下，生成报警信息，并将报警信息发送至目标终端设备。在该实施例中，将报警信息发送至目标终端设备，这样可以通过目标终端设备及时地提供监控人员，进一步地降低因井下人员的违规作业而导致安全事故发生的概率。

为了便于监控人员对井下作业进行监控，本申请的另一种实施例中，上述支护确定装置还包括发送单元，用于将上述目标检测图像以及对应的上述当前位置信息发送至目标终端设备，以使得上述目标终端设备在上述目标检测图像中显示目标标记，上述目标标记是根据上述当前位置信息生成的。

本申请的一种具体的实施例中，还可以将目标检测图像中对应的目标支护网的支护位置信息发送至目标终端设备，以使得目标终端设备在目标检测图像中显示目标支护网的目标标记，其中，目标支护网的目标标记是根据支护位置信息而生成的。

在实际的应用过程中，在通过目标检测模型检测到目标检测图像中的前探梁的当前位置信息的情况下，还可以基于当前位置信息生成前探梁所在的检测框，并将检测框的位置信息发送给目标终端设备。当然，也可以基于目标支护网的支护位置信息生成目标支护网的检测框，并将目标支护网的检测框发送给目标终端设备。

上述煤矿掘进机的前探梁的支护确定装置包括处理器和存储器，上述接收单元、检测单元和确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述煤矿掘进机的前探梁的支护确定方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述煤矿掘进机的前探梁的支护确定方法。

本申请的一种典型的实施例中，还提供了一种煤矿掘进机的前探梁的支护识别系统，该支护识别系统包括图像采集设备、煤矿掘进机的前探梁的支护确定装置和目标终端设备。其中，图像采集设备，用于采集目标检测区域的实时检测图像，上述目标检测区域为掘进机的活动区域；上述支护确定装置与上述图像采集设备通信，用于执行任意一种上述的煤矿掘进机的前探梁的支护确定方法；与上述目标终端设备与上述支护确定装置通信。

上述的支护识别系统包括图像采集设备、煤矿掘进机的前探梁的支护确定装置和目标终端设备。上述支护确定装置用于执行任意一种上述的煤矿掘进机的前探梁的支护确定方法。上述的支护确定方法中，首先，对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；然后，将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定方法中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对上述实时检测图像进行图像增强处理，得到目标检测图像，上述目标检测区域为掘进机的活动区域；

步骤S102，检测步骤，采用目标检测模型，对上述目标检测图像进行检测，得到煤矿掘进机的前探梁在上述目标检测图像中的当前位置信息，上述目标检测模型是基于YoLoV3训练得到的；

步骤S103，确定步骤，基于上述当前位置信息和支护位置信息，确定上述前探梁是否处于目标位置，上述支护位置信息为煤壁顶部的目标支护网的位置信息。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对上述实时检测图像进行图像增强处理，得到目标检测图像，上述目标检测区域为掘进机的活动区域；

步骤S102，检测步骤，采用目标检测模型，对上述目标检测图像进行检测，得到煤矿掘进机的前探梁在上述目标检测图像中的当前位置信息，上述目标检测模型是基于YoLoV3训练得到的；

步骤S103，确定步骤，基于上述当前位置信息和支护位置信息，确定上述前探梁是否处于目标位置，上述支护位置信息为煤壁顶部的目标支护网的位置信息。

为了本领域技术人员能够更加清楚地了解本申请的技术方案，以下将结合具体的实施例来说明本申请的技术方案和技术效果。

实施例

本申请的一种具体的实施例中，如图5所示，涉及一种煤矿掘进机的前探梁的支护确定方法。在接收到图像采集设备发送的实时检测图像时，对实时检测图像进行图像增强处理，得到目标检测图像。然后，将目标检测图像输入至目标检测模型，得到前探梁的当前位置信息。在基于前探梁的当前位置信息和目标支护网的支护位置信息，确定前探梁是否处于目标位置(前探梁是否支护到位)，即基于前探梁的当前位置信息和支护位置信息，计算前探梁与目标支护网的目标距离。在目标距离大于预定阈值的情况下，确定前探梁不处于目标位置(即支护未到位)，在目标距离小于或者等于预定阈值的情况下，确定前探梁处于目标位置(即支护到位)。在前探梁未支护到位或者未检测到前探梁的情况下，采用基于像元亮度值的检测跟踪算法，对目标检测区域进行检测，以确定目标检测区域是否存在井下人员。在目标检测区域不存在井下人员的情况下，再次接收图像采集设备发送的实时检测图像，在目标检测区域存在井下人员的情况下，生成目标异常视并对目标异常视频进行保存，以及生成报警信息并将报警信息发送至目标终端设备。后续还可以基于保存的目标异常视频进行回放查看。当然，在目标检测区域中存在井下人员的情况下，也可以继续接收图像采集设备发送的实时检测图像，以继续对确定前探梁是否支护到位。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的煤矿掘进机的前探梁的支护确定方法中，首先，对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；然后，将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定方法中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

2)、本申请的煤矿掘进机的前探梁的支护确定装置中，接收单元用于对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；检测单元用于将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；确定单元用于基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定装置中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

3)、本申请的支护识别系统包括图像采集设备、煤矿掘进机的前探梁的支护确定装置和目标终端设备。上述支护确定装置用于执行任意一种上述的煤矿掘进机的前探梁的支护确定方法。上述的支护确定方法中，首先，对图像采集设备采集的实时检测图像进行图像增强处理，得到目标检测图像；然后，将目标检测图像输入至基于YoLoV3训练得到的目标检测模型中，得到前探梁在目标检测图像中的当前位置信息；最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置。与现有技术中采用平均背景模型或者码本算法来确定前探梁是否处于目标位置相比，本申请的支护确定方法中，在接收到图像采集设备采集的实时检测图像时，对实时检测图像进行图像增强处理，这样可以消除由于光照不均匀和粉尘导致的实时检测图像整体质量较差的问题。再将目标检测图像输入到目标检测模型中，得到前探梁在目标检测图像中的当前位置信息，这样保证了得到的当前位置信息较为准确。最后，基于当前位置信息和支护位置信息，确定前探梁是否处于目标位置，即确定前探梁是否支护到位，这样可以较为准确地和简单地确定出前探梁是否处于目标位置，从而可以降低因前探梁支护不到位而造成的事故的发生概率，进而解决了现有技术中难以较为准确地确定出煤矿掘进机的前探梁是否支护到位的问题。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种煤矿掘进机的前探梁的支护确定方法，其特征在于，包括：

接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对所述实时检测图像进行图像增强处理，得到目标检测图像，所述目标检测区域为掘进机的活动区域；

检测步骤，采用目标检测模型，对所述目标检测图像进行检测，得到煤矿掘进机的前探梁在所述目标检测图像中的当前位置信息，所述目标检测模型是基于YoLoV3训练得到的；

确定步骤，基于所述当前位置信息和支护位置信息，确定所述前探梁是否处于目标位置，所述支护位置信息为煤壁顶部的目标支护网的位置信息。

2.根据权利要求1所述的支护确定方法，其特征在于，对所述实时检测图像进行图像增强处理，得到目标检测图像，包括：

采用二维Gamma函数，对所述实时检测图像进行光照处理，得到备选检测图像；

采用CLAHE算法，对所述备选检测图像进行进行对比度处理，得到所述目标检测图像。

3.根据权利要求1所述的支护确定方法，其特征在于，基于所述当前位置信息和支护位置信息，确定所述前探梁是否处于目标位置，包括：

基于所述当前位置信息与所述支护位置信息，计算所述前探梁与所述目标支护网的目标距离；

在所述目标距离大于预定阈值的情况下，确定所述前探梁不处于所述目标位置；

在所述目标距离小于或者等于所述预定阈值的情况下，确定所述前探梁处于所述目标位置。

4.根据权利要求3所述的支护确定方法，其特征在于，所述支护确定方法还包括：

在所述前探梁不处于所述目标位置，或者所述目标检测模型未检测到所述前探梁的情况下，采用基于像元亮度值的检测跟踪算法，对所述目标检测区域进行检测，以确定所述目标检测区域是否存在井下人员；

在所述目标检测区域不存在所述井下人员的情况下，再次依次执行接收步骤、检测步骤和确定步骤至少一次；

在所述目标检测区域存在所述井下人员的情况下，生成目标异常视频，并对所述目标异常视频进行保存，其中，所述目标异常视频是由所述实时检测图像之前的预定时长内的其它检测图像以及所述实时检测图像之后的所述预定时长的其它检测图像构成的视频。

5.根据权利要求4所述的支护确定方法，其特征在于，所述支护确定方法还包括：

在所述目标检测区域存在所述井下人员的情况下，生成报警信息，并将报警信息发送至目标终端设备。

6.根据权利要求1至5中任意一项所述的支护确定方法，其特征在于，所述支护确定方法还包括：

将所述目标检测图像以及对应的所述当前位置信息发送至目标终端设备，以使得所述目标终端设备在所述目标检测图像中显示目标标记，所述目标标记是根据所述当前位置信息生成的。

7.一种煤矿掘进机的前探梁的支护确定装置，其特征在于，包括：

接收单元，用于接收步骤，接收图像采集设备发送的目标检测区域的实时检测图像，并对所述实时检测图像进行图像增强处理，得到目标检测图像，所述目标检测区域为掘进机的活动区域；

检测单元，用于检测步骤，采用目标检测模型，对所述目标检测图像进行检测，得到煤矿掘进机的前探梁在所述目标检测图像中的当前位置信息，所述目标检测模型是基于YoLoV3训练得到的；

确定单元，用于确定步骤，基于所述当前位置信息和支护位置信息，确定所述前探梁是否处于目标位置，所述支护位置信息为煤壁顶部的目标支护网的位置信息。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至6中任意一项所述的煤矿掘进机的前探梁的支护确定方法。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的煤矿掘进机的前探梁的支护确定方法。

10.一种煤矿掘进机的前探梁的支护识别系统，其特征在于，包括：

图像采集设备，用于采集目标检测区域的实时检测图像，所述目标检测区域为掘进机的活动区域；

煤矿掘进机的前探梁的支护确定装置，所述支护确定装置与所述图像采集设备通信，用于执行权利要求1至6中任意一项所述的煤矿掘进机的前探梁的支护确定方法；

目标终端设备，与所述目标终端设备与所述支护确定装置通信。

Images