CN114973053A - 检测方法、装置和系统、存储介质及计算机设备 - Google Patents

Abstract

本公开实施例提供一种检测方法、装置和系统、存储介质及计算机设备，通过样本视频帧训练得到神经网络，并采用该神经网络检测目标对象在待处理视频帧中的位置信息，从而基于检测到的位置信息来检测第一事件。由于样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同，因此，神经网络能够有效地学习到目标对象的各个局部区域的特征，从而能够准确地检测出目标对象的位置信息，进而能够提高第一事件的检测准确度，降低对第一事件的误判率。

Description

检测方法、装置和系统、存储介质及计算机设备

技术领域

本公开涉及计算机视觉技术领域，尤其涉及检测方法、装置和系统、存储介质及计算机设备。

背景技术

在煤矿井下作业过程中，综采工作面中电缆槽一侧属于危险区域，为了减少伤亡事故，有必要对目标对象进入矿井中的电缆槽一侧的事件进行检测。然而，相关技术中的检测方式的检测准确度较低。

发明内容

第一方面，本公开实施例提供一种检测方法，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述电缆槽周围安装有摄像头，用于采集所述电缆槽所在区域的视频；所述方法包括：获取所述视频中的待处理视频帧；通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测；基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

在一些实施例中，所述基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测，包括：基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标视频帧中所述目标对象到所述电缆槽的距离之间的比值；在所述比值大于预设数值，且所述目标视频帧中所述目标对象的移动速度大于或等于所述目标视频帧之前的至少一帧待处理视频帧中所述目标对象的移动速度的情况下，确定检测到所述第一事件。

在一些实施例中，所述基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标对象到所述电缆槽的距离之间的比值，包括：基于从所述目标视频帧中检测的位置信息确定所述目标视频帧中所述目标对象到所述电缆槽的距离；在所述目标视频帧中所述目标对象到所述电缆槽的距离小于预设的第一距离阈值的情况下，基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标对象到所述电缆槽的距离之间的比值。

在一些实施例中，所述摄像头包括视野范围重叠的第一摄像头和第二摄像头，所述待处理视频帧包括所述第一摄像头采集的第一视频帧和所述第二摄像头采集的第二视频帧；其中，所述第二摄像头在发生第二事件的情况下开始采集所述第二视频帧；所述第二事件为所述第一摄像头与所述第二摄像头的重叠视野范围内的目标对象到所述电缆槽的距离小于或等于预设的第二距离阈值，所述重叠视野范围内的目标对象到所述电缆槽的距离通过所述神经网络对所述第一视频帧进行检测得到。

在一些实施例中，所述神经网络还用于获取从所述第一视频帧中检测的第一位置信息的第一置信度和从所述第二视频帧中检测的第二位置信息的第二置信度；所述基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测，包括：在所述第一置信度大于或等于所述第二置信度的情况下，基于所述第一位置信息对所述第一事件进行检测；在所述第一置信度小于所述第二置信度的情况下，基于所述第二位置信息对所述第一事件进行检测。

在一些实施例中，所述方法还包括：基于从所述待处理视频帧中检测的位置信息确定所述待处理视频帧中所述目标对象到所述电缆槽的距离；在所述待处理视频帧中所述目标对象到所述电缆槽的距离小于或等于预设的第三距离阈值的情况下，对所述摄像头的功耗模式进行切换，并在切换后的功耗模式下采集所述待处理视频帧；其中，所述待处理视频帧中所述目标对象到所述电缆槽的距离通过所述神经网络从所述待处理视频帧中检测得到；其中，切换前的功耗模式的功耗低于切换后的功耗模式的功耗。

在一些实施例中，所述摄像头包括视野范围重叠的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头的初始焦距相同，所述待处理视频帧包括所述第一摄像头采集的第一视频帧和所述第二摄像头采集的第二视频帧；所述方法还包括：确定所述第一摄像头与所述第二摄像头的重叠视野范围内的目标对象到所述电缆槽的距离；所述重叠视野范围内的目标对象到所述电缆槽的距离基于从所述第一视频帧和/或所述第二视频帧中检测的位置信息确定；在所述重叠视野范围内的目标对象到所述电缆槽的距离小于或等于预设的第四距离阈值的情况下，控制所述第一摄像头将所述初始焦距调整为目标焦距，并在所述目标焦距下采集所述第一视频帧。

在一些实施例中，所述神经网络包括分类子网络和多个检测子网络，每个检测子网络对应于目标对象的局部区域的一种类别；所述分类子网络用于确定所述待处理视频帧包括的局部区域的类别，并将所述待处理视频帧发送至对应于所述类别的检测子网络；所述多个检测子网络中的每个检测子网络用于对接收到的待处理视频帧中所述目标对象的位置信息进行检测。

在一些实施例中，所述方法还包括：在检测到所述第一事件的情况下，执行以下至少任一操作：生成报警信息；对多帧所述待处理视频帧中的至少部分待处理视频帧进行保存。

在一些实施例中，所述样本视频帧还包括区域标注信息，用于指示所述样本视频帧中的有效检测区域，所述神经网络用于对所述有效检测区域内的目标对象的位置信息进行检测。

在一些实施例中，所述样本视频帧中包括的目标对象具有第一属性信息，所述待处理视频帧中包括的目标对象具有第二属性信息，所述神经网络在基于所述样本视频帧训练之后，基于具有所述第二属性信息的目标对象的视频帧进行微调得到。

第二方面，本公开实施例提供一种检测装置，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述电缆槽周围安装有摄像头；所述装置包括：获取模块，用于获取所述视频中的待处理视频帧；第一检测模块，用于通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测；第二检测模块，用于基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

第三方面，本公开实施例提供一种检测系统，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述系统包括：摄像头，安装在所述电缆槽周围，用于采集所述电缆槽所在区域的目标视频；以及处理器，用于获取所述视频中的待处理视频帧，通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测，并基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。

第五方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

本公开实施例通过样本视频帧训练得到神经网络，并采用该神经网络检测目标对象在待处理视频帧中的位置信息，从而基于检测到的位置信息来检测第一事件。由于样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同，因此，神经网络能够有效地学习到目标对象的各个局部区域的特征，从而能够准确地检测出目标对象的位置信息，进而能够提高第一事件的检测准确度，降低对第一事件的误判率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是矿井中电缆槽所在区域的场景示意图。

图2是本公开实施例的检测方法的流程图。

图3是本公开实施例的神经网络的结构示意图。

图4是本公开实施例的摄像头的启用控制过程的示意图。

图5是本公开实施例的摄像头的功耗控制过程的示意图。

图6是本公开实施例的摄像头的焦距控制过程的示意图。

图7是本公开实施例的检测装置的框图。

图8是本公开实施例的检测系统的示意图。

图9是本公开实施例的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

随着技术的发展和机械化的普及，煤矿生产已经有了很大的发展。但对比其他能源产业，煤矿生产还需采用人工施工的开采模式。在井下作业过程中，综采工作面中电缆槽一侧属于危险区域，当工作人员等目标对象进入综采工作面中电缆槽一侧时，极易发生人员伤亡事故。因此，有必要对目标对象进入矿井中的电缆槽一侧的事件进行检测。

如图1所示，是矿井中电缆槽所在区域的场景示意图。一般通过在电缆槽周围设置一个或多个摄像头C来采集电缆槽L(如图中浅灰色部分所示)所在区域的视频，其中，摄像头C可以安装在支架R上，其视野范围内包括电缆槽所在区域。该区域内可能包括一个或多个目标对象(例如，煤矿矿井中的工作人员)M。可以基于采集的视频来确定是否发生目标对象进入矿井中的电缆槽一侧S(如图中深灰色部分所示)的事件。然而，由于井下作业环境复杂，例如，摄像头常常被煤灰所覆盖，煤矿矿井中光照不足等，上述检测方式的检测准确度较低。

基于此，本公开提供一种检测方法，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，可以预先在所述电缆槽周围安装摄像头，用于采集所述电缆槽所在区域的视频。如图2所示，所述方法包括：

步骤201：获取所述视频中的待处理视频帧；

步骤202：通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测；

步骤203：基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；

其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

其中，上述电缆槽一侧是指采煤机所在的一侧，采煤机所在的一侧具有作业空间狭小、机械设备多、视觉环境差、温度高等特点，属于危险区域。而与采煤机所在的一侧相对的另一侧则属于安全区域。因此，本公开所述的第一事件即目标对象进入采煤机所在的一侧的事件。其中，进入电缆槽一侧包括已经进入和即将进入两种状态，即包括检测目标是否对象已处于电缆槽一侧对应的区域内，以及检测目标对象是否存在进入电缆槽一侧对应的区域的意图。通过对上述两种状态进行检测，能够更加可靠地提高目标对象的安全性。

所述摄像头可以是高清摄像头。摄像头的数量可以大于或等于1，每个摄像头的视野范围覆盖电缆槽的至少一部分。在摄像头数量大于1的情况下，任意两个摄像头的视野范围可以不重叠，也可以重叠(可以是部分重叠或者完全重叠)。并且，各个摄像头的型号、拍摄参数、启用条件可以相同，也可以不同。其中，拍摄参数包括但不限于焦距、位姿、拍摄帧率等。各个摄像头的拍摄参数可以动态设置，也可以固定设置，例如，可以将摄像头的位姿参数设置为动态变化的值，从而使摄像头在拍摄视频的过程中不断地改变位姿，这样能够采用数量较少的摄像头覆盖较大的视野范围。启用条件可以基于时间设置或者预设事件设置。例如，在基于时间设置启用条件的情况下，可以在当前时间达到预设时间的情况下，启用摄像头。

各个摄像头采集图像的过程可以同步，也可以不同步。各摄像头采集的视频可以独立地进行处理，也可以联合处理。例如，在多个摄像头同步地采集视频的情况下，单个摄像头采集的视频帧中可能只包括目标对象的局部区域，因此，可以对这多个摄像头在同一时刻采集的图像进行拼接，并将拼接后的视频帧用于后续步骤进行第一事件的检测。由于拼接后的视频帧中目标对象的完整度更高，使得神经网络能够提取出更多的特征信息来检测目标对象的位置信息，从而可以提高第一事件的检测准确度。

在步骤201中，待处理视频帧可以包括摄像头采集的视频中的全部或部分视频帧，例如，可以仅将视频中满足预设条件的视频帧筛选出来作为待处理视频帧。其中，所述预设条件可以包括但不限于清晰度条件和/或目标对象的尺寸条件等。具体来说，所述清晰度条件可以是视频帧的清晰度大于或等于预设的清晰度阈值。目标对象的尺寸可以基于目标对象在视频帧中所占的像素数量或者像素比例来确定。以基于像素比例确定目标对象的尺寸为例，像素比例即为目标对象的像素数量与视频帧包括的总像素数量的比值，所述预设条件可以是像素比例大于或等于预设的比例阈值。通过筛选出满足上述预设条件的待处理视频帧，能够在步骤202中使神经网络提取出足够的有效特征，从而提高对第一事件的检测准确度。此外，通过筛选减少了数据处理量，降低了算力消耗，提高了处理效率。

在步骤202中，可以通过神经网络对待处理视频帧中目标对象的位置信息进行检测。神经网络可以基于多帧样本视频帧预先训练。其中，样本视频帧与待处理视频帧可以是同一个摄像头采集的，也可以是不同摄像头采集的。所述多帧样本视频帧可以包括至少一帧第一样本视频帧，所述第一样本视频帧中包括目标对象的局部区域。在目标对象为人的情况下，所述局部区域可以是头部、肩部、手部、腿部、足部、躯干等人体部位。一帧视频帧中可以包括一个或多个局部区域。进一步地，所述多帧样本视频帧还可以包括至少一帧第二样本视频帧，所述第二样本视频帧中不包括目标对象。

每帧样本视频帧中均可包括标注信息，例如，第一样本视频帧中的标注信息可以是第一样本视频帧中目标对象的局部区域的类别标注信息，用于确定局部区域的类别。进一步地，第一样本视频帧中的标注信息还包括第一样本视频帧中的局部区域的位置标注信息，用于确定所述局部区域的位置。第一样本视频帧和第二样本视频帧中的标注信息还可以包括用于指示视频帧中是否包括目标对象的指示信息。在一些实施例中，如果视频帧中不包括目标对象，但是包括属性(例如形状、颜色等)与目标对象的属性接近的其他对象，从而可能导致神经网络对目标对象发生误检测，可以将该视频帧作为第二样本视频帧来训练神经网络，从而提高神经网络的检测准确度。

至少两帧样本视频帧包括的局部区域不同，例如，一帧样本视频帧中包括头部，另一帧样本视频帧中包括足部。为了提高神经网络的学习能力，样本视频帧中包括的局部区域可以尽可能地丰富。例如，第一组样本视频帧包括头部区域，第二组样本视频帧包括手部区域，第三组样本视频帧包括足部区域，第四组样本视频帧包括臀部区域等等，其中，每组样本视频帧包括至少一帧视频帧。进一步地，每组样本视频帧可以包括对应区域的多个角度的视频帧，例如，第一组样本视频帧包括以下视频帧：包括头部的正面的视频帧、包括头部的侧面的视频帧，以及包括头部的背面的视频帧。

在一些实施例中，所述样本视频帧还包括区域标注信息，用于指示所述样本视频帧中的有效检测区域，所述神经网络用于对所述有效检测区域内的目标对象的位置信息进行检测。其中，有效检测区域可以是电缆槽及其周围的区域，包括一个或多个区块。距电缆槽较远的区域，或者矿井顶部等区域则为有效检测区域以外的区域。通过预先标注有效检测区域，使神经网络只对有效检测区域内的目标对象的位置信息进行检测，这样，提高了检测效率。

在一些实施例中，如图3所示，神经网络包括分类子网络和多个检测子网络，每个检测子网络对应于目标对象的局部区域的一种类别；所述分类子网络用于确定所述待处理视频帧包括的局部区域的类别，并将所述待处理视频帧发送至对应于所述类别的检测子网络；所述多个检测子网络中的每个检测子网络用于对接收到的待处理视频帧中所述目标对象的位置信息进行检测。例如，假设局部区域包括头部区域、手部区域和足部区域，则检测子网络的数量为3，三个检测子网络分别用于对包括头部区域的视频帧进行检测、对包括手部区域的视频帧进行检测，以及对包括足部区域的视频帧进行检测。分类子网络在获取到待处理视频帧之后，可以确定待处理视频帧中包括哪种局部区域，如果包括头部区域，则将该待处理视频帧输出至用于对包括头部区域的视频帧进行检测的检测子网络。通过采用多个检测子网络，每个检测子网络对专门的局部区域进行检测，从而能够提高检测准确度。

在一些实施例中，用于训练神经网络的样本视频帧中目标对象的属性信息(称为第一属性信息)与待处理视频帧中目标对象的属性信息(称为第二属性信息)可能不同，例如，样本视频帧中工作人员佩戴的安全帽的颜色可能与待处理视频帧中工作人员佩戴的安全帽的颜色不同。上述属性信息的差异可能会导致神经网络的检测准确度降低，因此，为了提高神经网络的检测准确度，可以在采用样本视频帧对神经网络进行训练之后，再采用具有所述第二属性信息的目标对象的视频帧对神经网络进行微调。

在步骤203中，可以基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测，得到检测结果。检测结果中可包括用于表征第一事件是否发生的指示信息，还可以用于表征发生第一事件的待处理视频帧的帧号的指示信息。

下面对检测第一事件的具体方式进行说明。在一些实施例中，可以基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标视频帧中所述目标对象到所述电缆槽的距离之间的比值；在所述比值大于预设数值，且所述目标视频帧中所述目标对象的移动速度大于或等于所述目标视频帧之前的至少一帧待处理视频帧中所述目标对象的移动速度的情况下，确定检测到所述第一事件。所述预设数值可以基于矿井的尺寸和/或其他因素预先设置。所述比值也称为速度距离比，导致速度距离比较大的因素可能是目标对象的移动速度较快，或者目标对象距电缆槽较近。因此，在速度距离比较大的情况下，目标对象可能存在进入电缆槽一侧的意图。进一步地，本公开实施例还结合目标对象的移动速度来检测第一事件。在速度距离比已经比较大的情况下，如果目标对象仍未出现减速迹象，则说明目标对象存在进入电缆槽一侧的意图的可能性较高。

如果所述比值大于预设数值，但所述目标视频帧中目标对象的移动速度小于所述目标视频帧之前的各待处理视频帧中所述目标对象的移动速度，或者所述比值小于或等于预设数值，则说明目标对象在接近电缆槽后进行了减速，因此，目标对象存在进入电缆槽一侧的意图的可能性较低。在这种情况下，确定未检测到第一事件。本公开实施例综合考虑速度距离比和移动速度共同检测第一事件，能够获得较高的检测准确度。

在一些实施例中，还可以基于从所述目标视频帧中检测的位置信息确定所述目标视频帧中所述目标对象到所述电缆槽的距离。只有在所述目标视频帧中所述目标对象到所述电缆槽的距离小于预设的第一距离阈值的情况下，才执行基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标对象到所述电缆槽的距离之间的比值的操作。在目标对象离电缆槽较远时，其仍处于安全范围内，因此，无需对速度距离比进行检测。只有在目标对象离电缆槽较近时，其进入电缆槽一侧的危险区域的可能性才较高，因此，先基于目标对象到电缆槽的距离来确定是否需要执行确定速度距离比的操作，一方面能够减少不必要的计算，从而降低功耗，另一方面能够保证足够的检测可靠性和准确度。

在一些实施例中，所述神经网络还用于获取从所述第一视频帧中检测的第一位置信息的第一置信度和从所述第二视频帧中检测的第二位置信息的第二置信度。所述第一置信度和第二置信度与目标对象在对应视频帧中的像素数量或像素比例相关，如果目标对象在对应视频帧中的像素数量较少或者像素比例较低(可能是由于目标对象上的大多数区域在摄像头的视野范围之外，或目标对象被遮挡等原因导致的)，则神经网络难以提取出足够多的有效特征，从而影响第一事件的检测准确度。因此，可以选择置信度较高的位置信息来检测第一事件。具体来说，在所述第一置信度大于或等于所述第二置信度的情况下，基于所述第一位置信息对所述第一事件进行检测；在所述第一置信度小于所述第二置信度的情况下，基于所述第二位置信息对所述第一事件进行检测。

本公开实施例通过样本视频帧训练得到神经网络，并采用该神经网络检测目标对象在待处理视频帧中的位置信息，从而基于检测到的位置信息来检测第一事件。由于样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同，因此，神经网络能够有效地学习到目标对象的各个局部区域的特征，从而能够准确地检测出目标对象的位置信息，进而能够提高第一事件的检测准确度，降低对第一事件的误判率。

在一些实施例中，本公开还对采集视频的摄像头的工作模式进行了改进，所述工作模式包括启用条件、功耗模式、焦距切换方式等。通过改进工作模式，能够兼顾功耗与第一事件的检测准确度。下面对工作模式的改进方式进行具体说明。

在一些实施例中，上述用于采集视频的摄像头包括视野范围重叠的至少两个摄像头，所述待处理视频帧包括所述第一摄像头采集的第一视频帧和所述第二摄像头采集的第二视频帧。由于不同摄像头的位姿不同，因此，不同摄像头采集到的待处理视频帧中目标对象的角度、遮挡情况等往往也不同，通过将多个摄像头采集的视频帧共同作为待处理视频帧，可以使神经网络获取到更多的特征，从而提高第一事件的检测准确度。为了简洁，下面以视野范围重叠的摄像头的数量为2进行说明。

在一些实施例中，两个摄像头可以在不同的条件下启用。例如，参见图4，在默认情况下，可以先启用摄像头C1，通过摄像头C1单独采集第一视频帧。如果从第一视频帧中检测到第二事件，则启用摄像头C2，通过C1和C2共同采集待处理视频帧。其中，所述第二事件可以是所述第一摄像头与所述第二摄像头的重叠视野范围内的目标对象到所述电缆槽的距离小于或等于预设的第二距离阈值。在目标对象到电缆槽的距离较近的情况下，目标对象进入电缆槽一侧的风险较高，因此，可以将两个摄像头共同采集的视频帧作为待处理视频帧，并用于后续步骤进行第一事件的检测，从而提高检测准确度。所述重叠视野范围内的目标对象到所述电缆槽的距离可以从所述第一视频帧中检测得到。例如，可以获取目标对象在第一视频帧中的像素位置，并基于摄像头C1采集第一视频帧时的位姿信息将所述像素位置转换为目标对象在物理空间中的物理位置，再基于目标对象的物理位置确定目标对象到电缆槽的距离。

除了设置上述第二事件作为启用摄像头C2的依据之外，还可以设置其他的第二事件。例如，所述第二事件可以是目标对象到电缆槽的距离变化趋势为逐渐减小。可以对多帧第一视频帧中目标对象到所述电缆槽的距离进行检测，以确定所述距离变化趋势。又例如，所述第二事件可以是目标对象的移动速度大于预设的速度阈值，且移动方向朝向电缆槽。可以基于多帧第一视频帧中目标对象的位置信息确定目标对象的移动速度和移动方向。

在上述任意一种第二事件发生的情况下，说明目标对象可能存在进入电缆槽一侧的意图，此时，可以启用摄像头C2，并通过C1和C2共同采集待处理视频帧用于检测第一事件，从而提高检测准确度。而在第二事件未发生的情况下，可以仅启用一个摄像头，从而降低能耗，减少数据传输量和数据处理量。

在一些实施例中，每个摄像头均可以在多种功耗模式下进行工作。其中，功耗模式可以包括第一功耗模式(即低功耗模式)和第二功耗模式(即高功耗模式)。第一功耗模式和第二功耗模式具有以下至少任意一项特点：第一功耗模式的视频采集帧率低于第二功耗模式；第一功耗模式的图像处理算法(例如，白平衡算法、黑电平校正算法等)的复杂度低于第二功耗模式；第一功耗模式下不启用闪光灯，第二功耗模式下启用闪光灯。除此之外，两种功耗模式还可以具有其他特点，此处不再一一列举。由于第一功耗模式和第二功耗模式的上述特点，使得第一功耗模式下的功耗低于第二功耗模式下的功耗。

参见图5，对于可以在多种功耗模式下进行工作的任意一个摄像头而言，可以在所述待处理视频帧中所述目标对象到所述电缆槽的距离小于或等于预设的第三距离阈值的情况下，对所述摄像头的功耗模式进行切换，并在切换后的功耗模式下采集所述待处理视频帧；所述待处理视频帧中所述目标对象到所述电缆槽的距离通过所述神经网络从所述待处理视频帧中检测得到。其中，切换前的功耗模式的功耗低于切换后的功耗模式的功耗。在检测到目标对象距电缆槽较近时，目标对象进入电缆槽一侧的风险较高，因此，可以提高摄像头的功耗，例如，可以提高图像处理算法的复杂度，从而用更优的图像处理算法对视频帧进行处理；或者提高视频采集帧率，以采集更多的视频帧。这样，有助于神经网络提取出更多的有效特征，从而提高对第一事件的检测准确度。

除了采用第一功耗模式和第二功耗模式这两级功耗模式之外，还可以采用三级或者三级以上的功耗模式，并根据实际情况控制各个摄像头在多级功耗模式之间切换。

在一些实施例中，所述摄像头包括焦距可调的第一摄像头，且第一摄像头与第二摄像头的视野范围重叠，第二摄像头的焦距可以是固定的，也可以是可调的。参见图6，可以确定所述第一摄像头与所述第二摄像头的重叠视野范围内的目标对象到所述电缆槽的距离；在所述重叠视野范围内的目标对象到所述电缆槽的距离小于或等于预设的第四距离阈值的情况下，控制所述第一摄像头将所述初始焦距调整为目标焦距，并在所述目标焦距下采集所述第一视频帧。

其中，所述重叠视野范围内的目标对象到所述电缆槽的距离基于从所述第一视频帧和/或所述第二视频帧中检测的位置信息确定。例如，可以确定目标对象在第一视频帧中的像素位置，并将像素位置转换为物理位置，从而基于物理位置确定目标对象到电缆槽的距离。又例如，可以通过第一摄像头和第二摄像头构成双目视觉系统，基于目标对象在第一视频帧中的像素位置与在第二视频帧中的像素位置之间的差异确定目标对象的物理位置，并基于物理位置确定目标对象到电缆槽的距离。

作为一种实施方式，初始焦距可以是较小的焦距，通过采用较小的焦距，可以使摄像头获得较大的视野范围，从而较为全面地检测出视野范围内是否存在目标对象。在检测到目标对象距电缆槽较近的情况下，可以将其中一个摄像头的焦距调整为较大的值，并在较大的焦距下采集视频帧，从而能够更好地捕获到目标对象的细节信息。

在上述实施例中，第一距离阈值、第二距离阈值、第三距离阈值和第四距离阈值之间的大小关系本公开不做限制，上述各个距离阈值既可以相同，也可以不同。

在一些实施例中，在检测到第一事件的情况下，还可以生成报警信息。所述报警信息可以发送至监控中心，以使监控中心的监控人员及时获知所述第一事件。其中，所述报警信息中可以包括发生所述第一事件的时间、地点等信息。进一步地，可以预先设置多个报警级别，每种报警级别对应一种报警信息。所述报警级别可以根据第一事件中目标对象的位置信息确定。例如，在目标对象已经处于电缆槽一侧的危险区域内的情况下，报警级别为第一报警级别，可以生成第一报警级别对应的报警信息。在目标对象只是具有进入电缆槽一侧的意图，但仍未进入电缆槽一侧的危险区域的情况下，报警级别为第二报警级别，可以生成第二报警级别对应的报警信息。其中，所述第二报警级别低于所述第一报警级别。所述报警信息可以包括文本报警信息、灯光报警信息、声音报警信息等。在报警级别较高的情况下，可以生成多种报警信息，例如，同时生成文本报警信息、灯光报警信息和声音报警信息。在报警级别较低的情况下，可以仅生成一种报警信息，例如，仅生成文本报警信息。

在一些实施例中，在检测到第一事件的情况下，还可以对多帧所述待处理视频帧中的至少部分待处理视频帧进行保存。例如，在从多帧所述待处理视频帧中的目标视频帧中检测到目标对象的速度距离比大于预设数值的情况下，表明发生第一事件，可以对目标视频帧、目标视频帧之前的至少一帧待处理视频帧以及目标视频帧之后的至少一帧待处理视频帧进行保存。在一些情况下，保存的总帧数可以是(但不限于)10帧。通过保存相应的视频帧，便于监控人员查看监控记录，并可基于监控记录确定是否存在对第一事件的误检测。如果误检测率达到一定的阈值，可以重新训练神经网络。

本公开实施例的方案基于机器视觉和模式识别与跟踪理论分析煤矿井下矿机电缆槽一侧和周边环境物之间的相互关系，从而进行人员识别及预警，通过标注多个区域块进行检测，采用神经网络进行语义分割，以判断电缆槽周边的静态物及动态物是否为工作人员等目标对象。本公开可有效对人体部位进行检测，进而判断是否有人员处于电缆槽一侧的危险区域中，这样即使在视频中出现人体局部部位，例如足部，也能有效地检测工作人员在井下作业时是否处在危险区域内，并能做到及时警报。因此本公开能够有效地保障井下工作人员的生命安全及设备运行安全，同时也能监控工作人员是否存在相应的违规情况。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

参见图7，本公开还提供一种检测装置，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述电缆槽周围安装有摄像头；所述装置包括：

获取模块701，用于获取所述视频中的待处理视频帧；

第一检测模块702，用于通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测；

第二检测模块703，用于基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；

其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

参见图8，本公开还提供一种检测系统，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述系统包括：

摄像头801，安装在所述电缆槽周围，用于采集所述电缆槽所在区域的目标视频；以及

处理器802，用于获取所述视频中的待处理视频帧，通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测，并基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；

其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

其中，摄像头801的数量、安装位置、工作模式，以及处理器802所执行的方法的具体实施例等可参见前述方法实施例，此处不再赘述。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。

图9示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器901、存储器902、输入/输出接口903、通信接口904和总线905。其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

处理器901可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器901还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。

存储器902可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行。

输入/输出接口903用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口904用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线905包括一通路，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器901、存储器902、输入/输出接口903、通信接口904以及总线905，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (15)

1.一种检测方法，其特征在于，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述电缆槽周围安装有摄像头，用于采集所述电缆槽所在区域的视频；所述方法包括：

获取所述视频中的待处理视频帧；

通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测；

基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；

其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

2.根据权利要求1所述的方法，其特征在于，所述基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测，包括：

基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标视频帧中所述目标对象到所述电缆槽的距离之间的比值；

在所述比值大于预设数值，且所述目标视频帧中所述目标对象的移动速度大于或等于所述目标视频帧之前的至少一帧待处理视频帧中所述目标对象的移动速度的情况下，确定检测到所述第一事件。

3.根据权利要求2所述的方法，其特征在于，所述基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标对象到所述电缆槽的距离之间的比值，包括：

基于从所述目标视频帧中检测的位置信息确定所述目标视频帧中所述目标对象到所述电缆槽的距离；

在所述目标视频帧中所述目标对象到所述电缆槽的距离小于预设的第一距离阈值的情况下，基于从多帧所述待处理视频帧中检测的位置信息确定多帧待处理视频帧中的目标视频帧中所述目标对象的移动速度与所述目标对象到所述电缆槽的距离之间的比值。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述摄像头包括视野范围重叠的第一摄像头和第二摄像头，所述待处理视频帧包括所述第一摄像头采集的第一视频帧和所述第二摄像头采集的第二视频帧；

其中，所述第二摄像头在发生第二事件的情况下开始采集所述第二视频帧；

所述第二事件为所述第一摄像头与所述第二摄像头的重叠视野范围内的目标对象到所述电缆槽的距离小于或等于预设的第二距离阈值，所述重叠视野范围内的目标对象到所述电缆槽的距离通过所述神经网络对所述第一视频帧进行检测得到。

5.根据权利要求4所述的方法，其特征在于，所述神经网络还用于获取从所述第一视频帧中检测的第一位置信息的第一置信度和从所述第二视频帧中检测的第二位置信息的第二置信度；所述基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测，包括：

在所述第一置信度大于或等于所述第二置信度的情况下，基于所述第一位置信息对所述第一事件进行检测；

在所述第一置信度小于所述第二置信度的情况下，基于所述第二位置信息对所述第一事件进行检测。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：

基于从所述待处理视频帧中检测的位置信息确定所述待处理视频帧中所述目标对象到所述电缆槽的距离；

在所述待处理视频帧中所述目标对象到所述电缆槽的距离小于或等于预设的第三距离阈值的情况下，对所述摄像头的功耗模式进行切换，并在切换后的功耗模式下采集所述待处理视频帧；其中，所述待处理视频帧中所述目标对象到所述电缆槽的距离通过所述神经网络从所述待处理视频帧中检测得到；

其中，切换前的功耗模式的功耗低于切换后的功耗模式的功耗。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述摄像头包括视野范围重叠的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头的初始焦距相同，所述待处理视频帧包括所述第一摄像头采集的第一视频帧和所述第二摄像头采集的第二视频帧；所述方法还包括：

确定所述第一摄像头与所述第二摄像头的重叠视野范围内的目标对象到所述电缆槽的距离；所述重叠视野范围内的目标对象到所述电缆槽的距离基于从所述第一视频帧和/或所述第二视频帧中检测的位置信息确定；

在所述重叠视野范围内的目标对象到所述电缆槽的距离小于或等于预设的第四距离阈值的情况下，控制所述第一摄像头将所述初始焦距调整为目标焦距，并在所述目标焦距下采集所述第一视频帧。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述神经网络包括分类子网络和多个检测子网络，每个检测子网络对应于目标对象的局部区域的一种类别；

所述分类子网络用于确定所述待处理视频帧包括的局部区域的类别，并将所述待处理视频帧发送至对应于所述类别的检测子网络；

所述多个检测子网络中的每个检测子网络用于对接收到的待处理视频帧中所述目标对象的位置信息进行检测。

9.根据权利要求1至8任意一项所述的方法，其特征在于，所述方法还包括：

在检测到所述第一事件的情况下，执行以下至少任一操作：

生成报警信息；

对多帧所述待处理视频帧中的至少部分待处理视频帧进行保存。

10.根据权利要求1至9任意一项所述的方法，其特征在于，所述样本视频帧还包括区域标注信息，用于指示所述样本视频帧中的有效检测区域，所述神经网络用于对所述有效检测区域内的目标对象的位置信息进行检测。

11.根据权利要求1至10任意一项所述的方法，其特征在于，所述样本视频帧中包括的目标对象具有第一属性信息，所述待处理视频帧中包括的目标对象具有第二属性信息，所述神经网络在基于所述样本视频帧训练之后，基于具有所述第二属性信息的目标对象的视频帧进行微调得到。

12.一种检测装置，其特征在于，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述电缆槽周围安装有摄像头，用于采集所述电缆槽所在区域的视频；所述装置包括：

获取模块，用于获取所述视频中的待处理视频帧；

第一检测模块，用于通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测；

第二检测模块，用于基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；

其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

13.一种检测系统，其特征在于，用于检测目标对象进入矿井中的电缆槽一侧的第一事件，所述系统包括：

摄像头，安装在所述电缆槽周围，用于采集所述电缆槽所在区域的目标视频；以及

处理器，用于获取所述视频中的待处理视频帧，通过神经网络对所述待处理视频帧中所述目标对象的位置信息进行检测，并基于从多帧所述待处理视频帧中检测的位置信息对所述第一事件进行检测；

其中，所述神经网络基于多帧样本视频帧训练得到，所述多帧样本视频中的至少部分样本视频帧包括所述目标对象的局部区域以及所述局部区域对应的类别标注信息，且至少两帧样本视频帧包括的局部区域的类别不同。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至11任意一项所述的方法。

15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至11任意一项所述的方法。

Images