CN113901946A - 一种异常行为检测的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种异常行为检测的方法、装置、电子设备及存储介质，其中，该方法包括：获取在预设管理区域内采集的视频帧；检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象；根据位于阻碍对象两侧的目标对象之间的距离，将位于阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含目标对象检测对的目标视频帧区域；利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测。本公开中的目标视频帧区域对应的可以是存在异常行为的区域，避免了其它无关区域对于异常行为检测的影响，检测的准确率较高，且由于利用训练好的行为检测神经网络直接进行异常检测，显著提升了检测效率。

Description

一种异常行为检测的方法、装置、电子设备及存储介质

技术领域

本公开涉及安防技术领域，具体而言，涉及一种异常行为检测的方法、装置、电子设备及存储介质。

背景技术

随着科技的发展和城市智能化的推进，视频的应用也越来越普及，逐渐被应用到商场、交通路口、银行和车站等场所，以保障所拍摄区域中人员的人身与财产安全。

对拍摄区域进行异常行为检测是计算机视觉领域的一个重要问题，例如检测非法行为，交通事故和其他异常事件等。然而，拍摄区域中大多数的摄像头用于记录，而没有起到自动识别异常行为的能力，往往需要通过人工值守的方式进行实时异常识别，并通过回溯查看来追溯异常，这样的方式效率极低。

发明内容

本公开实施例至少提供一种异常行为检测的方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种异常行为检测的方法，所述方法包括：

获取在预设管理区域内采集的视频帧；

检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象；

根据位于所述阻碍对象两侧的目标对象之间的距离，将位于所述阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含所述目标对象检测对的目标视频帧区域；

利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测。

采用上述异常行为检测的方法，对于获取的视频帧，可以首先检测视频帧中的阻碍对象以及位于阻碍对象两侧的目标对象，然后可以基于位于阻碍对象两侧的目标对象之间的距离进行目标对象的配对，以确定包含目标对象检测对的目标视频帧区域，最后可以利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测。本公开在进行异常行为检测的过程中，采用的是基于目标对象配对所形成的目标视频帧区域，该目标视频帧区域对应的可以是存在异常行为的区域，避免了其它无关区域对于异常行为检测的影响，检测的准确率较高，且由于利用训练好的行为检测神经网络直接进行异常检测，显著提升了检测效率。

在一种可能的实施方式中，在所述阻碍对象为阻挡物，所述目标对象为行人的情况下，所述检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象，包括：

利用训练好的阻挡物检测神经网络对所述视频帧进行阻碍对象检测，得到阻碍对象所属的阻碍对象检测标志；以及，利用训练好的行人检测神经网络对所述目标视频帧进行目标对象检测，得到目标对象对应的目标对象检测框；

所述根据位于所述阻碍对象两侧的目标对象之间的距离，将位于所述阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对，包括：

针对位于所述阻碍对象一侧的第一目标对象，基于位于另一侧的至少一个第二目标对象的目标对象检测框，与所述第一目标对象的目标对象检测框之间的距离，从所述至少一个第二目标对象中确定与所述第一目标对象配对的第二目标对象。

这里，可以分别利用训练好的阻挡物检测神经网络以及训练好的行人检测神经网络进行阻碍对象以及目标对象的检测，检测效率较高。然后基于检测得到的目标对象检测框之间的距离确定配对情况，使得配对的两个目标对象检测框尽可能的涵盖异常行为，例如，在配对的两个目标对象检测框比较近的情况下，一定程度上可以说明两个行人存在递物的违规行为，这将进一步提升异常检测的准确率。

在一种可能的实施方式中，在计算位于另一侧的至少一个第二目标对象的目标对象检测框，与所述第一目标对象的目标对象检测框之间的距离之前，所述方法还包括：

按照预设放大比例对所述第一目标对象的目标对象检测框，以及位于另一侧的至少一个第二目标对象的目标对象检测框分别进行尺寸放大处理。

这里，通过检测框的放大操作一定程度上可以扩大检测框之间的距离对于异常行为检测的影响程度，提升检测准确率。

在一种可能的实施方式中，在所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框所对应的两个目标对象检测框均为矩形框的情况下，所述两个目标对象检测框之间的距离为根据以下步骤确定的：

从所述两个目标对象检测框中，选取属于不同目标对象检测框的、且距离最小的两条目标检测线；

将所述两条目标检测线之间的距离，作为所述两个目标对象检测框之间的距离。

在一种可能的实施方式中，所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框之间的距离为根据以下步骤确定的：

从所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框中分别选取对应的距离参考标志；

将两个所述距离参考标志之间的距离，确定为所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框之间的距离。

在一种可能的实施方式中，在获取的视频帧为视频片段的情况下，所述检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象，包括：

从所述视频片段中按时序选取多帧视频帧，得到目标视频序列；

针对所述目标视频序列中的每个目标视频帧，检测所述目标视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象。

这里，考虑到连续视频帧中存在相似帧的可能性，这里可以首先进行视频帧筛选操作，而后再进行目标对象检测，以更好的捕捉异常行为。

在一种可能的实施方式中，所述从所述视频片段中按时序选取多帧视频帧，得到目标视频序列，包括：

按照预设划分间隔将所述视频片段划分为多个视频帧组；

针对所述多个视频帧组中每个视频帧组，从所述视频帧组中选取一个视频帧，作为所述目标视频序列中的一个目标视频帧；

按照时序将所述多个视频帧组分别选取的视频帧进行组合，得到所述目标视频序列。

在一种可能的实施方式中，所述利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测，包括：

将每个所述目标视频帧对应的所述目标视频帧区域依次输入训练好的行为检测神经网络，确定出现异常行为的目标视频帧，以及所述目标对象在所述出现异常行为的目标视频帧中的位置信息。

在一种可能的实施方式中，按照如下步骤训练所述行为检测神经网络：

获取多帧视频帧样本；

将所述多帧视频帧样本作为待训练的行为检测神经网络的输入数据，将针对所述多帧视频帧样本标注的异常行为指示标签作为所述待训练的行为检测神经网络的输出结果的对比监督数据，对所述待训练的行为检测神经网络进行至少一轮网络训练，得到训练好的行为检测神经网络。

在一种可能的实施方式中，在所述利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测之后，所述方法还包括如下至少一项：

向管理终端发送进行异常行为检测得到的检测结果；

基于所述进行异常行为检测得到的检测结果，生成警报提示信息。

第二方面，本公开实施例还提供了一种异常行为检测的装置，所述装置包括：

获取模块，用于获取在预设管理区域内采集的视频帧；

第一检测模块，用于检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象；

确定模块，用于根据位于所述阻碍对象两侧的目标对象之间的距离，将位于所述阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含所述目标对象检测对的目标视频帧区域；

第二检测模块，用于利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的异常行为检测的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的异常行为检测的方法的步骤。

关于上述异常行为检测的装置、电子设备、及计算机可读存储介质的效果描述参见上述异常行为检测的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种异常行为检测的方法的流程图；

图2示出了本公开实施例所提供的一种异常行为检测的装置的示意图；

图3示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，拍摄区域中大多数的摄像头用于记录，而没有起到自动识别异常行为的能力，往往需要通过人工值守的方式进行实时异常识别，并通过回溯查看来追溯异常，这样的方式效率极低。

此外，随着视频大数据的日益发展，产生了巨大的视频数量，仅靠人力去过滤视频中的内容是不现实的。因此，如何利用计算机视觉和深度学习技术来自动检测发生在视频中的异常事件成为急需解决的问题。

人们往往可以通过常识以及对物体在空间中的地理位置来进行异常行为的识别。例如，我们可以通过确认栏杆两侧的人在栏杆上方移动物品，来确定异常行为的发生。然而，对于机器来说，它们没有常识，只有视觉的特征。因此，视觉特征越强，一定程度上说明所得到的异常检测性能就越好。而采用计算机视觉识别异常事件也是极其困难的。可能的挑战包括由于小概率事件导致标注数据的稀缺，类间/类内方差大，异常事件的主观定义差别，拍摄的视频的分辨率较低，等等。

对于智慧城市场景下的隔栏递物异常行为检测，如何能在拍摄视角下定位到行人是一个需要被解决的挑战。通过解决该问题，可以对拍摄场景下视频内容中异常事件进行自动分析，从而为相关部门提供便捷服务。

基于上述研究，本公开提供了一种基于目标对象配对实现目标视频帧区域检测的异常行为检测的方法、装置、电子设备及存储介质，检测的效率和准确率均较高。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种异常行为检测的方法进行详细介绍，本公开实施例所提供的异常行为检测的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该异常行为检测的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的异常行为检测的方法的流程图，方法包括步骤S101～S104，其中：

S101：获取在预设管理区域内采集的视频帧；

S102：检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象；

S103：根据位于阻碍对象两侧的目标对象之间的距离，将位于阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含目标对象检测对的目标视频帧区域；

S104：利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测。

为了便于理解本公开实施例提供的异常行为检测的方法，接下来对该方法的应用场景进行简单介绍。本公开实施例中的异常行为检测的方法主要可以应用于智慧城市领域，例如，可以是针对地铁内行人越过护栏传递未过安检物品的异常行为检测，也可以是针对学校护栏处学生打架的异常行为检测，等等，这里不做具体的限制。

相关技术中，大多通过设置专门工作人员值守的方式来进行异常识别，费时费力，且人工监管下，由于出现跑神、临时不在岗等情况而导致无法及时的捕捉到异常行为，适用性较差。

正是为了解决上述问题，本公开实施例才提供了一种基于目标对象配对并进行相关目标视频帧区域的异常行为检测的方法、装置、电子设备及存储介质，以提升异常行为检测的效率和准确率。

其中，针对不同的应用场景，这里的预设管理区域也不同，也即，基于不同的应用场景，上述预设管理区域的范围可灵活设置。以应用于地铁场景为例，这里的预设管理区域可以是地铁进站口的附近区域。视频帧则可以是能够抓拍到上述预设管理区域的摄像装置拍摄的，可以是单帧，也可以是连续多帧。为了更好的捕捉异常行为，这里可以采用的是连续多帧的视频帧，例如，可以是一个视频片段。

在采集到视频帧的情况下，本公开实施首先可以检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象，而后将位于阻碍对象两侧的目标对象进行配对，得到目标对象检测对。

有关目标对象的检测，这里一方面可以是基于图像处理方法得到的，另一方面可以是基于训练好的检测神经网络检测得到的，由于检测神经网络可以挖掘出目标对象更深维度的特征，一定程度上可以提升检测的准确度，因而，这里可以采用检测神经网络进行有关阻碍对象和目标对象的检测。

这里，考虑到传统的行为识别方法通常对输入视频序列进行全图的数据增强或其他预处理后送入到分类模型中进行预测，常见于公开的视频学术数据集中。然而这种方式只适用于以人为中心的视频行为识别，对于特定场景下摄像头拍摄的视频来说，往往包含更多的信息，覆盖的视野也更大。同时，目标的事件发生位置和人体尺度也具有随机性。因此，简单地以全图作为模型的输入是不合理的。

基于此，本公开实施例在进行异常行为检测之前，可以先进行目标对象的配对，而后基于配对结果确定目标视频帧区域以实现针对目标视频帧区域的异常行为检测，通过目标视频帧帧区域而非全图的行为检测，可以尽可能的提升捕捉到异常行为的概率和准确率。

其中，上述有关阻碍对象的配对可以是基于位于阻碍对象两侧的目标对象之间的距离来确定，这主要是为了实现针对隔栏递物这一异常行为的检测，距离越近，一定程度上说明两个目标对象跨过阻碍对象进行异常行为的概率也就越高，反之，距离越远，一定程度上说明两个目标对象跨过阻碍对象进行异常行为的概率也就越低。

这里，可以基于训练好的行为检测神经网络对目标视频帧区域进行异常行为检测，也即，对于距离较近的两个目标对象所配对得到的目标视频帧区域而言，存在异常行为的可能性更大。

本公开实施例中的阻碍对象可以是阻挡物，例如栏杆、护栏等，目标对象可以是行人，这里，可以利用训练好的阻挡物检测神经网络对视频帧进行阻碍对象检测，得到阻碍对象所属的阻碍对象检测标志；以及，利用训练好的行人检测神经网络对目标视频帧进行目标对象检测，得到目标对象对应的目标对象检测框。

其中，有关阻挡物检测神经网络可以是基于视频帧样本以及针对该视频帧样本进行阻挡物标注得到的标注信息训练得到的，训练的可以是有关视频帧样本与视频帧样本中的阻挡物位置、大小、方向等信息之间的关系。这里的阻碍对象检测标志，可以是检测线，也可以是检测框。

另外，有关行人检测神经网络可以是基于视频帧样本以及针对该视频帧样本进行行人标注得到的标注信息训练得到的，训练的可以是有关视频帧样本与视频帧样本中的行人位置等信息之间的关系。

针对隔栏递物行为而言，还需要考虑行人和阻挡物之间的相对位置关系。这里，可以针对位于阻碍对象一侧的第一目标对象，基于位于另一侧的至少一个第二目标对象的目标对象检测框，与第一目标对象的目标对象检测框之间的距离，从至少一个第二目标对象中确定与第一目标对象配对的第二目标对象。

其中，上述第一目标对象可以是阻碍对象一侧包括的各个第一目标对象中的任一个目标对象，也可以是从各个第一目标对象中指定的一个目标对象，本公开实施例对此不做具体的限制。

本公开实施例中的目标对象检测框可以是规则的矩形框，还可以是规则的其它形状，例如，可以是圆形框，椭圆形框等，除此之外，在实际应用中，还可以是仅包含目标对象的不规则检测框。

在第一目标对象的目标对象检测框以及另一侧的第二目标对象的目标对象检测框)这两个目标检测框均为矩形框的情况下，这里，可以从两个目标对象检测框中，选取属于不同目标对象检测框的、且距离最小的两条目标检测线，继而将两条目标检测线之间的距离，作为两个目标对象检测框之间的距离。

在具体应用中，可以分别确定两个目标对象检测框在视频帧中的坐标信息，而后确定每个目标对象检测框包括的目标检测线的位置信息，继而选取出上述距离最小的两条来自于不同目标对象检测框的目标检测线。

另外，本公开实施例中还可以先从第二目标对象的目标对象检测框与第一目标对象的目标对象检测框中分别选取对应的距离参考标志，而后基于两个距离参考标志之间的距离，确定两个目标对象检测框之间的距离。其中，上述距离参考标志可以是检测框中心点，也可以是检测框中线，还可以是其它具有距离参考意义的标志，在此不做具体的限制。

为了更为快速的实现目标对象的配对，本公开实施例在进行距离计算之前，可以先对目标对象检测框进行放大操作。也即，可以按照预设放大比例对第一目标对象的目标对象检测框，以及位于另一侧的至少一个第二目标对象的目标对象检测框分别进行尺寸放大处理，进而通过确定放大处理后的两个目标对象检测框之间的距离来实现配对。

在具体应用中，可以对各个目标对象检测框外扩1.5，还可以是1倍、2倍、3倍等，然后对栏杆一侧的行人而言，可以通过该行人对应的行人检测框，找到与其距离最近的对侧的行人检测框，确定可能发生隔栏递物的对侧行人。

需要说明的是，位于不同侧的多个目标对象而言，这里可以同步进行放大操作，从而使得各个目标对象检测框处于同一参考水平，提升后续配对的准确性。

本公开实施例中的视频帧采用的可以是连续多帧的视频片段。考虑到视频片段各帧之间的连续特性，这里可以先进行视频帧抽取操作，再进行目标对象的检测，具体可以通过如下步骤来实现：

步骤一、从视频片段中按时序选取多帧视频帧，得到目标视频序列；

步骤二、针对目标视频序列中的每个目标视频帧，检测目标视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象。

其中，有关目标视频帧的目标对象检测方法可以参见上述针对视频帧进行目标对象检测的具体描述，在此不再赘述。

本公开实施例中，可以通过如下步骤确定目标视频序列：

步骤一、按照预设划分间隔将视频片段划分为多个视频帧组；

步骤二、针对多个视频帧组中每个视频帧组，从视频帧组中选取一个视频帧，作为目标视频序列中的一个目标视频帧；

步骤三、按照时序将多个视频帧组分别选取的视频帧进行组合，得到目标视频序列。

这里的预设划分间隔可以是有关时间间隔，例如，可以是每隔0.5秒划分一个视频帧组，还可以是有关帧数间隔，例如，可以是每隔5帧划分一个视频帧组，还可以是其它划分方式，在此不做具体的限制。

通过划分的视频帧组所选取出的目标视频帧，在确保可以检测出更多行为信息的前提下，一定程度上还降低了计算量。

针对目标视频帧而言，可以按照上述方法确定配对的目标对象，继而确定包含目标对象检测对的目标视频帧区域。这里的目标视频帧区域除了包含目标对象检测对，还包含介于两个目标对象之间的阻碍对象。

本公开实施例提供的异常行为检测的方法，可以将每个目标视频帧对应的目标视频帧区域依次输入训练好的行为检测神经网络，确定出现异常行为的目标视频帧，以及目标对象在出现异常行为的目标视频帧中的位置信息。

在具体应用中，可以将目标视频帧区域从对应的目标视频帧中抠出，直接将抠出的视频帧区域输入到训练好的行为检测神经网络进行异常行为检测。

这里的异常行为检测可以确定的是目标对象在出现异常行为的目标视频帧中的位置信息，从而便于管理人员及时进行异常情况的处理。

本公开实施例中可以是基于训练好的行为检测神经网络实现的异常行为检测，这里，可以按照如下步骤训练行为检测神经网络：

步骤一、获取多帧视频帧样本；

步骤二、将多帧视频帧样本作为待训练的行为检测神经网络的输入数据，将针对多帧视频帧样本标注的异常行为指示标签作为待训练的行为检测神经网络的输出结果的对比监督数据，对待训练的行为检测神经网络进行至少一轮网络训练，得到训练好的行为检测神经网络。

这里，可以基于多帧视频帧样本标注的异常行为指示标签进行行为检测神经网络的对比监督数据，在网络输出结果越趋近于这一监督数据的情况下，说明网络的性能越好，反之，在网络输出结果越远离于这一监督数据的情况下，说明网络的性能不够好，需要再次进行网络训练。

其中，上述异常行为指示标签可以是有关具体的异常行为标识，例如标识为1的递物行为、标识为2的打架行为等。

本公开实施例提供的异常行为检测的方法，在进行异常行为检测之后，还可以将进行异常行为检测得到的检测结果发送至管理终端，管理终端基于检测结果可以迅速掌握异常行为，从而可以快速做出响应。

除此之外，本公开实施例还可以基于检测结果生成警报提示信息，可以通过语音播报等方式提醒管理人员及时做出响应，在具体应用中还可以针对不同的检测结果生成不同提醒力度的提示信息，例如，对于地铁场景下传递普通货品的异常行为，可以通过普通提示方式来提示，对于地铁场景下传递危险货品的异常行为，则可以通过强提醒方式来提示。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与异常行为检测的方法对应的异常行为检测的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述异常行为检测的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图2所示，为本公开实施例提供的一种异常行为检测的装置的示意图，装置包括：获取模块201、第一检测模块202、确定模块203和第二检测模块204；其中，

获取模块201，用于获取在预设管理区域内采集的视频帧；

第一检测模块202，用于检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象；

确定模块203，用于根据位于阻碍对象两侧的目标对象之间的距离，将位于阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含目标对象检测对的目标视频帧区域；

第二检测模块204，用于利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测。

采用上述异常行为检测的装置，对于获取的视频帧，可以首先检测视频帧中的阻碍对象以及位于阻碍对象两侧的目标对象，然后可以基于位于阻碍对象两侧的目标对象之间的距离进行目标对象的配对，以确定包含目标对象检测对的目标视频帧区域，最后可以利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测。本公开在进行异常行为检测的过程中，采用的是基于目标对象配对所形成的目标视频帧区域，该目标视频帧区域对应的可以是存在异常行为的区域，避免了其它无关区域对于异常行为检测的影响，检测的准确率较高，且由于利用训练好的行为检测神经网络直接进行异常检测，显著提升了检测效率。

在一种可能的实施方式中，在阻碍对象为阻挡物，目标对象为行人的情况下，第一检测模块202，用于按照如下步骤检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象：

利用训练好的阻挡物检测神经网络对视频帧进行阻碍对象检测，得到阻碍对象所属的阻碍对象检测标志；以及，利用训练好的行人检测神经网络对目标视频帧进行目标对象检测，得到目标对象对应的目标对象检测框；

确定模块203，用于按照如下步骤根据位于阻碍对象两侧的目标对象之间的距离，将位于阻碍对象两侧的目标对象进行配对，得到目标对象检测对：

针对位于阻碍对象一侧的第一目标对象，基于位于另一侧的至少一个第二目标对象的目标对象检测框，与第一目标对象的目标对象检测框之间的距离，从至少一个第二目标对象中确定与第一目标对象配对的第二目标对象。

在一种可能的实施方式中，确定模块203，还用于：

在计算位于另一侧的至少一个第二目标对象的目标对象检测框，与第一目标对象的目标对象检测框之间的距离之前，按照预设放大比例对第一目标对象的目标对象检测框，以及位于另一侧的至少一个第二目标对象的目标对象检测框分别进行尺寸放大处理。

在一种可能的实施方式中，在第二目标对象的目标对象检测框与第一目标对象的目标对象检测框所对应的两个目标对象检测框均为矩形框的情况下，确定模块203，用于按照如下步骤确定两个目标对象检测框之间的距离：

从两个目标对象检测框中，选取属于不同目标对象检测框的、且距离最小的两条目标检测线；

将两条目标检测线之间的距离，作为两个目标对象检测框之间的距离。

在一种可能的实施方式中，第二目标对象的目标对象检测框与第一目标对象的目标对象检测框之间的距离为根据以下步骤确定的：

从第二目标对象的目标对象检测框与第一目标对象的目标对象检测框中分别选取对应的距离参考标志；

将两个距离参考标志之间的距离，确定为第二目标对象的目标对象检测框与第一目标对象的目标对象检测框之间的距离。

在一种可能的实施方式中，在获取的视频帧为视频片段的情况下，第一检测模块202，用于按照如下步骤检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象：

从视频片段中按时序选取多帧视频帧，得到目标视频序列；

针对目标视频序列中的每个目标视频帧，检测目标视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象。

在一种可能的实施方式中，第一检测模块202，用于按照如下步骤从视频片段中按时序选取多帧视频帧，得到目标视频序列：

按照预设划分间隔将视频片段划分为多个视频帧组；

针对多个视频帧组中每个视频帧组，从视频帧组中选取一个视频帧，作为目标视频序列中的一个目标视频帧；

按照时序将多个视频帧组分别选取的视频帧进行组合，得到目标视频序列。

在一种可能的实施方式中，第二检测模块204，用于按照如下步骤利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测：

将每个目标视频帧对应的目标视频帧区域依次输入训练好的行为检测神经网络，确定出现异常行为的目标视频帧，以及目标对象在出现异常行为的目标视频帧中的位置信息。

在一种可能的实施方式中，第二检测模块204，用于按照如下步骤训练行为检测神经网络：

获取多帧视频帧样本；

将多帧视频帧样本作为待训练的行为检测神经网络的输入数据，将针对多帧视频帧样本标注的异常行为指示标签作为待训练的行为检测神经网络的输出结果的对比监督数据，对待训练的行为检测神经网络进行至少一轮网络训练，得到训练好的行为检测神经网络。

在一种可能的实施方式中，第二检测模块204，还用于在利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测之后，向管理终端发送进行异常行为检测得到的检测结果；和/或，基于进行异常行为检测得到的检测结果，生成警报提示信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图3所示，为本公开实施例提供的电子设备结构示意图，包括：处理器301、存储器302、和总线303。存储器302存储有处理器301可执行的机器可读指令(比如，图2中的装置中获取模块201、第一检测模块202、确定模块203、第二检测模块204对应的执行指令等)，当电子设备运行时，处理器301与存储器302之间通过总线303通信，机器可读指令被处理器301执行时执行如下处理：

获取在预设管理区域内采集的视频帧；

检测视频帧中的阻碍对象，以及位于阻碍对象两侧的目标对象；

根据位于阻碍对象两侧的目标对象之间的距离，将位于阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含目标对象检测对的目标视频帧区域；

利用训练好的行为检测神经网络对目标视频帧区域进行异常行为检测。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的异常行为检测的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的异常行为检测的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种异常行为检测的方法，其特征在于，所述方法包括：

获取在预设管理区域内采集的视频帧；

检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象；

根据位于所述阻碍对象两侧的目标对象之间的距离，将位于所述阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含所述目标对象检测对的目标视频帧区域；

利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测。

2.根据权利要求1所述的方法，其特征在于，在所述阻碍对象为阻挡物，所述目标对象为行人的情况下，所述检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象，包括：

利用训练好的阻挡物检测神经网络对所述视频帧进行阻碍对象检测，得到阻碍对象所属的阻碍对象检测标志；以及，利用训练好的行人检测神经网络对所述目标视频帧进行目标对象检测，得到目标对象对应的目标对象检测框；

所述根据位于所述阻碍对象两侧的目标对象之间的距离，将位于所述阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对，包括：

针对位于所述阻碍对象一侧的第一目标对象，基于位于另一侧的至少一个第二目标对象的目标对象检测框，与所述第一目标对象的目标对象检测框之间的距离，从所述至少一个第二目标对象中确定与所述第一目标对象配对的第二目标对象。

3.根据权利要求2所述的方法，其特征在于，在计算位于另一侧的至少一个第二目标对象的目标对象检测框，与所述第一目标对象的目标对象检测框之间的距离之前，所述方法还包括：

按照预设放大比例对所述第一目标对象的目标对象检测框，以及位于另一侧的至少一个第二目标对象的目标对象检测框分别进行尺寸放大处理。

4.根据权利要求2或3所述的方法，其特征在于，在所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框所对应的两个目标对象检测框均为矩形框的情况下，所述两个目标对象检测框之间的距离为根据以下步骤确定的：

从所述两个目标对象检测框中，选取属于不同目标对象检测框的、且距离最小的两条目标检测线；

将所述两条目标检测线之间的距离，作为所述两个目标对象检测框之间的距离。

5.根据权利要求2或3所述的方法，其特征在于，所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框之间的距离为根据以下步骤确定的：

从所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框中分别选取对应的距离参考标志；

将两个所述距离参考标志之间的距离，确定为所述第二目标对象的目标对象检测框与所述第一目标对象的目标对象检测框之间的距离。

6.根据权利要求1至5任一所述的方法，其特征在于，在获取的视频帧为视频片段的情况下，所述检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象，包括：

从所述视频片段中按时序选取多帧视频帧，得到目标视频序列；

针对所述目标视频序列中的每个目标视频帧，检测所述目标视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象。

7.根据权利要求6所述的方法，其特征在于，所述从所述视频片段中按时序选取多帧视频帧，得到目标视频序列，包括：

按照预设划分间隔将所述视频片段划分为多个视频帧组；

针对所述多个视频帧组中每个视频帧组，从所述视频帧组中选取一个视频帧，作为所述目标视频序列中的一个目标视频帧；

按照时序将所述多个视频帧组分别选取的视频帧进行组合，得到所述目标视频序列。

8.根据权利要求6或7所述的方法，其特征在于，所述利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测，包括：

将每个所述目标视频帧对应的所述目标视频帧区域依次输入训练好的行为检测神经网络，确定出现异常行为的目标视频帧，以及所述目标对象在所述出现异常行为的目标视频帧中的位置信息。

9.根据权利要求1至8任一所述的方法，其特征在于，按照如下步骤训练所述行为检测神经网络：

获取多帧视频帧样本；

将所述多帧视频帧样本作为待训练的行为检测神经网络的输入数据，将针对所述多帧视频帧样本标注的异常行为指示标签作为所述待训练的行为检测神经网络的输出结果的对比监督数据，对所述待训练的行为检测神经网络进行至少一轮网络训练，得到训练好的行为检测神经网络。

10.根据权利要求1至9任一所述的方法，其特征在于，在所述利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测之后，所述方法还包括如下至少一项：

向管理终端发送进行异常行为检测得到的检测结果；

基于所述进行异常行为检测得到的检测结果，生成警报提示信息。

11.一种异常行为检测的装置，其特征在于，所述装置包括：

获取模块，用于获取在预设管理区域内采集的视频帧；

第一检测模块，用于检测所述视频帧中的阻碍对象，以及位于所述阻碍对象两侧的目标对象；

确定模块，用于根据位于所述阻碍对象两侧的目标对象之间的距离，将位于所述阻碍对象不同侧的多个目标对象进行配对，得到目标对象检测对；并确定包含所述目标对象检测对的目标视频帧区域；

第二检测模块，用于利用训练好的行为检测神经网络对所述目标视频帧区域进行异常行为检测。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的异常行为检测的方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的异常行为检测的方法的步骤。

Images