CN110648352B - 一种异常事件的检测方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种异常事件的检测方法、装置及电子设备，所述方法包括：利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；基于所述特征目标和所述前景目标确定检测目标；跟踪所述检测目标，依据跟踪结果确定异常事件。本申请可以准确识别出视频流中的目标人员和物品，从而准确地检测出包括人员尾随、人员滞留和物品遗留等异常事件。

Description

一种异常事件的检测方法、装置及电子设备

技术领域

本申请涉及图像处理领域，特别涉及一种异常事件的检测方法、装置及电子设备。

背景技术

为方便储户存取款，各银行一般会安装ATM(Automated Teller Machine，自动柜员机)机为储户提供24小时的自助服务。为保证储户能够在一个独立安全的操作空间内使用ATM机，通常情况下，ATM机外部会安装防护舱。此外，一些公用电话的外部也会安装防护舱。

防护舱给储户(或公用电话的用户)带来便利，然而，防护舱内的违法犯罪活动也时有发生，主要包括尾随抢劫、犯罪人员长时间滞留搞破坏等。此外，用户在防护舱内完成必要的业务离开后，可能会将自身携带的物品遗留在防护舱内。

如果监控人员能及时获知防护舱内发生的上述三类异常事件，可有效提升防护舱的安全性和用户体验。

在相关技术中，利用防护舱顶部的摄像头实时记录防护舱内的监控视频，然后建立防护舱的前景模型，并基于该前景模型提取前景目标(进入防护舱的人员)。进一步地，对移动的前景目标进行跟踪以判断防护舱内的人员进出情况，从而实现人员尾随和人员滞留等异常事件的判断，并向监控人员报警。

然而，通过背景建模的方法来获取前景目标，受环境影响太大，容易产生异常事件的误判，且在前景目标与背景的区分度低时，检出率较低。比如，当防护舱外光线变化或舱外人员的影子投射到舱内时，都可能产生虚假的前景目标，造成异常事件的误判；而在舱内人员的衣帽的颜色与防护舱内的背景颜色近似时，难以提取出前景目标。

发明内容

有鉴于此，本申请提供一种异常事件的检测方法、装置及电子设备，用以准确地检测出人员尾随、人员滞留和物品遗留等异常事件。

具体地，本申请是通过如下技术方案实现的：

一种异常事件的检测方法，包括：

利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；

利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；

基于所述特征目标和所述前景目标确定检测目标；

跟踪所述检测目标，依据跟踪结果确定异常事件。

在所述异常事件的检测方法中，所述基于所述特征目标和所述前景目标确定检测目标，包括：

从获取的前景目标中选择与各个特征目标无关联的前景目标；

将各个特征目标和选择的前景目标确定为所述检测目标。

在所述异常事件的检测方法中，所述从获取的前景目标中选择与各个特征目标无关联的前景目标，包括：

针对每一前景目标，计算该前景目标的目标框与每一特征目标的目标框之间交集的面积，若该前景目标的目标框与每一特征目标的目标框之间的交集的面积均小于预设的面积阈值，则确定该前景目标与各个特征目标无关联。

在所述异常事件的检测方法中，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识；

所述依据跟踪结果确定异常事件，包括：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识确定第一目标视频帧和第二目标视频帧；其中，所述第一目标视频帧为存在至少一个特征目标的视频帧，所述第二目标视频帧为存在至少两个特征目标的视频帧；

确定所述第一目标视频帧的数量是否达到预设的滞留计数阈值，如果是，确定存在滞留事件；

确定所述第二目标视频帧的数量是否达到预设的尾随计数阈值，如果是，确定存在尾随事件。

在所述异常事件的检测方法中，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标；

所述依据跟踪结果确定异常事件，包括：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标确定第三目标视频帧；其中，所述第三目标视频帧为不存在特征目标仅存在前景目标的视频帧，所述前景目标的目标框的中心点的坐标位于预设的检测区域内；

确定所述第三目标视频帧是否达到预设的遗留计数阈值，如果是，从至少一个第三目标视频帧中提取前景目标；

利用预设的CNN分类模型对提取出的所述前景目标进行分类，获得对应于N种不同前景目标类型的置信度；N大于1，N种不同前景目标类型至少包括物品、非物品；

如果N种不同前景目标类型的置信度中物品的置信度最大，则确定存在物品遗留事件。

一种异常事件的检测装置，包括：

第一获取单元，用于利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；

第二获取单元，用于利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；

第一确定单元，用于基于所述特征目标和所述前景目标确定检测目标；

第二确定单元，用于跟踪所述检测目标，依据跟踪结果确定异常事件。

在所述异常事件的检测装置中，所述第一确定单元，进一步用于：

从获取的前景目标中选择与各个特征目标无关联的前景目标；

将各个特征目标和选择的前景目标确定为所述检测目标。

在所述异常事件的检测装置中，所述第一确定单元，进一步用于：

针对每一前景目标，计算该前景目标的目标框与每一特征目标的目标框之间交集的面积，若该前景目标的目标框与每一特征目标的目标框之间的交集的面积均小于预设的面积阈值，则确定该前景目标与各个特征目标无关联。

在所述异常事件的检测装置中，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识；

所述第二确定单元，进一步用于：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识确定第一目标视频帧和第二目标视频帧；其中，所述第一目标视频帧为存在至少一个特征目标的视频帧，所述第二目标视频帧为存在至少两个特征目标的视频帧；

确定所述第一目标视频帧的数量是否达到预设的滞留计数阈值，如果是，确定存在滞留事件；

确定所述第二目标视频帧的数量是否达到预设的尾随计数阈值，如果是，确定存在尾随事件。

在所述异常事件的检测装置中，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标；

所述第二确定单元，进一步用于：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标确定第三目标视频帧；其中，所述第三目标视频帧为不存在特征目标仅存在前景目标的视频帧，所述前景目标的目标框的中心点的坐标位于预设的检测区域内；

确定所述第三目标视频帧是否达到预设的遗留计数阈值，如果是，从至少一个第三目标视频帧中提取前景目标；

利用预设的CNN分类模型对提取出的所述前景目标进行分类，获得对应于N种不同前景目标类型的置信度；N大于1，N种不同前景目标类型至少包括物品、非物品；

如果N种不同前景目标类型的置信度中物品的置信度最大，则确定存在物品遗留事件。

一种电子设备，所述电子设备搭载了处理器，以及，用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；

利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；

基于所述特征目标和所述前景目标确定检测目标；

跟踪所述检测目标，依据跟踪结果确定异常事件。

在本申请实施例中，利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；所述视频流时监控指定区域得到的视频流；利用已训练的用于前景检测的前景模型从所述视频流中获取前景目标；基于所述特征目标和所述前景目标确定检测目标；跟踪所述检测目标，依据跟踪结果确定异常事件；

由于本申请可以通过用于特征检测的卷积神经网络提取视频流中目标人员的特征目标，通过用于前景检测的前景模型从视频流中获取前景目标，并基于上述特征目标和前景目标确定检测目标，相比现有技术而言，可以更准确地识别出目标人员和物品，进而通过跟踪所述检测目标，有效地检测出包括人员尾随、人员滞留和物品遗留等异常事件。

附图说明

图1是本申请示出的一种异常事件的检测方法的流程图；

图2是本申请示出的一种异常事件的检测装置的实施例框图；

图3是本申请示出的一种电子设备的硬件结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。

参见图1，为本申请示出的一种异常事件的检测方法的流程图，包括以下步骤：

步骤101：利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流。

上述方法的执行主体可以是与监控设备(比如：监控摄像机)对接的电子设备，在示出的一种实施方式中，该电子设备可以是硬盘录像机。为方便描述本申请方案，后文以硬盘录像机为执行主体。

上述用于特征检测的CNN(Convolutional Neural Network)预先通过人员特征的训练，可以识别出视频流的视频帧出现的特征目标。在实际应用中，通常用人员的头肩对CNN进行训练，使得CNN可以识别视频帧出现的头肩目标。当然，也可以用其它人员特征(比如，四肢和躯干)训练CNN，具体可基于监控设备容易监控到的人员特征而定。

上述指定区域可以是任意可能发生异常事件的区域，上述指定区域由监控设备监控而产生视频流。对于防护舱场景而言，上述指定区域可以是防护舱的内部。

硬盘录像机从监控设备获取视频流后，利用上述已训练的CNN从上述视频流中获取人员的特征目标，用以检测视频流中出现的人员。

在实际应用中，硬盘录像机可以在特征目标表中记录获取到的特征目标的目标框的左上角的坐标、宽高和上述特征目标为人员特征的置信度。其中，上述特征目标表包括特征目标的目标框的左上角的坐标、宽、高和置信度的映射关系。

步骤102：利用预设的用于前景检测的前景模型从所述视频流中获取前景目标。

其中，上述用于前景检测的前景模型包括高斯混合模型(Gaussian MixtureModel)和ViBe(visual background extractor，视觉背景提取)算法等，上述前景模型基于所监控的指定区域的RGB(Red Green Blue，红绿蓝)信息建立，可以识别出视频流的视频帧出现的前景目标。其中，前景目标指的是相对于已建立的前景模型而言的目标。

硬盘录像机利用上述已训练的前景模型从上述视频流中获取前景目标。需要注意的是，获取到的前景目标可能人员的某一身体部位、也可能是物品，甚至是防护舱内的场景的一部分(比如：被光线照射的ATM机可能会被识别为前景目标)，因此，后续还需进一步分析确定前景目标的具体内容。

在实际应用中，硬盘录像机可以在前景目标表中记录获取到的前景目标的目标框的左上角的坐标和宽高。其中，上述前景目标表包括前景目标的左上角的坐标、宽、高的映射关系。

步骤103：基于所述特征目标和所述前景目标确定检测目标。

硬盘录像机可以基于上述特征目标和上述前景目标确定后续要跟踪的检测目标。具体地，硬盘录像机可以从获取的前景目标中选择与各个特征目标无关联的前景目标，然后将各个特征目标和选择的前景目标确定为检测目标。

在示出的一种实施方式中，硬盘录像机可以首先针对每一前景目标，计算该前景目标的目标框与每一特征目标的目标框之间交集的面积。

具体地，可以通过上述前景目标表中已记录的各前景目标的目标框的左上角的坐标和宽高确定各前景目标的目标框在视频帧中的位置和面积，以及，通过上述特征目标表中已记录的各特征目标的目标框的左上角的坐标和宽高确定各特征目标的目标框在视频帧中的位置和面积。进一步地，针对每一前景目标，确定该前景目标的目标框与每一特征目标的目标框之间交集的面积。

硬盘录像机可以判断交集的面积是否达到预设的面积阈值。

一方面，如果前景目标的目标框与每一特征目标的目标框之间的交集的面积均小于上述面积阈值，则确定该前景目标与各个特征目标无关联。换而言之，该前景目标不是人员的身体部位。

另一方面，如果前景目标的目标框与任一特征目标的目标框之间的交集的面积不小于上述面积阈值，则确定该前景目标与上述特征目标有关联。换而言之，该前景目标为上述特征目标指示的人员的身体部位。

硬盘录像机可以确定与各个特征目标无关联的前景目标和各个特征目标为检测目标，以对上述检测目标进行跟踪。

步骤104：跟踪所述检测目标，依据跟踪结果确定异常事件。

硬盘录像机可以利用多目标跟踪技术(Multiple Object Tracking/MultipleTarget Tracking)对上述检测目标的目标框的中心点进行跟踪，其中，上述检测目标的目标框中心点可以基于目标框的左上角的坐标和宽高来确定。

硬盘录像机可以在跟踪表中记录所跟踪的各检测目标的类型、各检测目标的目标框的中心点的历史坐标和检测目标所处的视频帧的视频帧标识。其中，上述历史坐标为上述检测目标的目标框的中心点在存在上述检测目标的视频流的各视频帧中的坐标。对于每一检测目标而言，硬盘录像机在跟踪过程中，会持续将存在该检测目标的视频帧中的目标框的中心点的坐标记录下来。

上述跟踪表包括检测目标的类型、目标框的中心点的历史坐标、检测目标所处的视频帧的视频帧标识的映射关系。

需要指出的是，上述检测目标的类型包括人员和非人员，其中，非人员包括物品和虚假前景(比如：人影)。由于前景目标的具体内容需进一步分析确定，作为一种实施例，硬盘录像机可以通过记录人员特征的置信度来表明特征目标的类型为人员，而前景目标的置信度暂记为零。

上述视频帧标识可以是视频帧的帧号，帧号表示视频帧在视频流中的位置，前后两帧视频帧的帧号相差一，因此，在实际应用中，可以通过记录检测目标所处的视频流的起始帧号和最新帧号，来确定存在上述检测目标所在的视频帧在视频流中的位置。

硬盘录像机依据跟踪结果确定异常事件。

在示出的一种实施方式中，硬盘录像机首先可以将预设的针对几种异常事件的时长判断阈值换算成视频帧的数量的计数阈值。

比如：对于尾随事件，预设的时长判断阈值为5分钟，由于每秒有25帧，因此，换算出的尾随计数阈值为7500；对于滞留事件，预设的时长判断阈值为10分钟，换算出的滞留计数阈值为15000；对于物品遗留事件，预设的时长判断阈值为10分钟，换算出的遗留计数阈值为15000。

针对滞留事件，硬盘录像机可以基于上述跟踪表，依据跟踪结果中各检测目标的类型、所处视频帧的视频帧标识确定第一目标视频帧；其中，上述第一目标视频帧为存在至少一个特征目标的视频帧。

确定上述第一目标视频帧的数量是否达到预设的滞留计数阈值，如果是，确定存在滞留事件。

具体地，硬盘录像机在对上述检测目标进行跟踪时，只要上述跟踪表存在至少一个检测目标的类型为人员的跟踪表项，即可以对存在至少一个人员的视频帧的数量进行计数(上述视频帧即为第一目标视频帧)，获得滞留计数。每获取到新的第一目标视频帧，硬盘录像机可以将上述滞留计数加一，并确定该滞留计数是否达到上述滞留计数阈值。

一方面，如果上述滞留计数未达到上述滞留计数阈值，则继续更新上述滞留计数；

另一方面，如果上述滞留计数达到上述滞留计数阈值，则确定存在滞留事件。在这种情况下，硬盘录像机可以向视频监控人员输出滞留报警信息。

当然，若在上述滞留计数达到上述滞留计数阈值以前，上述特征目标从视频帧中消失，则可以将上述滞留计数清零。

针对尾随事件，硬盘录像机可以基于上述跟踪表，依据跟踪结果中各检测目标的类型，所处视频帧的视频帧标识确定第二目标视频帧；其中，上述第二目标视频帧为存在至少两个特征目标的视频帧。

确定上述第二目标视频帧的数量是否达到预设的尾随计数阈值，如果是，确定存在尾随事件。

具体地，硬盘录像机在对上述检测目标进行跟踪时，如果上述跟踪表存在至少两个检测目标的类型为人员的跟踪表项，则可以对存在至少两个人员的视频帧的数量进行计数(上述视频帧即为第二目标视频帧)，获得尾随计数。每获取到新的第二目标视频帧，硬盘录像机可以将上述尾随计数加一，并确定该尾随计数是否达到上述尾随计数阈值。

一方面，如果上述尾随计数未达到上述尾随计数阈值，则继续更新上述尾随计数；

另一方面，如果上述尾随计数达到上述尾随计数阈值，则确定存在尾随事件。在这种情况下，硬盘录像机可以向视频监控人员输出尾随报警信息。

当然，若在上述尾随计数达到上述尾随计数阈值以前，上述特征目标从视频帧中消失，则可以将上述尾随计数清零。

需要指出的是，滞留计数和尾随计数可以同时统计，互相无影响。

针对物品遗留事件，硬盘录像机可以基于上述跟踪表，依据跟踪结果中各检测目标的类型、所处视频帧的视频帧标识和各检测目标的目标框的中心点的历史坐标第三目标视频帧；其中，上述第三目标视频帧为不存在特征目标仅存在前景目标的视频帧，其上述前景目标的目标框的中心点的坐标位于预设的检测区域内。

确定上述第三目标视频帧是否达到预设的遗留计数阈值，如果是，从至少一个第三目标视频帧中提取前景目标。

具体地，硬盘录像机在对上述检测目标进行跟踪时，如果获取到的视频帧中失去特征目标，且该视频帧中存在目标框的中心点的坐标位于预设的检测区域内的前景目标，可确定该视频帧为第三目标视频帧，则进行计数，获得遗留计数。其中，上述预设的检测区域内可以是实际应用环境中，用户容易留下物品的区域，比如，对于ATM防护舱而言，上述检测区域可以是靠近ATM机的区域。每获取新的第三目标视频帧，可以将上述遗留计数加一，并确定该遗留计数是否达到上述遗留计数阈值。

一方面，如果上述遗留计数未达到上述遗留计数阈值，则继续更新上述遗留计数；

另一方面，如果上述遗留计数达到上述遗留计数阈值，则可以将上述前景目标从至少一个第三目标视频帧中抠出。

进一步地，硬盘录像机可以利用预设的CNN分类模型对提取出的上述前景目标进行分类，获得对应于N种不同前景目标类型的置信度；其中，N大于1，N种不同前景目标类型至少包括物品和非物品。

如果N种不同前景目标类型的置信度中物品的置信度最大，则确定存在物品遗留事件。

在实际应用中，前景目标类型可以有三种，包括人员、物品和非物品(虚假前景)。在这种情况下，上述CNN分类模型预先通过人员特征、指定区域内可能出现的物品和指定区域的背景内容进行训练。比如：对于防护舱场景而言，物品包括银行卡、钥匙、包、雨伞等，指定区域的背景内容包括地面、ATM机、防护舱内张贴的海报以及防护舱外光线变化或有影子投射到舱内时的背景内容等。

通过上述CNN分类模型对前景目标的进一步区分，可以更准确地识别前景目标的内容，避免了物品遗留事件的误判。

具体地，硬盘录像机可以基于对应于人员、物品和非物品的置信度，确定上述前景目标实际的内容。

一方面，如果对应于人员的置信度最大，则说明虽然当前视频帧中不存在特征目标，仍存在人员，可以将上述遗留计数清零；

另一方面，如果对应于非物品的置信度最大，则说明当前视频帧中不存在人员或物品，可以将上述遗留计数清零；

再一方面，如果对应于物品的置信度最大，则确定存在物品遗留事件。在这种情况下，硬盘录像机可以向视频监控人员输出物品遗留报警信息。

综上所述，在本申请实施例中，硬盘录像机可以通过用于特征检测的CNN提取视频流中目标人员的特征目标，通过用于前景检测的前景模型从视频流中获取前景目标，并基于上述特征目标和前景目标确定检测目标，相比现有技术，极大地减小受环境的影响，可以更准确地识别出目标人员和物品，提高了检出率，进而通过跟踪上述检测目标，可以有效地检测出包括人员尾随、人员滞留和物品遗留等异常事件。

与前述异常事件的检测方法的实施例相对应，本申请还提供了异常事件的检测装置的实施例。

参见图2，为本申请示出的一种异常事件的检测装置的实施例框图：

如图2所示，该异常事件的检测装置20，包括：

第一获取单元210，用于利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流。

第二获取单元220，用于利用预设的用于前景检测的前景模型从所述视频流中获取前景目标。

第一确定单元230，用于基于所述特征目标和所述前景目标确定检测目标。

第二确定单元240，用于跟踪所述检测目标，依据跟踪结果确定异常事件。

在本例中，所述第一确定单元230，进一步用于：

从获取的前景目标中选择与各个特征目标无关联的前景目标；

将各个特征目标和选择的前景目标确定为所述检测目标。

在本例中，所述第一确定单元230，进一步用于：

针对每一前景目标，计算该前景目标的目标框与每一特征目标的目标框之间交集的面积，若该前景目标的目标框与每一特征目标的目标框之间的交集的面积均小于预设的面积阈值，则确定该前景目标与各个特征目标无关联。

在本例中，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识；

所述第二确定单元240，进一步用于：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识确定第一目标视频帧和第二目标视频帧；其中，所述第一目标视频帧为存在至少一个特征目标的视频帧，所述第二目标视频帧为存在至少两个特征目标的视频帧；

确定所述第一目标视频帧的数量是否达到预设的滞留计数阈值，如果是，确定存在滞留事件；

确定所述第二目标视频帧的数量是否达到预设的尾随计数阈值，如果是，确定存在尾随事件。

在本例中，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标；

所述第二确定单元240，进一步用于：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标确定第三目标视频帧；其中，所述第三目标视频帧为不存在特征目标仅存在前景目标的视频帧，所述前景目标的目标框的中心点的坐标位于预设的检测区域内；

确定所述第三目标视频帧是否达到预设的遗留计数阈值，如果是，从至少一个第三目标视频帧中提取前景目标；

利用预设的CNN分类模型对提取出的所述前景目标进行分类，获得对应于N种不同前景目标类型的置信度；N大于1，N种不同前景目标类型至少包括物品、非物品；

如果N种不同前景目标类型的置信度中物品的置信度最大，则确定存在物品遗留事件。

本申请异常事件的检测装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

从硬件层面而言，如图3所示，为本申请异常事件的检测装置所在电子设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该异常事件的检测装置的实际功能，还可以包括其他硬件，对此不再赘述。其中，该电子设备的内存和非易失性存储器中还分别搭载了上述第一获取单元210对应的机器可执行指令、上述第二获取单元220对应的机器可执行指令、上述第一确定单元230对应的机器可执行指令和上述第二确定单元240对应的机器可执行指令。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种异常事件的检测方法，其特征在于，包括：

利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；

利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；

基于所述特征目标和所述前景目标确定检测目标；所述检测目标为与各个特征目标无关联的前景目标和各个特征目标，所述检测目标的类型包括人员和非人员，所述非人员的类型至少包括物品和虚假前景；

跟踪所述检测目标，依据跟踪结果确定异常事件。

2.根据权利要求1所述的方法，其特征在于，所述基于所述特征目标和所述前景目标确定检测目标，包括：

从获取的前景目标中选择与各个特征目标无关联的前景目标；

将各个特征目标和选择的前景目标确定为所述检测目标。

3.根据权利要求2所述的方法，其特征在于，所述从获取的前景目标中选择与各个特征目标无关联的前景目标，包括：

针对每一前景目标，计算该前景目标的目标框与每一特征目标的目标框之间交集的面积，若该前景目标的目标框与每一特征目标的目标框之间的交集的面积均小于预设的面积阈值，则确定该前景目标与各个特征目标无关联。

4.根据权利要求1所述的方法，其特征在于，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识；

所述依据跟踪结果确定异常事件，包括：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识确定第一目标视频帧和第二目标视频帧；其中，所述第一目标视频帧为存在至少一个特征目标的视频帧，所述第二目标视频帧为存在至少两个特征目标的视频帧；

确定所述第一目标视频帧的数量是否达到预设的滞留计数阈值，如果是，确定存在滞留事件；

确定所述第二目标视频帧的数量是否达到预设的尾随计数阈值，如果是，确定存在尾随事件。

5.根据权利要求1所述的方法，其特征在于，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标；

所述依据跟踪结果确定异常事件，包括：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标确定第三目标视频帧；其中，所述第三目标视频帧为不存在特征目标仅存在前景目标的视频帧，所述前景目标的目标框的中心点的坐标位于预设的检测区域内；

确定所述第三目标视频帧是否达到预设的遗留计数阈值，如果是，从至少一个第三目标视频帧中提取前景目标；

利用预设的CNN分类模型对提取出的所述前景目标进行分类，获得对应于N种不同前景目标类型的置信度；N大于1，N种不同前景目标类型至少包括物品、非物品；

如果N种不同前景目标类型的置信度中物品的置信度最大，则确定存在物品遗留事件。

6.一种异常事件的检测装置，其特征在于，包括：

第一获取单元，用于利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；

第二获取单元，用于利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；

第一确定单元，用于基于所述特征目标和所述前景目标确定检测目标；所述检测目标为与各个特征目标无关联的前景目标和各个特征目标，所述检测目标的类型包括人员和非人员，所述非人员的类型至少包括物品和虚假前景；

第二确定单元，用于跟踪所述检测目标，依据跟踪结果确定异常事件。

7.根据权利要求6所述的装置，其特征在于，所述第一确定单元，进一步用于：

从获取的前景目标中选择与各个特征目标无关联的前景目标；

将各个特征目标和选择的前景目标确定为所述检测目标。

8.根据权利要求7所述的装置，其特征在于，所述第一确定单元，进一步用于：

针对每一前景目标，计算该前景目标的目标框与每一特征目标的目标框之间交集的面积，若该前景目标的目标框与每一特征目标的目标框之间的交集的面积均小于预设的面积阈值，则确定该前景目标与各个特征目标无关联。

9.根据权利要求6所述的装置，其特征在于，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识；

所述第二确定单元，进一步用于：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识确定第一目标视频帧和第二目标视频帧；其中，所述第一目标视频帧为存在至少一个特征目标的视频帧，所述第二目标视频帧为存在至少两个特征目标的视频帧；

确定所述第一目标视频帧的数量是否达到预设的滞留计数阈值，如果是，确定存在滞留事件；

确定所述第二目标视频帧的数量是否达到预设的尾随计数阈值，如果是，确定存在尾随事件。

10.根据权利要求6所述的装置，其特征在于，所述跟踪结果包括：在跟踪各检测目标过程中记录的各检测目标的类型、所处的视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标；

所述第二确定单元，进一步用于：

依据所述跟踪结果中各检测目标的类型、所处视频帧的视频帧标识、各检测目标的目标框的中心点的历史坐标确定第三目标视频帧；其中，所述第三目标视频帧为不存在特征目标仅存在前景目标的视频帧，所述前景目标的目标框的中心点的坐标位于预设的检测区域内；

确定所述第三目标视频帧是否达到预设的遗留计数阈值，如果是，从至少一个第三目标视频帧中提取前景目标；

利用预设的CNN分类模型对提取出的所述前景目标进行分类，获得对应于N种不同前景目标类型的置信度；N大于1，N种不同前景目标类型至少包括物品、非物品；

如果N种不同前景目标类型的置信度中物品的置信度最大，则确定存在物品遗留事件。

11.一种电子设备，其特征在于，所述电子设备搭载了处理器，以及，用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

利用已训练的用于特征检测的卷积神经网络CNN从监控到的视频流中获取目标人员的特征目标；其中，所述视频流是监控指定区域得到的视频流；

利用预设的用于前景检测的前景模型从所述视频流中获取前景目标；

基于所述特征目标和所述前景目标确定检测目标；

跟踪所述检测目标，依据跟踪结果确定异常事件。

Images