CN115311591A - 异常行为的预警方法、装置及智能摄像头 - Google Patents

Abstract

本申请实施例中提供了一种异常行为的预警方法、装置及智能摄像头，具体包括：采集公共场所的视频信息；根据视频信息获取公共场所的拥挤状态信息；根据拥挤状态信息确定图像选取帧率，根据图像选取帧率从视频信息中确定多帧待检图像；通过深度学习神经网络对多帧待检图像进行异常行为分析，以获取公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。这样，通过对公共场所的视频信息进行处理，实时监控场景内的群体异常行为和/或个体异常行为，并及时告警，提高预警异常行为时效及效率，大大降低管理成本。

Description

异常行为的预警方法、装置及智能摄像头

技术领域

本申请涉及视频技术领域，尤其涉及一种异常行为的预警方法、装置及智能摄像头。

背景技术

现有的轨道交通设备、医院、商场、机场等公共场所大多装有枪机、球机或半球摄像头作为监控设备，对公共区域进行管理和监控，这几类摄像头有长焦距、短焦距或变焦摄像头之分，但视场角往往小于140°，覆盖范围不够全面。在公共场所有可能会出现人员跌倒、打架、争吵、盗窃等异常行为，对监控场景内的人员异常行为的管控和及时告警，对提升人员管控、管理水平具有重要意义。现有技术中一般通过人工检查监控设备拍摄的视频，存在预警异常行为时效性较低、效率较低的问题。

发明内容

有鉴于此，本公开实施例提供一种异常行为的预警方法、装置及智能摄像头，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种异常行为的预警方法，所述方法包括：

采集公共场所的视频信息；

根据所述视频信息获取所述公共场所的拥挤状态信息；

根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；

通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。

可选的，所述根据所述视频信息获取所述公共场所的拥挤状态信息，包括：

每隔预设时间间隔从所述视频信息获取对应的采样图像；

获取各帧所述采样图像中的人员生物特征信息的数量；

根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息。

可选的，所述人员生物特征信息包括头部特征信息及脚部特征信息，所述获取各帧所述采样图像中的人员生物特征信息的数量，包括：

获取多帧所述采样图像中的头部特征信息的数量及脚部特征信息的数量；

所述根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息，包括：

根据头部特征信息的数量、脚部特征信息的数量确定所述公共场所的人员数量，根据所述人员数量确定拥挤状态信息。

可选的，所述根据所述拥挤状态信息确定图像选取帧率，包括：

确定所述拥挤状态信息对应的拥挤程度；

根据所述拥挤程度确定对应的图像选取帧率，所述拥挤程度越高，所述图像选取帧率越高。

可选的，所述方法还包括：

对智能摄像头采集的原始图像数据进行异常行为标注，得到第一数据集；

对拍摄的无人场景底图张贴异常行为人员图像，得到第二数据集；

根据所述第一数据集及第二数据集确定异常行为训练集，根据所述异常行为训练集对初始深度学习神经网络进行训练，得到多个待选深度学习神经网络；

根据所述第一数据集及第二数据集确定异常行为测试集，根据异常行为测试集对各所述待选深度学习神经网络进行测试，以确定所述深度学习神经网络。

可选的，所述方法还包括：

接收控制端发送的异常行为预警命令，从所述视频信息中确定检测到异常行为的异常图像，向所述控制端发送所述异常图像及异常行为报警信息。

可选的，所述通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，包括：

通过深度学习神经网络确定多帧所述待检图像的人员拥挤程度信息及人员流动信息，根据所述人员拥挤程度信息及所述人员流动信息确定群体异常行为；和/或，

通过深度学习神经网络确定多帧所述待检图像的各人员身体姿态信息，根据各人员身体姿态信息确定个体异常行为。

第二方面，本公开实施例提供了一种异常行为的预警装置，所述装置包括：

采集模块，用于采集公共场所的视频信息；

获取模块，用于根据所述视频信息获取所述公共场所的拥挤状态信息；

确定模块，用于根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；

处理模块，用于通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。

第三方面，本公开实施例还提供了一种智能摄像头，该智能摄像头包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的异常行为的预警方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机程序，该计算机程序用于使该计算机执行前述第一方面或第一方面的任一实现方式中的异常行为的预警方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的异常行为的预警方法。

本公开实施例中的异常行为的预警方法、装置及智能摄像头，采集公共场所的视频信息；根据所述视频信息获取所述公共场所的拥挤状态信息；根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。这样，通过对公共场所的视频信息进行处理，实时监控场景内的群体异常行为和/或个体异常行为，并及时告警，提高预警异常行为时效及效率，大大降低管理成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的异常行为的预警方法的一流程示意图；

图2为本发明实施例提供的异常行为的预警方法中步骤S102的一流程示意图；

图3为本发明实施例提供的异常行为的预警装置的一结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本申请实施例提供一种异常行为的预警方法。

参见图1，本公开实施例提供的一种异常行为的预警方法，可以应用于智能摄像头，该方法包括：

步骤S101，采集公共场所的视频信息。

在本实施例中，可以通过智能摄像头采集各类公共场所的视频信息，其中，各类公共场所包括轨道交通设备、医院、商场、机场等公共场所。智能摄像头可以为安装有鱼眼镜头的摄像头，也可以为其他具有较广拍摄视野的摄像头，可以监测更广范围的监控场景的实时情况即可，在此不做限制。在本实施例中，算力集成在智能摄像头，智能摄像头采用带有深度学习加速模块的芯片，结合鱼眼镜头，对轨道交通设备、医院、商场、机场等各类公共场所进行全方位、无死角监控，同时对画面中的视频信息进行智能分析。

步骤S102，根据所述视频信息获取所述公共场所的拥挤状态信息。

在本实施例中，公共场所的拥挤状态信息可以为某一时刻的人员数量信息，也可以为某一时间段的人员数量变化情况。例如，人员数量往往有从稀疏到拥挤的变化情况，或者从拥挤到稀疏的变化情况。

请参阅图2，步骤S102可以包括以下步骤：

步骤S1021，每隔预设时间间隔从所述视频信息获取对应的采样图像；

步骤S1022，获取各帧所述采样图像中的人员生物特征信息的数量；

步骤S1023，根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息。

需要补充说明的是，所述预设时间间隔可以是默认时间间隔，也可以是用户自定义时间间隔。例如，预设时间间隔可以为10毫秒。每隔预设时间间隔从所述视频信息获取对应的采样图像，可以减少图像处理计算量，节约计算资源。人员生物特征信息可以头部特征信息、脚部特征信息、头肩特征信息、身体骨架特征信息等，例如，检测采样图像中具有的头部特征信息的数量，根据头部特征信息的数量确定采样图像中的人员数量，进而基于人员数量确定公共场所的拥挤状态信息。在本实施例中，可以基于深度学习神经网络对采样图像检测头部特征信息的数量、脚部特征信息的数量、头肩特征信息的数量、身体骨架特征信息的数量。

在本实施例中，可以基于以下至少一种数据：头部特征信息的数量、脚部特征信息的数量、头肩特征信息的数量、身体骨架特征信息的数量，确定公共场所的拥挤状态信息。例如，根据头肩特征信息的数量的变化情况确定目标时间段的人员数量变化，根据头肩特征信息的数量确定目标时刻的人员数量。

为进一步提高深度学习神经网络的准确度，本实施例模拟各种公共场所下的实际拍摄场景，采集符合公共场所实际情况的图像数据，不断地采集图像数据、迭代算法，优化损失函数，获得比较适合的深度学习神经网络，持续提升算法精度。例如，在列车场景下，所模拟的监控场景是车厢内低矮场景，针对车厢内低矮场景的特殊问题，本方案通过模拟2.1m顶高的车厢环境，不断地采集图像数据、迭代算法，优化损失函数，获得比较适合车厢环境的深度学习神经网络，以提高车厢环境的深度学习神经网络的算法精度。

为进一步提高人员数量的确定精度，可以基于多种类别的人员生物特征信息确定人员数量。在本实施例中，所述人员生物特征信息包括头部特征信息及脚部特征信息，所述获取各帧所述采样图像中的人员生物特征信息的数量，包括：

获取多帧所述采样图像中的头部特征信息的数量及脚部特征信息的数量；

所述根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息，包括：

根据头部特征信息的数量、脚部特征信息的数量确定所述公共场所的人员数量，根据所述人员数量确定拥挤状态信息。

在本实施例中，头部特征信息、脚部特征信息较易检测，且头部特征信息的数量、脚部特征信息的数量存在一定的比例关系，根据比例关系，可以进一步更准确地确定公共场所实际的人员数量。

步骤S103，根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像。

在本实施例中，所述根据所述拥挤状态信息确定图像选取帧率，包括：

确定所述拥挤状态信息对应的拥挤程度；

根据所述拥挤程度确定对应的图像选取帧率，所述拥挤程度越高，所述图像选取帧率越高。

在本实施例中，拥挤状态信息包括从稀疏到拥挤的拥挤变化过程，或者从拥挤到稀疏的稀疏变化过程。可以根据拥挤状态信息提供一套降功耗逻辑，即送往深度学习神经网络的图像选取帧率，随人员数量的增加而增加，随人员数量的减少而减少。可以理解的是，当图像中没有人或数量很少时，降低送往深度学习神经网络的帧率；当画面中的人数较多，提高送往深度神经网络的帧率。这样可以降低设备计算资源的消耗，延长智能摄像头的寿命。

步骤S104，通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。

在本实施例中，异常行为包括群体异常行为和/或个体异常行为，个体异常行为可以为人员跌倒、人员打架等行为。群体异常行为包括群体拥挤、群体超特定方向快速流动等。对多帧所述待检图像进行异常行为分析，可以动态确定异常行为的开始、发展、结束全过程，还原人员行为真相。

在本实施例中，所述通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，包括：

通过深度学习神经网络确定多帧所述待检图像的人员拥挤程度信息及人员流动信息，根据所述人员拥挤程度信息及所述人员流动信息确定群体异常行为；和/或，

通过深度学习神经网络确定多帧所述待检图像的各人员身体姿态信息，根据各人员身体姿态信息确定个体异常行为。

举例来说，在地铁、医院等大客流量的场景中，当人群聚集状态突然局部扎堆或突然往某个方向聚集、疏散、往同一方向移动，则说明出现群体异常情况。智能摄像头拍摄地铁、医院等大客流量的场景的视频信息，根据图像选取帧率从视频信息中确定多帧待检图像，通过深度学习神经网络确定多帧待检图像的人员拥挤程度信息及所述人员流动信息，人员拥挤程度信息可以为依据头肩检测确定的人数、客流密度热力图信息等，人员流动信息包括人员流动方向、人员流动速度等，通过对多帧待检图像的分析，可以统计一段时间内的客流移动速度和流动方向变化，可以进一步确定人群是否聚集或突然朝某个方向疏散，从而可以得出地铁、医院等大客流量的场景中出现群体异常行为的预测评估。

举例来说，在地铁、医院等大客流量的场景中，有个体出现跌倒、打架、呼救等行为，智能摄像头拍摄地铁、医院等大客流量的场景的视频信息，根据图像选取帧率从视频信息中确定多帧待检图像，通过深度学习神经网络确定多帧待检图像的各人员身体姿态信息，由于跌倒、打架、呼救等人员身体姿态信息具有相对应的姿态特征，可以预设个体异常姿态特征，通过深度学习神经网络确定多帧待检图像的各人员身体姿态信息与预设异常姿态特征相比较，可以进一步确定人群是否存在跌倒、打架、呼救等个体异常行为，从而可以得出地铁、医院等场景中出现个体异常行为的预测评估。

这样，可以通过深度学习神经网络分析获取公共场所的群体异常行为和/或个体异常行为，得到准确的异常行为结果，方便快速进行异常预警提醒。

在本实施例中，所述方法还包括：

对智能摄像头采集的原始图像数据进行异常行为标注，得到第一数据集；

对拍摄的无人场景底图张贴异常行为人员图像，得到第二数据集；

根据所述第一数据集及第二数据集确定异常行为训练集，根据所述异常行为训练集对初始深度学习神经网络进行训练，得到多个待选深度学习神经网络；

根据所述第一数据集及第二数据集确定异常行为测试集，根据异常行为测试集对各所述待选深度学习神经网络进行测试，以确定所述深度学习神经网络。

需要说明的是，使用大量的智能摄像头采集的画面作为原始图像数据，对原始图像数据中的人员跌倒、人员打架、人员行走不规范、争吵、盗窃、群体拥挤、群体朝特定方向快速移动等异常行为进行标注，得到第一数据集。同时使用无人场景拍摄的图像作为无人场景底图，在无人场景底图上张贴异常行为人员图像，得到第二数据集，将第一数据集及第二数据共同构成用于对初始深度神经网络进行训练异常行为训练集和用于进行测试的异常行为测试集，丰富训练数据，拓展测试数据，使用初始深度学习神经网络，设计网络结构和损失(loss)函数，训练初始深度学习神经网络。使用贴图方式丰富训练数据，是解决直接使用鱼眼数据训练的关键。对训好的待选深度学习神经网络做批量测试，选出测试集上的最优模型。

在本实施例中，所述异常行为的预警方法还包括：

接收控制端发送的异常行为预警命令，从所述视频信息中确定检测到异常行为的异常图像，向所述控制端发送所述异常图像及异常行为报警信息。

在本实施例中，控制端包括现场管控人员的终端设备，向智能摄像图发送异常行为预警命令。当摄像头接收控制端发送的异常行为预警命令，智能摄像头响应于该异常行为预警命令，向控制端上报异常图像及异常行为报警信息。现场管控人员通过终端设备去除重复告警事件处理，避免同一事件连续上报。现场管控人员对异常行为报警信息进行相应处理后，点击处理完成按钮，生成报警解除指令，并将该报警解除指令发送给智能摄像头，使其重新具备警戒功能，重新执行异常行为的预警方法的各个步骤，为避免重复，在此不做限制。

在本实施例中，使用智能摄像头作为前端视频采集器，监控范围广，节省成本。对于特殊场景，智能摄像头安装有鱼眼镜头，如地铁列车内“低矮场景(车顶高一般2.1m)、人流密度大”的特殊性，使用鱼眼镜头，可以更广范围的监测列车内的情况。将算力前置到智能摄像头，扩展了目前摄像头的功能，使其具有的智能化能力，直接上报拥挤程度告警信息。若使用监控摄像头、AI服务器计算的方案，随着接入摄像头数量的增加，后端服务器需要对每一路摄像头视频做解码和智能分析，后端服务器资源的消耗非常大，而采用本实施例的方案，可以减少后端服务器资源的消耗。本实施例采用的方案不需要将摄像头采集的图像进行去除畸变处理，直接采用鱼眼摄像头采集的原始视频信息进行智能分析，提高处理效率。

本公开实施例中的异常行为的预警方法，采集公共场所的视频信息；根据所述视频信息获取所述公共场所的拥挤状态信息；根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。这样，通过对公共场所的视频信息进行处理，实时监控场景内的群体异常行为和/或个体异常行为，并及时告警，提高预警异常行为时效及效率，大大降低管理成本。

与上面的方法实施例相对应，参见图3，本公开实施例还提供了一种异常行为的预警装置300，包括：

采集模块301，用于采集公共场所的视频信息；

获取模块302，用于根据所述视频信息获取所述公共场所的拥挤状态信息；

确定模块303，用于根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；

处理模块304，用于通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。

在本实施例中，所述获取模块302包括：

第一获取子模块，用于每隔预设时间间隔从所述视频信息获取对应的采样图像；

第二获取子模块，用于获取各帧所述采样图像中的人员生物特征信息的数量；

第一确定子模块，用于根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息。

在本实施例中，所述人员生物特征信息包括头部特征信息及脚部特征信息，第二获取子模块，还用于获取多帧所述采样图像中的头部特征信息的数量及脚部特征信息的数量；

确定子模块，还用于根据头部特征信息的数量、脚部特征信息的数量确定所述公共场所的人员数量，根据所述人员数量确定拥挤状态信息。

在本实施例中，所述确定模块303，还用于确定所述拥挤状态信息对应的拥挤程度；

根据所述拥挤程度确定对应的图像选取帧率，所述拥挤程度越高，所述图像选取帧率越高。

在本实施例中，异常行为的预警装置还包括：

训练模块，用于对智能摄像头采集的原始图像数据进行异常行为标注，得到第一数据集；

对拍摄的无人场景底图张贴异常行为人员图像，得到第二数据集；

根据所述第一数据集及第二数据集确定异常行为训练集，根据所述异常行为训练集对初始深度学习神经网络进行训练，得到多个待选深度学习神经网络；

测试模块，用于根据所述第一数据集及第二数据集确定异常行为测试集，根据异常行为测试集对各所述待选深度学习神经网络进行测试，以确定所述深度学习神经网络。

在本实施例中，处理模块304，还用于接收控制端发送的异常行为预警命令，从所述视频信息中确定检测到异常行为的异常图像，向所述控制端发送所述异常图像及异常行为报警信息。

在本实施例中，处理模块304，还用于通过深度学习神经网络确定多帧所述待检图像的人员拥挤程度信息及人员流动信息，根据所述人员拥挤程度信息及所述人员流动信息确定群体异常行为；和/或，

通过深度学习神经网络确定多帧所述待检图像的各人员身体姿态信息，根据各人员身体姿态信息确定个体异常行为。

本实施例提供的异常行为的预警装置300可以对应的执行上述方法实施例中的内容，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。

本实施例提供的异常行为的预警装置，采集公共场所的视频信息；根据所述视频信息获取所述公共场所的拥挤状态信息；根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。这样，通过对公共场所的视频信息进行处理，实时监控场景内的群体异常行为和/或个体异常行为，并及时告警，提高预警异常行为时效及效率，大大降低管理成本。

本实施例还提供一种智能摄像头，该智能摄像头包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中的异常行为的预警方法。

本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于使该计算机执行前述方法实施例中的异常行为的预警方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的异常行为的预警方法。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，或者从存储装置中被安装，或者从只读存储器被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述智能摄像头中所包含的；也可以是单独存在，而未装配入该智能摄像头中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该鱼智能摄像头的处理器执行时，使得该鱼眼摄像头实现上述的异常行为的预警方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种异常行为的预警方法，其特征在于，所述方法包括：

采集公共场所的视频信息；

根据所述视频信息获取所述公共场所的拥挤状态信息；

根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；

通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。

2.根据权利要求1所述的异常行为的预警方法，其特征在于，所述根据所述视频信息获取所述公共场所的拥挤状态信息，包括：

每隔预设时间间隔从所述视频信息获取对应的采样图像；

获取各帧所述采样图像中的人员生物特征信息的数量；

根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息。

3.根据权利要求2所述的异常行为的预警方法，其特征在于，所述人员生物特征信息包括头部特征信息及脚部特征信息，所述获取各帧所述采样图像中的人员生物特征信息的数量，包括：

获取多帧所述采样图像中的头部特征信息的数量及脚部特征信息的数量；

所述根据所述人员生物特征信息的数量确定所述公共场所的拥挤状态信息，包括：

根据头部特征信息的数量、脚部特征信息的数量确定所述公共场所的人员数量，根据所述人员数量确定拥挤状态信息。

4.根据权利要求1所述的异常行为的预警方法，其特征在于，所述根据所述拥挤状态信息确定图像选取帧率，包括：

确定所述拥挤状态信息对应的拥挤程度；

根据所述拥挤程度确定对应的图像选取帧率，所述拥挤程度越高，所述图像选取帧率越高。

5.根据权利要求1所述的异常行为的预警方法，其特征在于，所述方法还包括：

对智能摄像头采集的原始图像数据进行异常行为标注，得到第一数据集；

对拍摄的无人场景底图张贴异常行为人员图像，得到第二数据集；

根据所述第一数据集及第二数据集确定异常行为训练集，根据所述异常行为训练集对初始深度学习神经网络进行训练，得到多个待选深度学习神经网络；

根据所述第一数据集及第二数据集确定异常行为测试集，根据所述异常行为测试集对各所述待选深度学习神经网络进行测试，以确定所述深度学习神经网络。

6.根据权利要求1所述的异常行为的预警方法，其特征在于，所述方法还包括：

接收控制端发送的异常行为预警命令，从所述视频信息中确定检测到异常行为的异常图像，向所述控制端发送所述异常图像及异常行为报警信息。

7.根据权利要求1所述的异常行为的预警方法，其特征在于，所述通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，包括：

通过深度学习神经网络确定多帧所述待检图像的人员拥挤程度信息及人员流动信息，根据所述人员拥挤程度信息及所述人员流动信息确定群体异常行为；和/或，

通过深度学习神经网络确定多帧所述待检图像的各人员身体姿态信息，根据各人员身体姿态信息确定个体异常行为。

8.一种异常行为的预警装置，其特征在于，所述装置包括：

采集模块，用于采集公共场所的视频信息；

获取模块，用于根据所述视频信息获取所述公共场所的拥挤状态信息；

确定模块，用于根据所述拥挤状态信息确定图像选取帧率，根据所述图像选取帧率从所述视频信息中确定多帧待检图像；

处理模块，用于通过深度学习神经网络对多帧所述待检图像进行异常行为分析，以获取所述公共场所的群体异常行为和/或个体异常行为，并发送异常行为报警信息。

9.一种智能摄像头，其特征在于，所述智能摄像头包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述利要求1-5中任一项所述的异常行为的预警方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至5中任一项所述的异常行为的预警方法。

Images