CN110956057A

CN110956057A - 一种人群态势分析方法、装置及电子设备

Info

Publication number: CN110956057A
Application number: CN201811126781.3A
Authority: CN
Inventors: 童超; 梁福禄; 车军; 任烨
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2018-09-26
Filing date: 2018-09-26
Publication date: 2020-04-03

Abstract

本申请提供一种人群态势分析方法、装置及电子设备，所述方法包括：将采集到的指定区域的视频流输入至多任务网络模型，以由所述多任务网络模型的子网络输出至少两个具有相关关系的人群态势参数；其中，所述多任务网络模型的子网络由包含至少两种不同标签的训练样本训练得到，不同子网络用于输出不同人群态势参数；依据所述人群态势参数确定所述指定区域的人群态势是否满足报警条件；若是，输出报警信息。本申请技术方案，电子设备可通过多任务网络模型得到准确的人群态势参数，进而可以依据上述人群态势参数分析上述指定区域的人群态势是否满足报警条件，从而在上述指定区域的人群态势满足报警条件时准确报警。

Description

一种人群态势分析方法、装置及电子设备

技术领域

本申请涉及视频监控技术，特别涉及一种人群态势分析方法、装置及电子设备。

背景技术

在人群集中的场所(比如：景区、广场、闹市街区、机场、地铁站等)，容易因突发事件而引起安全事件。相关部门据此逐步提高了对人群的监控力度，通过人群密度分布、人群数量统计以及人群运动速度等人群的状态属性，为群体聚集风险评估和公共安全管理提供参考依据。

发明内容

有鉴于此，本申请提供一种人群态势分析方法、装置及电子设备，用于实现对监控区域内人群态势的分析，从而在出现人群异常状况时输出报警信息，实现公共安全管理。

具体地，本申请是通过如下技术方案实现的：

一种人群态势分析方法，包括：

将采集到的指定区域的视频流输入至多任务网络模型，以由所述多任务网络模型的子网络输出至少两个具有相关关系的人群态势参数；其中，所述多任务网络模型的子网络由包含至少两种不同标签的训练样本训练得到，不同子网络用于输出不同人群态势参数；

依据所述人群态势参数确定所述指定区域的人群态势是否满足报警条件；

若是，输出报警信息。

在所述人群态势分析方法中，所述依据所述人群态势参数分析所述指定区域的人群态势是否满足报警条件包括：

依据本地存储的人群态势分析策略从所述人群态势参数中获取与所述人群态势分析策略匹配的人群态势参数；

判断与所述人群态势分析策略匹配的人群态势参数是否满足报警条件。

在所述人群态势分析方法中，与所述人群态势分析策略匹配的人群态势参数至少包括以下一种：

人群密度分布图和人数统计值、人群分割图、全局密度等级、局部密度等级。

在所述人群态势分析方法中，所述方法应用于视频采集设备；所述输出报警信息包括：

若所述指定区域的局部区域的人群态势满足报警条件，触发本设备设置的报警联动模式，将所述局部区域的位置信息发送给本设备内置的或者本设备连接的视频监控设备，以使所述视频监控设备对所述局部区域进行跟踪，以及向控制平台发送报警信息，所述报警信息携带所述指定区域的人群态势参数。

在所述人群态势分析方法中，所述视频采集设备为全景相机。

一种人群态势分析装置，包括：

学习单元，用于将采集到的指定区域的视频流输入至多任务网络模型，以由所述多任务网络模型的子网络输出至少两个具有相关关系的人群态势参数；其中，所述多任务网络模型的子网络由包含至少两种不同标签的训练样本训练得到，不同子网络用于输出不同人群态势参数；

确定单元，用于依据所述人群态势参数确定所述指定区域的人群态势是否满足报警条件；

报警单元，用于若是，输出报警信息。

在所述人群态势分析装置中，所述确定单元，进一步用于：

在所述人群态势分析装置中，与所述人群态势分析策略匹配的人群态势参数至少包括以下一种：

在所述人群态势分析装置中，所述装置应用于视频采集设备；所述报警单元，进一步用于：

在所述人群态势分析装置中，所述视频采集设备为全景相机。

一种电子设备，所述电子设备包括处理器，以及，用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

若是，输出报警信息。

在所述电子设备中，所述电子设备为所述视频采集设备，所述视频采集设备包括全景相机。

在本申请实施例中，电子设备通过多任务网络模型从采集到的指定区域的视频流中学习到至少两个具有相关关系的人群态势参数，然后依据上述人群态势参数确定上述指定区域的人群态势是否满足报警条件，若是，则输出报警信息；

通过上述措施，可实现对监控区域人群态势的分析和公共安全管理；

此外，电子设备在通过多任务网络模型学习人群态势参数的过程中，各人群态势参数会基于相关关系而互相修正，从而得到更准确的人群态势参数，进而可以依据上述人群态势参数分析上述指定区域的人群态势是否满足报警条件，从而在上述指定区域的人群态势满足报警条件时准确报警。

附图说明

图1是本申请示出的一种人群态势分析方法流程图；

图2是本申请示出的一种卷积神经网络分析视频帧的流程示意图；

图3是本申请示出的一种人群区域分割的流程示意图；

图4是本申请示出的一种密度等级评估的示意图；

图5是本申请示出的一种人群态势分析装置的实施例框图；

图6是本申请示出的一种视频采集设备的硬件结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。

参见图1，为本申请示出的一种人群态势分析方法的流程图，所述方法包括以下步骤：

步骤101：将采集到的指定区域的视频流输入至多任务网络模型，以由所述多任务网络模型的子网络输出至少两个具有相关关系的人群态势参数；其中，所述多任务网络模型的子网络由包含至少两种不同标签的训练样本训练得到，不同子网络用于输出不同人群态势参数。

上述方法可以应用于电子设备，该电子设备包括监控系统的后台服务器。

需要指出的是，上述指定区域被预先划分出坐标系，使得后续监控系统的视频采集设备可以基于该坐标系确定视频帧中各区域和点的位置。

其中，上述多任务网络模型可以是基于多任务学习框架(multitask learning)的卷积神经网络。多任务学习是基于共享表示(shared representation)，把多个相关(related)的任务放在一起学习的一种机器学习方法。

相比执行单一的人数估计任务或人群密度估计任务的卷积神经网络而言，本申请中应用的卷积神经网络在训练阶段将人群态势分析的复杂问题拆分为多个独立的子任务，针对每个子任务同时进行学习，梯度同时反向传播，执行多个子任务的多个子网络通过共享底层参数来协助学习，提高了整个卷积神经网络的泛化能力，最终训练得到比执行单一任务的卷积神经网络更适于人群态势分析的卷积神经网络，保证了各子网络输出的人群态势参数的准确性。

由于多任务网络模型的多个任务具有相关关系，因此，通过多任务网络模型学习得到人群态势参数也具有相关关系。

其中，上述基于多任务学习框架的卷积神经网络主要包括两部分：一部分是用于对输入的视频帧进行特征提取的基础网络，该基础网络可以采用Inception、ResNet、FPN(Feature Pyramid Networks，特征金字塔网络)等多种常见的网络模型；另一部分是用于特定任务学习的子网络，上述子网络基于功能需要可包含若干卷积层、池化层和全连接层。

上述基于多任务学习的卷积神经网络可以通过经典的反向传播算法进行训练，卷积神经网络中的参数可采用随机梯度下降法(Stochastic Gradient Descent，SGD)来计算。

电子设备在将上述视频流输入到多任务网络模型后，可以获取上述多任务网络模型输出的至少两个具有相关关系的不同人群态势参数。

作为一种实施例，上述人群态势参数可以至少包括以下一种：人群密度分布图和人数统计值、人群分割图、全局密度等级和局部密度等级。

在这种情况下，上述多任务网络模型的各子网络分别需执行的子任务至少包括以下一种：人群密度分布图和人数统计任务、人群区域分割任务、全局密度等级确定任务和局部密度等级确定任务。

若上述多任务网络模型的各子网络需执行上述四种子任务，参见图2，为本申请示出的一种卷积神经网络分析视频帧的示意图。如图2所示，图像输入卷积神经网络后，卷积神经网络的基础网络首先会利用一系列卷积层和池化层依次提取由底层到高层的特征图(Feature Map)，进一步地，将上述特征图交由每个子网络处理，以由不同的子网络分别输出不同的人群态势参数。

上述多任务网络模型的子网络由包含至少两种不同标签的训练样本训练得到，以上述多任务网络模型各子网络需执行上述四种子任务为例，训练样本可以是大量的上述指定区域的视频帧，四种子任务对应的四种不同标签包括：人群密度分布真值图和全局人数、人群分割图、全局密度等级和局部密度等级。

每一帧视频帧都预先添加上述四种不同标签，各标签表征的是所在视频帧实际的人群态势参数。

其中，上述人群密度分布真值图表征视频帧的人群密度分布信息，全局人数表征视频帧所包含的总人数。

上述人群分割图用以区分视频帧中人群所在区域在整张视频帧中的位置。参见图3，为本申请示出的一种人群区域分割的流程示意图，图3最左边的图片即为一种人群分割图，图中灰色部分即为人群所在区域，图中黑色部分为没有人的区域。

上述全局密度等级是针对指定区域的整体评估的密度等级结果，上述局部密度等级是针对指定区域的局部区域评估的结果。可预先配置对应于不同人数密度区间的若干密度等级。比如：将密度等级划分为5个等级，分别为非常稀疏、一般稀疏、正常、一般密集和非常密集，对应的人数密度区间分别为每平方米少于0.01人、每平方米0.01人至0.05人、每平方米0.05人至0.1人、每平方米0.1人至0.5人、每平方米0.5人至1人、每平方米1人以上。

通过大量携带四种标签的视频帧的训练，可以得到能够准确输出四种人群态势参数的多任务网络模型。

下面分别对每个子网络的处理流程进行说明：

一.执行人数密度图与人数估计的子网络

可以通过视频帧中人头中心点的位置坐标、高斯分布的方差、人头大小等信息计算得到原始图像的人群密度分布图，然后基于该人群密度分布图积分，获得全局人数。其中，上述原始图像即为输入到卷积神经网络的视频帧。

二.执行人群区域分割的子网络

该子网络可以区分人群区域和非人群区域，输出原始图像的人群分割图。参见图3所示，原始图像输入到上述卷积神经网络后，首先由基础网络提取特征图，然后由执行人群区域分割的子网络处理得到人群分割图。

需要指出的是，该子网络可采用特征金字塔网络，以应对人在原始图片中尺寸的变化。针对不同尺寸的人的提取不同的特征图，并最终融合后，可得到人群分割图。

三.执行全局密度等级确定的子网络

该子网络对基础网络提取的特征图进行区分，确定全局密度等级，以此提高人数估计的准确率。参见图4，为本申请示出的一种密度等级评估的示意图，如图4所示，通过将上述特征图进行若干次池化处理后，利用全连接层进行分类，从而获得全局密度等级。

四.执行局部密度等级确定的子网络

当原始图像中的人群不是均匀分布时，执行全局密度等级确定的子网络确定出的全局密度等级可能并不准确。因此，该子网络可以将基础网络提取的特征图划分为若干相同大小的子特征图(各子特征图分别对应上述指定区域的不同的局部区域)，从而确定上述指定区域的各局部区域的局部密度等级。该子网络的处理过程与执行全局密度等级确定的子网络的处理过程相同，只是输入的特征图不同。

上述卷积神经网络的各子网络可基于基础网络提取的视频帧的特征图，分别计算得到全局人数、人数密度分布图、人群分割图、全局密度等级和局部密度等级等人群态势参数。

步骤102：依据学习的人群态势参数分析所述指定区域的人群态势是否满足报警条件。

步骤103：若是，输出报警信息。

在示出的一种实施方式中，上述电子设备上可以预设一系列人群态势分析策略，用以判断公共场所可能出现的人群异常状况。上述人群态势分析策略可以包括：

1.基于人数统计值是否达到预设人数阈值，确定是否满足报警条件；

2.基于全局密度等级是否达到预设的等级阈值，确定是否满足报警条件；

3.基于局部密度等级是否达到预设的等级阈值，确定是否满足报警条件。

当然，上述电子设备上还可以配置其它人群态势分析策略，具体可基于能够学习到的人群态势参数而定。

电子设备可以灵活地配置一条或多条人群态势分析策略，视实际应用环境而定。

在分析上述指定区域的人群态势是否满足报警条件时，上述电子设备可以依据本地存储的人群态势分析策略从学习的人群态势参数中获取与上述人群态势分析策略匹配的人群态势参数。

进一步地，判断与上述人群态势分析策略匹配的人群态势参数是否满足报警条件。

比如：以上述人群态势参数为人群密度分布图和人数统计值、人群分割图为例，若上述电子设备上配置前述序号为1的人群态势分析策略，其预设人数阈值为500。在这种情况下，上述电子设备可以从上述人群态势参数中选择人数统计值，然后判断该人数统计值是否达到500，若达到，则确定满足报警条件。

再比如：以上述人群态势参数为人群密度分布图和人数统计值、局部密度等级、人群分割图为例，若上述电子设备上配置了前述序号为3的人群态势分析策略，其预设的等级阈值为“一般密集”。在这种情况下，上述电子设备可以从上述人群态势参数中选择局部密度等级，并判断该局部密度等级是否达到“一般密集”，若达到，则确定满足报警条件。

又比如：以上述人群态势参数为人群密度分布图和人数统计值、局部密度等级、全局密度等级、人群分割图为例，若上述电子设备上配置前述序号为1和2的人群态势分析策略，其预设的人数阈值为500，其预设的等级阈值为“一般密集”。在这种情况下，上述电子设备可以从上述人群态势参数中选择人数统计值和全局密度等级，并满足任意一条人群态势分析策略时，确定满足报警条件。

上述电子设备可以在确定上述指定区域的人群态势满足报警条件时，输出报警信息。

在示出的一种实施方式中，如果上述电子设备为监控系统的后台服务器，电子设备可以直接将报警信息输出到控制平台的显示屏上，以通知安保人员执行相应的措施。

需要说明的是，为实现对公共场所的公共安全管理和群体聚集风险评估，通常可在公共场所的多个固定点位安装视频采集设备。多个视频采集设备监控自身覆盖的监控区域，产生视频流，并将视频流传输至监控系统的后台服务器。后台服务器基于多个视频采集设备发送的视频流，统一对公共场所的人群的状态属性进行分析。

然而，这种实施方式的缺陷在于监控系统对视频流的处理效果容易受网络环境的影响，如果网络环境较差，则监控设备可能无法及时将本地采集的视频流发送至后台服务器，使得后台服务器的分析结果不准确。

有鉴于此，在示出的另一种实施方式中，将本申请技术方案直接应用于监控系统的视频采集设备，即以视频采集设备作为上述电子设备。在这种情况下，视频采集设备在采集到本设备覆盖的监控区域的视频流后，可直接对视频流进行分析处理，避免网络环境差对分析结果产生影响。

此外，该实施方式中，电子设备上可以预设置报警联动模式，在该模式下，电子设备可控制视频监控设备进一步对满足报警条件的区域进行跟踪。在需要输出报警信息时，若上述指定区域的局部区域的人群态势满足报警条件，则可以触发本设备设置的报警联动模式，将上述局部区域的位置信息发送给本设备内置的或者本设备连接的视频监控设备，以使上述视频监控设备对上述局部区域进行跟踪。

其中，上述位置信息可以包括上述局部区域在基于上述指定区域划分出的坐标系中的坐标，上述局部区域的坐标可以是上述局部区域的各边际点的坐标(比如，若局部区域为方形区域，则局部区域的坐标可以是该区域的四个角的坐标)。

此外，由于上述视频采集设备和上述视频监控设备的安装位置不会完全一致，上述位置信息还可以包括视场中心偏差信息，该视场中心偏差信息可修正上述视频监控设备与上述视频采集设备的视场中心偏差，从而使得上述视频监控设备可以更准确地对上述局部区域进行跟踪。

上述视频监控设备可以是PTZ(Pan/Tilt/Zoom，全方位移动及镜头变倍、变焦控制)相机。

进一步地，上述电子设备可以向控制平台发送报警信息，上述报警信息携带上述局部区域的人群态势参数。其中，上述控制平台可以是用于人群态势分析的云平台，也可以是执行公共安全管理的指挥中心的后台服务器。

需要指出的是，上述视频监控设备对上述局部区域的跟踪结果(比如报警录像数据)也可以发送至上述控制平台。由于上述视频监控设备可以对上述局部区域进行放大和跟踪，使得控制平台上可以获得更准确的跟踪结果，便于实时监控和事后追查。

上述控制平台获得上述局部区域的人群态势参数和跟踪结果，可以进一步确认上述区域可能存在的安全隐患，并对其进行相应的处理，从而实现公共安全管理。

比如：若上述视频采集设备上配置的人群态势分析策略中，判断是否满足报警条件的依据是局部密度是否达到预设的等级阈值，则存在任一局部区域的局部密度等级达到该的密度阈值，可以确定满足报警条件。在这种情况下，上述视频采集设备可以向PTZ相机发送上述局部区域的坐标，以由上述PTZ相机聚焦跟踪上述局部区域并返回监控该区域的视频流。

又比如：若上述视频采集设备上配置的人群态势分析策略中，判断是否满足报警条件的依据是局部人数是否达到预设人数阈值，则当存在任一局部区域的局部人数达到该人数阈值，可以确定满足报警条件。在这种情况下，上述视频采集设备可以向PTZ相机发送上述局部区域的坐标，以由上述PTZ相机聚焦跟踪上述局部区域并返回监控该区域的视频流。

当然，若上述视频采集设备上配置的人群态势分析策略依据上述指定区域的全局的人群态势参数(比如：全局密度等级)判断是否满足报警条件，则在输出报警信息时，视频采集设备可以直接向上述控制平台发送报警信息。

此外，作为一种实施例，视频采集设备可以将监控上述指定区域得到的视频流传输至控制平台，以由执行公共安全管理的指挥中心实时显示上述视频流，使得指挥中心可以对上述指定区域的现场实际情况有更清晰的认识从而更准确地评估群体聚集风险。

需要说明的是，在以上两种实施方式中，在公共场所的多个固定的安装视频采集设备，以由各视频采集设备分别监控自身覆盖的区域，存在一个明显缺陷：由于整个监控系统的架构过大，使得维护成本较高。

为解决上述问题，当本申请技术方案应用于视频采集设备时，上述视频采集设备可以是全景相机。由于全景相机具有开阔的视域，可实现最大360度的监控范围，利用全集相机监控指定区域，并由全景相机分析采集到的视频流，无需在多个固定点位安装监控设备，简化了监控系统的架构，降低了维护成本。

综上所述，在本申请实施例中，在本申请实施例中，电子设备通过多任务网络模型从采集到的指定区域的视频流中学习到至少两个具有相关关系的人群态势参数，然后依据上述人群态势参数分析上述指定区域的人群态势是否满足报警条件，若是，则输出报警信息；

由于电子设备在通过多任务网络模型学习人群态势参数的过程中，各人群态势参数会基于相关关系而互相修正，从而得到更准确的人群态势参数，进而可以依据上述人群态势参数分析上述指定区域的人群态势是否满足报警条件，从而在上述指定区域的人群态势满足报警条件时准确报警；

此外，若电子设备为视频采集设备，则可实时地对采集的视频流进行分析，无需传送至后台服务器，提高了人群态势分析的时效性，避免了因网络带宽的限制导致后台服务器无法及时分析得到人群态势参数，也因为简化了系统架构而降低了维护成本。

与前述人群态势分析方法的实施例相对应，本申请还提供了人群态势分析装置的实施例。

参见图5，为本申请示出的一种人群态势分析装置的实施例框图：

如图5所示，该人群态势分析装置包括：

学习单元510，用于将采集到的指定区域的视频流输入至多任务网络模型，以由所述多任务网络模型的子网络输出至少两个具有相关关系的人群态势参数；其中，所述多任务网络模型的子网络由包含至少两种不同标签的训练样本训练得到，不同子网络用于输出不同人群态势参数。

确定单元520，用于依据所述人群态势参数确定所述指定区域的人群态势是否满足报警条件。

报警单元530，用于若是，输出报警信息。

在本例中，所述确定单元520，进一步用于：

在本例中，与所述人群态势分析策略匹配的人群态势参数至少包括以下一种：

在本例中，所述装置应用于视频采集设备；所述报警单元530，进一步用于：

在本例中，所述视频采集设备为全景相机。

本申请人群异常报警的装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。作为一种实施例，上述电子设备可以是视频采集设备，该视频采集设备可以是全景相机。

从硬件层面而言，如图6所示，为本申请人群态势分析装置所在电子设备的一种硬件结构图，该电子设备可包括处理器601、存储有机器可执行指令的的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。处理器601通过加载并执行机器可读存储介质602存储的机器可执行指令，能够实现上述人群态势分析。

本文中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种人群态势分析方法，其特征在于，包括：

若是，输出报警信息。

2.根据权利要求1所述的方法，其特征在于，所述依据所述人群态势参数分析所述指定区域的人群态势是否满足报警条件包括：

3.根据权利要求1或2所述的方法，其特征在于，与所述人群态势分析策略匹配的人群态势参数至少包括以下一种：

4.根据权利要求1所述的方法，其特征在于，所述方法应用于视频采集设备；所述输出报警信息包括：

5.根据权利要求4所述的方法，其特征在于，所述视频采集设备为全景相机。

6.一种人群态势分析装置，其特征在于，包括：

报警单元，用于若是，输出报警信息。

7.根据权利要求6所述的装置，其特征在于，所述确定单元，进一步用于：

8.根据权利要求6或7所述的装置，其特征在于，与所述人群态势分析策略匹配的人群态势参数至少包括以下一种：

9.根据权利要求6所述的装置，其特征在于，所述装置应用于视频采集设备；所述报警单元，进一步用于：

10.根据权利要求9所述的装置，其特征在于，所述视频采集设备为全景相机。

11.一种电子设备，其特征在于，所述电子设备包括处理器，以及，用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

若是，输出报警信息。

12.根据权利要求11所述的视频采集设备，其特征在于，所述电子设备为所述视频采集设备，所述视频采集设备包括全景相机。