CN116778418A - 一种顾及监控观测尺度和人群密度的自适应人数统计方法 - Google Patents

Abstract

本发明公开了一种顾及监控观测尺度和人群密度的自适应人数统计方法，包括：获取监控视频数据，并且进行预处理得到监控图像数据；根据景区监控图像，进行监控场景观测尺度标定，尺度场景分为微观尺度场景、中观尺度场景和宏观尺度场景三类；根据标定的尺度场景类别，进行自适应人数统计。本发明克服了现有人数统计方法对监控场景的依赖性，提高了人数统计模型的构建效率和识别精度，具有很强的适用性，在公共场所人群管理和应急决策方面具有较高的应用前景。

Description

一种顾及监控观测尺度和人群密度的自适应人数统计方法

技术领域

本发明属于人数统计领域，涉及计算机视觉识别技术，具体涉及一种顾及监控观测尺度和人群密度的自适应人数统计方法。

背景技术

公共安全是旅游业发展的基石，伴随着踩踏事故的频繁发生，准确掌握和监测公共场所人群数量是公共场所安全智能化管理的重要方向。人数统计在公共资源配置与管理、安全监测等方面发挥着重要作用，高效、高精度地实现人群数量统计对于公共场所合理调配安全管理人员、设计应急管理方案，以及避免和减少安全事故的发生具有重要价值。

传统面向视频的人数统计方法主要有基于检测的方法和基于回归的方法。基于检测的方法通过提取一组行人图像的特征来训练分类器，训练好的分类器以滑动窗口的方式应用于整个图像空间检测行人目标，置信值较低的目标通常使用非最大值抑制丢弃，例如公开号为CN108615020A、CN108388883A等专利，该方法在人群稀疏场景中有较高的检测质量，然而在人群密集的场景中，人群不可避免会出现遮挡和场景混乱，人数统计效果会受到影响。基于回归的方法是从图像中提取有效特征，利用各种回归函数来统计人数，例如公开号为CN109948443A、CN108021852A等专利，该方法不涉及个体的分割和特征跟踪，避免了高密度人群的场景中检测质量不高的问题，然而低密度人群的监控场景不适用，不能提供单独的目标定位。

随着计算机视觉技术和视频GIS的快速发展，基于计算机视觉的人群计数已成为热门的研究方向，为景区动态安全监测和隐患分析创造了新途径。基于计算机视觉的人数统计方法可以分为针对特定监控场景的算法，例如公开号为CN108256462A、CN107103299A等专利，通过学习特定监控的场景特征，实现人数统计，但是由于实际的监控摄像头姿态众多，焦距和视角的不同导致观测尺度各不相同，为各种不同姿态的监控相机训练人数统计模型存在效率低下、普适性差的问题，且观测视域大小等场景因素对算法健壮性和拓展性的影响较大，导致面向视频监控的客流检测无法在大范围区域进行实际应用。因此有人提出了跨场景的人数统计方法，例如专利号为CN102982341A的专利，然而实际的监控视频场景尺度类型不一，导致该方法人数统计的精度有限。

发明内容

发明目的：为了解决现有人数统计方法适用局限性问题，提供一种顾及监控观测尺度和人群密度的自适应人数统计方法，能够顾及监控观测尺度和人群密度自适应地选择适当模型进行实时人数统计，提高了检测精度，确保了人数统计的准确性。

技术方案：为实现上述目的，本发明提供一种顾及监控观测尺度和人群密度的自适应人数统计方法，包括如下步骤：

S1：获取监控视频数据，并且进行预处理得到监控图像数据；

S2：根据监控图像，进行监控场景观测尺度标定，尺度场景分为微观尺度场景、中观尺度场景和宏观尺度场景三类；

S3：根据步骤S2标定的尺度场景类别，进行自适应人数统计：

当标定为微观尺度场景，将监控图像数据输入至构建好的基于目标检测的人数统计模型，获取到人数统计数据；

当标定为宏观尺度场景，将监控图像数据输入至构建好的基于密度估计的人数统计模型，获取到人数统计数据；

当标定为中观尺度场景，对监控图像中人群的密集程度进行分类，根据分类结果选择人数统计模型，获取到人数统计数据。

进一步地，所述步骤S1中预处理的方法包括抓图、抽帧等操作。

进一步地，所述步骤S2中监控场景观测尺度标定的方法为：按照观测场景的地理空间范围大小，对监控图像的观测尺度类型进行标注，分为微观尺度场景、中观尺度场景和宏观尺度场景三类。

进一步地，所述步骤S2中监控场景观测尺度标定的过程为：视频监控图像的分辨率为1920*1080，若视频监控中人体的平均高度大于100像素，则此监控场景属于微观尺度场景；若人体的平均高度小于50像素，则此监控场景属于宏观尺度场景；如果人体的平均高度在50像素到100像素之间，则此监控场景属于中观尺度场景。

进一步地，所述步骤S3中当标定为中观尺度场景，使用计算机视觉技术对监控图像中人群的密集程度进行分类，分为低密度场景和高密度场景两种，如果分类结果为低密度场景，通过基于目标检测的人数统计模型，获取到人数统计数据，如果分类结果为高密度场景，通过基于密度估计的人数统计模型，获取到人数统计数据。

进一步地，所述步骤S3中所述步骤S3中当标定为中观尺度场景，使用计算机视觉技术对监控图像中人群的密集程度进行分类的方法为：

A1：利用数字图像处理方法对视频监控图像提取HOG特征向量，并对提取后的HOG特征进行降维，消除特征间的冗余信息，降低特征空间的维数；

A2：将降维后的HOG特征，送至SVM分类器进行训练，得到一个训练好的SVM分类器，作为人群密集程度的识别模型，将图像中的人群密度分为高密度和低密度两类。

有益效果：本发明与现有技术相比，基于计算机视觉技术，可以根据监控的观测尺度和场景的人群密度自适应地选择人数统计模型，其关键点在于：如果监控观测尺度为微观尺度，选择基于目标检测的人数统计模型；如果观测尺度为宏观尺度，选择基于密度估计的人数统计模型；如果观测尺度为中观尺度，则进一步判断人群密度，低密度选择目标检测模型，高密度选择密度估计模型。该方法克服了现有人数统计方法对监控场景的依赖性，提高了人数统计模型的构建效率和识别精度，具有很强的适用性，在公共场所人群管理和应急决策方面具有较高的应用前景。

附图说明

图1是本发明方法的总体工作流程图；

图2是本发明实施例中监控场景人群密度等级分类流程图；

图3是本发明实施例中获取的监控视频数据图；

图4是本发明实施例中部分监控视频的人数统计结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提供一种顾及监控观测尺度和人群密度的自适应人数统计方法，包括如下步骤：

S1：获取景区监控视频数据，并且进行抓图、抽帧等与预处理操作得到景区监控图像数据；

S2：根据景区监控图像，进行监控场景观测尺度标定；

监控场景观测尺度标定的方法为：按照观测场景的地理空间范围大小，对监控图像的观测尺度类型进行标注，分为微观尺度场景、中观尺度场景和宏观尺度场景三类。

监控场景观测尺度标定的过程为：视频监控图像的分辨率为1920*1080，若视频监控中人体的平均高度大于100像素，则此监控场景属于微观尺度场景；若人体的平均高度小于50像素，则此监控场景属于宏观尺度场景；如果人体的平均高度在50像素到100像素之间，则此监控场景属于中观尺度场景。

S3：根据步骤S2标定的尺度场景类别，进行自适应人数统计：

当标定为微观尺度场景，将监控图像数据输入至构建好的基于目标检测的人数统计模型，获取到人数统计数据；

当标定为宏观尺度场景，将监控图像数据输入至构建好的基于密度估计的人数统计模型，获取到人数统计数据；

当标定为中观尺度场景，使用计算机视觉技术对监控图像中人群的密集程度进行分类，分为低密度场景和高密度场景两种，如果分类结果为低密度场景，通过基于目标检测的人数统计模型，获取到人数统计数据，如果分类结果为高密度场景，通过基于密度估计的人数统计模型，获取到人数统计数据。使用计算机视觉技术对监控图像中人群的密集程度进行分类的方法为：

A1：利用数字图像处理方法对视频监控图像提取Histograms ofOrientedGradients(HOG)特征向量，并对提取后的HOG特征进行降维，消除特征间的冗余信息，降低特征空间的维数；

A2：将降维后的HOG特征，送至SVM分类器进行训练，得到一个训练好的SVM分类器，作为人群密集程度的识别模型，将图像中的人群密度分为高密度和低密度两类。

本发明中可以利用训练好的SVM分类器对监控视频图像进行人群密度分类，收集低密度人群和高密度人群的图像样本数据，从图像中提取特征向量构建决策函数，通过决策函数对输入的特征向量进行预测，结果集合为{0，1}，0代表低密度，1代表高密度。

基于上述内容，为了验证本发明方法的有效性，本实施例中将上述方案进行实例应用，具体如下：

步骤一：监控视频数据获取与预处理。

根据海康威视的摄像头地址，通过ffmpeg框架获取rtsp视频流，并对视频进行抽帧，随机采集了15路南京市视频监控，从每路视频监控中捕获1帧图像，具体如图3所示。

步骤二：视频场景标定。

按照观测场景的实际地理空间范围大小，对步骤一中的图像帧数据进行场景标定，分为微观尺度场景、中观尺度场景和宏观尺度场景三类，具体如表1所示。

表1景区监控视频场景标定结果

步骤三：监控场景人群密度等级分类。

进一步判断中观场景的人群密度，流程如图2所示，利用OpenCV视觉库中的HOGDescriptor类提取视频监控图像的HOG特征向量，将其作为输入变量构建SVM分类器，使用RBF核函数来构建分类模型，训练模块通过输入特征向量构建决策函数，检测模块将特征向量输入至训练模块得到的决策函数中，从而得到人群密度等级，结果集为{0,1}，0代表“低密度”，1代表“高密度”，结果见表2。

表2景区监控视频场景人群密度分类

步骤四：人数统计。

监控视频1-4为微观场景，监控视频7、9为中观低密度场景，使用基于目标检测的Yolo v5模型统计人数，监控视频11-15为宏观场景，监控视频5、6、8、10为中观高密度场景，使用基于密度估计的P2PNet模型统计人数，统计结果见表3，图4为部分监控视频人数检测结果。

表3景区监控视频人数统计结果

从表中可以看出，本文方法的人数统计结果更接近实际人数，只使用目标检测模型在中观高密度和宏观场景出现严重的人数低估，只使用密度分割模型在微观场景和中观低密度场景会出现高估。因此，相比于单独使用一种模型，本文提出的一种顾及监控观测尺度和人群密度的自适应人数统计方法提高了视频中人数统计精度，更适用于实际的应用场景。

Claims (6)

1.一种顾及监控观测尺度和人群密度的自适应人数统计方法，其特征在于，包括如下步骤：

S1：获取监控视频数据，并且进行预处理得到监控图像数据；

S2：根据监控图像，进行监控场景观测尺度标定，尺度场景分为微观尺度场景、中观尺度场景和宏观尺度场景三类；

S3：根据步骤S2标定的尺度场景类别，进行自适应人数统计：

当标定为微观尺度场景，将监控图像数据输入至构建好的基于目标检测的人数统计模型，获取到人数统计数据；

当标定为宏观尺度场景，将监控图像数据输入至构建好的基于密度估计的人数统计模型，获取到人数统计数据；

当标定为中观尺度场景，对监控图像中人群的密集程度进行分类，根据分类结果选择人数统计模型，获取到人数统计数据。

2.根据权利要求1所述的一种顾及监控观测尺度和人群密度的自适应人数统计方法，其特征在于，所述步骤S1中预处理的方法包括抓图、抽帧。

3.根据权利要求1所述的一种顾及监控观测尺度和人群密度的自适应人数统计方法，其特征在于，所述步骤S2中监控场景观测尺度标定的方法为：按照观测场景的地理空间范围大小，对监控图像的观测尺度类型进行标注，分为微观尺度场景、中观尺度场景和宏观尺度场景三类。

4.根据权利要求3所述的一种顾及监控观测尺度和人群密度的自适应人数统计方法，其特征在于，所述步骤S2中监控场景观测尺度标定的过程为：视频监控图像的分辨率为1920*1080，若视频监控中人体的平均高度大于100像素，则此监控场景属于微观尺度场景；若人体的平均高度小于50像素，则此监控场景属于宏观尺度场景；如果人体的平均高度在50像素到100像素之间，则此监控场景属于中观尺度场景。

5.根据权利要求1所述的一种顾及监控观测尺度和人群密度的自适应人数统计方法，其特征在于，所述步骤S3中当标定为中观尺度场景，使用计算机视觉技术对监控图像中人群的密集程度进行分类，分为低密度场景和高密度场景两种，如果分类结果为低密度场景，通过基于目标检测的人数统计模型，获取到人数统计数据，如果分类结果为高密度场景，通过基于密度估计的人数统计模型，获取到人数统计数据。

6.根据权利要求5所述的一种顾及监控观测尺度和人群密度的自适应人数统计方法，其特征在于，所述步骤S3中当标定为中观尺度场景，使用计算机视觉技术对监控图像中人群的密集程度进行分类的方法为：

A1：利用数字图像处理方法对视频监控图像提取HOG特征向量，并对提取后的HOG特征进行降维，消除特征间的冗余信息，降低特征空间的维数；

A2：将降维后的HOG特征，送至SVM分类器进行训练，得到一个训练好的SVM分类器，作为人群密集程度的识别模型，将图像中的人群密度分为高密度和低密度两类。