CN113887489A - 基于位置增强和多尺度融合网络的车厢内人群计数方法 - Google Patents

Abstract

本发明公开了一种基于位置增强和多尺度融合网络的车厢内人群计数方法，具体为：获取用于计数准备的车厢内人群视频，建立车厢内人群图像数据集，将数据集划分为训练集与测试集；构建位置增强和多尺度融合网络，包括前端、位置注意力模块CAM、可变形尺度感知模块DSM和后端；对位置增强和多尺度融合网络进行训练；将待检测的人群图像输入训练后的网络进行测试，确定计数结果和密度图。本发明实现了对密集人群的自动化统计；解决了严重的多尺度变异性问题，可以实现非固定感受野；具有更高的抗背景干扰能力，更准确的计数结果，以及更清晰的预测密度图。

Description

基于位置增强和多尺度融合网络的车厢内人群计数方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于位置增强和多尺度融合网络的车厢内人群计数方法。

背景技术

近年来，人群计数领域受到广泛的关注。实时获得公共交通工具上的人流量分布情况，对站台候车人群进行疏导，有利于缩短上下车时间和行车间隔，提升运输效率。有调查表明，某线路段内，地铁的行车间隔缩短一分钟，则一小时内地铁可多运输一万两千人，因此，通过视频监控获取行人流量，分析人群中的异常行为是至关重要的。

早期的人群计数方法通常采用目标检测的方法，通过检测器(Faster-rcnn，SSD，yolo)来对人的身体或者头部进行检测，在稀疏场景中，目标检测器发挥了良好的作用。但这一类方法只适用于背景简单且人数较少的情况，在背景复杂、人群互相遮挡的情况下其精确度会大大降低。因此这种方法、被基于回归的方法取代，一般来说，基于回归的方法会先提取全局或者局部特征，然后再通过线性回归和高斯混合回归来学习图片块到人数的映射。而当前人群计数地研究主要集中于借助卷积神经网络来学习密度图，密度图中每个像素的值反映了图像中对应区域的密度，图上像素点的加和即是当前图片总人数。

车厢实际应用场景存在多种挑战，由于空间狭小、摄像机设置视角较低，因此存在较为严重的背景干扰、视角畸变和多尺度变化，与公共数据集差别较大；由于人群多样性(大量背面、侧面视角、帽子、光头、白发、头戴式耳机)和移动随机性的存在，也给识别造成了很大的困难，因此，现有的网络难以进行实际应用，上述挑战促使我们设计出更有效和更健壮的框架来解决这些问题。

发明内容

针对以上问题，为了提高人群密度图预测质量与总数计算准确度，本发明提供一种基于位置增强和多尺度融合网络的车厢内人群计数方法。

本发明的一种基于位置增强和多尺度融合网络的车厢内人群计数方法，包括以下步骤：

步骤1：获取用于计数准备的车厢内人群视频，建立车厢内人群图像数据集，将数据集划分为训练集与测试集。

步骤2：构建位置增强和多尺度融合网络。

构建的位置增强和多尺度融合网络包括前端、位置注意力模块CAM、可变形尺度感知模块DSM和后端。

前端：使用去除了全连接层的VGG-16网络作为特征提取器。

位置注意力模块CAM：采用两个池化核的空间扩展对每个通道沿着水平与垂直坐标进行编码，然后沿着空间维数分解为两个单独的张量，利用另外2个卷积变换分别将这两个张量变换为与输入具有相同通道数的张量，最后将他们与输入信息进行结合得到输出。

可变形尺度感知模块DSM：采用双分支结构，其中一个分支采用卷积核大小为3的可变形卷积处理得到中间结果，然后由卷积核大小为1的标准卷积处理并进行上采样得到初步结果，其后将这个结果与前述中间结果相减得到差别特征，将差别特征进一步地进行处理后与初步结果进行逐像素点称，得到此分支输出；另一个分支将可变形卷积替换为卷积核大小为1的标准卷积，其余结构与前述分支完全相同；两个分支得到的结构经融合后与模块输入拼接，作为可变形尺度感知模块DSM的输出。

后端：使用6层堆叠的卷积核大小为3膨胀率为2的膨胀卷积层，以及一层卷积核大小为1的标准卷积层所组成的结构作为密度图预测器。

步骤3：对位置增强和多尺度融合网络进行训练。

步骤4：将待检测的人群图像输入训练后的位置增强和多尺度融合网络进行测试，确定计数结果和密度图。

进一步的，步骤1中，采用7：3的比例将数据集划分为训练集与测试集。

进一步的，步骤3具体为：

S31：使用固定大小的二维高斯核来生成标签密度图；像素点x_i上的头注释表示为δ(x-xi)，标签密度图D^gt是通过将每个像素与高斯核卷积来计算的，μ和σ代表正态分布的平均值和标准差；设置μ＝15和σ＝4，C是总人数，则标签密度图D^gt表示为：

S32：将准备好的训练集进行预处理，为了增加数据多样性和提高网络学习能力，在一些随机位置裁剪原始图像的1/4大小的补丁在训练图像中；训练补丁随机水平翻转，概率为0.5，以进行数据增强。

S33：使用Adam优化器，将损失函数定义如下：

其中，D^est为预测密度图，B为批次大小。

S34：保存训练好的位置增强和多尺度融合网络模型。

进一步的，步骤4具体为：

将划分好的测试集图片输入到训练好的位置增强和多尺度融合网络中进行测试，得到预测的人群密度图，密度图上所有像素点加和即为总人数，同时采用平均绝对误差MAE和均方误差MSE对结果进行评估，公式表述如下：

其中，N为测试图片的总数，C_i为单张图片标签总数，C^gt _i为单张图片预测总人数；MSE反映网络估计的准确性，RMSE反映估计结果的稳定性。

本发明的有益技术效果为：

通过深度学习相关技术，建立了位置增强和多尺度融合网络，实现了对密集人群的自动化统计；为了削弱特定的背景干扰，网络引入了位置注意机制，可以充分利用捕获的位置信息；网络采用了不同卷积核大小的双列结构，解决了严重的多尺度变异性问题，可以实现非固定感受野；与现有技术相比，所提出的技术具有更高的抗背景干扰能力，更准确的计数结果，以及更清晰的预测密度图。

附图说明

图1是本发明车厢内人群图像采集装置的安装示意图。

图2是本发明位置增强和多尺度融合网络结构图。

图3是本发明位置注意力模块CAM的结构图。

图4是本发明可变形尺度感知模块DSM的结构图。

图5是本发明可变形卷积的作用效果图。

图6是本发明位置增强和多尺度融合网络预测出的人群密度图结果。

具体实施方式

下面结合附图和具体实施方法对本发明做进一步详细说明。

本发明的一种基于位置增强和多尺度融合网络的车厢内人群计数方法，包括以下步骤：

步骤1：获取用于计数准备的车厢内人群视频，建立车厢内人群图像数据集，将数据集划分为训练集与测试集。

在列车车厢内具有若干个摄像头用于监控具体情况，通过摄像头可获得不同车厢人流量分布情况的图像，各个图像具有不同的角度和不同等级人群密度；人为筛选差别较大的图像，构建人群密度数据集，采用Matlab软件进行标注，生成标注文件；标注将单人头部所在位置的像素点标为1，其他位置不标注或视为0值，标注完成后用一定大小的二维高斯核对像素点为1的位置进行处理，得到原始人群密度图。列车概况和列车内摄像设备的具体安装位置如图1所示。

采用7：3的比例将数据集划分为训练集与测试集。

步骤2：构建位置增强和多尺度融合网络。

构建的位置增强和多尺度融合网络如图2所示，包括前端、位置注意力模块CAM、可变形尺度感知模块DSM和后端。其中，前端主要功能为图像的初步特征提取，后端的功能为人群密度图的预测，位置注意力模块CAM与可变形尺度感知模块DSM的主要功能是矫正图像的预测，帮助生成更高质量的人群密度图和更准确的数量预测结果。

前端：使用去除了全连接层的VGG-16网络作为特征提取器。

位置注意力模块CAM：由于列车车厢内空间狭小，场景复杂，存在大量与人头发生遮挡的扶手、支撑结构等，给人群位置的识别造成了极大困难；因此，我们引入了位置注意力模块CAM来增强对位置敏感的信息，这有助于模型更准确地定位和识别感兴趣的对象；此外，位置注意力模块CAM还能够有效地捕获通道间的关系，这在现有的研究中已被证明至关重要。位置注意力模块CAM的具体结构如图3所示，采用两个池化核的空间扩展对每个通道沿着水平与垂直坐标进行编码，然后沿着空间维数分解为两个单独的张量，利用另外2个卷积变换分别将这两个张量变换为与输入具有相同通道数的张量，最后将他们与输入信息进行结合得到输出。

可变形尺度感知模块DSM：经过位置注意力模块CAM进行位置增强的信息，仍然存在一些问题；用标准卷积处理得到的信息，对于不同大小头部具有相同感受野，无法提取多尺度信息，且采样点固定，不能贴合头部形状，而可变形卷积其采样点位置并不是标准格点，它通过一个额外网络来学习采样点偏移量，从而获得不规则的感受野，更加符合头部轮廓，不同大小的感受野有助于获得不同尺度的信息；可变形尺度感知模块DSM被引入来解决这些问题，具体来说，可变形尺度感知模块DSM的具体结构如图4所示，采用双分支结构，其中一个分支采用卷积核大小为3的可变形卷积处理得到中间结果，然后由卷积核大小为1的标准卷积处理并进行上采样得到初步结果，其后将这个结果与前述中间结果相减得到差别特征，将差别特征进一步地进行处理后与初步结果进行逐像素点称，得到此分支输出；另一个分支将可变形卷积替换为卷积核大小为1的标准卷积，其余结构与前述分支完全相同；两个分支得到的结构经融合后与模块输入拼接，作为可变形尺度感知模块DSM的输出。可变形尺度感知模块DSM主要采用感受野大小不同的双分支结构来采集丰富的多尺度特征，保留上下文信息，利用可变形卷积感受野不固定形状的优点来使得人群头部信息能更精准地被提取；可变形卷积的采样点如图5所示。

后端：使用6层堆叠的卷积核大小为3膨胀率为2的膨胀卷积层，以及一层卷积核大小为1的标准卷积层所组成的结构作为密度图预测器。

步骤3：对位置增强和多尺度融合网络进行训练：

S31：使用固定大小的二维高斯核来生成标签密度图；像素点x_i上的头注释表示为δ(x-xi)，标签密度图D^gt是通过将每个像素与高斯核卷积来计算的，μ和σ代表正态分布的平均值和标准差；设置μ＝15和σ＝4，C是总人数，则标签密度图D^gt表示为：

S32：将准备好的训练集进行预处理，为了增加数据多样性和提高网络学习能力，在一些随机位置裁剪原始图像的1/4大小的补丁在训练图像中；训练补丁随机水平翻转，概率为0.5，以进行数据增强。

S33：使用Adam优化器，将损失函数定义如下：

其中，D^est为预测密度图，B为批次大小。

S34：保存训练好的位置增强和多尺度融合网络模型。

步骤4：将待检测的人群图像输入训练后的位置增强和多尺度融合网络进行测试，确定计数结果和密度图。

将划分好的测试集图片输入到训练好的位置增强和多尺度融合网络中进行测试，得到预测的人群密度图，密度图上所有像素点加和即为总人数，同时采用平均绝对误差MAE和均方误差RMSE对结果进行评估，公式表述如下：

其中，N为测试图片的总数，C_i为单张图片标签总数，C^gt _i为单张图片预测总人数；MAE反映网络估计的准确性，RMSE反映估计结果的稳定性。

所预测出的人群密度图如图6所示，原图中人脸均已进行模糊处理以保证个人隐私。

Claims (4)

1.一种基于位置增强和多尺度融合网络的车厢内人群计数方法，其特征在于，包括以下步骤：

步骤1：获取用于计数准备的车厢内人群视频，建立车厢内人群图像数据集，将数据集划分为训练集与测试集；

步骤2：构建位置增强和多尺度融合网络：

构建的位置增强和多尺度融合网络包括前端、位置注意力模块CAM、可变形尺度感知模块DSM和后端；

前端：使用去除了全连接层的VGG-16网络作为特征提取器；

位置注意力模块CAM：采用两个池化核的空间扩展对每个通道沿着水平与垂直坐标进行编码，然后沿着空间维数分解为两个单独的张量，利用另外2个卷积变换分别将这两个张量变换为与输入具有相同通道数的张量，最后将他们与输入信息进行结合得到输出；

可变形尺度感知模块DSM：采用双分支结构，其中一个分支采用卷积核大小为3的可变形卷积处理得到中间结果，然后由卷积核大小为1的标准卷积处理并进行上采样得到初步结果，其后将这个结果与前述中间结果相减得到差别特征，将差别特征进一步地进行处理后与初步结果进行逐像素点称，得到此分支输出；另一个分支将可变形卷积替换为卷积核大小为1的标准卷积，其余结构与前述分支完全相同；两个分支得到的结构经融合后与模块输入拼接，作为可变形尺度感知模块DSM的输出；

后端：使用6层堆叠的卷积核大小为3膨胀率为2的膨胀卷积层，以及一层卷积核大小为1的标准卷积层所组成的结构作为密度图预测器；

步骤3：对位置增强和多尺度融合网络进行训练；

步骤4：将待检测的人群图像输入训练后的位置增强和多尺度融合网络进行测试，确定计数结果和密度图。

2.根据权利要求1所述的一种基于位置增强和多尺度融合网络的车厢内人群计数方法，其特征在于，所述步骤1中，采用7：3的比例将数据集划分为训练集与测试集。

3.根据权利要求1所述的一种基于位置增强和多尺度融合网络的车厢内人群计数方法，其特征在于，所述步骤3具体为：

S31：使用固定大小的二维高斯核来生成标签密度图；像素点x_i上的头注释表示为δ(x-xi)，标签密度图D^gt是通过将每个像素与高斯核卷积来计算的，μ和σ代表正态分布的平均值和标准差；设置μ＝15和σ＝4，C是总人数，则标签密度图D^gt表示为：

S32：将准备好的训练集进行预处理，为了增加数据多样性和提高网络学习能力，在一些随机位置裁剪原始图像的1/4大小的补丁在训练图像中；训练补丁随机水平翻转，概率为0.5，以进行数据增强；

S33：使用Adam优化器，将损失函数定义如下：

其中，D^est为预测密度图，B为批次大小；

S34：保存训练好的位置增强和多尺度融合网络模型。

4.根据权利要求1所述的一种基于位置增强和多尺度融合网络的车厢内人群计数方法，其特征在于，所述步骤4具体为：

将划分好的测试集图片输入到训练好的位置增强和多尺度融合网络中进行测试，得到预测的人群密度图，密度图上所有像素点加和即为总人数，同时采用平均绝对误差MAE和均方误差RMSE对结果进行评估，公式表述如下：

其中，N为测试图片的总数，C_i为单张图片标签总数，C^gt _i为单张图片预测总人数；MAE反映网络估计的准确性，RMSE反映估计结果的稳定性。

Images