CN115953736A - 一种基于视频监控与深度神经网络的人群密度估计方法 - Google Patents
一种基于视频监控与深度神经网络的人群密度估计方法 Download PDFInfo
- Publication number
- CN115953736A CN115953736A CN202310062089.3A CN202310062089A CN115953736A CN 115953736 A CN115953736 A CN 115953736A CN 202310062089 A CN202310062089 A CN 202310062089A CN 115953736 A CN115953736 A CN 115953736A
- Authority
- CN
- China
- Prior art keywords
- crowd
- feature
- image
- neural network
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000008447 perception Effects 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000002829 reductive effect Effects 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 59
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 239000011800 void material Substances 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种基于视频监控与深度神经网络的人群密度估计方法，它包括如下步骤：从视频监控中采集大量含有高密度人群的人群图像数据，构建人群计数数据集并生成真实人群密度图；构建神经网络模型；将构建的人群计数数据集输入所述神经网络模型进行迭代训练，得到优化后的神经网络模型；通过优化后的神经网络模型预测输入人群图像的密度图，再对密度图进行逐像素累加求和，得到最终输入人群图像的人群计数结果。本发明通过上下文感知金字塔模块编码丰富的空间上下文信息，增强模型对尺度不均匀变化的鲁棒性，并利用注意力模块学习空间特征之间的相关性以及通道特征之间的依赖关系，以提高特征图的聚焦能力，减少背景、噪声对计数性能的影响。
Description
技术领域
本申请涉及机器视觉中静态图像识别技术领域，具体涉及一种基于视频监控与深度神经网络的人群密度估计方法。
背景技术
随着世界现代化水平的不断提高以及城市化发展的不断推进，各种公共场所的人群聚集规模也在急剧扩大，例如商场、车站、学校、体育馆、广场等，这给公共安全带来巨大的隐患。人群计数在智能化视频监控领域有着极为重要的作用，可以根据静态的人群图像估计人群总数并提供实时预警，能够有效地避免安全事故发生。
高密度人群计数已经成为流量管理、视频监控和城市安全方面的重要任务。近年来，随着深度学习技术在计数领域的应用，基于深度神经网络的人群密度估计方法在性能上有了很大提升。然而，现实场景中由于相机视角的不同引起的尺度变化和拥挤造成的遮挡使得人群计数任务仍具有一定的挑战性。
由于训练数据的缺乏，一些早期的方法主要是通过检测场景中的行人来解决人群计数问题，例如采用滑动窗口检测器检测行人的统计方法，还有一些研究者提出通过检测头部、肩膀等身体的部分结构来进行行人检测并统计人群数量。这些基于检测的方法在人群分布较为稀疏的场景中取得了不错的效果，但在密集人群和遮挡严重的复杂场景中检测的准确性会急剧下降。因此，基于特征回归的方法被用于解决此类人群计数问题。通过从前景分割出的人群中提取纹理、边缘等特征训练一个回归模型，从而建立特征到人数的映射关系，进而预测人群数量。然而，这些基于特征回归方法学习到的只是一些低级特征映射，在尺度剧烈变化和目标遮挡严重的场景下依然暴露出检测不准确的缺点。
近年来，卷积神经网络CNN凭借着其强大的特征表示能力，在计算机视觉领域中得到了广泛应用。众多研究者们也开始借鉴以深度学习为驱动的密度估计方法来解决复杂场景下的人群计数问题，通过CNN强大的特征表示生成高质量的预测密度图，再对密度图逐像素积分得到最终的计数结果。例如通过一种具有多分支的多列卷积神经网络MCNN来处理尺度变化，其中每个分支使用大小不同的卷积核，这些分支提取的特征组合在一起以进行密度图预测。还有一种选择器神经网络Switch-CNN，它是在MCNN的基础上通过图像块的内容信息选择预测效果最精准的CNN分支用于密度图估计。
然而，现有的大多数基于CNN的人群计数方法，通常是对输入的整个图像采用大小一样的卷积核提取特征信息，并没有考虑来自网络不同感受野的特征对最终计数结果的贡献，导致计数网络不能获取合适的空间上下文信息。此外，在背景杂乱和遮挡严重的情况下，许多计数模型缺少抑制背景特征的能力，误将背景区域识别为目标区域，或者是只关注局部外观特征而丢掉了许多细节信息，导致计数结果与实际值偏差较大。
发明内容
本发明的目的在于，提供一种基于视频监控与深度神经网络的人群密度估计方法，通过上下文感知金字塔模块编码丰富的空间上下文信息，增强模型对尺度不均匀变化的鲁棒性，并利用AM学习空间特征之间的相关性以及通道特征之间的依赖关系，以提高特征图的聚焦能力，减少背景、噪声对计数性能的影响。
本发明采取的技术方案是：一种基于视频监控与深度神经网络的人群密度估计方法，包括以下步骤：
S1：从社会公共区域的监控视频中采集大量含有高密度人群的人群图像数据，构建人群计数数据集并生成人群计数数据集中人群图像的真实人群密度图；
S2：构建用于生成人群密度图的神经网络模型，所述神经网络模型包括前端网络、上下文感知金字塔模块、注意力模块和后端网络；
所述前端网络包括去除全连接层的VGG-16网络的前10个卷积层，用于提取高密度人群的低层特征；
所述上下文感知金字塔模块用于将前端网络输出的具有的低层特征的特征图划分为四个不同尺度的并行块来编码丰富的上下文信息，通过结合多个大小不同的感受野获得的尺度感知特征，使得神经网络模型能够有效利用每个位置的上下文，以适应快速的尺度变化；
所述注意力模块通过空间注意力机制对整个输入特征图进行编码，再通过可学习的方式自动获取每个特征通道的重要程度，并按照重要程度把注意力放在有用的特征上，抑制分散注意力的无关特征；
所述后端网络包括1层普通卷积层和6层空洞卷积层，用于回归生成预测的人群密度图；
S3：将构建的人群计数数据集输入所述神经网络模型进行迭代训练，得到优化后的神经网络模型；
S4：通过优化后的神经网络模型预测输入人群图像的密度图，然后对整张密度图的所有像素进行求和，从而得到最终输入人群图像的人群计数结果。
进一步地，所述步骤S1中构建人群计数数据集和生成人群计数数据集中人群图像的真实人群密度图的具体方法为：
S101：对人群图像进行标注，当人群图像的某一个像素点处有一个人头，将该人头记作xi，xi表示第i个被标记的人头所在的位置，将有P个被标记的人头的人群图像记为：
其中，i为被标注的人头数，x为人群图像中像素点的位置，δ(x-xi)为增量函数，P为人群图像中被标注的人头的总数量；
S102：将采集的人群图像数据划分为训练集和测试集，并训练集的人群图像进行数据增强预处理，在人群图像的不同位置随机裁剪一块图像作为补丁，将补丁镜像，使得训练集加倍；
S103：使用高斯核卷积对人群计数数据集的人群图像中被标注的每一个人头位置进行模糊处理，减少透视畸变对人头大小的影响，并生成人群计数数据集中人群图像的真实人群密度图Fgt(x)，具体表达式为：
其中，
表示标准偏差为σi的高斯核卷积函数，
表示人群图像中第i个被标记的人头距离其α近邻的平均欧式距离，β为常数。
进一步地，所述后端网络使用的空洞卷积定义为：
其中，Γ表示空洞率，L表示空洞卷积层的长度，z的取值范围为1～L，表示第z行，G表示空洞卷积层的宽度，u的范围为1～G，表示第u列，
表示二维输入λ(l+Γ×z,g+Γ×u)和滤波器
进行二维空洞卷积后的二维输出，l表示二维特征图的横坐标，g表示二维特征图的纵坐标。
进一步地，所述步骤S3中，通过结合神经网络模型的输出的人群图像预测密度图和对应的真实人群密度图构建训练神经网络模型的损失函数L(θ)，更新模型参数，具体表达式如下：
其中，T表示训练集中人群图像的数量，t为第t张输入的人群图像，
为第t张输入的人群图像对应的真实人群密度图，
为神经网络模型输出的第t张输入人群图像的预测密度图，
为
和
之间的误差的平方；
在模型的训练过程中，使用Adam算法被用来作为神经网络的优化方法。
进一步地，所述步骤S4中的具体方法为：
S401：前端网络通过预先训练的VGG-16的前10个卷积层对输入的人群图像进行编码，输出具有低层特征的2D特征图，具体公式为：
Dh＝Fv(Ih)
其中，Ih表示第h张输入前端网络的人群图像，Fv表示VGG-16的前10个卷积层，Dh表示第h张输入前端网络的人群图像对应输出的具有低层特征的2D特征图；
S402：上下文感知金字塔模块通过在4个分支中平均池化，将前端网络输出的2D特征图划分为四个大小不同的块，并对四个分支的感受野进行精细区分，获得不同深度的特征信息，所述特征信息通过上采样操作恢复到与前端网络输出的2D特征图一样的大小后进行融合，融合后的特征图与前端网络输出的2D特征图进行结合，实现多尺度上下文特征的提取；
S403：注意力模块先后通过空间注意力机制、全局平均池化GAP和通道特征学习CFS对上下文感知金字塔模块输出的包含多尺度上下文特征的特征图进行处理；
其中，空间注意力机制用于对包含多尺度上下文特征的特征图进行编码，空间注意力机制包括三个分支，通过三个分支对包含多尺度上下文特征的特征图进行处理，分别获得第一特征图Q1、第二特征图Q2和第三特征图Q3，依据第一特征图Q1和第二特征图Q2获得空间注意图Qs，再根据包含多尺度上下文特征的特征图、第三特征图Q3和空间注意图Qs获得空间注意力机制输出的特征图Qf；
全局平均池化GAP和通道特征学习CFS用于从空间注意力机制输出的特征图Qf中捕获重要通道的信息，同时抑制不必要通道的干扰；全局平均池化GAP对特征图Qf进行空间特征压缩，得到压缩后的特征图T1，再通过通道特征学习CFS得到具有通道注意力的特征图T2，所述通道特征学习CFS包括两个全连接层，用于学习通道间的相关性，第一个全连接层用于降低维度，后接ReLU激活函数，之后通过第二个全连接层将输出特征图的维度大小恢复到与特征图T1相同的维度，最后将得到的具有通道注意力的特征图T2与特征图Qf进行通道级乘法运算，输出特征图Tf；
S404：将特征图Tf输入后端网络，通过后端网络的空洞卷积层和普通卷积层处理后得到最终预测的人群密度图。
进一步地，上下文感知金字塔模块输出的包含多尺度上下文特征的特征图的具体表达式为：
Mr＝Up(Fr(Pv(Dh,r,θr))+Dh
其中，r为尺度，Fr表示核大小为1×1的卷积网络，θr为卷积核的参数，Pv(Dh,r)为平均池化，Up为用于上采样的双线性插值，Mr表示上下文感知金字塔模块输出的包含多尺度上下文特征的特征图。
进一步地，所述空间注意图Qs的具体表达式为：
其中，
表示空间注意力特征图Qs中第b个位置对第a个位置的影响，两个位置的特征图越相似，意味着它们之间的关联性越强；a为特征图中第a个输出位置，b为特征图中第b个输出位置，
为第一特征图Q1中第b个位置，
为第二特征图Q2中第a个位置，HW表示合并特征图的高度H和宽度W两个维度，得到大小为HW的维度，exp(η)表示e的η次方；
所述空间注意力机制输出的特征图Qf的具体表达为：
其中，ρ表示一个可学习因子，用来缩放输出，
为空间注意力机制输出的特征图Qf第a个位置，
为第三特征图中第b个位置；
所述全局平均池化GAP和通道特征学习CFS输出的特征图Tf的具体表达式为：
Tf＝Fscale(Sig(FC(ReLU(FC(fg)))),Qf)
其中，fg表示经过全局平均池化GAP得到的维度大小为1×1×C的特征图T1，C为通道维度，FC表示全连接层，ReLU表示ReLU激活函数，Sig表示Sigmoid激活函数，Fscale(·)表示通道级乘法运算。
本发明的有益效果在于：
(1)本发明选取不包括全连接层的VGG-16网络的前10个卷积层作为前端网络，用于提取输入图像的低层特征，可以适应具有不同分辨率的人群图像的输入，避免了对输入图像大小进行批量调整导致信息丢失的问题；
(2)本发明提出了一个上下文感知金字塔模块，它将低层特征划分为四个平行块来编码丰富的上下文信息，通过结合多个大小不同的感受野获得的特征，使得网络能够有效利用每个位置的上下文，以适应快速的尺度变化；
(3)本发明提出的方法利用包含空间注意力机制、全局平均池化GAP和通道特征学习CFS的注意力模块对上下文感知金字塔模块输出的特征图进行重新校准，从空间维度和通道维度上处理特征图的相关性，使得网络能够忽略背景细节，并将注意力放在图像中人的头部位置，减少对背景信息的错误估计，提高了高密度人群的计数精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的方法流程图；
图2为本发明实施例神经网络模型的网络架构图；
图3为本发明实施例注意力模块的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
如图1～图3所示，本发明实施例采用了一种基于视频监控与深度神经网络的人群密度估计方法，选取大规模且具有挑战性的公开人群计数数据集ShanghaiTech、UCF_CC_50和WorldExpo’10数据集，用于神经网络模型的训练和评估，有效降低高密度人群数据集的采集、标注和预处理所花费的人力、财力和时间成本。本发明实施例以上下文感知金字塔模块和注意力模块为关键组件，构建用于人群计数的神经网络模型，所述神经网络模型主要包括前端网络、上下文感知金字塔模块、注意力模块AM和后端网络。本发明实施例选取预先训练好的不包括全连接层的VGG-16网络的前十个卷积层作为前端网络，不仅有利于增强模型对人群尺度变化的鲁棒性，还可以降低网络训练的时间成本。将人群计数数据集送入所述神经网络模型进行训练，迭代到设置的最大次数，得到优化后的神经网络模型，并通过优化后的神经网络模型预测输入人群图像的密度图，再对整张密度图的像素进行求和，从而得到最终输入人群图像的人群计数结果。具体步骤如下：
S1：从社会公共区域的监控视频中采集大量含有高密度人群的人群图像数据，构建人群计数数据集并生成人群计数数据集中人群图像的真实人群密度图，具体方法为：
S101：对人群图像进行标注，当人群图像的某一个像素点处有一个人头，将该人头记作xi，xi表示第i个被标记的人头所在的位置，将有P个被标记的人头的人群图像记为：
其中，i为被标注的人头数，x为人群图像中像素点的位置，δ(x-xi)为增量函数，P为人群图像中被标注的人头的总数量。
S102：将采集的人群图像数据划分为训练集和测试集，并训练集的人群图像进行数据增强预处理，为防止数据集规模小造成的过拟合，在人群图像的不同位置随机裁剪一块图像作为补丁，将补丁镜像，使得训练集加倍，达到数据加强的目的；在本发明实施例中，随机裁剪的图像大小为人群图像大小的1/4。
S103：通常来说，在拍摄人群图像时，距离镜头越远的目标在图像上显得越小，占用的空间像素点较少，距离镜头近的目标在图像上显得较大，占用的空间像素点较多，即存在透视畸变。本发明实施例使用高斯核卷积对人群计数数据集的人群图像中被标注的每一个人头位置进行模糊处理，减少透视畸变对人头大小的影响，并生成人群计数数据集中人群图像的真实人群密度图Fgt(x)，具体表达式为：
其中，
表示标准偏差为σi的高斯核卷积函数，
表示人群图像中第i个被标记的人头距离其α近邻的平均欧式距离，β为常数。在本发明实施例中，设置常数β为0.3，α为3。
S2：构建用于生成人群密度图的神经网络模型，所述神经网络模型包括前端网络、上下文感知金字塔模块、注意力模块和后端网络；
所述前端网络包括去除全连接层的VGG-16网络的前10个卷积层，用于提取高密度人群的低层特征；
所述上下文感知金字塔模块用于将前端网络输出的具有的低层特征的特征图划分为四个不同尺度的并行块来编码丰富的上下文信息，通过结合多个大小不同的感受野获得的尺度感知特征，使得神经网络模型能够有效利用每个位置的上下文，以适应快速的尺度变化；
所述注意力模块AM通过空间注意力机制对整个输入特征图进行编码，从而帮助模型将注意力集中在重要的人群区域，使模型对背景噪声具有更强的鲁棒性，再通过可学习的方式自动获取每个特征通道的重要程度，并按照重要程度把注意力放在有用的特征上，抑制分散注意力的无关特征；
所述后端网络包括1层卷积核大小为1×1的普通卷积层和6层空洞率为2的空洞卷积层，用于回归生成预测的人群密度图。所述后端网络使用的空洞卷积定义为：
其中，Γ表示空洞率，L表示空洞卷积层的长度，z的取值范围为1～L，表示第z行，G表示空洞卷积层的宽度，u的范围为1～G，表示第u列，
表示二维输入λ(l+Γ×z,g+Γ×u)和滤波器
进行二维空洞卷积后的二维输出，l表示二维特征图的横坐标，g表示二维特征图的纵坐标。
S3：将构建的人群计数数据集输入所述神经网络模型进行迭代训练，得到优化后的神经网络模型；
所述步骤S3中，通过结合神经网络模型的输出的人群图像预测密度图和对应的真实人群密度图构建训练神经网络模型的损失函数L(θ)，更新模型参数，具体表达式如下：
其中，T表示训练集中人群图像的数量，t为第t张输入的人群图像，
为第t张输入的人群图像对应的真实人群密度图，
为神经网络模型输出的第t张输入人群图像的预测密度图，
为
和
之间的误差的平方。
整个训练过程都是在NVIDIARTX2080TiGPU上使用PyTorch平台设计实现的，在模型的训练过程中，使用Adam算法被用来作为神经网络的优化方法，每次迭代的批处理的大小为8。其中，对于ShanghaiTechPartA数据集，网络的学习率初始化为1e-5，其它数据集的学习率固定为1e-4，模型训练迭代的最大次数为800次。
S4：通过优化后的神经网络模型预测输入人群图像的密度图，然后对整张密度图的所有像素进行求和，从而得到最终输入人群图像的人群计数结果，具体方法为：
S401：前端网络通过预先训练的VGG-16的前10个卷积层对输入的人群图像进行编码，输出具有低层特征的2D特征图，具体公式为：
Dh＝Fv(Ih)
其中，Ih表示第h张输入前端网络的人群图像，Fv表示VGG-16的前10个卷积层，Dh表示第h张输入前端网络的人群图像对应输出的具有低层特征的2D特征图。
S402：上下文感知金字塔模块通过在4个分支中平均池化，将前端网络输出的2D特征图划分为四个大小不同的块，并对四个分支的感受野进行精细区分，获得不同深度的特征信息，对应的块大小为B(r)＝{1,3,5,7}。所述特征信息通过上采样操作恢复到与前端网络输出的2D特征图一样的大小后进行融合，融合后的特征图与前端网络输出的2D特征图进行结合，实现多尺度上下文特征的提取。上下文感知金字塔模块输出的包含多尺度上下文特征的特征图的具体表达式为：
Mr＝Up(Fr(Pv(Dh,r,θr))+Dh
其中，r为尺度，Fr表示核大小为1×1的卷积网络，θr为卷积核的参数，Pv(Dh,r)为平均池化，Up为用于上采样的双线性插值，Mr表示上下文感知金字塔模块输出的包含多尺度上下文特征的特征图。
S403：为了对上下文感知金字塔模块输出的特征图的冗余信息进行过滤，提高特征图的聚焦能力，注意力模块AM先后通过空间注意力机制、全局平均池化GAP和通道特征学习CFS对上下文感知金字塔模块输出的包含多尺度上下文特征的特征图进行处理；
其中，空间注意力机制用于对包含多尺度上下文特征的特征图进行编码，从而更准确地预测密度图。空间注意力机制包括三个分支，通过三个分支对包含多尺度上下文特征的特征图进行处理。先是通过三个不同的1×1卷积层；然后对输入特征图执行reshape或transpose操作，分别获得第一特征图Q1、第二特征图Q2和第三特征图Q3，并使用C、H、W分别表示特征图的通道维度、高度维度和宽度维度。将大小分别为HW×C和C×HW的第一特征图Q1和第二特征图Q2先后进行矩阵相乘和Softmax操作，获得大小为HW×HW的空间注意图Qs，实现了对特征图中空间依赖关系的编码。所述空间注意图Qs的具体表达式为：
其中，
表示空间注意力特征图Qs中第b个位置对第a个位置的影响，两个位置的特征图越相似，意味着它们之间的关联性越强；a为特征图中第a个输出位置，b为特征图中第b个输出位置，
为第一特征图Q1中第b个位置，
为第二特征图Q2中第a个位置，HW表示合并特征图的高度H和宽度W两个维度，得到大小为HW的维度，exp(η)表示e的η次方。
为了得到包含全局上下文特征和空间注意力信息的特征图，第三个分支将大小分别为C×HW和HW×HW的第三特征图Q3和空间注意图Qs先应用矩阵乘法，再做reshape输出大小为C×H×W的特征图，并与包含多尺度上下文特征的特征图求和获得空间注意力机制输出的特征图Qf，具体公式为：
其中，ρ表示一个可学习因子，用来缩放输出，空间注意机制利用核大小为1×1的卷积层来学习ρ，
为空间注意力机制输出的特征图Qf第a个位置，
为第三特征图中第b个位置。
全局平均池化GAP和通道特征学习CFS用于从空间注意力机制输出的特征图Qf中捕获重要通道的信息，同时抑制不必要通道的干扰；全局平均池化GAP对特征图Qf进行空间特征压缩，得到压缩后的特征图T1，再通过通道特征学习CFS得到具有通道注意力的特征图T2，所述通道特征学习CFS包括两个全连接层，用于学习通道间的相关性，第一个全连接层用于降低维度，后接ReLU激活函数，之后通过第二个全连接层将输出特征图的维度大小恢复到与特征图T1相同的维度，最后将得到的具有通道注意力的特征图T2与特征图Qf进行通道级乘法运算，输出特征图Tf；
所述全局平均池化GAP和通道特征学习CFS输出的特征图Tf的具体表达式为：
Tf＝Fscale(Sig(FC(ReLU(FC(fg)))),Qf)
其中，fg表示经过全局平均池化GAP得到的维度大小为1×1×C的特征图T1，C为通道维度，FC表示全连接层，ReLU表示ReLU激活函数，Sig表示Sigmoid激活函数，Fscale(·)表示通道级乘法运算。
S404：将特征图Tf输入后端网络，通过后端网络的空洞卷积层和普通卷积层处理后得到最终预测的人群密度图。
下面介绍本发明实施例所述的一种基于视频监控与深度神经网络的人群密度估计方法用到的用于验证方法有效性的数据集和评估指标：
(1)数据集
本发明实施例选取3个具有挑战性的公开人群计数数据集ShanghaiTech、UCF_CC_50和WorldExpo’10数据集。
ShanghaiTech数据集，它包括1,198张带注释的人群图像，共有330,165个头部被注释，该数据集被划分A部分和B部分。其中，A部分是来自互联网的密集人群图像，共有482张，人数从33到3,139不等；B部分是拍摄于上海繁华街道的稀疏人群图像，共有716张，人数从9到578不等。
UCF_CC_50数据集是一个非常具有挑战性的人群计数数据集，也是一个极度拥挤的数据集。它由50幅不同分辨率的图像组成，每个图像中的个人数量在94到4543之间。该数据集包含更多样的场景，例如音乐厅、抗议集会和体育馆。考虑到该数据集对于大容量模型来说相对较小，本发明实施例利用了用于训练和验证模型的5倍交叉验证方法。
WorldExpo’10数据集由3980个视频帧组成，其中，训练集包括3380帧图像，测试集有600帧图像。它的训练集来自103个场景中的1127个一分钟的视频序列，测试集是来自5个不同场景中的5个1小时视频序列，每个测试场景包含120帧图像，每帧图像中人的数量在1到253之间。
(2)评价指标
本发明实施例利用平均绝对误差MAE和均方误差MSE来评价网络预测效果，具体计算公式为：
其中，ω表示第ω张输入的人群图像，Nt表示测试集中人群图像的数量，
为第ω张输入的人群图像对应的真实人群密度图，
为神经网络模型输出的第ω张输入人群图像的预测密度图，平均绝对误差MAE反映了神经网络模型预测的准确性，均方误差MSE则反映了神经网络模型的稳健性。
本发明实施例可以通过上下文感知金字塔模块提取到丰富的多尺度上下文特征，增强模型对人群尺度剧烈变化的适应性，并利用注意力模块AM学习空间维度和通道维度上特征之间的依赖关系，进一步增强了模型抑制背景和保留更多细节信息的能力，使网络更好地识别各种复杂场景下的人群区域。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，包括以下步骤：
S1：从社会公共区域的监控视频中采集大量含有高密度人群的人群图像数据，构建人群计数数据集并生成人群计数数据集中人群图像的真实人群密度图；
S2：构建用于生成人群密度图的神经网络模型，所述神经网络模型包括前端网络、上下文感知金字塔模块、注意力模块和后端网络；
所述前端网络包括去除全连接层的VGG-16网络的前10个卷积层，用于提取高密度人群的低层特征；
所述上下文感知金字塔模块用于将前端网络输出的具有的低层特征的特征图划分为四个不同尺度的并行块来编码丰富的上下文信息，通过结合多个大小不同的感受野获得的尺度感知特征，使得神经网络模型能够有效利用每个位置的上下文，以适应快速的尺度变化；
所述注意力模块通过空间注意力机制对整个输入特征图进行编码，再通过可学习的方式自动获取每个特征通道的重要程度，并按照重要程度把注意力放在有用的特征上，抑制分散注意力的无关特征；
所述后端网络包括1层普通卷积层和6层空洞卷积层，用于回归生成预测的人群密度图；
S3：将构建的人群计数数据集输入所述神经网络模型进行迭代训练，得到优化后的神经网络模型；
S4：通过优化后的神经网络模型预测输入人群图像的密度图，然后对整张密度图的所有像素进行求和，从而得到最终输入人群图像的人群计数结果。
2.根据权利要求1所述的一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，所述步骤S1中构建人群计数数据集和生成人群计数数据集中人群图像的真实人群密度图的具体方法为：
S101：对人群图像进行标注，当人群图像的某一个像素点处有一个人头，将该人头记作xi，xi表示第i个被标记的人头所在的位置，将有P个被标记的人头的人群图像记为：
其中，i为被标注的人头数，x为人群图像中像素点的位置，δ(x-xi)为增量函数，P为人群图像中被标注的人头的总数量；
S102：将采集的人群图像数据划分为训练集和测试集，并训练集的人群图像进行数据增强预处理，在人群图像的不同位置随机裁剪一块图像作为补丁，将补丁镜像，使得训练集加倍；
S103：使用高斯核卷积对人群计数数据集的人群图像中被标注的每一个人头位置进行模糊处理，减少透视畸变对人头大小的影响，并生成人群计数数据集中人群图像的真实人群密度图Fgt(x)，具体表达式为：
其中，
表示标准偏差为σi的高斯核卷积函数，
表示人群图像中第i个被标记的人头距离其α近邻的平均欧式距离，β为常数。
3.根据权利要求1所述的一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，所述后端网络使用的空洞卷积定义为：
其中，Γ表示空洞率，L表示空洞卷积层的长度，z的取值范围为1～L，表示第z行，G表示空洞卷积层的宽度，u的范围为1～G，表示第u列，
表示二维输入λ(l+Γ×z,g+Γ×u)和滤波器
进行二维空洞卷积后的二维输出，l表示二维特征图的横坐标，g表示二维特征图的纵坐标。
4.根据权利要求1所述的一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，所述步骤S3中，通过结合神经网络模型的输出的人群图像预测密度图和对应的真实人群密度图构建训练神经网络模型的损失函数L(θ)，更新模型参数，具体表达式如下：
其中，T表示训练集中人群图像的数量，t为第t张输入的人群图像，
为第t张输入的人群图像对应的真实人群密度图，
为神经网络模型输出的第t张输入人群图像的预测密度图，
为
和
之间的误差的平方；
在模型的训练过程中，使用Adam算法被用来作为神经网络的优化方法。
5.根据权利要求1所述的一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，所述步骤S4中的具体方法为：
S401：前端网络通过预先训练的VGG-16的前10个卷积层对输入的人群图像进行编码，输出具有低层特征的2D特征图，具体公式为：
Dh＝Fv(Ih)
其中，Ih表示第h张输入前端网络的人群图像，Fv表示VGG-16的前10个卷积层，Dh表示第h张输入前端网络的人群图像对应输出的具有低层特征的2D特征图；
S402：上下文感知金字塔模块通过在4个分支中平均池化，将前端网络输出的2D特征图划分为四个大小不同的块，并对四个分支的感受野进行精细区分，获得不同深度的特征信息，所述特征信息通过上采样操作恢复到与前端网络输出的2D特征图一样的大小后进行融合，融合后的特征图与前端网络输出的2D特征图进行结合，实现多尺度上下文特征的提取；
S403：注意力模块先后通过空间注意力机制、全局平均池化GAP和通道特征学习CFS对上下文感知金字塔模块输出的包含多尺度上下文特征的特征图进行处理；
其中，空间注意力机制用于对包含多尺度上下文特征的特征图进行编码，空间注意力机制包括三个分支，通过三个分支对包含多尺度上下文特征的特征图进行处理，分别获得第一特征图Q1、第二特征图Q2和第三特征图Q3，依据第一特征图Q1和第二特征图Q2获得空间注意图Qs，再根据包含多尺度上下文特征的特征图、第三特征图Q3和空间注意图Qs获得空间注意力机制输出的特征图Qf；
全局平均池化GAP和通道特征学习CFS用于从空间注意力机制输出的特征图Qf中捕获重要通道的信息，同时抑制不必要通道的干扰；全局平均池化GAP对特征图Qf进行空间特征压缩，得到压缩后的特征图T1，再通过通道特征学习CFS得到具有通道注意力的特征图T2，所述通道特征学习CFS包括两个全连接层，用于学习通道间的相关性，第一个全连接层用于降低维度，后接ReLU激活函数，之后通过第二个全连接层将输出特征图的维度大小恢复到与特征图T1相同的维度，最后将得到的具有通道注意力的特征图T2与特征图Qf进行通道级乘法运算，输出特征图Tf；
S404：将特征图Tf输入后端网络，通过后端网络的空洞卷积层和普通卷积层处理后得到最终预测的人群密度图。
6.根据权利要求5所述的一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，上下文感知金字塔模块输出的包含多尺度上下文特征的特征图的具体表达式为：
Mr＝Up(Fr(Pv(Dh,r),θr))+Dh
其中，r为尺度，Fr表示核大小为1×1的卷积网络，θr为卷积核的参数，Pv(Dh,r)为平均池化，Up为用于上采样的双线性插值，Mr表示上下文感知金字塔模块输出的包含多尺度上下文特征的特征图。
7.根据权利要求6所述的一种基于视频监控与深度神经网络的人群密度估计方法，其特征在于，所述空间注意图Qs的具体表达式为：
其中，
表示空间注意力特征图Qs中第b个位置对第a个位置的影响，两个位置的特征图越相似，意味着它们之间的关联性越强；a为特征图中第a个输出位置，b为特征图中第b个输出位置，
为第一特征图Q1中第b个位置，
为第二特征图Q2中第a个位置，HW表示合并特征图的高度H和宽度W两个维度，得到大小为HW的维度，exp(η)表示e的η次方；
所述空间注意力机制输出的特征图Qf的具体表达为：
其中，ρ表示一个可学习因子，用来缩放输出，
为空间注意力机制输出的特征图Qf第a个位置，
为第三特征图中第b个位置；
所述全局平均池化GAP和通道特征学习CFS输出的特征图Tf的具体表达式为：
Tf＝Fscale(Sig(FC(ReLU(FC(fg))))，Qf)
其中，fg表示经过全局平均池化GAP得到的维度大小为1×1×C的特征图T1，C为通道维度，FC表示全连接层，ReLU表示ReLU激活函数，Sig表示Sigmoid激活函数，Fscale(·)表示通道级乘法运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310062089.3A CN115953736A (zh) | 2023-01-19 | 2023-01-19 | 一种基于视频监控与深度神经网络的人群密度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310062089.3A CN115953736A (zh) | 2023-01-19 | 2023-01-19 | 一种基于视频监控与深度神经网络的人群密度估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115953736A true CN115953736A (zh) | 2023-04-11 |
Family
ID=87285819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310062089.3A Pending CN115953736A (zh) | 2023-01-19 | 2023-01-19 | 一种基于视频监控与深度神经网络的人群密度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953736A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645696A (zh) * | 2023-05-31 | 2023-08-25 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
| CN116682058A (zh) * | 2023-05-30 | 2023-09-01 | 南通大学 | 一种基于空间池化的轻量级ViT弱监督人群计数方法 |
-
2023
- 2023-01-19 CN CN202310062089.3A patent/CN115953736A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116682058A (zh) * | 2023-05-30 | 2023-09-01 | 南通大学 | 一种基于空间池化的轻量级ViT弱监督人群计数方法 |
| CN116645696A (zh) * | 2023-05-31 | 2023-08-25 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
| CN116645696B (zh) * | 2023-05-31 | 2024-02-02 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107967451B (zh) | 一种对静止图像进行人群计数的方法 | |
| CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
| CN111931684B (zh) | 一种基于视频卫星数据鉴别特征的弱小目标检测方法 | |
| CN112347859B (zh) | 一种光学遥感图像显著性目标检测方法 | |
| Fan et al. | A survey of crowd counting and density estimation based on convolutional neural network | |
| CN108615027B (zh) | 一种基于长短期记忆-加权神经网络对视频人群计数的方法 | |
| CN113011329B (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN115953736A (zh) | 一种基于视频监控与深度神经网络的人群密度估计方法 | |
| CN111563447A (zh) | 一种基于密度图的人群密度分析与检测定位方法 | |
| CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
| CN114612456B (zh) | 一种基于深度学习的钢坯自动语义分割识别方法 | |
| Hu et al. | Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes | |
| CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN116740439A (zh) | 一种基于跨尺度金字塔Transformer的人群计数方法 | |
| CN115424209A (zh) | 一种基于空间金字塔注意力网络的人群计数方法 | |
| CN116403152A (zh) | 一种基于空间上下文学习网络的人群密度估计方法 | |
| CN115188066A (zh) | 基于协同注意力和多尺度融合的运动目标检测系统及方法 | |
| CN113436210A (zh) | 一种融合上下文逐级采样的道路图像分割方法 | |
| Wu et al. | Spatial-temporal graph network for video crowd counting | |
| Wang et al. | Edge computing-enabled crowd density estimation based on lightweight convolutional neural network | |
| Li et al. | Keyframe-guided video swin transformer with multi-path excitation for violence detection | |
| CN117292324A (zh) | 一种人群密度估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |