CN110866445A - 一种基于深度学习的人群计数和密度估计方法 - Google Patents

一种基于深度学习的人群计数和密度估计方法 Download PDF

Info

Publication number
CN110866445A
CN110866445A CN201910967285.9A CN201910967285A CN110866445A CN 110866445 A CN110866445 A CN 110866445A CN 201910967285 A CN201910967285 A CN 201910967285A CN 110866445 A CN110866445 A CN 110866445A
Authority
CN
China
Prior art keywords
mutual information
density estimation
branches
crowd counting
grained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910967285.9A
Other languages
English (en)
Inventor
吴晓
黎俊秀
彭强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201910967285.9A priority Critical patent/CN110866445A/zh
Publication of CN110866445A publication Critical patent/CN110866445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Abstract

本发明公开了一种基于深度学习的人群计数和密度估计方法，具体步骤为：1、构建数据集，使用监控摄像头采集场所中的视频数据，整理形成所需要的大规模人群计数和密度估计数据集；2、基于多分支的粗粒度人群计数和密度估计：接受大规模人群计数数据集的数据，使用多分支卷积神经网络结构对视频图像进行粗粒度人群计数和密度估计；3、基于多分支的互信息计算：接受基于多分支的粗粒度预测结果，计算各分支之间的互信息；4、基于互学习策略的细粒度人群计数和密度估计：根据各分支间的互信息，更新网络参数，多次迭代后获取最终准确的人群计数和密度估计结果。通过仿真验证了本发明进一步解决参数冗余，减少过拟合，提高了模型泛化能力。

Description

一种基于深度学习的人群计数和密度估计方法
技术领域
本发明涉及人工智能、深度学习、智能监控、智能安防技术领域，具体涉及一种基于深度学习的人群计数和密度估计方法。
背景技术
在节假日或者举办大型活动时，往往出现大规模人群聚集在公共场所中，经常会出现人群拥堵导致人流缓慢，甚至可能导致踩踏事故发生。这对公共场所的交通管控、治安防范等造成了很大的不便。此外更是有恐怖组织人员利用公共场所人流密集，容易隐藏且影响力大的特点，实施恐怖袭击。人群密度估计成为大规模公共场所安防领域的一个重要研究方向。传统的凭借人力来实现人群监控容易产生疲劳和误判，随着机器视觉研究的快速发展，基于深度学习的人群密度估计研究得到越来越多的关注。它不仅能够节省大量的人力物力，还能够提高密度估计的准确度和稳定性，并在人群密度超过阈值时进行实时报警。
在人群密度估计中，存在严重遮挡，且由于视频图像透视失真，不同位置的行人尺寸也有所不同，这些问题使得人群密度估计极具挑战。为了改善特征表示的尺度不变性，近年来人群计数和密度估计的研究大量采用多分支结构卷积神经网络，使用不同尺度的滤波器进行人群密度估计来处理不同的尺度和分辨率。然而，由于分支间存在大量的冗余参数，现有的多分支网络在不同的分支中表现出几乎相同的尺度特征，严重影响计数精度，导致过拟合。
因此，在基于多分支卷积神经网络的人群计数和密度估计算法中，需要在模型训练时最小化不同分支之间的互信息，从而引导每个分支学习不同的图像特征，并使用互学习策略进一步解决参数冗余，提高模型泛化能力。
发明内容
为了解决上述问题，本发明提供一种基于深度学习的人群计数和密度估计方法。
本发明的一种基于深度学习的人群计数和密度估计方法，包括以下步骤：
步骤1：构建数据集，使用监控摄像头采集场所中的视频数据，对视频中的人进行标注，整理形成所需要的大规模人群计数和密度估计数据集；
步骤2：基于多分支的粗粒度人群计数和密度估计：接受大规模人群计数数据集的数据，通过多分支卷积神经网络，使用不同尺度的卷积核，得到一个粗粒度人群计数和密度估计模型；
步骤3：基于多分支的互信息计算：接受基于多分支的粗粒度预测结果，计算各分支之间的互信息；
步骤4：基于互学习策略的细粒度人群计数和密度估计：根据各分支间的互信息，更新网络参数，多次迭代后获取最终准确的人群计数和密度估计结果。
进一步的，步骤3具体为：
3.1互信息统计网络：根据多分支卷积神经网络结构，设计对应的互信息统计网络；
3.2互信息计算：根据多分支卷积神经网络学习的特征，计算各分支之间的互信息。
进一步的，步骤4具体为：
4.1更新互信息统计网络：使用计算得到的互信息，根据互信息损失函数更新互信息统计网络；
4.2更新多分支卷积神经网络：使用更新后的互信息统计网络参数，根据损失函数更新多分支卷积神经网络；
4.3迭代互学习策略：重复步骤4.1和步骤4.2，迭代训练直到网络收敛，最终得到准确的细粒度人群计数和密度估计结果。
本发明与现有技术相比取得的有益技术效果为：
本发明在模型训练时最小化不同分支之间的互信息，从而引导每个分支学习不同的图像特征，并使用互学习策略进一步解决参数冗余，减少过拟合，提高模型泛化能力。
附图说明
图1是本发明提供的一种基于深度学习的人群计数和密度估计方法的整体流程图。
图2是本发明提供的一种基于深度学习的人群计数和密度估计方法的二分支网络结构图。
图3是本发明提供的以三分支为例的一种基于深度学习的人群计数和密度估计方法的网络结构图。
图4是本发明提供的以三分支为例的一种基于深度学习的人群计数和密度估计方法的实验效果图。
具体实施方式
下面结合附图和具体实施方法对本发明做进一步详细说明。
本发明提供的一种基于深度学习的人群计数和密度估计方法的流程图如图1所示，具体包括以下步骤：
1、构建数据集，使用监控摄像头采集场所中的视频数据，对视频中的人进行标注，整理形成所需要的大规模人群计数和密度估计数据集。
2、基于多分支的粗粒度人群计数和密度估计：接受大规模人群计数数据集的数据，通过多分支卷积神经网络，使用不同尺度的卷积核，得到一个粗粒度人群计数和密度估计模型。
3、基于多分支的互信息计算：接受基于多分支的粗粒度预测结果，计算各分支之间的互信息，具体为：
3.1互信息统计网络：根据多分支卷积神经网络结构，设计对应的互信息统计网络。互信息统计网络由与多分支网络对应的卷积层、空间金字塔池化层和两个全连接层组成。图2为以两分支为例的基于多分支的互相关卷积网络结构图，其包括多分支卷积神经网络和互信息统计网络。
3.2互信息计算：根据多分支卷积神经网络学习的特征，计算各分支之间的互信息。互信息可以近似地度量来自不同分支的特征之间的尺度相关性。通过最小化损失中的相互信息，引导不同的分支结构学习不同尺度的特征表示。
以二分支为例，其具体步骤如下：
a1)从训练集中随机采样b张图片，计算两个分支之间的联合分布概率：
Figure BDA0002230901650000031
其中，
Figure BDA0002230901650000032
代表第k分支中第i张图的卷积特征，
Figure BDA0002230901650000033
代表两个分支特征之间的联合分布。
a2)计算两个分支之间的边缘分布概率：
Figure BDA0002230901650000034
其中，
Figure BDA0002230901650000035
代表两个分支特征的边缘分布的积。
a3)根据a1的联合分布概率和a2的边缘分布概率，计算两分支之间的互信息估计：
Figure BDA0002230901650000036
其中，Tω代表互信息统计网络的参数。
4、基于互学习策略的细粒度人群计数和密度估计：根据各分支间的互信息，更新网络参数，多次迭代后获取最终准确的人群计数和密度估计结果。
以二分支为例，其具体步骤如下：
4.1更新互信息统计网络：根据计算得到的互信息，使用移动平均法计算互信息估计计算的梯度，从而使用互信息损失函数最小化分之间的互信息，更新互信息统计网络参数。
4.2更新多分支卷积神经网络：使用4.1更新后的互信息统计网络参数，根据损失函数更新多分支卷积神经网络，损失函数为
Figure BDA0002230901650000041
其中，L2代表均方损失函数，
Figure BDA0002230901650000042
代表将不同分支最后一层卷积层输出特征进行拼接融合，Conv代表用于输出密度图的卷积核为1×1的卷积层，α代表两个损失函数的平衡权重。当分支数K大于2时，第k分支的损失函数为
Figure BDA0002230901650000043
其中
Figure BDA0002230901650000044
代表K个分支的最后一层卷积层输出的特征进行拼接融合，
Figure BDA0002230901650000045
代表每个分支不同卷积层输出的特征。
4.3互学习策略：重复步骤4.1和步骤4.2，迭代训练直到网络收敛，最终得到准确的细粒度人群计数和密度估计结果。
仿真实验：
本发明搭建了一种基于深度学习的人群计数和密度估计方法模型。该模型首先构建一个多分支卷积神经网络，然后根据多分支网络设计实现互信息统计网络，最后使用互学习策略方法进行模型训练。图3是本发明提供的以三分支为例的一种基于深度学习的人群计数和密度估计算法的网络结构图。图4是本发明提供的为以三分支为例的基于深度学习的人群计数和密度估计算法的实验效果图。图4中没有“+”的代表多分支卷积神经网络的预测结果。带有“+”的代表使用互信息统计网络和互学习策略方法后的预测结果。“基准”代表该输入图像的标准输出结果。

Claims (3)

1.一种基于深度学习的人群计数和密度估计方法，其特征在于，包括以下步骤：
步骤1：构建数据集，使用监控摄像头采集场所中的视频数据，对视频中的人进行标注，整理形成所需要的大规模人群计数和密度估计数据集；
步骤2：基于多分支的粗粒度人群计数和密度估计：接受大规模人群计数数据集的数据，通过多分支卷积神经网络，使用不同尺度的卷积核，得到一个粗粒度人群计数和密度估计模型；
步骤3：基于多分支的互信息计算：接受基于多分支的粗粒度预测结果，计算各分支之间的互信息；
步骤4：基于互学习策略的细粒度人群计数和密度估计：根据各分支间的互信息，更新网络参数，多次迭代后获取最终准确的人群计数和密度估计结果。
2.根据权利要求1所述的一种基于深度学习的人群计数和密度估计方法，其特征在于，所述步骤3具体为：
3.1互信息统计网络：根据多分支卷积神经网络结构，设计对应的互信息统计网络；
3.2互信息计算：根据多分支卷积神经网络学习的特征，计算各分支之间的互信息。
3.根据权利要求1所述的一种基于深度学习的人群计数和密度估计方法，其特征在于，所述步骤4具体为：
4.1更新互信息统计网络：使用计算得到的互信息，根据互信息损失函数更新互信息统计网络；
4.2更新多分支卷积神经网络：使用更新后的互信息统计网络参数，根据损失函数更新多分支卷积神经网络；
4.3迭代互学习策略：重复步骤4.1和步骤4.2，迭代训练直到网络收敛，最终得到准确的细粒度人群计数和密度估计结果。
CN201910967285.9A 2019-10-12 2019-10-12 一种基于深度学习的人群计数和密度估计方法 Pending CN110866445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910967285.9A CN110866445A (zh) 2019-10-12 2019-10-12 一种基于深度学习的人群计数和密度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967285.9A CN110866445A (zh) 2019-10-12 2019-10-12 一种基于深度学习的人群计数和密度估计方法

Publications (1)

Publication Number Publication Date
CN110866445A true CN110866445A (zh) 2020-03-06

Family

ID=69652338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910967285.9A Pending CN110866445A (zh) 2019-10-12 2019-10-12 一种基于深度学习的人群计数和密度估计方法

Country Status (1)

Country Link
CN (1) CN110866445A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001274A (zh) * 2020-08-06 2020-11-27 腾讯科技（深圳）有限公司 人群密度确定方法、装置、存储介质和处理器
CN112200089A (zh) * 2020-10-12 2021-01-08 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法
CN114494999A (zh) * 2022-01-18 2022-05-13 西南交通大学 一种双分支联合型目标密集预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598220A (zh) * 2018-11-26 2019-04-09 山东大学 一种基于多元输入多尺度卷积的人数统计方法
CN109815919A (zh) * 2019-01-28 2019-05-28 上海七牛信息技术有限公司 一种人群计数方法、网络、系统和电子设备
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598220A (zh) * 2018-11-26 2019-04-09 山东大学 一种基于多元输入多尺度卷积的人数统计方法
CN109815919A (zh) * 2019-01-28 2019-05-28 上海七牛信息技术有限公司 一种人群计数方法、网络、系统和电子设备
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHI-QI CHENG等: "Improving the Learning of Multi-column Convolutional Neural Network for Crowd Counting", 《ARXIV:1909.07608V1》 *
吴青科等: "结合神经网络与多列特征图聚合的人群计数", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001274A (zh) * 2020-08-06 2020-11-27 腾讯科技（深圳）有限公司 人群密度确定方法、装置、存储介质和处理器
CN112001274B (zh) * 2020-08-06 2023-11-17 腾讯科技（深圳）有限公司 人群密度确定方法、装置、存储介质和处理器
CN112200089A (zh) * 2020-10-12 2021-01-08 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法
CN114494999A (zh) * 2022-01-18 2022-05-13 西南交通大学 一种双分支联合型目标密集预测方法及系统

Similar Documents

Publication Publication Date Title
CN110188685B (zh) 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN109886358B (zh) 基于多时空信息融合卷积神经网络的人体行为识别方法
CN105678284B (zh) 一种固定位人体行为分析方法
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN108647742A (zh) 基于轻量级神经网络的快速目标检测方法
CN109325547A (zh) 非机动车图像多标签分类方法、系统、设备及存储介质
CN109461157A (zh) 基于多级特征融合及高斯条件随机场的图像语义分割方法
CN110866445A (zh) 一种基于深度学习的人群计数和密度估计方法
CN110473592B (zh) 一种多视角人类协同致死基因预测方法
CN110766942A (zh) 一种基于卷积长短期记忆网络的交通路网拥堵预测方法
CN109117894B (zh) 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN111709285A (zh) 一种基于无人机的疫情防护监控方法、装置和存储介质
CN113379771B (zh) 带有边缘约束的层次化人体解析语义分割方法
CN112837320B (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN111047078A (zh) 交通特征预测方法、系统及存储介质
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN115222946A (zh) 一种单阶段实例图像分割方法、装置以及计算机设备
CN113869285B (zh) 一种人群密度估计装置、方法和存储介质
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN115470957A (zh) 基于深度学习的台风期间近海海浪波高预测系统、计算机设备、存储介质
CN112132867A (zh) 一种遥感影像变换检测方法及装置
CN111598140A (zh) 一种基于胶囊网络的遥感图像分类方法
CN116246184A (zh) 一种应用于无人机航拍图像的罂粟智能识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200306