CN111460912B - 基于级联高分辨卷积神经网络的密集人群计数算法 - Google Patents

基于级联高分辨卷积神经网络的密集人群计数算法 Download PDF

Info

Publication number
CN111460912B
CN111460912B CN202010170236.5A CN202010170236A CN111460912B CN 111460912 B CN111460912 B CN 111460912B CN 202010170236 A CN202010170236 A CN 202010170236A CN 111460912 B CN111460912 B CN 111460912B
Authority
CN
China
Prior art keywords
resolution
density
features
counting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010170236.5A
Other languages
English (en)
Other versions
CN111460912A (zh
Inventor
张姗姗
姚肇亮
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010170236.5A priority Critical patent/CN111460912B/zh
Publication of CN111460912A publication Critical patent/CN111460912A/zh
Application granted granted Critical
Publication of CN111460912B publication Critical patent/CN111460912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联高分辨卷积神经网络的密集人群计数算法，包括：估计密集人群图中单个人头的尺度大小，生成监督预测密度图；利用初级高分辨率特征提取网络HRNet提取输入图像的高分辨特征；利用高分辨率特征预测初级密集人群对应密度图像；基于初级高分辨率特征提取网络，构建级联高分辨特征提取网络CHRNet提取第二级高分辨率特征；采用分区域损失加权方式，使用MSE和计数误差两种损失函数进行网络参数优化；利用第二级高分辨率特征预测最终密集人群密度图；对密度图像素值进行累加求和，得到最终密集人群计数结果。本发明提高了密集人群计数的精度，有效改善了因分辨率低、人群遮挡、人群密度高等造成计数不准的情况。

Description

基于级联高分辨卷积神经网络的密集人群计数算法
技术领域
本发明涉及视觉人群密度分析领域，具体涉及一种基于级联高分辨卷积神经网络的密集人群计数算法。
背景技术
密集人群计数是许多与视觉人群密度分析相关应用的基本且重要的任务，例如安防监控、交通拥堵控制。此任务的目的是在图像中识别每个人的人头并获取图像中出现的所有人头的数目。目前大多数方法都是基于卷积神经网络的计数方法，其中包括单阶段卷积神经网络计数方法：利用卷积神经网络提取图像特征，进行密度预测得到密度图，基于密度图完成计数；多阶段卷积神经网络计数方法：设计多阶段集成网络模型，引入多阶段的损失函数监督网络参数优化，最终得到更精准的预测密度图。
Li Yuhong等人提出一种基于VGG-16网络的空洞卷积神经网络CSRNet，CSRNet通过将VGG-16网络最后的全连接层修改为空洞卷积层，使得网络的感受野进一步扩大，并且将保持了解码阶段的特征分辨率，有利于解决因最大值池化操作导致的分辨率下降问题。Ranjan Viresh等人迭代式卷积神经网络ic-CNN，ic-CNN由两个分支网络构成，低分辨率分支网络和高分辨率分支网络：低分辨率分支网络预测出低分辨率密度图；高分辨率分支网络迭代式地结合输入图像的特征和低分辨率密度图，预测出高分辨率密度图，最终完成计数。
尽管上述方法在密集人群计数上有很大进步，但是这些方法在解决高密度密集人群计数时依旧表现不佳，主要原因在于，这些方法的网络中存在池化操作层、步长大于一的卷积层，随着网络加深会使得特征分辨率下降，而低分辨率的特征不利于对密集人群的小尺度目标进行预测。所以需要设计一种保持特征高分辨率、提升密集人群中小尺度目标预测精度的计数方法。
发明内容
本发明的目的在于提供一种基于级联高分辨卷积神经网络的密集人群计数算法，解决密集人群计数中因分辨率低、人群遮挡、人群密度高等造成计数不准的问题。
实现本发明目的的技术解决方案为：一种基于级联高分辨卷积神经网络的密集人群计数算法，包括如下步骤：
步骤1、利用几何自适应高斯响应技术估计密集人群图中单个人头的尺度大小，生成监督预测密度图；
步骤2、利用初级高分辨率特征提取网络提取输入图像的高分辨率特征；
步骤3、利用高分辨率特征预测初级密集人群对应密度图；
步骤4、基于初级高分辨率特征提取网络，构建级联高分辨特征提取网络，提取第二级高分辨率特征；
步骤5、采用分区域损失加权方式，使用MSE和计数误差两种损失函数进行网络参数优化；
步骤6、利用第二级高分辨率特征预测最终密集人群密度图；
步骤7、利用最终密集人群密度图，对密度图像素值进行累加求和，得到最终密集人群计数结果。
本发明与现有技术相比，其显著优点在于：(1)本发明利用级联高分辨率特征提取网络对密集人群图像进行特征提取，解决了随着卷积网络加深带来的分辨率下降问题；(2)本发明利用分区域损失加权的方式网络参数，赋予不同人群密集程度的图像特征以不同的优化权重，有效地解决了因密集人群图像中密集人群、稀疏人群和背景噪音共同出现而扰乱密度图预测的问题。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的基于级联高分辨卷积神经网络的密集人群计数算法流程图。
图2为本发明使用几何自适应高斯响技术生成监督预测密度图Dp可视化图。
图3为本发明第一级输出Dp1可视化图。
图4为CHRNet结构示意图。
图5为本发明的分区域损失加权方法示意图。
图6为本发明最终级联输出Dp2可视化图。
具体实施方式
如图1所示，一种基于级联高分辨卷积神经网络的密集人群计数算法，包括：利用几何自适应高斯响应技术GAK估计密集人群图中单个人头的尺度大小，据此生成监督预测密度图Dp；利用初级高分辨率特征提取网络HRNet提取输入图像的高分辨率特征；利用高分辨率特征预测初级密集人群对应密度图像Dp1；基于初级高分辨率特征提取网络，构建级联高分辨特征提取网络CHRNet提取第二级高分辨率特征；采用分区域损失加权方式，使用MSE和计数误差两种损失函数进行网络参数优化；利用第二级高分辨率特征预测最终密集人群密度图Dp2；利用最终密度图Dp2，对密度图像素值进行累加求和，得到最终密集人群计数结果Cn。下面对上述步骤进行详细说明：
步骤1、利用几何自适应高斯响应技术GAK估计密集人群图中单个人头的尺度大小，据此生成监督预测密度图Dp。在密集人群图像中，先计算当前人头xi与其周围最近邻k个人头的平均距离
Figure BDA0002408927540000031
高斯核函数的方差由平均距离
Figure BDA0002408927540000032
乘以一个比例系数β得到，即
Figure BDA0002408927540000033
其中β＝0.3，从而包含M个人头的图像其对应的监督密度图Dp可由以高斯函数为核函数进行逐个人头卷积以后得到：
Figure BDA0002408927540000034
其中，M为人头总个数，x为Dp内当前像素，δ(·)为狄拉克函数，
Figure BDA0002408927540000035
是方差为σi的高斯函数，通过这样的处理，每个人头的高斯相应区域大小近似等于人头实际大小，单个人头的高斯响应像素值累加和等于一，预测密度图朝着与真值相似的分布优化，最终预测密度图内所有像素值的累加和近似等于密集人群计数预测结果。如图2所示，左图是输入图像，右图是由GAK生成的监督预测密度图Dp，图像的左下角数值为图中对应人数。
步骤2、利用初级高分辨率特征提取网络HRNet提取输入图像的高分辨率特征。HRNet首先使用两个卷积操作将输入图像的特征下采样到原图尺度的四分之一大小，然后输入图像特征到网络主干当中进行多分辨率并行融合，同时使所提取的特征维持在输入图像四分之一尺寸大小的高分辨水平，确保低分辨率密集人群中的小尺寸人头不会因分辨率下降而被破坏。
步骤3、在步骤2基础上，利用步骤2的高分辨特征预测初级密集人群密度图Dp1，如图3所示，左图是输入图像，右图是预测得到的Dp1，图像的左下角数值为图中对应人数，然后在Dp1基础上使用MSE损失函数对HRNet网络参数进行优化。MSE损失函数通过计算目标像素和预测像素之间的欧式距离来获取预测误差：
Figure BDA0002408927540000041
其中，LMSE即为MSE损失，
Figure BDA0002408927540000043
为2范数算式。
步骤4、基于初级高分辨特征提取网络HRNet，构建级联高分辨特征提取网络CHRNet提取第二级高分辨特征，与HRNet不同，CHRNet在密度图估计分支上进行级联，将高分辨率特征和Dp1联合作为级联分支的输入特征，如图4所示，CHRNet由HRNet和第一级输出Dp1级联构成，虚线框部分即为CHRNet，通过级联的操作，可对Dp1进一步的修正优化。
步骤5、采用分区域损失加权的方式，使用MSE和计数误差两种损失函数进行网络参数优化，与常用的MSE损失函数不同，对真值密度图和预测密度图进行了区域划分，计算每个子区域对应的MSE损失和计数损失，再通过加权方式组合成新的损失函数，从而对步骤4构建的CHRNet网络参数进行优化。如图5所示为分区域损失加权方法示意图，图5子图(a)为输入图像；(b)为预测密度图；(c)为分区域损失加权的权重，其中θ1＞θ2，即θ1对应人群相对密集的区域，优化权重较大，θ2对应人群相对稀疏区域，优化权重较小。
步骤6、利用第二级高分辨特征预测最终密集人群密度图Dp2，与Dp1不同，Dp2的输入是CHRNet的高分辨率特征和第一级输出Dp1，达到进一步修正的目的，从而获得更精准的最终密集人群密度图Dp2。
步骤7、利用最终密集人群密度图Dp2，对密度图像素值进行累加求和，得到最终密集人群计数结果Cn，如图6所示，左图是输入图像，右图是预测得到的Dp2，图像的左下角数值为图中对应人数。
表1本发明方法在数据集ShanghaiTech数据集上的比较
Figure BDA0002408927540000042
Figure BDA0002408927540000051
表1是本发明方法CHRNet，与其他在线方法在数据集ShanghaiTech上结果的比较。评测指标包括MAE表示平均单张图像计数误差人数，MSE表示平均计数的方差，符号“↓”表示值越低性能越好。可以发现，本发明在MAE、MSE这2个指标上都取得最高的排名，充分证明了本发明不仅能提高密集人群计数的效果。
本发明利用级联式高分辨卷积神经网络提取密集人群图像高分辨率特征，采用分区域损失加权方式优化网络参数，在高分辨特征基础上预测高分辨率密度图，有效地解决密集人群因分辨率低、人群遮挡、人群密度高等造成计数不准的问题。

Claims (1)

1.一种基于级联高分辨卷积神经网络的密集人群计数算法，其特征在于，包括如下步骤：
步骤1、利用几何自适应高斯响应技术GAK估计密集人群图像中单个人头的尺度大小，据此生成二维高斯响应密度图像作为密度图像估计真值Dt，用于监督预测密度图像Dp，并确保每个人头高斯响应像素值累加和为一，具体为：
先计算当前人头xi与其周围最近邻k个人头的平均距离
Figure FDA0003805295260000011
高斯核函数的方差由平均距离
Figure FDA0003805295260000012
乘以比例系数β得到，即
Figure FDA0003805295260000013
从而包含M个人头的图像其对应的监督密度图Dp可由以高斯函数为核函数进行逐个人头卷积以后得到：
Figure FDA0003805295260000014
其中，M为人头总个数，x为Dp内当前像素，δ(·)为狄拉克函数，
Figure FDA0003805295260000015
为方差为σi的高斯函数；
步骤2、利用初级高分辨率特征提取网络HRNet提取输入图像的高分辨率特征，具体为：
HRNet首先使用两个卷积操作将输入图像的特征下采样到原图尺度的四分之一大小，然后输入图像特征到网络主干当中进行多分辨率并行融合，同时使所提取的特征维持在输入图像四分之一尺寸大小的分辨水平；
步骤3、利用步骤2输出的高分辨特征预测初级密集人群密度图Dp1，在Dp1基础上使用MSE损失函数对HRNet网络参数进行优化；
步骤4、基于初级高分辨特征提取网络HRNet，构建级联高分辨特征提取网络CHRNet提取第二级高分辨特征，与HRNet不同，CHRNet在密度图估计分支上进行级联，将高分辨率特征和Dp1联合作为级联分支的输入特征；
步骤5、采用分区域损失加权的方式，使用MSE和计数误差两种损失函数进行网络参数优化，具体为：对真值密度图和预测密度图进行区域划分，计算每个子区域对应的MSE损失和计数损失，再通过加权方式组合成新的损失函数，从而对步骤4构建的CHRNet网络参数进行优化；
步骤6、利用第二级高分辨特征预测最终密集人群密度图Dp2，Dp2的输入是CHRNet的高分辨率特征和第一级输出Dp1；
步骤7、利用最终密集人群密度图，对密度图像素值进行累加求和，得到最终密集人群计数结果。
CN202010170236.5A 2020-03-12 2020-03-12 基于级联高分辨卷积神经网络的密集人群计数算法 Active CN111460912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010170236.5A CN111460912B (zh) 2020-03-12 2020-03-12 基于级联高分辨卷积神经网络的密集人群计数算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010170236.5A CN111460912B (zh) 2020-03-12 2020-03-12 基于级联高分辨卷积神经网络的密集人群计数算法

Publications (2)

Publication Number Publication Date
CN111460912A CN111460912A (zh) 2020-07-28
CN111460912B true CN111460912B (zh) 2022-10-28

Family

ID=71680743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010170236.5A Active CN111460912B (zh) 2020-03-12 2020-03-12 基于级联高分辨卷积神经网络的密集人群计数算法

Country Status (1)

Country Link
CN (1) CN111460912B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985381B (zh) * 2020-08-13 2022-09-09 杭州电子科技大学 一种基于伸缩卷积神经网络的引导区域密集人群计数方法
CN112084959B (zh) * 2020-09-11 2024-04-16 腾讯科技（深圳）有限公司 一种人群图像处理方法及装置
CN112257847A (zh) * 2020-10-16 2021-01-22 昆明理工大学 一种基于CNN和LSTM预测地磁Kp指数的方法
CN112632601B (zh) * 2020-12-16 2024-03-12 苏州玖合智能科技有限公司 面向地铁车厢场景的人群计数方法
CN112906522B (zh) * 2021-02-04 2024-02-27 广东省科学院智能制造研究所 一种群体迁移计数方法及系统
CN113468995A (zh) * 2021-06-22 2021-10-01 之江实验室 一种基于密度等级感知的人群计数方法
CN113239904B (zh) * 2021-07-09 2021-09-28 南京理工大学 基于卷积神经网络的高分辨率密集目标计数方法
CN116758488B (zh) * 2023-08-16 2023-11-10 启迪数字科技(深圳)有限公司 场馆人群定位方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862261A (zh) * 2017-10-25 2018-03-30 天津大学 基于多尺度卷积神经网络的图像人群计数方法
CN109344736A (zh) * 2018-09-12 2019-02-15 苏州大学 一种基于联合学习的静态图像人群计数方法
CN109544448A (zh) * 2018-11-09 2019-03-29 浙江工业大学 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862261A (zh) * 2017-10-25 2018-03-30 天津大学 基于多尺度卷积神经网络的图像人群计数方法
CN109344736A (zh) * 2018-09-12 2019-02-15 苏州大学 一种基于联合学习的静态图像人群计数方法
CN109544448A (zh) * 2018-11-09 2019-03-29 浙江工业大学 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法

Also Published As

Publication number Publication date
CN111460912A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111460912B (zh) 基于级联高分辨卷积神经网络的密集人群计数算法
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN112949828B (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN110781776B (zh) 一种基于预测和残差细化网络的道路提取方法
CN110378348B (zh) 视频实例分割方法、设备及计算机可读存储介质
CN113628249B (zh) 基于跨模态注意力机制与孪生结构的rgbt目标跟踪方法
CN113592026B (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN112437451B (zh) 一种基于生成对抗网络的无线网络流量预测方法和设备
CN113239904B (zh) 基于卷积神经网络的高分辨率密集目标计数方法
CN116660849A (zh) 基于自注意力机制的时空lstm网络雷达回波序列预测方法
CN116645514A (zh) 一种改进U2-Net的瓷砖表面缺陷分割方法
Chan et al. Controlled false negative reduction of minority classes in semantic segmentation
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
Hu et al. M-gcn: Multi-scale graph convolutional network for 3d point cloud classification
CN114124734B (zh) 一种基于GCN-Transformer集成模型的网络流量预测方法
CN116630850A (zh) 基于多注意力任务融合与边界框编码的孪生目标跟踪方法
CN113936176B (zh) 一种基于图卷积和形状描述子的三维点云分类方法
CN112801204B (zh) 基于自动神经网络的具有终身学习能力的高光谱分类方法
CN116525135B (zh) 基于气象因素的时空模型对疫情发展态势进行预测的方法
CN117593877A (zh) 一种基于集成图卷积神经网络的短时交通流预测方法
CN116578858A (zh) 基于图神经网络的空压机故障预测与健康度评价方法及系统
CN115861930A (zh) 一种基于层级差异特征聚合的人群计数网络建模方法
CN115809747A (zh) 一种基于金字塔式因果网络的耦合信息流长期预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant