CN113468995A - 一种基于密度等级感知的人群计数方法 - Google Patents

一种基于密度等级感知的人群计数方法 Download PDF

Info

Publication number
CN113468995A
CN113468995A CN202110690844.3A CN202110690844A CN113468995A CN 113468995 A CN113468995 A CN 113468995A CN 202110690844 A CN202110690844 A CN 202110690844A CN 113468995 A CN113468995 A CN 113468995A
Authority
CN
China
Prior art keywords
density
prediction
density map
regions
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110690844.3A
Other languages
English (en)
Inventor
朱世强
钟文才
秦宇
王健
卢宏涛
李特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110690844.3A priority Critical patent/CN113468995A/zh
Publication of CN113468995A publication Critical patent/CN113468995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于密度等级感知的人群计数方法，该方法首先根据密度图将图片划分为多个不同密度等级的区域，每个区域采用分而治之的思想融合不同阶段的卷积神经网络特征进行分别预测，最后将不同区域预测结果进行融合后得到最终的人群密度图。本发明提出的基于密度等级分区域预测融合的方法缓解了人群计数中不同图片或区域的人头尺度不一致问题，使得预测输出的密度图更加准确，预测人数误差更小。

Description

一种基于密度等级感知的人群计数方法
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于密度等级感知的人群计数方法。
背景技术
人群计数(Crowd Counting)领域最近的研究趋势是使用卷积神经网络进行密度图预测，再对密度图进行求和得到预测人数。然而大多数方法直接对密度图进行预测，没有考虑到由于尺度不一致问题导致的预测密度图准确性较差。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于密度等级感知的人群计数方法。
本发明的目的是通过以下技术方案来实现的：一种基于密度等级感知的人群计数方法，包括以下步骤：
步骤一：输入图片为RGB三通道图片，进行减均值除方差归一化操作。
步骤二：使用基于密度等级感知的人群计数网络预测得到密度图。
步骤三：对密度图中感兴趣区域进行求和操作，得到感兴趣区域内的人数预测结果。
进一步地，所述步骤二通过以下子步骤来实现：
(2.1)将输入图片根据密度图划分为4个区域：低密度、中低密度、中高密度、高密度等。训练阶段使用groundtruth密度图进行划分，预测阶段使用初步预测的高密度区域密度图进行划分；
(2.2)使用VGG-16模型作为基础的特征提取网络来为输入图片提取特征，共包含4个网络不同阶段的特征集合。训练阶段特征提取网络使用ImageNet预训练模型进行初始化。
(2.3)根据区域划分结果使用多输出解码器融合不同阶段的特征进行分别预测。低密度区域仅使用高层语义特征进行预测。中低密度区域融合高层语义特征与中高层语义特征进行预测。类似地，融合更加浅层的特征后进行中低密度和低密度区域的密度图预测。最终得到4个区域的密度图预测结果，根据区域划分将其融合为最终的密度图结果。在训练阶段，首先对解码器的卷积层参数进行随机初始化操作，对初步预测的4个密度图均与groundtruth密度图计算均方误差，同时对最终的密度图额外再计算均方误差作为损失函数进行监督模型的训练。在测试阶段，使用训练好的模型进行预测得到最终的密度图输出。
本发明的有益效果是：本发明使用的基于密度等级分区域预测融合的方法缓解了人群计数中不同图片或区域的人头尺度不一致问题，使得预测输出的密度图更加准确，预测人数误差更小。
附图说明
图1是基于密度等级感知的人群计数方法模型框架示意图；
图2是基于密度等级感知的人群计数方法根据密度图划分区域示意图。
具体实施方式
下面根据附图详细说明本发明。
如图1所示，本发明基于密度等级感知的人群计数方法，包括以下步骤：
步骤一：输入图片为RGB三通道图片，进行减均值除方差归一化操作。
步骤二：使用基于密度等级感知的人群计数网络预测得到密度图。
该步骤是本发明的核心，分为以下子步骤：
1)如图2所示，密度图区域划分：
将输入图片根据密度图划分为4个区域：低密度、中低密度、中高密度、高密度。训练阶段使用groundtruth密度图进行划分，预测阶段使用初步预测的高密度区域密度图进行划分。
2)多阶段特征提取：
使用VGG-16模型作为基础的特征提取网络来为输入图片提取特征，共包含4个网络不同阶段的特征集合。训练阶段特征提取网络使用ImageNet预训练模型进行初始化。
3)分区域密度图预测与融合
根据区域划分结果使用多输出解码器融合不同阶段的特征进行分别预测。低密度区域仅使用高层语义特征进行预测。中低密度区域融合高层语义特征与中高层语义特征进行预测。类似地，融合更加浅层的特征后进行中低密度和低密度区域的密度图预测。最终得到4个区域的密度图预测结果，根据区域划分将其融合为最终的密度图结果。在训练阶段，首先对解码器的卷积层参数进行随机初始化操作，对初步预测的4个密度图均与groundtruth密度图计算均方误差，同时对最终的密度图额外再计算均方误差作为损失函数进行监督模型的训练。在测试阶段，使用训练好的模型进行预测得到最终的密度图输出。
步骤三：对密度图中感兴趣区域进行求和操作，得到感兴趣区域内的人数预测结果。

Claims (2)

1.一种基于密度等级感知的人群计数方法，其特征在于，包括以下步骤：
步骤一：输入图片为RGB三通道图片，进行减均值除方差归一化操作。
步骤二：使用基于密度等级感知的人群计数网络预测得到密度图。
步骤三：对密度图中感兴趣区域进行求和操作，得到感兴趣区域内的人数预测结果。
2.根据权利要求1所述的基于密度等级感知的人群计数方法，其特征在于，所述步骤二通过以下子步骤来实现：
(2.1)将输入图片根据密度图划分为4个区域：低密度、中低密度、中高密度、高密度等。训练阶段使用groundtruth密度图进行划分，预测阶段使用初步预测的高密度区域密度图进行划分；
(2.2)使用VGG-16模型作为基础的特征提取网络来为输入图片提取特征，共包含4个网络不同阶段的特征集合。训练阶段特征提取网络使用ImageNet预训练模型进行初始化。
(2.3)根据区域划分结果使用多输出解码器融合不同阶段的特征进行分别预测。低密度区域仅使用高层语义特征进行预测。中低密度区域融合高层语义特征与中高层语义特征进行预测。类似地，融合更加浅层的特征后进行中低密度和低密度区域的密度图预测。最终得到4个区域的密度图预测结果，根据区域划分将其融合为最终的密度图结果。在训练阶段，首先对解码器的卷积层参数进行随机初始化操作，对初步预测的4个密度图均与groundtruth密度图计算均方误差，同时对最终的密度图额外再计算均方误差作为损失函数进行监督模型的训练。在测试阶段，使用训练好的模型进行预测得到最终的密度图输出。
CN202110690844.3A 2021-06-22 2021-06-22 一种基于密度等级感知的人群计数方法 Pending CN113468995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110690844.3A CN113468995A (zh) 2021-06-22 2021-06-22 一种基于密度等级感知的人群计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110690844.3A CN113468995A (zh) 2021-06-22 2021-06-22 一种基于密度等级感知的人群计数方法

Publications (1)

Publication Number Publication Date
CN113468995A true CN113468995A (zh) 2021-10-01

Family

ID=77869072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110690844.3A Pending CN113468995A (zh) 2021-06-22 2021-06-22 一种基于密度等级感知的人群计数方法

Country Status (1)

Country Link
CN (1) CN113468995A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231021A1 (zh) * 2022-06-02 2023-12-07 深圳市正浩创新科技股份有限公司 目标物归集方法、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528589A (zh) * 2015-12-31 2016-04-27 上海科技大学 基于多列卷积神经网络的单张图像人群计数算法
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN110210603A (zh) * 2019-06-10 2019-09-06 长沙理工大学 人群的计数模型构建方法、计数方法和装置
CN111460912A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于级联高分辨卷积神经网络的密集人群计数算法
WO2020169043A1 (zh) * 2019-02-21 2020-08-27 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN111985381A (zh) * 2020-08-13 2020-11-24 杭州电子科技大学 一种基于伸缩卷积神经网络的引导区域密集人群计数方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528589A (zh) * 2015-12-31 2016-04-27 上海科技大学 基于多列卷积神经网络的单张图像人群计数算法
WO2020169043A1 (zh) * 2019-02-21 2020-08-27 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN110210603A (zh) * 2019-06-10 2019-09-06 长沙理工大学 人群的计数模型构建方法、计数方法和装置
CN111460912A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于级联高分辨卷积神经网络的密集人群计数算法
CN111985381A (zh) * 2020-08-13 2020-11-24 杭州电子科技大学 一种基于伸缩卷积神经网络的引导区域密集人群计数方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEYI JI, HONGTAO LU等: "End to end multi-scale convolution neural network for crowd counting", ELEVENTH INTERNATIONAL CONFERENCE ON MACHINE VISION (ICMV2018), vol. 11041, 4 June 2019 (2019-06-04) *
李春: "基于密度估计的复杂场景人群计数方法研究", 中国优秀硕士学位论文全文数据库, vol. 2021, no. 02, 15 February 2021 (2021-02-15) *
王健: "人群密度估计方法的研究与实现", 中国优秀硕士学位论文全文数据库, vol. 2017, no. 2, 15 February 2017 (2017-02-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231021A1 (zh) * 2022-06-02 2023-12-07 深圳市正浩创新科技股份有限公司 目标物归集方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN111126202B (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN109635511B (zh) 一种基于条件生成对抗网络的高层居住区强排方案生成设计方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110322453A (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN112489497B (zh) 基于深度卷积神经网络的空域运行复杂度评估方法
CN109285162A (zh) 一种基于局部区域条件随机场模型的图像语义分割方法
CN111968150B (zh) 一种基于全卷积神经网络的弱监督视频目标分割方法
CN110349170B (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN111882620A (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN109063983B (zh) 一种基于社交媒体数据的自然灾害损失实时评估方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN111161244A (zh) 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN111143689A (zh) 根据用户需求和用户画像构建推荐引擎的方法
CN114239116A (zh) 一种基于风格迁移的bim设计推荐方法
CN113468995A (zh) 一种基于密度等级感知的人群计数方法
CN109597901B (zh) 一种基于生物数据的数据分析方法
CN112818818B (zh) 一种基于affpn的新型超高清遥感图像变化检测方法
CN110457706A (zh) 兴趣点名称选择模型训练方法、使用方法、装置及存储介质
CN111414511B (zh) 自动声纹建模入库方法、装置以及设备
CN112232885A (zh) 一种基于多模态信息融合的仓租价格预测方法
KR20110039900A (ko) 지능형 인식 라이브러리 및 관리 도구를 활용한 고문서 이미지 데이터 인식 및 처리 방법
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
CN115546581A (zh) 一种解耦的增量目标检测方法
CN116266347A (zh) 食物识别模型建模方法及系统、食物识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination