CN112989916A - 一种结合密度估计与目标检测的人群计数方法 - Google Patents

一种结合密度估计与目标检测的人群计数方法 Download PDF

Info

Publication number
CN112989916A
CN112989916A CN202011496576.3A CN202011496576A CN112989916A CN 112989916 A CN112989916 A CN 112989916A CN 202011496576 A CN202011496576 A CN 202011496576A CN 112989916 A CN112989916 A CN 112989916A
Authority
CN
China
Prior art keywords
network
density
training
picture
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011496576.3A
Other languages
English (en)
Inventor
周忠
潘晓奇
莫红
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011496576.3A priority Critical patent/CN112989916A/zh
Publication of CN112989916A publication Critical patent/CN112989916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合密度估计与目标检测的人群计数方法。本发明的方法包括:步骤S1:对训练图片进行标注,使用训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练,构建融合网络;步骤S2:将图片输入融合网络,根据图片分区网络,得到图片的稀疏区域和密集区域;步骤S3:在图片的密集区域使用密度估计网络,得到人头密度图;在图片的稀疏区域使用目标检测网络,得到人头包围框密度图;通过融合网络将两个密度图进行融合,得到融合后的密度图,并进行人群计数。本发明提供的方法,通过对监控图像的实时处理分析,能够适应多种不同尺度的特征,减少背景因素对计数的影响,降低计数误差,提高人群计数的准确率。

Description

一种结合密度估计与目标检测的人群计数方法
技术领域
本发明属于计算机视觉技术领域,特别涉及了一种结合密度估计与目标检测的人群 计数方法。
背景技术
近些年来,随着城市规模的不断扩张,城市人口不断增长。拥挤的人群影响正常的交通秩序,为人们出行带来不便,同时也存在着巨大的安全隐患。随着近年来人们生活 水平的提高,公共场所的社会活动、人群聚集也更加常见,安全事故也呈现出高发态势。 另一方面,随着人们对城市治安管理需求的提高,城市内的监控相机数量迅速增加而且 覆盖范围越来越广,众多的监控相机构成了庞大的监控网络,短时间内就会产生了海量 的监控数据。传统的视频监控方式一般只提供视频录制、存储、回放等功能,需要后续 人工来对视频进行检查和分析。但是仅依靠人工观察的方式需要大量的人力资源,费时 费力,效率低下,而且难以实时地对监控数据进行分析处理。
由于现实场景的人群分布较为复杂多变,其密集程度差异很大。而且由于透视形变 的影响,物体近大远小,人群的特征尺度差异巨大。同时,人群之外的背景部分也可能会对计数结果造成影响。因此现有的方法难以满足复杂场景的需求。
因此,如何能够实时、准确地对现实场景中人群数量进行统计成为一个亟待解决的 问题。
发明内容
为了解决上述技术问题,本发明通过结合密度估计和目标检测,提供一种结合密度 估计与目标检测的人群计数方法,能够适应多种不同尺度的特征,并且减少背景因素对计数的影响,从而降低计数误差,提高计数准确率,在各种不同的场景下均能发挥出较 好的效果。
本发明技术解决方案为:本发明提供一种结合密度估计与目标检测的人群计数方法, 其特征在于,包括:
步骤S1:对训练图片进行标注,使用所述训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练;根据所述密度估计网络、所述目标检测网络和所述图片 分区网络构建融合网络;
步骤S2:将图片输入所述融合网络,根据所述图片分区网络,得到所述图片的稀疏区域和密集区域;
步骤S3:在所述图片的密集区域使用所述密度估计网络,得到人头密度图;在所述图片的稀疏区域使用所述目标检测网络,得到人头包围框密度图;通过所述融合网络将 所述人头密度图和所述人头包围框密度图进行融合,得到密度图,根据所述密度图进行 人群计数。
本发明与现有技术相比,具有以下优点:
本发明提供了一种结合密度估计与目标检测的人群计数方法,通过对监控视频或图 像的实时处理和分析,能够适应多种不同尺度的特征,并且减少背景因素对计数的影响, 从而降低计数误差,提高人群计数的准确率。在城市管理与交通规划等方面对密集人群 做出预警,及时进行人群疏导,缓解交通拥堵。同时,还能够提前进行合理规划,建立 应急预案和突发事件预警机制,减少安全事故的发生。
附图说明
图1为本发明实施例中一种结合密度估计与目标检测的人群计数方法的流程图;
图2为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S1的流程图;
图3为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S12的 流程图;
图4为本发明实施例中一种结合密度估计与目标检测的人群计数方法中密度估计网 络结构示意图;
图5为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S13流 程图;
图6为本发明实施例中一种结合密度估计与目标检测的人群计数方法中目标检测网 络结构示意图;
图7为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S14的 流程图;
图8为本发明实施例中一种结合密度估计与目标检测的人群计数方法中融合网络结 构示意图。
具体实施方式
本发明提供了一种结合密度估计与目标检测的人群计数方法,通过对监控视频或图 像的实时处理和分析,能够适应多种不同尺度的特征,并且减少背景因素对计数的影响, 从而降低计数误差,提高人群计数的准确率。
为了使本发明的目的、技术方案及优点更加清楚,以下通过具体实施,并结合附图,对 本发明进一步详细说明。
实施例一
如图1所示,本发明实施例提供的一种结合密度估计与目标检测的人群计数方法,包 括下述步骤:
步骤S1:对训练图片进行标注,使用训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练;根据密度估计网络、目标检测网络和图片分区网络构建融合 网络;
步骤S2:将图片输入融合网络,根据图片分区网络,得到图片的稀疏区域和密集区域;
步骤S3:在图片的密集区域使用密度估计网络,得到人头密度图;在图片的稀疏区域使用目标检测网络,得到人头包围框密度图;通过融合网络将人头密度图和人头包围 框密度图进行融合,得到密度图,根据密度图进行人群计数。
如图2所示,在一个实施例中,上述步骤S1:对训练图片进行标注,使用训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练;根据密度估计网络、目 标检测网络和图片分区网络构建融合网络;包括:
步骤S11:对训练图片进行标注;
步骤S12:使用训练图片对密度估计网络进行训练;
步骤S13:使用训练图片对目标检测网络进行训练;
步骤S14:使用训练图片对图片分区网络训练;
步骤S15:根据密度估计网络、目标检测网络和图片分区网络构建融合网络。
在一个实施例中,上述步骤S11:对训练图片进行标注;本步骤是利用摄像设备获取的图像作为训练图片,由人工标注图片中每个人头的中心点坐标。
如图3所示,在一个实施例中,上述步骤S12:使用训练图片对密度估计网络进行训练,包括:
步骤S121:根据训练图片进行标注,得到每个人头中心点坐标构成的点图;
根据上述步骤S11得到的每个人头的中心点坐标,生成密度估计网络输入所需的点 图。
步骤S122:使用高斯卷积对点图进行处理,得到人头密度图;
为了对密度估计网络进行训练,首先需要对点图进行平滑化的处理,本发明使用高 斯卷积核来生成人头密度图。
步骤S123:将人头密度图进行二值化处理,得到注意力图;
如图4所示,在本步骤中,为了减小图片背景纹理对于人头密度图的影响,密度估计网络采用了类似于U-Net的网络结构,加入了注意力机制,用于过滤背景因素的干扰。 通过对人头密度图进行二值化处理,生成注意力图(得到人头密度图标签),所述注意 力图表示人头所在的区域,用于对背景进行过滤。
在本步骤中,将所述密度估计网络输出的预测密度图与注意力图相乘,然后与步骤 S122得到的人头密度图标签计算损失值,重复步骤S122~步骤S124进行训练,直到损失值平稳,训练完成。
如图5所示,在一个实施例中,上述步骤S13:使用训练图片对目标检测网络进行训练,包括:
步骤S131:根据相机的透视关系估算训练图片中人头包围框的大小;
根据步骤S11中,人工已经标注好训练图片中每个人头的中心点坐标,因此,在本步骤中,选择性地挑选出部分像素大小不同的人头,以确保涵盖不同的远近距离,从而 利用线性回归得到这些人头的像素大小与人头中心点坐标的关系,进而根据此关系估算 出其他人头包围框的大小。
步骤S132:根据人头中心点坐标以及人头包围框的大小,得到人头包围框;
根据训练图片中人头中心点坐标的和估算出的该人头包围框大小信息,得到其对应 的人头包围框。
步骤S133:将人头包围框输入目标检测网络进行训练,直到损失值平稳;
如图6目标检测网络结构示意图所示,本发明在特征金字塔网络的基础之上,增加了特征融合模块,构建了目标检测网络。该特征融合模块将特征金字塔中每一层输出的 特征上采样到相同的分辨率并按照通道数进行拼接,然后再传递给下一个特征融合模块。 通过这种方式,能够充分利用多种不同尺度的特征,提高目标检测的准确率。通过将人 头包围框输入目标检测网络进行训练,直到损失值平稳,完成训练,输出包含人头的人 头包围框。
步骤S134:根据每个人头包围框中心点坐标,并经过高斯卷积得到人头包围框密度 图。
如图7所示,上述步骤S14:使用训练图片对图片分区网络训练,包括:
步骤S141:根据所述训练图片,生成人群密度图;
步骤S142:将人群密度图输入图片分区网络进行卷积操作,得到对应的局部密度图;
在以某点为圆心,在半径为R的圆形区域内的人数作为局部密度,可以通过计算每个位置的局部密度得到局部密度图。由于依次计算每个像素点位置的计算开销较大,因 此本发明采用卷积操作进行计算。以计算以某点为圆心,在半径为R的圆形区域内的人 数为例,定义一个大小为2R×2R的卷积核,其半径为R的圆形区域内为1,之外为0。 通过该卷积核对人群密度图进行卷积操作,即可得到局部密度图。
步骤S143:根据局部密度图,得到每个训练图片的局部密度值,计算得到所有训练图片的局部密度平均值;
在本步骤中,通过图片分区网络的训练,可得到每个所述训练图片的局部密度图,并计算得到每个训练图片的局部密度值,最后计算得到所有训练图片的局部密度平均值。
步骤S144:对训练图片进行区域划分,局部密度值为0的为背景区域,局部密度值小于局部密度平均值的为稀疏区域,局部密度值大于等于局部密度平均值的为密集区域。
在本步骤中,根据步骤S143的局部密度平均值,对图片进行区域划分,当局部密度值为0时,该区域为背景区域;当局部密度值小于局部密度平均值,该区域为稀疏区 域;当局部密度值大于等于局部密度平均值,该区域为密集区域。由此,完成对图片分 区网络的训练。
在一个实施例中,上述步骤S15:根据述密度估计网络、目标检测网络和图片分区网络构建融合网络;
在本步骤中,将上述训练好的密度估计网络、目标检测网络和图片分区网络构进行 融合,构建如图8所示的融合网络。
在一个实施例中,上述步骤S2:将图片输入融合网络,根据图片分区网络,得到所图片的稀疏区域和密集区域;
将待检测的图片,输入融合网络,首先根据图片分区网络,对待检测图片的区域进行划分,分别得到该图片的稀疏区域和密集区域。
在一个实施例中,上述步骤S3:在图片的密集区域使用密度估计网络,得到人头密度图;在图片的稀疏区域使用目标检测网络,得到人头包围框密度图;通过融合网络将 人头密度图和人头包围框密度图进行融合,得到密度图,根据人群密度图进行人群计数。
在待检测图片的密集区域,使用密度估计网络,得到人头密度图;在待检测图片的稀疏区域使用目标检测网络,得到人头包围框密度图;再通过融合网络将人头密度图和 人头包围框密度图进行融合,得到最终的密度图,对密度图进行逐像素的求和,即可得 到人群总人数。
本发明提供了一种结合密度估计与目标检测的人群计数方法,通过对监控视频或图 像的实时处理和分析,能够适应多种不同尺度的特征,并且减少背景因素对计数的影响, 从而降低计数误差,提高人群计数的准确率。在城市管理与交通规划等方面对密集人群 做出预警,及时进行人群疏导,缓解交通拥堵。同时还能够提前进行合理规划,建立应急预案和突发事件预警机制,减少安全事故的发生。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发 明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修 改,均应涵盖在本发明的范围之内。

Claims (5)

1.一种结合密度估计与目标检测的人群计数方法,其特征在于,包括:
步骤S1:对训练图片进行标注,使用所述训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练;根据所述密度估计网络、所述目标检测网络和所述图片分区网络构建融合网络;
步骤S2:将图片输入所述融合网络,根据所述图片分区网络,得到所述图片的稀疏区域和密集区域;
步骤S3:在所述图片的密集区域使用所述密度估计网络,得到人头密度图;在所述图片的稀疏区域使用所述目标检测网络,得到人头包围框密度图;通过所述融合网络将所述人头密度图和所述人头包围框密度图进行融合,得到密度图,根据所述密度图进行人群计数。
2.根据权利要求1所述的结合密度估计与目标检测的人群计数方法,其特征在于,所述步骤S1:对所述训练图片进行标注,使用所述训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练,包括:
步骤S11:对训练图片进行标注;
步骤S12:使用所述训练图片对所述密度估计网络进行训练;
步骤S13:使用所述训练图片对所述目标检测网络进行训练;
步骤S14:使用所述训练图片对所述图片分区网络训练;
步骤S15:根据所述密度估计网络、所述目标检测网络和所述图片分区网络构建融合网络。
3.根据权利要求2所述的结合密度估计与目标检测的人群计数方法,其特征在于,所述步骤S12:使用所述训练图片对所述密度估计网络进行训练,包括:
步骤S121:根据所述训练图片进行标注,得到每个人头中心点坐标构成的点图;
步骤S122:使用高斯卷积对所述点图进行处理,得到人头密度图;
步骤S123:将所述人头密度图进行二值化处理,得到注意力图;
步骤S124:将所述密度估计网络输出的预测密度图与注意力图相乘,然后与步骤S122得到的人头密度图标签计算损失值,重复步骤S122~步骤S124,直到损失值平稳。
4.根据权利要求3所述的结合密度估计与目标检测的人群计数方法,其特征在于,所述步骤S13:使用所述训练图片对所述目标检测网络进行训练,包括:
步骤S131:根据相机的透视关系估算所述训练图片中人头包围框的大小;
步骤S132:根据所述人头中心点坐标以及所述人头包围框的大小,得到人头包围框;
步骤S133:将人头包围框输入目标检测网络进行训练,直到损失值平稳;
步骤S134:根据每个人头包围框中心点坐标,并经过高斯卷积得到人头包围框密度图。
5.根据权利要求2所述的结合密度估计与目标检测的人群计数方法,其特征在于,所述步骤S14:使用所述训练图片对所述图片分区网络训练,包括:
步骤S141:根据所述训练图片,生成人群密度图;
步骤S142:将所述人群密度图输入所述图片分区网络进行卷积操作,得到对应的局部密度图;
步骤S143:根据所述局部密度图,得到每个所述训练图片的局部密度值,计算得到所有训练图片的局部密度平均值;
步骤S144:对所述训练图片进行区域划分,所述局部密度值为0的为背景区域,所述局部密度值小于所述局部密度平均值的为稀疏区域,所述局部密度值大于等于所述局部密度平均值的为密集区域。
CN202011496576.3A 2020-12-17 2020-12-17 一种结合密度估计与目标检测的人群计数方法 Pending CN112989916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496576.3A CN112989916A (zh) 2020-12-17 2020-12-17 一种结合密度估计与目标检测的人群计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496576.3A CN112989916A (zh) 2020-12-17 2020-12-17 一种结合密度估计与目标检测的人群计数方法

Publications (1)

Publication Number Publication Date
CN112989916A true CN112989916A (zh) 2021-06-18

Family

ID=76345038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496576.3A Pending CN112989916A (zh) 2020-12-17 2020-12-17 一种结合密度估计与目标检测的人群计数方法

Country Status (1)

Country Link
CN (1) CN112989916A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688747A (zh) * 2021-08-27 2021-11-23 国网浙江省电力有限公司双创中心 图像中人员目标检测方法、系统、装置及存储介质
CN114241411A (zh) * 2021-12-15 2022-03-25 平安科技(深圳)有限公司 基于目标检测的计数模型处理方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717528A (zh) * 2018-05-15 2018-10-30 苏州平江历史街区保护整治有限责任公司 一种基于深度网络的多策略全局人群分析方法
CN110765833A (zh) * 2019-08-19 2020-02-07 中云智慧(北京)科技有限公司 一种基于深度学习的人群密度估计方法
US20200074186A1 (en) * 2018-08-28 2020-03-05 Beihang University Dense crowd counting method and apparatus
CN110942015A (zh) * 2019-11-22 2020-03-31 上海应用技术大学 人群密度估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717528A (zh) * 2018-05-15 2018-10-30 苏州平江历史街区保护整治有限责任公司 一种基于深度网络的多策略全局人群分析方法
US20200074186A1 (en) * 2018-08-28 2020-03-05 Beihang University Dense crowd counting method and apparatus
CN110765833A (zh) * 2019-08-19 2020-02-07 中云智慧(北京)科技有限公司 一种基于深度学习的人群密度估计方法
CN110942015A (zh) * 2019-11-22 2020-03-31 上海应用技术大学 人群密度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HONG MO 等: "Background Noise Filtering and Distribution Dividing for Crowd Counting", 《IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.2,2020》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688747A (zh) * 2021-08-27 2021-11-23 国网浙江省电力有限公司双创中心 图像中人员目标检测方法、系统、装置及存储介质
CN113688747B (zh) * 2021-08-27 2024-04-09 国网浙江省电力有限公司双创中心 图像中人员目标检测方法、系统、装置及存储介质
CN114241411A (zh) * 2021-12-15 2022-03-25 平安科技(深圳)有限公司 基于目标检测的计数模型处理方法、装置及计算机设备
CN114241411B (zh) * 2021-12-15 2024-04-09 平安科技(深圳)有限公司 基于目标检测的计数模型处理方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
US20130243343A1 (en) Method and device for people group detection
CN108932496A (zh) 区域内目标物的数量统计方法及装置
CN111832489A (zh) 一种基于目标检测的地铁人群密度估计方法及系统
CN110348463B (zh) 用于识别车辆的方法和装置
CN112950717B (zh) 一种空间标定方法和系统
CN111178235A (zh) 一种目标数量确定方法、装置、设备及存储介质
CN112989916A (zh) 一种结合密度估计与目标检测的人群计数方法
Bu et al. A UAV photography–based detection method for defective road marking
Wu et al. InstantCITY: Synthesising morphologically accurate geospatial data for urban form analysis, transfer, and quality control
Ito et al. Translating street view imagery to correct perspectives to enhance bikeability and walkability studies
KR102400842B1 (ko) 교통사고 정보를 제공하기 위한 서비스 방법
CN114882490B (zh) 一种基于点引导定位的无受限场景车牌检测分类方法
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN113569645B (zh) 基于图像检测的轨迹生成方法、装置及系统
Vishwakarma et al. Design and Augmentation of a Deep Learning Based Vehicle Detection Model for Low Light Intensity Conditions
CN116310189B (zh) 地图模型构建方法及终端
ALzubaidy et al. Implementing deep learning and CNNs for vehicle detection to alleviate highway traffic congestion
CN118314486B (zh) 一种基于多模态数据的变电站缺陷立体定位检测方法
CN111178132B (zh) 图像识别方法、装置及电子设备
CN116052088B (zh) 基于点云的活力空间测度方法、系统及计算机设备
CN118334324B (zh) 一种基于图像处理技术的变电站内多目标识别和追踪方法
CN113452952B (zh) 一种路况监测方法及装置和系统
Snyder et al. Congestion estimation using traffic cameras
Kamari Construction Site Hurricane Preparedness Using Digital Twinning through Large-Scale Visual Data
Hu et al. A Data-Driven Framework for Transferring the Ground-View Image into the Aerial-View Scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618