CN108399388A - 一种中高密度人群数量统计方法 - Google Patents

一种中高密度人群数量统计方法 Download PDF

Info

Publication number
CN108399388A
CN108399388A CN201810170106.4A CN201810170106A CN108399388A CN 108399388 A CN108399388 A CN 108399388A CN 201810170106 A CN201810170106 A CN 201810170106A CN 108399388 A CN108399388 A CN 108399388A
Authority
CN
China
Prior art keywords
crowd
high density
frame
density
candidate frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810170106.4A
Other languages
English (en)
Inventor
黄立勤
叶张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810170106.4A priority Critical patent/CN108399388A/zh
Publication of CN108399388A publication Critical patent/CN108399388A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种中高密度人群数量统计方法，采用行人检测器对采集的视频帧序列的视频帧进行行人检测，获得检测候选框；根据获得的检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；采用基于角点的人群计数方法对每个人群团块区域进行人群初步数，获取对应的计数结果；通过计数结果与特征点数量的关系进行密度估计；当特征点数量超过预设阈值时，自动切换至超高密度统计模式；当将视频帧送入多级联合深度网络，统计人群密度图谱；根据密度图谱统计人数；针对不同密度，选取不同的数据融合方法，完成人群计数。本发明能在人群从中高密度增加到超高密度时进行切换，兼顾不同密度场景下人群的计数问题。

Description

一种中高密度人群数量统计方法
技术领域
本发明涉及计算机视觉、人工智能，特别是一种中高密度人群数量统计方法。
背景技术
随着社会的发展和技术的进步，智能视频监控技术在越来越多的领域起到至关重要的作用，而人群计数作为智能视频监控中至关重要的一环，所谓人群计数就是通过读取图片或者视频帧，得出当前帧或者图片中一共有多少人。
当前人群计数方法主要分为两大类：直接法和间接法。
直接法也叫基于检测的方法，主要通过使用不同的检测模型，将一个个行人个体检测分割出来，来实现人群计数。在中高密度时，主要采用基于人体的行人检测模型；在超高密度时，遮挡问题严重，所以主要采用基于头加肩膀(Ω)区域的行人检测模型，又或者基于人头的行人检测模型。
间接法，主要通过提取人群的不同特征，通过训练等方法，得到特征与人数的映射关系，以此来实现人群计数。常用于人群计数的特征主要有前景面积，纹理特征，又或者角点特征等。
直接方法最大的优点就是鲁棒性强，在中高密度场景下，有着不可取代的优越性。但当密度增大时，由于遮挡等问题，人体的表达特征受到破坏，行人不能得到很好的检测分割，使得性能大幅度下降。
间接法最明显的优点在于高密度或超高密度时，相对直接法有着更高的准确度。但在中等密度使用间接法，相较于直接法，有着不必要的复杂度和高成本。
可以看到，直接法和间接法分别适用于中高密度与超高密度，但在另一个密度效果较差。
发明内容
本发明的目的在于提供一种中高密度人群数量统计方法，以克服现有技术中存在的缺陷。
为实现上述目的，本发明的技术方案是：一种中高密度人群数量统计方法，按照如下步骤实现：
步骤S1：采用行人检测器对采集的视频帧序列的视频帧进行行人检测，获得检测候选框；
步骤S2：根据获得的检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；
步骤S3：采用基于角点的人群计数方法对每个人群团块区域进行人群初步数，获取对应的计数结果；
步骤S4：通过计数结果与特征点数量的关系进行密度估计；
步骤S5：当特征点数量超过预设阈值时，自动切换至超高密度统计模式；否则，转至步骤S3；
步骤S6：当将视频帧送入多级联合深度网络，统计人群密度图谱；
步骤S7：根据密度图谱统计人数；
步骤S8：针对不同密度，选取不同的数据融合方法，完成人群计数。
在本发明一实施例中，在所述步骤S1中，所述行人检测器采用基于RPN网络的深度学习检测器。
在本发明一实施例中，在所述步骤S2中，还包括对所述检测候选框的预处理；该预处理过程包括：设定用于过滤面积大于预尺寸检测候选框的阈值；建立当前帧与前后帧光流图，将前后帧的检测候选框都映射到当前帧，降低漏检率，获取所述特征点。
在本发明一实施例中，在所述步骤S2中，所述聚类采用迪里赫雷特混合模型。
在本发明一实施例中，在所述步骤S3中，根据所述步骤S2获取的人群团块区域，通过如下方式计算每个类内的人数：
其中，pk是在类k内总的角点数，是组成类k的检测候选框的平均角点数。
在本发明一实施例中，在所述步骤S4中，将所述特征点数量按照如下方式进行最大最小归一化：
其中，X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值。
相较于现有技术，本发明具有以下有益效果：本发明提出的一种中高密度人群数量统计方法，实现了从中高密度人群和超高密度人群的的估计方法。针对中高密以下人群和超高密度人群估计两个不同问题，在一个系统中实现统一解决。能够感知人群密度变化，在人群密度增加的场景下，自动切换计算方法，使得系统适用性大大提高。
附图说明
图1为本发明中一种中高密度人群数量统计方法的流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种中高密度人群数量统计方法，按照如下步骤实现：
步骤S1：采用行人检测器对采集的视频帧序列的视频帧进行行人检测，获得检测候选框；
步骤S2：根据获得的检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；
步骤S3：采用基于角点的人群计数方法对每个人群团块区域进行人群初步数，获取对应的计数结果；
步骤S4：通过计数结果与特征点数量的关系进行密度估计；
步骤S5：当特征点数量超过预设阈值时，自动切换至超高密度统计模式；否则，转至步骤S3；
步骤S6：当将视频帧送入多级联合深度网络，统计人群密度图谱；
步骤S7：根据密度图谱统计人数；
步骤S8：针对不同密度，选取不同的数据融合方法，完成人群计数。
在本实施例中，在所述步骤S1中，所述行人检测器采用基于RPN网络的深度学习检测器。
在本实施例中，在所述步骤S2中，还包括对所述检测候选框的预处理；该预处理过程包括：设定用于过滤面积大于预尺寸检测候选框的阈值，过滤面积太大的检测候选框；建立当前帧与前后帧光流图，将前后帧的检测候选框都映射到当前帧，降低漏检率，获取所述特征点。
在本实施例中，特征点也即角点，在进行候选框预处理的时候需要计算光流图，里面的使用的角点就是这里的特征点。
在本实施例中，在所述步骤S2中，所述聚类采用迪里赫雷特混合模型。
在本实施例中，在所述步骤S3中，根据所述步骤S2获取的人群团块区域，通过如下方式计算每个类内的人数：
其中，pk是在类k内总的角点数，是组成类k的检测候选框的平均角点数，即可进行人群初步计数。
在本实施例中，在所述步骤S4中，将所述特征点数量按照如下方式进行最大最小归一化：
其中，X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值。
在本实施例中，步骤S6以及步骤S7中采用的方法为间接方法。
在本实施例中，在步骤S8中，不同的数据融合方法如下：根据密度不同，对相邻三帧做平局。低密度只和低密度平局，中高密度和中高密度平局，高密度和高密度平局。通过采用上述分组方式，保证数量突然变化时的准确性。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种中高密度人群数量统计方法，其特征在于，按照如下步骤实现：
步骤S1：采用行人检测器对采集的视频帧序列的视频帧进行行人检测，获得检测候选框；
步骤S2：根据获得的检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；
步骤S3：采用基于角点的人群计数方法对每个人群团块区域进行人群初步数，获取对应的计数结果；
步骤S4：通过计数结果与特征点数量的关系进行密度估计；
步骤S5：当特征点数量超过预设阈值时，自动切换至超高密度统计模式；否则，转至步骤S3；
步骤S6：当将视频帧送入多级联合深度网络，统计人群密度图谱；
步骤S7：根据密度图谱统计人数；
步骤S8：针对不同密度，选取不同的数据融合方法，完成人群计数。
2.根据权利要求1所述的一种中高密度人群数量统计方法，其特征在于，在所述步骤S1中，所述行人检测器采用基于RPN网络的深度学习检测器。
3.根据权利要求1所述的一种中高密度人群数量统计方法，其特征在于，在所述步骤S2中，还包括对所述检测候选框的预处理；该预处理过程包括：设定用于过滤面积大于预尺寸检测候选框的阈值；建立当前帧与前后帧光流图，将前后帧的检测候选框都映射到当前帧，降低漏检率，获取所述特征点。
4.根据权利要求1所述的一种中高密度人群数量统计方法，其特征在于，在所述步骤S2中，所述聚类采用迪里赫雷特混合模型。
5.根据权利要求1所述的一种中高密度人群数量统计方法，其特征在于，在所述步骤S3中，根据所述步骤S2获取的人群团块区域，通过如下方式计算每个类内的人数：
其中，pk是在类k内总的角点数，是组成类k的检测候选框的平均角点数。
6.根据权利要求1所述的一种中高密度人群数量统计方法，其特征在于，在所述步骤S4中，将所述特征点数量按照如下方式进行最大最小归一化：
其中，X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值。
CN201810170106.4A 2018-02-28 2018-02-28 一种中高密度人群数量统计方法 Pending CN108399388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810170106.4A CN108399388A (zh) 2018-02-28 2018-02-28 一种中高密度人群数量统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810170106.4A CN108399388A (zh) 2018-02-28 2018-02-28 一种中高密度人群数量统计方法

Publications (1)

Publication Number Publication Date
CN108399388A true CN108399388A (zh) 2018-08-14

Family

ID=63091429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810170106.4A Pending CN108399388A (zh) 2018-02-28 2018-02-28 一种中高密度人群数量统计方法

Country Status (1)

Country Link
CN (1) CN108399388A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271960A (zh) * 2018-10-08 2019-01-25 燕山大学 一种基于卷积神经网络的人数统计方法
CN109948497A (zh) * 2019-03-12 2019-06-28 北京旷视科技有限公司 一种物体检测方法、装置及电子设备
CN110008834A (zh) * 2019-02-28 2019-07-12 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
WO2021031954A1 (zh) * 2019-08-20 2021-02-25 北京海益同展信息科技有限公司 对象数量确定方法、装置、存储介质与电子设备
CN112733624A (zh) * 2020-12-26 2021-04-30 电子科技大学 室内密集场景的人流密度检测方法、系统存储介质及终端
CN117420868A (zh) * 2023-12-18 2024-01-19 山东海智星智能科技有限公司 基于物联网的智慧教室控制系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019698A1 (en) * 2014-07-21 2016-01-21 Florida Atlantic University Systems and methods for people counting in sequential images
WO2016064377A1 (en) * 2014-10-20 2016-04-28 King Abdullah University Of Science And Technology System and method for crowd counting and tracking
CN107066963A (zh) * 2017-04-11 2017-08-18 福州大学 一种自适应人群计数方法
CN107330372A (zh) * 2017-06-05 2017-11-07 四川大学 一种基于视频的人群密度与异常行为检测系统的分析方法
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019698A1 (en) * 2014-07-21 2016-01-21 Florida Atlantic University Systems and methods for people counting in sequential images
WO2016064377A1 (en) * 2014-10-20 2016-04-28 King Abdullah University Of Science And Technology System and method for crowd counting and tracking
CN107066963A (zh) * 2017-04-11 2017-08-18 福州大学 一种自适应人群计数方法
CN107330372A (zh) * 2017-06-05 2017-11-07 四川大学 一种基于视频的人群密度与异常行为检测系统的分析方法
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CONG ZHANG ET AL.: "Cross-scene Crowd Counting via Deep Convolutional Neural Networks", 《IEEE》 *
LILIANG ZHANG ET AL.: "Is Faster R-CNN Doing Well for Pedestrian Detection?", 《ECCV》 *
SHAOQING REN ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
XINGYU ZENG ET AL.: "Multi-Stage Contextual Deep Learning for Pedestrian Detection", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
王强等: "基于像素统计和纹理特征的人群密度估计", 《电子科技》 *
王焱: "基于随机梯度提升决策树的行人检测算法设计与实现", 《中国优秀博硕士学位论文全文数据库（硕士) 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271960A (zh) * 2018-10-08 2019-01-25 燕山大学 一种基于卷积神经网络的人数统计方法
CN110008834A (zh) * 2019-02-28 2019-07-12 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN109948497A (zh) * 2019-03-12 2019-06-28 北京旷视科技有限公司 一种物体检测方法、装置及电子设备
CN109948497B (zh) * 2019-03-12 2022-01-28 北京旷视科技有限公司 一种物体检测方法、装置及电子设备
WO2021031954A1 (zh) * 2019-08-20 2021-02-25 北京海益同展信息科技有限公司 对象数量确定方法、装置、存储介质与电子设备
CN112733624A (zh) * 2020-12-26 2021-04-30 电子科技大学 室内密集场景的人流密度检测方法、系统存储介质及终端
CN112733624B (zh) * 2020-12-26 2023-02-03 电子科技大学 室内密集场景的人流密度检测方法、系统存储介质及终端
CN117420868A (zh) * 2023-12-18 2024-01-19 山东海智星智能科技有限公司 基于物联网的智慧教室控制系统及方法
CN117420868B (zh) * 2023-12-18 2024-04-09 山东海智星智能科技有限公司 基于物联网的智慧教室控制系统及方法

Similar Documents

Publication Publication Date Title
CN108399388A (zh) 一种中高密度人群数量统计方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN106997629B (zh) 门禁控制方法、装置及系统
Qin et al. Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video
CN104933710B (zh) 基于监控视频下的商店人流轨迹智能分析方法
CN107066963B (zh) 一种自适应人群计数方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN103729858B (zh) 一种视频监控系统中遗留物品的检测方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
CN104517095B (zh) 一种基于深度图像的人头分割方法
Tan et al. Fast anomaly detection in traffic surveillance video based on robust sparse optical flow
CN111582122B (zh) 一种监控视频多维度行人行为智能分析系统及方法
CN111402237B (zh) 基于时空级联自编码器的视频图像异常检测方法及系统
CN107886507B (zh) 一种基于图像背景和空间位置的显著区域检测方法
CN103714181A (zh) 一种层级化的特定人物检索方法
CN210072642U (zh) 基于视频监控的人群异常行为检测系统
CN110472634A (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN103927519A (zh) 一种实时人脸检测与过滤方法
CN109214324A (zh) 基于多相机阵列的最正脸图像输出方法及输出系统
CN106886763A (zh) 实时检测人脸的系统及其方法
Chato et al. Image processing and artificial neural network for counting people inside public transport
CN106548158A (zh) 基于机器视觉的人群密度智能监测系统及方法
Wang et al. Early smoke detection in video using swaying and diffusion feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180814

RJ01 Rejection of invention patent application after publication