CN105740945B - 一种基于视频分析的人群计数方法 - Google Patents

一种基于视频分析的人群计数方法 Download PDF

Info

Publication number
CN105740945B
CN105740945B CN201610080759.4A CN201610080759A CN105740945B CN 105740945 B CN105740945 B CN 105740945B CN 201610080759 A CN201610080759 A CN 201610080759A CN 105740945 B CN105740945 B CN 105740945B
Authority
CN
China
Prior art keywords
regression
feature
layer
foreground picture
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610080759.4A
Other languages
English (en)
Other versions
CN105740945A (zh
Inventor
赵亚丹
郑慧诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201610080759.4A priority Critical patent/CN105740945B/zh
Publication of CN105740945A publication Critical patent/CN105740945A/zh
Application granted granted Critical
Publication of CN105740945B publication Critical patent/CN105740945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明公开了一种基于视频分析的人群计数方法。包括下述步骤：输入视频图像，用背景减法获取前景图，把前景图聚类成若干个块；提取特征，并对特征进行透视矫正；采用两层回归模型估计人数；第一层回归把每一帧中不同的块分成不同离散密度层，第二层回归把视觉标准化和回归计数结合起来作为一个联合学习的过程，分别对不同的离散密度层训练出同时考虑视觉标准化和回归问题的计数模型；最后对每一个块根据不同人群密度层采用不同的回归模型进行计数，通过累加所有块的人数得人群总数。本发明基于两层回归模型，并把视觉归一化和人数回归结合起来，克服了单一回归模型的缺陷，对多密度人群场景及人群遮挡和不完善的图像分割鲁棒性和适应性更好。

Description

一种基于视频分析的人群计数方法
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于视频分析的人群计数方法。
背景技术
随着经济的发展，大规模的人群活动日益频繁，人群的高度拥挤容易引起各种突发事故，因此对公共场合进行人群人数估计是非常必要的。然而传统的手工计数方法，不仅费时费力费财，而且无法保证计数精度，因而，开发一套智能化实时监控的人群计数系统具有重要的现实意义。
目前，人群计数的研究工作主要可以分为两大类：基于个体跟踪的方法和基于回归的方法。基于个体跟踪方法的基本思想是把人作为个体进行检测跟踪，通常是通过定位每个人的位置来计算出总人数。Li等提出了一种结合马赛克帧差和梯度直方图的头肩检测方法。Lin等提出了一个基于Haar小波变换与支持向量机检测头部轮廓进行检测个人并进行计数。Liu等把人体分成：头肩、左躯干、右躯干三部分进行检测，先对头肩进行匹配，然后通过网格掩模使用边缘轮廓对左右躯干进行匹配，最后根据各部分与自适应模型匹配得分进行分类。基于回归的方法基本思想是先提取前景特征，然后建立从前景特征到行人数量的映射模型。Chan等首先利用基于动态纹理特征的运动模型把人群分割成同一方向的各个小区域，然后提取每个分割区域的整体特征并通过高斯回归处理把各个区域的人数与特征对应起来，Oliber等首先获取前景区域，再对该区域分成网格，对每个网格计算前景点比率作为特征，通过网格回归估计各区域的人数。
实际情况中，基于个体跟踪的方法计算量较大，很难达到实时性效果，而且在高密度场景下，通常会存在各种外界因素的干扰(如光照变化，人体遮挡等)，难以对个体检测跟踪，从而导致对人数估计偏差过大。
基于回归的方法效果相对好一些，但是现存的研究通常用单一的回归模型，把前景特征映射到行人数量来进行人群计数，这种方法不能解决定位问题且仅适用于高密度情况。由于摄像头视角的影响，相同的物体在场景中不同位置上大小将会有较大的变化，距离摄像头近的人比远离摄像头的人要大，因此提取的特征要进行视觉归一化。目前的回归方法一般把视觉标准化和回归估计分开进行，在进行视觉标准化时通常采用传统的方法设置透视标准化权值(如假设边缘特征与人群大小线性相关)，但是这种设置并不一定都是可行的。其次，这种分开进行透视标准化和回归的方法忽略了视觉归一化权值与人群大小的局部非线性关系，由于分割和遮挡的影响，导致效果不是很理想。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于视频分析的人群计数方法。
为了达到上述目的，本发明采用的技术方案是：
一种基于视频分析的人群计数方法，所述计数方法包括如下步骤：
(1)输入视频图像，利用基于Retinex理论的光照补偿去除光照变化带来的影响，获取亮度稳定的灰度图，对去除光照影响的灰度图利用背景减法获取前景图，并对前景图进行阴影检测去除前景图中的阴影，利用Canny算子获取边缘图；
(2)用聚类算法把前景图聚类成若干个块，通过灰度图与高斯核的卷积去除噪声。
(3)用每个块的前景图对边缘图与灰度图进行掩模处理，对处理后的前景图、边缘图、灰度图提取特征，并对特征进行视觉矫正；
(4)使用视觉标准化的特征，采用两层回归模型估计人数；第一层回归模型把每一帧聚类后的块分成不同离散密度层，第二层回归模型把视觉标准化和回归计数结合起来作为一个联合学习的过程，分别对不同的离散密度层，训练出同时考虑视觉标准化和回归问题的计数模型；最后对每一块根据不同人群的离散密度层采用不同的回归模型进行计数，通过累加所有块的人数得人群总数。
优选的，步骤(1)中，对前景图进行阴影检测，采用基于归一化互相关函数与亮度比值的阴影检测去除前景图中的阴影。
优选的，步骤(3)中，提取的特征包括经过高斯平滑的灰度图的灰度共生矩阵特征、前景图的像素点数目、前景图团块大小直方图、边缘图的像素点数目、以及边缘图的闵可夫斯基维数特征；
优选的，对特征进行视觉矫正，采用的是线性内插权重的透视矫正算法，通过权重系数对透视畸变进行矫正；
优选的，步骤(4)中，第一层回归是利用支持向量机对提取的块特征回归训练，把人群分成稀疏和密集的离散层，并在第二层把视觉标准化和回归问题结合起来，分别对不同的密度层训练学习出不同的计数模型；
优选的，第二层回归把视觉标准化和回归问题结合起来方法如下：
(4-1)假设一帧有N个块，训练集的特征描述子表示为X＝[X1···XN],对应的人数为y＝[y1···yN]T，我们通过权衡特征描述子来进行视觉标准化；
(4-2)当进一步考虑几何失真来避免过拟合时(比如训练集过小或者如步骤(3)中所述的对特征进行视觉矫正时没有完全覆盖所有的块)，采用指数标度法来进行几何矫正。
(4-3)用内点法求解出最优的权值因子w；
(4-4)通过训练得到回归函数F来表示每一块的人数，公式如下：其中w是权衡因子，D是特征描述子的个数，x是特征描述子。
本发明相对于现有技术具有如下的优点及效果：
1、本发明采用两层回归模型估计人数，避免现存方法单一回归模型的缺陷。
2、本发明第二层回归把视觉标准化和回归计数结合起来作为一个联合学习的过程，克服了视觉归一化和回归估计单独进行的缺陷，对人群遮挡和不理想的分割更为鲁棒，统计结果更精确。
3、本发明第一层回归把人群分成不同的密度层，并在第二层分别对不同的密度回归训练，然后根据不同人群密度采用不同的回归模型，对多种人群密度场景鲁棒性和适应性更好。
附图说明
图1为本发明的总体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
附图给出了本发明的操作过程，如图所示，一种基于视频分析的人群计数方法，包括以下步骤：
(1)输入视频图像，利用基于Retinex理论的光照补偿去除光照变化带来的影响，获取亮度稳定的灰度图，对去除光照影响的灰度图利用背景减法获取前景图，并对前景图进行阴影检测去除前景图中的阴影，利用Canny算子获取边缘图；
(2)用聚类算法把前景图聚类成若干个块，通过灰度图与高斯核的卷积去除噪声。
(3)用每个块的前景图对边缘图与灰度图进行掩模处理，对处理后的前景图、边缘图、灰度图提取特征，并对特征进行视觉矫正；本步骤包括以下子步骤：
(3-1)对前景图、边缘图、灰度图提取特征；包括经过高斯平滑的灰度图的灰度共生矩阵特征、前景图的像素点数目、前景图团块大小直方图、边缘图的像素点数目、以及边缘图的闵可夫斯基维数特征；
(3-2)对特征进行视觉矫正，采用的是线性内插权重的透视矫正算法，通过权重系数对透视畸变进行矫正；
(4)基于两层回归模型估计人数；第一层回归把每一帧聚类后的块分成不同离散密度层，第二层回归把视觉标准化和回归计数结合起来作为一个联合学习的过程，分别对不同的离散密度层，训练出同时考虑视觉标准化和回归问题的计数模型；最后对每一块根据不同人群密度层采用不同的回归模型进行计数，通过累加所有块的人数得人群总数；本步骤包括以下子步骤：
(4-1)第一层回归是利用支持向量机对提取的块特征回归训练，把人群分成稀疏和密集的离散层，并在第二层把视觉标准化和回归问题结合起来，分别对不同的密度层训练学习出不同的计数模型；
(4-2)第二层回归把视觉标准化和回归问题结合起来方法如下，
(4-2-1)假设一帧有N个块，训练集的特征描述子表示为X＝[X1···XN],对应的人数为y＝[y1···yN]T，我们通过权衡特征描述子来进行视觉标准化；
(4-2-2)当进一步考虑几何失真来避免过拟合时(比如训练集过小或者如步骤(3)中所述的对特征进行视觉矫正时没有完全覆盖所有的块)，采用指数标度法来进行几何矫正；
(4-2-3)用内点法求解出最优的权值因子w；
(4-2-4)通过训练得到回归函数F来表示每一块的人数，公式如下：其中w是权衡因子，D是特征描述子的个数，x是特征描述子。
以上所述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于视频分析的人群计数方法，其特征在于，包括以下步骤：
(1)输入视频图像，利用基于Retinex理论的光照补偿去除光照变化带来的影响，获取亮度稳定的灰度图，对去除光照影响的灰度图利用背景减法获取前景图，并对前景图进行阴影检测去除前景图中的阴影，再利用Canny算子获取边缘图；
(2)用聚类算法把前景图聚类成若干个块，通过灰度图与高斯核的卷积去除噪声；
(3)用每个块的前景图对边缘图与灰度图进行掩模处理，对处理后的前景图、边缘图、灰度图提取特征，并对特征进行透视矫正；
(4)采用两层回归模型估计人数；第一层回归模型把每一帧聚类后的块分成不同离散密度层，第二层回归模型把视觉标准化和回归计数结合起来作为一个联合学习的过程，分别对不同的离散密度层，训练出同时考虑视觉标准化和回归问题的计数模型；最后对每一块根据不同人群密度层采用不同的回归模型进行计数，通过累加所有块的人数得人群总数；
所述步骤(4)中，第一层回归模型是利用支持向量机对提取的块特征回归训练，把人群分成稀疏和密集的离散层，并在第二层回归模型把视觉标准化和回归问题结合起来，分别对不同的密度层训练学习出不同的计数模型；
所述步骤(4)中，第二层回归模型把视觉标准化和回归问题结合起来方法如下：
(4-1)假设一帧有N个块，训练集的特征描述子表示为X＝[X1···XN],对应的人数为y＝[y1···yN]T，通过权衡特征描述子来进行视觉标准化；
(4-2)当进一步考虑由于样本过少造成的几何失真来避免过拟合时，采用指数标度法来进行几何矫正；
(4-3)用内点法对以上过程求解出最优的权值因子w；
(4-4)通过训练得到回归函数F来表示每一块的人数，公式如下：
其中w是权值因子，D是特征描述子的个数，X是特征描述子。
2.根据权利要求1所述的基于视频分析的人群计数方法，其特征在于，所述步骤(1)中，对前景图进行阴影检测，是采用基于归一化互相关函数与亮度比值的阴影检测去除前景图中的阴影。
3.根据权利要求1所述的基于视频分析的人群计数方法，其特征在于，所述步骤(3)中，提取的特征包括经过高斯平滑的灰度图的灰度共生矩阵特征、前景图的像素点数目、前景图团块大小直方图、边缘图的像素点数目、以及边缘图的闵可夫斯基维数特征；
对特征进行透视矫正，采用的是线性内插权重的透视矫正算法，通过权重系数对透视畸变进行矫正。
CN201610080759.4A 2016-02-04 2016-02-04 一种基于视频分析的人群计数方法 Active CN105740945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610080759.4A CN105740945B (zh) 2016-02-04 2016-02-04 一种基于视频分析的人群计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610080759.4A CN105740945B (zh) 2016-02-04 2016-02-04 一种基于视频分析的人群计数方法

Publications (2)

Publication Number Publication Date
CN105740945A CN105740945A (zh) 2016-07-06
CN105740945B true CN105740945B (zh) 2018-03-16

Family

ID=56241882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610080759.4A Active CN105740945B (zh) 2016-02-04 2016-02-04 一种基于视频分析的人群计数方法

Country Status (1)

Country Link
CN (1) CN105740945B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250828B (zh) * 2016-07-22 2019-06-04 中山大学 一种基于改进的lbp算子的人群计数方法
CN108021852A (zh) * 2016-11-04 2018-05-11 株式会社理光 一种人数统计方法、人数统计系统及电子设备
CN107066963B (zh) * 2017-04-11 2019-11-12 福州大学 一种自适应人群计数方法
CN107103299B (zh) * 2017-04-21 2020-03-06 天津大学 一种监控视频中的人数统计方法
CN107909044B (zh) * 2017-11-22 2020-04-28 天津大学 一种结合卷积神经网络和轨迹预测的人数统计方法
CN110554687B (zh) * 2018-05-30 2023-08-22 中国北方车辆研究所 一种面向未知环境的多机器人自适应探测方法
CN111191667B (zh) * 2018-11-15 2023-08-18 天津大学青岛海洋技术研究院 基于多尺度生成对抗网络的人群计数方法
CN111027389B (zh) * 2019-11-12 2023-06-30 通号通信信息集团有限公司 人群计数系统中基于可变形高斯核的训练数据生成方法
CN111191114A (zh) * 2019-11-26 2020-05-22 恒大智慧科技有限公司 一种冷门景点推荐方法、装置及存储介质
CN111652107A (zh) * 2020-05-28 2020-09-11 北京市商汤科技开发有限公司 对象计数方法及装置、电子设备和存储介质
CN111783589B (zh) * 2020-06-23 2022-03-15 西北工业大学 基于场景分类和多尺度特征融合的复杂场景人群计数方法
CN112449093A (zh) * 2020-11-05 2021-03-05 北京德火科技有限责任公司 一种三维全景视频融合监控平台
CN112633210B (zh) * 2020-12-14 2022-10-21 南京理工大学 基于目标检测的轨道交通客流密度估计系统及其方法
CN112418182A (zh) * 2020-12-15 2021-02-26 北京信息科技大学 红外影厅图像人数统计方法
CN114842546A (zh) * 2021-02-02 2022-08-02 中兴通讯股份有限公司 动作计数方法、装置、设备及存储介质
CN115303901B (zh) * 2022-08-05 2024-03-08 北京航空航天大学 一种基于计算机视觉的电梯交通流量识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457436B2 (en) * 2000-09-06 2008-11-25 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
CN103226860A (zh) * 2013-04-12 2013-07-31 中国民航大学 一种通道客流密度估计方法
CN103258232A (zh) * 2013-04-12 2013-08-21 中国民航大学 一种基于双摄像头的公共场所人数估算方法
EP2704060A2 (en) * 2012-09-03 2014-03-05 Vision Semantics Limited Crowd density estimation
CN104091351A (zh) * 2014-06-27 2014-10-08 无锡慧眼电子科技有限公司 基于聚类法的人数计数方法
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457436B2 (en) * 2000-09-06 2008-11-25 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
EP2704060A2 (en) * 2012-09-03 2014-03-05 Vision Semantics Limited Crowd density estimation
CN103226860A (zh) * 2013-04-12 2013-07-31 中国民航大学 一种通道客流密度估计方法
CN103258232A (zh) * 2013-04-12 2013-08-21 中国民航大学 一种基于双摄像头的公共场所人数估算方法
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
CN104091351A (zh) * 2014-06-27 2014-10-08 无锡慧眼电子科技有限公司 基于聚类法的人数计数方法
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
复杂场景下的人数统计;薛陈;《电子测量技术》;20121230;第35卷(第12期);全文 *
高密度人群计数方法的研究与应用;刘向东;《中国优秀硕士学位论文全文数据库信息科技辑》;20130515;第2013年卷(第05期);全文 *

Also Published As

Publication number Publication date
CN105740945A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105740945B (zh) 一种基于视频分析的人群计数方法
CN106570486B (zh) 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN104268583B (zh) 基于颜色区域特征的行人重识别方法及系统
CN106355602B (zh) 一种多目标定位跟踪视频监控方法
CN109872285B (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
CN102968782B (zh) 一种彩色图像中显著对象的自动抠取方法
CN107292252B (zh) 一种自主学习的身份识别方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN107679503A (zh) 一种基于深度学习的人群计数算法
CN102521616B (zh) 基于稀疏表示的行人检测方法
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN104715251B (zh) 一种基于直方图线性拟合的显著目标检测方法
CN107123130B (zh) 一种基于超像素和混合哈希的核相关滤波目标跟踪方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN106570885A (zh) 基于亮度和纹理融合阈值的背景建模方法
CN106056078B (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN104050674B (zh) 一种显著性区域检测方法及装置
CN111626107B (zh) 一种面向智能家居场景下的人形轮廓分析提取方法
CN104331700B (zh) 基于轨迹能量扩散图的组行为识别方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN104123569A (zh) 一种基于有监督学习的视频人数信息统计方法
CN106023270A (zh) 一种基于局部对称特征的视频车辆检测方法
Li Research on camera-based human body tracking using improved cam-shift algorithm
CN110852335B (zh) 一种基于多颜色特征融合与深度网络的目标跟踪系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant