CN107103299A - 一种监控视频中的人数统计方法 - Google Patents

一种监控视频中的人数统计方法 Download PDF

Info

Publication number
CN107103299A
CN107103299A CN201710266116.3A CN201710266116A CN107103299A CN 107103299 A CN107103299 A CN 107103299A CN 201710266116 A CN201710266116 A CN 201710266116A CN 107103299 A CN107103299 A CN 107103299A
Authority
CN
China
Prior art keywords
scene
foreground
pedestrian
area
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710266116.3A
Other languages
English (en)
Other versions
CN107103299B (zh
Inventor
黄雯
付晓梅
张为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710266116.3A priority Critical patent/CN107103299B/zh
Publication of CN107103299A publication Critical patent/CN107103299A/zh
Application granted granted Critical
Publication of CN107103299B publication Critical patent/CN107103299B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种监控视频中的人数统计方法，包括：建立行人样本库；对于每一帧视频图像，使用混合高斯背景建模的方法，结合形态学滤波，获得前景图像；通过计算前景图像中前景像素的数量，得到前景面积及归一化场景面积；以图像前景为模板，提取Harris角点信息和SURF特征点信息，并通过单位面积中的有效特征点数量来表征场景中人群之间的遮挡程度；以归一化场景面积S2、人群遮挡因子D1、D2为输入向量，以场景中的统计人数为输出向量，训练BP网络完成回归模型T1的构建；提取行人样本库的HOG特征，采用Adaboost级联分类器T2训练相应的行人检测器；构造组合分类器，实现分类器融合时权重的自适应计算。

Description

一种监控视频中的人数统计方法
技术领域
本发明属于智能视频监控领域。具体是基于计算机视觉的实时人数统计系统。
背景技术
近年来，随着人们对安防重视程度的提升以及现代安防技术的发展，视频监控系统以及越来越广泛的应用在社会生活的各个方面，从银行、展览馆的安保，到广场、校园的监控，从工作环境到家庭环境，视频监控系统在社会公共安全、惩击犯罪等方面，有着无法替代的作用，保卫着社会的繁荣稳定，促进着和谐社会的发展与建设。
然而，传统的视频监控系统存在其自身的局限性。首先，它的功能比较简单，只有简单的监控视频存储和回放功能，主要作用就是事后取证分析，而对被监控场景的实时分析能力比较欠缺，不具备对所发生的异常事件提供实时预警的功能。其次，要想实现实时监控的目的，安装了监控摄像头的单位或部门，其监控室需要安防人员全天候无间断的实施监控，对人力物力资源都是很大的浪费。与此同时，安防人员在长时间连续工作的情况下，很容易产生疲劳，于是漏判、误判等情况发生的概率将会大大增加。由此可见，如果只是简单的依靠传统人力来进行监控，是无法适应现在的发展趋势的。
随着研究的深入，计算机视觉、图像模式识别等技术在近几年有了较大的发展，各种新型的算法为解决实际工程中的问题提供了理论保障。伴随着我国居民安全理念的加强，相应的摄像监控系统逐渐遍布生活中的各个角落，这一条件为本发明提出的基于监控视频的人数统计系统提供了硬件基础。如果能实现将我们的检测软件融入现有的监控摄像系统，不但可以充分利用现有资源，节约设施成本，更能有效的弥补上述人力监控系统的不足，具有广阔的应用前景。
发明内容
本发明的目的在于提出一种基于现有的监控平台，有效进行实时人数统计的方法，技术方案如下：
一种监控视频中的人数统计方法，包括下列步骤：
1)建立行人样本库，对目标监控场景进行前期采样，采集包括行人各种姿态的监控场景，作为训练数据集，也就是行人样本库。
2)输入视频帧，对于每一帧视频图像，使用混合高斯背景建模的方法，结合形态学滤波，获得前景图像；
3)通过计算前景图像中前景像素的数量，得到前景面积S1，并做归一化处理，得到归一化场景面积S2；
4)对每一帧视频图像，以图像前景为模板，提取Harris角点信息和SURF特征点信息，分别计算每帧图像中这两种特征点的数量N1、N2，并通过单位面积中的有效特征点数量来表征场景中人群之间的遮挡程度，提取人群遮挡因子D1、D2；
5)构建第一个BP网络模型，以归一化场景面积S2、人群遮挡因子D1、D2为输入向量，以场景中的统计人数为输出向量，训练BP网络完成回归模型T1的构建；
6)提取行人样本库的HOG特征，采用Adaboost级联分类器训练相应的行人检测器T2；
7)将待检测图片序列输入回归模型T1，初步得到人群数量的估计r1；利用行人检测器T2检测出每个视频帧里的行人数目r2；
8)构造第二个BP神经网络T3作为组合分类器，将前两个基分类器的结果r1和r2作为组合分类器T2输入向量的一部分，并结合上述归一化前景面积和遮挡因子的特征，实现分类器融合时权重的自适应计算；
9)组合分类器的输出即为场景中的最终检测人数。
优选地，对选定场景中处于画面纵向不同位置处行人的尺寸及纵向坐标进行采样，然后对这些数据进行线性拟合，求出拟合系数，并得到拟合公式，由拟合公式推导得出任一目标位移至场景中任意其他位置时的尺寸，同一行人在视频图像的任意位置时，归一化前景面积相同，由此将前景面积S1修正为归一化前景面积S2。
附图说明
图1位本发明方法的流程图
具体实施方式
1、建立行人样本库
对目标监控场景进行前期采样，采集包括行人各种姿态的监控场景，作为训练数据集，也就是行人样本库。
2、运动前景提取
方法中运动前景的提取采用混合高斯模型法实现，与一般的多高斯法相比，此方法速度更快，并且可以保持处理质量不变。并且，这种方法还可以在得到运动前景的同时，去除一部分阴影带来的影响。
3、计算原始图像面积
遍历每一帧视频图像，计算所得前景图像中的像素点数量，得到前景面积S1。
4、计算归一化前景面积
由于“透视效应”的影响，行人在摄像机的成像平面上的尺寸随着与摄像机镜头距离的增大而逐渐缩小，因此，需要结合透视效应原理，得到行人在场景各个位置上的投影尺寸。
首先对选定场景中处于画面纵向不同位置处行人的尺寸及纵向坐标进行采样，然后对这些数据进行线性拟合，求出拟合系数，并得到拟合公式。由拟合公式可以推导得出任一目标位移至场景中任意其他位置时的尺寸。原则上，同一行人在视频图像的任意位置时，归一化前景面积相同。由此将上一步中求得的前景面积修正为归一化前景面积S2。
5、提取有效角点信息
本方法提取两个有效角点信息，一个是经典的Harris角点，另一个是SURF特征点。
对每一个视频帧提取SURF特征点的方法如下：
第一步：构造Hessian矩阵并生成尺度空间。以矩阵特征值是否是极值为判据，提取出特征点。对图像用不同尺寸的滤波器进行滤波，得到同一图像在不同尺度的一系列响应图，构成一个金字塔；
第二步：对每个特征点计算主方向。统计以特征点为中心，6倍特征点尺度值为半径，张角为60度的扇形区域内所有像素点的合成向量，逐步将扇形区域逆时针旋转，步长通常取0.1弧度，计算各方向扇形的合成向量模长的最大值，其对应角度即为特征点主方向；
第三步：建立描述子。选取以特征点为中心，方向与主方向对齐的正方形，将其分为4*4的子块，对每一子块进行Haar小波变换得到4个系数，由此得到64维向量，即描述子。
得到视频帧Harris角点数量N1和SURF特征点数量N2。
6、计算人群遮挡因子
结合上述步骤中得到的原始前景面积S1和前景区域角点数N1和N2，分别用两者相除得到的商，来提取出遮挡因子D1和D2，即通过单位面积中的有效角点数来表征场景中人群间的遮挡程度。
7、建立回归模型
构建的是三层BP网络模型T1，其中，输入层为场景的归一化前景面积S2和单位人群密度D1、D2组成的特征矢量，输出层为场景的统计人数。测试时，输入待检测图片序列和遮挡因子D，通过回归模型得到场景的初步估计人数r1。
8、基于检测的人数统计
提取行人样本库的HOG特征，采用Adaboost级联分类器T2训练相应的行人检测器。检测出每个视频帧里的行人数目r2。
9、多分类器融合
采用stacking的策略构造第二个BP神经网络T3作为组合分类器，将前两个基分类器的结果r1和r2作为组合分类器的输入向量的一部分，并结合上述归一化前景面积S2和遮挡系数D1、D2的特征，构造5维输入向量，以场景中的实际人数为输出向量。训练该神经网络，测试时输入一个视频帧，提取上述5维特征向量输入分类器T3，得到场景中的最终统计人数r。

Claims (2)

1.一种监控视频中的人数统计方法，包括下列步骤：
1)建立行人样本库，对目标监控场景进行前期采样，采集包括行人各种姿态的监控场景，作为训练数据集，也就是行人样本库。
2)输入视频帧，对于每一帧视频图像，使用混合高斯背景建模的方法，结合形态学滤波，获得前景图像；
3)通过计算前景图像中前景像素的数量，得到前景面积S1，并做归一化处理，得到归一化场景面积S2；
4)对每一帧视频图像，以图像前景为模板，提取Harris角点信息和SURF特征点信息，分别计算每帧图像中这两种特征点的数量N1、N2，并通过单位面积中的有效特征点数量来表征场景中人群之间的遮挡程度，提取人群遮挡因子D1、D2；
5)构建第一个BP网络模型，以归一化场景面积S2、人群遮挡因子D1、D2为输入向量，以场景中的统计人数为输出向量，训练BP网络完成回归模型T1的构建；
6)提取行人样本库的HOG特征，采用Adaboost级联分类器训练相应的行人检测器T2；
7)将待检测图片序列输入回归模型T1，初步得到人群数量的估计r1；利用行人检测器T2检测出每个视频帧里的行人数目r2；
8)构造第二个BP神经网络T3作为组合分类器，将前两个基分类器的结果r1和r2作为组合分类器T2输入向量的一部分，并结合上述归一化前景面积和遮挡因子的特征，实现分类器融合时权重的自适应计算；
9)组合分类器的输出即为场景中的最终检测人数。
2.根据权利要求1所述的人数统计方法，其特征在于，对选定场景中处于画面纵向不同位置处行人的尺寸及纵向坐标进行采样，然后对这些数据进行线性拟合，求出拟合系数，并得到拟合公式，由拟合公式推导得出任一目标位移至场景中任意其他位置时的尺寸，同一行人在视频图像的任意位置时，归一化前景面积相同，由此将前景面积S1修正为归一化前景面积S2。
CN201710266116.3A 2017-04-21 2017-04-21 一种监控视频中的人数统计方法 Expired - Fee Related CN107103299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710266116.3A CN107103299B (zh) 2017-04-21 2017-04-21 一种监控视频中的人数统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710266116.3A CN107103299B (zh) 2017-04-21 2017-04-21 一种监控视频中的人数统计方法

Publications (2)

Publication Number Publication Date
CN107103299A true CN107103299A (zh) 2017-08-29
CN107103299B CN107103299B (zh) 2020-03-06

Family

ID=59656350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710266116.3A Expired - Fee Related CN107103299B (zh) 2017-04-21 2017-04-21 一种监控视频中的人数统计方法

Country Status (1)

Country Link
CN (1) CN107103299B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197579A (zh) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108830145A (zh) * 2018-05-04 2018-11-16 深圳技术大学（筹） 一种基于深度神经网络的人数统计方法及存储介质
CN109118514A (zh) * 2018-06-11 2019-01-01 西安电子科技大学 一种目标跟踪方法
CN111126117A (zh) * 2018-11-01 2020-05-08 阿里巴巴集团控股有限公司 信息处理方法和装置
CN112449093A (zh) * 2020-11-05 2021-03-05 北京德火科技有限责任公司 一种三维全景视频融合监控平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2535843A1 (en) * 2010-02-10 2012-12-19 Hangzhou Hikvision Software Co. Ltd. Method and system for population flow statistics
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN104732220A (zh) * 2015-04-03 2015-06-24 中国人民解放军国防科学技术大学 一种面向监控视频的特定颜色人体检测方法
CN105678231A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于稀疏编码和神经网络的行人图片检测方法
CN105740945A (zh) * 2016-02-04 2016-07-06 中山大学 一种基于视频分析的人群计数方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2535843A1 (en) * 2010-02-10 2012-12-19 Hangzhou Hikvision Software Co. Ltd. Method and system for population flow statistics
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN104732220A (zh) * 2015-04-03 2015-06-24 中国人民解放军国防科学技术大学 一种面向监控视频的特定颜色人体检测方法
CN105678231A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于稀疏编码和神经网络的行人图片检测方法
CN105740945A (zh) * 2016-02-04 2016-07-06 中山大学 一种基于视频分析的人群计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SIGLETOS G等: ""Combining Information Extraction Systems Using Voting and Stacked Generalization"", 《JOURNAL OF MACHINE LEARNING RESEARCH》 *
常庆龙等: ""一种基于归一化前景和角点信息的复杂场景人数统计方法"", 《电子与信息学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197579A (zh) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108197579B (zh) * 2018-01-09 2022-05-20 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108830145A (zh) * 2018-05-04 2018-11-16 深圳技术大学（筹） 一种基于深度神经网络的人数统计方法及存储介质
CN109118514A (zh) * 2018-06-11 2019-01-01 西安电子科技大学 一种目标跟踪方法
CN109118514B (zh) * 2018-06-11 2022-07-15 西安电子科技大学 一种目标跟踪方法
CN111126117A (zh) * 2018-11-01 2020-05-08 阿里巴巴集团控股有限公司 信息处理方法和装置
CN111126117B (zh) * 2018-11-01 2023-05-02 阿里巴巴集团控股有限公司 信息处理方法和装置
CN112449093A (zh) * 2020-11-05 2021-03-05 北京德火科技有限责任公司 一种三维全景视频融合监控平台

Also Published As

Publication number Publication date
CN107103299B (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN107103299A (zh) 一种监控视频中的人数统计方法
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN106778645B (zh) 一种图像处理方法及装置
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN104123544B (zh) 基于视频分析的异常行为检测方法及系统
CN109154976A (zh) 通过机器学习训练对象分类器的系统和方法
CN104166861A (zh) 一种行人检测方法
CN108416250A (zh) 人数统计方法及装置
CN103986910A (zh) 一种基于智能分析摄像机的客流统计方法和系统
CN106878670B (zh) 一种视频处理方法及装置
CN110309718A (zh) 一种电网作业人员安全帽佩戴检测方法
WO2017129020A1 (zh) 视频中人体行为识别的方法、装置和计算机存储介质
CN111582068A (zh) 人员口罩佩戴状态检测方法
CN106203260A (zh) 基于多摄像机监控网络的行人识别与跟踪方法
CN106791655A (zh) 一种视频处理方法及装置
CN105160297A (zh) 基于肤色特征的蒙面人事件自动检测方法
TW201308254A (zh) 適用複雜場景的移動偵測方法
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
Zhao et al. Image-based crowd stability analysis using improved multi-column convolutional neural network
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
CN104717574B (zh) 一种视频摘要中事件与背景的融合方法
CN102867214B (zh) 区域范围内人数统计管理方法
CN112613359B (zh) 用于人员异常行为检测的神经网络的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200306

Termination date: 20210421

CF01 Termination of patent right due to non-payment of annual fee