CN105678268B - 一种基于双区域学习的地铁站场景行人计数实现方法 - Google Patents

一种基于双区域学习的地铁站场景行人计数实现方法 Download PDF

Info

Publication number
CN105678268B
CN105678268B CN201610015229.1A CN201610015229A CN105678268B CN 105678268 B CN105678268 B CN 105678268B CN 201610015229 A CN201610015229 A CN 201610015229A CN 105678268 B CN105678268 B CN 105678268B
Authority
CN
China
Prior art keywords
pedestrian
region
far
features
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610015229.1A
Other languages
English (en)
Other versions
CN105678268A (zh
Inventor
何高奇
袁玉波
陈琪
江东旭
阮丹薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201610015229.1A priority Critical patent/CN105678268B/zh
Publication of CN105678268A publication Critical patent/CN105678268A/zh
Application granted granted Critical
Publication of CN105678268B publication Critical patent/CN105678268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双区域学习的地铁站场景行人计数方法。所述方法的创新之处在于：(1)基于高斯混合模型的地铁视频前景提取方法，针对视频的每一帧，提取得到视频行人群体的有效计算区域；(2)地铁监控视频的双区域划分方法，将视频的每一帧划分为远视角和近视角；(3)基于超强学习机(ELM)的远视角行人估计方法，通过对远视角区域提取全局场景特征，使用ELM和高斯过程回归模型建立行人数量估计模型；(4)基于聚集信道特征(ACF)的近视角区域行人数量估计方法。本发明的输入是地铁站中单个监控摄像头采集的视频数据，输出是对视频数据流中每一帧计算得到的行人数量。本方法的优点在于计数结果的准确性和实时性。

Description

一种基于双区域学习的地铁站场景行人计数实现方法
技术领域
本发明涉及数字图像处理计数，模式识别以及视觉计算，具体涉及一种基于双区域学习的地铁站场景行人计数方法。
背景技术
人口持续增长以及城市化进程加剧使得、如行人对冲，行人踩踏等突发性公共行人安全事件发生频率呈现上升趋势。针对于此类问题，传统的解决方案是在公共场所加装大量监控设备，同时增派人力进行不间断的关注。但此类做法通常会有以下几点不足：
1)随着监控设备的不断增加，需要处理的信息也会随之增加，从而极大地提高了人力成本。
2)数据量过于庞大，依靠传统的人力无法做到及时的分析，从而无法对现场出现的情况做出及时的反应。
为了解决依靠人力方案所带来的不足，通过监控视频对于公共场所密集行人行为的研究已经越来越多受到来自社会学方面以及视觉计算方面研究者的关注。相关的研究用于以下几个方面：
1)人流引导和控制：对于公共场所密集行人行为的研究可以被用于制定人流引导和控制措施，以此来避免由于人流增长引发的公共安全事故。这点主要是针对容易产生大规模行人聚集现象的场所如体育馆，大型的地铁站等。
2)公共空间设计：对于公共场所密集行人行为的研究可以为公共空间的设计提供一定的标准。例如在设计购物中心时，行人行为的研究会为如何有效的进行空间布局提供有效的帮助
3)虚拟环境仿真：对于公共场所密集人群行为的研究可以作为虚拟环境仿真如人流模拟的参考数据，以此来增加仿真环境的真实感。
4)智能监控设备：密集人群行为的研究可以用于设计自动监控检测设备来检测密集人群发生的异常状况并且自动报警。
在公共场所密集人群行为研究中，行人数量的计算是研究的重点。行人数量是判断行人集聚状况的一个指标，根据同一场景行人数量的不同，可以将其设为多个级别，不同的级别密度下的行人应够受到不同程度的关注，在许多行人公共安全事故中如踩踏事故往往是由行人数量过多造成的。
目前行人计数方法主要分为两类。第一类是基于行人个体特征的方法如行人检测。第二类则基于全局场景特征的方法，通过场景特征来估计行人数量。但在地铁站场景中，相关的监控摄像画面存在严重的行人遮挡和透视变换，导致上述两类方法无法有效获取地铁站场景中的行人数量。因此，如何有效的解决行人遮挡和透视变换对行人计数准确性造成的影响成为一个值得关注的问题。
发明内容
本发明所要解决的技术问题是提供一种基于双区域学习的地铁站场景行人计数实现方法，通过本发明可以把地铁站监控视频作为数据输入，能够较为准确的获取每帧视频画面中的行人数量。
本发明的技术方案如下：
步骤1，针对视频的每一帧，提取得到视频行人群体的有效计算区域并使用区域分割策略分割图像。
图像会分成两个区域，区域一为近视角区域，在此区域中行人的个体特征较为明显，在画面中占据的像素区域较大，相互遮挡情况不严重。区域二为远视角区域，在此区域中透视变换的影响较小。
步骤2，由于在近视角区域中的行人个体特征较为明显，因此在此区域使用基于聚集信道特征(ACF)的行人检测方法，以行人头部以及肩部作为行人特征检测此区域中的行人。
步骤3，根据步骤2的检测结果，计算近视角区域中的行人数量。
步骤4，在远视角区域中，行人特征较为模糊。所以在此区域中使用数量估计的方法，对于图片中的远视角区域提取全局场景特征，该场景特征包括三类：前景特征，角点特征和纹理特征。
步骤5，基于步骤4提取的三类全局场景特征，构建远视角区域的特征向量V＝(前景特征，角点特征，纹理特征)。通过ELM和高斯过程回归方法训练行人数量估计模型；以V作为输入，来估计远视角区域的行人数量。
步骤6，将步骤3和步骤5获取的行人数量相加最终获得整个场景中的行人数量。
本发明的系统和实现方法具有如下有益效果：通过使用计算机分析的方法将有效提高对于监控视频分析的效率，而区域划分策略的使用也将有效减小由地铁站监控视频中行人遮挡以及透视变换对计数方法准确性造成的影响。
附图说明
读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，
图1是本发明的工作流程图；
图2是本发明对于同一个地铁站监控视频不同人流状况下的行人数量计算结果；
图3是本发明与其他方法对于同一个场景进行行人数量计算的准确性对比
具体实施方式
步骤1，输入监控视频画面集。
步骤2，将监控视频画面分为训练图像集VT和测试图像集VS，分别计算训练图集图片数量t和测试图像集图片数量s。
步骤3，使用ACF行人检测方法检测每张训练图集中图片内的行人，并计算有效区域高度hi。
步骤4，记录每张训练图集中图片内行人在不同高度线上出现的次数ki并且在公式(1)中计算出现的概率。
Figure BDA0000904248460000031
步骤5，基于步骤3和步骤4的结果通过公式(2)确定此场景的区域划分线高度。
Figure BDA0000904248460000032
步骤6，将所有图片通过区域划分线划分为两个区域：近视角区域
Figure BDA0000904248460000034
和远视角区域
Figure BDA0000904248460000035
步骤7，在近视角区域
Figure BDA0000904248460000038
中提取行人个体特征
Figure BDA0000904248460000033
步骤8，在远视角区域中提取全局图片特征
Figure BDA0000904248460000036
其中角点特征使用Harris角点检测方法，前景区域特征使用multiple cues方法进行提取，纹理特征使用灰度共生矩阵进行数值化描述。
步骤9，使用ACF行人检测方法，基于步骤7中提取的行人个体特征，检测近视角区域
Figure BDA0000904248460000037
中的行人，并计算获得此区域行人数量c＝A(x1)
步骤10，使用训练图集中提取的全景图片特征训练基于ELM和高斯过程回归模型的远视角行人数量估计方程(3)。
εg(xi 2)＝int(K(xi 2,XG)(K(XG,XG)+a3 2I)-1(ng-nS)) (3)
步骤11，将测试图像集的近视角区域行人个体特征x1和远视角区域全局图片特征x2通过公式(4)来计算测试图像中行人的数量。
Figure BDA0000904248460000041
以上所述仅为本发明的具体实施实例而已，并非来限制本发明实施范围，凡依本发明申请专利所述构造、特征及原理所做的等效变化或修饰，均应包括于本发明申请专利范围内。

Claims (1)

1.一种基于双区域学习的地铁站场景行人计数方法，其特征在于对地铁站监控视频进行行人计数时进行以下步骤：
步骤1，输入监控视频画面集；
步骤2，将监控视频画面分为训练图像集VT和测试图像集VS，分别计算训练图集图片数量t和测试图像集图片数量s；
步骤3，使用ACF行人检测方法检测每张训练图集中图片内的行人，并计算有效区域高度hi；
步骤4，记录每张训练图集中图片内行人在不同高度线上出现的次数ki并且在公式(1)中计算出现的概率；
Figure FDA0002427898620000011
步骤5，基于步骤3和步骤4的结果通过公式(2)确定此场景的区域划分线高度；
Figure FDA0002427898620000012
步骤6，将所有图片通过区域划分线划分为两个区域：近视角区域
Figure FDA0002427898620000013
和远视角区域
Figure FDA0002427898620000014
步骤7，在近视角区域
Figure FDA0002427898620000018
中提取行人个体特征
Figure FDA0002427898620000015
步骤8，在远视角区域中提取全局图片特征
Figure FDA0002427898620000016
其中角点特征使用Harris角点检测方法，前景区域特征使用multiple cues方法进行提取，纹理特征使用灰度共生矩阵进行数值化描述；
步骤9，使用ACF行人检测方法，基于步骤7中提取的行人个体特征，检测近视角区域
Figure FDA0002427898620000017
中的行人，并计算获得此区域行人数量c＝A(x1)；
步骤10，使用训练图集中提取的全景图片特征训练基于ELM和高斯过程回归模型的远视角行人数量估计方程(3)；
εg(xi 2)＝int(K(xi 2,XG)(K(XG,XG)+a3 2I)-1(ng-nS)) (3)
步骤11，将测试图像集的近视角区域行人个体特征x1和远视角区域全局图片特征x2通过公式(4)来计算测试图像中行人的数量；
Figure FDA0002427898620000021
CN201610015229.1A 2016-01-11 2016-01-11 一种基于双区域学习的地铁站场景行人计数实现方法 Active CN105678268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610015229.1A CN105678268B (zh) 2016-01-11 2016-01-11 一种基于双区域学习的地铁站场景行人计数实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610015229.1A CN105678268B (zh) 2016-01-11 2016-01-11 一种基于双区域学习的地铁站场景行人计数实现方法

Publications (2)

Publication Number Publication Date
CN105678268A CN105678268A (zh) 2016-06-15
CN105678268B true CN105678268B (zh) 2020-06-30

Family

ID=56299836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610015229.1A Active CN105678268B (zh) 2016-01-11 2016-01-11 一种基于双区域学习的地铁站场景行人计数实现方法

Country Status (1)

Country Link
CN (1) CN105678268B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874855A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 头肩区域定位方法及装置
CN108460325B (zh) * 2018-01-10 2021-07-20 西安理工大学 一种基于elm的双路融合的人群人数统计方法
CN109190456B (zh) * 2018-07-19 2020-11-20 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机系统工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法
CN104166861A (zh) * 2014-08-11 2014-11-26 叶茂 一种行人检测方法
CN105046316A (zh) * 2015-05-12 2015-11-11 中山大学 一种基于高斯过程回归的激光双向行人计数方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083841B2 (ja) * 2007-04-27 2012-11-28 本田技研工業株式会社 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机系统工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法
CN104166861A (zh) * 2014-08-11 2014-11-26 叶茂 一种行人检测方法
CN105046316A (zh) * 2015-05-12 2015-11-11 中山大学 一种基于高斯过程回归的激光双向行人计数方法

Also Published As

Publication number Publication date
CN105678268A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN108898085B (zh) 一种基于手机视频的道路病害智能检测方法
CN103164706B (zh) 基于视频信号分析的对象计数方法与装置
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN104680557A (zh) 视频序列图像中的异常行为智能检测方法
CN102156880A (zh) 基于改进的社会力模型的异常集群行为检测方法
CN111860160A (zh) 一种室内检测口罩佩戴的方法
KR20220024986A (ko) 타깃 추적 방법 및 장치, 저장 매체 및 컴퓨터 프로그램
CN110852179B (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN112153334B (zh) 用于安全管理的智能视频盒子设备及相应的智能视频分析方法
CN105678268B (zh) 一种基于双区域学习的地铁站场景行人计数实现方法
CN112766123B (zh) 一种基于纵横交叉注意力网络的人群计数方法及系统
CN105809716A (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN103679215A (zh) 基于视觉大数据驱动的群体性行为分析的视频监控方法
CN107483894A (zh) 基于场景判断实现客运管理的高铁车站视频监控系统
CN111738336A (zh) 基于多尺度特征融合的图像检测方法
CN112818935B (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112102296A (zh) 一种基于人类概念学的电力设备目标识别方法
CN108471497A (zh) 一种基于云台摄像机的船目标实时检测方法
CN110427855A (zh) 一种利用累积光流对人群异常行为识别定位的算法
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN114463390A (zh) 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
CN116311084A (zh) 一种人群聚集的检测方法及视频监控设备
CN112464546B (zh) 基于动态数据分析的公共空间行人流运动风险判别方法
CN106874885B (zh) 一种基于能级分布变化的人群异常检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant