CN103646257B - 一种基于视频监控图像的行人检测和计数方法 - Google Patents
一种基于视频监控图像的行人检测和计数方法 Download PDFInfo
- Publication number
- CN103646257B CN103646257B CN201310745952.1A CN201310745952A CN103646257B CN 103646257 B CN103646257 B CN 103646257B CN 201310745952 A CN201310745952 A CN 201310745952A CN 103646257 B CN103646257 B CN 103646257B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- detection
- target
- state
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000470 constituent Substances 0.000 claims 1
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种行人检测和计数方法，该方法包括以下步骤：采集视频序列；获取视频序列中的每一帧图像；对于获得的每一帧视频图像进行预处理；对于经过预处理的视频图像设置检测区域；对于单帧视频图像中的检测区域进行行人个体检测，得到检测区域中所有可能存在的行人目标；基于多种检测状态的切换，对于行人目标进行准确的检测、跟踪和计数统计；输出行人检测结果，在每一帧图像中用明显的标示标记出每一个检测到的行人目标，并对每个行人目标设置唯一的编号。本发明可以提高行人检测的精度并能进行准确的计数，而且可以同时应用于静止或动态变化的背景中。
Description
技术领域
本发明属于智能监控和智能交通领域，具体涉及视频图像处理、机器学习、目标检测及跟踪技术，尤其涉及一种行人检测和计数方法。
背景技术
如何在视频监控图像中准确有效地对行人进行检测和计数是一项很有意义的研究工作，在人机交互、机器人学、数字媒体内容分析、辅助驾驶、视频监控等很多领域都有着广泛的研究价值和应用前景。随着智能监控技术的发展，在视频监控领域的应用尤为重要和迫切。
由于视频监控图像中的行人和人群的行为是一种非常复杂的随机行为，虽然在某些特定场合有一定的运动规律，但到目前为止还没有很好的可以对行人和人群进行智能化监控的方法。另外由于行人之间存在的遮挡和重叠现象、行人与周围环境的纹理融合问题都给图像处理和实际检测带来了相当大的难度。
发明内容
为了解决上述存在的问题，本发明的主要目的在于提供一种基于多分类器检测和状态切换确认的行人检测和计数方法，该方法包含行人个体检测和整体确认计数两大部分。
本发明提出的一种行人检测和计数方法包括以下步骤：
步骤1，采集视频序列；
步骤2，获取视频序列中的每一帧图像；
步骤3，对于获得的每一帧视频图像进行预处理；
步骤4，对于经过预处理的视频图像设置检测区域；
步骤5，对于单帧视频图像中的检测区域进行行人个体检测，得到检测区域中所有可能存在的行人目标；
步骤6，基于多种检测状态的切换，对于行人目标进行准确的检测、跟踪和计数统计；
步骤7，输出行人检测结果，在每一帧图像中用明显的标示标记出每一个检测到的行人目标，并对每个行人目标设置唯一的编号。
本发明的优点和积极效果在于：
（1）采用图像归一化预处理和检测区域设置，可以有效增加算法的适用范围和检测速度及准确性。
（2）采用机器学习算法得到的多个分类器，可以有效提高算法检测的准确度。
（3）多种状态切换的确认方法，既可以确认正确目标，去除错误目标，还可以对每个目标进行跟踪计数，并能得到每个目标运动的方向、速度等特征。
附图说明
图1为本发明行人检测和计数方法的流程图；
图2为本发明中行人目标检测的流程图；
图3为本发明中行人目标准确检测的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1为本发明行人检测和计数方法的流程图，如图1所示，所述行人检测和计数方法包括以下步骤：
步骤1，采集视频序列；
视频序列的来源就是视频监控设备中的监控摄像机，由于摄像机硬件技术的发展，目前该步骤基本上没有什么问题，只要摄像机采集的图像达到基本标清的程度即可。
步骤2，获取视频序列中的每一帧图像；
对于基于视频的图像处理而言，早期的目标检测跟踪算法多以跟踪为主，需要大量用到图像中的运动信息，只在一定数量的帧数上进行单帧检测用于消除累积误差和重置某些参数，这可以称之为基于跟踪的检测。但由于跟踪算法本身的不稳定性以及检测算法的介入时机不好确定，尤其是运动摄像机带来的大量运动信息的不确定性因素，该类方法在应用中遇到了很多问题。因此本发明采用另一类基于检测的跟踪方法，即对视频图像中的每一帧（或间隔很少的帧）都进行检测，而将连续视频图像中的运动信息和其它关联信息作为辅助信息参与到检测中，这类方法的最大优点就是基本不受摄像机运动和背景剧烈变化造成的运动信息不稳定的影响。
步骤3，对于获得的每一帧视频图像进行预处理；
该步骤包括但不限于结合事先得到的当前摄像机的参数，并通过去噪、归一化等处理手段消除不同场景中光照、环境色调、噪声等的影响。
具体来说，所述步骤3进一步包括以下步骤：
步骤31，事先存储所有摄像机的参数；
步骤32，采集当前场景的光照、色调、噪声等环境参数；
步骤33，基于所述摄像机的参数和当前场景的环境参数，对于所述视频图像进行去噪和归一化处理。
步骤4，对于经过预处理的视频图像设置检测区域，所述检测区域可以是任意形状的多边形；
在通常无限定的检测中，需要对整个图像进行扫描检测，但实际场景中需要检测的往往只是图像中的一部分区域，检测区域设置好后，后续的检测及处理将只在该区域内进行，因此通过事先设定检测区域可以减少检测的范围，从而提高算法的运行速度和准确性；另外对于不同的场景，摄像机的视野和监控范围都会有所不同，通过设定大小位置相对固定的检测区域可以有效消除不同摄像机之间的差异，最后通过设定检测区域和各种辅助参数（如出入口设定、目标基本标定等）还可以在很大程度上提高算法检测的精度。
具体来说，所述步骤4进一步包括以下步骤：
步骤41，对于所述视频图像，使用鼠标连续点击构成检测区域的多边形的各个顶点位置；
步骤42，自动连接这些点形成任意形状的多边形检测区域。
步骤5，对于单帧视频图像中的检测区域进行行人个体检测，得到检测区域中所有可能存在的行人目标；
该步骤采用事先通过机器学习方法得到的多个行人检测分类器进行行人个体检测，由于本发明采用的基于检测的跟踪方法是以检测为主，因此该步骤中使用的行人检测分类器应该具有尽可能高的检测精度和尽可能快的检测速度，这可以通过很多训练方法进行改进，比如采用多种分类器协同检测就可以有效提高检测的准确性。由于各处理部分的独立性，该步骤中得到的分类器还可以根据实际场景的应用效果进行不断的更新。
图2为本发明中行人个体检测的流程图，如图2所示，所述步骤5进一步包括以下步骤：
步骤51，对输入的单帧图像通过实时背景建模进行连通成分分析，并进行前景建模（前景检测子模块）；
步骤52，通过离线采集的样本使用机器学习算法训练得到行人全身分类器和行人身体部位分类器，该步骤采用多种分类器是为了得到更准确的检测结果；
步骤53，使用得到的分类器对于所述视频图像中的检测区域进行检测，得到所有可能存在的行人目标（行人检测子模块）；
步骤54，结合前景检测的结果对人群密度进行估计（人群密度检测模块）；
步骤55，基于估计得到的人群密度和所有可能存在的行人目标通过场景状态评估模块得到最终行人检测结果（场景状态评估模块）并显示及存储。该步骤中，如果估计得到的人群密度（如80%）与所有可能存在的行人目标占总人数的比例（如40人左右，满员为50人）基本相符，则可以确定最终行人检测结果并显示及存储，如果这两个结果相差过大，则需要通过后面几帧的检测结果确认后再进行显示及存储。
步骤6，基于多种检测状态的切换，对于行人目标进行准确的检测、跟踪和计数统计；
该步骤主要是根据所述步骤5单帧检测的结果，结合连续视频帧之间的相关信息记录空间和时间的各个不同的关键状态，通过不同关键状态的相互切换最大化地利用所能获得的所有环境信息来达到对目标的准确检测、跟踪和计数统计的目的。具体说来就是对于所述步骤5每一帧图像中检测到的所有可能的目标全部进行标定，然后对每一个目标对象进行多帧跟踪处理，并与所述步骤5中后续帧检测到的结果进行交叉组合比较，每一个目标都要经过检测态、存储态、前景提取态、统计态、删除态、显示态等不同的状态确认，从而去除错误的检测目标，保留正确的检测目标并对其进行跟踪计数。
图3为本发明中状态切换的流程图，如图3所示，所述步骤6进一步包括以下步骤：
步骤61，对于所述步骤5检测到的当前帧中的每一个行人目标进行标定；
步骤62，跟踪处理每一个行人目标并与所述步骤5中后续帧检测到的结果进行交叉组合比较；
步骤63，经过检测态（分类器）或前景提取态检测到的目标进入存储态，然后在统计态进行方向计算和数量标注，同时对不满足条件的目标通过删除态删除，满足条件的目标将进入显示态进行显示；
步骤64，去除前景提取态和存储态中不满足条件的错误的行人检测目标，保留正确的行人检测目标并对每个行人目标进行跟踪计数。
步骤7，输出行人检测结果，在每一帧图像中用明显的标示标记出每一个检测到的行人目标，并对每个行人目标设置唯一的编号，根据需要还可以标示出行人目标的不同运动方向，另外将所有行人目标的信息全部存入数据库以用于后续可能的查询、统计、检索等。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种行人检测和计数方法，其特征在于，该方法包括以下步骤：
步骤1，采集视频序列；
步骤2，获取视频序列中的每一帧图像；
步骤3，对于获得的每一帧视频图像进行预处理；
步骤4，对于经过预处理的视频图像设置检测区域；
步骤5，对于单帧视频图像中的检测区域进行行人个体检测，得到检测区域中所有可能存在的行人目标；
步骤6，基于多种检测状态的切换，对于行人目标进行准确的检测、跟踪和计数统计；
步骤7，输出行人检测结果，在每一帧图像中用明显的标示标记出每一个检测到的行人目标，并对每个行人目标设置唯一的编号；所述步骤7还包括标示出行人目标的不同运动方向的步骤；
其中，所述多种检测状态包括检测态、存储态、前景提取态、统计态、删除态和显示态；
所述步骤5进一步包括以下步骤：步骤51，对输入的单帧图像通过实时背景建模进行连通成分分析，并对其进行前景建模；
步骤52，通过离线采集的样本使用机器学习算法训练得到行人全身分类器和行人身体部位分类器；
步骤53，使用得到的分类器对于所述视频图像中的检测区域进行检测，得到所有可能存在的行人目标；
步骤54，结合前景检测的结果对人群密度进行估计；
步骤55，基于估计得到的人群密度和所有可能存在的行人目标得到最终行人检测结果并显示及存储；
所述步骤6进一步包括以下步骤：
步骤61，对于所述步骤5检测到的当前帧中的每一个行人目标进行标定；
步骤62，跟踪处理每一个行人目标并与所述步骤5中后续帧检测到的结果进行交叉组合比较；
步骤63，经过检测态或前景提取态检测到的目标进入存储态，然后在统计态进行方向计算和数量标注，同时对不满足条件的目标通过删除态删除，满足条件的目标将进入显示态进行显示；
步骤64，去除前景提取态和存储态中不满足条件的错误的行人检测目标，保留正确的行人检测目标并对每个行人目标进行跟踪计数。
2.根据权利要求1所述的方法，其特征在于，所述预处理包括去噪和/或归一化。
3.根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤：
步骤31，事先存储所有摄像机的参数；
步骤32，采集当前场景的环境参数；
步骤33，基于所述摄像机的参数和当前场景的环境参数，对于所述视频图像进行去噪和归一化处理。
4.根据权利要求1所述的方法，其特征在于，所述检测区域为任意形状的多边形。
5.根据权利要求4所述的方法，其特征在于，所述步骤4进一步包括以下步骤：
步骤41，对于所述视频图像，使用鼠标连续点击构成检测区域的多边形的各个顶点位置；
步骤42，自动连接这些点形成任意形状的多边形检测区域。
6.根据权利要求1所述的方法，其特征在于，所述步骤7还包括将所有行人目标的信息全部存入数据库的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310745952.1A CN103646257B (zh) | 2013-12-30 | 2013-12-30 | 一种基于视频监控图像的行人检测和计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310745952.1A CN103646257B (zh) | 2013-12-30 | 2013-12-30 | 一种基于视频监控图像的行人检测和计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103646257A CN103646257A (zh) | 2014-03-19 |
| CN103646257B true CN103646257B (zh) | 2017-06-16 |
Family
ID=50251468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310745952.1A Expired - Fee Related CN103646257B (zh) | 2013-12-30 | 2013-12-30 | 一种基于视频监控图像的行人检测和计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103646257B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361327B (zh) * | 2014-11-20 | 2018-09-18 | 苏州科达科技股份有限公司 | 一种行人检测方法和系统 |
| CN106295460B (zh) * | 2015-05-12 | 2019-05-03 | 株式会社理光 | 人的检测方法及设备 |
| CN105825198A (zh) * | 2016-03-29 | 2016-08-03 | 深圳市佳信捷技术股份有限公司 | 行人检测方法及装置 |
| CN107491715A (zh) * | 2016-06-13 | 2017-12-19 | 北京文安智能技术股份有限公司 | 一种基于视频分析的地铁车厢客流统计方法、装置及系统 |
| CN106504542A (zh) * | 2016-09-30 | 2017-03-15 | 北京中星微电子有限公司 | 车速智能监控方法和系统 |
| CN106815563B (zh) * | 2016-12-27 | 2020-06-02 | 浙江大学 | 一种基于人体表观结构的人群数量预测方法 |
| CN108289191B (zh) | 2017-02-15 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 图像识别方法及装置 |
| CN109271942A (zh) * | 2018-09-26 | 2019-01-25 | 上海七牛信息技术有限公司 | 一种人流统计方法以及系统 |
| CN111626081B (zh) * | 2019-02-27 | 2024-03-26 | 顺丰科技有限公司 | 一种装卸口的状态确定方法、装置及存储介质 |
| CN110503028B (zh) * | 2019-08-21 | 2023-12-15 | 腾讯科技（深圳）有限公司 | 确定区域中对象的分布的传感器、系统、方法和介质 |
| CN113781526A (zh) * | 2021-09-23 | 2021-12-10 | 内蒙古大学 | 一种家畜计数识别系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577054A (zh) * | 2009-02-27 | 2009-11-11 | 北京中星微电子有限公司 | 一种交通信号灯的控制方法及系统 |
| CN102043953A (zh) * | 2011-01-27 | 2011-05-04 | 北京邮电大学 | 一种实时鲁棒的针对特定场景的行人检测方法 |
| CN102201059A (zh) * | 2011-05-20 | 2011-09-28 | 北京大学深圳研究生院 | 一种行人检测方法及装置 |
| CN102289817A (zh) * | 2011-07-19 | 2011-12-21 | 中国科学院自动化研究所 | 基于群组上下文的行人计数方法 |
| CN102663409A (zh) * | 2012-02-28 | 2012-09-12 | 西安电子科技大学 | 一种基于hog-lbp描述的行人跟踪方法 |
| CN103077403A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 行人计数方法及装置 |
| CN103425967A (zh) * | 2013-07-21 | 2013-12-04 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008008505A2 (en) * | 2006-07-14 | 2008-01-17 | Objectvideo, Inc. | Video analytics for retail business process monitoring |
-
2013
- 2013-12-30 CN CN201310745952.1A patent/CN103646257B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577054A (zh) * | 2009-02-27 | 2009-11-11 | 北京中星微电子有限公司 | 一种交通信号灯的控制方法及系统 |
| CN102043953A (zh) * | 2011-01-27 | 2011-05-04 | 北京邮电大学 | 一种实时鲁棒的针对特定场景的行人检测方法 |
| CN102201059A (zh) * | 2011-05-20 | 2011-09-28 | 北京大学深圳研究生院 | 一种行人检测方法及装置 |
| CN102289817A (zh) * | 2011-07-19 | 2011-12-21 | 中国科学院自动化研究所 | 基于群组上下文的行人计数方法 |
| CN102663409A (zh) * | 2012-02-28 | 2012-09-12 | 西安电子科技大学 | 一种基于hog-lbp描述的行人跟踪方法 |
| CN103077403A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 行人计数方法及装置 |
| CN103425967A (zh) * | 2013-07-21 | 2013-12-04 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于部位检测和子结构组合的行人检测方法";胡斌等;《计算机科学》;20091130;第36卷(第11期);第242-246页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103646257A (zh) | 2014-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103646257B (zh) | 一种基于视频监控图像的行人检测和计数方法 | |
| Van Etten et al. | The multi-temporal urban development spacenet dataset | |
| US11288820B2 (en) | System and method for transforming video data into directional object count | |
| Mallikarjuna et al. | Traffic data collection under mixed traffic conditions using video image processing | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN110232379A (zh) | 一种车辆姿态检测方法及系统 | |
| CN106096577A (zh) | 一种摄像头分布地图中的目标追踪系统及追踪方法 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN101344965A (zh) | 基于双目摄像的跟踪系统 | |
| CN108596157B (zh) | 一种基于运动检测的人群惊扰场景检测方法及系统 | |
| CN109446917A (zh) | 一种基于级联霍夫变换的消失点检测方法 | |
| CN110853353B (zh) | 基于视觉的密度交通车辆计数和交通流量计算方法及系统 | |
| CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN106504274A (zh) | 一种基于红外摄像头下的视觉跟踪方法及系统 | |
| CN107403451B (zh) | 自适应二值特征单目视觉里程计方法及计算机、机器人 | |
| CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
| CN111160203A (zh) | 一种基于头肩模型和iou跟踪的徘徊逗留行为分析方法 | |
| Lian et al. | A novel method on moving-objects detection based on background subtraction and three frames differencing | |
| Meshram et al. | Traffic surveillance by counting and classification of vehicles from video using image processing | |
| Brebion et al. | Real-time optical flow for vehicular perception with low-and high-resolution event cameras | |
| CN113689393A (zh) | 一种基于图像和点云实例匹配的三维目标检测算法 | |
| CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
| CN105957060B (zh) | 一种基于光流分析的tvs事件分簇方法 | |
| CN108399630B (zh) | 一种复杂场景下感兴趣区域内目标快速测距方法 | |
| Cavagna et al. | Sparta tracking across occlusions via partitioning of 3d clouds of points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170616 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |