CN104504377B - 一种公交车乘客拥挤程度识别系统及方法 - Google Patents
一种公交车乘客拥挤程度识别系统及方法 Download PDFInfo
- Publication number
- CN104504377B CN104504377B CN201410817901.XA CN201410817901A CN104504377B CN 104504377 B CN104504377 B CN 104504377B CN 201410817901 A CN201410817901 A CN 201410817901A CN 104504377 B CN104504377 B CN 104504377B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- training
- crowding
- described image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种公交车乘客拥挤程度识别系统及方法。该系统包括用于采集公交车离站一分钟后的监控图像的图像采集模块、将采集的监控图像进行分割裁剪和按比例缩放的图像预处理模块、对经所述图像预处理模块处理的图像提取GLCM纹理特征的图像特征提取模块、根据所述图像特征提取模块提取的纹理特征训练得到XML文档的图像特征训练模块以及读取XML文档并进行拥挤程度训练和预测,以完成监控图像中乘客拥挤程度的预测的图像特征预测模块以。本发明充分复用现有车载监控设备的监控图像进行识别,综合了公交车中多个摄像头监控画面的检测结果,能做到三档拥挤程度的准确识别,具有很高的经济性,可靠性和高效性。
Description
技术领域
本发明涉及一种公交车乘客拥挤程度识别系统及方法。
背景技术
随着人们社会活动的不断增加,由于人群密度过大而造成人员伤亡的事件屡见不鲜。在日常生活中,对于人们经常出入的地铁、车站和超市等地点的人群密度统计是非常必要的,因此人群密度分析有着广泛的应用前景和研究价值。传统的人群密度分析通过监控场景的闭路电视进行人工监控,费时费力而且缺乏客观性。随着计算机和图像处理技术的发展和广泛应用,智能化的人群密度监控系统应运而生。
人群密度估计主要有两种方法:基于像素统计的密度估计方法较为简单,但是当人群密度较高、人群遮挡严重时误差较大;使用纹理分析的方法可以充分利用图像的纹理信息,但是算法复杂度较高。现有的人群密度分析方法只是笼统对整张图像进行人群密度计算而忽略了局部的区域,而且高密度人群存在着明显的人与人间的重叠现象,故在特征提取的描述符选取上具有各种局限性和片面性,造成了人群密度分析上较高的误判率。
发明内容
本发明针对现有方法中高密度人群密度分析的缺陷,提供了一种公交车乘客拥挤程度识别系统及方法。
为实现上述目的,本发明的技术方案是:一种公交车乘客拥挤程度识别系统,包括图像采集模块、图像预处理模块、图像特征提取模块、图像特征训练模块和图像特征预测模块;
所述图像采集模块用于采集公交车离站一分钟正常行驶后的多路车载视频实时监控图像;
所述图像预处理模块将所述图像采集模块采集的监控图像进行分割裁剪、按比例缩放、LBP灰度化处理和梯度图处理;
所述图像特征提取模块对经所述图像预处理模块处理的图像提取GLCM纹理特征;
所述图像特征训练模块根据所述图像特征提取模块提取的多幅监控图像对应的纹理特征,训练得到XML文档;
所述图像特征预测模块调用所述图像特征提取模块,提取待处理的实时监控图像的GLCM纹理特征,结合所述图像特征训练模块训练所得的XML文档,进行拥挤程度预测,以完成监控图像中乘客拥挤程度的预测。
在本发明实施例中,所述的图像预处理模块根据公交车的特定场景分别对监控图像进行裁剪并以预定的比例缩放,即将公交车中各部分监控图像分别分割成若干块,然后对各块进行LBP灰度化处理和梯度图处理。
在本发明实施例中,所述的图像特征提取模块将各块分割成若干个cell,并分别提取各cell的GLCM纹理特征后,合并得到整块的GLCM纹理特征。
在本发明实施例中,所述的图像特征训练模块包括训练参数寻优子模块及图像特征训练子模块;所述的参数寻优子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优,得出最佳训练器参数并生成XML参数文件,形成XML文档,该寻优过程包括特征向量寻优和SVM参数寻优。
在本发明实施例中,所述的图像特征预测模块调用所述图像特征提取模块,提取待处理的实时监控图像的GLCM纹理特征,结合所述图像特征训练模块训练所得的XML文档,对实际待预测图像进行拥挤度的预测,最后综合多个块的预测结果加权求和计算出公交车乘客的整体拥挤程度。
本发明还提供了一种采用如上述所述的公交车乘客拥挤程度识别系统的识别方法,包括如下步骤,
步骤S01:通过图像采集模块采集监控图像视频帧,并将监控图像分割为若干块;
步骤S02:将步骤S01的各块分割成若干个重叠的cell,分别提取其LBP灰度特征向量和梯度特征向量后进行拼接得到cell的特征向量;
步骤S03:拼接所有cell的特征向量得到各块的特征向量;
步骤S04:根据各块的特征向量,利用SVM对监控图像中的人群密度进行特征分类统计。
相较于现有技术,本发明具有以下有益效果:
1、本发明能更加全面地描述图像中人群密度的纹理特征;
2、本发明采用基于灰度和梯度的LBP特征提取极大提高了人群密度分析的性能;
3、本发明采用滑动窗口技术的引入用来检测潜在的拥挤区域。
附图说明
图1为本发明系统架构示意图。
图2为本发明核心模块图像特征提取模块框架图。
图3为本发明中采用的参数寻优流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明一种公交车乘客拥挤程度识别系统,包括图像采集模块、图像预处理模块、图像特征提取模块、图像特征训练模块和图像特征预测模块;
所述图像采集模块用于采集公交车离站一分钟正常行驶后的多路车载视频实时监控图像;
所述图像预处理模块将所述图像采集模块采集的监控图像进行分割裁剪、按比例缩放、LBP灰度化处理和梯度图处理;即根据公交车的特定场景分别对监控图像进行裁剪并以预定的比例缩放,具体为将公交车中各部分监控图像分别分割成若干块,然后对各块进行LBP灰度化处理和梯度图处理;
所述图像特征提取模块对经所述图像预处理模块处理的图像提取GLCM纹理特征;即将各块分割成若干个cell,并分别提取各cell的GLCM纹理特征后,合并得到整块的GLCM纹理特征;
所述图像特征训练模块根据所述图像特征提取模块提取的多幅监控图像对应的纹理特征,训练得到XML文档;所述的图像特征训练模块包括训练参数寻优子模块及图像特征训练子模块;所述的参数寻优子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优,得出最佳训练器参数并生成XML参数文件,形成XML文档,该寻优过程包括特征向量寻优和SVM参数寻优;
所述图像特征预测模块调用所述图像特征提取模块,提取待处理的实时监控图像的GLCM纹理特征,结合所述图像特征训练模块训练所得的XML文档,进行拥挤程度预测,以完成监控图像中乘客拥挤程度的预测;即调用所述图像特征提取模块,提取待处理的实时监控图像的GLCM纹理特征,结合所述图像特征训练模块训练所得的XML文档,对实际待预测图像进行拥挤度的预测,最后综合多个块的预测结果加权求和计算出公交车乘客的整体拥挤程度。
基于上述的公交车乘客拥挤程度识别系统,还提供了一种公交车乘客拥挤程度识别方法,包括如下步骤,
步骤S01:通过图像采集模块采集监控图像视频帧,并将监控图像分割为若干块;
步骤S02:将步骤S01的各块分割成若干个重叠的cell,分别提取其LBP灰度特征向量和梯度特征向量后进行拼接得到cell的特征向量;
步骤S03:拼接所有cell的特征向量得到各块的特征向量;
步骤S04:根据各块的特征向量,利用SVM对监控图像中的人群密度进行特征分类统计。
以下为本发明的具体实施例。
如图1所示,本发明包括以下4个关键模块:
1.图像预处理模块:前端监控探头采集到的都是彩色的实时监控画面,而且因为设备不同,型号不同等原因,所以公交车离站后采集上来的监控画面可能尺寸不一样.该模块负责把原始的监控图片进行尺寸缩放为统一的尺寸以及将公交车中各部分监控图像分别分割成若干块(Block),然后提取其灰度图,最后由图像特征提取模块做进一步的特征提取.
2.图像特征提取模块:综合LBP灰度图、梯度图、共生矩阵等提取出能准确描绘Block图像拥挤程度的特征向量,一张Block图像用一个一维的特征向量表示;具体流程图参见图2所示,
方案实现:
本分析方法采用纹理作为特征来描述图片的人群拥挤程度,先将源图像转化为LBP灰度图或者梯度图后,在LBP灰度图或者梯度图上提取纹理特征。
一张block图像首先被分割为n个大小一致的cell图像,cell图像之间有重叠。对每个cell图像提取其LBP梯度特征向量以及LBP灰度特征向量后进行拼接得到该cell的特征向量。拼接所有cell的特征向量就得到block的LBP特征向量,该向量作为有力的描述符来描述block图像的拥挤程度。
3.图像特征训练模块(SVM训练):调用OpenCV中的相应接口函数对特征矩阵进行训练及预测,寻找出最佳训练器参数并生成xml参数文件;
方案实现:
(1)数据集格式构造:
本系统采用数据集目录结构。每个诸如“空旷”、“拥挤”等文件夹下只存放其所指的类型,方便调试和查看。在读取图片时我们并不直接去目录找图片,而是先在“Left”、“Right”、“Middle”文件夹的根目录下生成描述文件,描述文件描述了在“Left”目录下每张图片的全路径以及其所属类别。这个过程类似于先建立了图片的索引,当需要读取图片时直接到描述文件中读取即可。
(2)参数寻优:
SVM训练需要首先对训练过程中的各重要参数进行遍历寻优,最终找到一个最佳参数组合。概括地说,寻优可分为两阶段:a.特征向量寻优;b.SVM参数寻优。该参数寻优流程图如图3所示。
a.特征向量寻优(stage1):一个block内cell尺寸不同、重叠面积不同都会影响特征向量,从而影响最终的人群密度分类。一般来说,cell尺寸越小,cell间重叠的部分越大,则特征向量维度越高,也就是“向量越长”;反之亦然。因此,我们需要对cell的尺寸、cell重叠面积大小进行遍历训练并预测。
b.SVM参数寻优(stage2):进行svm训练需要提供两个参数,一是上述的特征矩阵,二是由CvSVMParamter封装成的结构体; 在本系统的应用场景下起主要影响作用的是其中的惩罚因子,这是一个正实数,特征矩阵不同意味着所需要的C参数不同,因此可以对其进行遍历。
4.图像特征预测模块:读取图像特征训练模块得到的XML参数文件,对同一时刻得到的公交车中间(Cam3)及其后下客门(Cam4)采集到的图像进行拥挤程度训练和预测,分别得到Cam3中3个块和Cam4中一个块的拥挤度(定义空旷时拥挤度指数为1,正常时拥挤度指数为2,拥挤时拥挤度指数为3),综合Cam3中3个块的拥挤度指数加权求和得到Cam3的拥挤度,同样的方法加权求和Cam3和Cam4的拥挤度指数计算出公交车乘客的整体拥挤程度。
本发明创新性地引入LBP灰度梯度共生矩阵来描述图像的纹理特征,经实验证明,该特征能很好地表征图片中的人群拥挤程度,相对于传统的分析方法,人群密度判断准确率有了很大程度的提高,该方法的提出对于智能交通调度及其智能安防领域提供了强有力的技术保证。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (3)
1.一种公交车乘客拥挤程度识别系统,其特征在于:包括图像采集模块、图像预处理模块、图像特征提取模块、图像特征训练模块和图像特征预测模块;
所述图像采集模块用于采集公交车离站一分钟正常行驶后的多路车载视频实时监控图像;
所述图像预处理模块将所述图像采集模块采集的监控图像进行分割裁剪、按比例缩放、LBP灰度化处理和梯度图处理;
所述图像特征提取模块对经所述图像预处理模块处理的图像提取GLCM纹理特征;
所述图像特征训练模块根据所述图像特征提取模块提取的多幅监控图像对应的纹理特征,训练得到XML文档;
所述图像特征预测模块调用所述图像特征提取模块,提取待处理的实时监控图像的GLCM纹理特征,结合所述图像特征训练模块训练所得的XML文档,进行拥挤程度预测,以完成监控图像中乘客拥挤程度的预测;
所述的图像预处理模块根据公交车的特定场景分别对监控图像进行裁剪并以预定的比例缩放,即将公交车中各部分监控图像分别分割成若干块,然后对各块进行LBP灰度化处理和梯度图处理;
所述的图像特征提取模块将各块分割成若干个cell,并分别提取各cell的GLCM纹理特征后,合并得到整块的GLCM纹理特征;
所述的图像特征训练模块包括图像特征训练子模块;所述图像特征训练子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优,得出最佳训练器参数并生成XML参数文件,形成XML文档,该图像特征训练子模块的寻优过程包括特征向量寻优,所述特征向量寻优与各块内cell尺寸和重叠面积有关;
所述的图像特征预测模块调用所述图像特征提取模块,提取待处理的实时监控图像的GLCM纹理特征,结合所述图像特征训练模块训练所得的XML文档,对实际待预测图像进行拥挤度的预测,最后综合多个块的预测结果加权求和计算出公交车乘客的整体拥挤程度。
2.根据权利要求1所述的一种公交车乘客拥挤程度识别系统,其特征在于:所述的图像特征训练模块还包括训练参数寻优子模块;所述训练参数寻优子模块根据已知的样本数据对训练过程中的重要参数进行遍历寻优,得出最佳训练器参数并生成XML参数文件,形成XML文档,该训练参数寻优子模块的寻优过程包括SVM参数寻优。
3.一种采用如权利要求1所述的公交车乘客拥挤程度识别系统的识别方法,其特征在于:包括如下步骤,
步骤S01:通过图像采集模块采集监控图像视频帧,并将监控图像分割为若干块;
步骤S02:将步骤S01的各块分割成若干个重叠的cell,分别提取其LBP灰度特征向量和梯度特征向量后进行拼接得到cell的特征向量;
步骤S03:拼接所有cell的特征向量得到各块的特征向量;
步骤S04:根据各块的特征向量,利用SVM对监控图像中的人群密度进行特征分类统计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410817901.XA CN104504377B (zh) | 2014-12-25 | 2014-12-25 | 一种公交车乘客拥挤程度识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410817901.XA CN104504377B (zh) | 2014-12-25 | 2014-12-25 | 一种公交车乘客拥挤程度识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104504377A CN104504377A (zh) | 2015-04-08 |
CN104504377B true CN104504377B (zh) | 2017-09-15 |
Family
ID=52945773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410817901.XA Active CN104504377B (zh) | 2014-12-25 | 2014-12-25 | 一种公交车乘客拥挤程度识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104504377B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105404856B (zh) * | 2015-11-02 | 2018-08-24 | 长安大学 | 一种公交车辆座位占用状态检测方法 |
JP6570731B2 (ja) * | 2016-03-18 | 2019-09-04 | シェンチェン ユニバーシティー | 乗客の混雑度の算出方法及びそのシステム |
CN106485923B (zh) * | 2016-12-20 | 2019-01-18 | 武汉理工大学 | 一种公交拥挤度实时状态采集方法与装置 |
CN107886042B (zh) * | 2017-03-23 | 2019-06-07 | 比亚迪股份有限公司 | 列车车厢的拥挤度判定方法和装置 |
CN107239576A (zh) * | 2017-06-30 | 2017-10-10 | 青岛海澄知识产权事务有限公司 | 一种公交车拥挤程度可视化方法 |
CN108171162B (zh) * | 2017-12-27 | 2021-05-11 | 重庆交通开投科技发展有限公司 | 人群拥挤度检测方法、装置及系统 |
US10699572B2 (en) | 2018-04-20 | 2020-06-30 | Carrier Corporation | Passenger counting for a transportation system |
CN110309819B (zh) * | 2019-07-30 | 2023-10-13 | 天津艾思科尔科技有限公司 | 一种人群拥挤估计系统 |
CN110826511B (zh) * | 2019-11-12 | 2020-11-27 | 云和县新马玩具有限公司 | 儿童房屋拥挤检测系统及方法 |
CN112116241B (zh) * | 2020-09-16 | 2021-06-25 | 山东炎黄工业设计有限公司 | 一种公共交通智能调度方法 |
CN112733809B (zh) * | 2021-02-22 | 2022-02-15 | 常灵逸 | 一种用于自然保护区监控系统的智能图像识别方法及系统 |
CN113255480A (zh) * | 2021-05-11 | 2021-08-13 | 中国联合网络通信集团有限公司 | 公交车内拥挤程度识别方法、系统、计算机设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739569A (zh) * | 2009-12-17 | 2010-06-16 | 北京中星微电子有限公司 | 一种人群密度估计方法、装置及监控系统 |
CN102043963A (zh) * | 2010-12-06 | 2011-05-04 | 河海大学 | 一种图像人数识别统计方法 |
-
2014
- 2014-12-25 CN CN201410817901.XA patent/CN104504377B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739569A (zh) * | 2009-12-17 | 2010-06-16 | 北京中星微电子有限公司 | 一种人群密度估计方法、装置及监控系统 |
CN102043963A (zh) * | 2010-12-06 | 2011-05-04 | 河海大学 | 一种图像人数识别统计方法 |
Non-Patent Citations (3)
Title |
---|
Anomaly Detection in Extremely Crowded Scenes Using Spatio-Temporal Motion Pattern Models;Louis Kratz等;《 IEEE Conference on Computer Vision and Pattern Recognition》;20090625;第1-8页 * |
复杂环境下人群异常状态检测方法研究;毛世彪;《万方数据》;20140918;论文第三章、第4.3节 * |
视频监控中人群状态分析及异常事件检测方法研究;闫志扬;《万方数据》;20140731;论文第三章 * |
Also Published As
Publication number | Publication date |
---|---|
CN104504377A (zh) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104504377B (zh) | 一种公交车乘客拥挤程度识别系统及方法 | |
CN108898085B (zh) | 一种基于手机视频的道路病害智能检测方法 | |
CN105574550B (zh) | 一种车辆识别方法及装置 | |
CN110147763A (zh) | 基于卷积神经网络的视频语义分割方法 | |
CN104268528B (zh) | 一种人群聚集区域检测方法和装置 | |
CN105070053B (zh) | 一种识别车辆违规运动模式的智能交通监控摄像机 | |
CN107085696A (zh) | 一种基于卡口图像的车辆定位及型号识别方法 | |
CN102915432B (zh) | 一种车载微机图像视频数据提取方法及装置 | |
CN110188807A (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
CN109697424A (zh) | 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法 | |
CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
CN107220633A (zh) | 一种智能移动执法系统及方法 | |
CN110363131A (zh) | 基于人体骨架的异常行为检测方法、系统及介质 | |
CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
CN110503070A (zh) | 基于航拍图像目标检测处理技术的交通自动化监测方法 | |
CN112380982A (zh) | 一种电力行业基建项目进度与质量的一体化监测方法 | |
CN115719475B (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
CN109886242A (zh) | 一种行人重识别的方法及系统 | |
CN111027377A (zh) | 一种双流神经网络时序动作定位方法 | |
CN104463232A (zh) | 一种基于hog特征和颜色直方图特征的密度人群计数的方法 | |
CN108898098A (zh) | 基于监控平台的早期视频烟雾检测方法 | |
CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测系统 | |
CN112614102A (zh) | 一种车辆检测方法、终端及其计算机可读存储介质 | |
CN112464893A (zh) | 一种复杂环境下的拥挤度分类方法 | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |