CN105512720B - 一种公交车辆客流统计方法和系统 - Google Patents
一种公交车辆客流统计方法和系统 Download PDFInfo
- Publication number
- CN105512720B CN105512720B CN201510934747.9A CN201510934747A CN105512720B CN 105512720 B CN105512720 B CN 105512720B CN 201510934747 A CN201510934747 A CN 201510934747A CN 105512720 B CN105512720 B CN 105512720B
- Authority
- CN
- China
- Prior art keywords
- people
- image
- camera
- bus
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种公交车辆客流统计方法和系统,具体为在公交车的前后车门分别安装两个摄像头,本发明在针对摄像头获取到的图像处理之前,先确定公交车前后车门出入线以及摄像头高度和人头大小的拟合函数,在收到车门开信号后,开始对摄像头获取到的图像进行依次进行预处理、人头检测、人头跟踪和人头运动轨迹分析,最终根据人头运动轨迹分析出乘客行为,获取到对应车门的双向客流数量,统计公交车前后车门的双向客流数量获取到整车双向客流数量,在收到车门关信号后,则停止对摄像头获取到的图像进行处理,减少了车辆移动时而产生的光照突变影响统计结果的问题,本发明方法具有统计准确度高,能够为公交的智能调度提供可靠支撑的优点。
Description
技术领域
本发明涉及一种客流统计方法,特别涉及一种公交车辆客流统计方法和系统。
背景技术
经济迅猛发展,城市规模不断扩大,城市机动车数量增加,道路交通流量增加,随着“互联网+”时代的到来,人们更愿意选择便捷的出行方式,其中公交车便是常用方式之一,但车内出现满员、空车,站点乘客出现滞留等状况日益突出,因此如何合理调度公交是当前公共公交服务的首要问题。公交客流数据的实时统计分析,可以为公交运营调度提供很好的数据支撑,有利于公共交通发展。
目前公交车客流统计的方法有以下几种方式:人工统计、压力检测技术统计、红外检测技术统计、激光检测技术统计和视频图像识别技术统计。传统的人工统计主要是监控人员的肉眼统计,适用于监控时间段、客流量稀疏的情况,客流量多、监控时间长的情况下,统计准确率大大降低,而且人工需要消耗大量的人工成本。压力检测技术是在公交踏板上放置压力检测仪,检测人体重量,但对于多脚踏入的话则无法检测,并且系统容易损坏、维修、安装费用高。红外检测技术和激光检测技术准确率高、成本低,但只适用于人少且有一定距离的行人,无法对拥挤情况下的客流进行统计,且易受环境影响。
近年来,已有很多视频图像识别技术的客流统计系统,如基于特征点跟踪的方法、人体分割和跟踪的方法、人头或头肩检测的跟踪方法。特征点跟踪计算一般对特征点的轨迹进行聚类分析,从而得到客流信息,但特征点本身是很难稳定跟踪的,计算精度较差;人体分割和跟踪是先提取运动目标块,然后分割得到单人目标,跟踪各个目标运动轨迹,从而实现客流统计,但无法处理遮挡时的情况,影响精度;人头或头肩检测的跟踪一般会选用合适的角度,减少遮挡情况,选择分类器对人头进行检测,但对于虚假目标不易识别,导致人头统计不准确。目前已有的系统处于起步阶段,其配置环境繁琐,给工程安装人员带来了困难,加之算法本身对于实际的应用效果并不理想,没有达到智能化。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种统计准确度高的公交车辆客流统计方法。
本发明的第二目的在于提供一种实现上述方法的公交车辆客流统计系统。
本发明的第一目的通过下述技术方案实现:一种公交车辆客流统计方法,步骤如下:
S1、通过第一摄像头和第二摄像头分别获取对应公交车前车门和后车门位置的图像;
S2、对车门出入线进行确定:包括对第一摄像头获取的图像中公交车的前车门出入线进行确定和对第二摄像头获取的图像中公交车的后车门出入线进行确定;
S3、获取摄像头安装高度和人头大小的拟合函数:包括获取到第一摄像头安装高度和人头大小的拟合函数以及第二摄像头安装高度和人头大小的拟合函数;
S4、分别检测公交车前车门和后车门的开关信号,若检测到公交车前车门开信号,则对第一摄像头当前获取到的图像进行步骤S5~S9的图像处理,若检测到公交车后车门开信号,则对第二摄像头当前获取到的图像进行步骤S5~S9的图像处理;若检测到公交车前车门关信号,则停止对第一摄像头获取到的图像进行步骤S5~S9的处理,若检测到公交车后车门关信号,则停止对第二摄像头获取到的图像进行步骤S5~S9的处理;
S5、对图像进行预处理,然后根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数,使用圆检测方法对图像进行人头检测,获取到图像中的头部特征向量;
S6、获取到图像中的头部特征向量后,对人头进行跟踪;
S7、根据步骤S6中对人头的跟踪确定人头运动轨迹;
S8、结合车门出入线对人头运动轨迹矢量进行分析,判断出乘客行为;
S9、根据乘客行为,统计出双向客流数量;
S10、第一摄像头获取到的图像经过步骤S5~S9处理后,统计出前车门双向客流数量,第二摄像头获取到的图像经过步骤S5~S9处理后,统计出后车门双向客流数量,对前车门双向客流数量和后车门双向客流数量进行合计,得出整车双向客流数量。
优选的,所述步骤S2中对公交车车门出入线确定过程如下:
S21、视频图像:采集公交车在停止且对应车门关闭状态下的视频图像;
S22、帧差法第一帧:对获取的公交车车门视频图像进行帧差法处理,取帧差法第一帧图像并二值化;
S23、梯度Hough直线检测:对二值化图像进行梯度Hough直线检测;
S24、筛选直线:根据摄像头安装高度以及车门特性找出倒梯形,并且确定靠近底部的横线为下底,将该下底作为自动识别出的车门出入线;
S25、确定出入线:对自动识别出的车门出入线进行校准后确定为车门出入线;
所述步骤S2中当对公交车前车门出入线进行自动识别时,则步骤S21中通过第一摄像头采集公交车在停止且公交车前车门关闭状态下的视频图像,步骤S24中根据第一摄像头安装高度以及公交车前车门特性找出倒梯形;
所述步骤S2中当对公交车后车门出入线进行自动识别时,则步骤S21中通过第二摄像头采集公交车在停止且公交车后车门关闭状态下的视频图像,步骤S24中根据第二摄像头安装高度以及公交车后车门特性找出倒梯形。
更进一步的,所述步骤S23中梯度Hough直线检测过程如下,在二值化图像中找到所有符合以下极坐标公式的所有像素点:
ρ=x cosθ+y sinθ;
其中(x,y)为二值化图像空间坐标,(ρ,θ)为参数空间坐标,θ是X轴到直线的发现的逆时针转角,ρ是坐标原点到直线的代数距离;
若当前车门出入线被确定的同类型车辆的数目未超过X1台,则所述步骤S25中,针对公交车的车门出入线进行确定时采用人工通过网络进行校准,即将步骤S24获取的公交车自动识别出的车门出入线通过人工网络校准后作为公交车的车门出入线;
若当前车门出入线被确定的同类型车辆的数目超过X1台,则根据车门出入线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别出的车门出入线确定出后续校准函数,在步骤S25中通过后续校准函数对公交车自动识别出的公交车车门出入线进行校准,确定出公交车的车门出入线。
更进一步的,根据车门出入线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别出的车门出入线确定出的后续校准函数为直线校准函数,其误差校正公式为:
其中e是统计的差值,y(k)是第k辆公交车人工通过网络校准时标定的车门出入线直线函数,y′(k)是第k辆公交车自动识别的车门出入线函数,n是车门出入线被确定的同类型公交车车辆数目;
经过误差校准后,第n+i辆公交车车门出入线函数为:
y(n+i)=y′(n+i)+e,i∈(1,2,3,..);
y′(n+i)是第n+i辆公交车自动识别的车门出入线函数。
优选的,所述步骤S3摄像头安装高度和人头大小的拟合函数获取过程如下:
S31、获取摄像头的安装高度:统计好各类车型中摄像头的安装高度;
S32、获取人头样例:通过摄像头分别对各类车型中各种身高人头进行采集;
S33、人头标定参数:统计出通过各类车型中摄像头分别采集到的人头大小;
S34、对各类车型中摄像头安装高度、摄像头采集到的各种人头对应身高、摄像头采集到的人头大小进行最小二乘法运算获取到摄像头安装高度和人头大小的拟合函数;
其中上述步骤中当摄像头为第一摄像头时,则通过上述步骤获取到的是摄像头安装高度和人头大小的拟合函数,当上述步骤中当摄像头为第二摄像头时,则通过上述步骤获取到的是第二摄像头安装高度和人头大小的拟合函数。
优选的,所述步骤S5中用圆检测方法对图像进行人头检测的过程如下:
S51、对获取的图像进行帧差法处理;
S52、从帧差法处理后的图像中提取前景图像并进行二值化处理;
S53、从二值化处理后的前景图像中提取到运动目标区域;
S54、对运动目标区域的灰度图像进行Canny边缘检测,得到运动目标区域灰度图像的边缘特征;
S55、将运动目标区域灰度图像的边缘特征与二值化处理后的前景图像进行合并,将处于二值图像外轮廓内的边缘全部保留,其余全部舍弃;
S56、通过梯度Hough圆检测算法从步骤S55处理后的图像中检测出圆;
S57、根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数,设定人头半径阈值范围,然后进行阈值范围判断,将步骤S56中检测出的圆中半径处于阈值范围内的圆保留,其他的圆去掉;同时对所有人头轮廓进行分组,选择距离相似测量度的最大最小距离法分组,并将人头轮廓的共圆置信度作为评价拟合优劣的标准,即从多个候选匹配人头轮廓中选出最佳人头轮廓,作为图像中的人头;
S58、提取头部特征向量:包括提取圆边缘点序列、圆心、半径、轮廓内部灰度值和轮廓内部YUV彩色空间的ALPHA通道值。
优选的,所述步骤S6中对人头进行跟踪的过程如下:
S61、提取前一帧图像的人头跟踪序列,并将该人头跟踪序列输入到卡尔曼预测器中,得出当前帧图像中人头预测向量矩阵,并与当前帧图像中获取的头部特征向量进行特征匹配;若匹配成功,则将当前帧中人头加入到前一帧图像的人头跟踪序列中,然后进入步骤S63,否则进入步骤S62;
S62、对当前帧图像中相对于预测人头轮廓的联合置信度进行模糊置信度判断,若相对于预测人头轮廓的联合置信度大于模糊置信度的阈值,则将当前帧图像中的人头判定为新的跟踪序列,否则进行矢量距离判断,矢量距离为当前帧检测的人头轮廓中心与预测人头轮廓中心点之间的距离,若矢量距离小于当前帧检测的人头轮廓半径,则将当前帧人头加入前一帧图像的人头跟踪序列,否则将当前帧人头判定为新的跟踪序列;
S63、判定人头跟踪是否结束,即判定人头是否离开视野或停住;若否,则回到步骤S61;若是,则根据对人头的跟踪确定人头运动轨迹;
其中步骤S62中在每一组圆中以模糊置信度为标准提取该组对应的真实人头轮廓的最优拟合轮廓,结合候选匹配人头轮廓的共圆置信度和头部区域轮廓几何相似度HCGS(l,j)的线性组合构成相对于预测人头轮廓的联合置信度μunion(l,j),其中构成的人头轮廓的联合置信度μunion(l,j)为:
其中和μunion(l,j)分别代表候选匹配人头轮廓的共圆置信度和相对于预测人头轮廓的联合置信度,ω1和ω2分别对应为和HCGS(l,j)的权重;(l,j)表示图像中的像素点。
优选的,所述步骤S8中人头运动轨迹进行分析包括对人头运动轨迹进行平滑度分析,具体过程如下:
S81、输入人头运动轨迹;
S82、计算人头运动轨迹平滑度,即计算人头运动轨迹中相邻两帧轨迹点之间的距离;
S83、确定步骤S83中计算出的人头运动轨迹平滑度是否满足平滑度阈值,若满足,保留该人头运动轨迹,否则判断为异常状态,舍弃该人头运动轨迹;
S84、输出步骤S83保留的人头运行轨迹,并且显示在图像上;
所述步骤S8中判断出乘客行为的过程如下:以车门出入线作为X轴,出入线垂线为Y轴,车门出入线和垂线的交点为原点;当设定Y轴的正方向朝车外方向,若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势,即人头运行轨迹由上至下,则判断乘客为上车行为,若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势,即人头运行轨迹由下至上,则判断乘客为下车行为;若检测到人头运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内,则判断乘客为上车行为;当设定Y轴的正方向朝车内方向,若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势,即人头运行轨迹由上至下,则判断乘客为下车行为,若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势,即人头运行轨迹由下至上,则判断乘客为上车行为;若检测到人头运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内,则判断乘客为上车行为。
本发明的第二目的通过下述技术方案实现:一种用于上述公交车辆客流统计方法的公交车辆客流统计系统,包括第一摄像头、第二摄像头、第一车门开关传感器、第二车门开关传感器、前车门图像处理模块、后车门图像处理模块和整车客流统计模块,其中
第一摄像头,安装在公交车前车门位置,用户获取公交车前车门位置图像;
第二摄像头,安装在公交车后车门位置,用户获取公交车后车门位置图像;
第一车门开关传感器,安装在公交车前车门位置,用于感应公交车前车门的开关;
第二车门开关传感器,安装在公交车后车门位置,用于感应公交车后车门的开关;
前车门图像处理模块,包括:
第一车门出入线识别模块,用于根据第一摄像头获取的图像对公交车前车门出入线进行确定;
第一拟合函数获取模块,用于获取到第一摄像头安装高度和人头大小的拟合函数;
第一人头检测模块,用于使用圆检测方法对第一摄像头获取的图像进行人头检测,获取到图像中的头部特征向量;
第一人头跟踪模块,用于根据第一人头检测模块获取到的头部特征向量,对第一摄像头获取的图像中人头进行跟踪,并且确定第一摄像头获取到的图像中人头运动轨迹;
第一人头运动轨迹分析模块,用于结合公交车前车门出入线对第一摄像头获取到的图像中人头运动轨迹矢量进行分析,判断公交车出前车门的乘客行为;
以及第一客流统计模块,用于根据公交车前车门获取到的乘客行为,统计出公交车前车门双向客流数量;
后车门图像处理模块,包括:
第二车门出入线识别模块,用于根据第二摄像头获取的图像对公交车后车门出入线进行确定;
第二拟合函数获取模块,用于获取到第二摄像头安装高度和人头大小的拟合函数;
第二人头检测模块,用于使用圆检测方法对第二摄像头获取的图像进行人头检测,获取到图像中的头部特征向量;
第二人头跟踪模块,用于根据第二人头检测模块获取到的头部特征向量,对第二摄像头获取的图像中人头进行跟踪,并且确定第二摄像头获取到的图像中人头运动轨迹;
第二人头运动轨迹分析模块,用于结合公交车前车门出入线对第二摄像头获取到的图像中人头运动轨迹矢量进行分析,判断公交车出后车门的乘客行为;
以及第二客流统计模块,用于根据公交车后车门获取到的乘客行为,统计出公交车后车门双向客流数量;
整车客流统计模块,用于对前车门双向客流数量和后车门双向客流数量进行合计,得出整车双向客流数量。
优选的,前车门图像处理模块中的第一车门出入线识别模块、第一拟合函数获取模块、第一人头检测模块、第一人头跟踪模块、第一人头运动轨迹分析模块以及第一客流统计模块均嵌入在第一摄像头中,第一摄像头通过外设接口或网络端与智能公交调度平台信号连接;
后车门图像处理模块中的第二车门出入线识别模块、第二拟合函数获取模块、第二人头检测模块、第二人头跟踪模块、第二人头运动轨迹分析模块以及第二客流统计模块嵌入在第二摄像头中,第二摄像头通过外设接口或网络端与智能公交调度平台信号连接;
所述第一摄像头和第二摄像头均扩展有RS485接口,第一摄像头和第二摄像头分别通过RS485接口分别对应与第一车门开关传感器和第二车门开关传感器连接。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明公交车的客流统计方法在公交车的前后车门分别安装摄像头,通过对两个摄像头获取到的图像进行处理后分别得到前后车门的双向客流数量。其中本发明在针对摄像头获取到的图像处理之前,先确定公交车前后车门出入线以及摄像头高度和人头大小的拟合函数,在收到车门开信号后,开始对摄像头获取到的图像依次进行预处理、人头检测、人头跟踪和人头运动轨迹分析,最终根据人头运动轨迹分析出乘客的上下车行为,获取到对应车门的双向客流数量,统计公交车前后车门的双向客流数量获取到整车双向客流数量,在收到车门关信号后,则停止对摄像头获取到的图像进行处理,减少了车辆移动时而产生的光照突变影响统计结果的现象,本发明方法具有统计准确度高,能够为公交的智能调度提供可靠支撑的优点。
(2)本发明方法在统计客流之前首先自动识别公交车前后车门出入线,以减少人为标定的工序,从而可以自动适应各种公交车车型,安装人员也可通过网络端进行出入线矫正及人工标定,存储出入线及相关信息,建立矫正函数,优化识别算法。本发明方法在统计客流之前先模拟出摄像头高度和人头大小的拟合函数,以减少人为标定人头大小的工序,从而可以自动适应各种公交车,且模拟函数能够定期进行更新。
(3)本发明方法在检测人头之前,使用帧差法提取前景目标,获取到运动目标区域,对运动目标区域的灰度图像进行边缘检测,得到运动目标区域灰度图像的边缘特征;将运动目标区域灰度图像的边缘特征与二值化处理后的前景图像进行合并,能够有效避免因光照的影响而造成的虚假检测与错误检测,能同时检测深色头发、浅色头发以及各种颜色的帽子等多种人头目标,确保统计更加全面,且不需要进行前期的分类训练。另外本发明方法人头检测过程中在检测圆时,限定了阈值范围,减少了大帽子误检的概率。
(4)本发明方法对于检测出的人头,使用卡尔曼滤波进行跟踪,其中跟踪的头部特征向量包括圆边缘点序列、圆心、半径、轮廓内部灰度值和轮廓内部YUV彩色空间的ALPHA通道值,可以用来去除虚假头部,减少光照的影响,保证了实时性。本发明方法人头运动轨迹分析过程中对人头运动轨迹的平滑度进行了分析,将人头运动轨迹平滑度不满足平滑度阈值要求的人头运动轨迹进行了去除,减少了误检的概率,进一步提高检测率。
(5)本发明方法采用Hough检测车门出入线及圆的算法,具有运算速率快的优点。
(6)本发明针对图像处理的算法部分可以嵌入到摄像头中,并且摄像头可通过外设接口或网络端与智能公交调度平台进行信号连接,将最终客流统计结果发送到智能公交调度平台。另外摄像头可以连接到网络端,通过IE配置参数后,可以通过网络端实时查看第一摄像头中前车门图像处理结果效果图、第二摄像头中后车门图像处理效果图以及实时前后车门双向客流数量统计结果。
附图说明
图1是本发明公交车辆客流统计方法流程图。
图2是本发明确定公交车车门出入线流程图。
图3是本发明获取摄像头安装高度和人头大小的拟合函数流程图。
图4是本发明人头检测流程图。
图5是本发明人头跟踪流程图。
图6是本发明人头运动轨迹平滑度分析流程图。
图7是本发明公交车辆客流统计系统组成框图。
图8是本发明摄像头连接到网络端和通过网络端连接智能公交调度平台的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1至6所示,本实施例公开了一种公交车辆客流统计方法,步骤如下:
S1、通过第一摄像头和第二摄像头分别获取对应公交车前车门和后车门位置的图像。
S2、对车门出入线进行确定:包括对第一摄像头获取的图像中公交车的前车门出入线进行确定和对第二摄像头获取的图像中公交车的后车门出入线进行确定;如图2中所示,本步骤中对公交车车门出入线确定过程具体如下:
S21、视频图像:采集公交车在停止且对应车门关闭状态下的视频图像;本实施例视频图像采集白天光照良好的情况下进行;
S22、帧差法第一帧:对获取的公交车车门视频图像进行帧差法处理,取帧差法第一帧图像并二值化;
S23、梯度Hough直线检测:对二值化图像进行梯度Hough直线检测,在本实施例中由于公交车车门是矩形的且棱廓比较清晰,因此容易检测出直线信息。其中梯度Hough直线检测过程如下,在二值化图像中找到所有符合以下极坐标公式的所有像素点:
ρ=x cosθ+y sinθ;
其中(x,y)为二值化图像空间坐标,(ρ,θ)为参数空间坐标,θ是X轴到直线的发现的逆时针转角,ρ是坐标原点到直线的代数距离;
S24、筛选直线:根据摄像头安装高度以及车门特性找出倒梯形,并且确定靠近底部的横线为下底,将该下底整体下移一定数量的像素点后作为自动识别出的车门出入线;在本步骤中考虑到摄像头安装角度以及公交车车门特性,可知车门的直线段连接起来为倒梯形,根据几何原理找到倒梯形,因此选择靠近底部的横线确定下底。由于本步骤中的下底为车门带有黑色橡胶的底线,若要确定为出入线,则整体下移10个像素点,将整体下移10个像素点的下底作为自动识别出的车门出入线,
S25、确定出入线:对自动识别出的车门出入线进行校准后确定为车门出入线;
若当前车门出入线被确定的同类型车辆的数目未超过X1台,则本步骤S25中,针对公交车的车门出入线进行确定时采用人工通过网络进行校准,即将步骤S24获取的公交车自动识别出的车门出入线通过人工网络校准后作为公交车的车门出入线;
若当前车门出入线被确定的同类型车辆的数目超过X1台,则根据车门出入线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别出的车门出入线确定出后续校准函数,在本步骤S25中通过后续校准函数对公交车自动识别出的公交车车门出入线进行校准,确定出公交车的车门出入线。
本实施例根据车门出入线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别出的车门出入线确定出的后续校准函数为直线校准函数,其误差校正公式为:
其中e是统计的差值,y(k)是第k辆公交车人工通过网络校准时标定的车门出入线直线函数,y′(k)是第k辆公交车自动识别的车门出入线函数,n是车门出入线被确定的同类型公交车车辆数目;
经过误差校准后,第n+i辆公交车车门出入线函数为:
y(n+i)=y′(n+i)+e,i∈(1,2,3,..);
y′(n+i)是第n+i辆公交车自动识别的车门出入线函数。
本步骤S2中当对公交车前车门出入线进行自动识别时,则步骤S21中通过第一摄像头采集公交车在停止且公交车前车门关闭状态下的视频图像,步骤S24中根据第一摄像头安装高度以及公交车前车门特性找出倒梯形;
本步骤中当对公交车后车门出入线进行自动识别时,则步骤S21中通过第二摄像头采集公交车在停止且公交车后车门关闭状态下的视频图像,步骤S24中根据第二摄像头安装高度以及公交车后车门特性找出倒梯形。
S3、获取摄像头安装高度和人头大小的拟合函数:包括获取到第一摄像头安装高度和人头大小的拟合函数以及第二摄像头安装高度和人头大小的拟合函数;如图3所示,本步骤摄像头安装高度和人头大小的拟合函数获取过程如下:
S31、获取摄像头的安装高度:统计好各类车型中摄像头的安装高度;
S32、获取人头样例:通过摄像头分别对各类车型中各种身高人头进行采集;
S33、人头标定参数:统计出通过各类车型中摄像头分别采集到的人头大小;
S34、对各类车型中摄像头安装高度、摄像头采集到的各种人头对应身高、摄像头采集到的人头大小进行最小二乘法运算获取到摄像头安装高度和人头大小的拟合函数;其中最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配,如下式所示:
其中Δ为估算值与实际值得总平方差,为第i组数据的不可靠值,yi为第i组数据的可靠值,β为系数向量。最小二乘法是一种非迭代的算法,收敛速度快,对于初始点的选择也不敏感。
其中本步骤中摄像头为第一摄像头时,则通过上述步骤S31~S34获取到的是摄像头安装高度和人头大小的拟合函数,当摄像头为第二摄像头时,则通过上述步骤S31~S34获取到的是第二摄像头安装高度和人头大小的拟合函数。
S4、分别检测公交车前车门和后车门的开关信号,若检测到公交车前车门开信号,则对第一摄像头当前获取到的图像进行步骤S5~S9的图像处理,若检测到公交车后车门开信号,则对第二摄像头当前获取到的图像进行步骤S5~S9的图像处理;若检测到公交车前车门关信号,则停止对第一摄像头获取到的图像进行步骤S5~S9的处理,若检测到公交车后车门关信号,则停止对第二摄像头获取到的图像进行步骤S5~S9的处理,以避免因车辆移动而产生的光照突变影响图像处理结果的问题;具体过程如图1所示。其中第一摄像头和第二摄像头均为单目摄像头,在光照良好的情况下,获取的图像是彩色图像,在夜间需切换为红外滤片模式获取黑白图像;
S5、对图像进行灰度预处理,然后根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数,使用圆检测方法对图像进行人头检测,获取到图像中的头部特征向量;当对第一摄像头的图像进行人头检测时,本步骤使用步骤S3获取的第一摄像头安装高度和人头大小的拟合函数;当对第二摄像头的图像进行人头检测时,本步骤使用步骤S3获取的第二摄像头安装高度和人头大小的拟合函数;
如图4所示,本步骤S5中用圆检测方法对图像进行人头检测的过程如下:
S51、对获取的图像进行帧差法处理;
S52、从帧差法处理后的图像中提取前景图像并进行二值化处理;
S53、从二值化处理后的前景图像中提取到运动目标区域;本实施例中运动目标区域的提取采用灰度二值化法,在图像空间X、Y方向作直方图,得到片段,片段的标准是两端连续10个像素值不为0的,合并相邻5个像素的片段,得出的片段数可初步确定为运动目标个数,用于圆的个数参考。
S54、对运动目标区域的灰度图像进行Canny边缘检测,得到运动目标区域灰度图像的边缘特征;
S55、将运动目标区域灰度图像的边缘特征与二值化处理后的前景图像进行合并,将处于二值图像外轮廓内的边缘全部保留,其余全部舍弃;
S56、通过梯度Hough圆检测算法从步骤S55处理后的图像中检测出圆;
S57、根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数,设定人头半径的阈值范围,然后进行阈值范围判断,将步骤S56中检测出的圆中半径处于阈值范围内的圆保留,其他的圆去掉;同时对所有人头轮廓进行分组,选择距离相似测量度的最大最小距离法分组,并将人头轮廓的共圆置信度作为评价拟合优劣的标准,即从多个候选匹配人头轮廓中选出最佳人头轮廓,作为图像中的人头;其中本实施例中当摄像头安装高度为2m时,设定的人头半径阈值范围为[50,200](像素值)。
S58、提取头部特征向量:包括提取圆边缘点序列、圆心、半径、轮廓内部灰度值和轮廓内部YUV彩色空间的ALPHA通道值;其中轮廓内部YUV彩色空间的ALPHA通道值。
S6、获取到图像中的头部特征向量后,对人头进行跟踪;如图5所示,本步骤中对人头进行跟踪的过程如下:
S61、提取前一帧图像的人头跟踪序列,并将该人头跟踪序列输入到卡尔曼预测器中,得出当前帧图像中人头预测向量矩阵,并与当前帧图像中获取的头部特征向量进行特征匹配;若匹配成功,则将当前帧中人头加入到前一帧图像的人头跟踪序列中,然后进入步骤S63,否则进入步骤S62;
S62、对当前帧图像中相对于预测人头轮廓的联合置信度进行模糊置信度判断,若相对于预测人头轮廓的联合置信度大于模糊置信度的阈值,则将当前帧图像中的人头判定为新的跟踪序列,否则进行矢量距离判断,矢量距离为当前帧检测的人头轮廓中心与预测人头轮廓中心点之间的距离,若矢量距离小于当前帧检测的人头轮廓半径,则将当前帧人头加入前一帧图像的人头跟踪序列,否则将当前帧人头判定为新的跟踪序列;
S63、判定人头跟踪是否结束,即判定人头是否离开视野或停住;若否,则回到步骤S61;若是,则根据对人头的跟踪确定人头运动轨迹;
其中步骤S62中在每一组圆中以模糊置信度为标准提取该组对应的真实人头轮廓的最优拟合轮廓,结合候选匹配人头轮廓的共圆置信度和头部区域轮廓几何相似度HCGS(l,j)的线性组合构成相对于预测人头轮廓的联合置信度μunion(l,j),其中构成的人头轮廓的联合置信度μunion(l,j)为:
其中和μunion(l,j)分别代表候选匹配人头轮廓的共圆置信度和相对于预测人头轮廓的联合置信度,ω1和ω2分别对应为和HCGS(l,j)的权重;本实施例将两个权重设置为1.0;(l,j)表示图像中的像素点,l和j分别表示图像中的像素点的横坐标值和纵坐标值。
S7、根据步骤S6中对人头的跟踪确定人头运动轨迹;
S8、结合车门出入线对人头运动轨迹矢量进行分析,判断出乘客行为;如图6所示,本步骤人头运动轨迹进行分析包括对人头运动轨迹进行平滑度分析,具体过程如下:
S81、输入人头运动轨迹;
S82、计算人头运动轨迹平滑度,即计算人头运动轨迹中相邻两帧轨迹点之间的距离;
S83、确定步骤S83中计算出的人头运动轨迹平滑度是否满足平滑度阈值,若满足,保留该人头运动轨迹,否则判断为异常状态,舍弃该人头运动轨迹;本实施例中采用的平滑度阈值为图像高度的三分之一;
S84、输出步骤S83保留的人头运行轨迹,并且显示在图像上;
本步骤S8中判断出乘客行为的过程如下:以车门出入线作为X轴,出入线垂线为Y轴,车门出入线和垂线的交点为原点;当设定Y轴的正方向朝车外方向,若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势,即人头运行轨迹由上至下,则判断乘客为上车行为,若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势,即人头运行轨迹由下至上,则判断乘客为下车行为;若检测到人头运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内,则判断乘客为上车行为;当设定Y轴的正方向朝车内方向,若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势,即人头运行轨迹由上至下,则判断乘客为下车行为,若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势,即人头运行轨迹由下至上,则判断乘客为上车行为;若检测到人头运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内,则判断乘客为上车行为。人头运动轨迹矢量基本无变化者为原始车内乘客,不予统计。其中本实施例中设定第二阈值为45个像素值。
S9、根据乘客行为,统计出双向客流数量;
S10、第一摄像头获取到的图像经过步骤S5~S9处理后,统计出前车门双向客流数量,第二摄像头获取到的图像经过步骤S5~S9处理后,统计出后车门双向客流数量,对前车门双向客流数量和后车门双向客流数量进行合计,得出整车双向客流数量。
S11、将步骤S10中获取到的整车双向客流数量统计结果传输到智能公交调度平台。其中上述客流统计方法实现的功能可以通过嵌入在第一摄像头和第二摄像头中的处理器来完成,因此本实施例中整车双向客流数量统计结果可以通过第一摄像头和第二摄像头分别获取到的双向客流数量合计得到,并且第一摄像头和第二摄像头可以通过其外设接口或者网络将其获取到的双向客流数量传输到智能公交调度平台。
本实施例步骤S2中采用减少内存的梯度Hough检测直线,Hough变换的思想是图像中原始坐标系下所呈现直线的所有点,其斜率和截距是一样的,得出其在参数坐标系统下对应同一个点。Hough变换利用图像的全局特征将特定形状边缘连接起来,通过点线的对偶性,将原图上的点映射到用于累加的参数空间,把原始图像中给定的直线或曲线检测转化为寻找参数空间中的峰值问题。由于利用全局特征,所以受噪声和边界间断的影响较小,具有鲁棒性。
在二维图像内,人头的边缘是不受光照、颜色等的影响,且在俯视情况下,排除了人头遮挡现象,通常人头检测会用到分类器,但由于人头样本繁多,戴帽子,彩色头发,白发,长发等情况,很难完全训练到百分百。由于圆是最接近人头形状,本实施例步骤S5人头检测过程中采用内存消耗少的梯度Hough检测圆,因为圆为最近俯视的人头形状,且跟头发颜色无关。由于Hough变换利用的是边界的全局特征,并不考虑边界连通与否,因为其对于噪声、局部形变和曲线间断不敏感、检测精度较高,且Hough变换适合并行计算,实时性较好。为了有效的降低Hough变换的时间和空间复杂度,本实施例采用改进的梯度Hough圆检测方法,其借助了边缘梯度方向对圆心轨迹进行映射。其中梯度Hough变化其核心是找到圆心坐标(xC,yC),其计算下式所示:
其中(xA,yA)为圆边界上任意一个边缘点,r为半径,θg为边缘点的梯度值,可由Canny边缘算子获得。本实施例采用改进的Gerig Hough变换,使用三个二维阵列分别用做变换累加器、局部极值位置记录数组和局部极值相应的半径记录数组。
在本实施例步骤S54中,由于帧差法提取出的前景二值图像部分边缘信息不准确,会由于光照条件的突变或背景模型更新不及时等原因而产生的更多背景边缘目标,因此将运动目标区域的灰度图像进行Canny边缘检测,得到目标的边缘特征。
本实施例步骤S6采用卡尔曼预测器进行头部跟踪,再获取头部特征向量之后,使用卡尔曼预测器可以降噪并且跟踪准确,卡尔曼预测器是最小方差准则下的最优滤波算法,是一种递推算法,无须存储多个过去的输入信号,具有内存开销小、适用于计算机实时运算等优点。卡尔曼系统的状态方程和测量方程如下式:
其中为k时刻输入的信号向量n为向量位数,为k时刻的测量值向量,A为状态转移矩阵,C为测量矩阵,为k时刻系统噪声向量,为k时刻测量噪声向量。将由卡尔曼滤波预测出的当前帧人头预测向量矩阵与当前帧算法检测到的头部特征向量进行匹配,匹配的特征有圆轮廓的相似度、半径的相似度、轮廓内部灰度值的相似度、轮廓内部YUV空间的ALPHA通道值相似度。
本实施例还公开了一种用于实现上述公交车辆客流统计方法的公交车辆客流统计系统,如图7所示,包括第一摄像头、第二摄像头、第一车门开关传感器、第二车门开关传感器、前车门图像处理模块、后车门图像处理模块和整车客流统计模块,其中
第一摄像头,安装在公交车前车门位置,用户获取公交车前车门位置图像;
第二摄像头,安装在公交车后车门位置,用户获取公交车后车门位置图像;
第一车门开关传感器,安装在公交车前车门位置,用于感应公交车前车门的开关;
第二车门开关传感器,安装在公交车后车门位置,用于感应公交车后车门的开关;
前车门图像处理模块,包括:
第一车门出入线识别模块,用于根据第一摄像头获取的图像对公交车前车门出入线进行确定;
第一拟合函数获取模块,用于获取到第一摄像头安装高度和人头大小的拟合函数;
第一人头检测模块,用于使用圆检测方法对第一摄像头获取的图像进行人头检测,获取到图像中的头部特征向量;
第一人头跟踪模块,用于根据第一人头检测模块获取到的头部特征向量,对第一摄像头获取的图像中人头进行跟踪,并且确定第一摄像头获取到的图像中人头运动轨迹;
第一人头运动轨迹分析模块,用于结合公交车前车门出入线对第一摄像头获取到的图像中人头运动轨迹矢量进行分析,判断公交车出前车门的乘客行为;
以及第一客流统计模块,用于根据公交车前车门获取到的乘客行为,统计出公交车前车门双向客流数量;
后车门图像处理模块,包括:
第二车门出入线识别模块,用于根据第二摄像头获取的图像对公交车后车门出入线进行确定;
第二拟合函数获取模块,用于获取到第二摄像头安装高度和人头大小的拟合函数;
第二人头检测模块,用于使用圆检测方法对第二摄像头获取的图像进行人头检测,获取到图像中的头部特征向量;
第二人头跟踪模块,用于根据第二人头检测模块获取到的头部特征向量,对第二摄像头获取的图像中人头进行跟踪,并且确定第二摄像头获取到的图像中人头运动轨迹;
第二人头运动轨迹分析模块,用于结合公交车前车门出入线对第二摄像头获取到的图像中人头运动轨迹矢量进行分析,判断公交车出后车门的乘客行为;
以及第二客流统计模块,用于根据公交车后车门获取到的乘客行为,统计出公交车后车门双向客流数量;
整车客流统计模块,用于对前车门双向客流数量和后车门双向客流数量进行合计,得出整车双向客流数量。
本实施例前车门图像处理模块中的第一车门出入线识别模块、第一拟合函数获取模块、第一人头检测模块、第一人头跟踪模块、第一人头运动轨迹分析模块以及第一客流统计模块可以嵌入在第一摄像头中,第一摄像头通过外设接口或网络端与智能公交调度平台信号连接,直接通过第一摄像头的外设接口或者网络端将前车门双向客流数量结果和视频录像传送给智能公交调度平台,如图8所示。本实施例后车门图像处理模块中的第二车门出入线识别模块、第二拟合函数获取模块、第二人头检测模块、第二人头跟踪模块、第二人头运动轨迹分析模块以及第二客流统计模块可以嵌入在第二摄像头中,第二摄像头通过外设接口或网络端与智能公交调度平台信号连接,直接通过第二摄像头的外设接口或者网络端将后车门双向客流数量结果和视频录像传送给智能公交调度平台,如图8所示。其中智能公交调度平台可以是车载显示屏、车载主机等。
如图8所示,本实施例中第一摄像头和第二摄像头可以连接到网络端,通过IE配置参数,以通过网络端可以实时查看第一摄像头中前车门图像处理结果效果图、第二摄像头中后车门图像处理效果图以及实时前后车门双向客流数量结果。其中图像处理效果图是指带有乘客人头的运动轨迹线并用矩形框住人头的图像。
本实施例中第一摄像头和第二摄像头均扩展有RS485接口,第一摄像头和第二摄像头分别通过RS485接口对应与第一车门开关传感器和第二车门开关传感器连接。第一摄像头在接收到第一车门开关传感器发送的车门开信号后,控制前车门图像处理模块中的各模块工作,即控制使用本实施例上述客流统计方法对第一摄像头获取到的图像进行相应处理。在接收到第一车门开关传感器发送的车门关信号后,控制前车门图像处理模块中的各模块停止工作,即控制本实施例上述客流统计方法停止对第一摄像头获取到的图像进行相应处理。第二摄像头在接收到第二车门开关传感器发送的车门开信号后,启动后车门图像处理模块中的各模块工作,即控制使用本实施例上述客流统计方法对第二摄像头获取到的图像进行相应处理,在接收到第二车门开关传感器发送的车门关信号后,启动后车门图像处理模块中的各模块停止工作,即控制本实施例上述客流统计方法停止对第二摄像头获取到的图像进行相应处理。
在本实施例中第一摄像头和第二摄像头均使用单目高清摄像头,并具备CMOS。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种公交车辆客流统计方法,其特征在于,步骤如下:
S1、通过第一摄像头和第二摄像头分别获取对应公交车前车门和后车门位置的图像;
S2、对车门出入线进行确定:包括对第一摄像头获取的图像中公交车的前车门出入线进行确定和对第二摄像头获取的图像中公交车的后车门出入线进行确定;
S3、获取摄像头安装高度和人头大小的拟合函数:包括获取到第一摄像头安装高度和人头大小的拟合函数以及第二摄像头安装高度和人头大小的拟合函数;
S4、分别检测公交车前车门和后车门的开关信号,若检测到公交车前车门开信号,则对第一摄像头当前获取到的图像进行步骤S5~S9的图像处理,若检测到公交车后车门开信号,则对第二摄像头当前获取到的图像进行步骤S5~S9的图像处理;若检测到公交车前车门关信号,则停止对第一摄像头获取到的图像进行步骤S5~S9的处理,若检测到公交车后车门关信号,则停止对第二摄像头获取到的图像进行步骤S5~S9的处理;
S5、对图像进行预处理,然后根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数,使用圆检测方法对图像进行人头检测,获取到图像中的头部特征向量;
S6、获取到图像中的头部特征向量后,对人头进行跟踪;
S7、根据步骤S6中对人头的跟踪确定人头运动轨迹;
S8、结合车门出入线对人头运动轨迹矢量进行分析,判断出乘客行为;
S9、根据乘客行为,统计出双向客流数量;
S10、第一摄像头获取到的图像经过步骤S5~S9处理后,统计出前车门双向客流数量,第二摄像头获取到的图像经过步骤S5~S9处理后,统计出后车门双向客流数量,对前车门双向客流数量和后车门双向客流数量进行合计,得出整车双向客流数量。
2.根据权利要求1所述的公交车辆客流统计方法,其特征在于,所述步骤S2中对公交车车门出入线确定过程如下:
S21、视频图像:采集公交车在停止且对应车门关闭状态下的视频图像;
S22、帧差法第一帧:对获取的公交车车门视频图像进行帧差法处理,取帧差法第一帧图像并二值化;
S23、梯度Hough直线检测:对二值化图像进行梯度Hough直线检测;
S24、筛选直线:根据摄像头安装高度以及车门特性找出倒梯形,并且确定靠近底部的横线为下底,将该下底作为自动识别出的车门出入线;
S25、确定出入线:对自动识别出的车门出入线进行校准后确定为车门出入线;
所述步骤S2中当对公交车前车门出入线进行自动识别时,则步骤S21中通过第一摄像头采集公交车在停止且公交车前车门关闭状态下的视频图像,步骤S24中根据第一摄像头安装高度以及公交车前车门特性找出倒梯形;
所述步骤S2中当对公交车后车门出入线进行自动识别时,则步骤S21中通过第二摄像头采集公交车在停止且公交车后车门关闭状态下的视频图像,步骤S24中根据第二摄像头安装高度以及公交车后车门特性找出倒梯形。
3.根据权利要求2所述的公交车辆客流统计方法,其特征在于,所述步骤S23中梯度Hough直线检测过程如下,在二值化图像中找到所有符合以下极坐标公式的所有像素点:
ρ=xcosθ+ysinθ;
其中(x,y)为二值化图像空间坐标,(ρ,θ)为参数空间坐标,θ是X轴到直线的发现的逆时针转角,ρ是坐标原点到直线的代数距离;
若当前车门出入线被确定的同类型车辆的数目未超过X1台,则所述步骤S25中,针对公交车的车门出入线进行确定时采用人工通过网络进行校准,即将步骤S24获取的公交车自动识别出的车门出入线通过人工网络校准后作为公交车的车门出入线;
若当前车门出入线被确定的同类型车辆的数目超过X1台,则根据车门出入线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别出的车门出入线确定出后续校准函数,在步骤S25中通过后续校准函数对公交车自动识别出的公交车车门出入线进行校准,确定出公交车的车门出入线。
4.根据权利要求3所述的公交车辆客流统计方法,其特征在于,根据车门出入线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别出的车门出入线确定出的后续校准函数为直线校准函数,其误差校正公式为:
<mrow>
<mi>e</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
<mo>-</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中e是统计的差值,y(k)是第k辆公交车人工通过网络校准时标定的车门出入线直线函数,y′(k)是第k辆公交车自动识别的车门出入线函数,n是车门出入线被确定的同类型公交车车辆数目;
经过误差校准后,第n+i辆公交车车门出入线函数为:
y(n+i)=y′(n+i)+e,i∈(1,2,3,..);
y′(n+i)是第n+i辆公交车自动识别的车门出入线函数。
5.根据权利要求1所述的公交车辆客流统计方法,其特征在于,所述步骤S3摄像头安装高度和人头大小的拟合函数获取过程如下:
S31、获取摄像头的安装高度:统计好各类车型中摄像头的安装高度;
S32、获取人头样例:通过摄像头分别对各类车型中各种身高人头进行采集;
S33、人头标定参数:统计出通过各类车型中摄像头分别采集到的人头大小;
S34、对各类车型中摄像头安装高度、摄像头采集到的各种人头对应身高、摄像头采集到的人头大小进行最小二乘法运算获取到摄像头安装高度和人头大小的拟合函数;
其中上述步骤中当摄像头为第一摄像头时,则通过上述步骤获取到的是摄像头安装高度和人头大小的拟合函数,当上述步骤中当摄像头为第二摄像头时,则通过上述步骤获取到的是第二摄像头安装高度和人头大小的拟合函数。
6.根据权利要求1所述的公交车辆客流统计方法,其特征在于,所述步骤S5中用圆检测方法对图像进行人头检测的过程如下:
S51、对获取的图像进行帧差法处理;
S52、从帧差法处理后的图像中提取前景图像并进行二值化处理;
S53、从二值化处理后的前景图像中提取到运动目标区域;
S54、对运动目标区域的灰度图像进行Canny边缘检测,得到运动目标区域灰度图像的边缘特征;
S55、将运动目标区域灰度图像的边缘特征与二值化处理后的前景图像进行合并,将处于二值图像外轮廓内的边缘全部保留,其余全部舍弃;
S56、通过梯度Hough圆检测算法从步骤S55处理后的图像中检测出圆;
S57、根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数,设定人头半径阈值范围,然后进行阈值范围,将步骤S56中检测出的圆中半径处于阈值范围内的圆保留,其他的圆去掉;同时对所有人头轮廓进行分组,选择距离相似测量度的最大最小距离法分组,并将人头轮廓的共圆置信度作为评价拟合优劣的标准,即从多个候选匹配人头轮廓中选出最佳人头轮廓,作为图像中的人头;
S58、提取头部特征向量:包括提取圆边缘点序列、圆心、半径、轮廓内部灰度值和轮廓内部YUV彩色空间的ALPHA通道值。
7.根据权利要求1所述的公交车辆客流统计方法,其特征在于,所述步骤S6中对人头进行跟踪的过程如下:
S61、提取前一帧图像的人头跟踪序列,并将该人头跟踪序列输入到卡尔曼预测器中,得出当前帧图像中人头预测向量矩阵,并与当前帧图像中获取的头部特征向量进行特征匹配;若匹配成功,则将当前帧中人头加入到前一帧图像的人头跟踪序列中,然后进入步骤S63,否则进入步骤S62;
S62、对当前帧图像中相对于预测人头轮廓的联合置信度进行模糊置信度判断,若相对于预测人头轮廓的联合置信度大于模糊置信度的阈值,则将当前帧图像中的人头判定为新的跟踪序列,否则进行矢量距离判断,矢量距离为当前帧检测的人头轮廓中心与预测人头轮廓中心点之间的距离,若矢量距离小于当前帧检测的人头轮廓半径,则将当前帧人头加入前一帧图像的人头跟踪序列,否则将当前帧人头判定为新的跟踪序列;
S63、判定人头跟踪是否结束,即判定人头是否离开视野或停住;若否,则回到步骤S61;若是,则根据对人头的跟踪确定人头运动轨迹;
其中步骤S62中在每一组圆中以模糊置信度为标准提取该组对应的真实人头轮廓的最优拟合轮廓,结合候选匹配人头轮廓的共圆置信度和头部区域轮廓几何相似度HCGS(l,j)的线性组合构成相对于预测人头轮廓的联合置信度μunion(l,j),其中构成的人头轮廓的联合置信度μunion(l,j)为:
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>u</mi>
<mi>n</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>&mu;</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>c</mi>
<mi>y</mi>
<mi>c</mi>
<mi>l</mi>
<mi>i</mi>
<mi>c</mi>
</mrow>
<mi>j</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>&omega;</mi>
<mn>2</mn>
</msub>
<mi>H</mi>
<mi>C</mi>
<mi>G</mi>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&omega;</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中和μunion(l,j)分别代表候选匹配人头轮廓的共圆置信度和相对于预测人头轮廓的联合置信度,ω1和ω2分别对应为和HCGS(l,j)的权重;(l,j)表示图像中的像素点。
8.根据权利要求1所述的公交车辆客流统计方法,其特征在于,所述步骤S8中人头运动轨迹进行分析包括对人头运动轨迹进行平滑度分析,具体过程如下:
S81、输入人头运动轨迹;
S82、计算人头运动轨迹平滑度,即计算人头运动轨迹中相邻两帧轨迹点之间的距离;
S83、确定步骤S83中计算出的人头运动轨迹平滑度是否满足平滑度阈值,若满足,保留该人头运动轨迹,否则判断为异常状态,舍弃该人头运动轨迹;
S84、输出步骤S83保留的人头运行轨迹,并且显示在图像上;
所述步骤S8中判断出乘客行为的过程如下:以车门出入线作为X轴,出入线垂线为Y轴,车门出入线和垂线的交点为原点;当设定Y轴的正方向朝车外方向,若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势,即人头运行轨迹由上至下,则判断乘客为上车行为,若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势,即人头运行轨迹由下至上,则判断乘客为下车行为;若检测到人头运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内,则判断乘客为上车行为;当设定Y轴的正方向朝车内方向,若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势,即人头运行轨迹由上至下,则判断乘客为下车行为,若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势,即人头运行轨迹由下至上,则判断乘客为上车行为;若检测到人头运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内,则判断乘客为上车行为。
9.一种用于实现权利要求1所述公交车辆客流统计方法的公交车辆客流统计系统,其特征在于,包括第一摄像头、第二摄像头、第一车门开关传感器、第二车门开关传感器、前车门图像处理模块、后车门图像处理模块和整车客流统计模块,其中
第一摄像头,安装在公交车前车门位置,用户获取公交车前车门位置图像;
第二摄像头,安装在公交车后车门位置,用户获取公交车后车门位置图像;
第一车门开关传感器,安装在公交车前车门位置,用于感应公交车前车门的开关;
第二车门开关传感器,安装在公交车后车门位置,用于感应公交车后车门的开关;
前车门图像处理模块,包括:
第一车门出入线识别模块,用于根据第一摄像头获取的图像对公交车前车门出入线进行确定;
第一拟合函数获取模块,用于获取到第一摄像头安装高度和人头大小的拟合函数;
第一人头检测模块,用于使用圆检测方法对第一摄像头获取的图像进行人头检测,获取到图像中的头部特征向量;
第一人头跟踪模块,用于根据第一人头检测模块获取到的头部特征向量,对第一摄像头获取的图像中人头进行跟踪,并且确定第一摄像头获取到的图像中人头运动轨迹;
第一人头运动轨迹分析模块,用于结合公交车前车门出入线对第一摄像头获取到的图像中人头运动轨迹矢量进行分析,判断公交车出前车门的乘客行为;
以及第一客流统计模块,用于根据公交车前车门获取到的乘客行为,统计出公交车前车门双向客流数量;
后车门图像处理模块,包括:
第二车门出入线识别模块,用于根据第二摄像头获取的图像对公交车后车门出入线进行确定;
第二拟合函数获取模块,用于获取到第二摄像头安装高度和人头大小的拟合函数;
第二人头检测模块,用于使用圆检测方法对第二摄像头获取的图像进行人头检测,获取到图像中的头部特征向量;
第二人头跟踪模块,用于根据第二人头检测模块获取到的头部特征向量,对第二摄像头获取的图像中人头进行跟踪,并且确定第二摄像头获取到的图像中人头运动轨迹;
第二人头运动轨迹分析模块,用于结合公交车前车门出入线对第二摄像头获取到的图像中人头运动轨迹矢量进行分析,判断公交车出后车门的乘客行为;
以及第二客流统计模块,用于根据公交车后车门获取到的乘客行为,统计出公交车后车门双向客流数量;
整车客流统计模块,用于对前车门双向客流数量和后车门双向客流数量进行合计,得出整车双向客流数量。
10.根据权利要求9所述的公交车辆客流统计系统,其特征在于,前车门图像处理模块中的第一车门出入线识别模块、第一拟合函数获取模块、第一人头检测模块、第一人头跟踪模块、第一人头运动轨迹分析模块以及第一客流统计模块均嵌入在第一摄像头中,第一摄像头通过外设接口或网络端与智能公交调度平台信号连接;
后车门图像处理模块中的第二车门出入线识别模块、第二拟合函数获取模块、第二人头检测模块、第二人头跟踪模块、第二人头运动轨迹分析模块以及第二客流统计模块嵌入在第二摄像头中,第二摄像头通过外设接口或网络端与智能公交调度平台信号连接;
所述第一摄像头和第二摄像头均扩展有RS485接口,第一摄像头和第二摄像头分别通过RS485接口分别对应与第一车门开关传感器和第二车门开关传感器连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510934747.9A CN105512720B (zh) | 2015-12-15 | 2015-12-15 | 一种公交车辆客流统计方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510934747.9A CN105512720B (zh) | 2015-12-15 | 2015-12-15 | 一种公交车辆客流统计方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105512720A CN105512720A (zh) | 2016-04-20 |
CN105512720B true CN105512720B (zh) | 2018-05-08 |
Family
ID=55720683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510934747.9A Active CN105512720B (zh) | 2015-12-15 | 2015-12-15 | 一种公交车辆客流统计方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105512720B (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228560B (zh) * | 2016-07-28 | 2019-05-14 | 长安大学 | 一种复杂场景下的人数统计方法 |
CN106548451A (zh) * | 2016-10-14 | 2017-03-29 | 青岛海信网络科技股份有限公司 | 一种客车客流拥挤度计算方法和装置 |
CN106778638B (zh) * | 2016-12-19 | 2019-12-13 | 江苏慧眼数据科技股份有限公司 | 一种基于人头检测的客流统计方法 |
CN108241844B (zh) * | 2016-12-27 | 2021-12-14 | 北京文安智能技术股份有限公司 | 一种公交客流统计方法、装置及电子设备 |
CN106874862B (zh) * | 2017-01-24 | 2021-06-04 | 复旦大学 | 基于子模技术和半监督学习的人群计数方法 |
CN108986064B (zh) * | 2017-05-31 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | 一种人流量统计方法、设备及系统 |
CN107330840B (zh) * | 2017-08-07 | 2019-08-13 | 江苏南大苏富特智能交通科技有限公司 | 基于站台视频分析的城市公交客流调查方法及其调查系统 |
CN107610282A (zh) * | 2017-08-21 | 2018-01-19 | 深圳市海梁科技有限公司 | 一种公交客流统计系统 |
CN108038423B (zh) * | 2017-11-22 | 2022-03-04 | 广东数相智能科技有限公司 | 基于图像识别的汽车车型的识别方法及装置 |
CN108280402B (zh) * | 2017-12-27 | 2021-09-24 | 武汉长江通信智联技术有限公司 | 一种基于双目视觉的客流量统计方法及系统 |
CN108345878B (zh) * | 2018-04-16 | 2020-03-24 | 泰华智慧产业集团股份有限公司 | 基于视频的公共交通工具客流量监测方法及系统 |
US10699572B2 (en) | 2018-04-20 | 2020-06-30 | Carrier Corporation | Passenger counting for a transportation system |
CN108647587B (zh) * | 2018-04-23 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 人数统计方法、装置、终端及存储介质 |
CN109285376B (zh) * | 2018-08-09 | 2022-04-19 | 同济大学 | 一种基于深度学习的公交车客流统计分析系统 |
CN109493596A (zh) * | 2018-11-02 | 2019-03-19 | 南京泰晟科技实业有限公司 | 一种准确式人数统计系统 |
CN109871772B (zh) * | 2019-01-21 | 2023-09-29 | 上海数迹智能科技有限公司 | 一种人数的统计方法、装置、存储介质及设备 |
CN111696023B (zh) * | 2019-03-26 | 2021-02-09 | 李建勋 | 多参数并行解析方法 |
CN110298433A (zh) * | 2019-07-09 | 2019-10-01 | 杭州麦乐克科技股份有限公司 | 一种室内人体数量估算装置 |
CN110516600A (zh) * | 2019-08-28 | 2019-11-29 | 杭州律橙电子科技有限公司 | 一种基于人脸检测的公交客流检测方法 |
CN110516602A (zh) * | 2019-08-28 | 2019-11-29 | 杭州律橙电子科技有限公司 | 一种基于单目相机和深度学习技术的公交客流统计方法 |
CN110569819A (zh) * | 2019-09-16 | 2019-12-13 | 天津通卡智能网络科技股份有限公司 | 一种公交车乘客再识别方法 |
CN110633671A (zh) * | 2019-09-16 | 2019-12-31 | 天津通卡智能网络科技股份有限公司 | 基于深度图像的公交车客流实时统计方法 |
CN110930432A (zh) * | 2019-11-19 | 2020-03-27 | 北京文安智能技术股份有限公司 | 一种视频分析方法、装置及系统 |
CN111611974B (zh) * | 2020-06-03 | 2023-06-13 | 广州通达汽车电气股份有限公司 | 车载人脸抓拍方法及系统 |
CN111860261B (zh) * | 2020-07-10 | 2023-11-03 | 北京猎户星空科技有限公司 | 一种客流值的统计方法、装置、设备及介质 |
CN111836235B (zh) * | 2020-07-14 | 2023-02-28 | 北京阿帕科蓝科技有限公司 | 一种共享电单车时间校准方法及车辆时间校准系统 |
CN112434566B (zh) * | 2020-11-04 | 2024-05-07 | 深圳云天励飞技术股份有限公司 | 客流统计方法、装置、电子设备及存储介质 |
CN112381850A (zh) * | 2020-12-04 | 2021-02-19 | 亿嘉和科技股份有限公司 | 柜体表面圆形目标自动分割方法、系统、装置及存储介质 |
CN113052058B (zh) * | 2021-03-19 | 2022-04-19 | 深圳市点创科技有限公司 | 一种车载客流统计方法、装置及存储介质 |
CN113420693B (zh) * | 2021-06-30 | 2022-04-15 | 成都新潮传媒集团有限公司 | 一种门状态检测方法、装置、轿厢乘客流量统计方法及设备 |
CN114743401B (zh) * | 2022-03-23 | 2023-05-09 | 华录智达科技股份有限公司 | 一种基于公交数字化转型的数据可视化公交调度管理平台 |
WO2024144734A1 (en) * | 2022-12-30 | 2024-07-04 | Karsan Otomotiv Sanayi Ve Ticaret Anonim Sirketi | Passenger information/request indication system for vehicles |
CN116503789B (zh) * | 2023-06-25 | 2023-09-05 | 南京理工大学 | 融合轨迹和尺度的公交下车客流检测方法、系统及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201255897Y (zh) * | 2008-09-23 | 2009-06-10 | 长安大学 | 一种公交车人流量监测装置 |
CN103646253A (zh) * | 2013-12-16 | 2014-03-19 | 重庆大学 | 基于乘客多运动行为分析的公交车客流统计方法 |
CN103985182A (zh) * | 2014-05-30 | 2014-08-13 | 长安大学 | 一种公交客流自动计数方法及自动计数系统 |
CN104112309A (zh) * | 2014-08-01 | 2014-10-22 | 西安电子科技大学 | 一种采用视频监控自动记录公交车人流量的装置及方法 |
CN104594147A (zh) * | 2015-01-31 | 2015-05-06 | 北京工业大学 | 一种用于环形快速路网的新型快速公交系统 |
-
2015
- 2015-12-15 CN CN201510934747.9A patent/CN105512720B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201255897Y (zh) * | 2008-09-23 | 2009-06-10 | 长安大学 | 一种公交车人流量监测装置 |
CN103646253A (zh) * | 2013-12-16 | 2014-03-19 | 重庆大学 | 基于乘客多运动行为分析的公交车客流统计方法 |
CN103985182A (zh) * | 2014-05-30 | 2014-08-13 | 长安大学 | 一种公交客流自动计数方法及自动计数系统 |
CN104112309A (zh) * | 2014-08-01 | 2014-10-22 | 西安电子科技大学 | 一种采用视频监控自动记录公交车人流量的装置及方法 |
CN104594147A (zh) * | 2015-01-31 | 2015-05-06 | 北京工业大学 | 一种用于环形快速路网的新型快速公交系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105512720A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105512720B (zh) | 一种公交车辆客流统计方法和系统 | |
CN106373394B (zh) | 一种基于视频和雷达的车辆检测方法及系统 | |
CN106910203B (zh) | 一种视频监测中运动目标的快速检测方法 | |
CN103559791B (zh) | 一种融合雷达和ccd摄像机信号的车辆检测方法 | |
CN103914688B (zh) | 一种城市道路障碍物识别系统 | |
CN107031623B (zh) | 一种基于车载盲区相机的道路预警方法 | |
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
KR100459476B1 (ko) | 차량의 대기 길이 측정 장치 및 방법 | |
CN111368687A (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
CN106541968B (zh) | 基于视觉分析的地铁车厢实时提示系统的识别方法 | |
CN103383733B (zh) | 一种基于半机器学习的车道视频检测方法 | |
CN102867417B (zh) | 一种出租车防伪系统及方法 | |
CN106128121B (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
CN108596129A (zh) | 一种基于智能视频分析技术的车辆越线检测方法 | |
CN102354457B (zh) | 基于广义霍夫变换的交通信号灯位置检测方法 | |
CN104268506A (zh) | 基于深度图像的客流计数检测方法 | |
CN111553201A (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
CN105512623A (zh) | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 | |
CN105184271A (zh) | 一种基于深度学习的车辆自动检测方法 | |
CN105551264A (zh) | 一种基于车牌特征匹配的车速检测方法 | |
CN106778540B (zh) | 停车检测准确的基于双层背景的停车事件检测方法 | |
CN109272482B (zh) | 一种基于序列图像的城市路口车辆排队检测系统 | |
CN110379168A (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
CN109948690A (zh) | 一种基于深度学习和结构信息的高铁场景感知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |