CN105631411A - 一种基于视频分析的公交车拥挤度计算方法 - Google Patents

Abstract

本发明公开了一种基于视频分析的公交车拥挤度计算方法，包括以下步骤：（1）、获取公交车内监控视频图像信息；（2）、采用帧间差法检测车厢中后部的覆盖区域，统计车厢中后部的覆盖区域占车厢中后部的比例；（3）、采用梯度法检测车厢前部的覆盖区域，统计车厢前部的覆盖区域占车厢前部的比例；（4）、根据车厢中后部的覆盖区域占车厢中后部的比例和车厢前部的覆盖区域占车厢前部的比例判断公交车拥挤度。本发明的基于视频分析的公交车拥挤度计算方法，通过对图像分析得出公交车拥挤程度，更加接近实际拥挤程度，采用纯视频分析，节省生产和实施成本；对检测区域进行小区域划分，使结果更合理化。

Description

一种基于视频分析的公交车拥挤度计算方法

技术领域

本发明属于图像处理技术领域，具体的所，涉及一种基于视频分析的公交车拥挤度计算方法。

背景技术

目前的公交车实时调度方案中，主要依据在线车辆实时返回位置信息，后端平台通过观察前后车辆分布情况，对在线车辆发布调整命令，实现线路内公交车的合理分布。但是对于当前线路的客流高峰和低谷时段，依然是通过经验设定。在非高峰期并不能实际解决车辆的合理调配。

对于公交线路，一直是通过人为统计分析设定，大多城市的公交线路多年来并没有改变，随着城市的高度发展，市民人数不断增加，当前已定的线路已经不能完全满足市民需要，再做相应调整势必需要耗费大量的人力和时间。

无论是实时调度还是线路调整，都需要有公交车载客情况的统计信息。行业内现有的实时载客情况检查方法主要有三种，基于射频卡，基于红外线和基于双目视频。

基于射频卡的方法虽然精确度高，但是对于投币乘客无法正确统计，且当前国内公交车几乎全部是上客打卡，因此基于射频卡的统计方法只能对当日当前线路客流进行统计，并不能得到实时的载客信息。因此对于后台的统计应用指导意义不大。

基于红外线的检测方法也较为普遍，分别在上下车门处设置红外感应装置，每过一个乘客，红外线被切断一次，通过两个感应线来确定方向，以此统计上下客人数，获得实时载客情况。但是此方法的明显缺点是在客流高峰期，乘客上下客过程中没有缝隙，导致感应线检测准确度大大降低。

基于双目视频的方法较为少见，多用在商场和枢纽监控分析。且由于双目视频分析需要消耗大量的CPU和内存资源，多用于PC平台，对于车载设备负担过大。

发明内容

本发明为了解决现有公交车拥挤度统计不精准，采用视频分析需要消耗大量CPU和内存资源、不能适用于车载设备的问题，提出了一种基于视频分析的公交车拥挤度计算方法，可以解决上述问题。

为了解决上述技术问题，本发明采用以下技术方案予以实现：

一种基于视频分析的公交车拥挤度计算方法，包括以下步骤：

(1)、获取公交车内监控视频图像信息；

(2)、采用帧间差法检测车厢中后部的覆盖区域，统计车厢中后部的覆盖区域占车厢中后部的比例；

(3)、采用梯度法检测车厢前部的覆盖区域，统计车厢前部的覆盖区域占车厢前部的比例；

(4)、根据车厢中后部的覆盖区域占车厢中后部的比例和车厢前部的覆盖区域占车厢前部的比例判断公交车拥挤度。

进一步的，所述步骤(2)中，包括以下子步骤：

(21)、对视频图像做帧间差计算，做帧间差的两帧图像之间的间隔为N帧，获得M副帧间差图像，其中，M、N为正整数；

(22)、将所述M副帧间差图像分别做二值运算，得到M副帧间差二值图像；

(23)、对所述帧间差图像划定上半检测区域，将所述上半检测区域划分为若干个子区域，分别统计所述M副帧间差二值图像各子区域中有效点的个数，并计算有效点在其所在子区域的占比P；

(24)、将所述占比P与第一阈值Q1相比较，若占比P大于或等于第一阈值Q1，则判断该子区域为覆盖区域，否则，为非覆盖区域；

(25)、计算所有帧间差图像上半检测区域中的覆盖区域占上半检测区域所有子区域的平均占比数F(r)。

进一步的，所述步骤(3)中，包括以下子步骤：

(31)、对公交车内监控视频各帧图像划定下半检测区域，将所述下半检测区域划分为若干个子区域，对公交车内监控视频各帧图像的子区域分别做梯度计算，得到梯度值G；

(32)、将所述梯度值G与第二阈值Q2相比较，若梯度值G大于或等于第二阈值Q2，则判断该子区域为覆盖区域，否则，为非覆盖区域；

(33)、计算公交车内监控视频各帧图像下半检测区域中的覆盖区域占下半检测区域所有子区的平均占比数T(r)。

进一步的，所述步骤(4)中，若F(r)或者T(r)位于取值区间[0,A1),则将其判断为不拥挤；

若F(r)或者T(r)位于取值区间[A1,A2),则将其判断为较拥挤；

若F(r)或者T(r)位于取值区间[A2,1],则将其判断为拥挤；

若T(r)判断为不拥挤，则公交车判断为不拥挤；

若T(r)和F(r)均判断为拥挤，则公交车判断为拥挤；

若T(r)判断为拥挤，F(r)判断为较拥挤或者不拥挤，则公交车判断为较拥挤；

若F(r)判断为拥挤，T(r)判断为较拥挤，则公交车判断为较拥挤。

进一步的，在所述步骤(1)之前，还包括检测车辆是否已经离站的步骤：通过GPS业务获得当前车辆位置判断当前车辆是否离站，若已经离站，执行获取公交车内监控视频图像信息步骤。

进一步的，所述步骤(31)中，对公交车内监控视频各帧图像的子区域做梯度计算的方法为：

采用sobel算子求取公交车内监控视频各帧图像的子区域x向和y向一阶偏导数，s_x为x方向的sobel算子，s_y为y方向的sobel算子，G_x[i,j]为第[i,j]点在x方向的梯度值，G_y[i,j]为第[i,j]点在y方向的梯度值，G[i,j]为第[i,j]点的梯度值，所述sobel算子为：

梯度幅值计算方法为：

G_x[i,j]＝s_x*K[i,j]

G_y[i,j]＝s_y*K[i,j]

进一步的，所述步骤(31)中，对公交车内监控视频各帧图像的子区域做梯度计算的方法还包括计算第[i,j]点的梯度方向θ[i,j]的步骤：

查找与所述梯度方向θ[i,j]反向且与第[i,j]点相邻近的点，并且查找出该相邻近点的像素值，将该相邻近点的像素值与第三阈值Q3相比较，若该相邻近点的像素值大于第三阈值Q3，则舍弃第[i,j]点的梯度值G[i,j]。

与现有技术相比，本发明的优点和积极效果是：本发明的基于视频分析的公交车拥挤度计算方法，基于公交车内采集的视频信息，通过对图像分析得出公交车拥挤程度，更加接近实际拥挤程度，采用纯视频分析，节省生产和实施成本；对检测区域进行小区域划分，使结果更合理化，并且根据车辆的车厢情况，自动选择合理的小区域划分。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所提出的基于视频分析的公交车拥挤度计算方法的一种实施例流程图；

图2是本发明所提出的基于视频分析的公交车拥挤度计算方法的一种实施例中上半检测区域划分示意图；

图3是本发明所提出的基于视频分析的公交车拥挤度计算方法的一种实施例中下半检测区域划分示意图；

图4是本发明所提出的基于视频分析的公交车拥挤度计算方法的一种实施例中任一图像点相邻点示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，本实施例提出了一种基于视频分析的公交车拥挤度计算方法，如图1所示，包括以下步骤：

S1、获取公交车内监控视频图像信息；

S2、采用帧间差法检测车厢中后部的覆盖区域，统计车厢中后部的覆盖区域占车厢中后部的比例；

S3、采用梯度法检测车厢前部的覆盖区域，统计车厢前部的覆盖区域占车厢前部的比例；

S4、根据车厢中后部的覆盖区域占车厢中后部的比例和车厢前部的覆盖区域占车厢前部的比例判断公交车拥挤度。

其中，公交车中的摄像头一般安装在车头位置顶部，朝向车中后部位置拍摄，对于以该种角度安装的摄像头所拍摄的视频图像中，位于图像上方位置的为公交车中后部，位于图像下方位置的应为公交车的前部位置，远离摄像头的中后部由于角度原因，反应在二维图像中更接近于梯形形状，而靠近摄像头的前部在图像中更与方形形状接近，由于本实施例统计车辆的拥挤度，按照常规车辆设置以及人们乘车习惯，公交车辆两侧为座椅，中间为过道，若人员拥挤，会站立在中间过道里，因此，对图像分析时，采用划定统计区域的方式，也就是说，只对图像中的过道位置处进行统计分析，以减小计算量，本实施例中，通过将公交车前部和中后部分别采用不同的算法处理，使得检测方法更加合理，下面，以该种角度拍摄的视频为例进行说明。

所述步骤S2中，包括以下子步骤：

S21、对视频图像做帧间差计算，做帧间差的两帧图像之间的间隔为N帧，获得M副帧间差图像，其中，M、N为正整数；为确保差分结果明显，不使用相邻帧进行运算，而使用多帧作为间隔，这样乘客细微的移动都容易被检测到。对每个获得的差分结果，进行检测区域内分块分析，统计得到乘客在车厢中后半部分的分布情况。

S22、将所述M副帧间差图像分别做二值运算，得到M副帧间差二值图像；

S23、对所述帧间差图像划定上半检测区域，将所述上半检测区域划分为若干个子区域，分别统计所述M副帧间差二值图像各子区域中有效点的个数，并计算有效点在其所在子区域的占比P；由于相机的角度问题，划定上半检测区域表现为梯形，车厢在图像上表现为远小近大，如图2所示，最外围框为整幅图像，图像内的梯形框即为划定上半检测区域，本实施例将区域线性等分为8个子区域。根据差分结果在每个子区域内的占比决定是否覆盖该区域，得到乘客覆盖小区域总数。方法如下：

图像使用灰度级别，差分结果相应也为灰度，为方便分析，对结果图像进行二值化处理，根据经验设定二值化的阈值为20，对于灰度值大于20的像素统一赋值为255，灰度值小于20的像素统一赋值为0，则对于二值化后的图像，像素值等于255的点即为有效点。通过提前设定可知每个子区域的总点数为已知，因此可以求得有效点在其所在子区域的占比P。

S24、将所述占比P与第一阈值Q1相比较，若占比P大于或等于第一阈值Q1，则判断该子区域为覆盖区域，否则，为非覆盖区域；例如，根据大量的数据统计得出第一阈值Q1为0.18，即占比P>0.18表示覆盖区域，否则未覆盖。

S25、计算所有帧间差图像上半检测区域中的覆盖区域占上半检测区域所有子区域的平均占比数F(r)。

通过采用帧间差法检测车厢中后部的覆盖区域，主要检测乘客头部移动情况，判断车厢后部乘客分布。

所述步骤S3中，采用梯度计算的方式，由于车厢地板在图像上表现为纯色，所以对每一帧图像，在划定的下半区域可以进行梯度计算，检测乘客分布。包括以下子步骤：

S31、对公交车内监控视频各帧图像划定下半检测区域，将所述下半检测区域划分为若干个子区域，对公交车内监控视频各帧图像的子区域分别做梯度计算，得到梯度值G；与上半检测区域检测方法类似，下半检测区域分为几个子区域，通过梯度信息在小区域内的占比情况，判断是否覆盖该小区域，以此统计车厢前半部分的乘客分布情况。如图3所示，为本实施例中划定的下半检测区域示意图，最外围的大框为整幅图像，位于内侧的梯形框的即为划定的下半检测区域，本实施例将该下半检测区域线性等分为8个子区域。

S32、将所述梯度值G与第二阈值Q2相比较，若梯度值G大于或等于第二阈值Q2，则判断该子区域为覆盖区域，否则，为非覆盖区域；下半检测区域判断覆盖方法与帧差法类似，不过由于梯度数据为边缘信息，占比较少，例如本实施例中，根据大量的统计数据得出第二阈值Q2为0.09，即G>0.09表示覆盖区域，否则未覆盖。

S33、计算公交车内监控视频各帧图像下半检测区域中的覆盖区域占下半检测区域所有子区的平均占比数T(r)。

所述步骤S4中，若F(r)或者T(r)位于取值区间[0,A1),则将其判断为不拥挤；

若F(r)或者T(r)位于取值区间[A1,A2),则将其判断为较拥挤；

若F(r)或者T(r)位于取值区间[A2,1],则将其判断为拥挤；

若T(r)判断为不拥挤，则公交车判断为不拥挤；

若T(r)和F(r)均判断为拥挤，则公交车判断为拥挤；

若T(r)判断为拥挤，F(r)判断为较拥挤或者不拥挤，则公交车判断为较拥挤；

若F(r)判断为拥挤，T(r)判断为较拥挤，则公交车判断为较拥挤。

在实际情况下，车厢大小并不是一定的，且相对于当前监控相机的限制，过大的车厢也无法通过单一相机监控，根据大车厢或是小车厢，检测区域的划分也不同，大车厢划分12个子区域，小车厢划分8个子区域,拥挤程度和覆盖小区域数目对应关系设定如表1所示：

	不拥挤	较拥挤	拥挤
				小车厢	0-4	5-6	7-8
大车厢	0-7	8-10	11-12

表1

为了防止一些突发状况等外界因素的干扰，在步骤S25中还包括对所有帧间差图像所统计的覆盖区域进行排序的步骤，去除掉排在首位的若干幅帧间差图像不参与计算F(r)。

根据上述方法，例如，得到一段视频内(根据时间限定设置为50帧)帧差结果。做帧间差的两帧图像之间的间隔为15帧，帧差结果实际为35个，为去除个别特殊帧的影响，对结果(覆盖区域个数)进行排序，去掉前8和后8个，即最大的8个结果和最小的8个结果，得到平均结果F(r)；

同样，在步骤S33中，还包括对公交车内监控视频所有图像下半检测区域中的覆盖区域进行排序的步骤，同样以上述例子说明，公交车内监控视频所有图像共50帧，对各帧做梯度计算，共得到50个梯度结果，为去除个别特殊帧的影响，对结果(覆盖区域个数)进行排序，去掉前8和后8个，即最大的8个结果和最小的8个结果，得到平均结果T(r)。

在所述步骤S1之前，还包括检测车辆是否已经离站的步骤：通过GPS业务获得当前车辆位置判断当前车辆是否离站，若已经离站，执行获取公交车内监控视频图像信息步骤。由于公交车到站时上下车人员流动性大，图像分析难度较大，通过离站后，人员基本站定，这时候对图像分析，精确度高，减少人员流动对结果造成的影响。

所述步骤S31中，对公交车内监控视频各帧图像的子区域做梯度计算的方法优选采用sobel算法，包括：

采用sobel算子求取公交车内监控视频各帧图像的子区域x向和y向一阶偏导数，s_x为x方向的sobel算子，s_y为y方向的sobel算子，G_x[i,j]为第[i,j]点在x方向的梯度值，G_y[i,j]为第[i,j]点在y方向的梯度值，G[i,j]为第[i,j]点的梯度值，所述sobel算子为：

梯度幅值计算方法为：

G_x[i,j]＝s_x*K[i,j]

G_y[i,j]＝s_y*K[i,j]

当具有太阳强光照射时，由于车窗框遮挡等，产生阴影，容易对梯度检测时造成误判，导致检测结果偏差大，为了减小光照对图像结果的影响，所述步骤S31中，对公交车内监控视频各帧图像的子区域做梯度计算的方法还包括计算第[i,j]点的梯度方向θ[i,j]的步骤：

查找与所述第[i,j]点的梯度方向θ[i,j]反向且与第[i,j]点相邻近的点，并且查找出该相邻近点的像素值，将该相邻近点的像素值与第三阈值Q3相比较，若该相邻近点的像素值大于第三阈值Q3，则舍弃第[i,j]点的梯度值G[i,j]。对于第[i,j]点，根据求得的梯度方向(由高亮度指向低亮度)，可求得其反向相邻点即位于高亮度区域，找到源图像中的相应点，分析该相邻点的像素值，也即亮度值，若该相邻点的像素值大于第三阈值Q3，则说明为复杂光照环境对梯度的影响，舍弃第[i,j]点的梯度。通过以上操作，可以过滤光照边缘，以消除复杂光照环境对梯度的影响，提高空车厢时的识别准确率。

由于利用反三角函数直接计算角度导致计算量很大，为了减小计算量，如图4所示，为第[i,j]点及其相邻点的示意图，由图4可知，第[i,j]点共有8个相邻点，其角度方向分别为[0°,45°,90°,135°,180°,225°,270°,315°]，由于第[i,j]点的梯度方向θ[i,j]可能是0～360°范围的任一角度，因此，将0～360°分别以上述8个角度方向为中心划分为8个方向区间，如表2所示：

其中，方向定义1-8分别对应8个方向：[0°,45°,90°,135°,180°,225°,270°,315°]，也即，检测到θ[i,j]位于其中一区间时，其所对应的相邻点即为方向定义中所对应的8个相邻点之一。

为方便运算，将角度计算变换为乘法运算，根据角度公式进行变换：

G_y[i,j]＝G_x[i,j]*tanθ

先求出22.5°及67.5°的正切值为常数TG225≈0.4142135623；

TG675＝2+TG225；

对于第[i,j]点的梯度方向θ[i,j]，本实施例中不直接计算θ[i,j]的角度，而是先计算θ[i,j]的正切值tanθ，通过将|tanθ|与TG225和TG675相比较，确定θ[i,j]的初步方向，然后根据tanθ的符号(正值或者负值)确定其最终方向。对应关系如表3所示：

方向数值(x，y)	<TG225	>TG675	其他
				<0,<0	5	7	6
<0,>0	5	3	4
				>0,<0	1	7	8
>0,>0	1	3	2

表3

由于算法中对图像的遍历操作较多，如果始终对源图像进行遍历操作，非常耗时，因此在划定区域后，可根据划定区域生成ROI区域的MASK图像，记为M(x)，对每一幅图像S(x)都进行如下操作：

S(x)&M(x)

经过上述区域限定，不论是保存时的内存消耗还是运算时的CPU消耗都会大大降低。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (7)

1.一种基于视频分析的公交车拥挤度计算方法，其特征在于，包括以下步骤：

(1)、获取公交车内监控视频图像信息；

(2)、采用帧间差法检测车厢中后部的覆盖区域，统计车厢中后部的覆盖区域占车厢中后部的比例；

(3)、采用梯度法检测车厢前部的覆盖区域，统计车厢前部的覆盖区域占车厢前部的比例；

(4)、根据车厢中后部的覆盖区域占车厢中后部的比例和车厢前部的覆盖区域占车厢前部的比例判断公交车拥挤度。

2.根据权利要求1所述的基于视频分析的公交车拥挤度计算方法，其特征在于，所述步骤(2)中，包括以下子步骤：

(21)、对视频图像做帧间差计算，做帧间差的两帧图像之间的间隔为N帧，获得M副帧间差图像，其中，M、N为正整数；

(22)、将所述M副帧间差图像分别做二值运算，得到M副帧间差二值图像；

(23)、对所述帧间差图像划定上半检测区域，将所述上半检测区域划分为若干个子区域，分别统计所述M副帧间差二值图像各子区域中有效点的个数，并计算有效点在其所在子区域的占比P；

(24)、将所述占比P与第一阈值Q1相比较，若占比P大于或等于第一阈值Q1，则判断该子区域为覆盖区域，否则，为非覆盖区域；

(25)、计算所有帧间差图像上半检测区域中的覆盖区域占上半检测区域所有子区域的平均占比数F(r)。

3.根据权利要求1所述的基于视频分析的公交车拥挤度计算方法，其特征在于，所述步骤(3)中，包括以下子步骤：

(31)、对公交车内监控视频各帧图像划定下半检测区域，将所述下半检测区域划分为若干个子区域，对公交车内监控视频各帧图像的子区域分别做梯度计算，得到梯度值G；

(32)、将所述梯度值G与第二阈值Q2相比较，若梯度值G大于或等于第二阈值Q2，则判断该子区域为覆盖区域，否则，为非覆盖区域；

(33)、计算公交车内监控视频各帧图像下半检测区域中的覆盖区域占下半检测区域所有子区的平均占比数T(r)。

4.根据权利要求1-3任一项所述的基于视频分析的公交车拥挤度计算方法，其特征在于，所述步骤(4)中，若F(r)或者T(r)位于取值区间[0,A1),则将其判断为不拥挤；

若F(r)或者T(r)位于取值区间[A1,A2),则将其判断为较拥挤；

若F(r)或者T(r)位于取值区间[A2,1],则将其判断为拥挤；

若T(r)判断为不拥挤，则公交车判断为不拥挤；

若T(r)和F(r)均判断为拥挤，则公交车判断为拥挤；

若T(r)判断为拥挤，F(r)判断为较拥挤或者不拥挤，则公交车判断为较拥挤；

若F(r)判断为拥挤，T(r)判断为较拥挤，则公交车判断为较拥挤。

5.根据权利要求1-3任一项所述的基于视频分析的公交车拥挤度计算方法，其特征在于，在所述步骤(1)之前，还包括检测车辆是否已经离站的步骤：通过GPS业务获得当前车辆位置判断当前车辆是否离站，若已经离站，执行获取公交车内监控视频图像信息步骤。

6.根据权利要求1所述的基于视频分析的公交车拥挤度计算方法，其特征在于，所述步骤(31)中，对公交车内监控视频各帧图像的子区域做梯度计算的方法为：

采用sobel算子求取公交车内监控视频各帧图像的子区域x向和y向一阶偏导数，s_x为x方向的sobel算子，s_y为y方向的sobel算子，G_x[i,j]为第[i,j]点在x方向的梯度值，G_y[i,j]为第[i,j]点在y方向的梯度值，G[i,j]为第[i,j]点的梯度值，所述sobel算子为：

$s_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],s_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

梯度幅值计算方法为：

G_x[i,j]＝s_x*K[i,j]

G_y[i,j]＝s_y*K[i,j]

$G\[i,j\]=\sqrt{G_x{\[i,j\]}^2+G_y{\[i,j\]}^2}.$

7.根据权利要求6所述的基于视频分析的公交车拥挤度计算方法，其特征在于，所述步骤(31)中，对公交车内监控视频各帧图像的子区域做梯度计算的方法还包括计算第[i,j]点的梯度方向θ[i,j]的步骤：

$\mathrm{\θ}\[i,j\]=\arctan \left(\frac{G_y\[i,j\]}{G_x\[i,j\]}\right)$

查找与所述梯度方向θ[i,j]反向且与第[i,j]点相邻近的点，并且查找出该相邻近点的像素值，将该相邻近点的像素值与第三阈值Q3相比较，若该相邻近点的像素值大于第三阈值Q3，则舍弃第[i,j]点的梯度值G[i,j]。