CN103077617A - 基于计算机视觉的人行横道智能交通灯监管系统及方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的人行横道智能交通灯监管系统及方法。该系统摄像机摆位采用同时采集车辆和行人信息的方法，使得该系统所需的摄像机总数仅为两架，该系统以CCD摄像机获取的人行横道处的视频作为处理对象，自动检测等待过横道的行人和车辆的数量，同时根据检测到的行人和车辆的数量信息，通过神经网络算法对交通信号灯的显示时间进行自动设定和切换，使行人和车辆以较优方式通过横道处的路口，达到人行横道处的交通系统的智能化管理。

Description

基于计算机视觉的人行横道智能交通灯监管系统及方法

技术领域

本发明涉及一种计算机视觉技术领域的智能系统，具体是一种基于计算机视觉的人行横道智能交通灯监管系统及方法。

背景技术

随着城市化的进展和社会经济的快速发展，交通运输问题日益严重，道路车辆拥挤，交通事故频发，交通环境恶化。当今的道路系统并没有被充分地利用起来，在某些时候仍存在着没有行人通过但却有大量车辆在等待通过，或者是没有车辆通过却有大量行人在等待通过，这两种情况。交通系统就像是一个锁链，而人行横道等处的路口都是组成该锁链的一环，任何一环出现问题都会影响到整条锁链的功能。所以，要想使道路系统被充分的利用起来、实现交通系统的智能化，就必须先实现每个路口管理的智能化。

目前，交通信号灯的控制常采用传统的电子元件定时循环显示技术或人工控制显示技术（需要行人按下特殊的按钮），已经不适合当前交通快速发展的要求。为了实现对交通信号灯的智能控制，需要对等待通过十字路口的行人与车辆的信息进行比较准确的采集、分析和处理。而计算机视觉技术正成为当今智能交通系统的前沿技术。

基于计算机视觉的智能交通信号灯的核心部分是计算策略和算法的实现，目前，对人行横道处的静止行人的数量统计常用的方法有：基于运动特性的方法；基于形状信息的方法；基于行人模型；结构元素的方法；立体视觉的方法；神经网络方法；基于计算机视觉的方法（背景差和相邻帧差法）等。而对人行横道处处路口的车辆的数量统计常用的方法有：感应线圈方法（环型线圈检测器、地磁检测器、电磁检测器）；利用反射回波的原理检测车辆（微波检测器、超声波检测器）；红外线探测法（通过反射频率的变化进行对所需数据的检测）；磁映像技术；压力传感器法（在距交通楼口一定距离处埋设压力传感器）；基于运行噪声的检测方法；基于计算机视觉的检测方法（背景差法）等。各种方法都有一定的局限性，并没有系统有效的方法。

发明内容

本发明的目的在于提供一种基于计算机视觉的人行横道智能交通灯监管系统及方法，实现对人行横道处的交通信号灯的智能控制。

本发明的技术方案为：

基于计算机视觉的人行横道智能交通灯监管系统，包括两架CCD摄像机和计算机图像处理系统；所述计算机图像处理系统通过接口与摄像机相连；所述两架CCD摄像机安装于人行横道的两端；所述两架CCD摄像机的视场角包含对面的等待行人区域和斜对面的车辆区域。

前述的基于计算机视觉的人行横道智能交通灯监管系统的监管方法，包括以下步骤：

1）检测人行横道处的行人数量；

2）检测人形横道处的车辆数量；

3）根据获取的行人和车辆的数量信息对交通信号灯的显示时间进行自动设定和切换。

前述步骤1）人行横道处的行人数量的检测包括以下步骤：

1-1）对视频图像中的图像进行行人等待区域的分割和光线自适应强度预处理；

1-2）采用高斯混合背景模型的方法得到等人行横道处人区域的前景图，去噪后进行竖直积分投影，得到等人行横道处人区域的竖直积分投影图；

1-3）划定阈值线，大于阈值的线点为人头潜在区域，否则为非人头潜在区域；

1-4）划定人头潜在区域的阈值去除干扰点；

1-5）对有效竖直区域的宽度和高度进行统计，确定一个人所占的宽度和高度；

1-6）将每块有效竖直区域的宽度和高度与获取的此次检测中一个人所占的宽度和高度进行比较，确定该区域所含人数；

1-7）将统计出的每块有效竖直区域内的行人的数量都加起来，作为本次检测所获取的最终的人行横道处的行人的数量。

前述步骤1-2）中，竖直积分投影V为，

$V_{\left(i\right)}=\underset{i=1}{\overset{H}{\mathrm{\Σ}}}P(i,j),j=\mathrm{1,2},\·\·\·,W,$

其中P(i,j)表示前景图与i位置对应的像素值为0的象素点数，W为预处理的图像的宽度，H为预处理的图像的高度。

前述步骤1-3）中划定阈值线是根据竖直方向的积分投影的分布情况自适应的找到一个合理的阈值Threshold，

$\mathrm{Threshold}=\mathrm{\α}\×\underset{i=1}{\overset{W}{\mathrm{\Σ}}}{V}_{\left(i\right)}\·P_i,$

其中P_i为V_(i)，i∈[1,W]的概率，α为比例因子，α∈[0.6,1]。

前述步骤1-4）中的阈值为20像素。

前述步骤2）中人行横道处的车辆数量的检测包括以下步骤：

2-1）对视频图像中的图像进行车辆等待区域的分割；

2-2）对人形横道处车辆区域再进行划线分区处理，得到位于上方的大车车顶区域、位于下方的小车及大车车底区域；

2-3）通过对人行横道处大车车顶区域图像的处理，得到人行横道处大车数量，步骤为，

2-3-1）将当前帧与基于码本的背景模型比较，得到人行横道处大车车顶区域前景；

2-3-2）对得到的前景进行连通域去噪处理，包括利用形态学开操作去除噪声，利用闭操作重建边缘并找到大轮廓；

2-3-3）对得到的图像中的大轮廓进行统计，得到大车数量；

2-4）对人行横道处小车及大车车底区域图像进行处理，步骤为，

2-4-1）将当前帧与由快速背景更新法得到的背景做差，并对差分后的图像进行二值化，得到人行横道处小车及大车车底区域前景；

2-4-2）对得到的前景进行连通域去噪处理，包括利用形态学开操作去除小噪声，利用闭操作重建边缘并找到大轮廓；

2-4-3）把大车车底当做小车处理，对整个车道从远到近画扫描线，使每辆小型车辆覆盖相同条数的扫描线；

2-4-4）计算每条扫描线上位于位于步骤2-3-2）所得到的大轮廓内的像素点数，其与该条扫描线上总像素点数的比值为R，如果比值R大于阈值T，则该扫描线覆盖了车辆，统计R大于阈值T的扫描线的条数；

2-5）根据得到的大车数量、统计的覆盖车辆的扫描线的条数，以及大车与小车车身长度的关系计算人行横道处车辆数目，

设当前检测区域一个行车方向有并行的n排车道，一辆小型车辆覆盖x条扫描线，一辆大型车辆车身长度等于y辆小型车辆车身长度，统计得到覆盖车辆的扫描线条数N，大型车辆数量M，则总车辆数目为；

$\frac{N}{x}\×n-M\×y+M$

前述步骤2-4-1）中快速背景更新法的初始阶段，采用混合高斯背景模型提取第一幅背景，在第一幅背景的基础上更新出新背景。

前述步骤2-4-4）中的阈值T为40%。

前述步骤3）中对交通信号灯的显示时间进行自动设定和切换是指基于BP神经网络构建系统，输入行人和车辆数目，则系统输出交通灯显示时间，包括以下步骤：

3-1）使用可靠样本点训练输入为行人和车辆数目而输出为交通灯显示时间的神经网络；

3-2）将获取的人行横道处的行人和车辆数量信息输入训练完毕的神经网络，得到交通信号灯显示时间，并在出现极限情况时做极限处理。

前述步骤3-2）中极限处理是指，根据具体情况设定绿灯的最小显示时间，所述最小显示时间大于0秒；设定红灯的显示时间小于100秒。

前述BP神经网络选择正切S型传递函数和线性传递函数。

本发明采用混合高斯背景模型和二值图的垂直积分投影等相结合的办法，对人行横道处的行人进行检测与分析，同时采用基于码本的背景模型和快速背景更新法与分区法、划扫描线相结合的办法，对人行横道处处路口的车辆进行检测与分析，最终以获取的行人和车辆的数量信息作为依据，并结合神经网络的算法，实现对人行横道处的交通信号灯的智能控制。

附图说明

图1为本发明的系统中CCD摄像机安装布局图；

图2为本发明的系统的工作流程示意图；

图3为本发明行人检测工作流程图；

图4为本发明车辆检测工作流程图；

图5为本发明神经网络预测控制流程图；

图6为本发明神经网络人流时间预测系统示意图；

图7为本发明神经网络车流时间预测系统示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1和图2所示，基于计算机视觉的人行横道智能交通灯监管系统包括摄像机，计算机网线接口和计算机图像处理系统，计算机图像处理系统通过计算机网线接口与摄像机相连；摄像机摆位采用同时采集车辆和行人信息的方法，该系统的摄像机为CCD摄像机，且仅为两架，摄像机一1和摄像机二2。两架摄像机安装于人行横道的两端，图1中两条较粗线之间为摄像机一1的视场角覆盖的范围，两条细线之间为摄像机二2的视场角覆盖的范围，每架摄像机的视场角均包含对面的等待行人区域和斜对面的待行与继续过来的运动车辆区域，两架便可以采集横道口所有的车辆和行人信息。其中，人性横道的两端为等待行人区域，箭头所指区域为运动车辆区域。

如图2所示，基于本系统的监管方法包括以三个部分：人行横道处的行人数量的检测、人行横道处的车辆数量的检测以及根据获取的行人和车辆的数量信息对交通信号灯的显示时间进行自动设定和切换。

第一部分，人行横道处的行人数量的检测。

如图3所示，人行横道处的行人数量的检测方法为：取视频图像中得到的图像进行行人等待区域的分割和光线强度自适应变化等预处理、采用基于高斯混合背景模型方法得到统计时刻的等待行人区域的前景图并对其进行预处理，基于竖直积分投影的方法对去噪后的前景图进行处理以获得行人等待区域的竖直积分投影图，通过对行人等待区域的竖直积分投影图的处理和信息统计最终获得人行横道待通过行人的数目。

其中，获得行人等待区域的竖直积分投影图的具体内容是：设预处理得到大小为W*H（W为图像宽度，H为图像高度）的二值图G，这时的背景和部分目标区域均变为零，而且二值图中，竖直方向上像素点数较多的部分基本来自人体的头部所在的竖直区域部分，基于这样的分析，根据图G竖直方向的积分投影来确定人头所在的竖直区域，记V表示图G的竖直方向的积分投影,V是一个W维向量，其中

$V_{\left(i\right)}=\underset{i=1}{\overset{H}{\mathrm{\Σ}}}P(i,j),j=\mathrm{1,2},\·\·\·,W,$

P(i,j)表示前景图像与i位置对应的像素值为0的象素点数。

其中，通过对行人等待区域的竖直积分投影图的处理和信息统计，最终获得人行横道待通过行人的数目具体包括以下步骤：

（1）划定阈值线，根据竖直方向的积分投影的分布情况自适应的找到一个合理的阈值，方法是：统计V_(i)，i∈[1,W]的概率分布，记V_(i)，i∈[1,W]的概率为P_i，阈值取为：

即阈值取向量V的统计均值一部分，其中α为一比例因子，α∈[0.6,1]，其值与采集图像的亮度相关，由统计得到的当前图像的灰度直方图计算得到；确定阈值后，大于阈值线点的为人头潜在区域的点，剩余的点即为非人头潜在区域的点，将非人头潜在区域的点去除。

（2）对人头潜在区域划定阈值，将宽度太小的竖直区域作为干扰点去除，本发明中阈值的经验值为20像素；

（3）对有效竖直区域的宽度和高度进行统计，确定一个人所占的宽度和高度：对有效竖直区域的宽度和高度进行统计，先求出最小的宽度和高度，再在此基础上，由与最小值相差不大的几个值的平均值决定此次检测中一个人所占的宽度和高度；

（4）将每块有效竖直区域的宽度和高度与获取的此次检测中一个人所占的宽度和高度进行比较，确定该区域所含人数：

当某一个区域的宽度或高度超过获取的此次检测中一个人所占的宽度或高度一定的阈值时，则认为该竖直区域内不只有一个行人，根据阈值的不同确定该区域的最终人数，该阈值的设定需要根据实际的路口情况和摄像机架设的位置进行测定，本发明中阈值的经验值为阈值高度为12像素，阈值宽度为17像素。具体统计每块竖直区域所含人数多少的方法为：一块竖直区域超过一个人所占的宽度和高度均在阈值允许范围内仍认为该区域算作只包含一个行人；一块竖直区域超过一个人所占的宽度和高度的值在阈值允许范围外时，仅宽度超过一个人所占的宽度则认为该区域包含两个行人，仅高度超过一个人所占的高度则认为该区域包含两个行人，若宽度和高度均超过一个人所占的宽度和高度则认为该区域包含四个行人。

（5）将统计出的每块有效竖直区域内的行人的数量都加起来，作为本次检测所获取的最终的人行横道处的行人的数量。

第二部分，人行横道处的车辆数量的检测。

如图4所示，人行横道处的车辆数量的检测具体来说包含以下步骤：

（1）对摄像机捕获的视频图像进行切割，得到感兴趣区域，区域中包括人行横道处的大型车辆和小型车辆；

（2）对人行横道处车辆区域进行划线分区，得到位于感兴趣区域上部的大车车顶区域、位于感兴趣区域下部的小车及大车车底区域；

（3）通过对人行横道处大车车顶区域图像的处理，得到人行横道处大车数量；

3-1)将当前帧与基于码本的背景模型比较，得到人行横道处大车车顶区域前景;

3-2)对得到的前景进行连通域去噪处理，包括利用形态学开操作去除小噪声，利用闭操作重建边缘部分并找到足够大部分的轮廓；

3-3)对得到的图像中的轮廓进行统计，得到大车数量。

（4）对人行横道处小车及大车车底区域图像进行处理，此时把大车车底当做小车处理；

4-1）将当前帧与由快速背景更新法得到的背景做差，并对差分后的图像进行二值化，得到人行横道处小车及大车车底区域前景。快速背景更新法的初始阶段，采用混合高斯背景模型提取第一幅背景，在第一幅背景的基础上更新出新背景；

4-2）对得到的前景进行连通域去噪处理，包括利用形态学开操作去除小噪声，利用闭操作重建边缘部分并找到足够大部分的轮廓；

4-3）对连通域去噪后的图像，采用扫描线法进行处理；

对于整个车道，从远到近每间隔一段距离画一条扫描线，间隔距离根据经验而定，但应该保证远处的扫描线间隔距离小，近处的扫描线间隔距离大，从而使每辆小型车辆覆盖相同条数的扫描线；计算每条扫描线上位于步骤4-2）中得到的大轮廓区域内的像素点数，其与该条扫描线上总像素点数的比值为R；当扫描线扫过车道上有车区域时，比值R接近100%，当扫过无车区域时，比值R接近0，统计比值R>阈值T的扫描线条数，认为这些扫描线覆盖了车辆。

（5）根据得到的大车数量、统计的覆盖车辆的扫描线条数，以及大车与小车车身长度的关系计算人行横道处车辆数目，

设当前检测区域一个行车方向有并行的n排车道，一辆小型车辆覆盖x条扫描线，一辆大型车辆车身长度近似于y辆小型车辆车身长度，统计得到覆盖车的扫描线条数N，大型车辆数量M，则总车辆数大约等于

$\frac{N}{x}\×n-M\×y+M$

第三部分，根据获取的行人和车辆的数量信息对交通信号灯的显示时间进行自动设定和切换，主要是指基于BP神经网络构建系统，输入行人和车辆数目，则系统输出交通灯显示时间，包括以下步骤：

a使用可靠样本点训练输入为行人和车辆数目而输出为交通灯显示时间的神经网络；

b将获取的人行横道处的行人和车辆数量信息输入训练完毕的神经网络，得到交通信号灯显示时间，并当该时间出现极限情况时做极限处理。

其控制流程如图5所示，具体来说有以下部分组成：

（1）基于BP神经网络的人流时间系统设计

等待过人行横道线的行人可以分为2类情况，第一类为骑自行车（或电动车）的行人，第二类为步行者。输入层节点数一般等于要训练的样本矢量维数，可以是原始数据的维数或提取的特征维数，故等待过人行横道线的行人BP神经网络时间系统输入层m=2，即表示输入层需要输入两个参数[a;b]，a为当前等待的骑自行车或电动车的数量，b为当前等待的步行者数量。如：等待过人行横道线的骑自行车数量a=3，等待过人行横道线的步行者数量b=7，则可表示输入为[3;7]。

输出层节点数一般取要拟合的函数输出空间维数，故行人BP神经网络时间系统输出层n=1，即输出层输出一个参数，表示当前等待行人过人行横道线所需的绿灯时间T1。根据经验可以参照以下公式进行设计：

l=8；故综上所述，输入层m=2，隐含层l=8，输出层n=1，如图6所示。

依据人流数目对交通信号灯的影响，选择正切S型传递函数和线性传递函数。TF1='tansig'；TF2='purelin'；TFi分别为第i（i=1，2，3，┅，N）层的传递函数。

（2）基于BP神经网络的车流时间系统设计

等待过人行横道的机动车BP神经网络时间系统输入层m=1，输出层n=1，，如图7所示。同理，由经验公式可得l=7。输入层m=1，即表示输入层需要一个参数[a]，a为当前等待过人行横道的车辆数目，如a=7辆。同理，输出层n=1，即表示输出层输出一个参数[T2]，T2为当前车辆通过人行横道绿灯所需时间，如T2=45秒，如图7所示。

依据车辆数目对交通信号灯的影响，选择正切S型传递函数和线性传递函数。TF1='tansig'；TF2='purelin'；TFi分别为第i（i=1，2，3，┅，N）层的传递函数。

（3）显示时间的最小值与最大值问题

考虑到车辆与人数量检测有可能存在的误差，不能把显示时间的最小值定位0秒。在环境等的影响下，如果有1人在等待过马路，而系统未能识别，就有可能出现此人不能过马路的现象，所以需要根据不同的路口，设定不同的最小显示时间。

每个人都有焦虑着急的情绪，如果红灯等待时间过长，容易出现行人闯红灯，司机精神不集中等不良情绪状况，故显示时间不能太长。据有关研究表示，红灯等待时间不能长于90或100秒，本发明中，设定红灯显示时间的最大值为90秒。

（4）人流和车流时间系统的更新

现如今城市机动车数量不断增加，城市交通设施的建设，城市客、货流的流源、流向和流量以及公共交通等问题，都会使得在不同时期相同车数或人数所需绿灯时间的不同。故需要对交通信号灯显示时间做更新。

Claims (12)

1.基于计算机视觉的人行横道智能交通灯监管系统，其特征在于：包括两架CCD摄像机和计算机图像处理系统；所述计算机图像处理系统通过接口与摄像机相连；所述两架CCD摄像机安装于人行横道的两端；所述两架CCD摄像机的视场角包含对面的等待行人区域和斜对面的车辆区域。 

2.根据权利要求1所述的基于计算机视觉的人行横道智能交通灯监管系统的监管方法，其特征在于：包括以下步骤 

1）检测人行横道处的行人数量； 

2）检测人形横道处的车辆数量； 

3）根据获取的行人和车辆的数量信息对交通信号灯的显示时间进行自动设定和切换。 

3.根据权利要求2所述的监管方法，其特征在于：所述步骤1）人行横道处的行人数量的检测包括以下步骤： 

1-1）对视频图像中的图像进行行人等待区域的分割和光线自适应强度预处理； 

1-2）采用高斯混合背景模型的方法得到等人行横道处人区域的前景图，去噪后进行竖直积分投影，得到等人行横道处人区域的竖直积分投影图； 

1-3）划定阈值线，大于阈值的线点为人头潜在区域，否则为非人头潜在区域； 

1-4）划定人头潜在区域的阈值去除干扰点； 

1-5）对有效竖直区域的宽度和高度进行统计，确定一个人所占的宽度和高度； 

1-6）将每块有效竖直区域的宽度和高度与获取的此次检测中一个人所占的宽度和高度进行比较，确定该区域所含人数； 

1-7）将统计出的每块有效竖直区域内的行人的数量都加起来，作为本次检测所获取的最终的人行横道处的行人的数量。 

4.根据权利要求3所述的监管方法，其特征在于：所述步骤1-2）中，竖直积 分投影V为， 

其中P(i,j)表示前景图与i位置对应的像素值为0的象素点数，W为预处理的图像的宽度，H为预处理的图像的高度。 

5.根据权利要求3所述的监管方法，其特征在于：所述步骤1-3）中划定阈值线是根据竖直方向的积分投影的分布情况自适应的找到一个合理的阈值 

Threshold， 

其中P_i为V_(i)，i∈[1,W]的概率，α为比例因子，α∈[0.6,1]。 

6.根据权利要求3所述的监管方法，其特征在于：所述步骤1-4）中的阈值为20像素。 

7.根据权利要求2所述的监管方法，其特征在于：所述步骤2）中人形横道处的车辆数量的检测包括以下步骤： 

2-1）对视频图像中的图像进行车辆等待区域的分割； 

2-2）对人形横道处车辆区域再进行划线分区处理，得到位于上方的大车车顶区域、位于下方的小车及大车车底区域； 

2-3）通过对人行横道处大车车顶区域图像的处理，得到人行横道处大车数量，步骤为， 

2-3-1）将当前帧与基于码本的背景模型比较，得到人行横道处大车车顶区域前景； 

2-3-2）对得到的前景进行连通域去噪处理，包括利用形态学开操作去除噪声，利用闭操作重建边缘并找到大轮廓； 

2-3-3）对得到的图像中的大轮廓进行统计，得到大车数量； 

2-4）对人行横道处小车及大车车底区域图像进行处理，步骤为， 

2-4-1）将当前帧与由快速背景更新法得到的背景做差，并对差分后的图像进行二值化，得到人行横道处小车及大车车底区域前景； 

2-4-2）对得到的前景进行连通域去噪处理，包括利用形态学开操作去除小噪声，利用闭操作重建边缘并找到大轮廓； 

2-4-3）把大车车底当做小车处理，对整个车道从远到近画扫描线，使每辆小型车辆覆盖相同条数的扫描线； 

2-4-4）计算每条扫描线上位于步骤2-4-2）所得到的大轮廓内的像素点数，其与该条扫描线上总像素点数的比值为R，如果比值R大于阈值T，则该扫描线覆盖了车辆，统计R大于阈值T的扫描线的条数； 

2-5）根据得到的大车数量、统计的覆盖车辆的扫描线的条数，以及大车与小车车身长度的关系计算人行横道处车辆数目， 

设当前检测区域一个行车方向有并行的n排车道，一辆小型车辆覆盖x条扫描线，一辆大型车辆车身长度等于y辆小型车辆车身长度，统计得到覆盖车辆的扫描线条数N，大型车辆数量M，则总车辆数目为 

。

8.根据权利要求7所述的监管方法，其特征在于：所述步骤2-4-4）中的阈值T为40%。 

9.根据权利要求7所述的监管方法，其特征在于：所述步骤2-4-1）中快速背景更新法的初始阶段，采用混合高斯背景模型提取第一幅背景，在第一幅背景的基础上更新出新背景。 

10.根据权利要求2所述的监管方法，其特征在于：所述步骤3）中对交通信号灯的显示时间进行自动设定和切换是指基于BP神经网络构建系统，输入行人和车辆数目，则系统输出交通灯显示时间，包括以下步骤： 

3-1）使用可靠样本点训练输入为行人和车辆数目而输出为交通灯显示时间的神经网络； 

3-2）将获取的人行横道处的行人和车辆数量信息输入训练完毕的神经网络，得到交通信号灯显示时间，并在出现极限情况时做极限处理。 

11.根据权利要求10所述的监管方法，其特征在于：所述步骤3-2）中极限处理是指，根据具体情况设定绿灯的最小显示时间，所述最小显示时间大于0秒；设定红灯的显示时间小于100秒。 

12.根据权利要求10所述的监管方法，其特征在于：所述BP神经网络选择正切S型传递函数和线性传递函数。 

Images