CN102521990B - 一种基于图像处理的智能交通灯的控制方法 - Google Patents

Abstract

一种基于图像处理的智能交通灯的控制方法，该方法依次包括图像采集步骤、图像处理步骤与绿灯控制步骤，使用时，先由图像采集模块采集数字图像信息，再由图像处理模块进行灰度化、去噪处理以得到预处理图像，然后将当前帧预处理图像与最新背景相减以得到差值图，再根据阀值得到黑白二值图，然后进行形态学增强以得到当前帧车流量信息，最后由模糊控制模块根据前一帧车流量信息、当前帧车流量信息以及模糊控制规则得到绿灯时间。本设计灵活性较强、安装使用成本较低、应用范围较广，能够实现高效性、智能性、实用性的交通灯控制。

Description

一种基于图像处理的智能交通灯的控制方法

技术领域

本发明涉及一种智能交通灯的控制方法，尤其涉及一种基于图像处理的智能交通灯的控制方法，具体适用于对智能交通灯实现高效性、智能性、实用性控制。

背景技术

目前，国内使用的交通灯控制方法主要分为定时分配方式、感应式控制方式和监控室控制方式。

定时分配方式是指按照预先设定的配时方案对交通信号进行控制，也称周期控制。定时分配方式所需的设备简单、投资最省、维护方便，是一种广泛采用的基本控制方式，适用于交通流变化比较规律的交通状况。但其缺乏灵活性，如在车辆多的相位易出现车辆堆积，从而造成下一路口的交通堵塞，而在通行时间内某相位无车时，又会出现交通指挥盲点，此外也缺乏紧急车位的考虑。因此定时分配方式的灵活性较差。

感应式控制方式是指在交叉路口进口道上设置车辆检测器，控制信号可随车辆检测器检测到的车流信息而随时改变的一种控制方式。感应信号是可由地感线圈或磁道钉检测到的车流信号，此外，人行过街线附近设置行人过街按钮的行人按钮信号也是一种感应式信号。感应式控制方式常使用于交通流不大且不规律的交通情况，具有一定灵活性，但其控制设备的安装成本大，需定时维护。因此感应式控制方式的安装使用成本较大、应用范围较窄。

监控室控制方式是通过各相位的摄像头视频设备将路口实时交通状况传递到监控室，由人工调控交通灯控制交通状况。监控室控制方式的灵活性较高，但需人工干预，工作量大。因此监控室控制方式的使用成本较大。

中国专利授权公告为CN101799987B，授权公告日为2011年11月9日的发明专利公开了一种智能交通灯的自适应式控制方法，该种交通灯控制方法的原理是利用计算机视觉技术，对车道上的车辆和人行横道处的行人情况进行提取，并根据所提取的情况实现该处交通红绿灯的自动控制。其中包括图像采样模块、图像处理及理解模块、仲裁控制模块以及警示灯显示模块。通过图像采样模块获得当前车辆区域以及行人区域的采集图像；通过背景减获得当前的车辆以及行人的前景部分，再根据提取边缘特征提取车辆，及根据人脸及形体特征提取行人部分，并计算对应区域的车辆及行人密度。若某时车辆等候区域中车辆密度高于某一阈值时，则允许行人通行；若某时行人等候区域内密度高于某一阈值时，则允许车辆通行。若某一时刻车辆密度与行人密度均低于对应另一阈值时，则按照普通情况的等间隔时间变换警示灯信号。虽然该发明特别适用于高峰时期的人流控制，但其着重于通过车辆、行人的密度来控制交通灯，偏重于处理车辆与行人之间的关系，而不能根据车流量的不同对交通灯进行高效与实用的即时控制，灵活性较差；同时，该发明不仅需要额外检测行人信息，增加了工作量，而且需要采取高科技的方法对行人信息进行检测，大大增加了使用成本；再次，该发明依赖车辆、行人之间的密度关系对交通灯进行控制，而现实中交通灯的控制对象却主要是车辆，甚至有些地方只存在车辆，这就会限制该发明的应用范围。

发明内容

本发明的目的是克服现有技术中存在的灵活性较差、安装使用成本较高、应用范围较窄的缺陷与问题，提供一种灵活性较强、安装使用成本较低、应用范围较广的基于图像处理的智能交通灯的控制方法。

为实现以上目的，本发明的技术解决方案是：一种基于图像处理的智能交通灯的控制方法，该控制方法依次包括图像采集步骤、图像处理步骤与绿灯控制步骤；

所述智能交通灯包括图像采集模块、图像处理模块与模糊控制模块，所述图像采集模块包括FPGA系统模块及其上连接的CMOS图像传感器、外围控制设施、LCD显示模块与SDRAM存储器，且在FPGA系统模块内部设置有CMOS控制器与SDRAM控制器；所述图像采集模块执行图像采集步骤，所述图像处理模块执行图像处理步骤，所述模糊控制模块执行绿灯控制步骤；

所述图像采集步骤：先进行系统初始化，即由FPGA系统模块内的CMOS控制器、SDRAM控制器分别初始化CMOS图像传感器与SDRAM存储器，初始化CMOS图像传感器的目的在于配置其内部的寄存器，初始化完成后，由CMOS图像传感器将现场采集的模拟图像信息按设定的RGB图像编码方式转换为由多个像素数据组成的数字图像信息，再由CMOS图像传感器将该数字图像信息以像素数据为单位一个一个的依次输出给FPGA系统模块，同时发出帧同步、场同步、像素输出时钟信号，当FPGA系统模块内的CMOS控制器被帧同步、场同步的逻辑组合信号触发和使能后，CMOS控制器开始利用像素输出时钟信号同步的接收像素数据，每接收数字图像信息的一个像素数据就将接收到的像素数据传递给FPGA系统模块内的SDRAM控制器中，然后由SDRAM控制器将该接收到的像素数据按地址规则存入SDRAM存储器中，当接收到的像素数据的数目达到一帧的总数或下一帧数字图像信息的帧同步、场同步信号出现时，即代表一帧数字图像信息接收的结束，最后由FPGA系统模块按前述的地址规则从SDRAM存储器中读出对应的数字图像信息，并将读出的数字图像信息输入给LCD显示模块和下级的图像处理模块；

所述图像处理步骤：图像处理模块先将来自FPGA系统模块的数字图像信息由RGB形式转化为YUV形式，再提取YUV形式中的Y分量作为亮度信息以得到灰度图，提取公式为：Y＝0.299R＋0.587G＋0.114B，再对灰度图进行去噪处理，即采用3*3区域的滑动窗口对灰度图进行中值滤波以获取平滑图像，去噪处理后即可得到预处理图像，然后以最初的N帧预处理图像为依据，取平均值建立初始背景，N为自然数，并利用后续每一帧预处理图像中的帧信息以及卡尔曼滤波方法对初始背景进行不断更新以获得最新背景，随后，将当前帧预处理图像与依据其前一帧预处理图像更新后的最新背景相减以得到差值图，所述相减是指对应像素点的灰度值的相减，再将差值图中灰度值小于阈值的像素点置黑、灰度值大于阈值的像素点置白以得到黑白二值图，然后对黑白二值图进行形态学增强，即对黑白二值图中分散的白点进行膨胀以便于就近融合成代表一辆车的整块白点，再统计出所有整块白点的数目即可得到当前帧车流量信息，并将该当前帧车流量信息传递给模糊控制模块；

所述绿灯控制步骤：先由模糊控制模块依据前一帧车流量信息、当前帧车流量信息以及模糊控制规则得到绿灯时间，再依据该绿灯时间对交通灯进行控制；所述模糊控制器的输入信息为前一帧车流量信息与当前帧车流量信息，输出信息为绿灯时间，输入信息、输出信息之间的运算方法为模糊控制规则。

所述图像采集步骤中的RGB图像编码方式是指RGB565或RGB422。

所述图像采集步骤中的地址规则是指顺序存储规则或起始地址规则。

所述图像处理步骤中N的的范围为100–300。

所述图像处理步骤中阈值采取OTSU方法确定。

所述绿灯控制步骤中的模糊控制规则如下表所示：

，

表中以很少、少、中、多、很多表示车流量信息，以很短、短、中、长、很长表示绿灯时间。

与现有技术相比，本发明的有益效果为：

1、本发明一种基于图像处理的智能交通灯的控制方法依次包括图像采集步骤、图像处理步骤与绿灯控制步骤，使用时，分别由图像采集模块执行图像采集步骤、图像处理模块执行图像处理步骤、模糊控制模块执行绿灯控制步骤，先由图像采集步骤、图像处理步骤得到车流量信息，再由绿灯控制步骤根据车流量信息对绿灯进行控制，整个过程以即时的车流量信息为基础，进行即时的绿灯控制，具有较强的灵活性。其中，图像采集步骤中图像采集模块自身的清晰度及其图像处理速度能够确保实时处理较高分辨率的图像信息，即使在光线与天气多变、数据量比较大的情况下也能实时、较好的工作，从而满足实时、高效的控制要求；图像处理步骤中采取的处理算法能适应模糊图像，便于鉴别不同的车流量，从而提高实时分析的效果；绿灯控制步骤中的模糊控制模块不仅可在简单的单双行路口下根据图像处理信息进行实时调节，还可在复杂的十字路口下实现多相位、变相序调节，只需调整模糊控制规则即可。因此本发明的灵活性较强，能够实现高效性、智能性、实用性的交通灯控制。

2、本发明一种基于图像处理的智能交通灯的控制方法中配套使用的硬件设施主要包括图像采集模块、图像处理模块与模糊控制模块，图像采集模块包括FPGA系统模块及其上连接的CMOS图像传感器、外围控制设施、LCD显示模块与SDRAM存储器，不仅结构简单，而且采取高度集成精简性设计，大大降低了安装成本；同时，在安装后的使用过程中，整体操作由事先设定的程序进行，不需大量的人工配合，大大降低了使用成本。因此本发明的安装使用成本较低。

3、本发明一种基于图像处理的智能交通灯的控制方法中以即时的车流量信息为基础对交通灯进行控制，而不像对比文件必须要同时具备车辆、行人的密度信息才能对交通灯进行控制，因而具有较强的适应性；而且，本发明中采用的图像采集模块、图像处理模块、模糊控制模块的实时性与灵活性都较强，具有很好的抗干扰性，能够适应不同时段、区域、天气条件下的路况，再次扩大了本发明的适应范围；再次，本发明不仅可在单点模式下根据图像处理信息进行实时调节，还可在区域模式下，和其他从机一起同步受主机控制，从而实现区域联网，此时，各个单点模式下的从机并不完全根据局部的车流量信息来进行控制，而是将各节点的车流信息发送到服务器，由服务器统筹控制整个区域的交通，从而实现区域内交通流量的最优化，进一步的扩大了本发明的应用范围。因此本发明的应用范围较广。

附图说明

图1是本发明的流程示意图。

图2是本发明中图像采集模块的结构示意图。

图3是本发明的实施例中当前帧预处理图像的示意图。

图4是本发明的实施例中最新背景的示意图。

图5是本发明的实施例中差值图的示意图。

图6是本发明的实施例中黑白二值图的示意图。

图7是车流量信息对应的五个等级的隶属函数图。

图8是绿灯时间信息对应的五个等级的隶属函数图。

具体实施方式

以下结合附图说明和具体实施方式对本发明作进一步详细的说明。

参见图1–图8，一种基于图像处理的智能交通灯的控制方法，该控制方法依次包括图像采集步骤、图像处理步骤与绿灯控制步骤；

所述智能交通灯包括图像采集模块、图像处理模块与模糊控制模块，所述图像采集模块包括FPGA系统模块及其上连接的CMOS图像传感器、外围控制设施、LCD显示模块与SDRAM存储器，且在FPGA系统模块内部设置有CMOS控制器与SDRAM控制器；所述图像采集模块执行图像采集步骤，所述图像处理模块执行图像处理步骤，所述模糊控制模块执行绿灯控制步骤；

所述图像采集步骤：先进行系统初始化，即由FPGA系统模块内的CMOS控制器、SDRAM控制器分别初始化CMOS图像传感器与SDRAM存储器，初始化CMOS图像传感器的目的在于配置其内部的寄存器，初始化完成后，由CMOS图像传感器将现场采集的模拟图像信息按设定的RGB图像编码方式转换为由多个像素数据组成的数字图像信息，再由CMOS图像传感器将该数字图像信息以像素数据为单位一个一个的依次输出给FPGA系统模块，同时发出帧同步、场同步、像素输出时钟信号，当FPGA系统模块内的CMOS控制器被帧同步、场同步的逻辑组合信号触发和使能后，CMOS控制器开始利用像素输出时钟信号同步的接收像素数据，每接收数字图像信息的一个像素数据就将接收到的像素数据传递给FPGA系统模块内的SDRAM控制器中，然后由SDRAM控制器将该接收到的像素数据按地址规则存入SDRAM存储器中，当接收到的像素数据的数目达到一帧的总数或下一帧数字图像信息的帧同步、场同步信号出现时，即代表一帧数字图像信息接收的结束，最后由FPGA系统模块按前述的地址规则从SDRAM存储器中读出对应的数字图像信息，并将读出的数字图像信息输入给LCD显示模块和下级的图像处理模块；

所述图像处理步骤：图像处理模块先将来自FPGA系统模块的数字图像信息由RGB形式转化为YUV形式，再提取YUV形式中的Y分量作为亮度信息以得到灰度图，提取公式为：Y＝0.299R＋0.587G＋0.114B，再对灰度图进行去噪处理，即采用3*3区域的滑动窗口对灰度图进行中值滤波以获取平滑图像，去噪处理后即可得到预处理图像，然后以最初的N帧预处理图像为依据，取平均值建立初始背景，N为自然数，并利用后续每一帧预处理图像中的帧信息以及卡尔曼滤波方法对初始背景进行不断更新以获得最新背景，随后，将当前帧预处理图像与依据其前一帧预处理图像更新后的最新背景相减以得到差值图，所述相减是指对应像素点的灰度值的相减，再将差值图中灰度值小于阈值的像素点置黑、灰度值大于阈值的像素点置白以得到黑白二值图，然后对黑白二值图进行形态学增强，即对黑白二值图中分散的白点进行膨胀以便于就近融合成代表一辆车的整块白点，再统计出所有整块白点的数目即可得到当前帧车流量信息，并将该当前帧车流量信息传递给模糊控制模块；

所述绿灯控制步骤：先由模糊控制模块依据前一帧车流量信息、当前帧车流量信息以及模糊控制规则得到绿灯时间，再依据该绿灯时间对交通灯进行控制；所述模糊控制器的输入信息为前一帧车流量信息与当前帧车流量信息，输出信息为绿灯时间，输入信息、输出信息之间的运算方法为模糊控制规则。

所述图像采集步骤中的RGB图像编码方式是指RGB565或RGB422。

所述图像采集步骤中的地址规则是指顺序存储规则或起始地址规则。

所述图像处理步骤中N的的范围为100–300。

所述图像处理步骤中阈值采取OTSU方法确定。

所述绿灯控制步骤中的模糊控制规则如下表所示：

，

表中以很少、少、中、多、很多表示车流量信息，以很短、短、中、长、很长表示绿灯时间。

本发明的原理说明如下：

1、顺序存储规则或起始地址规则：这两种规则都是一帧图像在SDRAM存储器中存储的地址规则，其目的在于方便后级的处理。顺序存储规则：将采集的每一帧图像按地址递增的顺序存储在SDRAM存储器中。起始地址规则：规定每帧图像的起始地址，存储每帧图像时以这个规定的起始地址开始存储一帧图像，下一帧再跳转到下一个起始地址存储，然后根据存储的图像的大小来提取出需要的图像。

2、将来自FPGA系统模块的数字图像信息由RGB形式转化为YUV形式的原因：

第一，转换之后处理的数据量变为之前的1/3，可以加快程序的处理速度。第二，转变成YUV格式之后才能保留图像的亮度信息，这也正是程序需要用到的色彩分量。

3、中值滤波的效果：

中值滤波可以将图像变的平滑，消除图像中的噪点，有利于之后步骤提取车流量信息。

4、所述车流量信息、绿灯时间信息的确定：

本发明中的模糊控制规则是一个表格，表格中以很少、少、中、多、很多表示车流量信息，以很短、短、中、长、很长表示绿灯时间。车流量信息和绿灯时间都分为五个等级，这五个等级的隶属函数图分别如图7和图8所示。图7中很少、很多符合高斯分布函数，少、中、多符合三角函数。图8中很短、很长符合高斯分布函数，短、中、长符合三角函数。

实施例：该实施例涉及的智能交通灯包括图像采集模块、图像处理模块与模糊控制模块，所述图像采集模块包括FPGA系统模块及其上连接的CMOS图像传感器、外围控制设施、LCD显示模块与SDRAM存储器，且在FPGA系统模块内部设置有CMOS控制器与SDRAM控制器；所述图像采集模块执行图像采集步骤，所述图像处理模块执行图像处理步骤，所述模糊控制模块执行绿灯控制步骤。

参见图1，一种基于图像处理的智能交通灯的控制方法，该控制方法依次包括图像采集步骤、图像处理步骤与绿灯控制步骤；

所述图像采集步骤：参见图2，先进行系统初始化，即由FPGA系统模块内的CMOS控制器、SDRAM控制器分别初始化CMOS图像传感器与SDRAM存储器，初始化CMOS图像传感器的目的在于配置其内部的寄存器，初始化完成后，由CMOS图像传感器将现场采集的模拟图像信息按设定的RGB图像编码方式（RGB565或RGB422）转换为由多个像素数据组成的数字图像信息，再由CMOS图像传感器将该数字图像信息以像素数据为单位一个一个的依次输出给FPGA系统模块，同时发出帧同步、场同步、像素输出时钟信号，当FPGA系统模块内的CMOS控制器被帧同步、场同步的逻辑组合信号触发和使能后，CMOS控制器开始利用像素输出时钟信号同步的接收像素数据，每接收数字图像信息的一个像素数据就将接收到的像素数据传递给FPGA系统模块内的SDRAM控制器中，然后由SDRAM控制器将该接收到的像素数据按地址规则（顺序存储规则或起始地址规则）存入SDRAM存储器中，当接收到的像素数据的数目达到一帧的总数或下一帧数字图像信息的帧同步、场同步信号出现时，即代表一帧数字图像信息接收的结束，最后由FPGA系统模块按前述的地址规则从SDRAM存储器中读出对应的数字图像信息，并将读出的数字图像信息输入给LCD显示模块和下级的图像处理模块；

所述图像处理步骤：图像处理模块先将来自FPGA系统模块的数字图像信息由RGB形式转化为YUV形式，再提取YUV形式中的Y分量作为亮度信息以得到灰度图，提取公式为：Y＝0.299R＋0.587G＋0.114B，再对灰度图进行去噪处理，即采用3*3区域的滑动窗口对灰度图进行中值滤波以获取平滑图像，去噪处理后即可得到预处理图像，然后以最初的100–300帧预处理图像为依据，取平均值（灰度值的平均值）建立初始背景，并利用后续每一帧预处理图像中的帧信息以及卡尔曼滤波方法对初始背景进行不断更新以获得最新背景，随后，将当前帧预处理图像（参见图3）与依据其前一帧预处理图像更新后的最新背景（参见图4）相减以得到差值图（参见图5），所述相减是指对应像素点的灰度值的相减，再将差值图中灰度值小于阈值的像素点置黑、灰度值大于阈值的像素点置白以得到黑白二值图（参见图6），阈值采取OTSU方法确定，然后对黑白二值图进行形态学增强，即对黑白二值图中分散的白点进行膨胀以便于就近融合成代表一辆车的整块白点，再统计出所有整块白点的数目即可得到当前帧车流量信息，并将该当前帧车流量信息传递给模糊控制模块；

所述绿灯控制步骤：先由模糊控制模块依据前一帧车流量信息、当前帧车流量信息以及模糊控制规则得到绿灯时间，再依据该绿灯时间对交通灯进行控制；所述模糊控制器的输入信息为前一帧车流量信息与当前帧车流量信息，输出信息为绿灯时间，输入信息、输出信息之间的运算方法为模糊控制规则；

所述绿灯控制步骤中的模糊控制规则如下表所示：

，

表中以很少、少、中、多、很多表示车流量信息，以很短、短、中、长、很长表示绿灯时间。

在实际使用中，本发明绿灯控制步骤得到的绿灯时间常与绿灯的时间限制（最大绿灯时间）配合使用，其目的主要是为了给模糊控制规则一个限制，避免出现虽然可能提高交通流量，但绿灯时间过长或过短造成交通事故的情况。 

Claims (6)

1.一种基于图像处理的智能交通灯的控制方法，该控制方法依次包括图像采集步骤、图像处理步骤与绿灯控制步骤，其特征在于：

所述智能交通灯包括图像采集模块、图像处理模块与模糊控制模块，所述图像采集模块包括FPGA系统模块及其上连接的CMOS图像传感器、外围控制设施、LCD显示模块与SDRAM存储器，且在FPGA系统模块内部设置有CMOS控制器与SDRAM控制器；所述图像采集模块执行图像采集步骤，所述图像处理模块执行图像处理步骤，所述模糊控制模块执行绿灯控制步骤；

所述图像采集步骤：先进行系统初始化，即由FPGA系统模块内的CMOS控制器、SDRAM控制器分别初始化CMOS图像传感器与SDRAM存储器，初始化CMOS图像传感器的目的在于配置其内部的寄存器，初始化完成后，由CMOS图像传感器将现场采集的模拟图像信息按设定的RGB图像编码方式转换为由多个像素数据组成的数字图像信息，再由CMOS图像传感器将该数字图像信息以像素数据为单位一个一个的依次输出给FPGA系统模块，同时发出帧同步、场同步、像素输出时钟信号，当FPGA系统模块内的CMOS控制器被帧同步、场同步的逻辑组合信号触发和使能后，CMOS控制器开始利用像素输出时钟信号同步的接收像素数据，每接收数字图像信息的一个像素数据就将接收到的像素数据传递给FPGA系统模块内的SDRAM控制器中，然后由SDRAM控制器将该接收到的像素数据按地址规则存入SDRAM存储器中，当接收到的像素数据的数目达到一帧的总数或下一帧数字图像信息的帧同步、场同步信号出现时，即代表一帧数字图像信息接收的结束，最后由FPGA系统模块按前述的地址规则从SDRAM存储器中读出对应的数字图像信息，并将读出的数字图像信息输入给LCD显示模块和下级的图像处理模块；

所述图像处理步骤：图像处理模块先将来自FPGA系统模块的数字图像信息由RGB形式转化为YUV形式，再提取YUV形式中的Y分量作为亮度信息以得到灰度图，提取公式为：Y＝0.299R＋0.587G＋0.114B，再对灰度图进行去噪处理，即采用3*3区域的滑动窗口对灰度图进行中值滤波以获取平滑图像，去噪处理后即可得到预处理图像，然后以最初的N帧预处理图像为依据，取平均值建立初始背景，N为自然数，并利用后续每一帧预处理图像中的帧信息以及卡尔曼滤波方法对初始背景进行不断更新以获得最新背景，随后，将当前帧预处理图像与依据其前一帧预处理图像更新后的最新背景相减以得到差值图，所述相减是指对应像素点的灰度值的相减，再将差值图中灰度值小于阈值的像素点置黑、灰度值大于阈值的像素点置白以得到黑白二值图，然后对黑白二值图进行形态学增强，即对黑白二值图中分散的白点进行膨胀以便于就近融合成代表一辆车的整块白点，再统计出所有整块白点的数目即可得到当前帧车流量信息，并将该当前帧车流量信息传递给模糊控制模块；

所述绿灯控制步骤：先由模糊控制模块依据前一帧车流量信息、当前帧车流量信息以及模糊控制规则得到绿灯时间，再依据该绿灯时间对交通灯进行控制；所述模糊控制模块的输入信息为前一帧车流量信息与当前帧车流量信息，输出信息为绿灯时间，输入信息、输出信息之间的运算方法为模糊控制规则。

2.根据权利要求1所述的一种基于图像处理的智能交通灯的控制方法，其特征在于：所述图像采集步骤中的RGB图像编码方式是指RGB565或RGB422。

3.根据权利要求1所述的一种基于图像处理的智能交通灯的控制方法，其特征在于：所述图像采集步骤中的地址规则是指顺序存储规则或起始地址规则。

4.根据权利要求1所述的一种基于图像处理的智能交通灯的控制方法，其特征在于：所述图像处理步骤中N的的范围为100–300。

5.根据权利要求1所述的一种基于图像处理的智能交通灯的控制方法，其特征在于：所述图像处理步骤中阈值采取OTSU方法确定。

6.根据权利要求1所述的一种基于图像处理的智能交通灯的控制方法，其特征在于：所述绿灯控制步骤中的模糊控制规则如下表所示：

，

表中以很少、少、中、多、很多表示车流量信息，以很短、短、中、长、很长表示绿灯时间。

Images