CN102142197A - 基于全方位计算机视觉的智能交通信号灯控制装置 - Google Patents

Abstract

一种基于全方位计算机视觉的智能交通信号灯控制装置，包括安装在路口中间上方的用于获取整个路口交通状态全景视频图像的摄像装置、用于根据摄像装置的全景视频数据进行检测路口等候通过车辆的排队长度和出口的拥堵状态、决定信号灯控制策略以及控制信号灯切换动作的微处理器，根据检测各相位入口的车辆排队长度以及出口处的拥堵状态来确定各相位的信号灯控制策略对交通信号灯进行智能控制，使路口有良好的秩序，减少或完全消除可能引起交通事故的冲突点，并使得路口的运行指标最佳。

Description

基于全方位计算机视觉的智能交通信号灯控制装置

技术领域

本发明属于全方位视觉传感器技术、数字图像处理技术和嵌入式系统在信号灯控制方面的应用，尤其是一种基于全方位计算机视觉的智能交通信号灯控制装置在智能交通方面的应用。

背景技术

当今交通问题已经成为全球性的“城市通病”，而交通拥堵是城市“交通病症”的主要表现。解决城市交通拥堵的“病因”必须从多方面着手，比如为出行者提供实时的动态交通诱导和静态交通诱导的信息，另外采用优秀的智能化交通信号灯的控制装置也能有效的缓解交通拥堵现状。

目前交通信号灯一般都是根据路口车辆的多少预设固定的红绿灯转换周期，对于城际主干道路采用绿波带的控制策略来设定信号灯的转换周期。由于道路上的路况千变万化，这种缺乏实时检测道路路况来控制交通信号灯的方式在某些情况下会极大地降低交通效率，比如在某一路口的出口处发生拥堵时再开放相对应的入口通行的信号会引起更大面积的道路拥堵；比如在某一路口的入口处的等候通过路口的车辆排队长度远远超过该路口的其他入口处的等候通过路口的车辆排队长度情况下仍然采用固定的信号灯转换周期会使得某一行驶方向道路上的交通发生更大规模的拥堵。总之，这种缺乏实时检测道路路况来控制交通信号灯的方式显然不适应目前智能交通的基本要求。

交通信息采集技术被认为是智能交通中一项重中之重的关键技术，目前常用的交通信息采集技术有地感线圈、磁敏传感器、超声波传感器、微波、GPS和视觉传感器；由于地感线圈、磁敏、超声波、微波等交通信息检测传感器需要埋设在道路地下面，安装与维护时必须破坏原有路面，影响了道路交通，同时我国的道路由于车辆的超载等原因造成的路面损坏必须时常对埋在道路下面的传感器进行维护；另外这些检测手段只能感知出道路上的某个点或者某条线上的所经过的车辆，因此只能在传感器的设置地点的通过车辆的速度间接地推定拥堵状况；因此上述的检测手段存在着安装维护不方便、投资成本高、抗干扰能力差和感知范围有限等缺陷。视觉传感器则是一种非接触式的交通流检测手段，它模拟人类视觉原理，融合计算机技术和图像处理技术，通过视频信号来检测交通流，是近年来逐步发展起来的新型道路交通检测系统。但是目前对道路交通状态的视频检测普遍采用分析跟踪道路上车辆的检测和统计方法，这种检测方法需要花费很大计算资源，使得一般的嵌入式系统无法胜任其检测计算工作。另外，目前采用的摄像机由于视觉范围有限，难以获得道路上较大范围内交通状态视频图像，尤其是在十字路口整个全景视频图像方面。

中国发明专利申请号为201010152473.5公开了基于图像处理的交通信号智能控制系统及方法，该系统采用4个对道路4个方向拍摄视频图像的CCD图像传感器，根据4个图像传感器拍摄的道路情况分析车流量大小，然后根据车流量的大小来控制信号灯的转换时间周期。该专利有多处技术没有公开披露，比如采用何种方法分析车流量，如何将判断某车道上的车流量大小等等重要细节，一般来说，按照专利文件中的说明通过对图像的二值化处理是不能直接获得车流量信息的；此外这种信号灯控制方法存在着一定缺陷，通过车流量来直接控制信号灯在某些情况下会失效，比如通过路口所有方向的车流量相等情况下在某一个车道上等候通过的车辆排队长度远超过其他车道情况；另外，没有检测某一路口的出口处是否发生拥堵，使得在该情况发生时信号灯的控制部分或者完全失效；问题关键是没有直接检测路况，即道路的拥堵状态，严格意义上来说，检测车流量于检测道路的拥堵状态是两个不同的概念。另外，该专利的实施需要在道口上安装4个图像传感器和4个图像分析处理器，实施成本比较高，同时也会出现4个视觉传感器的图像信息的融合问题。

中国发明专利申请号为200610017561.8公开了一种自适应交通信号灯智能控制方法及实现该方法的装置，该发明主要通过车辆探测器获取道口有车/无车状态来实现对信号灯的控制。由于这种车辆探测器只能获得某一条线上的信息，造成了道路状态信息的不充分，即无法同时探测到路口所有出口和入口的拥堵状态或者车辆排队长度，使得在某种情况下信号灯的自适应控制失效。

中国发明专利申请号为201010023041.4公开了一种交通信号灯智能控制系统及其控制方法，该发明通过图像处理方式获得车辆图像的边缘特征，然后根据边缘特征来识别车辆的排队长度，这种检测方法有一个致命的弱点，边缘信息表征是某一条轮廓线，而用它来代替整个车道面的检测会造成大量的误检测，比如道路上的裂缝、遗弃物和横穿的自行车都有可能成为检测的边缘信息；此外，该发明没有提出根据路口的交通状态实施不同的信号灯控制策略以及对道路出口处的检测和控制信号灯的方法。

其他一些中国发明专利，如申请号为200710303841.X的基于地感线圈的防拥堵交通信号灯控制系统、申请号为200710303843.9的采用地感线圈检测路口拥堵状态的简易方法及采用这种方法的交通信号灯控制系统，一般来说，地感线圈只能检测出道路上某一条线上有无车辆，而对于信号灯的控制希望能得到整个路口的交通状态信息，另外，这种接触式的感知方式对路面不友好且需要经常维护。

实时、准确的交通流信息采集可以使智能交通系统及时获得交通状况信息，对交通状况进行有效管理，并发出诱导信息，从而自动调节车流，减少车辆在道路顺畅时在红灯前停留的时间，安排疏导交通、肇事报故等。预测未来的交通量和道路交通状况，为制定交通规划、道路网规划提供依据。智能交通管理在交通控制、交通管理决策等诸多方面都要实现由定性分析到定量研究，这种质的飞跃所依据的交通信息就包括了交通流采集的动态信息。此外，通过对交通数据和交通状况信息的分析，可以广泛开展城市交通的理论研究，进行各种工程设施、管理设施实施情况的前后对比，判断交通措施的效果等。总之，提高采集的交通流数据的准确性和实时性，对城市交通管理和城市道路建设都十分重要，对构建以人为本的、节能的和谐社会有着非常积极的意义。

一种优秀的信号灯控制装置设计必须遵循6个原则：1)必须根据路口的交通状态实施不同的信号灯控制策略，且有优先顺序；2)检测的可靠性高、检测的面要广、能同时实时检测路口所有车道的入口和出口状态；3)维护和实施方便；4)具有较高的性价比，便于在嵌入式系统上实现；5)能作为城市交通状态的检测点；6)在路口发生异常情况时能直接将异常信息+时间信息+空间位置信息并同现场的图像信息通过通信网络发送给交通管理部门，以便交警及时处理交通事故以及疏导交通。

对交叉口实行信号控制的基本目标是：用灯色信号合理分配入口车道通行权，指挥交通流的通行或停止，使路口有良好的秩序，减少或完全消除可能引起交通事故的冲突点，并使得路口的运行指标最好。常用的信号控制效果的评价指标有：延误时间、平均排队长、平均起停次数、通行能力。交通信号控制的评价函数可以由设计者根据需要进行选择。

在设计信号等控制策略时有三个重要参数必须考虑，信号灯周期、绿信比和相位差；理想情况下一个信号灯周期长应该设置为每一个相位的绿灯时间刚好使该相位各入口处等待车队放行完毕；交通信号控制的目标就是合理分配各相位的绿灯时间(绿信比)，尽量使各方向停车次数、等待延误时间减至最小；相位差是相邻路口同一相位绿灯(或红灯)起始时间之差，是对一条干线上的交通流或一个网络内的交通流进行控制的重要参量，绿波带的控制策略就是基于相位差的控制。

一般信号灯的最短周期长度不少于36秒，最长周期长度一般不超过120秒，不同交通流情况对周期地要求也必尽相同。当交通需求较大时，需要较长的周期，反之可以设置较短的周期；用公式(23)计算出保证路口不堵塞的一个最小周期值；

$C=\frac{L_1+L_2}{1-(\frac{d_1}{s_1}+\frac{d_2}{s_2})}---\left(23\right)$

式中，C为周期时长，d₁和d₂分别为两个相位的交通到达率，s₁和s₂分别为两个相位的通行能力，L₁和L₂为损失时间；

式中，C为周期时长，d₁为某一相位的交通到达率，s₁为某一相位的通行能力，L₁为某一相位的损失时间，λ₁为某一相位的绿信比，λ₂为某一相位的相反相位的绿信比；

作为信号灯的控制策略大致上可以分为定时信号、定周期变绿信比和变周期变绿信比等三种控制策略；由于定时信号控制策略实现方法简单、控制器产品价格低廉，目前在我国很多交叉口的信号灯控制均采用定时信号控制策略；

点控方式是指道路交叉口的信号灯各自互相不相关的独立运行的方式。点控方式适用于相邻路口间距离较远，线控无多大效果或者因各相位交通需求变动显著，其交叉口的周期长和绿信比的独立控制比线控更有效的情况。目前以及今后很长一段时间内我国的极大多数交通信号灯的控制需要采用点控方式。作为点控方式有两个最重要的问题而且最基本的问题是：1)实时准确地检测各相位的车辆排队长度和各相位的出口处状态；2)根据各相位的车辆排队长度以及出口处的状态确定各相位的信号灯控制策略；信号灯控制策略必须尽可能满足信号控制的基本目标，其中变周期变绿信比控制策略最适合信号灯的点控方式；

实现实施方便的关键是要采用不破坏路面或者不涉及路面施工的一种道路友好型的、非接触式的、大面积的、实时的路口出入口状态检测手段，同时尽可能利用现有的设备和投资；实时准确地检测各相位入口的车辆排队长度和各相位出口处的拥堵状态；根据各相位入口的车辆排队长度以及出口处的拥堵状态确定各相位的信号灯控制策略。

发明内容

为了克服已有的交通信号灯控制装置的检测的局限性大、实施投资和维护成本高、接触性的检测手段对道路和车辆不友好、难以实时检测等候排队通过车辆的排队长度以及道路出口的拥堵状态，无法根据车辆的排队长度以及道路出口的拥堵状态实时调整信号灯的控制周期以及绿信比等不足，本发明提供一种具有检测范围广、检测精度高、检测实时性好、实施成本低、根据路口状态的检测结果实时调整信号灯的控制策略，使路口有良好的秩序，减少或完全消除可能引起交通事故的冲突点，并使得路口的运行指标最佳的基于全方位计算机视觉的智能交通信号灯控制装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的智能交通信号灯控制装置，包括安装在路口中间上方的用于获取整个路口交通状态全景视频图像的摄像装置、用于根据摄像装置的全景视频数据进行检测路口等候通过车辆的排队长度和出口的拥堵状态、决定信号灯控制策略以及控制信号灯切换动作的微处理器，所述的微处理器包括：

全景图像获取模块，用于获取初始化信息和路口的全景视频图像，包括系统初始化单元和图像获取单元；

系统初始化单元，用于将数据指标信息、路口相位控制顺序编排、路口相位车辆排队长度检测区域、路口相位出口处拥堵检测区域、相位各车道和各车道的采样点定制数据和检测区域采样点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；

图像获取单元，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；

采样点、车道和车道行驶方向定制模块，用于定义道路上的采样点的相位属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性；

车辆排队长度检测模块，用于检测路口某一时刻某一相位i某一车道j的车辆排队长度；

相位出口拥堵状态模块，用于检测相位出口处的拥堵状态，包括存在采样点的检测单元、移动存在采样点的检测单元和静止存在采样点的检测单元；

信号灯控制决策模块，用于根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，具体过程如下：从存储单元中读取各种定制数据和路口相位控制顺序，背景建模，初设第一个相位控制信号灯时间，判断倒计时定时时间到否，如果到时就进入检测和控制流程；接着信号灯控制模块输出控制信号灯切换，根据信号灯时间开始进行倒计时，根据目前相位控制顺序得到下一个相位控制顺序，相位控制顺序是由路口相位控制顺序编排模块来确定的；相位出口拥堵状态模块根据相位控制顺序编号计算相关相位的拥堵状态，对于每个相位控制顺序都需要进行两个相关相位出口处的拥堵状态；车辆排队长度检测模块根据相位控制顺序编号计算相关相位相关车道的车辆排队长度，对于每个相位控制顺序都需要进行相关相位中两个或者两个以上车道上的车辆排队长度；信号灯控制决策模块根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，然后返回继续下一个相位控制顺序控制；

信号灯控制模块，用于根据信号灯控制决策模块的决策结果实现路口信号灯的智能控制；

所述的摄像装置通过所述的视频接口与所述的微处理器连接，将路口交通状态检测和信号灯控制计算结果通过通信单元发送给信号灯控制单元和交通状态发布单元。

在所述的采样点、车道和车道行驶方向定制模块中，定义道路上的采样点的相位属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性；采样点的命名方式采用四维数组S(i，j，k，l)来表示一个采样点，其中i为相位属性参数值，j为车道方向变更属性参数值，k为在某车道纵向方向上的空间位置属性参数值，从摄像机的近处开始以增大顺序方式进行编号，离摄像机距离越远k值越大，将k≤T_s时作为近距离，T_s＜k≤T_M时作为中距离，T_M＜k时作为远距离，其中，T_s为排队长度的判断第一基准线，T_M为排队长度的判断第二基准线；l为在某车道横向方向上的空间位置属性参数值，数据范围为0～4；对于采样点的相位属性参数值i，规定与上述路口的相位命名方式相同，即1相位的相位属性参数值i＝1，2相位的相位属性参数值i＝2，3相位的相位属性参数值i＝3，4相位的相位属性参数值i＝4；对于车道方向变更属性参数值j，规定左转的车道方向变更属性参数值j＝1，离左转的车道最近的直行车道的车道方向变更属性参数值j＝2，如果还有直行车道的话就按顺序3、4代号编码，规定右转的车道方向变更属性参数值j＝0，相位出口的车道方向变更属性参数值j＝-1；在定制好车道后接着定制检测采样点，相邻采样点之间的空间实际距离为0.5米，采样点以车道方向自动生成，如果车道的横向宽度为2.5米的话，则在每个车道横向方向均匀生成5个采样点，纵向方向上从视频图像上的道路开始端到末端自动生成若干个采样点，如果从视频图像上的道路开始端到末端在实际道路空间上的距离为60米，则在车道纵向方向上均匀生成120个采样点，生成好的每个采样点都用四维数组S(i，j，k，l)来表达，由于视觉的关系在成像图像上的采样点近处疏、远处密，但是各采样点的实际空间间隔距离都是相同的；定制好的采样点的行驶方向属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性的等信息保存在存储单元中。

在所述的路口相位控制顺序编排模块中，定制路口的相位以及相位的信号灯控制顺序，原则上以信号灯的东侧方向开始编排，将信号灯的东侧路口命名为1相位、信号灯的南侧路口命名为2相位、信号灯的西侧路口命名为3相位、信号灯的北侧路口命名为4相位，对于十字路口信号灯的控制循环顺序采用31-13相位、34-12相位、42-24相位和23-41相位顺时针方向进行编排，并将开始相位作为31-13相位，即WE-EW相位作为31-13相位、WN-ES相位作为34-12相位、NS-SN相位作为42-24相位、SW-NE相位作为23-41相位；相位切换序列为31-13→34-12→42-24→23-41→31-13…，31-13→34-12→42-24→23-41为一个信号灯变化周期；对于3叉路口以及5叉路口采用同样命名方式；定制好的路口的相位以及相位的信号灯控制顺序等信息存放在系统的存储单元中，系统初始化以及定制相位各车道和各车道的采样点时读取路口的相位以及相位的信号灯控制顺序等信息。

在所述的车辆排队长度检测模块中，检测路口某一时刻某一相位i某一车道j的车辆排队长度，包括存在采样点的检测单元、存在采样块的检测单元和车辆排队长度判定单元；其中相位i是由信号灯控制顺序来确定的，一般有两个相关相位，相位中的车道j是由信号灯控制顺序的相位车道方向变更属性来确定的；

所述的存在采样点的检测单元，用于检测在某一相位i某一车道j上的前景对象点；所述的存在采样点的检测单元的检测计算流程Sa～Sh如下：

在Sa的计算步骤中，按照从全景视觉传感器在道路上的位置到各采样点所对应的道路上实际位置的距离来设定阈值TH1，阈值TH1是为了在后面对采样点的二值化处理时作为判断标准而设置的；

在Sb的计算步骤中，将tn时刻所获得的全景图像按采样点所对应的像素加工成采样点图像，在采样点图像上的采样点所对应的各像素的灰度值是以8位数据表示的；

在Sc的计算步骤中，计算基准灰度图像与所述的采样点图像之间的差值，得到两幅图像的差分图像；

在Sd的计算步骤中，进行基准灰度图像的背景建模，用公式(1)来不断更新tn时刻的基准灰度图像B_n得到tn+1时刻的基准灰度图像B_n+1：

B_n+1＝B_n+φ×(X_n-B_n)

式中，X_n为tn时刻的采样图像中的各采样点的灰度值，B_n为tn时刻的基准灰度图像的各采样点的灰度值，B_n+1为tn+1时刻的基准灰度图像的各采样点的灰度值，φ为一数值很小的系数；

首先计算道路上的各采样点的(X_n-B_n)值，然后在取其值的绝对值|X_n-B_n|，如果该绝对值|X_n-B_n|大于规定的阈值TH2同时该采样点的B_n值与该采样点最近的非存在采样点的灰度值的绝对值小于规定的阈值TH3，就判定为有前景对象进入到该采样点上，这时该采样点的更新就以与该采样点最近的非存在采样点的灰度值作为B_n+1；其余采样点的背景建模均按公式(1)进行更新处理；

在Se和Sf计算步骤中，用在Sa步骤中所设定的各阈值TH进行二值化处理，得到存在采样点二值化图像F_n；在二值化图像F_n中所有采样点将分为「0」或者「1」两种状态，「1」的表示该采样点上有前景对象存在，即存在采样点；「0」的表示该采样点上不存在前景对象，即非存在采样点；

对于31-13相位信号灯控制的3相位侧的信号灯控制，其绿灯长度是由1相位和3相位路口中的车道方向变更属性参数值j＞1的车道的最长等候车辆排队长度状态来确定的，采用四维数组S(i，j，k，l)来表示一个采样点，因此，只要遍历i＝1、j＞1和i＝3、j＞1的所有采样点，对于仅有一条直行车道的情况，只要遍历1相位的120个采样点和3相位的120个采样点；

所述的存在采样块的检测单元，用于检测在某车道上存在采样点的连续情况，在存在采样块的检测单元中，采用道路上的一般轿车大小作为匹配检测模版对存在采样点进行匹配检测并对车辆进行计数，如果一般轿车大小在车辆的横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，那么就以3×5采样点的模版从路口停车线到检测末端对进行匹配检测，匹配开始是设定CarNum(i)＝0，当匹配到存在采样块时就判定为在该位置上有车；对于31-13相位信号灯控制的3相位侧的信号灯控制，即从i＝1、j＞1和k＝0开始进行匹配检测，由于车道横向方向上有5个采样点，即在某一车道同一个横向方向l的范围是0～4，从l的范围0～2开始，然后1～3，接着2～4，每个横向方向上进行三次匹配检测，匹配检测的方法是通过统计计算3×5采样点的模版中有多少存在采样点的情况进行判断的，如果匹配模版中有50％以上的存在采样点，即在3×5采样点的模版中有7个以上的存在采样点就判定为该区域为存在采样块；当某一车道同一个横向方向l检测结束后，如果在上述匹配检测中存在着一个和一个以上的存在块满足匹配检测模版情况时，CarNum(1)＝CarNum(1)+1，k＝k+5；否则k＝k+1；接着继续进行匹配检测直至到某一车道上的末端位置，得到在1相位直行车道上的排队车辆数CarNum(1)；当遍历了1相位的存在采样块的匹配检测后，按照上述算法遍历3相位的存在采样块的匹配检测，即从i＝3、j＞1和k＝0开始进行匹配检测，最后得到在3相位直行车道上的排队车辆数CarNum(3)；

所述的车辆排队长度判定单元，用于根据两个相关相位的出口拥堵状态以及入口最长排队车辆数来确定该相位的绿灯时间长度；判定规则如下：当两个相关相位中没有一个相位或者相位的出口以上发生拥堵情况下，取两个相关相位中的最大排队车辆数作为两个相位的车辆排队长度；当两个相关相位中有一个相位的出口发生拥堵情况下，将该相位所对应的入口的车辆排队长度设置为0，将另一个相位作为车辆排队长度；当两个相关相位的出口均发生拥堵情况下，将两个相位所对应的入口的车辆排队长度均设置为0；这里将排队长度小于等于3辆车辆的情况作为短排队长度，以Short表示；将排队长度大于3辆小于8辆车辆的情况作为中排队长度，以Medium表示；将8辆包括8辆车辆以上的情况作为长排队长度，以Long表示；因此，对于每个相位信号灯控制的输入状态有4个，其中，0表示有拥堵、Short表示短排队长度、Medium表示中排队长度、Long表示长排队长度；比如对于31-13相位信号灯控制，如果1相位和3相位的出口处均无发生拥堵的情况下，在1相位的排队车辆数CarNum(1)＝5、3相位的排队车辆数CarNum(3)＝9，根据判定规则取最大排队车辆数为9辆，属于长排队长度，就设定31-13相位信号灯控制的输入状态为Long。

在所述的相位出口拥堵状态模块中，检测相位出口处的拥堵状态，包括所述的存在采样点的检测单元、移动存在采样点的检测单元和静止存在采样点的检测单元，规定某相位出口处纵向在停车线的延长线与离该延长线的8米处内所包括的区域内静止采样点的数目与该区域内的总采样点的数目之比大于阈值TH4，就判定为该相位出口发生拥堵；其中相位i是由信号灯控制顺序来确定的，有两个相关相位；对于1相位和3相位车辆相互直行的情况，就要检测1相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态和3相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态；对于1相位出口处的拥堵检测，首先从i＝1、j＝-1、k＝0到i＝1、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；对于3相位出口处的拥堵检测，首先从i＝3、j＝-1、k＝0到i＝3、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；

对于相位出口处的采样点从有无前景对象的角度来看存在两种状态，存在采样点，即存在着前景对象的采样点；非存在采样点，即不存在着前景对象的采样点；对于存在采样点，从时间序列的角度来分，分为静止存在采样点和移动存在采样点；相位出口处的拥堵的检测核心是要检测出静止存在采样点；但是要从图像中直接检测出静止存在采样点存在着很大困难，从图像序列中检测并计算出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，最后根据静止存在采样点的分布情况得到相位出口处的拥堵状态；

所述的移动存在采样点的检测模块，用于检测在相位出口处的移动对象物的前景采样点；对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如公式(2)所示；

Z1_n(i)＝X_n(i)-X_n-α(i)            (2)

式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n-α(i)为t_n-α时刻的i相位出口处的采样图像中的各采样点的灰度值，Z1_n(i)为差分采样图，这里称为第一差分采样图，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分采样图中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+β时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分采样图，计算方法如公式(3)所示；

Z2_n(i)＝X_n(i)-X_n+β(i)

式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n+β(i)为t_n+β时刻的i相位出口处的采样图像中的各采样点的灰度值，Z2_n(i)为差分采样图，这里称为第二差分采样图，它表示了经历了β时间后的i相位出口处的各采样点变化情况；

接着，分别用阈值TH1对第一差分采样图Z1_n(i)和用阈值TH2对第二差分采样图Z2_n(i)进行处理，分别得到第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)；移动存在采样点必定存在于第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)之中，因此对第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)进行与运算求得图像中的移动存在采样点，计算公式如(4)所示；

Y_n(i)＝T1_n(i)∧T2_n(i)            (4)

式中，T1_n(i)为i相位出口处的第一特征提取采样图，T2_n(i)为i相位出口处的第二特征提取采样图，Y_n(i)为i相位出口处的包含有移动采样点的二值采样图；

所述的静止存在采样点的检测单元，用于检测路口出口静止前景对象的信息特征点；根据常识，当道路发生拥堵时路口的出口处都挤满了车辆，出口处的这些车辆都处于相对静止状态，这时处于相对静止状态的车辆将以相对集中的多个静止存在采样点的方式表现出来；

i相位出口处的存在采样点二值采样图F_n(i)中包含着i相位出口处的移动存在采样点的二值采样图Y_n(i)和i相位出口处的静止存在采样点的二值采样图S_n(i)，因此通过公式(5)计算出i相位出口处的静止存在采样点的二值采样图S_n(i)；

S_n(i)＝F_n(i)-Y_n(i)        (5)

式中，S_n(i)为i相位出口处的静止存在采样点二值采样图，F_n(i)为i相位出口处的存在采样点二值采样图，Y_n(i)为i相位出口处的移动采样点二值图；

用公式(6)计算静止采样点与存在采样点的比值Ra的百分比；

Ra(i)＝(S_n(i)/F_n(i))×100   (6)

式中，S_n(i)为i相位出口处的静止存在采样点的总数，由公式(5)计算结果得到；F_n(i)为i相位出口处的存在采样点的总数，由所述的存在采样点的检测单元计算结果得到；Ra(i)为i相位出口处的静止存在采样点的总数与存在采样点的总数的百分比；

如果Ra(i)≥TH4就判定为i相位出口处发生拥堵，将i相位信号灯控制输入状态设置成SCSI(i)＝-1。

所述的信号灯控制决策模块中，根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间；根据表1所示的检测相位与控制相位的关系表、所述的车辆排队长度检测模块和所述的相位出口拥堵状态模块检测结果来确定某相位是否可以切换成绿灯、以及在确定切换成绿灯情况下进一步确定绿灯长度；

表1

在所述的车辆排队长度判定单元中，对相关相位的拥堵状态和相关相位的车辆排队长度信息进行了融合，直接得到了每个相位信号灯控制的输入状态，用SCSI(i)＝-1表示有拥堵、用SCSI(i)＝Short表示短排队长度、用SCSI(i)＝Medium表示中排队长度、用SCSI(i)＝Long表示长排队长度；因此用公式(7)来计算某相位信号灯的控制决策输出结果，

$\mathrm{SCSO}\left(i\right)=\left\{\begin{array}{ccc}-1& \mathrm{when}& \mathrm{SCSI}\left(i\right)=-1\\ G_S& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Short}\\ G_M& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Medium}\\ G_L& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Long}\end{array}\right.---\left(7\right)$

式中，SCSO(i)为某相位信号灯的控制决策输出结果，0表示没有绿灯相位控制时间，即保持红灯状态、G_S表示短绿灯相位控制时间，本设置在15秒左右；G_M表示中绿灯相位控制时间，设置在40秒左右；G_L表示长绿灯相位控制时间，设置在60秒左右；SCSI(i)为某相位信号灯的控制决策输入状态，与该相位的拥堵以及排队长度有关。

在所述的信号灯控制模块中，根据所述的信号灯控制决策模块的决策结果对路口信号灯进行智能控制；由于绿灯和红灯正好是反向关系，利用这个关系可以将计算问题得到简化；如果要考虑黄灯，则在绿灯的倒计时的若干秒前插入黄灯亮时间T，即在绿灯的最后的几秒用黄灯来替代，一般来说黄灯的设定时间在1～2秒之间；根据公式(7)每个相位信号灯控制的输入状态来确定相位绿灯控制时间，相位长绿灯控制时间G_L、相位中绿灯控制时间G_M、相位短绿灯控制时间G_S；对于典型的十字路口的相位短绿灯控制时间G_S设置在15秒左右、相位中绿灯控制时间G_M设置在40秒左右、相位长绿灯控制时间G_L设置在60秒左右。

本发明的技术构思为：因此，研制一种新型的基于全方位计算机视觉的智能交通信号灯控制装置，首先通过全方位视觉传感器获取交叉路口的全景视频图像；然后通过全方位计算机视觉技术实时准确地检测路口各相位入口的车辆排队长度和各相位出口处的拥堵状态；最后根据各相位入口的车辆排队长度以及出口处的拥堵状态确定各相位的信号灯控制策略对交通信号灯进行智能控制，使路口有良好的秩序，减少或完全消除可能引起交通事故的冲突点，并使得路口的运行指标最佳。

本发明的有益效果主要表现在：具有检测范围广、检测精度高、检测实时性好、实施成本低、根据路口状态的检测结果实时调整信号灯的控制策略，通过网络能够与先进的交通控制系统等动态智能交通模块衔接，实现更多的智能交通控制与诱导功能。

附图说明

图1为基于全方位计算机视觉的智能交通信号灯控制装置的车辆排队检测与控制信号灯的示意图；

图2为基于全方位计算机视觉的智能交通信号灯控制装置的检测道路拥堵状态的示意图；

图3为典型的十字交叉路口信号灯控制的相位循环控制图；

图4为基于全方位计算机视觉的智能交通信号灯控制装置的硬件构成框图；

图5为采样点分类树结构图；

图6为检测某相位出口处拥堵状态的流程图；

图7为检测某相位入口处的某车道车辆排队长度的流程图；

图8为基于全方位计算机视觉的智能交通信号灯控制装置的检测与控制信号灯的软件处理框图；

图9为一种无死角的全方位视觉传感器的原理图；

图10为无死角的全方位视觉传感器的成像示意图；

图11为摄像部件镜头与广角镜头的位置关系图；

图12为全方位视觉传感器的成像原理图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图12，一种基于全方位计算机视觉的智能交通信号灯控制装置，包括安装在路口中间上方的用于获取整个路口交通状态全景视频图像的摄像装置、用于根据摄像装置的全景视频数据进行检测路口等候通过车辆的排队长度和出口的拥堵状态、决定信号灯控制策略以及控制信号灯切换动作的微处理器，所述的微处理器包括微处理器系统硬件和微处理器软件，其特征在于：所述的微处理器硬件由CPU、图像存储器、输入单元、显示单元、存储单元、传送单元、通信单元、视频接口、RAM(Random Access Memory)和ROM(Read-only Memory)构成，如附图4所示；所述的摄像装置通过所述的视频接口与所述的微处理器连接，所述的传送单元将路口交通状态检测和信号灯控制计算结果通过所述的通信单元发送给信号灯控制单元和交通状态发布单元；所述的微处理器软件包括：

全景图像获取模块，用于获取初始化信息和路口的全景视频图像，包括系统初始化单元和图像获取单元；

系统初始化单元，用于将数据指标信息、路口相位控制顺序编排、路口相位车辆排队长度检测区域、路口相位出口处拥堵检测区域、相位各车道和各车道的采样点定制数据和检测区域采样点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；

图像获取单元，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；

采样点、车道和车道行驶方向定制模块，用于定义道路上的采样点的相位属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性；采样点的命名方式采用四维数组S(i，j，k，l)来表示一个采样点，其中i为相位属性参数值，j为车道方向变更属性参数值，k为在某车道纵向方向上的空间位置属性参数值，从摄像机的近处开始以增大顺序方式进行编号，离摄像机距离越远k值越大本发明中将k≤T_s时作为近距离，T_s＜k≤T_M时作为中距离，T_M＜k时作为远距离，其中，T_s为排队长度的判断第一基准线，T_M为排队长度的判断第二基准线；l为在某车道横向方向上的空间位置属性参数值，数据范围为0～4；对于采样点的相位属性参数值i，规定与上述路口的相位命名方式相同，即1相位的相位属性参数值i＝1，2相位的相位属性参数值i＝2，3相位的相位属性参数值i＝3，4相位的相位属性参数值i＝4；对于车道方向变更属性参数值j，规定左转的车道方向变更属性参数值j＝1，离左转的车道最近的直行车道的车道方向变更属性参数值j＝2，如果还有直行车道的话就按顺序3、4代号编码，规定右转的车道方向变更属性参数值j＝0，相位出口的车道方向变更属性参数值j＝-1；在定制好车道后接着定制检测采样点，相邻采样点之间的空间实际距离为0.5米，采样点以车道方向自动生成，如果车道的横向宽度为2.5米的话，则在每个车道横向方向均匀生成5个采样点，纵向方向上从视频图像上的道路开始端到末端自动生成若干个采样点，如果从视频图像上的道路开始端到末端在实际道路空间上的距离为60米，则在车道纵向方向上均匀生成120个采样点，生成好的每个采样点都用四维数组S(i，j，k，l)来表达，由于视觉的关系在成像图像上的采样点近处疏、远处密，但是各采样点的实际空间间隔距离都是相同的；定制好的采样点的行驶方向属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性的等信息保存在存储单元中；

路口相位控制顺序编排模块，用于定制路口的相位以及相位的信号灯控制顺序，原则上以信号灯的东侧方向开始编排，将信号灯的东侧路口命名为1相位、信号灯的南侧路口命名为2相位、信号灯的西侧路口命名为3相位、信号灯的北侧路口命名为4相位，对于图2所示的十字路口信号灯的控制循环顺序采用31-13相位、34-12相位、42-24相位和23-41相位顺时针方向进行编排，并将开始相位作为31-13相位，即WE-EW相位作为31-13相位、WN-ES相位作为34-12相位、NS-SN相位作为42-24相位、SW-NE相位作为23-41相位，如附图3所示；相位切换序列为31-13→34-12→42-24→23-41→31-13…，31-13→34-12→42-24→23-41为一个信号灯变化周期；对于3叉路口以及5叉路口采用同样命名方式；定制好的路口的相位以及相位的信号灯控制顺序等信息存放在系统的存储单元中，系统初始化以及定制相位各车道和各车道的采样点时读取路口的相位以及相位的信号灯控制顺序等信息；

所述的基于全方位计算机视觉的智能交通信号灯控制装置的工作原理是：首先从存储单元中读取各种定制数据和路口相位控制顺序，背景建模，初设第一个相位控制信号灯时间，如附图8所示P1步骤，判断倒计时定时时间到否，如果到时就进入检测和控制流程；接着信号灯控制模块输出控制信号灯切换，根据信号灯时间开始进行倒计时，根据目前相位控制顺序得到下一个相位控制顺序，相位控制顺序是由路口相位控制顺序编排模块来确定的，如附图8所示P2步骤；进一步，相位出口拥堵状态模块根据相位控制顺序编号计算相关相位的拥堵状态，一般来说对于每个相位控制顺序都需要进行两个相关相位出口处的拥堵状态，如附图8所示P3步骤；更进一步，车辆排队长度检测模块根据相位控制顺序编号计算相关相位相关车道的车辆排队长度，一般来说对于每个相位控制顺序都需要进行相关相位中两个或者两个以上车道上的车辆排队长度，如附图8所示P4步骤；最后，信号灯控制决策模块根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，然后返回到P2步骤继续下一个相位控制顺序控制；

这里为了简单说明信号灯的控制策略，一个典型的十字路口的4个相位如附图3所示，省去黄灯的解释，当NS-SN相位绿灯时，SW-NE相位、WE-EW相位和WN-ES相位均为红灯；当NS-SN相位由绿灯切换为红灯时，SW-NE相位由红灯切换为绿灯，WE-EW相位和WN-ES相位均保持为红灯；当SW-NE相位由绿灯切换为红灯，WE-EW相位由红灯切换为绿灯，WN-ES相位和NS-SN相位均保持为红灯；当WE-EW相位由绿灯切换为红灯时，WN-ES相位由红灯切换为绿灯，NS-SN和SW-NE相位均保持为红灯；接着进入下一个信号灯控制周期；本发明中采用了根据各相位的排队长度实施变周期的信号灯控制策略，最短的绿灯时间能保证3辆以下包括3辆轿车通过路口，一般将其设置在15秒左右，用符号G_S表示；对于中等排队长度的绿灯时间能保证3辆以上8辆以下的轿车通过路口，一般将其设置在45秒左右，用符号G_M表示；对于较长排队长度的绿灯时间能保证8辆以上轿车通过路口，一般将其设置在60秒左右，用符号G_L表示；很明显，实施变周期的信号灯控制策略完全依赖于等候车辆排队长度的准确检测；

道路的出口处的拥堵会造成整个路口的交通瘫痪，信号灯控制策略中必须将道路出口的拥堵作为一个输入状态值，一旦发现某个路口的出口发生就必须禁止所有车辆再进入该出口，如附图2所述，当检测到出口W_○发生拥堵时，就将必须强制将WE-EW相位和SW-NE相位的绿灯切换成红灯；道路的出口处的拥堵的判断标准是处于静止状态车辆数目是否超过了一个规定的值；

本发明中采用了变周期的信号灯控制策略；在N-1相位信号灯切换前根据N相位等候车辆的排队长度决定N相位的绿灯时间，换句话说，可以在N-1相位信号灯保持期间内完成下一个顺序相位N的等候车辆排队长度的检测以及其行驶出口的拥堵检测；对于本发明中的1相位和3相位车辆相互直行的情况，只要检测车道方向变更属性参数值j＞1的车道的等候车辆排队长度状态以及相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态；本发明用表1来进行归纳，比如对于31-13相位信号灯控制的3相位侧的信号灯控制，其绿灯长度是由1相位和3相位路口中的车道方向变更属性参数值j＞1的车道的最长等候车辆排队长度状态来确定的，车道的最长等候车辆排队长度状态是由车辆排队长度检测模块进行检测完成的，而是否切换成绿灯是由1相位路口的车道方向变更属性参数值j＝-1的车道的拥堵状态来确定的，车道的拥堵状态是由车道的拥堵状态模块进行检测完成的；

表1

所述的车辆排队长度检测模块，用于检测路口某一时刻某一相位i某一车道j的车辆排队长度，包括存在采样点的检测单元、存在采样块的检测单元和车辆排队长度判定单元，如附图7所示；

所述的存在采样点的检测单元，用于检测在某一相位i某一车道j上的前景对象点；所述的存在采样点的检测单元的检测计算流程Sa～Sh如下：

在Sa的计算步骤中，按照从全景视觉传感器在道路上的位置到各采样点所对应的道路上实际位置的距离来设定阈值TH1，阈值TH1是为了在后面对采样点的二值化处理时作为判断标准而设置的；

在Sb的计算步骤中，将tn时刻所获得的全景图像按采样点所对应的像素加工成采样点图像，在采样点图像上的采样点所对应的各像素的灰度值是以8位数据表示的；

在Sc的计算步骤中，计算基准灰度图像与所述的采样点图像之间的差值，得到两幅图像的差分图像；

在Sd的计算步骤中，进行基准灰度图像的背景建模，用公式(1)来不断更新tn时刻的基准灰度图像B_n得到tn+1时刻的基准灰度图像B_n+1：

B_n+1＝B_n+φ×(X_n-B_n)

式中，X_n为tn时刻的采样图像中的各采样点的灰度值，B_n为tn时刻的基准灰度图像的各采样点的灰度值，B_n+1为tn+1时刻的基准灰度图像的各采样点的灰度值，φ为一数值很小的系数；

在计算时，首先计算道路上的各采样点的(X_n-B_n)值，然后在取其值的绝对值|X_n-B_n|，如果该绝对值|X_n-B_n|大于规定的阈值TH2同时该采样点的B_n值与该采样点最近的非存在采样点的灰度值的绝对值小于规定的阈值TH3，就判定为有前景对象进入到该采样点上，这时该采样点的更新就以与该采样点最近的非存在采样点的灰度值作为B_n+1；其余采样点的背景建模均按公式(1)进行更新处理；

在Se和Sf计算步骤中，用在Sa步骤中所设定的各阈值TH进行二值化处理，得到存在采样点二值化图像F_n；在二值化图像F_n中所有采样点将分为「0」或者「1」两种状态，「1」的表示该采样点上有前景对象存在，即存在采样点；「0」的表示该采样点上不存在前景对象，即非存在采样点；

比如对于31-13相位信号灯控制的3相位侧的信号灯控制，其绿灯长度是由1相位和3相位路口中的车道方向变更属性参数值j＞1的车道的最长等候车辆排队长度状态来确定的，本发明中采用四维数组S(i，j，k，l)来表示一个采样点，因此，只要遍历i＝1、j＞1和i＝3、j＞1的所有采样点，对于附图2所示的仅有一条直行车道的情况，只要遍历1相位的120个采样点和3相位的120个采样点，这样的计算量的要求能容易在嵌入式系统上实现；

所述的存在采样块的检测单元，用于检测在某车道上存在采样点的连续情况，在存在采样块的检测单元中，本发明中采用道路上的一般轿车大小作为匹配检测模版对存在采样点进行匹配检测并对车辆进行计数，如果一般轿车大小在车辆的横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，那么就以3×5采样点的模版从路口停车线到检测末端对进行匹配检测，匹配开始是设定CarNum(i)＝0，当匹配到存在采样块时就判定为在该位置上有车；对于31-13相位信号灯控制的3相位侧的信号灯控制，即从i＝1、j＞1和k＝0开始进行匹配检测，由于车道横向方向上有5个采样点，即在某一车道同一个横向方向l的范围是0～4，从l的范围0～2开始，然后1～3，接着2～4，每个横向方向上进行三次匹配检测，匹配检测的方法是通过统计计算3×5采样点的模版中有多少存在采样点的情况进行判断的，如果匹配模版中有50％以上的存在采样点，即在3×5采样点的模版中有7个以上的存在采样点就判定为该区域为存在采样块；当某一车道同一个横向方向l检测结束后，如果在上述匹配检测中存在着一个和一个以上的存在块满足匹配检测模版情况时，CarNum(1)＝CarNum(1)+1，k＝k+5；否则k＝k+1；接着继续进行匹配检测直至到某一车道上的末端位置，得到在1相位直行车道上的排队车辆数CarNum(1)；当遍历了1相位的存在采样块的匹配检测后，按照上述算法遍历3相位的存在采样块的匹配检测，即从i＝3、j＞1和k＝0开始进行匹配检测，最后得到在3相位直行车道上的排队车辆数CarNum(3)；

所述的车辆排队长度判定单元，用于根据两个相关相位的出口拥堵状态以及入口最长排队车辆数来确定该相位的绿灯时间长度；判定规则如下：当两个相关相位中没有一个相位或者相位的出口以上发生拥堵情况下，取两个相关相位中的最大排队车辆数作为两个相位的车辆排队长度；当两个相关相位中有一个相位的出口发生拥堵情况下，将该相位所对应的入口的车辆排队长度设置为0，将另一个相位作为车辆排队长度；当两个相关相位的出口均发生拥堵情况下，将两个相位所对应的入口的车辆排队长度均设置为0；这里将排队长度小于等于3辆车辆的情况作为短排队长度，以Short表示；将排队长度大于3辆小于8辆车辆的情况作为中排队长度，以Medium表示；将8辆包括8辆车辆以上的情况作为长排队长度，以Long表示；因此，对于每个相位信号灯控制的输入状态有4个，其中，0表示有拥堵、Short表示短排队长度、Medium表示中排队长度、Long表示长排队长度；比如对于31-13相位信号灯控制，如果1相位和3相位的出口处均无发生拥堵的情况下，在1相位的排队车辆数CarNum(1)＝5、3相位的排队车辆数CarNum(3)＝9，根据判定规则取最大排队车辆数为9辆，属于长排队长度，就设定31-13相位信号灯控制的输入状态为Long；

所述的相位出口拥堵状态模块，用于检测相位出口处的拥堵状态，包括所述的存在采样点的检测单元、移动存在采样点的检测单元和静止存在采样点的检测单元，本发明中规定某相位出口处纵向在停车线的延长线与离该延长线的8米处内所包括的区域内静止采样点的数目与该区域内的总采样点的数目之比大于阈值TH4，就判定为该相位出口发生拥堵；对于本发明中的1相位和3相位车辆相互直行的情况，就要检测1相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态和3相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态；对于1相位出口处的拥堵检测，首先从i＝1、j＝-1、k＝0到i＝1、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；对于3相位出口处的拥堵检测，首先从i＝3、j＝-1、k＝0到i＝3、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；

对于相位出口处的采样点从有无前景对象的角度来看存在两种状态，存在采样点，即存在着前景对象的采样点；非存在采样点，即不存在着前景对象的采样点；对于存在采样点，从时间序列的角度来分，可以分为静止存在采样点和移动存在采样点，如附图5所示；相位出口处的拥堵的检测核心是要检测出静止存在采样点；但是要从图像中直接检测出静止存在采样点存在着很大困难，本发明中从图像序列中检测并计算出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，最后根据静止存在采样点的分布情况得到相位出口处的拥堵状态；

所述的移动存在采样点的检测模块，用于检测在相位出口处的移动对象物的前景采样点；对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如公式(2)所示；

Z1_n(i)＝X_n(i)-X_n-α(i)          (2)

式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n-α(i)为t_n-α时刻的i相位出口处的采样图像中的各采样点的灰度值，Z1_n(i)为差分采样图，这里称为第一差分采样图，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分采样图中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+β时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分采样图，计算方法如公式(3)所示；

Z2_n(i)＝X_n(i)-X_n+β(i)      (3)

式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n+β(i)为t_n+β时刻的i相位出口处的采样图像中的各采样点的灰度值，Z2_n(i)为差分采样图，这里称为第二差分采样图，它表示了经历了β时间后的i相位出口处的各采样点变化情况；

接着，分别用阈值TH1对第一差分采样图Z1_n(i)和用阈值TH2对第二差分采样图Z2_n(i)进行处理，分别得到第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)；移动存在采样点必定存在于第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)之中，因此对第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)进行与运算求得图像中的移动存在采样点，计算公式如(4)所示；

Y_n(i)＝T1_n(i)∧T2_n(i)        (4)

式中，T1_n(i)为i相位出口处的第一特征提取采样图，T2_n(i)为i相位出口处的第二特征提取采样图，Y_n(i)为i相位出口处的包含有移动采样点的二值采样图；

所述的静止存在采样点的检测单元，用于检测路口出口静止前景对象的信息特征点；根据常识，当道路发生拥堵时路口的出口处都挤满了车辆，出口处的这些车辆都处于相对静止状态，这时处于相对静止状态的车辆将以相对集中的多个静止存在采样点的方式表现出来；

i相位出口处的存在采样点二值采样图F_n(i)中包含着i相位出口处的移动存在采样点的二值采样图Y_n(i)和i相位出口处的静止存在采样点的二值采样图S_n(i)，因此通过公式(5)计算出i相位出口处的静止存在采样点的二值采样图S_n(i)；

S_n(i)＝F_n(i)-Y_n(i)               (5)

式中，S_n(i)为i相位出口处的静止存在采样点二值采样图，F_n(i)为i相位出口处的存在采样点二值采样图，Y_n(i)为i相位出口处的移动采样点二值图；

用公式(6)计算静止采样点与存在采样点的比值Ra的百分比；

Ra(i)＝(S_n(i)/F_n(i))×100        (6)

式中，S_n(i)为i相位出口处的静止存在采样点的总数，由公式(5)计算结果得到；F_n(i)为i相位出口处的存在采样点的总数，由所述的存在采样点的检测单元计算结果得到；Ra(i)为i相位出口处的静止存在采样点的总数与存在采样点的总数的百分比；

如果Ra(i)≥TH4就判定为i相位出口处发生拥堵，将i相位信号灯控制输入状态设置成SCSI(i)＝-1；

信号灯控制决策模块，用于根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间；根据表1所示的检测相位与控制相位的关系表、所述的车辆排队长度检测模块和所述的相位出口拥堵状态模块检测结果来确定某相位是否可以切换成绿灯、以及在确定切换成绿灯情况下进一步确定绿灯长度；本发明中，在所述的车辆排队长度判定单元中对相关相位的拥堵状态和相关相位的车辆排队长度信息进行了融合，直接得到了每个相位信号灯控制的输入状态，用SCSI(i)＝-1表示有拥堵、用SCSI(i)＝Short表示短排队长度、用SCSI(i)＝Medium表示中排队长度、用SCSI(i)＝Long表示长排队长度；因此用公式(7)来计算某相位信号灯的控制决策输出结果，

$\mathrm{SCSO}\left(i\right)=\left\{\begin{array}{ccc}-1& \mathrm{when}& \mathrm{SCSI}\left(i\right)=-1\\ G_S& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Short}\\ G_M& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Medium}\\ G_L& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Long}\end{array}\right.---\left(7\right)$

式中，SCSO(i)为某相位信号灯的控制决策输出结果，0表示没有绿灯相位控制时间，即保持红灯状态、G_S表示短绿灯相位控制时间，一般设置在15秒左右；G_M表示中绿灯相位控制时间，设置在40秒左右；G_L表示长绿灯相位控制时间，设置在60秒左右；SCSI(i)为某相位信号灯的控制决策输入状态，与该相位的拥堵以及排队长度有关；

信号灯控制模块，用于根据所述的信号灯控制决策模块的决策结果实现路口信号灯的智能控制；由于绿灯和红灯正好是反向关系，利用这个关系可以将计算问题得到简化；如果要考虑黄灯，则在绿灯的倒计时的若干秒前插入黄灯亮时间T，即在绿灯的最后的几秒用黄灯来替代，一般来说黄灯的设定时间在1～2秒之间；根据公式(7)每个相位信号灯控制的输入状态来确定相位绿灯控制时间，相位长绿灯控制时间G_L、相位中绿灯控制时间G_M、相位短绿灯控制时间G_S；对于典型的十字路口的相位短绿灯控制时间G_S设置在15秒左右、相位中绿灯控制时间G_M设置在40秒左右、相位长绿灯控制时间G_L设置在60秒左右；

比如对于31-13相位信号灯控制，在所述的相位出口拥堵状态模块的检测结果是3相位出口处发生拥堵，即SCSI(1)＝-1，根据信号灯控制决策模块得到SCSO(1)＝-1，即判定1相位不切换为绿灯，即继续保持红灯状态；在1相位的排队车辆数CarNum(1)＝9、3相位的排队车辆数CarNum(3)＝3，由于这时1相位不切换为绿灯，因此只考虑3相位的排队车辆数，根据判定规则取最大排队车辆数为3辆，属于短排队长度，就判断3相位的绿灯时间初步设定31-13相位信号灯控制的输入状态SCSI(3)＝Short，根据信号灯控制决策模块得到SCSO(3)＝G_S，即将3相位的绿灯时间设置在15秒左右；

作为优选的一种方案：所述的摄像装置采用无死角的全方位视觉传感器，用于获取交叉路口大面积道路状态的全景视频图像数据，安置在交叉路口的中间上方；所述的无死角的全方位视觉传感器，希望所获得的交叉路口的视频图像在水平方向上不变形，因此需要进行水平方向平均分辨率设计，以满足交叉路口顶视视频图像不变形要求；所以在全方位视觉传感器设计上可以归结于折反射镜面曲线的设计，如附图12所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁(t₁))点上进行反射，反射光V2反射到次反射镜面(t2，F₂(t₂))点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元上成像，摄像单元采用高清摄像芯片；

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁(t₁))的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂(t₂))的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(8)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1\left(t_1\right)\×(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2\left(t_2\right)-F_1\left(t_1\right)},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2\left(t_2\right)}$

以下用F₁表示F₁(t₁)，F₂表示F₂(t₂)，式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(9)、(10)：

${F_1^{\′}}^2-2\mathrm{\α}{F}_1^{\′}-1=0$ (9)

${F_2^{\′}}^2-2\mathrm{\β}{F}_2^{\′}-1=0$ (10)

上式中，

$\mathrm{\α}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(9)、(10)可以得到公式(11)、(12)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(11\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(12\right)$

式中：F₁为F₁曲线的微分，F₂为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图12所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C    (13)

为了设计水平面上具有平均分辨率全方位视觉传感器，即水平方向不变形的全方位视觉传感器，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b    (14)

根据成像原理有以下关系成立，入射角用公式(15)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(15\right)$

将公式(13)、(15)代入公式(14)并整理，得到在水平方向不变形的条件，用公式(16)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(16\right)$

满足公式(16)的镜面曲线设计符合水平方向平均分辨率要求；

更进一步，通过对公式(9)、(10)、(16)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；

进一步，设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图9所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，全方位视觉传感器的结构如图9所示；

更进一步，在一次折反射镜面的顶部留出一个小孔，摄像单元3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图11是摄像部件镜头与广角镜头的位置关系图。在图11中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(17\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(18\right)$

d＝S2+S3        (19)

要使公式(19)成立的话，也就是将图11中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图10中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(19)的要求；

进一步，对于图11中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(20\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(21\right)$

为了将合成镜头的视场与全方位视觉传感器的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(22\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的全方位视觉传感器拍摄出来的图像效果图如图11所示，从单个全方位视觉传感器来说消除了原来全方位视觉传感器的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的全方位视觉传感器的死角部分，附图2中圆内的范围均是全方位视觉的视场范围。

Claims (10)

1.一种基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：包括安装在路口中间上方的用于获取整个路口交通状态全景视频图像的摄像装置、用于根据摄像装置的全景视频数据进行检测路口等候通过车辆的排队长度和出口的拥堵状态、决定信号灯控制策略以及控制信号灯切换动作的微处理器，所述的微处理器包括：

全景图像获取模块，用于获取初始化信息和路口的全景视频图像，包括系统初始化单元和图像获取单元；

系统初始化单元，用于将数据指标信息、路口相位控制顺序编排、路口相位车辆排队长度检测区域、路口相位出口处拥堵检测区域、相位各车道和各车道的采样点定制数据和检测区域采样点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；

图像获取单元，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；

采样点、车道和车道行驶方向定制模块，用于定义道路上的采样点的相位属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性；

车辆排队长度检测模块，用于检测路口某一时刻某一相位i某一车道j的车辆排队长度；

相位出口拥堵状态模块，用于检测相位出口处的拥堵状态，包括存在采样点的检测单元、移动存在采样点的检测单元和静止存在采样点的检测单元；

信号灯控制决策模块，用于根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，具体过程如下：从存储单元中读取各种定制数据和路口相位控制顺序，背景建模，初设第一个相位控制信号灯时间，判断倒计时定时时间到否，如果到时就进入检测和控制流程；接着信号灯控制模块输出控制信号灯切换，根据信号灯时间开始进行倒计时，根据目前相位控制顺序得到下一个相位控制顺序，相位控制顺序是由路口相位控制顺序编排模块来确定的；相位出口拥堵状态模块根据相位控制顺序编号计算相关相位的拥堵状态，对于每个相位控制顺序都需要进行两个相关相位出口处的拥堵状态；车辆排队长度检测模块根据相位控制顺序编号计算相关相位相关车道的车辆排队长度，对于每个相位控制顺序都需要进行相关相位中两个或者两个以上车道上的车辆排队长度；信号灯控制决策模块根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，然后返回继续下一个相位控制顺序控制；

信号灯控制模块，用于根据信号灯控制决策模块的决策结果实现路口信号灯的智能控制；

所述的摄像装置通过所述的视频接口与所述的微处理器连接，将路口交通状态检测和信号灯控制计算结果通过通信单元发送给信号灯控制单元和交通状态发布单元。

2.如权利要求1所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：在所述的采样点、车道和车道行驶方向定制模块中，定义道路上的采样点的相位属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性；采样点的命名方式采用四维数组S(i，j，k，l)来表示一个采样点，其中i为相位属性参数值，j为车道方向变更属性参数值，k为在某车道纵向方向上的空间位置属性参数值，从摄像机的近处开始以增大顺序方式进行编号，离摄像机距离越远k值越大，将k≤T_s时作为近距离，T_s＜k≤T_M时作为中距离，T_M＜k时作为远距离，其中，T_s为排队长度的判断第一基准线，T_M为排队长度的判断第二基准线；l为在某车道横向方向上的空间位置属性参数值，数据范围为0～4；对于采样点的相位属性参数值i，规定与上述路口的相位命名方式相同，即1相位的相位属性参数值i＝1，2相位的相位属性参数值i＝2，3相位的相位属性参数值i＝3，4相位的相位属性参数值i＝4；对于车道方向变更属性参数值j，规定左转的车道方向变更属性参数值j＝1，离左转的车道最近的直行车道的车道方向变更属性参数值j＝2，如果还有直行车道的话就按顺序3、4代号编码，规定右转的车道方向变更属性参数值j＝0，相位出口的车道方向变更属性参数值j＝-1；在定制好车道后接着定制检测采样点，相邻采样点之间的空间实际距离为0.5米，采样点以车道方向自动生成，如果车道的横向宽度为2.5米的话，则在每个车道横向方向均匀生成5个采样点，纵向方向上从视频图像上的道路开始端到末端自动生成若干个采样点，如果从视频图像上的道路开始端到末端在实际道路空间上的距离为60米，则在车道纵向方向上均匀生成120个采样点，生成好的每个采样点都用四维数组S(i，j，k，l)来表达，由于视觉的关系在成像图像上的采样点近处疏、远处密，但是各采样点的实际空间间隔距离都是相同的；定制好的采样点的行驶方向属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性的等信息保存在存储单元中。

3.如权利要求1或2所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：在所述的路口相位控制顺序编排模块中，定制路口的相位以及相位的信号灯控制顺序，原则上以信号灯的东侧方向开始编排，将信号灯的东侧路口命名为1相位、信号灯的南侧路口命名为2相位、信号灯的西侧路口命名为3相位、信号灯的北侧路口命名为4相位，对于十字路口信号灯的控制循环顺序采用31-13相位、34-12相位、42-24相位和23-41相位顺时针方向进行编排，并将开始相位作为31-13相位，即WE-EW相位作为31-13相位、WN-ES相位作为34-12相位、NS-SN相位作为42-24相位、SW-NE相位作为23-41相位；相位切换序列为31-13→34-12→42-24→23-41→31-13…，31-13→34-12→42-24→23-41为一个信号灯变化周期；对于3叉路口以及5叉路口采用同样命名方式；定制好的路口的相位以及相位的信号灯控制顺序等信息存放在系统的存储单元中，系统初始化以及定制相位各车道和各车道的采样点时读取路口的相位以及相位的信号灯控制顺序等信息。

4.如权利要求1或2所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：在所述的车辆排队长度检测模块中，检测路口某一时刻某一相位i某一车道j的车辆排队长度，包括存在采样点的检测单元、存在采样块的检测单元和车辆排队长度判定单元；其中相位i是由信号灯控制顺序来确定的，一般有两个相关相位，相位中的车道j是由信号灯控制顺序的相位车道方向变更属性来确定的；

所述的存在采样点的检测单元，用于检测在某一相位i某一车道j上的前景对象点；所述的存在采样点的检测单元的检测计算流程Sa～Sh如下：

在Sa的计算步骤中，按照从全景视觉传感器在道路上的位置到各采样点所对应的道路上实际位置的距离来设定阈值TH1，阈值TH1是为了在后面对采样点的二值化处理时作为判断标准而设置的；

在Sb的计算步骤中，将tn时刻所获得的全景图像按采样点所对应的像素加工成采样点图像，在采样点图像上的采样点所对应的各像素的灰度值是以8位数据表示的；

在Sc的计算步骤中，计算基准灰度图像与所述的采样点图像之间的差值，得到两幅图像的差分图像；

在Sd的计算步骤中，进行基准灰度图像的背景建模，用公式(1)来不断更新tn时刻的基准灰度图像B_n得到tn+1时刻的基准灰度图像B_n+1：

B_n+1＝B_n+φ×(X_n-B_n)                 (1)

式中，X_n为tn时刻的采样图像中的各采样点的灰度值，B_n为tn时刻的基准灰度图像的各采样点的灰度值，B_n+1为tn+1时刻的基准灰度图像的各采样点的灰度值，φ为一数值很小的系数；

首先计算道路上的各采样点的(X_n-B_n)值，然后在取其值的绝对值|X_n-B_n|，如果该绝对值|X_n-B_n|大于规定的阈值TH2同时该采样点的B_n值与该采样点最近的非存在采样点的灰度值的绝对值小于规定的阈值TH3，就判定为有前景对象进入到该采样点上，这时该采样点的更新就以与该采样点最近的非存在采样点的灰度值作为B_n+1；其余采样点的背景建模均按公式(1)进行更新处理；

在Se和Sf计算步骤中，用在Sa步骤中所设定的各阈值TH进行二值化处理，得到存在采样点二值化图像F_n；在二值化图像F_n中所有采样点将分为「0」或者「1」两种状态，「1」的表示该采样点上有前景对象存在，即存在采样点；「0」的表示该采样点上不存在前景对象，即非存在采样点；

对于31-13相位信号灯控制的3相位侧的信号灯控制，其绿灯长度是由1相位和3相位路口中的车道方向变更属性参数值j＞1的车道的最长等候车辆排队长度状态来确定的，采用四维数组S(i，j，k，l)来表示一个采样点，因此，只要遍历i＝1、j＞1和i＝3、j＞1的所有采样点，对于仅有一条直行车道的情况，只要遍历1相位的120个采样点和3相位的120个采样点；

所述的存在采样块的检测单元，用于检测在某车道上存在采样点的连续情况，在存在采样块的检测单元中，采用道路上的一般轿车大小作为匹配检测模版对存在采样点进行匹配检测并对车辆进行计数，如果一般轿车大小在车辆的横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，那么就以3×5采样点的模版从路口停车线到检测末端对进行匹配检测，匹配开始是设定CarNum(i)＝0，当匹配到存在采样块时就判定为在该位置上有车；对于31-13相位信号灯控制的3相位侧的信号灯控制，即从i＝1、j＞1和k＝0开始进行匹配检测，由于车道横向方向上有5个采样点，即在某一车道同一个横向方向l的范围是0～4，从l的范围0～2开始，然后1～3，接着2～4，每个横向方向上进行三次匹配检测，匹配检测的方法是通过统计计算3×5采样点的模版中有多少存在采样点的情况进行判断的，如果匹配模版中有50％以上的存在采样点，即在3×5采样点的模版中有7个以上的存在采样点就判定为该区域为存在采样块；当某一车道同一个横向方向l检测结束后，如果在上述匹配检测中存在着一个和一个以上的存在块满足匹配检测模版情况时，CarNum(1)＝CarNum(1)+1，k＝k+5；否则k＝k+1；接着继续进行匹配检测直至到某一车道上的末端位置，得到在1相位直行车道上的排队车辆数CarNum(1)；当遍历了1相位的存在采样块的匹配检测后，按照上述算法遍历3相位的存在采样块的匹配检测，即从i＝3、j＞1和k＝0开始进行匹配检测，最后得到在3相位直行车道上的排队车辆数CarNum(3)；

所述的车辆排队长度判定单元，用于根据两个相关相位的出口拥堵状态以及入口最长排队车辆数来确定该相位的绿灯时间长度；判定规则如下：当两个相关相位中没有一个相位或者相位的出口以上发生拥堵情况下，取两个相关相位中的最大排队车辆数作为两个相位的车辆排队长度；当两个相关相位中有一个相位的出口发生拥堵情况下，将该相位所对应的入口的车辆排队长度设置为0，将另一个相位作为车辆排队长度；当两个相关相位的出口均发生拥堵情况下，将两个相位所对应的入口的车辆排队长度均设置为0；这里将排队长度小于等于3辆车辆的情况作为短排队长度，以Short表示；将排队长度大于3辆小于8辆车辆的情况作为中排队长度，以Medium表示；将8辆包括8辆车辆以上的情况作为长排队长度，以Long表示；因此，对于每个相位信号灯控制的输入状态有4个，其中，0表示有拥堵、Short表示短排队长度、Medium表示中排队长度、Long表示长排队长度；比如对于31-13相位信号灯控制，如果1相位和3相位的出口处均无发生拥堵的情况下，在1相位的排队车辆数CarNum(1)＝5、3相位的排队车辆数CarNum(3)＝9，根据判定规则取最大排队车辆数为9辆，属于长排队长度，就设定31-13相位信号灯控制的输入状态为Long。

5.如权利要求1或2所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：在所述的相位出口拥堵状态模块中，检测相位出口处的拥堵状态，包括所述的存在采样点的检测单元、移动存在采样点的检测单元和静止存在采样点的检测单元，规定某相位出口处纵向在停车线的延长线与离该延长线的8米处内所包括的区域内静止采样点的数目与该区域内的总采样点的数目之比大于阈值TH4，就判定为该相位出口发生拥堵；其中相位i是由信号灯控制顺序来确定的，有两个相关相位；对于1相位和3相位车辆相互直行的情况，就要检测1相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态和3相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态；对于1相位出口处的拥堵检测，首先从i＝1、j＝-1、k＝0到i＝1、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；对于3相位出口处的拥堵检测，首先从i＝3、j＝-1、k＝0到i＝3、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；

对于相位出口处的采样点从有无前景对象的角度来看存在两种状态，存在采样点，即存在着前景对象的采样点；非存在采样点，即不存在着前景对象的采样点；对于存在采样点，从时间序列的角度来分，分为静止存在采样点和移动存在采样点；相位出口处的拥堵的检测核心是要检测出静止存在采样点；但是要从图像中直接检测出静止存在采样点存在着很大困难，从图像序列中检测并计算出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，最后根据静止存在采样点的分布情况得到相位出口处的拥堵状态；

所述的移动存在采样点的检测模块，用于检测在相位出口处的移动对象物的前景采样点；对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如公式(2)所示；

Z1_n(i)＝X_n(i)-X_n-α(i)        (2)

式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n-α(i)为t_n-α时刻的i相位出口处的采样图像中的各采样点的灰度值，Z1_n(i)为差分采样图，这里称为第一差分采样图，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分采样图中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+β时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分采样图，计算方法如公式(3)所示；

Z2_n(i)＝X_n(i)-X_n+β(i)      (3)

式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n+β(i)为t_n+β时刻的i相位出口处的采样图像中的各采样点的灰度值，Z2_n(i)为差分采样图，这里称为第二差分采样图，它表示了经历了β时间后的i相位出口处的各采样点变化情况；

接着，分别用阈值TH1对第一差分采样图Z1_n(i)和用阈值TH2对第二差分采样图Z2_n(i)进行处理，分别得到第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)；移动存在采样点必定存在于第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)之中，因此对第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)进行与运算求得图像中的移动存在采样点，计算公式如(4)所示；

Y_n(i)＝T1_n(i)∧T2_n(i)        (4)

式中，T1_n(i)为i相位出口处的第一特征提取采样图，T2_n(i)为i相位出口处的第二特征提取采样图，Y_n(i)为i相位出口处的包含有移动采样点的二值采样图；

所述的静止存在采样点的检测单元，用于检测路口出口静止前景对象的信息特征点；根据常识，当道路发生拥堵时路口的出口处都挤满了车辆，出口处的这些车辆都处于相对静止状态，这时处于相对静止状态的车辆将以相对集中的多个静止存在采样点的方式表现出来；

i相位出口处的存在采样点二值采样图F_n(i)中包含着i相位出口处的移动存在采样点的二值采样图Y_n(i)和i相位出口处的静止存在采样点的二值采样图S_n(i)，因此通过公式(5)计算出i相位出口处的静止存在采样点的二值采样图S_n(i)；

S_n(i)＝F_n(i)-Y_n(i)          (5)

式中，S_n(i)为i相位出口处的静止存在采样点二值采样图，F_n(i)为i相位出口处的存在采样点二值采样图，Y_n(i)为i相位出口处的移动采样点二值图；

用公式(6)计算静止采样点与存在采样点的比值Ra的百分比；

Ra(i)＝(S_n(i)/F_n(i))×100   (6)

式中，S_n(i)为i相位出口处的静止存在采样点的总数，由公式(5)计算结果得到；F_n(i)为i相位出口处的存在采样点的总数，由所述的存在采样点的检测单元计算结果得到；Ra(i)为i相位出口处的静止存在采样点的总数与存在采样点的总数的百分比；

如果Ra(i)≥TH4就判定为i相位出口处发生拥堵，将i相位信号灯控制输入状态设置成SCSI(i)＝-1。

6.如权利要求1或2所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：所述的信号灯控制决策模块中，根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间；根据表1所示的检测相位与控制相位的关系表、所述的车辆排队长度检测模块和所述的相位出口拥堵状态模块检测结果来确定某相位是否可以切换成绿灯、以及在确定切换成绿灯情况下进一步确定绿灯长度；

表1

在所述的车辆排队长度判定单元中，对相关相位的拥堵状态和相关相位的车辆排队长度信息进行了融合，直接得到了每个相位信号灯控制的输入状态，用SCSI(i)＝-1表示有拥堵、用SCSI(i)＝Short表示短排队长度、用SCSI(i)＝Medium表示中排队长度、用SCSI(i)＝Long表示长排队长度；因此用公式(7)来计算某相位信号灯的控制决策输出结果，

$\mathrm{SCSO}\left(i\right)=\left\{\begin{array}{ccc}-1& \mathrm{when}& \mathrm{SCSI}\left(i\right)=-1\\ G_S& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Short}\\ G_M& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Medium}\\ G_L& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Long}\end{array}\right.---\left(7\right)$

式中，SCSO(i)为某相位信号灯的控制决策输出结果，0表示没有绿灯相位控制时间，即保持红灯状态、G_S表示短绿灯相位控制时间，本设置在15秒左右；G_M表示中绿灯相位控制时间，设置在40秒左右；G_L表示长绿灯相位控制时间，设置在60秒左右；SCSI(i)为某相位信号灯的控制决策输入状态，与该相位的拥堵以及排队长度有关。

7.如权利要求，6所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：在所述的信号灯控制模块中，根据所述的信号灯控制决策模块的决策结果对路口信号灯进行智能控制；由于绿灯和红灯正好是反向关系，利用这个关系可以将计算问题得到简化；如果要考虑黄灯，则在绿灯的倒计时的若干秒前插入黄灯亮时间T，即在绿灯的最后的几秒用黄灯来替代，一般来说黄灯的设定时间在1～2秒之间；根据公式(7)每个相位信号灯控制的输入状态来确定相位绿灯控制时间，相位长绿灯控制时间G_L、相位中绿灯控制时间G_M、相位短绿灯控制时间G_S；对于典型的十字路口的相位短绿灯控制时间G_S设置在15秒左右、相位中绿灯控制时间G_M设置在40秒左右、相位长绿灯控制时间G_L设置在60秒左右。

8.如权利要求1或2所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：所述的摄像装置采用无死角的全方位视觉传感器，用于获取交叉路口大面积道路状态的全景视频图像数据，安置在交叉路口的中间上方；所述的无死角的全方位视觉传感器采用水平方向平均分辨率设计，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁(t₁))点上进行反射，反射光V2反射到次反射镜面(t2，F₂(t₂))点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元上成像，摄像单元采用高清摄像芯片；

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁(t₁))的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂(t₂))的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(8)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1\left(t_1\right)\×(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2\left(t_2\right)-F_1\left(t_1\right)},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2\left(t_2\right)}$

以下用F₁表示F₁(t₁)，F₂表示F₂(t₂)，式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(9)、(10)：

${F_1^{\′}}^2-2\mathrm{\α}{F}_1^{\′}-1=0$ (9)

${F_2^{\′}}^2-2\mathrm{\β}{F}_2^{\′}-1=0$ (10)

上式中，

$\mathrm{\α}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(9)、(10)可以得到公式(11)、(12)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(11\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(12\right)$

式中：F₁为F₁曲线的微分，F₂为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)用以下公式来表示，

r＝C*tanφ，z＝s+C    (13)

为了设计水平面上具有平均分辨率全方位视觉传感器，即水平方向不变形的全方位视觉传感器，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系，使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b    (14)

根据成像原理有以下关系成立，入射角用公式(15)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(15\right)$

将公式(13)、(15)代入公式(14)并整理，得到在水平方向不变形的条件，用公式(16)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(16\right)$

满足公式(16)的镜面曲线设计符合水平方向平均分辨率要求；

通过对公式(9)、(10)、(16)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；从而得到水平方向不变形的全方位视觉传感器的核心器件一次折反射镜面和二次折反射镜面的设计曲线。

9.如权利要求8所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：所述的透明外罩设计成碗状。

10.如权利要求8所述的基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：将所述广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像，这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(17\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(18\right)$

d＝S2+S3        (19)

要使公式(19)成立的话，也就是将从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到全景视频图像以及中间部分的广角视频图像；将广角镜头配置在第二折反射镜面上，将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(19)的要求；

进一步，将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(20\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(21\right)$

为了将组合镜头的视场与全方位视觉传感器的死角部分相吻合，在设计组合镜头时需要满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(22\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

Images