CN101097657A - 基于视频图像处理的交通信号灯状态判定方法 - Google Patents

Abstract

本发明公开了一种基于视频图像处理的交通信号灯状态判定方法，通过视频设备实时地采集视频图像，其中：在所述视频图像上手动设置信号灯灯组中各个灯在图像上的位置；每采集一帧图像，根据之前设置的各个灯的位置信息，从该图像中提取各个灯的图像像素值；然后判断各个灯的亮灭状态；再根据各个灯的亮灭状态，判断信号灯当前状态是绿灯通行、红灯禁行、黄灯过渡还是发生了故障。本发明抗干扰能力强，可避免误拍，而且成本低，维护方便。

Description

基于视频图像处理的交通信号灯状态判定方法

技术领域

本发明涉及一种基于视频图像处理的交通信号灯状态判定方法，用于判断信号灯当前状态，其状态包括：红灯禁行、绿灯通行、黄灯过度和发生了故障。

背景技术

在路口闯红灯自动监测系统中，一个关键的要素就是判断当前信号灯是否为红灯。目前的做法是从信号机里用一根线把信号灯信号引出来，经过相应的I/O板后，再送到路口闯红灯自动监测系统中，检测到当前信号是红灯后，再判断有无车辆闯红灯。这样的做法有三个不足：第一，工程实施麻烦，成本提高；第二，这种做法，造成信号机系统和路口闯红灯自动监测系统的强耦合，出现故障时，维修不便。第三，当信号机出现故障时，可能造成信号机给闯红灯自动监测系统的信号与驾驶员肉眼看到的信号不一致，导致错误抓拍。

通过视频图像处理的方法直接判断信号机当前状态，带来三个好处：第一，由于利用了路口闯红灯自动监测系统现有的视频设备，不用额外添加设备，降低了成本，也减少了工程实施的工作量；第二，由于把信号机系统和闯红灯自动监测系统独立开来，减低了故障维修的难度；第三，由于视频图像与驾驶员看到的一致，避免了错误抓拍的发生。

采用视频图像处理的方法来判断信号机当前的状态，难度在于：视频录像设备工作于室外，将会遭遇各种各样的情况，如光照变化、刮风下雨、昼夜轮换、四季更替，甚至天上一朵云飘过，偶尔一束强光打过等，这些都将对视频图像产生较大影响。这就要求相应的交通信号灯状态判别模型能够自适应，具有足够的鲁棒性，在各种环境中都能正常工作。

发明内容

本发明要解决的技术问题是提供一种基于视频图像处理的交通信号灯状态判定方法，它抗干扰能力强，可避免误拍，而且成本低，维护方便。

为解决上述技术问题，本发明基于视频图像处理的交通信号灯状态判定方法是采用如下技术方案实现的：

通过视频设备实时地采集视频图像，其中，在所述视频图像上手动设置信号灯灯组中各个灯在图像上的位置；每采集一帧图像，根据之前设置的各个灯的位置信息，从该图像中提取各个灯的图像像素值；然后判断各个灯的亮灭状态；再根据各个灯的亮灭状态，判断信号灯当前状态是绿灯通行、红灯禁行、黄灯过渡还是发生了故障。

一个灯亮灭状态的判断过程是：当给出该帧图像中该灯的图像像素值后，首先计算该帧图像中该灯的颜色特征向量SV，根据所述的颜色特征向量SV更新该灯的灯亮中心和灯灭中心，接着计算该帧图像中颜色特征向量SV和灯亮中心、灯灭中心的颜色距离d1、d2，然后计算颜色距离d1和d2的比值γ，根据该比值γ的范围，判断该灯当前状态。

本发明的有益效果是：第一，由于利用了路口闯红灯自动监测系统现有的视频设备，不用额外添加设备，降低了成本，也减少了工程实施的工作量；第二，由于把信号机系统和闯红灯自动监测系统独立开来，降低了故障维修的难度；第三，由于视频图像与驾驶员看到的一致，避免了错误抓拍事情的发生。

本发明基于视频图像处理的交通信号灯状态判定方法具有很强的鲁棒性，能够抵抗各种干扰，在各种环境中能够正常工作。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细的说明：

图1是本发明基于视频图像处理的交通信号灯状态判定方法控制流程图(一)；

图2是本发明基于视频图像处理的交通信号灯状态判定方法控制流程图(二)。

具体实施方式

一个信号灯灯组包括几个灯，如常见的信号灯灯组包括红灯、黄灯、绿灯三个灯，通过一定的控制逻辑，控制这三个灯的亮灭状态，绿灯亮通行，红灯亮禁行，黄灯亮过渡。

信号灯灯组状态判别的控制流程如图1所示，通过视频设备实时地采集视频图像，在视频图像上手动设置信号灯灯组中各个灯在图像上的位置。每采集一帧图像，根据之前设置的各个灯的位置信息，从该图像中提取各个灯的图像像素值，然后判断各个灯的亮灭状态，进而根据各个灯的亮灭状态，判断信号灯当前状态是绿灯通行、红灯禁行、黄灯过渡还是发生了故障。

整个流程判断的核心和难点在于如何判断各个灯的状态。参见图2所示，判断一个灯亮灭状态的控制流程是，当给出该帧图像中该灯的图像像素值后，首先计算该帧图像中该灯的颜色特征向量SV，根据颜色特征向量SV更新该灯的灯亮中心和灯灭中心，接着计算该帧图像中颜色特征向量SV和灯亮中心、灯灭中心的颜色距离d1、d2，然后计算颜色距离d1和d2的比值γ，根据比值γ的范围，判断该灯当前状态。

其中各个量的定义、计算方法和相关的判断准则如下：

1、颜色特征向量SV

定义：颜色特征向量SV对于每一帧视频录像，选取信号灯区域A，

其中

A＝{P_i|i＝1，2，...，N}

共N个象素点。其中r_i，g_i，b_i，分别为像素点p_i的RGB分量，表示为 $C_i=\stackrel{\‾}{(r_i,g_i,b_i)},$ 定义该帧图像中颜色特征向量SV：

$\mathrm{SV}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i{C}_i/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i---\left(1\right)$

其中，

a_i为加权系数，其大小可以进行调节，调节原则为边缘位置的像素点加权系数小，中心的像素点加权系数大，这样能够提高判断结果的准确性。

颜色特征向量SV表征了该帧指定灯的平均RGB值。

2、灯亮中心和灯灭中心

对每一帧图像，计算灯组各个灯的颜色特征向量SV。抽取一段时间的录像数据，从数据聚类的观点来考察，可以把这些颜色特征向量SV聚成两类，一类代表灯亮，一类代表灯灭。每一类有个聚类中心，分别称为灯亮中心和灯灭中心。

以红灯灯亮中心为例〔灯灭中心的计算只需把公式(2)里条件判断部分的”＞”改成“＜”，”＜”改成“＞”即可。其它灯的计算与此完全相同〕，设BGROn为红灯的灯亮中心，当前帧红灯的颜色特征向量为SV，计算公式如下：

其中，SV.r代表颜色向量SV的R分量，BGROn_old·r代表颜色向量BGROn_old的R分量；聚类参数α和β为0和1之间的更新权重系数。α为跟踪系数，α越小，跟踪能力越强，越能及时反映外界变化。但α越小，越容易引入干扰，中心震荡越厉害。β为抗干扰系数，β越大，抗干扰能力越强，但是β越大，当灯灭中心低于实际值时，其纠偏能力越弱。应该根据信号灯控制的周期和绿信比调节这两个参数。一般可设为α＝0.95，β＝0.9998。SV为颜色特征向量，BGROn_new为更新后的灯亮中心或灯灭中心，BGROn_old为更新前的灯亮中心或灯灭中心。

3、颜色距离d的计算

定义两个颜色向量S1和S2的距离d：

$d=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{t}_i|s1\left(i\right)-s2\left(i\right)|---\left(3\right)$

其中0＜t_i＜1， $\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{t}_i=1,$ t_i表征了各颜色分量的差异在总的颜色距离所占的比重，可调。

对于红灯，一般可设为：(t₁，t₂，t₃)＝(3/7，2/7，2/7)

对于绿灯，一般可设为：(t₁，t₂，t₃)＝(2/7，3/7，2/7)

对于黄灯，一般可设为：(t₁，t₂，t₃)＝(3/7，3/7，1/7)

根据上式，从而计算出该帧图像中颜色特征向量SV和灯亮中心、灯灭中心的颜色距离d1、d2。

4、亮灭状态判定准则

计算颜色距离d1、d2的比值γ，根据判定准则，判断该灯的状态

判定准则1：如果γ＜ξ₁，则判定灯灭。

判定准则2：如果γ＞ξ₂，则判定灯亮。

判定准则3：如果γ在ξ₁和ξ₂之间，判定状态未知，在灯组分析时进一步判定。在灯组分析时，如果发现红黄绿三个灯的判别结果都是状态未知，则可判断信号灯出现故障，需要维修。或者发现灯的亮灭状态与该信号灯的控制逻辑不符合，如红灯绿灯同时亮等，也可判断信号灯出现故障。

其中ξ₁和ξ₂为两常量阀值，且ξ₁＜ξ₂，ξ₁和ξ₂可调，一般可设为ξ₁＝0.7，ξ₂＝3。

本发明建立了基于视频图像处理的交通信号灯状态判别模型。通过路口闯红灯自动监测系统现有的视频设备实时采集视频图像，利用该模型，对视频图像进行实时的分析处理，判断当前信号机的状态是红灯禁行、绿灯通行、黄灯过度还是发生了故障。

Claims (8)

1、一种基于视频图像处理的交通信号灯状态判定方法，通过视频设备实时地采集视频图像，其特征在于：在所述视频图像上手动设置信号灯灯组中各个灯在图像上的位置；每采集一帧图像，根据之前设置的各个灯的位置信息，从该图像中提取各个灯的图像像素值；然后判断各个灯的亮灭状态；再根据各个灯的亮灭状态，判断信号灯当前状态是绿灯通行、红灯禁行、黄灯过渡还是发生了故障。

2、如权利要求1所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：一个灯亮灭状态的判断过程是：当给出该帧图像中该灯的图像像素值后，首先计算该帧图像中该灯的颜色特征向量SV，根据所述的颜色特征向量SV更新该灯的灯亮中心和灯灭中心，接着计算该帧图像中颜色特征向量SV和灯亮中心、灯灭中心的颜色距离d1、d2，然后计算颜色距离d1和d2的比值γ，根据该比值γ的范围，判断该灯当前状态。

3、如权利要求2所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：

所述颜色特征向量SV按如下公式计算：

对于每一帧视频图像，选取信号灯区域A，其中

A＝{p_i|i＝1，2，...，N}

共N个象素点。其中r_i，g_i，b_i，分别为像素点p_i的RGB分量，表示为 $C_i=\stackrel{\‾}{(r_i,g_i,b_i)},$

取颜色特征向量SV为各信号灯区域内各个像素点像素值的加权平均，如下式所示：

$\mathrm{SV}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i{C}_i/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i$

其中，

a_i为加权系数，其大小可以进行调节，调节原则为边缘位置的像素点加权系数小，中心的像素点加权系数大。

4、如权利要求2所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：

所述灯亮中心按如下公式计算：

所述灯灭中心按如下公式计算：

其中，BGROn_new为更新后的灯亮中心，BGROn_old为更新前的灯亮中心。BGROff_new为更新后的灯灭中心，BGROff_old为更新前的灯灭中心。SV.r代表该颜色特征向量SV的R分量，BGROn_old.r代表该颜色向量BGROn_old的R分量，BGROff_old.r代表该颜色向量BGROff_old的R分量；α为跟踪系数，β为抗干扰系数，α和β的值在0和1之间，SV为颜色特征向量。

5、如权利要求4所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：所述跟踪系数α＝0.95，抗干扰系数β＝0.9998。

6、如权利要求2所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：

所述颜色距离按如下公式计算：

$d=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{t}_i|s1\left(i\right)-s2\left(i\right)|$

其中：0＜t_i＜1， $\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{t}_i=1,$ t_i表征了各颜色分量的差异在总的颜色距离所占的比重，可调；

对于红灯，一般可设为：(t₁，t₂，t₃)＝(3/7，2/7，2/7)

对于绿灯，一般可设为：(t₁，t₂，t₃)＝(2/7，3/7，2/7)

对于黄灯，一般可设为：(t₁，t₂，t₃)＝(3/7，3/7，1/7)

7、如权利要求2所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：

所述灯的当前状态判断准则是：如果γ＜ξ₁，则判定灯灭；如果γ＞ξ₂，则判定灯亮；如果γ在ξ₁和ξ₂之间，判定状态未知；其中ξ₁和ξ₂为两常量阀值，且ξ₁＜ξ₂。

8、如权利要求1所述的基于视频图像处理的交通信号灯状态判定方法，其特征在于：

所述的故障状态包括：在灯组分析时，如果发现红黄绿三个灯的判别结果都是状态未知，则可判断信号灯出现故障；或者发现灯的亮灭状态与该信号灯的控制逻辑不符合，也可判断信号灯出现故障。

Images