CN103955705A - 基于视频分析的交通信号灯定位、识别与分类方法 - Google Patents

Abstract

本发明涉及智能交通领域，尤其涉及基于视频分析的交通信号灯定位、识别与分类方法，利用交通信号灯的颜色变化规律性，即每个交通信号灯有规律地被点亮与熄灭并持续一定的时间，通过跟踪图像中相关像素点的颜色变化规律，识别监控视频中信号灯所处的区域位置，从而进一步确定信号灯位置，之后根据信号灯的图像特征对信号灯进行分类。本发明的有益效果在于：该方法操作方便、能实现信号灯的自动检测与分类，具有良好的鲁棒性和适应性，为交通违法和信号灯故障的自动检测提供支持。

Description

基于视频分析的交通信号灯定位、识别与分类方法

技术领域

本发明涉及智慧交通领域，尤其涉及基于视频分析的交通信号灯定位、识别与分类方法。

背景技术

在日常的交通管理中，通常通过规律性改变路口交通信号灯的状态来保证交通秩序有序进行，从而保障交通安全和道路畅通。自然而然，智能交通系统就逐渐地应用于城市道路交通管理，现有的智能交通系统通过接入交通信号灯、信号线的特定接口来获取交通灯状态，同时该系统中也采用了人工配置交通信号灯相关基础信息的方法，其中基础信息包括：信号灯的位置，信号灯的类型，信号灯所表示的状态等信息。该方法虽然满足了准确性的提高，但是也带来了一系列的弊端：(1)施工难度大、运作成本高，而且系统需要与视频监控系统同步；(2)自适应能力较差，系统的设置就需要进行人为的调整与修改。为了更加方便、低成本、智能地获得信号灯的实时信息，就需要一种能够自动检测到信号灯信息的方法。交通管理部门迫切的希望能够通过该系统中的实时交通视频监控系统自动检测交通信号灯的状态变化，并结合当前车辆的行驶行为自动检测进行交通违法行为。因此设计一种基于视频分析的交通信号灯定位、识别与分类方法是非常有必要的。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于视频分析的交通信号灯定位、识别与分类方法，该方法能够实现信号灯的自动检测与分类，具有良好的鲁棒性和适应性，为交通违法和信号灯故障的自动检测提供支持。

本发明以下技术方案达到上述目的：基于视频分析的交通信号灯定位、识别与分类方法，具体步骤为：

(1)将视频图像的RGB颜色空间转换到HSV颜色空间，得到当前视频图像各像素点的色调、饱和度、亮度；

(2)对各像素点的H、S、V值进行颜色分类，并根据分类结果在单通道空白颜色分类结果标记图像I_result上设置对应的灰度值；

(3)对颜色分类结果标记图像I_result通过轮廓检测获得轮廓的外接矩形区域集合，并将其作为疑似信号灯区域集合，通过是否纯色方法对疑似信号灯区域集合进行过滤获得信号灯候选区域集合；

(4)更新历史信号灯候选区域集合；所述更新历史信号灯候选区域集合具体包括以下步骤：若当前帧图像是视频中的第一帧图像，则将所有的信号灯候选区域加入历史候选区域集合；若不满足上述条件，则通过判断两个矩形区域是否为重复区域方法和纯色检测方法来进行对历史候选区域的筛选；

(5)判断视频数据是否读取完毕，是则跳转到步骤(6)，否则跳转到步骤(1)；

(6)判断历史候选区域集合中区域记录的颜色突变次数以及颜色持续时间是否大于相应阈值；若是，则确定为信号灯区域，否则不为信号灯区域；

(7)建立交通信号灯图像库，对图像库中的信号灯图像进行灰度化、平滑和去噪处理，提取图像的HOG方向梯度直方图信息作为特征向量，训练SVM分类器，获到信号灯形状识别模型；

(8)调用信号灯形状识别模型对步骤(6)确定的信号灯区域内的信号灯的形状进行分类，输出分类结果。

作为优选，所述步骤(2)中的对各像素点的H、S、V值进行颜色分类，并根据分类结果在单通道空白颜色分类结果标记图像I_result上设置对应的灰度值具体包括以下设置规则：

(1)若V≤20或S<100或S≤53且V≤185时像素的颜色分类为黑色，颜色分类结果标记图像I_result中对应像素的灰度值设置为2；

(2)若S≤27且V>190像素的颜色分类为白色，颜色分类结果标记图像I_result中对应像素的灰度值设置为1；

(3)若S值，V值都不满足上面两种情况时：

(3.1)若H≤15或H≥156且H≤180像素的颜色分类为红色，颜色分类结果标记图像I_result中对应像素的灰度值设置为180；

(3.2)若H>15且H≤35像素的颜色分类为黄色，颜色分类结果标记图像I_result中对应像素的灰度值设置为30；

(3.3)若H>35且H≤100像素的颜色分类为绿色，颜色分类结果标记图像I_result中对应像素的灰度值设置为100；

(4)若H值皆不满足上述条件，则为无关颜色，颜色分类结果标记图像I_result中对应像素的灰度值设置为1。

作为优选，所述的判断区域颜色是否为纯色的方法包括：

在每个区域范围内，统计像素灰度值为1、2、30、100、180的数量，选取统计数量最多的灰度值进行如下判断:

(a)当灰度值为2时，若所统计灰度值数量中的最大值与像素总数量的比值大于阈值，则判断该区域颜色为纯色；

(b)当灰度值不为2且不为1时，若所统计灰度值数量中的最大值与黑色像素数量的比值大于阈值，判断该区域颜色为纯色；

(c)当灰度值不为1时，判断该区域颜色为不纯。

作为优选，所述步骤(4)中判断两个矩形区域是否为重复区域方法包括：若两个区域有重叠并且重叠部分面积大于两个区域中面积较小区域面积的60％，则判断两个矩形区域为重复区域。

作为优选，所述步骤(5)中视频数据时长为3分钟。

作为优选，所述步骤(6)中颜色突变次数阀值为4，颜色持续时间阀值为8s。

本发明的有益效果在于：(1)实现信号灯的自动检测与分类，具有良好的鲁棒性和适应性；(2)操作使用方便、智能，节约了成本，此方法为基于视频分析而自动运行检测信号灯实时信息，减少了许多繁琐的人工操作，只要对视频图像就可以对信号灯状态进行分析，不需要其他系统的支持；(3)能够保证交通秩序有序进行，对信号灯故障能够自动检测，由于该方法对信号灯是实行实时监控的，所以信号灯信息非常准确，可供交通部门进行交通路况管理；(4)能够自动检测进行交通违法行为，该系统中的实时交通视频监控系统自动检测交通信号灯的状态变化，然后结合当前车辆的行驶行为就可以判定其是否违法。

附图说明

图1是基于视频的交通信号灯定位、识别与分类方法的流程图；

图2是判断两个矩形区域是否为重复区域的示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1：如图1所示，基于视频分析的交通信号灯定位、识别与分类方法，利用交通信号灯的颜色变化规律性，即每个交通信号灯有规律地被点亮与熄灭并持续一定的时间，通过跟踪图像中相关像素点的颜色变化规律，识别监控视频中信号灯所处的区域位置，从而进一步确定信号灯位置，之后根据信号灯的图像特征对信号灯进行分类。本实施例主要针对红色、黄色、绿色圆形和箭头型信号灯的定位、识别及分类。具体实施步骤如下：

1)每隔三帧获取一张交通监控视频图像,将每一帧视频图像数据从原来的RGB颜色空间转换到HSV颜色空间，得到当前帧图像各像素点的色调、饱和度、亮度信息。

2)根据步骤1)所获得的每个像素的H、S和V的值来进行颜色分类，并根据分类结果在单通道空白颜色分类结果标记图像I_result上设置对应的灰度值，得到只包含所需颜色信息的图像；本方法过滤掉不需要的信息，只保留所需要的颜色位置，方便统计信号灯图像的颜色信息，以便用于后面的颜色纯度检测。图像的像素颜色主要分为红色、绿色、黄色、黑色，白色和无关颜色，每一种颜色分类都有对应的灰度值。

本发明在单通道空白颜色分类结果标记图像I_result上设置对应的灰度值具体包括以下步骤：

2.1)用Color_i,j表示坐标为(i,j)像素点的颜色分类标志，用H_i,j、S_i,j和V_i,j分别表示该像素点的色度、饱和度、亮度值。根据公式(1)对像素颜色进行分类。公式中Color_i,j的值为1时表示为黑色，2表示为白色，3表示为红色，4表示为黄色，5表示为绿色，6表示为无关颜色。

颜色分类阈值虽不是发明重点，应当仍属于本发明的保护范围。该方法颜色分类阈值设置范围较为宽松。

2.2)Gray_i,j表示坐标为(i,j)的像素点的颜色分类所对应的结果标记灰度值，根据下面的规则对标记灰度值进行设置：

A.如果Color_i,j的值为2或6，则Gray_i,j＝1；

B.如果Color_i,j的值为1，则Gray_i,j＝2；

C.如果Color_i,j的值为3，则Gray_i,j＝180；

D.如果Color_i,j的值为4，则Gray_i,j＝30；

E.如果Color_i,j的值为5，则Gray_i,j＝100；

3)对颜色分类结果标记图像I_result进行轮廓检测，获得轮廓的外接矩形区域集合，并将其作为疑似信号灯区域集合。利用检测区域颜色是否纯色的方法来过滤疑似信号灯矩形区域；由于信号灯的区域颜色始终都呈现出较为单纯的绿色、红色、黄色、黑色，并在区域内占有一定的面积比例，因此可以利用检测颜色的种类与所占比例来排除在疑似信号灯区域集合中颜色不纯的区域，因此将颜色为红色、黄色和绿色的区域保留下来，最终形成当前帧图像的信号灯候选区域集合。检测区域颜色是否为纯色的方法具体过程如下：

在每个区域范围内，分别统计像素灰度值1、2、30、100、180的数量，使用Max表示统计结果中像素数量的最大值，Color表示像素数量最大值所对应的灰度值，Black表示灰度值为2的像素数量，Sum表示像素总数。

如果统计结果中像素数量最大值不为黑色，根据公式(2)计算τ的值，该比值表示该颜色分类的像素数量最大值与黑色像素数量的比值：若τ的值大于某个阈值，且颜色分类结果不为白色，则认为所得到的颜色为纯色，如果颜色为白色，则颜色为不纯。在本实施例中，该阈值通过统计得出设置为0.3，该阈值可以根据实际情况进行调整。

τ＝Max/Black    (2)

信号灯灭灯时，信号灯所在矩形区域一般为全黑色，颜色分类为黑色的像素数量较多，但也不排除由于光线的影响会存在除黑色以外的颜色，所以把纯黑色的判断方法作为特殊情况来考虑。因此，如果统计出来像素数量最多的颜色为黑色，根据公式(3)计算δ的值，该比值表示颜色分类为黑色的像素数量与像素总数量的比值：若δ的值大于某个阈值，则认为所得到的颜色为纯色。在本实施例中设置为0.8。

δ＝Max/Sum    (3)

4)更新历史候选区域集合；若当前帧图像是视频中的第一帧图像，则将所有的信号灯候选区域加入历史候选区域集合；若不满足上述条件，则通过判断两个矩形区域是否为重复区域方法和纯色检测方法来进行对历史候选区域的筛选。筛选的具体过程：将当前帧图像中所获取的信号灯候选区域集合与历史候选区域集合做对比分析，利用区域的重叠情况判断两个矩形区域是否为重复区域。

判断两个矩形区域是否为重复区域的方法：若两个区域有重叠并且重叠部分面积大于最小区域(最小区域为两个区域中面积较小的区域)面积的60％，则判断两个矩形区域为重复区域。

如图2所示，是判断两个矩形区域是否出现重复的示意图，本图仅描述了一种区域重叠的可能情形，并不代表所有可能发生的重叠方式，具体重叠的形状可以根据两个矩形的顶点位置和大小进行分析得出。图中的Height表示重叠区域高，Width表示重叠区域宽，Area表示重叠区域面积，根据公式(4)计算区域面积。

Area＝Height*Width    (4)

若两个矩形区域重复，则重复区域保留在历史候选区域集合中并且记录该区域的位置信息、当前颜色信息；若两个矩形区域不重复，则把当前帧视频图像的信号灯候选区域添加到历史候选区域集合中留做进一步的检验。

进一步地，交通信号灯的亮灯与灭灯状态将循环交替出现，因此，视频图像中的信号灯区域颜色突变也将不断地交替出现，因此对未判断为重复的区域，采用判断历史候选区域集合中未出现重复的区域颜色是否为纯色的方法来进行对历史候选区域的进一步筛选。若区域颜色为纯色，则在历史候选集合中保留该区域信息并进一步判断：若当该纯颜色和区域所记录的当前颜色相同时，累计该纯颜色连续出现的次数，并统计该区域总共连续出现的次数；若当颜色发生改变时，则记录当前颜色和该颜色的突变次数，并把当前颜色更新为该颜色；若该区域颜色不为纯色，则将其从历史候选区域中删除。

5)判断视频数据的读取是否结束，若还有视频图像数据可读或已读图像数据量不满足要求，重复上述步骤，直至视频图像数据获取完毕或已满足数据数量要求。在本实施例中，需要读取的视频图像数据的时长为3分钟。

6)利用视频中每个交通信号灯在颜色上的交替突变规律性，信号灯所在区域的颜色突变将会重复出现多次，且信号灯区域在某一种颜色上的持续时间较长，因此判断历史候选区域集合中区域记录的颜色突变次数以及连续出现次数是否大于相应阈值：若是，则确定为信号灯区域；若否，则不为信号灯区域。

利用公式(5)计算每个区域的颜色的持续时间，公式中的Seconds表示持续时间秒数，Frames表示区域连续出现的次数，FPS表示视频的帧率，即视频每秒所包含的帧数。将区域中的颜色持续时间与突变次数同时大于相应阈值的区域确定为信号灯区域。在本实施例中，持续时间阈值设置为8s，突变次数阈值设置为4。

Seconds＝Frames*3/FPS    (5)

7)建立交通信号灯图像库，涵盖现有的各种信号灯的形状，包括：圆灯，箭头型信号灯(左转弯、直行、右转弯、左转弯掉头)等。每种形状的信号灯图像数量大于50张。对图像库中的信号灯图像进行灰度化、平滑和去噪处理，提取图像的HOG方向梯度直方图信息作为特征向量，训练SVM分类器，得到信号灯形状识别模型。

8)在信号灯区域确定的基础上，获得信号灯在视频的位置信息、颜色信息，并且获得每个信号灯区域的图像。对获得的信号灯图像进行灰度化、平滑和去噪处理，提取图像的HOG方向梯度直方图信息作为特征向量，利用步骤7)所获得的信号灯形状识别模型来对信号灯的形状进行分类。通过分析得到的信号灯的形状与前面所得到的颜色和位置信息，可以确定当前监控场景中各个信号灯的位置、信号灯的形状类型及信号灯的颜色，从而自动检测并识别出信号灯的各种基础信息。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (6)

1.基于视频分析的交通信号灯定位、识别与分类方法，通过视频设备实时采集视频图像，其特征在于：

(1)将视频图像的RGB颜色空间转换到HSV颜色空间，得到当前视频图像各像素点的色调、饱和度、亮度；

(2)对各像素点的H、S、V值进行颜色分类，并根据分类结果在单通道空白颜色分类结果标记图像I_result上设置对应的灰度值；

(3)对颜色分类结果标记图像I_result通过轮廓检测获得轮廓的外接矩形区域集合，并将其作为疑似信号灯区域集合，通过是否纯色方法对疑似信号灯区域集合进行过滤获得信号灯候选区域集合；

(4)更新历史信号灯候选区域集合；所述更新历史信号灯候选区域集合具体包括以下步骤：若当前帧图像是视频中的第一帧图像，则将所有的信号灯候选区域加入历史候选区域集合；若不满足上述条件，则通过判断两个矩形区域是否为重复区域方法和纯色检测方法来进行对历史候选区域的筛选；

(5)判断视频数据是否读取完毕，是则跳转到步骤(6)，否则跳转到步骤(1)；

(6)判断历史候选区域集合中区域记录的颜色突变次数以及颜色持续时间是否大于相应阈值；若是，则确定为信号灯区域，否则不为信号灯区域；

(7)建立交通信号灯图像库，对图像库中的信号灯图像进行灰度化、平滑和去噪处理，提取图像的HOG方向梯度直方图信息作为特征向量，训练SVM分类器，获到信号灯形状识别模型；

(8)调用信号灯形状识别模型对步骤(6)确定的信号灯区域内的信号灯的形状进行分类，输出分类结果。

2.根据权利要求1所述的基于视频分析的交通信号灯定位、识别与分类方法，其特征在于，所述步骤(2)中的对各像素点的H、S、V值进行颜色分类，并根据分类结果在单通道空白颜色分类结果标记图像I_result上设置对应的灰度值具体包括以下设置规则：

(1)若V≤20或S<100或S≤53且V≤185时像素的颜色分类为黑色，颜色分类结果标记图像I_result中对应像素的灰度值设置为2；

(2)若S≤27且V>190像素的颜色分类为白色，颜色分类结果标记图像I_result中对应像素的灰度值设置为1；

(3)若S值，V值都不满足上面两种情况时：

(3.1)若H≤15或H≥156且H≤180像素的颜色分类为红色，颜色分类结果标记图像I_result中对应像素的灰度值设置为180；

(3.2)若H>15且H≤35像素的颜色分类为黄色，颜色分类结果标记图像I_result中对应像素的灰度值设置为30；

(3.3)若H>35且H≤100像素的颜色分类为绿色，颜色分类结果标记图像I_result中对应像素的灰度值设置为100；

(4)若H值皆不满足上述条件，则为无关颜色，颜色分类结果标记图像I_result中对应像素的灰度值设置为1。

3.根据权利要求2所述的基于视频分析的交通信号灯定位、识别与分类方法，其特征在于，所述的判断区域颜色是否为纯色的方法包括：在每个区域范围内，统计像素灰度值为1、2、30、100、180的数量，选取统计数量最多的灰度值进行如下判断:

(a)当灰度值为2时，若所统计灰度值数量中的最大值与像素总数量的比值大于阈值，则判断该区域颜色为纯色；

(b)当灰度值不为2且不为1时，若所统计灰度值数量中的最大值与黑色像素数量的比值大于阈值，判断该区域颜色为纯色；

(c)当灰度值不为1时，判断该区域颜色为不纯。

4.根据权利要求3所述的基于视频分析的交通信号灯定位、识别与分类方法，其特征在于，所述步骤(4)中判断两个矩形区域是否为重复区域方法包括：若两个区域有重叠并且重叠部分面积大于两个区域中面积较小区域面积的60％，则判断两个矩形区域为重复区域。

5.根据权利要求1所述的基于视频分析的交通信号灯定位、识别与分类方法，其特征在于，所述步骤(5)中视频数据时长为3分钟。

6.根据权利要求1所述的基于视频分析的交通信号灯定位、识别与分类方法，其特征在于，所述步骤(6)中颜色突变次数阀值为4，颜色持续时间阀值为8s。