CN112101107B - 一种智能网联模型车在环仿真交通信号灯智能识别方法 - Google Patents

Abstract

本发明公开了一种智能网联模型车在环仿真交通信号灯智能识别方法，包括以下步骤：采集在环仿真系统中包含交通信号灯的图像，截取采集图像中交通信号灯的颜色样本，对截取得到的样本图像进行颜色空间转换，统计信号灯的各颜色在各颜色通道的颜色特征；采集包含交通信号灯的场景图像并转换颜色空间；依据交通信号灯颜色特征统计结果，对包含交通信号灯的场景图像多通道联合分割；对多通道联合分割后的场景图像进行交通信号灯定位；根据定位结果，完成智能网联模型车对交通信号灯的确认和识别。本发明方法避免了交通信号灯识别受室外强光影响的问题，使用的算法具有识别准确率高、算法简单、实时性高、稳定、鲁棒性高等优点。

Description

一种智能网联模型车在环仿真交通信号灯智能识别方法

技术领域

本发明属于交通信号灯智能识别技术领域，涉及一种智能网联模型车在环仿真交通信号灯智能识别方法。

背景技术

随着科学技术的发展，数字图像处理的应用愈加广泛，除了对视觉效果的增强之外，图像识别的应用场景也越来越多，随着科技数字化、智能化，图像识别技术越来越多地应用于军事、智能交通领域中。随着智能交通系统(Intelligent Transport System,ITS)的迅速发展，交通信号灯自动识别技术早已成为图像处理与模式识别技术在智能交通领域重要的研究课题之一，智能网联模型车在交叉口对交通信号灯的快速准确识别和检测具有重大意义。

基于图像处理的前方车辆交通信号灯识别逐渐成为当前研究热点。目前这类方法主要是通过摄像头获取图片或视频，然后在图像处理技术的基础上对获取的图片进行识别。检测与识别目标来自自然场景，这就为系统的设计带来更多的挑战。主要有以下几点：

1、图像受光照影响。不同天气和时间段，光照差别很大，这使得交通信号灯在图像中的成像产生很大变化。

2、实时性需求。由于车辆对于信息实时性要求很高，因此在准确检测与识别的同时要保证算法实时性。另外检测图像的来源是搭载在车辆上的相机，车辆在行驶过程中相机中会产生运动模糊，导致图像不清晰。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种智能网联模型车在环仿真交通信号灯智能识别方法。本发明方法避免了交通信号灯识别受室外强光影响的问题，使用的算法具有识别准确率高、算法简单、实时性高、稳定、鲁棒性高等优点。

为了达到上述目的，本发明采用以下技术方案：

本发明提供的一种智能网联模型车在环仿真交通信号灯智能识别方法，包括以下步骤：

采集在环仿真系统中包含交通信号灯的图像，截取采集图像中交通信号灯的颜色样本，对截取得到的样本图像进行颜色空间转换，统计信号灯的各颜色在各颜色通道的颜色特征；

采集在环仿真系统中包含交通信号灯的场景图像并转换颜色空间；

依据交通信号灯颜色特征统计结果，对转换颜色空间后包含交通信号灯的场景图像进行多通道联合分割；

对多通道联合分割后的包含交通信号灯的场景图像进行交通信号灯定位；

根据定位结果，完成智能网联模型车对交通信号灯的确认和识别。

进一步的，所述对截取得到的样本图像进行颜色空间转换具体为从RGB空间转为YCbCr空间；

所述统计交通信号灯的各颜色通道的特征具体为：

计算转换颜色空间后样本图像中交通信号灯各颜色在Y、Cb、Cr三个通道中的像素均值，计算公式如下：

其中，μ_k表示k通道的平均像素值，p_ijk表示k通道的第i行第j列的像素值，m×n为统计区域面积，Y、Cb、Cr为YCbCr图像空间的单通道；

找出所有转换颜色空间后的样本图像中每种交通信号灯颜色在Y、Cb、Cr通道上像素值的最大值和最小值，将结果作为颜色特征记录下来。

进一步的，所述采集在环仿真系统中包含交通信号灯的场景图像并转换颜色空间，具体为从RGB空间转为YCbCr空间。

进一步的，所述多通道联合分割具体为：

转换为YCbCr颜色空间后的场景图像在模板图像下做分割处理；所述模板图像为根据场景图像中交通信号灯部分分布特性获得的交通信号灯位置范围图片；

依据统计得到的每种颜色的六个颜色特征阈值，对分割结果图像进行多通道下的二值化，公式如下：

其中，p_ijY为Y通道第i行第j列的像素值，p_ijCb与p_ijCr同理；p_i'_j是与原图像尺寸相同的单通道图像的第i行第j列的像素值；color_Y_min表示交通信号灯颜色在Y通道的像素值的最小值，color_Cb_min和color_Cr_min同理；color_Y_max表示交通信号灯在Y通道的像素值的最大值，color_Cb_max和color_Cr_max同理；

最终分别得到分割后的Y、Cb、Cr单通道二值化图像。

进一步的，所述进行交通信号灯定位具体为：

分别计算得到的单通道二值化图像的水平方向和竖直方向的像素均值和标准差，像素均值和标准差计算公式如下：

其中，和/>分别代表单通道二值化图像水平方向和竖直方向的像素均值；σ_x和σ_y分别代表单通道二值化图像水平方向和竖直方向的像素标准差，m×n为统计区域面积；

依据3σ原则将单通道二值化图像中的像素异常值剔除，保留满足在(μ-3σ,μ+3σ)区间内的像素值，其余像素值剔除，公式如下：

其中，p_ij表示单通道二值化图像中第i行第j列的像素值，μ为图像像素均值，σ为图像像素标准差。

进一步的，所述进行交通信号灯定位还包括以下步骤：

计算像素异常值剔除后图像中交通信号灯对于智能网联模型车的中心位置，公式为：

其中，为中心位置的横坐标，/>为中心位置的纵坐标，中心位置为/>

根据得到的交通信号灯的中心位置和水平、竖直方向的像素标准差在像素异常值剔除后图像中画出拟合交通信号灯椭圆来定位交通信号灯，具体为：

拟合交通信号灯椭圆的中心点为长轴和短轴的计算公式如下：

a＝σ_x

b＝σ_y

其中，a，b分别为拟合交通信号灯椭圆的长轴和短轴。

进一步的，所述交通信号灯对于智能网联模型车的中心位置随智能网联模型车的移动而改变；定位图像中心位置为定位拟合椭圆长短轴为(σ_x,σ_y)。

进一步的，所述完成智能网联模型车对交通信号灯的确认和识别具体为：

计算拟合交通信号灯椭圆面积的大小，取所有交通信号灯拟合椭圆中面积最大的对应的交通信号灯颜色作为交通信号灯识别结果，表示如下：

其中，color^*是最大有效面积对应的颜色，即交通信号灯颜色；S_color为交通信号灯拟合椭圆面积，当椭圆面积大于零时，该面积为有效面积，否则认为该颜色不存在。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用在环仿真和图像处理技术相结合的方法，避免了交通信号灯识别受室外强光影响的问题，在准确检测与识别的同时保证了算法的实时性，且本发明方法具有识别准确度高、算法简单、稳定、鲁棒性高等优点。

附图说明

图1是本发明方法的流程图；

图2是本发明实施例中绿色Y通道特征提取的流程图；

图3是本发明多通道联合分割步骤的流程图；

图4是本发明交通信号灯定位步骤的流程图；

图5是本发明交通信号灯识别步骤的流程图；

图6a是本发明实施例的识别测试图；

图6b是本发明实施例识别结果是绿灯情况的效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

交通控制硬件在环仿真是以计算机运行仿真模型来模拟交通对象的运行状态，通过控制器接口设备与实际的信号控制机连接，对信号控制策略进行全方面、系统的测试。在环仿真系统主要包含沙盘，模型车等。在城市交通方面，做一个半实物、半虚拟的仿真环境，沙盘要求能够完成实物部分的静态展示和动态演示，且具有车辆的运行、检测(模型车装置有摄像头)和控制功能，另外，各交叉路口的信号灯应该能够由计算机控制信号配时，实现点控(定时控制、感应控制)、线控等功能。

从可行性、安全性、成本等方面考虑，硬件在环仿真系统应用于各种控制系统，减少了实地测试的次数，缩短了系统开发时间，降低了实验成本，比单一的计算机仿真系统具有更好的实用性。

交通在环仿真系统环境是室内，受光照影响小。此外，交通在环仿真系统的场景与室外真实场景对比相对简单，算法相对简单，可以很好的保证实时性。

本发明提供一种智能网联模型车在环仿真交通信号灯智能识别方法。本发明避免了交通信号灯识别受室外强光影响的问题，本算法具有识别准确率高、算法简单、实时性高、稳定、鲁棒性高等优点。

实施例

如图1所示，本发明一种智能网联模型车在环仿真交通信号灯智能识别方法包括以下步骤：

S1、对环仿真系统中交通信号灯的颜色进行采样，对样本转换颜色空间并统计样本中的颜色特征。

在本实施例中，如图2所示，具体为：

S11、采集环仿真系统中包含交通信号灯的图像，使用截图工具对采集的图像中交通信号灯的颜色样本进行截取。

在本实施例中，使用智能网联模型车自带的摄像头采集包含交通信号灯的图像，并采用截图工具截取交通信号灯红色、黄色、绿色的样本。

S12、将所有截取得到的样本图像由RGB空间转为YCbCr空间，转换公式具体为：

S13、统计信号灯的各颜色在YCbCr三个颜色通道的颜色特征，具体为：

计算转换空间后图像中交通信号灯的三种颜色在Y、Cb、Cr三个通道中的像素均值，计算公式如下：

其中，μ_k表示k通道的平均像素值，p_ijk表示k通道的第i行第j列的像素值，m×n为统计区域面积，Y、Cb、Cr为YCbCr图像空间的单通道。

分别找出所有转换颜色空间后的样本图像中三种交通信号灯颜色在Y、Cb、Cr三个通道上像素值的最大值和最小值，并将结果作为颜色特征记录下来。

在本实施例中，以信号灯的绿色在Y通道为例，过程详见图2，其中，μ_Y表示某一样本图像中绿色在Y通道的平均像素值，p_ijY表示绿色在Y通道的第i行第j列的像素值，max{μ_Y1,μ_Y2,···,μ_Yn}表示所有样本图像中绿色在Y通道上平均像素值的最大值；green_Y_max表示所有样本图像中绿色在Y通道上出现的最大值；min{μ_Y1,μ_Y2,···,μ_Yn}表示所有样本图像中绿色在Y通道上平均像素值的最小值；green_Y_min表示所有样本图像中绿色在Y通道上出现的最小值。

S2、采集在环仿真系统中包含交通信号灯的场景图像并转换颜色空间，具体为：

在本实施例中，使用智能网联模型车自带的摄像头采集环仿真系统中包含交通信号灯的场景图像，并将采集的图像由RGB空间转为YCbCr空间，转换公式与步骤S12中所述一致。

S3、依据交通信号灯颜色特征统计结果，对转换颜色空间后包含交通信号灯的场景图像进行多通道联合分割；

在本实施例中，如图3所示，具体为：

S31、获取模板图像，根据场景图像中交通信号灯部分分布特性获得的交通信号灯位置范围图片；

S32、转换为YCbCr颜色空间后的场景图像在模板图像下做分割处理；

S33、依据步骤S13中统计得出的交通信号灯三种颜色在Y、Cb、Cr三个通道的颜色特征，对步骤S31与运算后的图像进行多通道联合分割，具体为：

每种颜色的颜色特征具体为六个数字，在本实施例中，以交通信号灯的绿色为例，分别是Y通道的最大值和最小值，green_Y_max和green_Y_min；Cb通道的最大值和最小值，green_Cb_max和green_Cb_min；Cr通道的最大值和最小值，green_Cr_max和green_Cr_min；依据这六个阈值进行多通道下的二值化，公式如下：

其中，p_ijY是Y通道第i行第j列的像素值，p_ijCb与p_ijCr同理；p_i'_j是与原图像尺寸相同的单通道图像的第i行第j列的像素值。

最终得到分割后的Y、Cb、Cr单通道二值化图像。

S4、对多通道联合分割后结果图像进行交通信号灯定位；

在本实施例中，如图4所示，对步骤S3多通道联合分割后结果图像进行交通信号灯定位，具体为：

S41、分别计算单通道二值化图像的水平方向和竖直方向的像素均值和标准差，像素均值和标准差计算公式如下：

其中，和/>分别代表单通道二值化图像水平方向和竖直方向的像素均值；σ_x和σ_y分别代表单通道二值化图像水平方向和竖直方向的像素标准差，m×n为统计区域面积。

S42、依据3σ原则将单通道二值化图像中像素异常值剔除，保留满足在(μ-3σ,μ+3σ)区间内的像素值，其余像素值剔除，公式如下：

S43、计算剔除像素异常值后的图像中交通信号灯对于智能网联模型车的中心位置，具体为：

在本实施例中，中心位置的计算公式与步骤S41中计算单通道二值化图像水平和竖直方向的像素均值公式一致，为：

得到中心位置中心位置随着智能网联模型车的移动而改变。

S44、根据得到的交通信号灯的中心位置和水平、竖直方向的像素标准差画出拟合交通信号灯椭圆来定位交通信号灯，具体为：

拟合交通信号灯椭圆的中心点位步骤S43所得中心位置拟合交通信号灯椭圆的长轴和短轴的计算公式如下：

a＝σ_x

b＝σ_y

其中，a，b分别为拟合交通信号灯椭圆的长轴和短轴。

S5、根据定位结果，完成智能网联模型车对交通信号灯的确认和识别；

在本实施例中，如图5所示，具体为：

定位结果为黄、红、绿三种颜色的交通信号灯二值定位图像，定位图像中心位置为定位拟合椭圆长短轴为(σ_x,σ_y)；

通过计算拟合交通信号灯椭圆面积的大小，取三种交通信号灯拟合椭圆中面积最大的对应的交通信号灯颜色作为交通信号灯识别结果，表示如下：

color^*是最大有效面积对应的颜色，即交通信号灯颜色；S_color为交通信号灯拟合椭圆面积，当椭圆面积大于零时，该面积为有效面积，否则认为该颜色不存在；如果黄、红、绿三种颜色的有效面积都为0，则认为该场景中没有交通信号灯。

在本实施例中，以绿灯为例，交通信号灯识别测试图如图6a所示，交通信号灯识别效果如图6b所示。

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种智能网联模型车在环仿真交通信号灯智能识别方法，其特征在于，包括以下步骤：

采集在环仿真系统中包含交通信号灯的图像，截取采集图像中交通信号灯的颜色样本，对截取得到的样本图像进行颜色空间转换，统计信号灯的各颜色在各颜色通道的颜色特征；

采集在环仿真系统中包含交通信号灯的场景图像并转换颜色空间；所述采集在环仿真系统中包含交通灯的场景图像并转换颜色空间，具体为从RGB空间转为YCbCr空间；

依据交通信号灯颜色特征统计结果，对转换颜色空间后包含交通信号灯的场景图像进行多通道联合分割；所述多通道联合分割具体为：

转换为YCbCr颜色空间后的场景图像在模板图像下做分割处理；所述模板图像为根据场景图像中交通信号灯部分分布特性获得的交通信号灯位置范围图片；

依据统计得到的每种颜色的六个颜色特征阈值，对分割结果图像进行多通道下的二值化，公式如下：

其中，p_ijY为Y通道第i行第j列的像素值，p_ijCb与p_ijCr同理；p_i'_j是与原图像尺寸相同的单通道图像的第i行第j列的像素值；color_Y_min表示交通信号灯颜色在Y通道的像素值的最小值，color_Cb_min和color_Cr_min同理；color_Y_max表示交通信号灯在Y通道的像素值的最大值，

color_Cb_max和color_Cr_max同理；

最终分别得到分割后的Y、Cb、Cr单通道二值化图像；

对多通道联合分割后的包含交通信号灯的场景图像进行交通信号灯定位；所述进行交通信号灯定位具体为：

分别计算得到的单通道二值化图像的水平方向和竖直方向的像素均值和标准差，像素均值和标准差计算公式如下：

其中，和/>分别代表单通道二值化图像水平方向和竖直方向的像素均值；σ_x和σ_y分别代表单通道二值化图像水平方向和竖直方向的像素标准差，m×n为统计区域面积；

依据3σ原则将单通道二值化图像中的像素异常值剔除，保留满足在(μ-3σ,μ+3σ)区间内的像素值，其余像素值剔除，公式如下：

其中，p_ij表示单通道二值化图像中第i行第j列的像素值，μ为图像像素均值，σ为图像像素标准差；

根据定位结果，完成智能网联模型车对交通信号灯的确认和识别。

2.根据权利要求1所述的一种智能网联模型车在环仿真交通信号灯智能识别方法，其特征在于，所述对截取得到的样本图像进行颜色空间转换具体为从RGB空间转为YCbCr空间；

所述统计交通信号灯的各颜色通道的特征具体为：

计算转换颜色空间后样本图像中交通信号灯各颜色在Y、Cb、Cr三个通道中的像素均值，计算公式如下：

其中，μ_k表示k通道的平均像素值，p_ijk表示k通道的第i行第j列的像素值，m×n为统计区域面积，Y、Cb、Cr为YCbCr图像空间的单通道；

找出所有转换颜色空间后的样本图像中每种交通信号灯颜色在Y、Cb、Cr通道上像素值的最大值和最小值，将结果作为颜色特征记录下来。

3.根据权利要求1所述的一种智能网联模型车在环仿真交通信号灯智能识别方法，其特征在于，所述进行交通信号灯定位还包括以下步骤：

计算像素异常值剔除后图像中交通信号灯对于智能网联模型车的中心位置，公式为：

其中，为中心位置的横坐标，/>为中心位置的纵坐标，中心位置为/>

根据得到的交通信号灯的中心位置和水平、竖直方向的像素标准差在像素异常值剔除后图像中画出拟合交通信号灯椭圆来定位交通信号灯，具体为：

拟合交通信号灯椭圆的中心点为长轴和短轴的计算公式如下：

a＝σ_x

b＝σ_y

其中，a，b分别为拟合交通信号灯椭圆的长轴和短轴。

4.根据权利要求3所述的一种智能网联模型车在环仿真交通信号灯智能识别方法，其特征在于，所述交通信号灯对于智能网联模型车的中心位置随智能网联模型车的移动而改变；定位图像中心位置为定位拟合椭圆长短轴为(σ_x,σ_y)。

5.根据权利要求3所述的一种智能网联模型车在环仿真交通信号灯智能识别方法，其特征在于，所述完成智能网联模型车对交通信号灯的确认和识别具体为：

计算拟合交通信号灯椭圆面积的大小，取所有交通信号灯拟合椭圆中面积最大的对应的交通信号灯颜色作为交通信号灯识别结果，表示如下：

其中，color^*是最大有效面积对应的颜色，即交通信号灯颜色；S_color为交通信号灯拟合椭圆面积，当椭圆面积大于零时，该面积为有效面积，否则认为该颜色不存在。