CN107886035A - 识别箭头交通灯的方法、装置及车辆 - Google Patents

Abstract

本公开提供了一种识别箭头交通灯的方法、装置及车辆。该方法考虑到箭头交通灯的形状是箭头，箭头本身的特性是对称性，不同的箭头具有不同的对称性，通过对称性可以将不同的箭头区分开来。因此，利用箭头交通灯的对称性，确定箭头交通灯的箭头类型，再结合箭头交通灯的灯光颜色，确定箭头交通灯的类型。无需采集样本以及机器学习，简化了识别箭头交通灯的过程，提高了识别箭头交通灯的效率。

Description

识别箭头交通灯的方法、装置及车辆

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种识别箭头交通灯的方法、装置及车辆。

背景技术

随着社会经济的快速发展，汽车越来越普及，然而人们在享受汽车带来的好处的同时，也面临着日益加剧的城市交通安全问题和路口通行效率问题，因此，用于车辆行驶安全的交通信号灯识别技术应运而生。

目前的交通信号灯识别方法都是基于CMOS(中文：互补金属氧化物半导体；英文：Complementary Metal Oxide Semiconductor)摄像头采集回来的彩色图像，利用模板匹配和机器学习等图像处理技术进行识别。受算法本身的局限，要想获得一个比较好的识别结果，需要去不同的场景采集成千上万的样本进行机器学习，而且算法复杂度很高，一旦交通信号灯发生变化，又需要重新采集样本进行机器学习，需要花费很多时间以及人力和物力，尤其针对具有多个方向特性的箭头交通信号灯，实现识别的过程将更为复杂。

发明内容

本公开的目的是提供一种识别箭头交通灯的方法、装置及车辆，以简化识别箭头交通灯的过程，提高识别箭头交通灯的效率。

为了实现上述目的，本公开提供一种识别箭头交通灯的方法，所述方法包括：

对所述图像采集装置采集到的图像中的箭头交通灯背景框区域进行颜色分割；

对图像采集装置采集到的图像中的箭头交通灯背景框区域进行灰度化处理；

对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯；

根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型；

结合所述箭头类型和所述箭头交通灯的灯光颜色，确定所述箭头交通灯的类型。

可选地，所述箭头交通灯背景框区域包括多个箭头交通灯；对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯，包括：

在经过所述颜色分割后的图像中确定多个目标区域；

从经过所述灰度化处理后的箭头交通灯背景框区域中确定与所述多个目标区域分别对应的多个最大外接矩形；

对所述多个最大外接矩形分别进行二值化分割，以提取多个箭头交通灯。

可选地，根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型，包括：

确定所述箭头交通灯分别在水平方向和垂直方向的对称性；

确定组成所述箭头交通灯的像素点的分布情况；

结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型。

可选地，确定所述箭头交通灯分别在水平方向和垂直方向的对称性，包括：

确定以所述箭头交通灯为中心，且具有水平方向对称轴和垂直方向对称轴的参考区域，在组成所述参考区域的像素点的属性为目标点或背景点，其中，组成所述箭头交通灯的像素点的属性为目标点，所述参考区域中除组成所述箭头交通灯的像素点外的像素点的属性为背景点；

对比位于所述水平方向对称轴两侧的像素点的属性，并对比位于所述垂直方向对称轴两侧的像素点的属性；

若位于所述水平方向对称轴两侧的像素点中属性相同的像素点的个数大于预设阈值，则确定所述箭头交通灯关于所述水平方向对称轴对称；

若位于所述垂直方向对称轴两侧的像素点中属性相同的像素点的个数大于所述预设阈值，则确定所述箭头交通灯关于所述垂直方向对称轴对称。

可选地，结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右；

对比位于所述垂直方向对称轴两侧的目标点数量；

若位于所述垂直方向对称轴左侧的目标点数量大于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向左直行；

若位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向右直行。

可选地，结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯不关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向前或向后；

对比位于所述水平方向对称轴两侧的目标点数量；

若位于所述水平方向对称轴上侧的目标点数量大于位于所述水平方向对称轴下侧的目标点数量，则确定所述箭头交通灯的箭头类型为向前直行；

若位于所述水平方向对称轴上侧的目标点数量小于位于所述水平方向对称轴下侧的目标点数量，则确定所述箭头交通灯的箭头类型为向后直行。

可选地，结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯不关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左转或向右转；

对比位于所述水平方向对称轴以及所述垂直方向对称轴所形成的四个区域的目标点数量；

若所述四个区域中左下区域的目标点数量最大，则确定所述箭头交通灯的箭头类型为向左转；

若所述四个区域中右下区域的目标点数量最大，则确定所述箭头交通灯的箭头类型为向右转。

可选地，根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头类型为禁止通行。

本公开还提供一种识别箭头交通灯的装置，所述装置包括：

颜色分割模块，用于对所述图像采集装置采集到的图像中的箭头交通灯背景框区域进行颜色分割；

灰度化处理模块，用于对图像采集装置采集到的图像中的箭头交通灯背景框区域进行灰度化处理；

二值化分割模块，用于对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯；

箭头类型确定模块，用于根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型；

交通灯确定模块，用于结合所述箭头类型和所述箭头交通灯的灯光颜色，确定所述箭头交通灯的类型。

可选地，所述箭头交通灯背景框区域包括多个箭头交通灯；所述二值化分割模块包括：

目标区域确定子模块，用于在经过所述颜色分割后的图像中确定多个目标区域；

最大外接矩形确定子模块，用于从经过所述灰度化处理后的箭头交通灯背景框区域中确定与所述多个目标区域分别对应的多个最大外接矩形；

二值化分割子模块，用于对所述多个最大外接矩形分别进行二值化分割，以提取多个箭头交通灯。

可选地，所述箭头类型确定模块包括：

对称性确定子模块，用于确定所述箭头交通灯分别在水平方向和垂直方向的对称性；

分布情况确定子模块，用于确定组成所述箭头交通灯的像素点的分布情况；

箭头类型确定子模块，用于结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型。

可选地，所述对称性确定子模块包括：

参考区域确定子模块，用于确定以所述箭头交通灯为中心，且具有水平方向对称轴和垂直方向对称轴的参考区域，在组成所述参考区域的像素点的属性为目标点或背景点，其中，组成所述箭头交通灯的像素点的属性为目标点，所述参考区域中除组成所述箭头交通灯的像素点外的像素点的属性为背景点；

第一对比子模块，用于对比位于所述水平方向对称轴两侧的像素点的属性，并对比位于所述垂直方向对称轴两侧的像素点的属性；

第一确定子模块，用于在位于所述水平方向对称轴两侧的像素点中属性相同的像素点的个数大于预设阈值时，确定所述箭头交通灯关于所述水平方向对称轴对称；

第二确定子模块，用于在位于所述垂直方向对称轴两侧的像素点中属性相同的像素点的个数大于所述预设阈值时，确定所述箭头交通灯关于所述垂直方向对称轴对称。

可选地，所述箭头类型确定子模块包括：

第一箭头指向确定子模块，用于在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右；

第三对比子模块，用于对比位于所述垂直方向对称轴两侧的目标点数量；

第四确定子模块，用于在位于所述垂直方向对称轴左侧的目标点数量大于位于所述垂直方向对称轴右侧的目标点数量时，确定所述箭头交通灯的箭头类型为向左直行；

第五确定子模块，用于在位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量时，确定所述箭头交通灯的箭头类型为向右直行。

可选地，所述箭头类型确定子模块包括：

第二箭头指向确定子模块，用于在所述箭头交通灯不关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向前或向后；

第四对比子模块，用于对比位于所述水平方向对称轴两侧的目标点数量；

第六确定子模块，用于在位于所述水平方向对称轴上侧的目标点数量大于位于所述水平方向对称轴下侧的目标点数量时，确定所述箭头交通灯的箭头类型为向前直行；

第七确定子模块，用于在位于所述水平方向对称轴上侧的目标点数量小于位于所述水平方向对称轴下侧的目标点数量时，确定所述箭头交通灯的箭头类型为向后直行。

可选地，所述箭头类型确定子模块包括：

第三箭头指向确定子模块，用于在所述箭头交通灯不关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左转或向右转；

第五对比子模块，用于对比位于所述水平方向对称轴以及所述垂直方向对称轴所形成的四个区域的目标点数量；

第八确定子模块，用于在所述四个区域中左下区域的目标点数量最大时，则确定所述箭头交通灯的箭头类型为向左转；

第九确定子模块，用于在所述四个区域中右下区域的目标点数量最大时，确定所述箭头交通灯的箭头类型为向右转。

可选地，所述箭头类型确定模块包括：

禁止通行箭头确定子模块，用于在所述箭头交通灯关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头类型为禁止通行。

本公开还提供了一种车辆，所述车辆包括：

图像采集装置，用于采集图像；以及

根据本公开所提供的识别箭头交通灯的装置。

本公开中，考虑到箭头交通灯的形状是箭头，箭头本身的特性是对称性，不同的箭头具有不同的对称性，通过对称性可以将不同的箭头区分开来。因此，利用箭头交通灯的对称性，确定箭头交通灯的箭头类型，再结合箭头交通灯的灯光颜色，确定箭头交通灯的类型。无需采集样本以及机器学习，简化了识别箭头交通灯的过程，提高了识别箭头交通灯的效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种识别箭头交通灯的方法的流程图。

图2是根据一示例性实施例示出的提取箭头交通灯的示意图。

图3是根据一示例性实施例示出的提取箭头交通灯的另一示意图。

图4是根据一示例性实施例示出的提取箭头交通灯的另一示意图。

图5是根据一示例性实施例示出的确定组成箭头交通灯的像素点的分布情况的示意图。

图6是根据一示例性实施例示出的一种识别箭头交通灯的装置的示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

相关技术中，对箭头交通灯的识别需要采集样本以及机器学习，因而识别箭头交通灯的过程比较复杂。为解决该技术问题，本公开提供一种识别箭头交通灯的方法、装置及车辆，以简化识别箭头交通灯的过程，提高识别箭头交通灯的效率。下面分别对本公开提供的识别箭头交通灯的方法及装置进行说明。

请参考图1，图1是根据一示例性实施例示出的一种识别箭头交通灯的方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11：对所述图像采集装置采集到的图像中的箭头交通灯背景框区域进行颜色分割；

步骤S12：对图像采集装置采集到的图像中的箭头交通灯背景框区域进行灰度化处理；

步骤S13：对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯；

步骤S14：根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型；

步骤S15：结合所述箭头类型和所述箭头交通灯的灯光颜色，确定所述箭头交通灯的类型。

步骤S11中的图像采集装置是具有图像采集功能的装置，该装置采集到的图像可以是普通的彩色图像，也可以是具有深度信息的彩色图像。例如：图像采集装置可以是CMOS摄像头、2D摄像头或3D摄像头等。

在实际应用中，图像采集装置可以安装在汽车的车身上，一种可能的安装方式是：将图像采集装置安装在车身的前挡风玻璃上且与车内后视镜相对。这样，在汽车行进的过程中，可以通过图像采集装置实时采集图像，并实时识别箭头交通灯，以为驾驶员规划行车路线和行车速度提供参考，并保障驾驶员的行车安全。

可选地，图像采集装置向上或向下旋转的角度可以根据图像采集装置实时采集到的图像进行标定。以便于在图像处理过程中，可以减少图像处理的区域和数据量，还能减少一部分其它光源(例如：部分汽车尾灯等)带来的影响。

一种可能的标定方式是：结合《GB 14886-2006道路交通信号灯设置与安装规范》，以保证图像采集装置实时采集到的图像中的箭头交通灯背景框区域占整张图像的上半部的一半。

本公开中，箭头交通灯背景框区域是图像采集装置采集到的图像的一部分区域，该区域上的像素点形成箭头交通灯背景框。箭头交通灯背景框是信号交通灯背景框的一种，其特点在于背景框内的信号交通灯是箭头交通灯。如何从图像采集装置采集到的图像中确定信号交通灯背景框或者箭头交通灯背景框，可以参考相关技术，在此不再赘述。

为减少图像处理的区域和数据量，本公开未对图像采集装置采集到的整张图像进行处理，而是选取其中的箭头交通灯背景框区域进行处理。对箭头交通灯背景框区域的处理包括灰度化处理以及颜色分割，两者是两个相对独立的过程，因此，两者的执行顺序不分先后，可以先后执行或者并行执行。在经过灰度化处理以及颜色分割后，进行分区域二值化，分区域二值化的过程将在下文说明。

一方面，对箭头交通的背景框区域进行颜色分割。为减少太阳光等光照条件对图像处理结果的影响，本公开利用像素点的色调值进行颜色分割。以箭头交通灯所有可能的灯光颜色的色调值为阈值，在阈值范围内的则可能是箭头交通灯，这样就可以将箭头交通灯的背景框区域分成两部分：可能是箭头交通灯的区域以及背景区域，其中，可能是箭头交通灯的区域内的像素点的色调值在上述阈值范围内。

一种可能的实施方式是：箭头交通的所有可能的灯光颜色是红、绿和黄。其中，红色的色调值范围是小于6或大于244；绿色的色调值范围是81至130之间，黄色的色调值范围是21至46之间。如何确定红、绿和黄三种颜色的色调值范围，可参考相关技术，在此就不再赘述。

考虑到HSV色彩空间中H(色调)与V(明度)具有无关性，可以将图像采集装置采集到的图像转换到HSV色彩空间，进而利用上述色调值范围进行颜色分割。

另一方面，对箭头交通灯背景框区域进行灰度化处理。首先确定箭头交通灯背景框区域中各个像素点的亮度值，然后得到相应的灰度图像。一种可能的实施方式是：将箭头交通灯背景框区域转换到YCbCr色彩空间，再提取Y值以形成相应的灰度图像。

可选地，考虑到灰度图像中有噪声，噪声对图像的质量有很大影响。可以在得到灰度图像后，对灰度图像进行降噪处理，进而得到经过降噪处理的灰度图像。一种可能的实施方式是：采用中值滤波实现降噪，采用中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性。

在对箭头交通灯背景框区域进行灰度化处理后，进行二值化分割，进而提取出箭头交通灯。一种可能的实施方式是：采用OTSU(最大类间方差法)计算箭头交通灯背景框区域的二值化阈值，然后使用计算出来的二值化阈值对箭头交通灯背景框区域内的像素点进行二值化处理，进而实现将箭头交通灯从箭头交通灯背景框区域中分离出来。

可选地，针对箭头交通灯背景框区域包括多个箭头交通灯的情况，本公开提出对箭头交通灯背景框区域进行分区域二值化(即前文提及的分区域二值化)，以提高二值化的准确率，进而准确地提取出多个箭头交通灯。因此，步骤S12包括：

在经过所述颜色分割后的图像中确定多个目标区域；

从经过所述灰度化处理后的箭头交通灯背景框区域中确定与所述多个目标区域分别对应的多个最大外接矩形；

对所述多个最大外接矩形分别进行二值化分割，以提取多个箭头交通灯。

针对箭头交通灯背景框区域包括多个箭头交通灯的情况，需要在对箭头交通灯背景框区域分别进行灰度化处理以及颜色分割后进行进一步处理。请参考图2，图2是根据一示例性实施例示出的提取箭头交通灯的示意图。

首先，箭头交通的背景框区域在经过颜色分割后，可以从中确定出多个目标区域，每个目标区域的像素点的色调值符合上述阈值范围。然后，将上述目标区域对应到经灰度化处理后的箭头交通灯背景框区域中，进而确定每个目标区域对应的中心点坐标，也即图2所示的每个箭头的中心点坐标。接着，对每个中心点及目标区域执行相同的操作：以中心点为中心，向上、下、左、右4个方向扩展，在箭头交通灯背景框区域中寻找到目标区域对应的最大外接正方形，如图2所示的白线方框。最后，将所有正方形区域外的像素点设置为背景，对每个正方形区域执行相同的操作：采用OTSU方法计算正方形区域的二值化阈值，并使用计算出来的阈值对正方形区域内的像素点进行二值化处理，进而实现将多个箭头交通灯从箭头交通灯背景框区域中分离出来。

可选地，考虑到箭头交通灯在设计上，箭首部分和箭尾部分是分离开来的，为便于分析箭头交通灯的对称性，可以在进行二值化分割后，对得到的二值化图像进行形态学闭运算处理，这样可以通过填充空隙、对外边缘平滑处理，使得箭首部分和箭尾部分连通起来，请参考图3，图3是根据一示例性实施例示出的提取箭头交通灯的另一示意图。

可选地，为便于统一处理，在从箭头交通灯背景框区域提取出箭头交通灯后，可以从箭头交通灯背景框区域中提取包括箭头交通灯的最小外接矩形区域，并采用最临近插值法将其归一化到同样的长宽大小(例如：35*35像素)，请参考图4，图4是图2是根据一示例性实施例示出的提取箭头交通灯的另一示意图。

接下来，对箭头交通灯的对称性进行分析，以确定箭头交通灯的箭头类型。包括以下步骤：

确定所述箭头交通灯分别在水平方向和垂直方向的对称性；

确定组成所述箭头交通灯的像素点的分布情况；

结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型。

其中，确定所述箭头交通灯分别在水平方向和垂直方向的对称性，包括：

确定以所述箭头交通灯为中心，且具有水平方向对称轴和垂直方向对称轴的参考区域，在组成所述参考区域的像素点的属性为目标点或背景点，其中，组成所述箭头交通灯的像素点的属性为目标点，所述参考区域中除组成所述箭头交通灯的像素点外的像素点的属性为背景点；

对比位于所述水平方向对称轴两侧的像素点的属性，并对比位于所述垂直方向对称轴两侧的像素点的属性；

若位于所述水平方向对称轴两侧的像素点中属性相同的像素点的个数大于预设阈值，则确定所述箭头交通灯关于所述水平方向对称轴对称；

若位于所述垂直方向对称轴两侧的像素点中属性相同的像素点的个数大于所述预设阈值，则确定所述箭头交通灯关于所述垂直方向对称轴对称。

本公开中，为确定箭头交通灯分别在水平方向和垂直方向的对称性，首先要以箭头交通灯为中心设定一个参考区域，也就是说，在该参考区域中，箭头交通灯是居中的，并且参考区域具有水平方向对称轴和垂直方向对称轴。一种可能的参考区域如图4所示。

组成参考区域的像素点可以分为目标点和背景点两类，组成箭头交通灯的像素点属于目标点，其他像素点属于背景点。以图4为例，图4中白色区域为箭头，其中的像素点属于目标点，图4中的黑色区域内的像素点属于背景点。

为确定箭头交通灯是否关于水平方向对称轴对称，需要对比水平方向对称轴两侧的像素点的属性。一种可能的实施方式是：遍历水平方向对称轴一侧的目标点和背景点，并计算出其对称的另一侧的目标点和背景点的理论值，然后判断水平方向对称轴另一侧的像素点的属性是否与理论值相符，设定一个阈值，当其相符程度达到该阈值的时候，认为箭头交通灯关于水平方向对称轴对称。同理，可以通过对比垂直方向对称轴两侧的像素点的属性，确定箭头交通灯是否关于垂直方向对称轴对称。

箭头交通灯分别在水平方向和垂直方向的对称性可以分为以下4种情况：

1)关于垂直方向对称轴对称，且不关于垂直方向对称轴对称，如图4中的标号为1或2的箭头交通灯；

2)关于水平方向对称轴对称，且不关于垂直方向对称轴对称，如图4中的标号为3或4的箭头交通灯；

3)不关于垂直方向对称轴对称，且不关于垂直方向对称轴对称，如图4中的标号为5或6的箭头交通灯；

4)关于垂直方向对称轴对称，且关于垂直方向对称轴对称，如图4中的标号为7的箭头交通灯。

因此，根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头类型为禁止通行。

也就是说，通过对箭头交通灯的对称性分析，如果箭头交通灯既关于水平方向对称轴对称，又关于垂直方向对称轴对称，则可以确定箭头交通灯的箭头类型为禁止通行，如图4中的标号为7的箭头交通灯。

而对于其他箭头类型，需要将箭头交通灯的对称性与组成箭头交通灯的像素点的分布情况相结合，进而确定箭头交通灯的箭头类型。包括：

在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右；对比位于所述垂直方向对称轴两侧的目标点数量；若位于所述垂直方向对称轴左侧的目标点数量大于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向左直行；若位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向右直行。

在所述箭头交通灯不关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向前或向后；对比位于所述水平方向对称轴两侧的目标点数量；若位于所述水平方向对称轴上侧的目标点数量大于位于所述水平方向对称轴下侧的目标点数量，则确定所述箭头交通灯的箭头类型为向前直行；若位于所述水平方向对称轴上侧的目标点数量小于位于所述水平方向对称轴下侧的目标点数量，则确定所述箭头交通灯的箭头类型为向后直行。

在所述箭头交通灯不关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左转或向右转；对比位于所述水平方向对称轴以及所述垂直方向对称轴所形成的四个区域的目标点数量；若所述四个区域中左下区域的目标点数量最大，则确定所述箭头交通灯的箭头类型为向左转；若所述四个区域中右下区域的目标点数量最大，则确定所述箭头交通灯的箭头类型为向右转。

下面首先说明对组成箭头交通灯的像素点的分布情况进行分析的过程。

请参考图5，图5是根据一示例性实施例示出的确定组成箭头交通灯的像素点的分布情况的示意图。水平方向对称轴和垂直方向对称轴将参考区域分为四个区域，如图5所示的a、b、c、d四个区域，可以分别统计四个区域中目标点数量，以图5为例，a、b、c、d四个区域中目标点数量可以分别表示为Sa、Sb、Sc、Sd。

在箭头交通灯关于水平方向对称轴对称，且不关于垂直方向对称轴对称时，箭头类型可能是图4中标号为3或4的箭头，也就是说，箭头指向为向左或向右。为进一步确定箭头指向，需要对比垂直方向对称轴两侧的目标点数量，以图5为例，比较(Sa+Sc)与(Sb+Sd)，如果(Sa+Sc)大于(Sb+Sd)，则箭头指向为向左，箭头类型为向左直行；如果(Sa+Sc)小于(Sb+Sd)，则箭头指向为向右，箭头类型为向右直行。

同理，在箭头交通灯关于垂直方向对称轴对称，且不关于水平方向对称轴对称时，箭头类型可能是图4中标号为1或2的箭头，也就是说，箭头指向为向前或向后。为进一步确定箭头指向，需要对比水平方向对称轴两侧的目标点数量，以图5为例，比较(Sa+Sb)与(Sc+Sd)，如果(Sa+Sb)大于(Sc+Sd)，则箭头指向为向前，箭头类型为向前直行；如果(Sa+Sb)小于(Sc+Sd)，则箭头指向为向后，箭头类型为向后直行。

在箭头交通灯不关于垂直方向对称轴对称，且不关于水平方向对称轴对称时，箭头类型可能是图4中标号为5或6的箭头，也就是说，箭头指向为向左转或向右转。为进一步确定箭头指向，需要对比四个区域的目标点数量，以图5为例，比较Sa、Sb、Sc和Sd，如果Sc为最大值，则箭头类型为向左转；如果Sd为最大值，则箭头类型为向右转。

以上为确定箭头交通灯的箭头类型的过程。在确定处箭头交通灯的箭头类型后，再根据颜色分割的结果，确定箭头交通灯的灯光颜色，最后，结合箭头类型和灯光颜色，确定箭头交通灯的类型。

本公开还提供一种识别箭头交通灯的装置。请参考图6，图6是根据一示例性实施例示出的一种识别箭头交通灯的装置的示意图。如图6所示，该装置600包括：

颜色分割模块601，用于对所述图像采集装置采集到的图像中的箭头交通灯背景框区域进行颜色分割；

灰度化处理模块602，用于对图像采集装置采集到的图像中的箭头交通灯背景框区域进行灰度化处理；

二值化分割模块603，用于对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯；

箭头类型确定模块604，用于根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型；

交通灯确定模块605，用于结合所述箭头类型和所述箭头交通灯的灯光颜色，确定所述箭头交通灯的类型。

可选地，所述箭头交通灯背景框区域包括多个箭头交通灯；所述二值化分割模块包括：

目标区域确定子模块，用于在经过所述颜色分割后的图像中确定多个目标区域；

最大外接矩形确定子模块，用于从经过所述灰度化处理后的箭头交通灯背景框区域中确定与所述多个目标区域分别对应的多个最大外接矩形；

二值化分割子模块，用于对所述多个最大外接矩形分别进行二值化分割，以提取多个箭头交通灯。

可选地，所述箭头类型确定模块包括：

对称性确定子模块，用于确定所述箭头交通灯分别在水平方向和垂直方向的对称性；

分布情况确定子模块，用于确定组成所述箭头交通灯的像素点的分布情况；

箭头类型确定子模块，用于结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型。

可选地，所述对称性确定子模块包括：

参考区域确定子模块，用于确定以所述箭头交通灯为中心，且具有水平方向对称轴和垂直方向对称轴的参考区域，在组成所述参考区域的像素点的属性为目标点或背景点，其中，组成所述箭头交通灯的像素点的属性为目标点，所述参考区域中除组成所述箭头交通灯的像素点外的像素点的属性为背景点；

第一对比子模块，用于对比位于所述水平方向对称轴两侧的像素点的属性，并对比位于所述垂直方向对称轴两侧的像素点的属性；

第一确定子模块，用于在位于所述水平方向对称轴两侧的像素点中属性相同的像素点的个数大于预设阈值时，确定所述箭头交通灯关于所述水平方向对称轴对称；

第二确定子模块，用于在位于所述垂直方向对称轴两侧的像素点中属性相同的像素点的个数大于所述预设阈值时，确定所述箭头交通灯关于所述垂直方向对称轴对称。

可选地，所述箭头类型确定子模块包括：

第一箭头指向确定子模块，用于在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右；

第三对比子模块，用于对比位于所述垂直方向对称轴两侧的目标点数量；

第四确定子模块，用于在位于所述垂直方向对称轴左侧的目标点数量大于位于所述垂直方向对称轴右侧的目标点数量时，确定所述箭头交通灯的箭头类型为向左直行；

第五确定子模块，用于在位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量时，确定所述箭头交通灯的箭头类型为向右直行。

可选地，所述箭头类型确定子模块包括：

第二箭头指向确定子模块，用于在所述箭头交通灯不关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向前或向后；

第四对比子模块，用于对比位于所述水平方向对称轴两侧的目标点数量；

第六确定子模块，用于在位于所述水平方向对称轴上侧的目标点数量大于位于所述水平方向对称轴下侧的目标点数量时，确定所述箭头交通灯的箭头类型为向前直行；

第七确定子模块，用于在位于所述水平方向对称轴上侧的目标点数量小于位于所述水平方向对称轴下侧的目标点数量时，确定所述箭头交通灯的箭头类型为向后直行。

可选地，所述箭头类型确定子模块包括：

第三箭头指向确定子模块，用于在所述箭头交通灯不关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左转或向右转；

第五对比子模块，用于对比位于所述水平方向对称轴以及所述垂直方向对称轴所形成的四个区域的目标点数量；

第八确定子模块，用于在所述四个区域中左下区域的目标点数量最大时，则确定所述箭头交通灯的箭头类型为向左转；

第九确定子模块，用于在所述四个区域中右下区域的目标点数量最大时，确定所述箭头交通灯的箭头类型为向右转。

可选地，所述箭头类型确定模块包括：

禁止通行箭头确定子模块，用于在所述箭头交通灯关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头类型为禁止通行。

关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

此外，本发明还提供一种车辆，该车辆可以包括图像采集装置，用于采集图像；以及根据本公开提供的上述识别箭头交通灯的装置。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (17)

1.一种识别箭头交通灯的方法，其特征在于，所述方法包括：

对所述图像采集装置采集到的图像中的箭头交通灯背景框区域进行颜色分割；

对图像采集装置采集到的图像中的箭头交通灯背景框区域进行灰度化处理；

对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯；

根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型；

结合所述箭头类型和所述箭头交通灯的灯光颜色，确定所述箭头交通灯的类型。

2.根据权利要求1所述的方法，其特征在于，所述箭头交通灯背景框区域包括多个箭头交通灯；对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯，包括：

在经过所述颜色分割后的图像中确定多个目标区域；

从经过所述灰度化处理后的箭头交通灯背景框区域中确定与所述多个目标区域分别对应的多个最大外接矩形；

对所述多个最大外接矩形分别进行二值化分割，以提取多个箭头交通灯。

3.根据权利要求1或2任一所述的方法，其特征在于，根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型，包括：

确定所述箭头交通灯分别在水平方向和垂直方向的对称性；

确定组成所述箭头交通灯的像素点的分布情况；

结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型。

4.根据权利要求3所述的方法，其特征在于，确定所述箭头交通灯分别在水平方向和垂直方向的对称性，包括：

确定以所述箭头交通灯为中心，且具有水平方向对称轴和垂直方向对称轴的参考区域，在组成所述参考区域的像素点的属性为目标点或背景点，其中，组成所述箭头交通灯的像素点的属性为目标点，所述参考区域中除组成所述箭头交通灯的像素点外的像素点的属性为背景点；

对比位于所述水平方向对称轴两侧的像素点的属性，并对比位于所述垂直方向对称轴两侧的像素点的属性；

若位于所述水平方向对称轴两侧的像素点中属性相同的像素点的个数大于预设阈值，则确定所述箭头交通灯关于所述水平方向对称轴对称；

若位于所述垂直方向对称轴两侧的像素点中属性相同的像素点的个数大于所述预设阈值，则确定所述箭头交通灯关于所述垂直方向对称轴对称。

5.根据权利要求4所述的方法，其特征在于，结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右；

对比位于所述垂直方向对称轴两侧的目标点数量；

若位于所述垂直方向对称轴左侧的目标点数量大于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向左直行；

若位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量，则确定所述箭头交通灯的箭头类型为向右直行。

6.根据权利要求4所述的方法，其特征在于，结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯不关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向前或向后；

对比位于所述水平方向对称轴两侧的目标点数量；

若位于所述水平方向对称轴上侧的目标点数量大于位于所述水平方向对称轴下侧的目标点数量，则确定所述箭头交通灯的箭头类型为向前直行；

若位于所述水平方向对称轴上侧的目标点数量小于位于所述水平方向对称轴下侧的目标点数量，则确定所述箭头交通灯的箭头类型为向后直行。

7.根据权利要求4所述的方法，其特征在于，结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯不关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左转或向右转；

对比位于所述水平方向对称轴以及所述垂直方向对称轴所形成的四个区域的目标点数量；

若所述四个区域中左下区域的目标点数量最大，则确定所述箭头交通灯的箭头类型为向左转；

若所述四个区域中右下区域的目标点数量最大，则确定所述箭头交通灯的箭头类型为向右转。

8.根据权利要求4所述的方法，其特征在于，根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型，包括：

在所述箭头交通灯关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头类型为禁止通行。

9.一种识别箭头交通灯的装置，其特征在于，所述装置包括：

颜色分割模块，用于对所述图像采集装置采集到的图像中的箭头交通灯背景框区域进行颜色分割；

灰度化处理模块，用于对图像采集装置采集到的图像中的箭头交通灯背景框区域进行灰度化处理；

二值化分割模块，用于对经过所述灰度化处理后的箭头交通灯背景框区域进行二值化分割，以提取箭头交通灯；

箭头类型确定模块，用于根据所述箭头交通灯的对称性，确定所述箭头交通灯的箭头类型；

交通灯确定模块，用于结合所述箭头类型和所述箭头交通灯的灯光颜色，确定所述箭头交通灯的类型。

10.根据权利要求9所述的装置，其特征在于，所述箭头交通灯背景框区域包括多个箭头交通灯；所述二值化分割模块包括：

目标区域确定子模块，用于在经过所述颜色分割后的图像中确定多个目标区域；

最大外接矩形确定子模块，用于从经过所述灰度化处理后的箭头交通灯背景框区域中确定与所述多个目标区域分别对应的多个最大外接矩形；

二值化分割子模块，用于对所述多个最大外接矩形分别进行二值化分割，以提取多个箭头交通灯。

11.根据权利要求9或10任一所述的装置，其特征在于，所述箭头类型确定模块包括：

对称性确定子模块，用于确定所述箭头交通灯分别在水平方向和垂直方向的对称性；

分布情况确定子模块，用于确定组成所述箭头交通灯的像素点的分布情况；

箭头类型确定子模块，用于结合所述对称性和所述分布情况，确定所述箭头交通灯的箭头类型。

12.根据权利要求11所述的装置，其特征在于，所述对称性确定子模块包括：

参考区域确定子模块，用于确定以所述箭头交通灯为中心，且具有水平方向对称轴和垂直方向对称轴的参考区域，在组成所述参考区域的像素点的属性为目标点或背景点，其中，组成所述箭头交通灯的像素点的属性为目标点，所述参考区域中除组成所述箭头交通灯的像素点外的像素点的属性为背景点；

第一对比子模块，用于对比位于所述水平方向对称轴两侧的像素点的属性，并对比位于所述垂直方向对称轴两侧的像素点的属性；

第一确定子模块，用于在位于所述水平方向对称轴两侧的像素点中属性相同的像素点的个数大于预设阈值时，确定所述箭头交通灯关于所述水平方向对称轴对称；

第二确定子模块，用于在位于所述垂直方向对称轴两侧的像素点中属性相同的像素点的个数大于所述预设阈值时，确定所述箭头交通灯关于所述垂直方向对称轴对称。

13.根据权利要求12所述的装置，其特征在于，所述箭头类型确定子模块包括：

第一箭头指向确定子模块，用于在所述箭头交通灯关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左或向右；

第三对比子模块，用于对比位于所述垂直方向对称轴两侧的目标点数量；

第四确定子模块，用于在位于所述垂直方向对称轴左侧的目标点数量大于位于所述垂直方向对称轴右侧的目标点数量时，确定所述箭头交通灯的箭头类型为向左直行；

第五确定子模块，用于在位于所述垂直方向对称轴左侧的目标点数量小于位于所述垂直方向对称轴右侧的目标点数量时，确定所述箭头交通灯的箭头类型为向右直行。

14.根据权利要求12所述的装置，其特征在于，所述箭头类型确定子模块包括：

第二箭头指向确定子模块，用于在所述箭头交通灯不关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向前或向后；

第四对比子模块，用于对比位于所述水平方向对称轴两侧的目标点数量；

第六确定子模块，用于在位于所述水平方向对称轴上侧的目标点数量大于位于所述水平方向对称轴下侧的目标点数量时，确定所述箭头交通灯的箭头类型为向前直行；

第七确定子模块，用于在位于所述水平方向对称轴上侧的目标点数量小于位于所述水平方向对称轴下侧的目标点数量时，确定所述箭头交通灯的箭头类型为向后直行。

15.根据权利要求12所述的装置，其特征在于，所述箭头类型确定子模块包括：

第三箭头指向确定子模块，用于在所述箭头交通灯不关于所述水平方向对称轴对称，且不关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头指向为向左转或向右转；

第五对比子模块，用于对比位于所述水平方向对称轴以及所述垂直方向对称轴所形成的四个区域的目标点数量；

第八确定子模块，用于在所述四个区域中左下区域的目标点数量最大时，则确定所述箭头交通灯的箭头类型为向左转；

第九确定子模块，用于在所述四个区域中右下区域的目标点数量最大时，确定所述箭头交通灯的箭头类型为向右转。

16.根据权利要求12所述的装置，其特征在于，所述箭头类型确定模块包括：

禁止通行箭头确定子模块，用于在所述箭头交通灯关于所述水平方向对称轴对称，且关于所述垂直方向对称轴对称时，确定所述箭头交通灯的箭头类型为禁止通行。

17.一种车辆，其特征在于，所述车辆包括：

图像采集装置，用于采集图像；以及

根据权利要求9-16中任一项所述的识别箭头交通灯的装置。