CN113343872B - 交通灯识别方法、装置、设备、介质及产品 - Google Patents

Abstract

本发明实施例提供一种交通灯识别方法、装置、设备、介质及产品，该方法包括：获取待识别的当前图像和目标车辆的定位信息；根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像；将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像；将所述投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状；将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。本发明实施例的交通灯识别方法，可以提高确定待识别的当前图像中交通灯的颜色和形状的效率和准确性。

Description

交通灯识别方法、装置、设备、介质及产品

技术领域

本发明实施例涉及自动驾驶技术领域，尤其涉及一种交通灯识别方法、装置、设备、介质及产品。

背景技术

自动驾驶车辆在城区道路行驶过程中，需要能准确识别交通灯信息，主要是交通灯的状态与通行指向，才能有效控制自动驾驶车辆的行驶。

传统的交通灯识别方式为根据车辆位置，获取地图中交通灯坐标以及摄像头的图像，通过将图像中识别出的交通灯与地图中交通灯进行映射匹配，从而确定交通灯的状态与通行指向，指导车辆的决策与控制。

但是，上述方法中将识别出的交通灯与地图交通灯匹配，容易出现匹配错误或匹配缺失的问题。一旦出现匹配错误，会导致交通灯识别错误，交通灯识别的准确性较低。

发明内容

本发明提供一种交通灯识别方法、装置、设备、介质及产品，用以解决目前交通灯识别方式容易出现匹配错误，交通灯识别的准确性较低的问题。

本发明实施例第一方面提供一种交通灯识别方法，包括：

获取待识别的当前图像和目标车辆的定位信息；所述当前图像包括第一交通灯组图像；

根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像；

将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像；

将所述投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状；

将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。

可选的，如上所述的方法，所述定位信息包括目标车辆的位置信息和航向信息；

所述根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像，包括：

从预设的高精地图数据库中确定与所述位置信息匹配的至少一个第三交通灯组图像；

将与所述航向信息匹配的第三交通灯组图像确定为与所述第一交通灯组图像匹配的第二交通灯组图像。

可选的，如上所述的方法，所述高精地图数据库包括按照世界坐标系建立的具有三维坐标的图像数据；

所述将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像，包括：

获取所述第二交通灯组图像的外轮廓在世界坐标系的三维坐标；

根据所述外轮廓的三维坐标和预设的摄像设备的外参及内参，确定所述第二交通灯组图像的外轮廓投影在所述当前图像上的像素平面坐标；所述摄像设备为拍摄所述当前图像的设备；

根据所述像素平面坐标从所述当前图像中确定所述投影区域图像。

可选的，如上所述的方法，所述根据所述像素平面坐标从所述当前图像中确定所述投影区域图像，包括：

根据所述像素平面坐标确定所述第二交通灯组图像在所述当前图像上投影区域的最小外接矩形；

按照预设的放大比例放大所述最小外接矩形，并将放大后的最小外接矩形对应的投影区域确定为所述投影区域图像。

可选的，如上所述的方法，所述将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状之后，还包括：

将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列；所述交通灯序列包括预设数量的交通灯的参数属性；所述预设数量的交通灯的参数属性按照参数属性所属的历史图像的时间顺序排列；所述历史图像为摄像设备在目标车辆处于当前区域时拍摄的图像；

将更新后的交通灯序列输入预设的循环神经网络模型，以输出更新后的交通灯序列对应的区域通行状态。

可选的，如上所述的方法，所述交通灯序列按照交通灯的形状分为多个类别序列；

所述将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列，包括：

根据所述第一交通灯组图像中交通灯的形状匹配对应的类别序列；

将所述第一交通灯组图像中交通灯的参数属性输入对应的类别序列，并排在该类别序列中最后的位置；其中，该类别序列中原本位于第一位的交通灯的参数属性离开该类别序列。

可选的，如上所述的方法，所述将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状之后，还包括：

将第一交通灯组图像中的交通灯按照形状分成对应的交通灯类别；

将各交通灯类别中的交通灯按照预设的颜色合并策略进行合并，以输出合并后交通灯对应的颜色和形状。

本发明实施例第二方面提供一种交通灯识别装置，包括：

获取模块，用于获取待识别的当前图像和目标车辆的定位信息；所述当前图像包括第一交通灯组图像；

图像确定模块，用于根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像；

投影模块，用于将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像；

输出模块，用于将所述投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状；

交通灯确定模块，用于将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。

可选的，如上所述的装置，所述定位信息包括目标车辆的位置信息和航向信息；

所述图像确定模块具体用于：

从预设的高精地图数据库中确定与所述位置信息匹配的至少一个第三交通灯组图像；将与所述航向信息匹配的第三交通灯组图像确定为与所述第一交通灯组图像匹配的第二交通灯组图像。

可选的，如上所述的装置，所述高精地图数据库包括按照世界坐标系建立的具有三维坐标的图像数据；

所述投影模块具体用于：

获取所述第二交通灯组图像的外轮廓在世界坐标系的三维坐标；根据所述外轮廓的三维坐标和预设的摄像设备的外参及内参，确定所述第二交通灯组图像的外轮廓投影在所述当前图像上的像素平面坐标；所述摄像设备为拍摄所述当前图像的设备；根据所述像素平面坐标从所述当前图像中确定所述投影区域图像。

可选的，如上所述的装置，所述投影模块在根据所述像素平面坐标从所述当前图像中确定所述投影区域图像时，具体用于：

根据所述像素平面坐标确定所述第二交通灯组图像在所述当前图像上投影区域的最小外接矩形；按照预设的放大比例放大所述最小外接矩形，并将放大后的最小外接矩形对应的投影区域确定为所述投影区域图像。

可选的，如上所述的装置，所述装置，还包括：

通行确定模块，用于将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列；所述交通灯序列包括预设数量的交通灯的参数属性；所述预设数量的交通灯的参数属性按照参数属性所属的历史图像的时间顺序排列；所述历史图像为摄像设备在目标车辆处于当前区域时拍摄的图像；将更新后的交通灯序列输入预设的循环神经网络模型，以输出更新后的交通灯序列对应的区域通行状态。

可选的，如上所述的装置，所述交通灯序列按照交通灯的形状分为多个类别序列；

所述通行确定模块在将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列时，具体用于：

根据所述第一交通灯组图像中交通灯的形状匹配对应的类别序列；将所述第一交通灯组图像中交通灯的参数属性输入对应的类别序列，并排在该类别序列中最后的位置；其中，该类别序列中原本位于第一位的交通灯的参数属性离开该类别序列。

可选的，如上所述的装置，所述装置，还包括：

合并模块，用于将第一交通灯组图像中的交通灯按照形状分成对应的交通灯类别；将各交通灯类别中的交通灯按照预设的颜色合并策略进行合并，以输出合并后交通灯对应的颜色和形状。

本发明实施例第三方面提供一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的交通灯识别方法。

本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的交通灯识别方法。

本发明实施例第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的交通灯识别方法。

本发明实施例提供的一种交通灯识别方法、装置、设备、介质及产品，该方法包括：获取待识别的当前图像和目标车辆的定位信息；所述当前图像包括第一交通灯组图像；根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像；将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像；将所述投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状；将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。本发明实施例的交通灯识别方法，首先获取待识别的当前图像和目标车辆的定位信息，从而根据所述定位信息从预设的高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像。然后将第二交通组图像投影至当前图像上，生成对应投影区域图像。该投影区域图像相比当前图像更小，且两者都包含第一交通组图像。在将投影区域图像输入预设的目标检测模型后，目标检测模型需要检测的区域更少，从而可以更效率的输出投影区域图像中交通灯的颜色和形状。进而也可以提高后续根据投影区域图像中交通灯的颜色和形状确定第一交通灯组图像中交通灯的颜色和形状的效率和准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为可以实现本发明实施例的交通灯识别方法的场景图；

图2为本发明第一实施例提供的交通灯识别方法的流程示意图；

图3为本发明第二实施例提供的交通灯识别方法的流程示意图；

图4为本发明第二实施例提供的交通灯识别方法中区域通行状态确定流程示意图；

图5为本发明第三实施例提供的交通灯识别装置的结构示意图；

图6为本发明第四实施例提供的交通灯识别装置的结构示意图；

图7为本发明第五实施例提供的电子设备的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。目前自动驾驶领域中，交通灯识别技术是其中重要的一环。传统的交通灯识别，先通过摄像设备拍摄的图像中识别交通灯的颜色，然后根据车辆的定位信息以及相应的匹配算法，将地图中的交通灯的形状与拍摄的图像中交通灯的颜色进行关联匹配。从而完成交通灯的检测识别。然而，传统的交通灯识别方式，在进行不断地匹配时，容易出现匹配错误或匹配缺失的问题。一旦出现匹配错误，会导致交通灯识别错误，交通灯识别的准确性较低。

所以针对现有技术中目前的交通灯识别方式在交通灯识别方式容易出现匹配错误，交通灯识别的准确性较低的问题，发明人在研究中发现，为了解决目前识别的准确率较低的问题，可以通过设置目标检测模型对拍摄的当前图像中交通灯组进行识别，同时，缩小目标检测模型需要检测的图像区域，从而提高交通灯识别的准确性。具体的，首先获取待识别的当前图像和目标车辆的定位信息，从而根据定位信息从预设的高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像。然后将第二交通组图像投影至当前图像上，生成对应投影区域图像。该投影区域图像相比当前图像更小，且两者都包含第一交通组图像。在将投影区域图像输入预设的目标检测模型后，目标检测模型需要检测的区域更少，从而可以更效率的输出投影区域图像中交通灯的颜色和形状。进而也可以提高后续根据投影区域图像中交通灯的颜色和形状确定第一交通灯组图像中交通灯的颜色和形状的效率和准确性。

发明人基于上述的创造性发现，提出了本申请的技术方案。

下面对本发明实施例提供的交通灯识别方法的应用场景进行介绍。如图1所示，其中，1为第一电子设备，2为摄像设备，3为第二电子设备。第一电子设备1、摄像设备2以及第二电子设备3都设置在车辆上。本发明实施例提供的交通灯识别方法对应的应用场景的网络架构中包括：第一电子设备1、摄像设备2和第二电子设备3。摄像设备2可以是车辆上的摄像头等设备，第一电子设备1可以是车辆的车载终端。第二电子设备3作为高精地图数据库进行使用。摄像设备2实时拍摄车辆前方的景象，尤其是包括交通灯组的图像，并将拍摄的图像发送至第一电子设备1。第二电子设备3存储有具有三维坐标的图像数据，尤其是交通灯的图像数据。同时，在其他的应用场景中，第二电子设备3也可以与第一电子设备1合并，使第一电子设备1中具有高精地图数据库功能。在进行交通灯识别时，第一电子设备1从摄像设备2中获取包含第一交通灯组图像的当前图像，以及获取车辆的定位信息。第一电子设备1根据定位信息从第二电子设备3中确定与第一交通灯组图像匹配的第二交通灯组图像。同时，将第二交通灯组图像投影至当前图像上，以生成对应投影区域图像。然后，第一电子设备1将投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状。并将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。在确定出第一交通灯组图像中交通灯的颜色和形状后，可以结合在当前图像之前若干时间内识别的同区域交通灯的颜色和形状，进一步的判断该区域在当前通行状态，比如通行状态为红灯状态，禁止前行，或者是绿灯状态，可以前行等，从而为车辆的自动驾驶决策提供更精准的判断基础。

下面结合说明书附图对本发明实施例进行介绍。

图2为本发明第一实施例提供的交通灯识别方法的流程示意图，如图2所示，本实施例中，本发明实施例的执行主体为交通灯识别装置，该交通灯识别装置可以集成在电子设备中。则本实施例提供的交通灯识别方法包括以下几个步骤：

步骤S101，获取待识别的当前图像和目标车辆的定位信息。当前图像包括第一交通灯组图像。

本实施例中，待识别的当前图像可以是图片或者视频帧，当前图像可以由车辆的摄像设备拍摄，比如通过车辆的前置摄像头可以实时的拍摄车辆前方的场景。拍摄设备拍摄了图像后，将该图像发送至交通灯识别装置。交通灯组可以是横向从左往右的排列，也可以是竖向，从上往下排列。交通灯组中的交通灯可以是圆形、方向箭头的形状。

目标车辆的定位信息可以包括目标车辆的位置信息、航向信息等。获取目标车辆的定位信息是为了后续从高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像提供基础。

当前图像不仅包含交通灯组图像，还包括背景图像，一般情况下，背景图像的占比更大。

步骤S102，根据定位信息从预设的高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像。

本实施例中，高精地图数据库中包括具有三维坐标的图像数据，一般在日常中作为车辆行驶的电子地图使用。高精地图数据库中包括交通灯的位置、道路位置以及交通灯组图像等信息。根据目标车辆的定位信息可以从高精地图数据库中确定与该定位信息匹配的交通灯组图像。匹配的方式可以是以目标车辆的位置为圆心，方圆30米范围内的所有交通灯组图像，也可以是目标车辆的航向方向中近邻的多个交通灯组图像。匹配的方式较多，可以按照实际的需求进行设置，本实施例对此不做限定。匹配的交通灯组图像中会存在与第一交通灯组图像匹配的第二交通灯组图像。从而可以确定与第一交通灯组图像匹配的第二交通灯组图像。

步骤S103，将第二交通灯组图像投影至当前图像上，以生成对应投影区域图像。

本实施例中，由于当前图像中背景图像一般占比较大，通过将第二交通灯组图像投影至当前图像上，可以进一步的缩小存在第一交通灯组图像的图像范围。比如第一交通灯组图像可能是在当前图像的正上方的区域，第二交通灯组图像投影至当前图像上时，会投影至当前图像的正上方区域，从而生成投影区域图像。该投影区域图像的面积大小相比第一交通灯组图像更大，但投影区域图像中第一交通灯组图像的占比较大。假设当前图像中第一交通灯组图像的占比为百分之30，投影区域图像中第一交通灯组图像的占比一般可以达到70及以上。

步骤S104，将投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状。

本实施例中，目标检测模型指深度学习中的目标检测模型，其可以是FasterRCNN、RetinaNet、CenterNet、Yolo系列等目标检测模型。目标检测模型具有交通灯类型的识别能力，做法是将交通灯的形状与颜色编码为检测模型的类别，检测模型具有回归分支与分类分支，回归分支输出物体在图像中的坐标位置，一般以bounding box(中文为：边界框)表示，即物体左上点与右下点坐标。模型的分类分支输出预测的类别序号，然后根据预设的编码表，即可以得到具体的交通灯颜色与形状。

检测模型的类别为交通灯颜色与形状的编码，例如颜色有红、黄、绿3种，形状有圆、左箭头、上箭头、右箭头、下箭头5种，两两组合的编码类别有15种，再加上灭灯，即黑色圆灯，一共有16种类别。如果某个交通灯从左到右，三个子灯头分别为红色圆灯、灭灯、灭灯，则目标检测模型输出类别序列：2，1，1(2表示红色圆灯，1表示灭灯，具体编码见表1)。从而根据输出的编码可以确定交通灯各个灯的颜色和形状。

表1交通灯颜色与形状的编码表

步骤S105，将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。

本实施例中，投影区域图像中交通灯的颜色和形状与第一交通灯组图像中交通灯的颜色和形状相同，因而，将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。

本发明实施例提供的一种交通灯识别方法，该方法包括：获取待识别的当前图像和目标车辆的定位信息。当前图像包括第一交通灯组图像。根据定位信息从预设的高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像。将第二交通灯组图像投影至当前图像上，以生成对应投影区域图像。将投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状。将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。本发明实施例的交通灯识别方法，首先获取待识别的当前图像和目标车辆的定位信息，从而根据定位信息从预设的高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像。然后将第二交通组图像投影至当前图像上，生成对应投影区域图像。该投影区域图像相比当前图像更小，且两者都包含第一交通组图像。在将投影区域图像输入预设的目标检测模型后，目标检测模型需要检测的区域更少，从而可以更效率的输出投影区域图像中交通灯的颜色和形状。进而也可以提高后续根据投影区域图像中交通灯的颜色和形状确定第一交通灯组图像中交通灯的颜色和形状的效率和准确性。

图3为本发明第二实施例提供的交通灯识别方法的流程示意图，如图3所示，本实施例提供的交通灯识别方法，是在本发明上一实施例提供的交通灯识别方法的基础上，对各个步骤进行了进一步的细化。则本实施例提供的交通灯识别方法包括以下步骤。

步骤S201，获取待识别的当前图像和目标车辆的定位信息。当前图像包括第一交通灯组图像。

本实施例中，步骤201的实现方式与本发明上一实施例中的步骤101的实现方式类似，在此不再一一赘述。

步骤S202，从预设的高精地图数据库中确定与位置信息匹配的至少一个第三交通灯组图像，其中，定位信息包括目标车辆的位置信息和航向信息。

本实施例中，高精地图数据库中每个图像数据都具有三维坐标，因而，根据目标车辆的位置信息可以确定目标车辆附近的交通灯组图像。按照道路中交通灯分部的实际情况不同，与位置信息匹配的第三交通灯组图像可能有一个也可能有多个。比如目标车辆目前停在十字路口处，与位置信息匹配的第三交通灯组图像可能有3个，而如果目标车辆目前处于单行道的交通灯附近，则与位置信息匹配的第三交通灯组图像只有1个。

步骤S203，将与航向信息匹配的第三交通灯组图像确定为与第一交通灯组图像匹配的第二交通灯组图像。

本实施例中，与位置信息匹配的第三交通灯组图像可能是不同道路方向的交通灯组图像，比如目标车辆目前停在十字路口处，与位置信息匹配的第三交通灯组图像可能有3个，而只有与目标车辆行驶方向相同的第三交通灯组图像才是与第一交通灯组图像匹配的第二交通灯组图像。

需要说明的是，高精地图数据库包括按照世界坐标系建立的具有三维坐标的图像数据。

步骤S204，获取第二交通灯组图像的外轮廓在世界坐标系的三维坐标。

本实施例中，高精地图数据库一般用于指引车辆行驶，因而，高精地图数据库中的图像数据按照世界坐标系建立了三维坐标。如果要将高精地图数据库中的第二交通灯组图像投影至当前图像上，则需要确定的该第二交通灯组图像的外轮廓在世界坐标系的三维坐标。

步骤S205，根据外轮廓的三维坐标和预设的摄像设备的外参及内参，确定第二交通灯组图像的外轮廓投影在当前图像上的像素平面坐标。摄像设备为拍摄当前图像的设备。

本实施例中，摄像设备外参决定摄像设备坐标与世界坐标系之间相对位置关系，摄像设备内参确定摄像设备从三维空间到二维图像的投影关系。

在确定第二交通灯组图像的外轮廓投影在当前图像上的像素平面坐标时，可以通过以下算法确定：

U＝K*P*T，

其中，T为交通灯组图像在世界坐标系的四个角点三维坐标，P为摄像设备的外参，K为摄像设备的内参，U为投影到像素平面的坐标。

步骤S206，根据像素平面坐标从当前图像中确定投影区域图像。

本实施例中，在确定投影的像素平面坐标后，可以根据像素平面坐标从当前图像中确定投影区域图像。比如可以直接根据像素平面坐标从当前图像截取出投影区域图像，也可以根据像素平面坐标做相应的处理，以避免摄像设备标定参数误差等因素造成的影响。

可选的，本实施例中，根据像素平面坐标从当前图像中确定投影区域图像，包括：

根据像素平面坐标确定第二交通灯组图像在当前图像上投影区域的最小外接矩形。

按照预设的放大比例放大最小外接矩形，并将放大后的最小外接矩形对应的投影区域确定为投影区域图像。

本实施例中，最小外接矩形是指投影区域的边界点所构成的最小矩形。由于摄像设备标定参数误差等因素造成投影区域的交通灯组图像与当前图像中交通灯组图像存在一定的误差，因而，可以对最小外接矩形进行适当的放大，以避免投影区域的交通灯组图像与当前图像中交通灯组图像之间的误差。放大比例可以按照实际的需求进行设置，比如放大百分之50。

步骤S207，将投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状。

本实施例中，步骤207的实现方式与本发明上一实施例中的步骤104的实现方式类似，在此不再一一赘述。

步骤S208，将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。

本实施例中，步骤208的实现方式与本发明上一实施例中的步骤105的实现方式类似，在此不再一一赘述。

可选的，本实施例中，将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状之后，还包括：

将第一交通灯组图像中的交通灯按照形状分成对应的交通灯类别。

将各交通灯类别中的交通灯按照预设的颜色合并策略进行合并，以输出合并后交通灯对应的颜色和形状。

本实施例中，路口交通灯常常有多个，如按照车道设置，每一个车道都有与之对应的交通灯，同一通行方向的交通灯一般形状相同，颜色切换同步，从逻辑上讲是同一通行语义。因而，可以按照交通灯形状进行分类，并将每个交通灯类别的交通灯进行合并。比如，左箭头交通灯有L1、L2、…，圆灯有C1、C2、…，右箭头交通灯有R1，R2、……，按照颜色合并，合成一个左箭头交通灯、圆灯、右箭头交通灯。其中，颜色形状相同的交通灯直接合并为一个，在合并相同形状交通灯时如果颜色不同，按照红灯>黄灯>绿灯>灭灯的优先级合并，例如，分别指示左右两车道的两个圆灯，在由红变绿切换的某时刻，其中一个已切换为绿灯，另一个仍为红灯，按照颜色的优先级合并顺序，最终为红色圆灯。

可选的，本实施例中，将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状之后，还包括：

将第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列。交通灯序列包括预设数量的交通灯的参数属性。预设数量的交通灯的参数属性按照参数属性所属的历史图像的时间顺序排列。历史图像为摄像设备在目标车辆处于当前区域时拍摄的图像。

将更新后的交通灯序列输入预设的循环神经网络模型，以输出更新后的交通灯序列对应的区域通行状态。

本实施例中，将第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性具体为：将第一交通灯组图像中交通灯的颜色和形状进行合并，比如第一交通灯组图像中交通灯的颜色和形状分别为红色圆灯、灭灯、灭灯，则交通灯的参数属性为红色圆灯。当第一交通灯组图像中三个交通灯都是灭灯时，交通灯的参数属性为灭灯。

假设此时的交通灯都是圆灯。交通灯序列中存在20个交通灯的参数属性，分别是9个红色圆灯-黄色圆灯-7个红色圆灯-黄色圆灯-2个红色圆灯的顺序排列。该20个交通灯的参数属性为摄像设备在拍摄当前图像之前拍摄的图像确定出的交通灯参数属性，之前拍摄的图像为当前图像之前的一段时间内拍摄的同一个区域的图像。假设摄像设备包括当前图像在内拍摄了21帧的图像，则当前图像为第21帧图像，而前20帧图像分别对应交通灯序列的20个交通灯的参数属性。

假设当前图像中第一交通灯组图像中交通灯的颜色和形状为红色圆灯，则在更新交通灯序列后，如图4所示，图4中左斜线的圆灯为红色圆灯，竖直线的圆灯为黄色圆灯。此时，交通灯序列中仍是20个交通灯的参数属性，交通灯序列长度不变。当前图像中第一交通灯组图像中交通灯的颜色和形状对应最右边的红色圆灯，而原本最左边的红色圆灯离开了交通灯序列。交通灯序列变为8个红色圆灯-黄色圆灯-7个红色圆灯-黄色圆灯-3个红色圆灯。

交通灯序列的长度固定，且序列长度可以按照实际需求进行设置。比如摄像设备拍摄图像时的帧率为20hz，则序列长度可以大于20。同时，对于左箭头与右箭头也可以采用与圆灯同样的列队存储其颜色。在更新了交通灯序列后，对交通灯序列使用循环神经网络RNN模型进行滤波与融合，RNN模型输入是某时刻的交通灯序列，输出为该时候的区域通行状态，输出的区域通行状态有稳定红灯、稳定黄灯、稳定绿灯、黄灯闪烁、绿灯闪烁、熄灯6类状态。一般情况下为了更好的识别黄灯闪烁、绿灯闪烁两种状态，摄像设备会持续不断地拍摄图像，并交通灯识别装置会对拍摄的图像进行识别。如果拍摄的帧率为20hz，则交通灯识别装置至少会识别30帧的图像，从而根据30帧的图像确定是否是黄灯闪烁、绿灯闪烁两种状态。

RNN模型是Seq2Seq模型，该模型输入是多维向量，输出为一个值，该模型能实现滤波。由于交通灯序列中可能存在错误的颜色，如模型分类不准，导致红色序列中出现几帧黄色，如图4所示，RNN模型能克服这些黄色噪声的影响，直接输出稳定红灯。

可选的，本实施例中，交通灯序列按照交通灯的形状分为多个类别序列。

将第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列，包括：

根据第一交通灯组图像中交通灯的形状匹配对应的类别序列。

将第一交通灯组图像中交通灯的参数属性输入对应的类别序列，并排在该类别序列中最后的位置。其中，该类别序列中原本位于第一位的交通灯的参数属性离开该类别序列。

本实施例中，对于圆灯、不同的方向箭头可以将交通灯序列按照交通灯的形状分为多个类别序列，从而生成圆灯序列、左箭头序列、右箭头序列等。从而根据分类后的类别序列，能更精确的确定当前图像对应的区域通行状态。

本实施例提供的一种交通灯识别方法，通过对目标车辆所在的同一区域拍摄多个图像，根据该多个图像确定每个图像对应的交通灯颜色和形状，并将每个图像对应的交通灯颜色和形状构建交通灯序列。然后将根据最新拍摄的当前图像确定出的交通灯颜色和形状更新交通灯序列，并将更新后的交通灯序列输入RNN模型，以确定当前时刻的区域通行状态，从而使车辆可以根据当前时刻的区域通行状态做出对应的行驶决策。同时，由于RNN模型具有滤波作用，也提高了确定当前时刻的区域通行状态的准确性。

图5为本发明第三实施例提供的交通灯识别装置的结构示意图，如图5所示，本实施例中，交通灯识别装置300的执行主体可以为车载装置。车载装置可以为一种驾驶脑，或车机、或DHU(娱乐主机和仪表的集成机器)、或IHU(Infotainment Head Unit，信息娱乐主机)、或IVI(In-Vehicle Infotainment，车载信息娱乐系统)、或任意一种车载信息交互终端。该交通灯识别装置300包括：

获取模块，用于获取待识别的当前图像和目标车辆的定位信息。当前图像包括第一交通灯组图像。

图像确定模块，用于根据定位信息从预设的高精地图数据库中确定与第一交通灯组图像匹配的第二交通灯组图像。

投影模块，用于将第二交通灯组图像投影至当前图像上，以生成对应投影区域图像。

输出模块，用于将投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状。

交通灯确定模块，用于将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状。

本实施例提供的交通灯识别装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。

同时，图6为本发明第四实施例提供的交通灯识别装置的结构示意图，如图6所示，本发明提供的交通灯识别装置在上一实施例提供的交通灯识别装置的基础上，对交通灯识别装置400进行了进一步的细化。

可选的，本实施例中，定位信息包括目标车辆的位置信息和航向信息。

图像确定模块302具体用于：

从预设的高精地图数据库中确定与位置信息匹配的至少一个第三交通灯组图像。将与航向信息匹配的第三交通灯组图像确定为与第一交通灯组图像匹配的第二交通灯组图像。

可选的，本实施例中，高精地图数据库包括按照世界坐标系建立的具有三维坐标的图像数据。

投影模块303具体用于：

获取第二交通灯组图像的外轮廓在世界坐标系的三维坐标。根据外轮廓的三维坐标和预设的摄像设备的外参及内参，确定第二交通灯组图像的外轮廓投影在当前图像上的像素平面坐标。摄像设备为拍摄当前图像的设备。根据像素平面坐标从当前图像中确定投影区域图像。

可选的，本实施例中，投影模块303在根据像素平面坐标从当前图像中确定投影区域图像时，具体用于：

根据像素平面坐标确定第二交通灯组图像在当前图像上投影区域的最小外接矩形。按照预设的放大比例放大最小外接矩形，并将放大后的最小外接矩形对应的投影区域确定为投影区域图像。

可选的，本实施例中，交通灯识别装置400，还包括：

通行确定模块401，用于将第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列。交通灯序列包括预设数量的交通灯的参数属性。预设数量的交通灯的参数属性按照参数属性所属的历史图像的时间顺序排列。历史图像为摄像设备在目标车辆处于当前区域时拍摄的图像。将更新后的交通灯序列输入预设的循环神经网络模型，以输出更新后的交通灯序列对应的区域通行状态。

可选的，本实施例中，交通灯序列按照交通灯的形状分为多个类别序列。

通行确定模块401在将第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列时，具体用于：

根据第一交通灯组图像中交通灯的形状匹配对应的类别序列。将第一交通灯组图像中交通灯的参数属性输入对应的类别序列，并排在该类别序列中最后的位置。其中，该类别序列中原本位于第一位的交通灯的参数属性离开该类别序列。

可选的，本实施例中，交通灯识别装置400还包括：

合并模块，用于将第一交通灯组图像中的交通灯按照形状分成对应的交通灯类别。将各交通灯类别中的交通灯按照预设的颜色合并策略进行合并，以输出合并后交通灯对应的颜色和形状。

本实施例提供的交通灯识别装置可以执行图2-图4所示方法实施例的技术方案，其实现原理和技术效果与图2-图4所示方法实施例类似，在此不再一一赘述。

根据本发明的实施例，本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

如图7所示，图7是本发明第五实施例提供的电子设备的结构示意图。电子设备旨在各种形式适用于车辆的数字计算机，诸如，驾驶脑，或车机、或DHU(娱乐主机和仪表的集成机器)、或IHU(Infotainment Head Unit，信息娱乐主机)、或IVI(In-VehicleInfotainment，车载信息娱乐系统)、或任意一种车载信息交互终端。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，该电子设备包括：处理器501、存储器502。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。

存储器502即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的交通灯识别方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的交通灯识别方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的交通灯识别方法对应的程序指令/模块(例如，附图5所示的获取模块301、图像确定模块302、投影模块303，输出模块304和交通灯确定模块304)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的交通灯识别方法。

同时，本实施例还提供一种计算机产品，当该计算机产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例一和二的交通灯识别方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种交通灯识别方法，其特征在于，包括：

获取待识别的当前图像和目标车辆的定位信息；所述当前图像包括第一交通灯组图像；

根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像；

将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像；

将所述投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状；

将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状；

所述将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状之后，还包括：

将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列；所述交通灯序列包括预设数量的交通灯的参数属性；所述预设数量的交通灯的参数属性按照参数属性所属的历史图像的时间顺序排列；所述历史图像为摄像设备在目标车辆处于当前区域时拍摄的图像；

将更新后的交通灯序列输入预设的循环神经网络模型，以输出更新后的交通灯序列对应的区域通行状态；

所述将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状之后，还包括：

将第一交通灯组图像中的交通灯按照形状分成对应的交通灯类别；

将各交通灯类别中的交通灯按照预设的颜色合并策略进行合并，以输出合并后交通灯对应的颜色和形状。

2.根据权利要求1所述的方法，其特征在于，所述定位信息包括目标车辆的位置信息和航向信息；

所述根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像，包括：

从预设的高精地图数据库中确定与所述位置信息匹配的至少一个第三交通灯组图像；

将与所述航向信息匹配的第三交通灯组图像确定为与所述第一交通灯组图像匹配的第二交通灯组图像。

3.根据权利要求2所述的方法，其特征在于，所述高精地图数据库包括按照世界坐标系建立的具有三维坐标的图像数据；

所述将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像，包括：

获取所述第二交通灯组图像的外轮廓在世界坐标系的三维坐标；

根据所述外轮廓的三维坐标和预设的摄像设备的外参及内参，确定所述第二交通灯组图像的外轮廓投影在所述当前图像上的像素平面坐标；所述摄像设备为拍摄所述当前图像的设备；

根据所述像素平面坐标从所述当前图像中确定所述投影区域图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述像素平面坐标从所述当前图像中确定所述投影区域图像，包括：

根据所述像素平面坐标确定所述第二交通灯组图像在所述当前图像上投影区域的最小外接矩形；

按照预设的放大比例放大所述最小外接矩形，并将放大后的最小外接矩形对应的投影区域确定为所述投影区域图像。

5.根据权利要求1所述的方法，其特征在于，所述交通灯序列按照交通灯的形状分为多个类别序列；

所述将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列，包括：

根据所述第一交通灯组图像中交通灯的形状匹配对应的类别序列；

将所述第一交通灯组图像中交通灯的参数属性输入对应的类别序列，并排在该类别序列中最后的位置；其中，该类别序列中原本位于第一位的交通灯的参数属性离开该类别序列。

6.一种交通灯识别装置，其特征在于，包括：

获取模块，用于获取待识别的当前图像和目标车辆的定位信息；所述当前图像包括第一交通灯组图像；

图像确定模块，用于根据所述定位信息从预设的高精地图数据库中确定与所述第一交通灯组图像匹配的第二交通灯组图像；

投影模块，用于将所述第二交通灯组图像投影至所述当前图像上，以生成对应投影区域图像；

输出模块，用于将所述投影区域图像输入预设的目标检测模型，以输出投影区域图像中交通灯的颜色和形状；

交通灯确定模块，用于将投影区域图像中交通灯的颜色和形状确定为第一交通灯组图像中交通灯的颜色和形状；

所述交通灯识别装置还包括：

通行确定模块，用于：将所述第一交通灯组图像中交通灯的颜色和形状作为交通灯的参数属性更新预设的交通灯序列；所述交通灯序列包括预设数量的交通灯的参数属性；所述预设数量的交通灯的参数属性按照参数属性所属的历史图像的时间顺序排列；所述历史图像为摄像设备在目标车辆处于当前区域时拍摄的图像；将更新后的交通灯序列输入预设的循环神经网络模型，以输出更新后的交通灯序列对应的区域通行状态；

合并模块，用于：将第一交通灯组图像中的交通灯按照形状分成对应的交通灯类别；

将各交通灯类别中的交通灯按照预设的颜色合并策略进行合并，以输出合并后交通灯对应的颜色和形状。

7.一种电子设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为由所述处理器执行如权利要求1至5任一项所述的交通灯识别方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5任一项所述的交通灯识别方法。

9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述的交通灯识别方法。

Images