CN111582189A - 交通信号灯识别方法、装置、车载控制终端及机动车 - Google Patents

Abstract

本申请实施例提供了一种交通信号灯识别方法、装置、车载控制终端及机动车，涉及计算机技术领域。该方法包括：获取车辆的定位信息，以及获取车辆运行前方的当前图像；基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；基于各信号灯的投影位置，确定当前图像中的待识别区域；基于待识别区域，得到车辆所在道路的道路级信号灯状态。本申请技术方案中，基于车辆所在道路关联的各信号灯的位置信息，对车辆所在道路的道路级信号灯状态进行识别，不需要在高精地图中记录信号灯对应的车道，降低了高精地图的制作成本。

Description

交通信号灯识别方法、装置、车载控制终端及机动车

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种交通信号灯识别方法、装置、车载控制终端及机动车。

背景技术

汽车自动驾驶技术，是依靠人工智能、视频摄像头、雷达传感器、监控装置和全球定位系统协同合作，使电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。自动驾驶汽车通过高精地图对前方的道路进行导航，高精地图中可查询路面、道路静态要素的高精度三维坐标，可实现辅助感知、定位。

自动驾驶汽车在行驶过程中，需要识别道路中的交通信号灯，根据交通信号灯的指示，按照交通秩序行驶。现有技术中，对于交通信号灯的识别，基于车辆位置在高精地图中查询所在车道以及车道关联的信号灯的位置，因此，需要在高精地图中记录信号灯对应的车道，对高精地图制作要求较高，增加了高精地图的制作成本。

发明内容

本申请实施例提供了一种交通信号灯识别方法、装置、车载控制终端及机动车，可以解决现有技术中存在的问题中的至少一项。

本申请实施例提供的具体技术方案如下：

第一方面，本申请实施例提供了一种交通信号灯识别方法，该方法包括：

获取车辆的定位信息，以及获取车辆运行前方的当前图像；

基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；

将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；

基于待识别区域，得到车辆所在道路的道路级信号灯状态。

在一种可能的实现方式中，获取车辆的定位信息，以及获取车辆运行前方的当前图像；

基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；

将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；

基于待识别区域，得到车辆所在道路的道路级信号灯状态。

在一种可能的实现方式中，车辆中安装有对应至少两种焦距的图像采集设备，获取车辆运行前方的当前图像，包括：

通过图像采集设备获取车辆运行前方的对应于至少两种焦距的当前图像；

将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置，包括：

将各信号灯的位置信息投影到每种焦距对应的当前图像中，得到各信号灯在各当前图像中的投影位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域，包括：

将各信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像；

基于各信号灯在目标图像中的投影位置，确定待识别区域。

在一种可能的实现方式中，该方法还包括:

获取当前图像之前的历史图像；

对历史图像进行信号灯检测，得到历史图像中各信号灯的检测位置；

将各信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像，包括：

将各信号灯在各种焦距对应的当前图像中的投影位置和各信号灯的检测位置满足第二预设条件的当前图像中对应焦距最长的图像，确定为目标图像，第二预设条件包括第一预设条件。

在一种可能的实现方式中，方法还包括：

获取当前图像之前的历史图像；

对历史图像进行信号灯检测，得到历史图像中各信号灯的检测位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域，包括：

基于各信号灯在当前图像的投影位置、以及历史图像所对应的各信号灯的检测位置，确定当前图像中的待识别区域。

在一种可能的实现方式中，历史图像包括至少两帧图像；

对各历史图像进行信号灯检测，得到各历史图像中各信号灯的检测位置，包括：

对各历史图像中的第一帧图像，基于各信号灯在第一帧图像中的投影位置，对第一帧图像进行信号灯检测，得到各信号灯在第一帧图像中的检测位置；

对各历史图像中除第一帧图像之外的各帧图像，基于各信号灯在该帧图像中的投影位置、以及各信号灯在该帧图像之前的一帧图像中的检测位置，对该帧图像进行信号灯检测，得到该帧图像中的各信号灯的检测位置；

基于各信号灯在当前图像的投影位置、以及历史图像所对应的各信号灯的检测位置，确定当前图像中的待识别区域，包括：

基于各信号灯在当前图像的投影位置、以及各历史图像中最后一帧图像的检测位置，确定当前图像中的待识别区域。

在一种可能的实现方式中，基于待识别区域，得到车辆所在道路的道路级信号灯状态，包括：

对待识别区域进行信号灯识别，确定各信号灯的类别信息，类别信息包括形状和颜色；

基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态。

在一种可能的实现方式中，对待识别区域进行信号灯识别，确定各信号灯的类别信息，包括：

对待识别区域进行信号灯检测，确定各信号灯在待识别区域中的位置信息；

基于各信号灯在待识别区域中的位置信息，确定待识别区域中各信号灯各自对应的目标区域；

对各目标区域分别进行信号灯识别，得到各信号灯的类别信息。

在一种可能的实现方式中，对待识别区域进行信号灯识别，确定各信号灯的类别信息，包括：

基于待识别区域，通过信号灯类别识别模型得到各信号灯的类别信息。

在一种可能的实现方式中，信号灯类别识别模型包括信号灯检测模型和信号灯识别模型；

对待识别区域进行信号灯检测，确定各信号灯在待识别区域中的位置信息，包括：

基于待识别区域，通过信号灯检测模型进行信号灯检测，得到各信号灯在待识别区域中的位置信息；

对目标区域进行信号灯识别，得到各信号灯的类别信息，包括：

针对每一目标区域，基于目标区域，通过信号灯识别模型进行信号灯识别，得到目标区域对应的信号灯的类别信息。

在一种可能的实现方式中，道路级信号灯状态包括道路中各信号灯对应的通行方向和通行状态；基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态，包括：

针对每一信号灯，基于信号灯的类别信息，确定信号灯对应的通行方向和通行状态；

其中，信号灯对应的通行方向包括以下任一项：直行、左转、右转、调头；

信号灯对应的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、未知。

在一种可能的实现方式中，该方法还包括：

基于道路级信号灯状态，确定道路中各车道的通行状态；

对于每一车道，车道的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、进入等待区、未知。

第二方面，本申请实施例提供了一种交通信号灯识别装置，该装置包括：

第一获取模块，用于获取车辆的定位信息，以及获取车辆运行前方的当前图像；

第二获取模块，用于基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；

投影模块，用于将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；

确定模块，用于基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；

识别模块，用于基于待识别区域，得到车辆所在道路的道路级信号灯状态。

第三方面，本申请实施例还提供了一种车载控制终端，该车载控制终端包括：一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被配置用于执行本申请的第一方面所示的方法。

第四方面，本申请实施例还提供了一种机动车，该机动车包括图像采集设备和车载控制终端；

图像采集设备用于获取车辆运行前方的当前图像；

车载控制终端用于：

获取车辆的定位信息，以及获取图像采集设备所采集的当前图像；

将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；

基于待识别区域，得到车辆所在道路的道路级信号灯状态。

第五方面，本申请实施例还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被配置用于执行如本申请的第一方面所示的方法。

第六方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在处理器上运行时，使得处理器可以执行如本申请的第一方面所示的方法。

本申请提供的技术方案带来的有益效果是：

本申请提供了一种交通信号灯识别方法、装置、车载控制终端及机动车，获取车辆的定位信息，以及获取车辆运行前方的当前图像；基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；基于待识别区域，得到车辆所在道路的道路级信号灯状态。本申请技术方案中，基于车辆所在道路关联的各信号灯的位置信息，对车辆所在道路的道路级信号灯状态进行识别，不需要在高精地图中记录信号灯对应的车道，降低了高精地图的制作成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的交通信号灯识别方法的流程图；

图2为本申请实施例提供的信号灯对应的通行方向归属的示意图；

图3为本申请实施例提供的技术方案的执行过程的示意图；

图4为本申请实施例提供的从两种焦距的图像中确定目标图像的示意图；

图5为本申请实施例提供的通过多帧融合的方式确定当前帧的各信号灯的位置的示意图；

图6为本申请实施例提供的基于多个信号灯的类别信息，确定道路级信号灯状态的示意图；

图7为本申请实施例提供的交通信号灯识别装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

本申请技术方案的执行主体为计算机设备，包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。计算机设备包括用户设备与网络设备。其中，用户设备包括但不限于电脑、智能手机、PAD等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例提供了一种交通信号灯识别方法，本方法即可应用于服务器，也可以应用在终端，本实施例以该方法应用在自动驾驶车辆的车载控制终端来举例说明，如图1所示，该方法包括：

步骤S101，获取车辆的定位信息，以及获取车辆运行前方的当前图像；

其中，定位信息包括车辆的位置信息和姿态信息，位置信息具体可以为三维坐标系统下的位置坐标，三维坐标系的X轴、Y轴和Z轴分别表示经度、维度和高度，车辆的坐标位置可以通过x,y,z三维坐标表示，x,y,z分别表示经度、纬度、高度；姿态信息可以通过用pitch,yaw,roll三个角度表示，pitch表示围绕X轴旋转的角度，叫做俯仰角，Yaw表示围绕Y轴旋转的角度，叫做偏航角，roll表示围绕Z轴旋转的角度，叫做翻滚角。

车辆的定位信息具体可以通过安装在车辆中的高精定位系统来获取，高精定位系统可以实现对车辆位置、姿态的精确估计。可选的，车辆可以通过高精定位系统按照一定的采样周期周期性地获取自身的定位信息，其中，采样周期可以根据实际情况配置，如1秒。可以理解的是，在实际应用中，车辆的定位信息可以随采样周期实时更新。

车辆运行前方的图像可以通过安装在车辆中的图像采集设备来获取，在车辆行驶过程中，图像采集设备可以持续(如按照一定周期持续)地获取车辆运行前方的图像，也可以在车辆与道路的路口之间满足预设距离时获取前方图像，何时获取前方图像可以根据具体需要进行配置，本申请对此不做限定。

步骤S102，基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；

其中，高精地图是供自动驾驶车辆使用的地图数据，精度可以在10cm以内。在高精地图中可以查询路面、道路中的静态要素的高精度三维坐标，可辅助车辆感知周围环境、定位等。

基于车辆的定位信息中的位置信息，可以在高精地图中查询车辆所在道路在高精地图中的位置，以及道路关联的各信号灯的位置坐标。与现有技术相比，本申请不需要在高精地图中查询车辆所在车道的位置，只需要查询车辆所在道路的位置，也就是说，高精地图中只需要记录道路的位置，不需要记录道路中各个车道的位置，降低了高精地图的制作成本。

在一种可能的实现方式中，信号灯的位置信息为信号灯的中心点的位置信息。

在实际应用中，基于车辆的位置信息，在高精地图中查询车辆所在道路关联的信号灯的中心点的位置信息，与现有技术中的需要获取各信号灯所在矩形框的四个顶点的位置相比，高精地图中只需要记录各信号灯的中心点位置，不需要各信号灯所在矩形的四个顶点位置，简化了高精地图中的信号灯元素的表达，极大节省了高精地图的制作成本和难度。

步骤S103，将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；

基于车辆的位置信息和姿态信息，将从高精地图中查询得到的各信号灯的位置信息，投影到通过图像采集设备采集的车辆运行前方的当前图像中，得到各信号灯的投影位置。

步骤S104，基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；

具体的，基于各信号灯的投影位置，确定待识别区域的中心位置，基于待识别区域的中心位置，确定待识别区域。例如，将各信号灯的投影位置进行加权计算，将计算结果作为待识别区域的中心位置，将该中心位置作为矩形待识别区域的中心，可以确定矩形的待识别区域。

各信号灯所在的待识别区域的确定具体见如下实施例。

为了实现长距离(>100m)的信号灯检测，可以获取不同种焦距的图像，基于多种焦距的图像确定待识别区域。

在一种可能的实现方式中，车辆中安装有对应至少两种焦距的图像采集设备，获取车辆运行前方的当前图像，包括：

通过图像采集设备获取车辆运行前方的对应于至少两种焦距的当前图像；

将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置，包括：

将各信号灯的位置信息投影到每种焦距对应的当前图像中，得到各信号灯在各当前图像中的投影位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域，包括：

将各信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像；

基于各信号灯在目标图像中的投影位置，确定待识别区域。

在实际应用中，可以通过多种焦距的图像采集设备采集多种焦距的车辆运行前方的图像，将从高精地图中查询到的各信号灯的位置投影到每种焦距对应的当前图像中，信号灯在焦距较长的图像中的面积较大，特征更明显，更容易进行检测，但是焦距较长的图像采集设备的视野比较小，需要焦距较短但是广角的图像采集设备进行补充。

在进行目标图像的确定时，优先选择焦距较长的图像，将各信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像。基于目标图像中的投影位置，确定目标图像中的待识别区域。其中，第一预设条件可以为投影位置与当前图像各顶点或者边缘的距离满足的条件，可以根据具体需要进行设定。设置第一预设条件是为了避免投影位置不符合要求造成影响信号灯识别的问题。

通过两种不同焦距的图像互为补充，当焦距较长的图像中的投影位置不符合要求时，利用焦距较短的图像进行识别，保证信号灯检测的连续性和稳定性。

在一示例中，采用一个25mm长焦相机和一个6mm短焦广角相机，分别获取长焦图像和短焦图像，当各信号灯各自在长焦图像中的投影位置满足第一预设条件时，将长焦图像作为目标图像；当各信号灯中任一信号灯在长焦图像中的投影位置不满足第一预设条件时，将短焦图像作为目标图像。

本申请实施例在中，获取不同种焦距的车辆运行前方的图像，从多种焦距的图像中筛选出目标图像，不同焦距的图像中的信号灯面积不同，基于各信号灯在目标图像中的投影位置确定待识别区域再进行信号灯识别，能够使得图像中信号灯的面积能够符合识别的需求，便于提高识别的准确率。

另外，为了提高识别的准确率，采用多帧融合的方式确定目标图像，具体见如下实施例。

在一种可能的实现方式中，该方法还包括:

获取当前图像之前的历史图像；

对历史图像进行信号灯检测，得到历史图像中各信号灯的检测位置；

将各信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像，包括：

将各信号灯在各种焦距对应的当前图像中的投影位置和各信号灯的检测位置满足第二预设条件的当前图像中对应焦距最长的图像，确定为目标图像，第二预设条件包括第一预设条件。

在实际应用中，可以采用多帧图像融合的方式，获取当前图像之前的历史图像中各信号灯的检测位置，基于各种焦距对应的当前图像中的投影位置和多帧历史图像的检测位置，来确定目标图像。由于信号灯是静态道路元素，可以假设在连续帧内，车辆位置和姿态变化不大，则信号灯在图像上的位置基本不变。可以将历史图像中各信号灯的检测位置记录在各种焦距对应的当前图像中，则各种焦距对应的当前图像中包括各检测位置，以及各信号灯在各种焦距对应的当前图像中的投影位置，将各信号灯在各种焦距对应的当前图像中的投影位置和各检测位置，均满足第二预设条件的当前图像中对应焦距最长的图像，确定为目标图像。

其中，第二预设条件可以为投影位置、检测位置分别与当前图像各定点或者边缘的距离满足的条件，可以根据具体需要进行设定。第二预设条件包括第一预设条件，设置第二预设条件是为了避免投影位置、检测位置不符合要求造成影响信号灯识别的问题。

通过不停更新信号灯检测位置，使用多帧融合的方式，结合各种焦距对应的当前图像中的投影位置，从而确定当前图像中的目标图像，即使在车辆行驶过程中出现定位精度损失或者不准确的情况，信号灯检测的稳定性也不受影响。

在确定目标图像时，各信号灯在当前图像中的投影位置需要满足的预设条件如下。

在一种可能的实现方式中，第一预设条件包括：

各投影位置均位于当前图像中、且各投影位置与图像边缘的距离大于设定距离。

在实际应用中，首先判断当前图像中是否包含各投影位置，如果各投影位置均位于当前图像中，再判断各投影位置与图像边缘的距离是否大于设定距离，如果是，则说明满足第一预设条件，如果当前图像中的任一投影位置与图像边缘的距离不大于设定距离，则不符合第一预设条件。第一预设条件还可以包括各检测位置均位于当前图像中、且各检测位置与图像边缘的距离大于设定距离。

在确定待识别区域时，除了各信号灯在当前图像中的投影位置之外，也可以结合各信号灯在多帧历史图像中的检测位置，来确定当前图像中的待识别区域，具体实现方式如下：

在一种可能的实现方式中，该方法还包括：

获取当前图像之前的历史图像；

对历史图像进行信号灯检测，得到历史图像中各信号灯的检测位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域，包括：

基于各信号灯在当前图像的投影位置、以及历史图像所对应的各信号灯的检测位置，确定当前图像中的待识别区域。

在实际应用中，可以基于各信号灯在当前图像中的投影位置和历史图像中的检测位置，确定当前图像中各信号灯所在的待识别区域，可以将历史图像中各信号灯的检测位置记录在当前图像中，则当前图像中包括各检测位置，以及各信号灯在当前图像中的投影位置，可以将各投影位置和各检测位置进行加权计算，将计算结果作为待识别区域的中心位置，将该中心位置作为矩形待识别区域的中心，可以确定矩形的待识别区域。

本实施例中，通过不停更新信号灯检测位置，使用多帧融合的方式，确定当前图像中的待识别区域，即使在车辆行驶过程中出现定位精度损失或者不准确的情况，信号灯检测的稳定性也不受影响。

在一种可能的实现方式中，历史图像包括至少两帧图像；

对各历史图像进行信号灯检测，得到各历史图像中各信号灯的检测位置，包括：

对各历史图像中的第一帧图像，基于各信号灯在第一帧图像中的投影位置，对第一帧图像进行信号灯检测，得到各信号灯在第一帧图像中的检测位置；

对各历史图像中除第一帧图像之外的各帧图像，基于各信号灯在该帧图像中的投影位置、以及各信号灯在该帧图像之前的一帧图像中的检测位置，对该帧图像进行信号灯检测，得到该帧图像中的各信号灯的检测位置；

基于各信号灯在当前图像的投影位置、以及历史图像所对应的各信号灯的检测位置，确定当前图像中的待识别区域，包括：

基于各信号灯在当前图像的投影位置、以及各历史图像中最后一帧图像的检测位置，确定当前图像中的待识别区域。

在实际应用中，历史图像包括至少两帧图像时，其中的第一帧图像的中各信号灯的检测位置，是基于当前帧图像中各信号灯的投影位置确定的；除了第一帧之外的其他帧图像中各信号灯的检测位置，是基于该帧中各信号灯的投影位置，以及该帧之前各帧图像中各信号灯的检测位置确定的，也就是说，除了第一帧图像之外，都是采用多帧融合的方式确定的各信号灯的检测位置。当前图像中的待识别区域，是基于各信号灯在当前图像的投影位置、以及各历史图像中最后一帧图像的检测位置确定的。

步骤S105，基于待识别区域，得到车辆所在道路的道路级信号灯状态。

具体的，可以通过图像识别模型对图像中的待识别区域进行识别，通过识别得到车辆所在道路前方的各个信号灯的状态，可以基于前方道路中的信号灯的状态来进行决策，控制自动驾驶车辆的在道路中行驶。

基于待识别区域，得到车辆所在道路的道路级信号灯状态的具体实现方式见如下：

在一种可能的实现方式中，基于待识别区域，得到车辆所在道路的道路级信号灯状态，包括：

对待识别区域进行信号灯识别，确定各信号灯的类别信息，类别信息包括形状和颜色；

基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态。

在实际应用中，从信号灯的形状和信号灯颜色两个维度定义信号灯的类别，基于这两个维度可以构建信号灯的分类矩阵表格，如表1所示。信号灯的形状可以包括多边形、箭头等多种形状；信号灯的颜色可以包括红、绿、黄、黑、未知，其中，“黑”表示信号灯处于不亮的状态，“未知”表示未识别出颜色。

表1

识别出车辆行驶的前方道路的各信号灯的形状和颜色之后，基于识别出的各信号灯的形状和颜色，进行信号灯语义判断，得到车辆所在道路的道路级信号灯状态。

其中，对于确定各信号灯的类别信息的具体实现方式如下：

在一种可能的实现方式中，对待识别区域进行信号灯识别，确定各信号灯的类别信息，包括：

对待识别区域进行信号灯检测，确定各信号灯在待识别区域中的位置信息；

基于各信号灯在待识别区域中的位置信息，确定各信号灯在待识别区域中各信号灯各自对应的目标区域；

对各目标区域分别进行信号灯识别，得到各信号灯的类别信息。

在实际应用中，对于确定信号灯的类别信息，可以首先检测出各信号灯在待识别区域中的位置坐标，位置坐标可以用x,y,w,h表示。基于该位置坐标确定各信号灯所在的矩形边界框(多个信号灯对应的一个矩形边界框)或者正方形边界框(每个信号灯单独对应的一个正方形边界框)对应的区域，其中，(x,y)是边界框左上角点的坐标，(w,h)是边界框的宽和高。将各矩形边界框或者正方形边界框的位置作为各信号灯各自对应的目标区域，对各目标区域进行识别，得到各目标区域中的信号灯的类别信息。本申请实施例中，首先确定各信号灯的位置，对基于位置确定的目标区域进行信号灯识别，使得待识别区域进一步缩小，能够提高识别的准确率。在确定各信号灯的类别信息时，也可以通过神经网络模型，直接输出信号灯的类别信息，具体实现方式如下：

在一种可能的实现方式中，对待识别区域进行信号灯识别，确定各信号灯的类别信息，包括：

基于待识别区域，通过信号灯类别识别模型得到各信号灯的类别信息。

在实际应用中，可以基于信号灯类别识别模型确定信号灯的类别信息。其中，信号灯类别识别模型是通过以下方式训练的：

获取训练样本，训练样本包括各样本信号灯图像，样本信号灯图像标注有标签，标签包括信号灯的位置标签和类别标签；

基于训练样本对初始类别识别模型进行训练，直至初始类别识别模型的模型损失函数收敛，将模型损失函数收敛时的初始类别识别模型作为信号灯类别识别模型；

其中，初始类别识别模型的输入为样本信号灯图像，输出为样本信号灯图像的检测结果，检测结果包括信号灯的预测位置信息和预测类别信息，其中，模型损失函数包括分别对应于样本信号灯图像中信号灯的位置和类别的损失函数。

本申请实施例中，利用大量训练样本训练的神经网络模型进行信号灯类别识别，得到的识别结果准确率高。

除了上述采用一个神经网络模型识别信号灯的类别之外，还可以采用两个神经网络模型来确定信号灯的类别信息，具体实施例如下：

在一种可能的实现方式中，信号灯类别识别模型包括信号灯检测模型和信号灯识别模型；

对待识别区域进行信号灯检测，确定各信号灯在待识别区域中的位置信息，包括：

基于待识别区域，通过信号灯检测模型进行信号灯检测，得到各信号灯在待识别区域中的位置信息；

对目标区域进行信号灯识别，得到各信号灯的类别信息，包括：

针对每一目标区域，基于目标区域，通过信号灯识别模型进行信号灯识别，得到目标区域对应的信号灯的类别信息。

在实际应用中，还可以通过信号灯检测模型和信号灯识别模型两个神经网络模型，对各信号灯进行类别识别。通过信号灯检测模型检测出各信号灯在待识别区域中的位置，将信号灯检测模型输出的位置对应的图像从原图中剪切出来，经过尺寸归一化，得到各信号灯各自对应的目标区域的图像，输入信号灯识别模型，得到各信号灯的类别信息。

其中，信号灯检测模型是通过以下方式训练的：

获取训练样本，训练样本包括各样本信号灯图像，样本信号灯图像标注有标签，标签包括各信号灯的位置标签；

基于训练样本对初始位置检测模型进行训练，直至初始位置检测模型的模型损失函数收敛，将模型损失函数收敛时的初始位置检测模型作为信号灯检测模型；

其中，初始位置检测模型的输入为样本信号灯图像，输出为样本信号灯图像的检测结果，检测结果包括信号灯的预测位置信息，模型损失函数的值表征了样本信号灯图像的标注位置和预测位置信息之间的差异。

信号灯识别模型是通过以下方式训练的：

获取训练样本，训练样本包括各样本信号灯图像，样本信号灯图像标注有标签，标签包括各信号灯的类别标签；

基于训练样本对初始识别模型进行训练，直至初始识别模型的模型损失函数收敛，将模型损失函数收敛时的初始识别模型作为信号灯识别模型；

其中，初始识别模型的输入为样本信号灯图像，输出为样本信号灯图像的检测结果，检测结果包括信号灯的类别信息，该模型损失函数的值则表征了样本信号灯图像的标注类别信息和模型输出的类别信息之间的差异。

本申请实施例中，通过信号灯检测模型和信号灯识别模型两个神经网络模型对各信号灯进行类别识别，与通过一个神经网络模型对各信号灯进行类别识别相比，降低了训练样本标注的复杂度。

确定了各信号灯的类别信息之后，基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态的具体实现方式如下：

在一种可能的实现方式中，道路级信号灯状态包括道路中各信号灯对应的通行方向和通行状态；基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态，包括：

针对每一信号灯，基于信号灯的类别信息，确定信号灯对应的通行方向和通行状态；

其中，信号灯对应的通行方向包括以下任一项：直行、左转、右转、调头；

信号灯对应的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、未知。

在实际应用中，基于信号灯的形状，进行信号灯对应的通行方向归属，如图2所示，当左转箭头形状信号灯出现时，圆形、方形等信号灯不再归属至左转方向，同样，其他方向的箭头形状信号灯出现时，圆形、方形等信号灯不再归属至相应的方向，也就是说，进行通行方向归属时，如果有箭头形状信号灯出现，则不考虑其他形状的信号灯(如图2中所示的“忽略类型”)，将箭头形状信号灯对应的方向作为通行方向。

另外，基于信号灯的形状和颜色，确定该信号灯对应的通行状态，通行状态包括红、黄、绿、黑、禁止通行、未知中的任一项。基于信号灯的形状和颜色，确定该信号灯对应的通行方向和通行状态，如表2所示。每个信号灯对应的通行方向包括直行、左转、右转、调头中的任一项；每个信号灯对应的通行状态包括红、黄、绿、黑、禁止通行、未知中的任一项，其中，“未知”表示未确定出通行状态。

表2

在一种可能的实现方式中，该方法还包括：

基于道路级信号灯状态，确定道路中各车道的通行状态；

对于每一车道，车道的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、进入等待区、未知。

在实际应用中，为解决有左转弯待转的大型交通路口交通信号灯识别和车道信号灯识别，可以基于道路中各信号灯对应的通行方向和通行状态，确定道路中各车道的通行状态，每个车道的通行状态包含7种：红、黄、绿、黑、禁止通行、进入等待区、未知。其中，“未知”表示未确定出车道的通行状态。车道的通行状态“进入等待区”需要两个以上的信号灯的通行方向和通行状态才能确定。

下面通过一个示例对本申请技术方案的执行过程进行介绍。

如图3所示，首先进行预处理步骤：获取定位信息(车辆位置和姿态)和车辆运行前方的图像(如图中所示的相机图像)；基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息(如图中所示的“根据车辆位置查询高精地图信号灯位置”)，基于定位信息，将各信号灯的位置信息分别投影到车辆运行前方的图像中(如图中所示的“结合车辆姿态将信号灯位置从世界坐标系投影到图像坐标系”)，基于各信号灯在每种焦距对应的图像中的投影位置，从至少两种焦距对应的图像中确定目标图像(如图中所示的“根据多相机选择策略选择合适的相机图片”)；然后执行检测和分类步骤：基于各信号灯在目标图像中的投影位置，确定目标图像中各信号灯所在的待识别区域；对待识别区域进行信号灯检测，确定各信号灯在待识别区域中的位置信息(如图中所示的“使用深度学习算法进行信号灯检测获取图像中信号灯的位置(用信号灯的矩形或者正方形边界框x,y,w,h表示)”)；基于各信号灯在待识别区域中的位置信息，确定各信号灯在待识别区域中的目标区域；对目标区域进行信号灯识别，得到各信号灯的类别信息(如图中所示的“使用深度学习算法进行信号灯分类，获取信号灯的颜色、关联方向等信息”)；执行语义判断后处理步骤：基于各信号灯的类别信息，确定道路级信号灯状态(如图中所示的“基于识别结果，执行语义判断逻辑，输出车道或道路级别的信号灯状态”)。

下面通过一个示例，以两种焦距的图像为例，介绍如何确定目标图像。

如图4所示，获取当前帧的长、短焦相机图像，将各信号灯的位置信息分别投影到长、短焦相机图像中，得到当前帧的包含有投影位置的长、短焦相机图像(如图中所示的长、短焦相机图像信号灯(查询&投影))，获取当前帧之前一帧的长、短焦相机图像，其中包括各信号灯的检测位置(如图中所示的长、短焦相机图像信号灯(检测))。

执行步骤S301，将当前帧之前一帧的长、短焦相机图像中各信号灯的检测位置记录在当前帧的长、短焦相机信号灯图像中，则此时当前帧的长、短焦相机图像中包含投影位置和检测位置(如图中所示的“合并”)；

执行步骤S302，判断当前帧的长、短焦相机图像中是否均包含投影位置和检测位置(如图中所示的“长、短焦相机图像上有信号灯？”)，如果长焦相机图像和短焦相机图像中均包含投影位置和检测位置，则执行步骤S303，将长焦相机的图像作为目标图像(如图中所示的“使用长焦相机图像”)；

否则，执行步骤S304，判断长焦相机图像上是否不包含有投影位置和检测位置(如图中所示的“长焦相机图像上无信号灯？”)也就是说，判断是否有投影位置或检测位置没有在长焦相机图像上，而是超出了图像边界，如果是，则执行步骤S305，将短焦相机的图像作为目标图像(如图中所示的“使用短焦相机图像”)；

执行步骤S306，判断长焦相机图像上的投影位置或检测位置与图像边缘的距离是否满足预设条件(如图中所示的“长焦相机图像上信号灯是否即将超出图像边界？”)，如果是，则执行步骤S307，将短焦相机的图像作为目标图像(如图中所示的“使用短焦相机图像”)；

否则，执行步骤S308，将长焦相机的图像作为目标图像(如图中所示的“使用长焦相机图像”)，接着执行步骤S309，对目标图像中的各信号灯进行检测和分类(如图中所示的“检测&分类”)，得到各信号灯的检测位置，循环执行以上过程，从各帧的长、短焦相机图像中确定出各帧的目标图像。

下面通过一个示例，介绍如何通过多帧融合的方式确定当前帧的各信号灯的位置。

如图5所示，在当前帧图像(如图中所示的“信号灯图像”)中，采用多帧信号灯图像融合的方式，确定当前帧图像的待识别区域。利用信号灯检测模型检测得到当前帧之前的多帧图像中的信号灯的检测位置，将各检测位置记录在当前帧图像中(如图中所示的“多帧检测位置”，通过多个“·”来表示，每个点为检测出的一帧图像中的一个信号灯的定位框的中心位置)，和当前帧图像中的投影位置(如图中所示的“投影位置”，通过多个“·”来表示，每个点表示一个信号灯的中心位置对应的投影位置)，将多帧的检测位置和当前帧的投影位置进行加权计算，得到当前帧图像待识别区域的中心位置，基于当前帧图像待识别区域的中心位置，确定当前帧图像的待识别区域(如图中所示的“待识别区域”)，利用信号灯检测模型对当前帧图像中的待识别区域进行位置检测，得到当前帧图像中的各信号灯的检测位置(如图中所示的“定位框”，图中每个信号灯对应一个定位框)。

下面通过一个示例，详细介绍基于多个信号灯的类别信息，确定道路级信号灯状态的过程。

如图6所示，首先将利用信号灯检测模型和信号灯识别模型对输入图像进行识别(如图中所示的“检测&分类”)，将输入图像(输入图像为示意性的说明图，图像中的具体内容不影响本实施例的说明)输入信号灯检测和信号灯识别模型，得到图像中各信号灯的颜色和形状，如图中所示的左起第一列信号灯的识别结果为：黑色圆形、黑色圆形、绿色箭头；第二列信号灯的识别结果为：红色圆形、黑色圆形、黑色圆形；第三列信号灯的识别结果为：红色圆形、黑色圆形、黑色圆形；根据各信号灯的颜色和形状，确定各信号灯对应的通行方向(如图中所示的“信号灯通行方向归属”)：第一列信号灯的通行方向归属为左转；第二列、第三列信号灯的通行方向归属为直行；以及各信号灯对应的通行状态(如图中所示的“道路信号灯语义判断”)：第一列信号灯的通行状态为“绿”(如图中所示的绿色左转箭头)；第二列、第三列信号灯的通行状态为“红”(如图中所示的红色直行箭头)；输入图像的识别结果不涉及“右转”和“掉头”两个通行方向，因此，对应的通行状态如图中所示的黑色箭头，从而得到了道路级的信号灯状态。

本申请实施例提供的交通信号灯识别方法，获取车辆的定位信息，以及获取车辆运行前方的当前图像；基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；基于待识别区域，得到车辆所在道路的道路级信号灯状态。本申请技术方案中，基于车辆所在道路关联的各信号灯的位置信息，对车辆所在道路的道路级信号灯状态进行识别，不需要在高精地图中记录信号灯对应的车道，降低了高精地图的制作成本。

基于与图1中所示方法相同的原理，本公开的实施例中还提供了一种交通信号灯识别装置30，如图7所示，该装置30包括：

第一获取模块31，用于获取车辆的定位信息，以及获取所述车辆运行前方的当前图像；

第二获取模块32，用于基于所述定位信息和高精地图，获取与所述车辆所在道路关联的各信号灯的位置信息；

投影模块33，用于将各所述信号灯的位置信息分别投影到所述当前图像中，得到各所述信号灯在所述当前图像中的投影位置；

确定模块34，用于基于各所述信号灯在所述当前图像中的投影位置，确定所述当前图像中的待识别区域；

识别模块35，用于基于所述待识别区域，得到所述车辆所在道路的道路级信号灯状态。

在一种可能的实现方式中，信号灯的位置信息为信号灯的中心点的位置信息。

在一种可能的实现方式中，车辆中安装有对应至少两种焦距的图像采集设备，第一获取模块31在获取车辆运行前方的当前图像时，用于：

通过图像采集设备获取车辆运行前方的对应于至少两种焦距的当前图像；

投影模块33，用于将各信号灯的位置信息投影到每种焦距对应的当前图像中，得到各信号灯在各当前图像中的投影位置；

确定模块34，用于将各信号灯在各种焦距对应的当前图像中的投影位置满足预设条件的当前图像中对应焦距最长的图像，确定为目标图像；

基于各信号灯在目标图像中的投影位置，确定待识别区域。

在一种可能的实现方式中，该装置30还包括第三获取模块和检测模块；

第三获取模块，用于获取当前图像之前的历史图像；

检测模块，用于对历史图像进行信号灯检测，得到历史图像中各信号灯的检测位置；

确定模块34在将各信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像时，用于：

将各信号灯在各种焦距对应的当前图像中的投影位置和各信号灯的检测位置满足第二预设条件的当前图像中对应焦距最长的图像，确定为目标图像，第二预设条件包括第一预设条件。

在一种可能的实现方式中，第一预设条件包括：

各投影位置均位于当前信号灯图像中、且各投影位置与图像边缘的距离大于设定距离。

在一种可能的实现方式中，该装置30还包括第三获取模块和检测模块：

第三获取模块，用于获取当前图像之前的历史图像；

检测模块，用于对历史图像进行信号灯检测，得到历史图像中各信号灯的检测位置；

确定模块34，用于基于各信号灯在当前图像的投影位置、以及历史图像所对应的各信号灯的检测位置，确定当前图像中的待识别区域。

在一种可能的实现方式中，历史图像包括至少两帧图像；

检测模块，用于对各历史图像中的第一帧图像，基于各信号灯在第一帧图像中的投影位置，对第一帧图像进行信号灯检测，得到各信号灯在第一帧图像中的检测位置；

对各历史图像中除第一帧图像之外的各帧图像，基于各信号灯在该帧图像中的投影位置、以及各信号灯在该帧图像之前的一帧图像中的检测位置，对该帧图像进行信号灯检测，得到该帧图像中的各信号灯的检测位置；

确定模块34，用于基于各信号灯在当前图像的投影位置、以及各历史图像中最后一帧图像的检测位置，确定当前图像中的待识别区域。

在一种可能的实现方式中，识别模块35用于：

对待识别区域进行信号灯识别，确定各信号灯的类别信息，类别信息包括形状和颜色；

基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态。

在一种可能的实现方式中，识别模块35在对待识别区域进行信号灯识别，确定各信号灯的类别信息时，用于：

对待识别区域进行信号灯检测，确定各信号灯在待识别区域中的位置信息；

基于各信号灯在待识别区域中的位置信息，确定待识别区域中各信号灯各自对应的目标区域；

对各目标区域分别进行信号灯识别，得到各信号灯的类别信息。

在一种可能的实现方式中，识别模块35在对待识别区域进行信号灯识别，确定各信号灯的类别信息时，用于：

基于待识别区域，通过信号灯类别识别模型得到各信号灯的类别信息。

在一种可能的实现方式中，信号灯类别识别模型包括信号灯检测模型和信号灯识别模型；

检测模块，用于基于待识别区域，通过信号灯检测模型进行信号灯检测，得到各信号灯在待识别区域中的位置信息；

识别模块35在对目标区域进行信号灯识别，得到各信号灯的类别信息时，用于：

针对每一目标区域，基于目标区域，通过信号灯识别模型进行信号灯识别，得到目标区域对应的信号灯的类别信息。

在一种可能的实现方式中，道路级信号灯状态包括道路中各信号灯对应的通行方向和通行状态；识别模块35在基于各信号灯的类别信息，确定车辆所在道路的道路级信号灯状态时，用于：

针对每一信号灯，基于信号灯的类别信息，确定信号灯对应的通行方向和通行状态；

其中，信号灯对应的通行方向包括以下任一项：直行、左转、右转、调头；

信号灯对应的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、未知。

在一种可能的实现方式中，识别模块35还用于：

基于道路级信号灯状态，确定道路中各车道的通行状态；

对于每一车道，车道的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、进入等待区、未知。

本实施例提供的交通信号灯识别装置的具体工作过程与图1中所示方法中的各个步骤相对应，具体过程在方法实施例已经进行了详细描述，此处不再赘述。

本申请提供的交通信号灯识别装置，获取车辆的定位信息，以及获取车辆运行前方的当前图像；基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；基于待识别区域，得到车辆所在道路的道路级信号灯状态。本申请技术方案中，基于车辆所在道路关联的各信号灯的位置信息，对车辆所在道路的道路级信号灯状态进行识别，不需要在高精地图中记录信号灯对应的车道，降低了高精地图的制作成本。

本申请实施例还提供了一种车载控制终端，该车载控制终端包括：一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被配置用于执行本申请的交通信号灯识别方法。

本申请实施例还提供了一种机动车，该机动车包括图像采集设备和车载控制终端；

图像采集设备用于获取车辆运行前方的当前图像；

车载控制终端用于：

获取车辆的定位信息，以及获取图像采集设备所采集的当前图像；

将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；

基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；

基于待识别区域，得到车辆所在道路的道路级信号灯状态。

具体的，图像采集设备用于采集车辆运行前方的图像，包括当前图像和历史图像。在车辆行驶过程中，图像采集设备可以持续(如按照一定周期持续)地获取前方图像，也可以在车辆与道路路口之间满足预设距离时获取图像，何时获取前方图像可以根据具体需要进行配置，本申请对此不做限定。图像采集设备采集可以是不同焦距的图像采集设备，将采集到的图像发送给车载控制终端。

车载控制终端将获取到的图像，以及基于定位系统获取的车辆的定位信息，结合高精地图，进行图像检测和识别，得到图像中的各信号灯的类别，基于各信号灯的类别，得到车辆所在道路的道路级信号灯状态，基于道路级信号灯状态控制机动车在道路中行驶。

上述实施例从虚拟模块的角度介绍了交通信号灯识别装置，下述从实体模块的角度介绍一种电子设备，具体如下所示：

本申请实施例提供了一种电子设备，如图8所示，图8所示的电子设备9000包括：处理器9001和存储器9003。其中，处理器9001和存储器9003相连，如通过总线9002相连。可选地，电子设备9000还可以包括收发器9004。需要说明的是，实际应用中收发器9004不限于一个，该电子设备9000的结构并不构成对本申请实施例的限定。

处理器9001可以是CPU，通用处理器，GPU，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器9001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线9002可包括一通路，在上述组件之间传送信息。总线9002可以是PCI总线或EISA总线等。总线9002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器9003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器9003用于存储执行本申请方案的应用程序代码，并由处理器9001来控制执行。处理器9001用于执行存储器9003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

本申请实施例提供了一种电子设备，本申请实施例中的电子设备包括：一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被处理器执行时，获取车辆的定位信息，以及获取车辆运行前方的当前图像；基于定位信息和高精地图，获取与车辆所在道路关联的各信号灯的位置信息；将各信号灯的位置信息分别投影到当前图像中，得到各信号灯在当前图像中的投影位置；基于各信号灯在当前图像中的投影位置，确定当前图像中的待识别区域；基于待识别区域，得到车辆所在道路的道路级信号灯状态。本申请技术方案中，基于车辆所在道路关联的各信号灯的位置信息，对车辆所在道路的道路级信号灯状态进行识别，不需要在高精地图中记录信号灯对应的车道，降低了高精地图的制作成本。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序在处理器上运行时，使得处理器可以执行前述方法实施例中相应的内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (15)

1.一种交通信号灯识别方法，其特征在于，所述方法包括：

获取车辆的定位信息，以及获取所述车辆运行前方的当前图像；

基于所述定位信息和高精地图，获取与所述车辆所在道路关联的各信号灯的位置信息；

将各所述信号灯的位置信息分别投影到所述当前图像中，得到各所述信号灯在所述当前图像中的投影位置；

基于各所述信号灯在所述当前图像中的投影位置，确定所述当前图像中的待识别区域；

基于所述待识别区域，得到所述车辆所在道路的道路级信号灯状态。

2.根据权利要求1所述的方法，其特征在于，所述信号灯的位置信息为所述信号灯的中心点的位置信息。

3.根据权利要求1或2所述的方法，其特征在于，所述车辆中安装有对应至少两种焦距的图像采集设备，所述获取所述车辆运行前方的当前图像，包括：

通过所述图像采集设备获取所述车辆运行前方的对应于至少两种焦距的当前图像；

将各所述信号灯的位置信息分别投影到所述当前图像中，得到各所述信号灯在所述当前图像中的投影位置，包括：

将各所述信号灯的位置信息投影到每种焦距对应的当前图像中，得到各所述信号灯在各所述当前图像中的投影位置；

所述基于各所述信号灯在所述当前图像中的投影位置，确定所述当前图像中的待识别区域，包括：

将各所述信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像；

基于各所述信号灯在所述目标图像中的投影位置，确定所述待识别区域。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括:

获取所述当前图像之前的历史图像；

对所述历史图像进行信号灯检测，得到所述历史图像中各所述信号灯的检测位置；

所述将各所述信号灯在各种焦距对应的当前图像中的投影位置满足第一预设条件的当前图像中对应焦距最长的图像，确定为目标图像，包括：

将各所述信号灯在各种焦距对应的当前图像中的投影位置和各所述信号灯的检测位置，满足第二预设条件的当前图像中对应焦距最长的图像，确定为所述目标图像，所述第二预设条件包括所述第一预设条件。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述当前图像之前的历史图像；

对所述历史图像进行信号灯检测，得到所述历史图像中各所述信号灯的检测位置；

所述基于各所述信号灯在所述当前图像中的投影位置，确定所述当前图像中的待识别区域，包括：

基于各所述信号灯在所述当前图像的投影位置、以及所述历史图像所对应的各所述信号灯的检测位置，确定所述当前图像中的待识别区域。

6.根据权利要求5所述的方法，其特征在于，所述历史图像包括至少两帧图像；

所述对各所述历史图像进行信号灯检测，得到各所述历史图像中各所述信号灯的检测位置，包括：

对各所述历史图像中的第一帧图像，基于各所述信号灯在所述第一帧图像中的投影位置，对所述第一帧图像进行信号灯检测，得到各所述信号灯在所述第一帧图像中的检测位置；

对各所述历史图像中除所述第一帧图像之外的各帧图像，基于各所述信号灯在该帧图像中的投影位置、以及各所述信号灯在该帧图像之前的一帧图像中的检测位置，对该帧图像进行信号灯检测，得到该帧图像中的各所述信号灯的检测位置；

所述基于各所述信号灯在所述当前图像的投影位置、以及所述历史图像所对应的各所述信号灯的检测位置，确定所述当前图像中的待识别区域，包括：

基于各所述信号灯在所述当前图像的投影位置、以及各所述历史图像中最后一帧图像的检测位置，确定所述当前图像中的待识别区域。

7.根据权利要求1所述的方法，其特征在于，所述基于所述待识别区域，得到所述车辆所在道路的道路级信号灯状态，包括：

对所述待识别区域进行信号灯识别，确定各所述信号灯的类别信息，所述类别信息包括形状和颜色；

基于各所述信号灯的类别信息，确定所述车辆所在道路的道路级信号灯状态。

8.根据权利要求7所述的方法，其特征在于，所述对所述待识别区域进行信号灯识别，确定各所述信号灯的类别信息，包括：

对所述待识别区域进行信号灯检测，确定各所述信号灯在所述待识别区域中的位置信息；

基于各所述信号灯在所述待识别区域中的位置信息，确定所述待识别区域中各所述信号灯各自对应的目标区域；

对各所述目标区域分别进行信号灯识别，得到各所述信号灯的类别信息。

9.根据权利要求7所述的方法，其特征在于，所述道路级信号灯状态包括道路中各信号灯对应的通行方向和通行状态；所述基于各所述信号灯的类别信息，确定所述车辆所在道路的道路级信号灯状态，包括：

针对每一信号灯，基于所述信号灯的类别信息，确定所述信号灯对应的通行方向和通行状态；

其中，所述信号灯对应的通行方向包括以下任一项：直行、左转、右转、调头；

所述信号灯对应的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、未知。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

基于所述道路级信号灯状态，确定所述道路中各车道的通行状态；

对于每一车道，所述车道的通行状态包括以下任一项：红、黄、绿、黑、禁止通行、进入等待区、未知。

11.一种交通信号灯识别装置，其特征在于，所述装置包括：

第一获取模块，用于获取车辆的定位信息，以及获取所述车辆运行前方的当前图像；

第二获取模块，用于基于所述定位信息和高精地图，获取与所述车辆所在道路关联的各信号灯的位置信息；

投影模块，用于将各所述信号灯的位置信息分别投影到所述当前图像中，得到各所述信号灯在所述当前图像中的投影位置；

确定模块，用于基于各所述信号灯在所述当前图像中的投影位置，确定所述当前图像中的待识别区域；

识别模块，用于基于所述待识别区域，得到所述车辆所在道路的道路级信号灯状态。

12.一种车载控制终端，其特征在于，所述车载控制终端包括：

一个或多个处理器；

存储器；

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置用于执行根据权利要求1～10任一项所述的方法。

13.一种机动车，其特征在于，所述机动车包括图像采集设备和车载控制终端；

所述图像采集设备用于获取车辆运行前方的当前图像；

所述车载控制终端用于：

获取车辆的定位信息，以及获取所述图像采集设备所采集的所述当前图像；

将各所述信号灯的位置信息分别投影到所述当前图像中，得到各所述信号灯在所述当前图像中的投影位置；

基于各所述信号灯在所述当前图像中的投影位置，确定所述当前图像中的待识别区域；

基于所述待识别区域，得到所述车辆所在道路的道路级信号灯状态。

14.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器；

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置用于执行根据权利要求1～10任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器可以执行权利要求1～10任一项所述的方法。

Images