CN115937815A - 一种信号灯识别方法、装置、整车控制器及存储介质 - Google Patents

Abstract

本申请实施例提供了一种信号灯识别方法、装置、整车控制器及计算机可读存储介质，包括：获取第一环境影像；从第一环境影像中确定目标组合物的目标方位信息，目标组合物包含信号灯和承托结构；基于目标方位信息获取包含目标组合物的第二环境影像；第二环境影像的取景角度小于第一环境影像的取景角度；对第二环境影像中的信号灯进行识别，得到信号灯识别结果。由于第二环境影像的取景角度小于第一环境影像的取景角度，同一个信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，使得从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，可以提升识别信号灯的效率。

Description

一种信号灯识别方法、装置、整车控制器及存储介质

技术领域

本申请涉及目标检测技术领域，特别涉及一种信号灯识别方法、装置、整车控制器及计算机可读存储介质。

背景技术

随着科技的不断发展，越来越多的车辆开始装配有自动驾驶、辅助驾驶、碰撞预警等智能功能。为了实现上述智能功能，需要对车辆周围的信号灯进行识别，以根据信号灯的识别结果为上述智能功能提供指导。

相关技术中，由于信号灯的尺寸一般较小，且车辆行驶速度较快，需要从较远的距离识别较小的信号灯，因此车辆通常会搭载高清摄像头，通过高清摄像头拍摄车辆周围的大尺寸环境影像，然后将拍摄到的环境影像输入预先训练好的神经网络模型，神经网络模型对环境影像进行遍历操作，从拍摄的到的环境影像中查找与信号灯相符的图像特征，从而实现对信号灯的识别操作。

在上述方案中，需要从较大尺寸的环境影像中识别较小尺寸的信号灯，导致识别难度较大，每次识别所需消耗的运算资源较多，在车辆上搭载的处理器算力有限的情况下，导致现有技术中识别信号灯的效率较差。

发明内容

有鉴于此，本申请旨在提出一种信号灯识别方法、装置、整车控制器及计算机可读存储介质，以解决现有技术中识别信号灯的效率较差的成本较高的问题。

为达到上述目的，本申请的技术方案是这样实现的：

第一方面，本申请提供了一种信号灯识别方法，所述方法包括：

获取第一环境影像；

从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构；

基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度；

对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。

可选地，所述目标方位信息包括目标区域信息，从所述第一环境影像中确定目标组合物的目标方位信息，包括：

将所述第一环境影像输入第一识别模型，得到所述第一识别模型输出的目标区域信息；其中，所述目标区域信息用于描述目标组合物在所述第一环境影像中所处的图像区域。

可选地，所述基于所述目标方位信息获取包含所述目标组合物的第二环境影像，包括：

基于所述目标区域信息对所述第一环境影像进行裁切，得到包含所述目标组合物的第二环境影像，

或，基于所述目标区域信息对初始环境影像进行裁切，得到包含所述目标组合物的第二环境影像。

可选地，所述目标方位信息包括目标方向信息，所述从所述第一环境影像中确定目标组合物的目标方位信息，包括：

获取所述第一环境影像对应的取景方向信息；

基于所述目标区域信息和所述取景方向信息，确定目标方向信息；其中，所述目标方向信息用于表征所述目标组合物在三维空间中所处的方向。

可选地，所述基于所述目标方位信息获取包含所述目标组合物的第二环境影像，包括：

基于所述目标方向信息拍摄第二环境影像；其中，所述第二环境影像的拍摄焦距大于所述第一环境影像的拍摄焦距。

可选地，所述对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果，包括：

将所述第二环境影像输入第二识别模型，得到所述第二识别模型输出的信号灯识别结果；其中，所述信号灯识别结果包括灯箱区域信息、灯光区域信息、灯光颜色和灯光形状中的至少一项。

可选地，所述获取第一环境影像，包括：

获取初始环境影像；

降低所述初始环境影像的信息量，得到第一环境影像。

可选地，所述信号灯包括红绿灯，所述承托结构包括信号灯支撑杆、信号灯支撑架或信号灯支撑塔。

第二方面，本申请提供了一种信号灯识别装置，所述装置包括：

第一获取模块，用于获取第一环境影像；

方位模块，用于从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构；

第二获取模块，用于基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度；

识别模块，用于对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。

可选地，所述目标方位信息包括目标区域信息，所述方位模块包括：

第一识别子模块，用于将所述第一环境影像输入第一识别模型，得到所述第一识别模型输出的目标区域信息；其中，所述目标区域信息用于描述目标组合物在所述第一环境影像中所处的图像区域。

可选地，所述第二获取模块包括：

裁切子模块，用于基于所述目标区域信息对所述第一环境影像进行裁切，得到包含所述目标组合物的第二环境影像，

或，基于所述目标区域信息对初始环境影像进行裁切，得到包含所述目标组合物的第二环境影像。

可选地，所述目标方位信息包括目标方向信息，所述方位模块包括：

取景方向子模块，用于获取所述第一环境影像对应的取景方向信息；

目标方向子模块，用于基于所述目标区域信息和所述取景方向信息，确定目标方向信息；其中，所述目标方向信息用于表征所述目标组合物在三维空间中所处的方向。

可选地，所述第二获取模块包括：

拍摄子模块，用于基于所述目标方向信息拍摄第二环境影像；其中，所述第二环境影像的拍摄焦距大于所述第一环境影像的拍摄焦距。

可选地，所述识别模块包括：

第二识别子模块，用于将所述第二环境影像输入第二识别模型，得到所述第二识别模型输出的信号灯识别结果；其中，所述信号灯识别结果包括灯箱区域信息、灯光区域信息、灯光颜色和灯光形状中的至少一项。

可选地，所述第一获取模块包括：

初始影像获取子模块，用于获取初始环境影像；

影像处理子模块，用于降低所述初始环境影像的信息量，得到第一环境影像。

第三方面，本申请提供了一种整车控制器，所述整车控制器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述信号灯识别方法。

第四方面，本申请提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由整车控制器的处理器执行时，使得所述整车控制器能够执行上述信号灯识别方法。

第五方面，本申请提供了一种车辆，包括上述整车控制器。

相对于现有技术，本申请所述的一种信号灯识别方法、装置、整车控制器及计算机可读存储介质具有以下优势：

综上，本申请实施例提供了一种信号灯识别方法，包括：获取第一环境影像；从第一环境影像中确定目标组合物的目标方位信息，其中，目标组合物包含信号灯，以及与信号灯相连的承托结构；基于目标方位信息获取包含目标组合物的第二环境影像；其中，第二环境影像的取景角度小于第一环境影像的取景角度；对第二环境影像中的信号灯进行识别，得到信号灯识别结果。本申请实施例中，可以先从取景范围较大的第一环境影像中确定包含信号灯的目标组合物的方位信息，再根据该方位信息获取取景范围较小的包含有目标组合物的第二环境影像，最后基于第二环境影像对信号灯进行识别并得到信号灯识别结果，由于第二环境影像的取景角度小于第一环境影像的取景角度，因此，同一个信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，使得从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，可以较大幅度提升识别信号灯的效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种信号灯识别方法步骤流程图；

图2为本申请实施例提供的一种目标组合物示意图；

图3为本申请实施例提供的一种第一环境影像示意图；

图4为本申请实施例提供的一种第二环境影像示意图；

图5为本申请实施例提供的另一种信号灯识别方法步骤流程图；

图6为本申请实施例提供的一种信号灯识别结果示意图；

图7为本申请实施例提供的再一种信号灯识别方法步骤流程图；

图8为本申请实施例提供的一种信号灯识别装置的结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本申请。

参照图1，示出了本申请实施例提供的一种信号灯识别方法步骤流程图。

步骤101，获取第一环境影像。

在本申请实施例中，车辆周围的第一环境影像可以由车辆自身搭载的摄像模组对车辆周围的环境进行拍摄得到。车辆为了实现辅助驾驶和自动驾驶功能，需要时刻获取周围的路况信息，例如车辆正在行驶道路上存在的障碍物等。为了识别道路上的信号灯(例如红绿灯、限速指示灯、危险警示灯等等，通常会在车辆上安装相机模组，相机模组可以实时拍摄车辆周围环境的第一环境影像。举例来说，可以通过车辆前方设置的摄像模组获取车辆前方的第一环境影像，也可以通过车辆后方设置的摄像模组获取车辆后方的第一环境影像。

上述摄像模组可以是与车辆固定连接的摄像模组，也可以是与车辆可动连接的摄像模组，从而通过单个摄像模组拍摄车辆周围不同角度的第一环境影像，以便在后续步骤中对车辆周围多角度的信号灯进行识别。上述摄像模组可以搭配广角镜头，也可以搭配长焦镜头，还可以搭配变焦镜头。本申请实施例对摄像模组并不进行具体限定，技术人员可以根据实际需要选择合适的摄像模组获取车辆周围的第一环境影像。

步骤102，从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构。

由于信号灯通常较小且距离较远，其在第一环境影像中所占的面积相对较小，如果从第一环境影像中直接对较小的信号灯进行识别，所耗费的运算量较大，且识别效率较低。

因此，在本申请实施例中，得到第一环境影像后，可以对第一环境影像进行处理，从中识别出由信号灯以及与信号灯相连的承托结构构成的目标组合物。其中，承托结构是与信号灯相连的任何物体，例如，可以是用于支撑信号灯的支撑杆、支撑架和支撑塔等等。

参照图2，图2示出了本申请实施例提供的一种目标组合物示意图，如图2所示，技术人员可以将信号灯31和支撑横杆32这二者的组合定义为一种目标组合物，同时还可以将信号灯31、支撑横杆32和支撑竖杆33这三者的组合定义为一种目标组合物。本申请实施例对目标组合物的划分方式和种类并不进行具体限定，目标组合物可以由技术人员根据实际需要灵活定义和调整。

由于目标组合物在第一环境影像中占据的面积通常成倍大于信号灯所占的面积，因此，相对于直接从第一环境影像中识别信号灯，从第一环境影像中识别出目标组合物可以较大幅度降低识别难度，识别效率较高。

参照图3，图3示出了本申请实施例提供的一种第一环境影像示意图，如图3所示，在车辆拍摄到的第一环境影像中，十字路口设置有信号灯21，由于信号灯21较小且距离较远，信号灯21在第一环境影像中占据的面积很小，但信号灯21和其支撑杆22构成的目标组合物23(图3中虚线框围成的部分)在第一环境影像中占据了较大的面积。

在从第一环境影像中识别出目标组合物的同时，还可以确定出目标组合的目标方位信息，其中，目标方位信息可以表示目标组合物在第一环境影像中的方位信息，也可以表示目标组合物在现实三维空间中的方位信息。

具体地，可以预先训练用于识别目标组合物的第一识别模型，第一识别模型可以接收输入的第一环境影像，从第一环境影像中识别目标组合物，并输出目标组合物对应的目标方位信息。其中，第一识别模型可以基于卷积神经网络(Convolutional NeuralNetworks,CNN)训练得到，优选的，第一识别模型可以采用在目标检测方面能够取得良好效果的卷积神经网络训练得到，例如Faster R-CNN、SSD、YOLO等。

步骤103，基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度。

在得到目标组合物的目标方位信息后，可以根据目标方位信息对第一环境影像进行裁切，得到包含目标组合物的第二环境影像。也可以根据目标方位信息重新拍摄目标组合物，得到第二环境影像。需要说明的是，在本申请实施例中，在根据一个目标方位信息获取的第二环境影像中，包含有该目标方位信息对应的目标组合物的影像。且由于第二环境影像的取景角度小于第一环境影像的取景角度，因此，同一个目标组合物在第二环境影像中占据的画面比例大于其在第一环境影像中占据的画面比例。

参照图4，图4示出了本申请实施例提供的一种第二环境影像示意图，如图4所示，对图3示出的第一环境影像进行识别后得到目标组合物23对应的目标方位信息，基于该目标方位信息从图3示出的第一环境影像进行裁切后可以得到如图4所示的第二环境影像，第二环境影像中包含有图3所示的目标组合物23的影像，且其在图4所示的第二环境影像中占据的画面比例大于其在图3所示的第一环境影像中占据的画面比例。

由于在本申请实施例中，同一个目标组合物在第二环境影像中占据的画面比例大于其在第一环境影像中占据的画面比例，因此对于目标组合物中的信号灯而言，在第二环境影像中占据的画面比例也大于其在第一环境影像中的画面比例。

步骤104，对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。

在得到第二环境影像后，可以对第二环境影像进行信号灯识别，从而得到信号灯识别结果。由于信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，因此从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，从而可以较大幅度提升识别信号灯的效率。

在本申请实施例中，信号灯识别结果可以包括信号灯的具体含义，例如，在信号灯为红绿灯的情况下，信号灯识别结果可以是红灯、绿灯或黄灯。

具体地，可以预先训练用于识别信号灯的第二识别模型，第二识别模型可以接收输入的第二环境影像，从第二环境影像中识别信号灯，并输出信号灯识别结果。其中，第二识别模型可以基于卷积神经网络(Convolutional Neural Networks,CNN)训练得到，优选的，第二识别模型可以采用在目标检测方面能够取得良好效果的卷积神经网络训练得到，例如Faster R-CNN、SSD、YOLO等。

进一步地，第二识别模型中可以包含信号灯分类子网络和用于确定不同类型的信号灯的多个信号灯识别子网络。例如，第二识别模型可以包含信号灯分类子网络，以及三个信号灯识别子网络(红绿灯识别子网络、限速灯识别子网络和危险警示灯识别子网络)，信号灯分类子网络可以确定第二环境影像中的信号灯类别，在确定出信号灯类别后，再将第二环境影像输入对应的信号灯识别子网络，以对第二环境影像中的信号灯进行针对性识别，提高识别效率。需要说明的是。技术人员可以根据实际需要灵活设置和调整第二识别模型的结构，本申请实施例对此不作具体限定。

综上，本申请实施例提供了一种信号灯识别方法，包括：获取第一环境影像；从第一环境影像中确定目标组合物的目标方位信息，其中，目标组合物包含信号灯，以及与信号灯相连的承托结构；基于目标方位信息获取包含目标组合物的第二环境影像；其中，第二环境影像的取景角度小于第一环境影像的取景角度；对第二环境影像中的信号灯进行识别，得到信号灯识别结果。本申请实施例中，可以先从取景范围较大的第一环境影像中确定包含信号灯的目标组合物的方位信息，再根据该方位信息获取取景范围较小的包含有目标组合物的第二环境影像，最后基于第二环境影像对信号灯进行识别并得到信号灯识别结果，由于第二环境影像的取景角度小于第一环境影像的取景角度，因此，同一个信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，使得从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，可以较大幅度提升识别信号灯的效率。

参照图5，图5示出了本申请实施例提供的另一种信号灯识别方法步骤流程图。

步骤201，获取第一环境影像。

此步骤可参见步骤101，本申请实施例不再赘述。

需要说明的是，在本申请实施例中，第一环境影像可以是由摄像头拍摄得到的初始环境影像。

但通常来说，初始环境影像为了满足较小目标(例如信号灯等)的识别要求，其携带的信息量通常较高，直接对初始环境影像进行识别需要消耗较多的运算资源，因此，在本申请实施例中，可以先对初始环境影像进行处理，缩小初始环境影像的信息量(例如分辨率、色彩信息等)，即对初始环境影像进行压缩处理，得到信息量较少的第一环境影像，进而提高从第一环境影像中识别目标组合物的效率。

具体地，可以采用如下子步骤2011至子步骤2012对初始环境影像进行处理从而得到第一环境影像。

可选地，步骤201可以包括：

子步骤2011，获取初始环境影像。

初始环境影像可以由车辆上搭载的摄像头直接拍摄得到。

在本申请实施例中，初始环境影像可以是某个摄像头在某个取景角度拍摄的影像，例如通过车辆前方设置的摄像头拍摄的到画面内容为车辆前方环境景象的初始环境影像。

初始环境影像也可以是由多个摄像头在多个取景角度拍摄的影像合成得到，例如可以通过车辆周围多个角度设置的多个摄像模组拍摄车辆周围多个方向的影像，再通过这些影像进行全景合成，得到包含车辆周围360度环境景物的初始环境影像。

子步骤2012，降低所述初始环境影像的信息量，得到第一环境影像。

降低初始环境影像的信息量可以通过降低分辨率来实现，例如，初始环境影像的分辨率为1920*1080，则可以对初始环境影像进行超采样处理，将初始环境影像中相邻的4个像素合称为1个像素，得到分辨率为480*270的第一环境影像。需要说明的是，上述降低分辨率的方法仅为实例性描述，技术人员可以根据实际需要选择合适的方式降低初始环境影像的分辨率，本申请实施例并不进行具体限定。

降低初始环境影像的信息量还可以通过降低色位深度(Color Depth)来实现，例如，初始环境影像的色位深度为8bit，则可将对初始环境影像的颜色进行压缩处理，得到色为深度为6bit的第一环境影像。

需要说明的是，技术人员还可以通过其他方法降低初始环境影像的信息量，例如对初始环境影像进行灰度化等，本申请实施例对此不作具体限定。

步骤202，将所述第一环境影像输入第一识别模型，得到所述第一识别模型输出的目标区域信息；其中，所述目标区域信息用于描述目标组合物在所述第一环境影像中所处的图像区域。

在本申请实施例中，目标方位信息可以是用于描述目标组合物在第一环境影像中所处区域的目标区域信息。第一识别模型可以基于检测过程为一阶段检测(one-stage)，检测机制为Anchor-free的fcos目标检测算法进行构建，得到第一识别模型后，可以将待检测的第一环境影像输入第一识别模型，由第一识别模型输出第一环境影像中所有目标组合物的目标区域信息，其中目标区域信息可以包括目标组合物在第一环境影像中的2d包围盒(2d bounding box)、感兴趣区域(Region of Interest，ROI)等。

需要说明的是，第一识别模型也可以采用其他方式构建，本申请实施例对此并不进行具体限定，技术人员可以根据实际需要灵活调整第一识别模型的构建方法。

步骤203，基于所述目标区域信息对所述第一环境影像进行裁切，得到包含所述目标组合物的第二环境影像，或，基于所述目标区域信息对初始环境影像进行裁切，得到包含所述目标组合物的第二环境影像。

在一种实施方式中，如果第一环境影像就是拍摄得到的初始环境影像，在得到第一环境影像中所有目标组合物的目标区域信息后，可以基于目标区域信息对第一环境影像进行裁切，将每个目标组合物的影像从第一环境影像中裁切出来，得到每个目标组合物对应的第二环境影像。

在另一种实施方式中，如果第一环境影像是由拍摄的到的初始环境影像经过降低信息量得到的，则由于第一环境影像和初始环境影像的取景范围相同，可以基于目标区域信息对初始环境影像进行裁切，得到每个目标组合物对应的第二环境影像。从而可以保证第二环境影像的分别率不会过低，提高从第二环境影像中成功识别较小信号灯的成功率。

步骤204，将所述第二环境影像输入第二识别模型，得到所述第二识别模型输出的信号灯识别结果；其中，所述信号灯识别结果包括灯箱区域信息、灯光区域信息、灯光颜色和灯光形状中的至少一项。

在本申请实施例中，第二识别模型同样可以基于检测过程为一阶段检测(one-stage)，检测机制为Anchor-free的fcos目标检测算法进行构建，可以在第二识别模型中设置两个检测头(Head)，其中一个检测头可以用于对信号灯整体(例如信号灯的灯箱)进行识别，并输出信号灯整体在第二环境影像中的灯箱区域信息，另一个检测头可以用于对信号灯灯光进行检测，输出信号灯灯光的在第二环境影像中的灯光区域信息、信号灯灯光的灯光颜色和信号灯灯光的灯光形状等。

在得到信号灯识别结果后，可以对信号灯识别结果进行校验操作，以确定该信号灯识别结果是否可信，例如，可以将灯箱区域信息与灯光区域信息进行比对，如果比对结果显示信号灯灯光位于信号灯灯箱区域范围之内，则认为信号灯识别结果可信，如果比对结果显示信号灯灯光位于信号灯灯箱区域范围之外，则认为信号灯识别结果存在问题，可以抛弃该识别结果。

在得到信号灯识别结果后，还可以根据信号等识别结果判断信号灯的意义，并根据该意义指导后续的智能驾驶等功能。例如，如果信号灯灯光为红色，且信号灯灯光形状为向右箭头，则信号灯含义为禁止右转。

进一步地，由于一个信号灯架可能安装有多个信号灯箱，因此，一个第二环境影像中可能存在多个信号灯灯箱和多个信号灯灯光，在对第二环境影像进行识别时，可以识别第二环境影像中所有的信号灯灯箱和信号灯灯光，并输出第二环境影像每个信号灯灯箱的信息和每个信号灯灯光的信息。

参照图6，图6示出了本申请实施例提供的一种信号灯识别结果示意图，如图6所示，对图6中示出了的第二环境影像进行识别后，可以针对信号灯灯箱71得到灯箱区域信息72，针对信号灯灯箱71得到灯光区域信息73、灯光颜色为红色、灯光形状为向右箭头。可以针对信号灯灯箱74得到灯箱区域信息75，针对信号灯灯箱74得到灯光区域信息76、灯光颜色为绿色、灯光形状为圆形。

需要说明的是，信号灯识别结果并不限于上述灯箱区域信息、灯光区域信息、灯光颜色和灯光形状，技术人员还可以根据实际需求设置其他的信号灯信息，例如信号灯尺寸、信号灯距离、信号灯亮度等，本申请实施例对此并不进行具体限定。第二识别模型也可以采用其他方式构建，本申请实施例对此并不进行具体限定，技术人员可以根据实际需要灵活调整第二识别模型的构建方法。

综上，本申请实施例提供了另一种信号灯识别方法，包括：获取第一环境影像；从第一环境影像中确定目标组合物的目标方位信息，其中，目标组合物包含信号灯，以及与信号灯相连的承托结构；基于目标方位信息获取包含目标组合物的第二环境影像；其中，第二环境影像的取景角度小于第一环境影像的取景角度；对第二环境影像中的信号灯进行识别，得到信号灯识别结果。本申请实施例中，可以先从取景范围较大的第一环境影像中确定包含信号灯的目标组合物的方位信息，再根据该方位信息获取取景范围较小的包含有目标组合物的第二环境影像，最后基于第二环境影像对信号灯进行识别并得到信号灯识别结果，由于第二环境影像的取景角度小于第一环境影像的取景角度，因此，同一个信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，使得从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，可以较大幅度提升识别信号灯的效率。

参照图7，图7示出了本申请实施例提供的再一种信号灯识别方法步骤流程图。

步骤301，获取第一环境影像。

此步骤可参见步骤201，本申请实施例不再赘述。

步骤302，将所述第一环境影像输入第一识别模型，得到所述第一识别模型输出的目标区域信息；其中，所述目标区域信息用于描述目标组合物在所述第一环境影像中所处的图像区域。

此步骤可参见步骤202，本申请实施例不再赘述。

步骤303，获取所述第一环境影像对应的取景方向信息。

在拍摄第一环境影像时，还可以同时记录第一环境影像的拍摄角度信息。其中，拍摄角度信息可以表征拍摄第一环境影像时，摄像头的朝向。

步骤304，基于所述目标区域信息和所述取景方向信息，确定目标方向信息；其中，所述目标方向信息用于表征所述目标组合物在三维空间中所处的方向。

在本申请实施例中，目标组合物的目标方位信息还可以包括目标组合物的目标方向信息，其中，目标方向信息可以表征目标组合物相对于本车在现实三维空间中的方向。

在得到目标区域信息和第一环境影像的取景方向信息后，可以根据目标区域和取景方向信息确定取景区域信息对应的目标组合物的目标方向信息。

具体地，由于第一环境影像的取景方向信息可以反映第一环境影像在现实三维空间中的拍摄方向，因此取景方向信息可以表征第一环境影像在现实三维空间中的方向，而目标组合物的目标区域信息又可以体现目标组合物在第一环境影像中的方位，因此，可以通过目标区域信息对取景方向信息进行修正，得到目标组合物在现实三维空间中的目标方向信息。

步骤305，基于所述目标方向信息拍摄第二环境影像；其中，所述第二环境影像的拍摄焦距大于所述第一环境影像的拍摄焦距。

在能见度不佳的天气条件下(例如夜晚、大雾、大雨等天气)，以及距离信号灯较远的情况下，由于第一环境影像和初始环境影像的取景范围较广，即使从第一环境影像或初始环境影像中裁切得到第二环境影像也无法清晰表现信号灯，容易导致信号灯识别困难，因此，在本申请实施例中，可以基于目标组合物的目标方向信息，重新通过较大的拍摄焦距朝向目标方向信息所指示的方向拍摄第二环境影像，使第二环境影像中包含清晰度较高的目标组合物，提高后续识别信号灯的成功率和识别效果。

具体地，车辆可以通过云台搭载可变焦摄像头，以较小的焦距拍摄取景范围较广的第一环境影像或初始环境影像，在得到目标组合物对应的目标方向信息后，再根据目标方向信息调整云台，使云台上搭载的摄像头指向目标方向信息所指示的方向，并再增大摄像头的焦距后，拍摄包含目标组合物的第二环境影像。

这样，可以便可以不受第一环境影像的清晰度限制，只要可以从第一环境影像中识别到较大的目标组合物，即使第一环境影像或初始环境影像的清晰度无法满足信号灯的识别需求，也可以通过光学变焦等方式获取到清晰度能够满足信号灯识别要求的第二环境影像，提高了信号灯的识别距离和天气能见度不佳情况下的信号灯识别成功率。

步骤306，将所述第二环境影像输入第二识别模型，得到所述第二识别模型输出的信号灯识别结果；其中，所述信号灯识别结果包括灯箱区域信息、灯光区域信息、灯光颜色和灯光形状中的至少一项。

此步骤可参见步骤204，本申请实施例不再赘述。

综上，本申请实施例提供了另一种信号灯识别方法，包括：获取第一环境影像；从第一环境影像中确定目标组合物的目标方位信息，其中，目标组合物包含信号灯，以及与信号灯相连的承托结构；基于目标方位信息获取包含目标组合物的第二环境影像；其中，第二环境影像的取景角度小于第一环境影像的取景角度；对第二环境影像中的信号灯进行识别，得到信号灯识别结果。本申请实施例中，可以先从取景范围较大的第一环境影像中确定包含信号灯的目标组合物的方位信息，再根据该方位信息获取取景范围较小的包含有目标组合物的第二环境影像，最后基于第二环境影像对信号灯进行识别并得到信号灯识别结果，由于第二环境影像的取景角度小于第一环境影像的取景角度，因此，同一个信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，使得从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，可以较大幅度提升识别信号灯的效率。

在上述实施例的基础上，本申请实施例还提供了一种信号灯识别装置。

参考图8，图8示出了本申请实施例提供的一种信号灯识别装置的结构框图：

第一获取模块801，用于获取第一环境影像。

方位模块802，用于从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构。

第二获取模块803，用于基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度。

识别模块804，用于对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。

可选地，所述目标方位信息包括目标区域信息，所述方位模块包括：

第一识别子模块，用于将所述第一环境影像输入第一识别模型，得到所述第一识别模型输出的目标区域信息；其中，所述目标区域信息用于描述目标组合物在所述第一环境影像中所处的图像区域。

可选地，所述第二获取模块包括：

裁切子模块，用于基于所述目标区域信息对所述第一环境影像进行裁切，得到包含所述目标组合物的第二环境影像，

或，基于所述目标区域信息对初始环境影像进行裁切，得到包含所述目标组合物的第二环境影像。

可选地，所述目标方位信息包括目标方向信息，所述方位模块包括：

取景方向子模块，用于获取所述第一环境影像对应的取景方向信息。

目标方向子模块，用于基于所述目标区域信息和所述取景方向信息，确定目标方向信息；其中，所述目标方向信息用于表征所述目标组合物在三维空间中所处的方向。

可选地，所述第二获取模块包括：

拍摄子模块，用于基于所述目标方向信息拍摄第二环境影像；其中，所述第二环境影像的拍摄焦距大于所述第一环境影像的拍摄焦距。

可选地，所述识别模块包括：

第二识别子模块，用于将所述第二环境影像输入第二识别模型，得到所述第二识别模型输出的信号灯识别结果；其中，所述信号灯识别结果包括灯箱区域信息、灯光区域信息、灯光颜色和灯光形状中的至少一项。

可选地，所述第一获取模块包括：

初始影像获取子模块，用于获取初始环境影像。

影像处理子模块，用于降低所述初始环境影像的信息量，得到第一环境影像。

综上所述，本申请实施例提供了一种信号灯识别装置，包括：第一获取模块，用于获取第一环境影像。方位模块，用于从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构。第二获取模块，用于基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度。识别模块，用于对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。本申请实施例中，可以先从取景范围较大的第一环境影像中确定包含信号灯的目标组合物的方位信息，再根据该方位信息获取取景范围较小的包含有目标组合物的第二环境影像，最后基于第二环境影像对信号灯进行识别并得到信号灯识别结果，由于第二环境影像的取景角度小于第一环境影像的取景角度，因此，同一个信号灯在第二环境影像中占据的画面比例大于其在第一环境影像中的画面比例，使得从第二环境影像中识别信号灯所需的运算量显著低于从第一环境影像中直接识别信号灯所需的运算量，可以较大幅度提升识别信号灯的效率。

本申请实施例还提供一种整车控制器，整车控制器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述信号灯识别方法。

本申请实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由整车控制器的处理器执行时，使得所述整车控制器能够执行上述信号灯识别方法。

本申请实施例还提供一种车辆，包括上述整车控制器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述装置实施例中的对应过程，在此不再赘述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种信号灯识别方法，其特征在于，所述方法包括：

获取第一环境影像；

从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构；

基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度；

对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。

2.根据权利要求1所述的方法，其特征在于，所述目标方位信息包括目标区域信息，所述从所述第一环境影像中确定目标组合物的目标方位信息，包括：

将所述第一环境影像输入第一识别模型，得到所述第一识别模型输出的目标区域信息；其中，所述目标区域信息用于描述目标组合物在所述第一环境影像中所处的图像区域。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标方位信息获取包含所述目标组合物的第二环境影像，包括：

基于所述目标区域信息对所述第一环境影像进行裁切，得到包含所述目标组合物的第二环境影像，

或，基于所述目标区域信息对初始环境影像进行裁切，得到包含所述目标组合物的第二环境影像。

4.根据权利要求2所述的方法，其特征在于，所述目标方位信息包括目标方向信息，所述从所述第一环境影像中确定目标组合物的目标方位信息，包括：

获取所述第一环境影像对应的取景方向信息；

基于所述目标区域信息和所述取景方向信息，确定目标方向信息；其中，所述目标方向信息用于表征所述目标组合物在三维空间中所处的方向。

5.根据权利要求4所述的方法，其特征在于，所述基于所述目标方位信息获取包含所述目标组合物的第二环境影像，包括：

基于所述目标方向信息拍摄第二环境影像；其中，所述第二环境影像的拍摄焦距大于所述第一环境影像的拍摄焦距。

6.根据权利要求1所述的方法，其特征在于，所述对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果，包括：

将所述第二环境影像输入第二识别模型，得到所述第二识别模型输出的信号灯识别结果；其中，所述信号灯识别结果包括灯箱区域信息、灯光区域信息、灯光颜色和灯光形状中的至少一项。

7.根据权利要求1所述的方法，其特征在于，所述获取第一环境影像，包括：

获取初始环境影像；

降低所述初始环境影像的信息量，得到第一环境影像。

8.一种信号灯识别装置，其特征在于，所述装置包括：

第一获取模块，用于获取第一环境影像；

方位模块，用于从所述第一环境影像中确定目标组合物的目标方位信息，其中，所述目标组合物包含信号灯，以及与所述信号灯相连的承托结构；

第二获取模块，用于基于所述目标方位信息获取包含所述目标组合物的第二环境影像；其中，所述第二环境影像的取景角度小于所述第一环境影像的取景角度；

识别模块，用于对所述第二环境影像中的信号灯进行识别，得到信号灯识别结果。

9.一种整车控制器，其特征在于，所述整车控制器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的信号灯识别方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由整车控制器的处理器执行时，使得所述整车控制器能够执行如权利要求1至7中任一项所述的信号灯识别方法。

Images