CN115984823B - 交通信号灯感知方法、车辆控制方法、设备、介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种交通信号灯感知方法、车辆控制方法、设备、介质及车辆，旨在解决准确感知交通信号灯状态的问题。为此目的，本发明提供的方法包括对交通信号灯的当前图像帧进行感知识别，以获取交通信号灯中当前点亮的单灯的灯头形状和颜色，根据单灯的灯头形状确定交通信号灯对应的虚拟灯的交通指示方向，根据单灯的颜色确定交通指示方向的颜色，以形成虚拟灯。通过上述方法，不需要依赖高精地图，就可以准确地获取到交通信号灯的状态，提高了车辆驾驶的安全性和可靠性。

Description

交通信号灯感知方法、车辆控制方法、设备、介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种交通信号灯感知方法、车辆控制方法、设备、介质及车辆。

背景技术

交通信号灯通常由红灯、绿灯、黄灯组成，红灯表示禁止通行，绿灯表示允许通行，黄灯表示警示。在对车辆进行自动驾驶控制时需要准确地感知得到道路中交通信号灯的状态，才能根据交通信号灯的状态对车辆进行安全、可靠地的驾驶控制。

目前常规的交通信号灯的感知方法主要是在高精地图上预先标注好交通信号灯的3D位置和类型，并绑定好高精地图上的车道和停止线等信息。在车辆行驶过程中，先通过感知模型识别出交通信号灯的2D结果，然后将这个2D结果与高精地图投影到2D图像上的交通信号灯进行关联，并赋值交通信号灯的颜色，最后根据车辆所在位置查询车道线、停止线对应的交通信号灯的颜色，根据该颜色对车辆进行控制。

由于这种方法依赖于高精地图，因此只能在高精地图覆盖的区域内执行。此外，交通信号灯的位置、类型、绑定的车道线等信息随时都可能发生变化，导致高精地图上标注的信息与实际的信息不一致，从而无法准确地获取到交通信号灯的状态，增加了车辆的驾驶风险。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何准确感知交通信号灯的状态，提高车辆驾驶安全性的技术问题的交通信号灯感知方法、车辆控制方法、设备、介质及车辆。

在第一方面，提供一种交通信号灯的感知方法，包括：

对交通信号灯的当前图像帧进行感知识别，以获取所述交通信号灯中当前点亮的单灯的灯头形状和颜色；

根据所述单灯的灯头形状，确定所述交通信号灯对应的虚拟灯的交通指示方向；

根据所述单灯的颜色，确定所述交通指示方向的颜色，以形成虚拟灯。

在上述交通信号灯的感知方法的一个技术方案中，“根据所述单灯的颜色，确定所述交通指示方向的颜色，以形成虚拟灯”的步骤具体包括：

根据所述单灯的颜色，分别确定每个灯头形状对应的颜色；

根据所述灯头形状对应的颜色，确定与所述灯头形状对应的交通指示方向的颜色。

在上述交通信号灯的感知方法的一个技术方案中，“根据所述单灯的颜色，分别确定每个灯头形状对应的颜色”的步骤包括：

获取所述交通信号灯中具有相同灯头形状且点亮的同形状单灯；

将所述同形状单灯中每个单灯的颜色均校正成相同的颜色，以确定所述同形状单灯的灯头形状对应的颜色。

在上述交通信号灯的感知方法的一个技术方案中，“将所述同形状单灯中每个单灯的颜色均校正成相同的颜色，以确定所述同形状单灯的灯头形状对应的颜色”的步骤具体包括：

针对所述同形状单灯中的每个单灯，获取所述单灯分别显示每种不同颜色的置信度；

从所述同形状单灯中所有单灯分别显示每种不同颜色的置信度中，选取置信度最高的颜色；

将所述同形状单灯中每个单灯的颜色校正成所述置信度最高的颜色。

在上述交通信号灯的感知方法的一个技术方案中，“获取所述单灯分别显示每种不同颜色的置信度”的步骤具体包括：

获取对交通信号灯的当前图像帧进行感知识别得到的所述单灯分别显示每种不同颜色的初始置信度；

获取所述单灯的检测框面积和/或获取车辆指向所述单灯的方向与车体坐标系中Y轴方向之间的夹角；

根据所述检测框面积和/或所述夹角，分别对每种不同颜色的初始置信度进行修正，以获取所述单灯分别显示每种颜色的最终置信度。

在上述交通信号灯的感知方法的一个技术方案中，所述方法还包括根据所述检测框面积与所述夹角，并通过下列方式获取最终置信度：

计算所述检测框面积与所述夹角的乘积并将所述乘积作为增益值；

根据所述增益值，分别对每种不同颜色的初始置信度进行修正，以获取所述单灯分别显示每种颜色的最终置信度。

在上述交通信号灯的感知方法的一个技术方案中，在“根据所述灯头形状对应的颜色，确定与所述灯头形状对应的交通指示方向的颜色”的步骤之前，所述方法还包括通过下列方式对通过当前图像帧得到的灯头形状对应的颜色进行跟踪平滑：

获取位于当前图像帧之前多个连续的历史图像帧；

分别获取通过每个所述历史图像帧得到的所述灯头形状对应的颜色；

对通过当前图像帧和所述历史图像帧得到的所述灯头形状对应的颜色进行投票处理，选取数量最多的一种颜色作为通过当前图像帧得到的所述灯头形状对应的最终颜色。

在上述交通信号灯的感知方法的一个技术方案中，“根据所述灯头形状对应的颜色，确定与所述灯头形状对应的交通指示方向的颜色”的步骤具体包括：

按照预设的灯头形状的排列顺序，并根据每个灯头形状对应的颜色，分别对每个灯头形状对应的交通指示方向进行颜色赋值，以确定每个灯头形状对应的交通指示方向的颜色。

在上述交通信号灯的感知方法的一个技术方案中，在“按照预设的灯头形状的排列顺序，并根据每个灯头形状对应的颜色，分别对每个灯头形状对应的交通指示方向进行颜色赋值，以确定每个灯头形状对应的交通指示方向的颜色”的步骤之前，所述方法还包括：

将右转交通指示方向的颜色初始化成表示允许通行的颜色。

在上述交通信号灯的感知方法的一个技术方案中，在“根据所述单灯的颜色，确定所述交通指示方向的颜色，以形成虚拟灯”的步骤之后，所述方法还包括通过下列方式对通过当前图像帧得到的所述交通指示方向的颜色进行跟踪平滑：

获取位于当前图像帧之前多个连续的历史图像帧；

分别获取通过每个所述历史图像帧得到的所述交通指示方向的颜色；

对通过当前图像帧和所述历史图像帧得到的所述交通指示方向的颜色进行投票处理，选取数量最多的一种颜色作为通过当前图像帧得到的所述交通指示方向的颜色。

在上述交通信号灯的感知方法的一个技术方案中，“根据所述单灯的灯头形状，确定所述交通信号灯对应的虚拟灯的交通指示方向”的步骤具体包括：

获取预设的灯头形状与虚拟灯的交通指示方向之间的对应关系；

根据所述单灯的灯头形状与所述对应关系，确定所述交通信号灯对应的虚拟灯的交通指示方向。

在上述交通信号灯的感知方法的一个技术方案中，在“根据所述单灯的颜色，确定所述交通指示方向的颜色，以形成虚拟灯”的步骤之后，所述方法还包括：

获取通过对交通信号灯的当前图像帧进行感知识别，得到的所述交通信号灯中当前点亮的单灯的3D位置；

对所述虚拟灯与所述3D位置进行关联。

在第二方面，提供一种车辆控制方法，所述方法包括：

获取位于车辆前向方向的交通信号灯的图像帧；

采用前述第一方面提供的交通信号灯的感知方法，并根据所述图像帧获取所述交通信号灯对应的虚拟灯；

根据所述虚拟灯的每个交通指示方向的颜色，对车辆进行自动驾驶控制。

在第三方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述交通信号灯的感知方法或车辆控制方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述交通信号灯的感知方法或车辆控制方法的技术方案中任一项技术方案所述的方法。

在第五方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的交通信号灯的感知方法的技术方案中，首先可以对交通信号灯的当前图像帧进行感知识别，以获取交通信号灯中当前点亮的单灯的灯头形状（例如圆饼、掉头箭头等）和颜色，然后根据单灯的灯头形状，确定交通信号灯对应的虚拟灯的交通指示方向（例如直行、左转等），根据单灯的颜色确定交通指示方向的颜色，以形成虚拟灯。通过上述方式，无需在高精地图上提前标注好交通信号灯的位置、类型并绑定好高精地图上的车道和停止线等信息，对于任意位置和类型的交通信号灯，都可以统一表达成由交通指示方向及其颜色形成的虚拟灯，在对车辆进行控制时只需要从虚拟灯中查询交通指示方向的颜色即可。

在实施本发明提供的车辆控制方法的技术方案中，可以在获取位于车辆前向方向的交通信号灯的图像帧之后，采用前述交通信号灯的感知方法并根据图像帧获取交通信号灯对应的虚拟灯，根据虚拟灯的每个交通指示方向的颜色，对车辆进行自动驾驶控制。通过上述方法，可以准确得到交通信号灯的状态，进而能够对车辆进行安全、可靠地自动驾驶控制，提高车辆的行车安全。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的交通信号灯的感知方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的确定交通指示方向的颜色的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的获取灯头形状对应颜色的示意图；

图4是根据本发明的一个实施例的虚拟灯的示意图；

图5是根据本发明的一个实施例的车辆控制方法的主要步骤流程示意图；

图6是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

下面对本发明提供的交通信号灯的感知方法实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的交通信号灯的感知方法的主要步骤流程示意图。如图1所示，本发明实施例中的交通信号灯的感知方法主要包括下列步骤S101至步骤S104。

步骤S101：对交通信号灯的当前图像帧进行感知识别，以获取交通信号灯中当前点亮的单灯的灯头形状和颜色。

图像帧可以是通过车辆上的视觉传感器（比如相机）对交通信号灯进行图像采集得到的。在得到这个图像帧之后，可以将其输入至一个预设的感知模型中，通过这个感知模型对图像帧中每个单灯的灯头形状和颜色等信息进行识别。这个感知模型可以是采用神经网络技术领域中常规的方法构建出来的，本发明实施例不对该感知模型的具体结构和训练方法进行限定，只要其具备从图像帧上识别上述信息的能力即可。需要说明的是，本发明所提及的通过车辆上的视觉传感器采集图像帧，对车辆进行自动驾驶控制等涉及车辆的操作均是经过包括用户或各方充分授权后执行的。也就是说，本发明中的车辆是授权车辆。在一些实施方式中，可以通过车机或后台服务器来检测是否接收到授权信息，若接收到授权信息则表明当前车辆是授权车辆，否则当前车辆是未授权车辆。其中，授权信息可以通过包括但不限于手机、平板电脑和智能手表等的终端设备发出。

点亮的单灯是指显示预设颜色的单灯，预设颜色是指能够进行交通引导的颜色，比如预设颜色可以包括绿色、红色和黄色，绿色表示允许通行，红色表示禁止通行，黄色表示警示。通过对图像帧进行感知识别，可以得到单灯在一个或多个图像帧中显示的颜色，若单灯在一个或多个图像帧中显示的颜色为预设颜色，则可以判定该单灯处于点亮状态。此外，需要说明的是，单灯的颜色除了可以包括上述能够进行交通引导的预设颜色以外，还可以包括表示不进行交通引导的非预设颜色，比如单灯熄灭时其可以显示黑色。

单灯的灯头形状包括但不限于圆饼、直行箭头、左转箭头、右转箭头和掉头箭头等。

步骤S102：根据单灯的灯头形状，确定交通信号灯对应的虚拟灯的交通指示方向。

不同的灯头形状可以表示不同的交通指示方向，因此，根据交通信号灯中所有单灯的灯头形状，可以确定出该交通信号灯对应的虚拟灯的交通指示方向。例如，交通信号灯中包括三个单灯且三个单灯的灯头形状都是圆饼，那么这个交通信号灯对应的虚拟灯的交通指示方向包括直行、左转、掉头。

需要说明的是，本领域技术人员可以根据实际需求灵活地设定不同灯头形状所表示的交通指示方向，本发明实施例不对其作具体限定。例如，若根据历史的交通规则，圆饼可以表示直行和左转两个方向，但是根据最新的交通规则，圆饼可以表示直行、左转和掉头三个方向，此时可以将圆饼所表示的交通指示方向调整成直行、左转和掉头。

在一些实施方式中，为了便于准确地获取上述交通指示方向，可以预先设置好灯头形状与虚拟灯的交通指示方向之间的对应关系，在需要获取上述交通指示方向时先获取预设的灯头形状与虚拟灯的交通指示方向之间的对应关系，再根据单灯的灯头形状与对应关系，确定交通信号灯对应的虚拟灯的交通指示方向。需要说明的是，本发明实施例不对上述对应关系的设定方法作具体限定，只要能够清楚地表示灯头形状对应于哪些交通指示方向即可。

步骤S103：根据单灯的颜色，确定交通指示方向的颜色，以形成虚拟灯。

基于上述步骤S101至步骤S103所述的方法，对于任意位置和类型的交通信号灯，都可以将这些交通信号灯统一表达成由交通指示方向及其颜色融合形成的虚拟灯。在对车辆进行控制时只需要从虚拟灯中查询相应交通指示方向的颜色，就可以根据这个颜色对相应交通指示方向进行自动驾驶控制。此外，上述方法也无需在高精地图上提前标注好交通信号灯的位置和类型等信息，去除了对高精地图的依赖，也降低了高精地图的标注成本，同时也克服了现有技术只能在高精地图覆盖的区域内感知识别交通信号灯，以及高精地图上标注的信息与实际的信息不一致时无法准确感知识别交通信号灯的问题。

下面对上述步骤S103作进一步说明。

在根据单灯的灯头形状确定出其所表示的交通指示方向之后，单灯的颜色就可以表示这些交通指示方向的颜色。例如，可以根据单灯的颜色对这个单灯的灯头形状所表示的交通指示方向进行颜色赋值。具体而言，参阅附图2，可以通过下列步骤S1031至步骤S1032，来确定每个交通指示方向的颜色。

步骤S1031：根据单灯的颜色，分别确定每个灯头形状对应的颜色。

交通信号灯可能包括多个单灯，每个单灯可能具有相同或不同的灯头形状，在此步骤中，可以根据每个单灯的灯头形状确定出该交通信号灯包含的灯头形状，然后再根据每个单灯的颜色分别确定每个灯头形状对应的颜色。如图3所示，交通信号灯包含三列单灯，每列单灯都包含三个单灯，这三列单灯中分别包含一个点亮的单灯。按照附图3从左至右的顺序，第1列单灯中最上面的单灯是点亮的单灯且灯头形状是左转箭头，第2、3列单灯中最下面的单灯是点亮的单灯且灯头形状是圆饼。根据这三个单灯的灯头形状确定出该交通信号灯包含左转箭头和圆饼两个灯头形状，左转箭头对应的颜色是红色，圆饼对应的颜色是绿色。

步骤S1032：根据灯头形状对应的颜色，确定与灯头形状对应的交通指示方向的颜色。

具体地，先确定灯头形状所表示的交通指示方向，然后再将这个灯头形状对应的颜色作为相应交通指示方向的颜色。继续参阅图3所示的例子，左转箭头对应的左转方向的颜色是红色，圆饼对应的直行、左转、掉头这个三个方向的颜色是绿色。

基于上述步骤S1031至步骤S1032所述的方法，可以利用单灯的灯头形状，快速且准确地确定好每个交通指示方向的颜色。

下面对上述步骤S1031和步骤S1032作进一步说明。

一、对步骤S1031进行说明。

在交通信号灯中可能存在多个具有相同灯头形状且点亮的单灯，在通过步骤S101对这些单灯进行颜色感知识别时，由于物体反光、环境光线较差等原因，可能会将这些单灯识别成不同的颜色，这样就会导致同一个交通指示方向出现不同的颜色，最终影响虚拟灯的准确性。对此，可以通过下列步骤11至步骤12，将这些单灯的颜色校正成相同的颜色。

步骤11：获取交通信号灯中具有相同灯头形状且点亮的同形状单灯。

例如，交通信号灯包括三个点亮的单灯，一个单灯的灯头形状是左转箭头，另外两个单灯的灯头形状是圆饼，那么这个交通信号灯包含一组灯头形状为圆饼的同形状单灯，且该组同形状单灯包括两个单灯。

步骤12：将同形状单灯中每个单灯的颜色均校正成相同的颜色，以确定同形状单灯的灯头形状对应的颜色。

基于上述步骤11至步骤12所述的方法，可以将同一个交通信号灯中具有相同灯头形状且点亮的单灯颜色校正成同一颜色，避免在确定虚拟灯的交通指示方向时发生错乱，影响虚拟灯的准确性。

下面对上述步骤12作进一步说明。

为了提高颜色校正的准确性，可以利用点亮单灯分别显示每种不同颜色的置信度，选取置信度最高的一种颜色进行校正。具体而言，在一些实施方式中，可以通过下列步骤121至步骤123对同形状单灯中每个单灯的颜色进行校正。

步骤121：针对同形状单灯中的每个单灯，获取单灯分别显示每种不同颜色的置信度。

颜色的置信度表示颜色的可信程度，在通过步骤S101对点亮单灯的颜色进行感知识别时可以得到点亮单灯分别显示每种不同颜色的置信度。例如，若采用利用神经网络构建的感知模型进行颜色感知识别时，这个感知模型可以输出单灯显示每种颜色的概率，然后将概率最大的一种颜色作为这个单灯的颜色，而每种颜色的概率就可以作为每种颜色的置信度。

步骤122：从同形状单灯中所有单灯分别显示每种不同颜色的置信度中，选取置信度最高的颜色。

例如，同形状单灯包括单灯1和单灯2，颜色的种类包括绿色和红色。单灯1显示绿色和红色的置信度分别是0.9和0.1，单灯2显示绿色和红色的置信度分别是0.4和0.6， 0.9是最大值，因此选取绿色。

步骤123：将同形状单灯中每个单灯的颜色校正成置信度最高的颜色。继续参阅上面的例子，单灯2的颜色被校正成绿色。

基于上述步骤121至步骤123所述的方法，可以利用颜色的置信度，获取到同形状单灯的准确颜色，保证颜色校正的准确性。

下面对上述步骤121中获取单灯分别显示每种不同颜色的置信度的方法作进一步说明。

根据前述描述可知，在通过步骤S101对单灯的颜色进行感知识别时可以得到单灯分别显示每种不同颜色的置信度，但是由于物体反光、环境光线较差等原因，可能会影响颜色识别的结果，也就是说通过感知识别得到的颜色置信度也可能不准确。对此，在本发明实施例中可以先对感知识别得到的颜色置信度进行修正，再将修正后的置信度作为最终置信度。具体而言，本发明实施例的一些实施方式中可以通过下列步骤1211至步骤1213，来获取单灯分别显示每种不同颜色的置信度。

步骤1211：获取对交通信号灯的当前图像帧进行感知识别得到的单灯分别显示每种不同颜色的初始置信度。

步骤1212：获取单灯的检测框面积和/或获取车辆指向单灯的方向与车体坐标系中Y轴方向之间的夹角。

单灯的检测框是单灯在图像帧中的边界框，通过这个边界框可以得到单灯在图像帧上的2D位置。

检测框面积越大，表明单灯在车辆前向方向上距离车辆越近且包含的图像像素点越多，对单灯进行颜色感知识别的准确性越高，颜色置信度的准确性也就越高。反之，则颜色置信度的准确性越低。

类似地，车辆指向单灯的方向与车体坐标系中Y轴方向之间的夹角越大，则单灯在车辆前向方向上距离车辆越近，车辆即将通过该单灯的可能性也就越大。反之，则距离越远，车辆即将通过该单灯的可能性也就越小。

步骤1213：根据检测框面积和/或夹角，分别对每种不同颜色的初始置信度进行修正，以获取单灯分别显示每种颜色的最终置信度。

在本发明实施例中可以根据检测框面积的大小，增大或减小单灯的颜色置信度，例如若检测框面积较大，则可以增大单灯的颜色置信度，反之则可以减小单灯的颜色置信度。此外，在本发明实施例中也可以将检测框面积作为修正系数，计算初始置信度与修正系数的乘积，将该乘积作为单灯颜色的最终置信度。

在本发明实施例中也可以根据夹角的大小，增大或减小单灯的颜色置信度，例如若夹角较大，则可以增大单灯的颜色置信度，反之则可以减小单灯的颜色置信度。此外，在本发明实施例中也可以将夹角作为修正系数，计算初始置信度与修正系数的乘积，将乘积作为单灯颜色的最终置信度。

在本发明实施例中可以同时根据检测框面积和夹角的大小，增大或减小单灯的颜色置信度，例如若检测框面积和夹角较大，则可以增大单灯的颜色置信度，反之则可以减小单灯的颜色置信度。此外，在本发明实施例中也可以将检测框面积和夹角作为修正系数，计算初始置信度与修正系数的乘积，将该乘积作为单灯颜色的最终置信度。

在一个优选实施方式中，可以计算检测框面积与夹角的乘积并将乘积作为增益值，根据该增益值，分别对每种不同颜色的初始置信度进行修正，以获取单灯分别显示每种颜色的最终置信度，即计算增益值与初始置信度的乘积，将这个乘积作为最终置信度。该最终置信度的计算公式可以如下式（1）所示。

（1）

公式（1）中各参数含义如下：

表示一个单灯显示第/>

种颜色的最终置信度，/>

表示这个单灯显示第/>

种颜色的初始置信度，A表示这个单灯的检测框面积，/>

表示车辆指向这个单灯的方向与车体坐标系中Y轴方向之间的夹角，N表示颜色的种类。

为了便于对不同单灯颜色的置信度进行大小比较，选取出最高的置信度，针对每个单灯都采用相同的归一化处理方法对各个单灯分别显示每种颜色的置信度进行归一化处理。具体而言，对于一个单灯，在根据检测框面积分别对每种不同颜色的初始置信度进行修正，获取到每种不同颜色的修正置信度之后，还可以对每种不同颜色的修正置信度进行归一化处理，将归一化处理的结果作为每种不同颜色的最终置信度。

例如，若需要对公式（1）所示的最终置信度进行归一化处理，可以通过下列公式（2）对单灯显示每种颜色的置信度

进行归一化处理。

（2）

需要说明的是，在本发明实施例中可以采用数学技术领域中常规的数据归一化方法对每种不同颜色的修正置信度进行归一化处理，本发明实施例对此不进行具体限定。

基于上述步骤1211至步骤1213，可以利用单灯的检测框面积和/或“车辆指向单灯的方向与车体坐标系中Y轴方向之间的夹角”，对感知识别得到的颜色置信度进行修正，提高颜色置信度的准确性，最终提高利用置信度进行颜色校正的准确性。

二、对步骤S1032进行说明。

由于不同的灯头形状可能表示相同的交通指示方向，如果这两个灯头形状对应的颜色不同，会导致同一个交通指示方向出现不同的颜色，最终影响虚拟灯的准确性。对此，在根据灯头形状对应的颜色确定每个交通指示方向的颜色时，可以先设定好灯头形状的排列顺序，然后按照灯头形状的排列顺序并根据每个灯头形状对应的颜色，分别对每个灯头形状对应的交通指示方向进行颜色赋值，以确定每个灯头形状对应的交通指示方向的颜色。这样即使存在同一个交通指示方向出现不同的颜色情况，都会以最后一个表示该交通指示方向的灯头形状来确定颜色，不会出现错乱。在一个实施方式中，灯头形状包括圆饼、直行箭头、左转箭头、右转箭头和掉头箭头，这些灯头形状的排列顺序是右转箭头、圆饼、直行箭头、左转箭头和掉头箭头，这些灯头形状所表示的交通指示方向如下表1所示。

表1

排列顺序	灯头形状	交通指示方向
			1	右转箭头	右转
2	圆饼	直行、左转、掉头
			3	直行箭头	直行、左转、掉头
4	左转箭头	左转、掉头
			5	掉头箭头	掉头

在实际应用中，根据不同交通规则的规定，对于存在右转方向的情况，可能会存在默认允许右转的规则，此时交通信号灯不会单独设置用于表示右转的单灯。对此，在本发明实施例中可以先将右转方向的颜色初始化成表示允许通行的颜色，然后再按照预设的灯头形状的排列顺序，分别确定每个灯头形状对应的交通指示方向的颜色。

如图4所示，假设交通信号灯包含两列单灯，每列单灯都包含三个单灯，这两列单灯中分别包含一个点亮的单灯，其中，一列单灯中最上面的一个单灯点亮，显示红色且灯头形状是左转箭头，另一列单灯中最下面的一个单灯点亮，显示绿色且灯头形状是圆饼。同时，在图4所示的场景中，由于默认允许右转，因此未设置右转箭头的单灯。

根据表1可知，左转箭头表示左转和掉头，圆饼表示直行、左转和掉头，因此，虚拟灯的交通指示方向包括左转、掉头和直行。此外，由于该交通信号灯默认允许右转，因此，虚拟灯的交通指示方向还包括右转。先将右转方向的颜色初始化成表示允许通行的绿色，然后按照表示1所示的灯头形状排列顺序，先将圆饼表示的直行、左转和掉头设置成绿色，然后再将左转箭头表示的左转和掉头由绿色设置成红色。最终，在虚拟灯中，左转和掉头是红色，直行和右转是绿色。

以上是对步骤S1032中交通指示方向的颜色确定方法的说明。

进一步，为了提高上述交通指示方向的颜色确定方法的准确性，在通过步骤S1031得到每个灯头形状对应的颜色之后，还可以通过下列步骤21至步骤23对每个灯头形状对应的颜色进行跟踪平滑，防止步骤S1031得到的颜色不准确，影响交通指示方向的颜色。

步骤21：获取位于当前图像帧之前多个连续的历史图像帧。

为了便捷且准确地获取上述历史图像帧，可以先设定一个预设尺寸的滑动窗口，按照图像帧采集时刻由先至后的顺序，根据该滑动窗口对图像帧进行滑动选取，获取落入该滑动窗口内的图像帧，从这些图像帧中选取位于当前图像帧之前多个连续的历史图像帧。本领域技术人员可以根据实际需求灵活设置滑动窗口的尺寸，本发明实施例对此不进行具体限定。例如，滑动窗口的尺寸可以是10个连续的图像帧采集时刻。

步骤22：分别获取通过每个历史图像帧得到的灯头形状对应的颜色。通过历史图像帧得到的灯头形状的颜色的方法，与当前图像帧采用的方法相同，也即前述方法实施例中描述的相关方法。

步骤23：对通过当前图像帧和历史图像帧得到的灯头形状对应的颜色进行投票处理，选取数量最多的一种颜色作为通过当前图像帧得到的灯头形状对应的最终颜色。

例如，对于圆饼这个灯头形状，当前图像帧得到的颜色是绿色，在当前图像帧之前连续5个历史图像帧得到的颜色都是红色，那么将当前图像帧得到的颜色修正成红色。

基于上述步骤21至步骤23所述的方法，可以避免由于在采集图像帧时存在干扰等原因导致步骤S1031得到的颜色不准确，最终影响交通指示方向的颜色的问题。

在一些实施方式中，为了进一步降低由于在采集图像帧时存在干扰等原因对交通指示方向的颜色的影响，在通过上述方法确定好每个交通指示方向的颜色之后，还可以通过下列步骤31至步骤33，对通过每个交通指示方向的颜色进行跟踪平滑。

步骤31：获取位于当前图像帧之前多个连续的历史图像帧。

此步骤的方法与步骤21所述的方法类似，在此不再赘述。

步骤32：分别获取通过每个历史图像帧得到的交通指示方向的颜色。通过历史图像帧得到的交通指示方向的颜色的方法，与当前图像帧采用的方法相同，也即前述方法实施例中描述的相关方法。

步骤33：对通过当前图像帧和历史图像帧得到的交通指示方向的颜色进行投票处理，选取数量最多的一种颜色作为通过当前图像帧得到的交通指示方向的颜色。

例如，对于直行这个交通指示方向，当前图像帧得到的颜色是绿色，在当前图像帧之前连续5个历史图像帧得到的颜色都是红色，那么将当前图像帧得到的颜色修正成红色。

基于上述步骤31至步骤33所述的方法，可以得到更加准确的交通指示方向的颜色，进一步提高虚拟灯的准确性。

以上是对上述步骤S103的进一步说明。

进一步，在根据本发明提供的交通信号灯的感知方法实施例中，在对交通信号灯的当前图像帧进行感知识别时除了可以获取交通信号灯中当前点亮的单灯的灯头形状和颜色，还可以获取单灯的3D位置，在通过上述步骤S101至步骤S103所述的方法形成虚拟灯之后，还可以对虚拟灯与单灯的3D位置进行关联。

单灯的3D位置是指单灯在预设的三维坐标系下的位置，例如在一个实施方式中这个三维坐标系可以是车辆的车体坐标系。下面对通过感知识别得到3D位置的方法进行简单说明。具体而言，在对交通信号灯的图像帧进行感知之后可以得到单灯在图像坐标系下的2D位置，然后通过坐标系转换的方法将该2D位置由图像坐标系转换至预设的三维坐标系下，就可以得到单灯的3D位置。

根据单灯的3D位置，可以确定出单灯所在的路口。而将单灯的3D位置与虚拟灯关联，就可以利用单灯的3D位置表示虚拟灯的位置，从而确定出虚拟灯所在的路口。这样，在利用虚拟灯对车辆进行自动驾驶控制时就能够更加精准地控制车辆在相应路口进行自动驾驶。

下面对本发明提供的车辆控制方法实施例进行说明。

参阅附图5，图5是根据本发明的一个实施例的车辆控制方法的主要步骤流程示意图。如图5所示，本发明实施例中的交通信号灯的感知方法主要包括下列步骤S201至步骤S203。

步骤S201：获取位于车辆前向方向的交通信号灯的图像帧。

具体地，可以利用设置于车辆上且视野为车辆前向方向的视觉传感器，采集交通信号灯的图像帧。

步骤S202：采用交通信号灯的感知方法，并根据图像帧获取交通信号灯对应的虚拟灯。

此步骤中的交通信号灯的感知方法为前述方法实施例所述的交通信号灯的感知方法。

步骤S203：根据虚拟灯的每个交通指示方向的颜色，对车辆进行自动驾驶控制。

具体地，根据交通指示方向的颜色，可以判断每个交通指示方向是否允许通行，根据判断结果对车辆进行自动驾驶控制。例如，车辆行驶在道路中左侧车道上行驶且该左侧车道为左转和直行的混合车道，同时车辆的驾驶目的是左转。此时，可以获取虚拟灯中左转方向的颜色，若颜色是红色则控制车辆在停止线前停车等待，若颜色是绿色则控制车辆左转。

基于上述步骤S201至步骤S203所述的方法，可以准确得到交通信号灯的状态，进而能够对车辆进行安全、可靠地自动驾驶控制，提高车辆的行车安全。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图6，图6是根据本发明的一个计算机设备实施例的主要结构示意图。如图6所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的交通信号灯的感知方法或车辆控制方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的交通信号灯的感知方法或车辆控制方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的交通信号灯的感知方法或车辆控制方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的交通信号灯的感知方法或车辆控制方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的交通信号灯的感知方法或车辆控制方法，即每个处理器分别执行上述方法实施例的交通信号灯的感知方法或车辆控制方法的不同步骤，来共同实现上述方法实施例的交通信号灯的感知或车辆控制方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的交通信号灯的感知方法或车辆控制方法的程序，该程序可以由处理器加载并运行以实现上述交通信号灯的感知或车辆控制方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆。

在根据本发明的一个车辆的实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (14)

1.一种交通信号灯的感知方法，其特征在于，所述方法包括：

对交通信号灯的当前图像帧进行感知识别，以获取所述交通信号灯中当前点亮的单灯的灯头形状和颜色；

获取预设的灯头形状与虚拟灯的交通指示方向之间的对应关系，根据所述单灯的灯头形状与所述对应关系，确定所述交通信号灯对应的虚拟灯的交通指示方向；

根据所述单灯的颜色分别确定每个灯头形状对应的颜色，根据所述灯头形状对应的颜色确定与所述灯头形状对应的交通指示方向的颜色，以根据所述交通指示方向及其颜色融合形成虚拟灯并能够采用从所述虚拟灯中查询交通指示方向的颜色的方式，获取交通信号灯的状态。

2.根据权利要求1所述的交通信号灯的感知方法，其特征在于，“根据所述单灯的颜色分别确定每个灯头形状对应的颜色”的步骤包括：

获取所述交通信号灯中具有相同灯头形状且点亮的同形状单灯；

将所述同形状单灯中每个单灯的颜色均校正成相同的颜色，以确定所述同形状单灯的灯头形状对应的颜色。

3.根据权利要求2所述的交通信号灯的感知方法，其特征在于，“将所述同形状单灯中每个单灯的颜色均校正成相同的颜色，以确定所述同形状单灯的灯头形状对应的颜色”的步骤具体包括：

针对所述同形状单灯中的每个单灯，获取所述单灯分别显示每种不同颜色的置信度；

从所述同形状单灯中所有单灯分别显示每种不同颜色的置信度中，选取置信度最高的颜色；

将所述同形状单灯中每个单灯的颜色校正成所述置信度最高的颜色。

4.根据权利要求3所述的交通信号灯的感知方法，其特征在于，“获取所述单灯分别显示每种不同颜色的置信度”的步骤具体包括：

获取对交通信号灯的当前图像帧进行感知识别得到的所述单灯分别显示每种不同颜色的初始置信度；

获取所述单灯的检测框面积和/或获取车辆指向所述单灯的方向与车体坐标系中Y轴方向之间的夹角；

根据所述检测框面积和/或所述夹角，分别对每种不同颜色的初始置信度进行修正，以获取所述单灯分别显示每种颜色的最终置信度。

5.根据权利要求4所述的交通信号灯的感知方法，其特征在于，所述方法还包括根据所述检测框面积与所述夹角，并通过下列方式获取最终置信度：

计算所述检测框面积与所述夹角的乘积并将所述乘积作为增益值；

根据所述增益值，分别对每种不同颜色的初始置信度进行修正，以获取所述单灯分别显示每种颜色的最终置信度。

6.根据权利要求1所述的交通信号灯的感知方法，其特征在于，在“根据所述灯头形状对应的颜色确定与所述灯头形状对应的交通指示方向的颜色”的步骤之前，所述方法还包括通过下列方式对通过当前图像帧得到的灯头形状对应的颜色进行跟踪平滑：

获取位于当前图像帧之前多个连续的历史图像帧；

分别获取通过每个所述历史图像帧得到的所述灯头形状对应的颜色；

对通过当前图像帧和所述历史图像帧得到的所述灯头形状对应的颜色进行投票处理，选取数量最多的一种颜色作为通过当前图像帧得到的所述灯头形状对应的最终颜色。

7.根据权利要求1所述的交通信号灯的感知方法，其特征在于，“根据所述灯头形状对应的颜色确定与所述灯头形状对应的交通指示方向的颜色”的步骤具体包括：

按照预设的灯头形状的排列顺序，并根据每个灯头形状对应的颜色，分别对每个灯头形状对应的交通指示方向进行颜色赋值，以确定每个灯头形状对应的交通指示方向的颜色。

8.根据权利要求7所述的交通信号灯的感知方法，其特征在于，在“按照预设的灯头形状的排列顺序，并根据每个灯头形状对应的颜色，分别对每个灯头形状对应的交通指示方向进行颜色赋值，以确定每个灯头形状对应的交通指示方向的颜色”的步骤之前，所述方法还包括：

将右转交通指示方向的颜色初始化成表示允许通行的颜色。

9.根据权利要求1所述的交通信号灯的感知方法，其特征在于，在“形成虚拟灯”的步骤之后，所述方法还包括通过下列方式对通过当前图像帧得到的所述交通指示方向的颜色进行跟踪平滑：

获取位于当前图像帧之前多个连续的历史图像帧；

分别获取通过每个所述历史图像帧得到的所述交通指示方向的颜色；

对通过当前图像帧和所述历史图像帧得到的所述交通指示方向的颜色进行投票处理，选取数量最多的一种颜色作为通过当前图像帧得到的所述交通指示方向的颜色。

10.根据权利要求1所述的交通信号灯的感知方法，其特征在于，在“形成虚拟灯”的步骤之后，所述方法还包括：

获取通过对交通信号灯的当前图像帧进行感知识别，得到的所述交通信号灯中当前点亮的单灯的3D位置；

对所述虚拟灯与所述3D位置进行关联。

11.一种车辆控制方法，其特征在于，所述方法包括：

获取位于车辆前向方向的交通信号灯的图像帧；

采用权利要求1至10中任一项所述的交通信号灯的感知方法，并根据所述图像帧获取所述交通信号灯对应的虚拟灯；

根据所述虚拟灯的每个交通指示方向的颜色，对车辆进行自动驾驶控制。

12.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至10中任一项所述的交通信号灯的感知方法，或者执行权利要求11所述的车辆控制方法。

13.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至10中任一项所述的交通信号灯的感知方法，或者执行权利要求11所述的车辆控制方法。

14.一种车辆，其特征在于，所述车辆包括权利要求12所述的计算机设备。

Images