CN114529883A - 检测交通灯的方法和电子设备 - Google Patents

Abstract

本公开提供了一种检测交通灯的方法和电子设备。其中，该方法可以包括：采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯；从多个候选交通灯中确定目标交通灯。本发明解决了对交通灯检测的可靠性低的技术问题。

Description

检测交通灯的方法和电子设备

技术领域

本公开涉及人工智能、模式识别领域，尤其涉及检测交通灯的方法和电子设备。

背景技术

目前，在对交通灯进行检测时，先通过高精地图获得与当前车辆所在车道绑定的交通灯信息，将该红绿灯框投影至图像平面，并根据投影后的红绿灯框扩展出较大的感兴趣区域(Region Of Interest，简称为ROI)，在该ROI内调用模型进行红绿灯检测，随后将检测框与投影框进行匹配并完成输出，但这种方法完全依赖于高精地图，如果当前车辆行驶区域高精地图不可用，或交通灯因道路维修或更换等其他原因导致与高精地图中的信息不匹配，将使交通灯检测模块失效，无法正常进行交通灯检测，从而，存在对交通灯检测的可靠性低的技术问题。

针对上述对交通灯检测的可靠性低的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种检测交通灯的方法和电子设备，以至少解决对交通灯检测的可靠性低的技术问题。

根据本发明实施例的一方面，提供了一种检测交通灯的方法，包括：车采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系；从多个候选交通灯中确定目标交通灯，其中，目标交通灯表征在当前帧图像中与待跟踪的交通灯匹配的交通灯。

可选地，基于交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置，该方法包括：基于车辆在行驶过程中的车辆运动信息，计算得到车辆在当前帧图像和前一帧图像之间的车辆位移变化信息和车辆朝向角变化信息；基于前一帧图像中待跟踪的交通灯的位置信息、车辆位移变化信息和车辆朝向角变化信息，确定待跟踪的交通灯在当前帧图像中的预测位置。

可选地，在前一帧图像中显示待跟踪的交通灯的跟踪框，其中，跟踪框用于表征待跟踪的交通灯的交通灯框信息。

可选地，基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，该方法包括：在当前帧图像中的预测位置显示跟踪框；调用全图检测模型或ROI检测模型，对当前帧图像进行检测，识别出当前帧图像中的多个候选交通灯。

可选地，全图检测模型用于检测出当前帧图像中与跟踪框关联的至少一个候选交通灯，并标识出候选交通灯对检测框。

可选地，ROI检测模型用于基于跟踪框的位置进行区域扩展，得到外扩框，识别出位于外扩框中的至少一个候选交通灯，并标识出候选交通灯对检测框。

可选地，该方法还包括：对多个候选交通灯进行筛选，该步骤包括如下至少之一：将多个候选交通灯按照置信度进行排序，并按照排序结果，获取置信度超过阈值的交通灯；删除当前帧图像中位于地平线以下的交通灯。

可选地，从多个候选交通灯中确定目标交通灯，该方法包括：在当前帧图像中显示跟踪框和多个检测框，其中，跟踪框用于表征待跟踪的交通灯在当前帧图像中的交通灯框信息，检测框用于表征候选交通灯在当前帧图像中的交通灯框信息；调用类型识别模型对多个检测框进行分类；采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框；基于目标检测框，识别出位于当前帧图像中的目标交通灯。

可选地，该方法还包括：基于没有匹配成功的至少一个交通灯，确定当前帧图像中新识别出的目标交通灯，并创建目标交通灯的跟踪信息。

根据本发明实施例的另一方面，提供了一种检测交通灯的装置，包括：采集单元，用于采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；选取单元，用于选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；预测单元，用于基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；第一确定单元，用于基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系；第二确定单元，从多个候选交通灯中确定目标交通灯，其中，目标交通灯表征在当前帧图像中与待跟踪的交通灯匹配的交通灯。

根据本发明实施例的另一方面，还提供了一种电子设备，该电子设备安装在车辆中，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器执行本公开实施例的检测交通灯的方法。

根据本发明实施例的另一方面，还提供了一种车辆，在车辆中运行存储的程序，其中，在程序运行时控制所在设备的处理器执行本公开实施例的检测交通灯的方法。

在本发明实施例中，采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系；从多个候选交通灯中确定目标交通灯，其中，目标交通灯表征在当前帧图像中与待跟踪的交通灯匹配的交通灯，也就是说，在本申请中，通过设计了隔帧检测模型，该模型的输入为基于预测值生成的ROI，采用度量哈希树(Measurement Hash Tree，简称为MHT)树进行一对多匹配，再进行候选框筛选，最终进行一对一匹配，通过该匹配方案，采用小孔成像、相机消失点等基本计算机视觉原理进行预测、跟踪与筛选，降低对计算资源的需求与依赖，进而解决了对交通灯检测的可靠性低的技术问题，达到了提高对交通灯检测的可靠性的技术效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的一种检测交通灯的方法的流程图；

图2是根据本公开实施例的一种图像坐标系、相机坐标系、以及世界坐标系之间的关联的示意图；

图3是根据本公开实施例的一种自动驾驶中脱离高精地图的交通灯检测和识别方法的流程图；

图4A是根据本公开实施例的一种待跟踪交通灯的前一帧图像的示意图；

图4B是根据本公开实施例的一种待跟踪交通灯的当前帧图像的示意图；

图4C是根据本公开实施例的一种自动驾驶中脱离高精地图的交通灯检测和识别方法的应用效果的示意图；

图5是根据本公开实施例的一种检测交通灯方法的装置图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

下面对本公开实施例的检测交通灯的方法进行介绍。

现有技术中，在对交通等灯进行检测时，先通过高精地图获得与当前车辆所在车道绑定的交通灯信息，将该红绿灯框投影至图像平面，并根据投影后的红绿灯框扩展出较大的ROI，在该ROI内调用模型进行红绿灯检测，随后将检测框与投影框进行匹配并完成输出，但这种方法完全依赖于高精地图，如果当前车辆行驶区域高精地图不可用，或交通灯因道路维修或更换等其他原因导致与高精地图中的信息不匹配，将使交通灯检测模块失效，无法正常进行交通灯检测，同时，此类方案需要采购或自建高精地图，提升了研发成本与难度，还需要对地图进行实时维护与更新，增加了时间与人力成本。

此外，现有交通灯检测方案中采用的模型设计主要分为两类：一类对交通灯进行检测的同时输出其颜色，但这样的方案鲁棒性较差，同时无法处理多个灯泡同时点亮的情况；另一类采用检测模型与分类模型串联的方式，先通过检测模型确定交通灯的位置，再通过分类模型对交通灯内部灯泡的颜色和类别进行判断，这种方法的缺点是运算资源消耗较大，难以保证实时性。

本发明中，额外设计了一个可以快速检测交通灯的ROI小模型，在此基础之上，交通灯全图检测模型可以隔帧调用，对该模型检出的交通灯框结合车辆运动信息进行位置预测，并在下一帧调用ROI小模型进行检测，通过这样轮流检测的设计，显著降低了计算资源需求，有效提升运行效率，保证交通灯模块的实时性。

图1是根据本公开实施例的一种检测交通灯的方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤S101，采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像。

在本公开上述步骤S101提供的技术方案中，可以采集车辆在行驶过程中的车辆运动信息和当前帧图像，比如，通过安装在车辆上的摄像头来拍摄得到车辆在行驶过程中的车辆运动信息和当前帧图像。

在该实施例中，车辆运动信息可以是车速、横摆(yaw)角变化率等，在此不做限制。

在该实施例中，当前帧图像可以是包含多个交通灯的图像。

步骤S102，选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯。

在本公开上述步骤S102提供的技术方案中，可以选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯，比如，在全图检测模型中，将与当前帧图像相邻的前一帧图像作为模型的输入，在全图范围内检测交通灯。

步骤S103，基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置。

在本公开上述步骤S103提供的技术方案中，在预测得到待跟踪的交通灯在当前帧图像中的预测位置时，通过全图检测模型或ROI检测模型在与当前帧图像相邻的前一帧图像的范围内检测交通灯，输出交通灯框信息，其中，交通灯框信息用于表示待跟踪的交通灯在前一帧图像中的位置信息，然后通过计算得到车辆位移变化信息和车辆朝向角变化信息，进而，预测得到待跟踪的交通灯在当前帧图像中的预测位置。

在该实施例中，车辆运动信息可以为车辆位移变化信息和车辆朝向角变化信息，车辆位移变化信息和车辆朝向角变化信息可以通过摄像头的消失点、车辆的横摆角速度(yaw rate)、交通灯在图像中的横向位置等信息计算得到。

步骤S104，基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系。

在该实施例中，可以基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，比如，基于配置，调用全图检测模型或ROI检测模型，对当前帧进行检测，获得结果后，将所有检测框按照置信度排序，并预设最大输出检测数量以保证检测的准确率。

在该实施例中，在确定当前帧图像中多个候选交通灯时，可以在得到前帧图像中多个候选交通灯，将所有检测框按照置信度排序之后，所有候选检测框进行初步筛选。

举例而言，首先，删除所有置信度在阈值之下的检测框，其次，删除所有检测框下端点在消失点之下一定距离外的检测框：基于交通常识，交通灯不会出现在图像中地平线以下，完成初步筛选后，通过对跟踪框与检测框的双层遍历开始构建MHT树结构，以实现交通灯前一帧跟踪框与当前检测框的一对多匹配关系。在进行匹配之前，首先分别计算跟踪框和检测框的宽高比与面积，并进行比较，如果差值大于阈值，则证明两框差异较大，不会对两框进行匹配。

步骤S105，从多个候选交通灯中确定目标交通灯，其中，目标交通灯表征在当前帧图像中与待跟踪的交通灯匹配的交通灯。

在该实施例中，可以从多个候选交通灯中确定目标交通灯，比如，在获得全部待检测的交通灯框之后，调用分类模型，对检测到的交通灯框内部的灯泡进行检测与分类，完成交通灯跟踪框与检测框的一对一匹配，也即，从多个候选交通灯中确定目标交通灯。

在该实施例中，可以采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框，基于目标检测框，识别出位于当前帧图像中的目标交通灯。

通过上述步骤S101至步骤S106，采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系；从多个候选交通灯中确定目标交通灯，也就是说，在本申请中，通过设计了隔帧检测模型，该模型的输入为基于预测值生成的ROI，采用MHT树进行一对多匹配，再进行候选框筛选，最终进行一对一匹配，采用小孔成像、相机消失点等基本计算机视觉原理进行预测、跟踪与筛选，降低对计算资源的需求与依赖，进而解决了对交通灯检测的可靠性低的技术问题，达到了提高对交通灯检测的可靠性的技术效果。

下面对该实施例的上述方法进行进一步地详细介绍。

作为一种可选的实施方式，步骤S103，基于交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置，该方法包括：基于车辆在行驶过程中的车辆运动信息，计算得到车辆在当前帧图像和前一帧图像之间的车辆位移变化信息和车辆朝向角变化信息；基于前一帧图像中待跟踪的交通灯的位置信息、车辆位移变化信息和车辆朝向角变化信息，确定待跟踪的交通灯在当前帧图像中的预测位置。

在该实施例中，可以基于前一帧图像中待跟踪的交通灯的位置信息、车辆位移变化信息和车辆朝向角变化信息，确定待跟踪的交通灯在当前帧图像中的预测位置，比如，通过全图检测模型或ROI检测模型在与当前帧图像相邻的前一帧图像的范围内检测交通灯，输出交通灯框信息，其中，交通灯框信息用于表示待跟踪的交通灯在前一帧图像中的位置信息，然后通过计算得到车辆位移变化信息和车辆朝向角变化信息，进而，预测得到待跟踪的交通灯在当前帧图像中的预测位置。

在该实施例中，车辆位移变化信息和车辆朝向角变化信息可以通过摄像头的消失点、车辆的横摆角速度(yaw rate)、交通灯在图像中的横向位置等信息计算得到。

举例而言，首先通过车辆运动学信息推算两帧间车辆的运动距离以及车辆的朝向角变化，随后基于相似三角形原理估计前一帧中检测到的交通灯在车身坐标系(VCS坐标系)中与车身的距离，如下式：

其中，x_vcs为在VCS坐标系中交通灯与车身的距离，f_v为使用的摄像头的像距，s_H为交通灯框在VCS坐标系中的高度(可按照经验值预估)，s_imH为交通灯框在图像坐标系中的高度。

类似地，可通过获取摄像头的消失点、车辆的横摆角速度(yaw rate)、交通灯在图像中的横向位置等信息，计算出交通灯在VCS坐标系中的横向位置。获得前一帧的交通灯在VCS坐标系的位置信息后，可以再一次通过车辆的运动学信息以及相似三角形原理，预估当前帧该交通灯框在图像坐标系中可能出现的位置，如下式：

其中，y_im为预测的当前帧交通灯框中心点在图像坐标系中的纵坐标，y_vp为摄像头的消失点，

为前一帧交通灯检测框中心点在图像坐标系中的纵坐标，

为前一帧交通灯在VCS坐标系中x轴上的位置，L为两帧间车辆行驶的距离，yaw_rate为两帧间车辆yaw角变化率。

类似地，可以计算出预测的当前帧交通灯框中心点在图像坐标系中的横坐标，从而最终得到通过前一帧检测框预测的当前帧检测框可能存在的位置。

随后，重复上述流程，对通过前一帧获取的交通灯泡检测框进行预测，并将该结果保存在成员变量的数组中，后续将运用预测框进行检测与匹配。

作为一种可选的实施方式，在前一帧图像中显示待跟踪的交通灯的跟踪框，其中，跟踪框用于表征待跟踪的交通灯的交通灯框信息。

在该实施例中，可以在前一帧图像中显示待跟踪的交通灯的跟踪框，比如，在前一帧图像中显示待跟踪的交通灯的位置、颜色、类别(圆形灯、箭头灯等)。

在该实施例中，交通灯框信息可以是交通灯的颜色、类别，在此不做限制。

作为一种可选的实施方式，基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，该方法包括：在当前帧图像中的预测位置显示跟踪框；调用全图检测模型或ROI检测模型，对当前帧图像进行检测，识别出当前帧图像中的多个候选交通灯。

在该实施例中，可以在当前帧图像中的预测位置显示跟踪框，比如，在当前帧图像中的预测位置显示交通灯跟踪框。

在该实施例中，可以调用全图检测模型或ROI检测模型，对当前帧图像进行检测，识别出当前帧图像中的多个候选交通灯，比如，基于配置，调用全图检测模型或ROI检测模型，对当前帧进行检测，获得结果后，将所有检测框按照置信度排序，并预设最大输出检测数量以保证检测的准确率。

在该实施例中，可以通过对所有候选检测框进行初步筛选后得到候选交通灯，比如，删除所有置信度在阈值之下的检测框和删除所有检测框下端点在消失点之下一定距离外的检测框：基于交通常识，交通灯不会出现在图像中地平线以下。

作为一种可选的实施方式，全图检测模型用于检测出当前帧图像中与跟踪框关联的至少一个候选交通灯，并标识出候选交通灯对检测框。

在该实施例中，全图检测模型的输入可以为原图，并将在全图范围检测交通灯，仅输出交通灯框信息，该模型隔帧调用，也可将调用周期配置为更长，在没有调用全图检测模型的图像帧，将调用ROI检测模型进行补检。

作为一种可选的实施方式，ROI检测模型用于基于跟踪框的位置进行区域扩展，得到外扩框，识别出位于外扩框中的至少一个候选交通灯，并标识出候选交通灯对检测框。

在该实施例中，ROI检测模型的输入可以为ROI，通过预测当前帧中交通灯框可能的位置并对其范围进行适度外扩获得，该模型也仅输出交通灯框信息，作用与全图检测模型基本一致，但该模型运算效率高，计算资源需求低，可快速完成检测，达到提升模块运行效率的作用。

作为一种可选的实施方式，该方法还包括：对多个候选交通灯进行筛选，该步骤包括如下至少之一：将多个候选交通灯按照置信度进行排序，并按照排序结果，获取置信度超过阈值的交通灯；删除当前帧图像中位于地平线以下的交通灯。

在该实施例中，可以将多个候选交通灯按照置信度进行排序，并按照排序结果，获取置信度超过阈值的交通灯，比如，在对所有候选检测框进行初步筛选时，将所有检测框按照置信度排序，删除所有置信度在阈值之下的检测框，进而获取置信度超过阈值的交通灯。

在该实施例中，可以删除当前帧图像中位于地平线以下的交通灯，比如，在对所有候选检测框进行初步筛选时，删除所有检测框下端点在消失点之下一定距离外的检测框：基于交通常识，交通灯不会出现在图像中地平线以下。

作为一种可选的实施方式，步骤S105，从多个候选交通灯中确定目标交通灯，该方法包括：在当前帧图像中显示跟踪框和多个检测框，其中，跟踪框用于表征待跟踪的交通灯在当前帧图像中的交通灯框信息，检测框用于表征候选交通灯在当前帧图像中的交通灯框信息；调用类型识别模型对多个检测框进行分类；采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框；基于目标检测框，识别出位于当前帧图像中的目标交通灯。

在该实施例中，可以在当前帧图像中显示跟踪框和多个检测框，比如，通过对跟踪框与检测框的双层遍历构建MHT树结构，以实现交通灯前一帧跟踪框与当前检测框的一对多匹配关系，进而在当前帧图像中显示跟踪框和多个检测框。

在该实施例中，可以调用类型识别模型对多个检测框进行分类，比如，分类模型可以通过全图检测模型或ROI检测模型获得交通灯箱的外框，该外框将作为本模型的输入，在本模型中将检测灯箱内的灯泡，并对其颜色、类别(圆形灯、箭头灯等)进行分类，最终输出检测结果。

在该实施例中，可以采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框，比如，通过匈牙利算法将一对多匹配进一步修正为一对一匹配，匈牙利算法可以是一种在多项式时间内求解任务分配问题的组合优化算法，通过该算法，以及设定的代价函数，可以全局最优地生成跟踪框与检测框地一对一匹配，采用两框中心点之间的距离作为代价函数，一对一匹配相对距离最近的每对跟踪框与检测框。

在该实施例中，可以基于目标检测框，识别出位于当前帧图像中的目标交通灯，比如，采用两框中心点之间的距离作为代价函数，一对一匹配相对距离最近的每对跟踪框与检测框，进而识别出位于当前帧图像中的目标交通灯。

作为一种可选的实施方式，该方法还包括：基于没有匹配成功的至少一个交通灯，确定当前帧图像中新识别出的目标交通灯，并创建目标交通灯的跟踪信息。

在该实施例中，可以基于没有匹配成功的至少一个交通灯，确定当前帧图像中新识别出的目标交通灯，并创建目标交通灯的跟踪信息，比如，对于之前生成的候选检测框列表，如果存在未完成匹配的检测框，则为其生成投票队列，并创建跟踪框，其中，投票队列是一个长度固定的滑动窗口，其作用是为了减少误检、提升属性输出的准确性。

举例而言，创建长度为5的投票队列，则对于所有的交通灯对象，都需要至少连续5帧存在匹配的检测结果，其最终的颜色输出将通过5次投票输出获得票数最多的属性。例如，某检测到的交通灯连续5帧的投票结果为：黑色、黄色、黑色、绿色、绿色，则将最终输出绿色作为检测结果，获得颜色属性后，将通过卡尔曼滤波，以跟踪框的宽、高作为输入，预测其在当前帧的宽、高，并以检测结果作为观测值，通过卡尔曼增益，将两者结合，并得到最终的检测框尺寸信息。

在本公开上述实施例中，通过基于车辆在行驶过程中的车辆运动信息，计算得到车辆在当前帧图像和前一帧图像之间的车辆位移变化信息和车辆朝向角变化信息；基于前一帧图像中待跟踪的交通灯的位置信息、车辆位移变化信息和车辆朝向角变化信息，确定待跟踪的交通灯在当前帧图像中的预测位置；在当前帧图像中显示跟踪框和多个检测框，其中，跟踪框用于表征待跟踪的交通灯在当前帧图像中的交通灯框信息，检测框用于表征候选交通灯在当前帧图像中的交通灯框信息；调用类型识别模型对多个检测框进行分类；采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框；基于目标检测框，识别出位于当前帧图像中的目标交通灯，也就是说，在本申请中，通过设计了隔帧检测模型，该模型的输入为基于预测值生成的ROI，采用MHT树进行一对多匹配，再进行候选框筛选，最终进行一对一匹配，采用小孔成像、相机消失点等基本计算机视觉原理进行预测、跟踪与筛选，降低对计算资源的需求与依赖，进而解决了对交通灯检测的可靠性低的技术问题，达到了提高对交通灯检测的可靠性的技术效果。

实施例2

下面结合优选的实施例对本公开的交通灯的检测方法作进一步地介绍。

目前，在对交通灯进行检测时，需要通过高精地图获得交通灯的位置信息，并通过坐标转换将交通灯投影至图像平面进行后续处理。对高精地图的依赖将显著提升车辆成本，同时，该类方案将要求高精地图保证实时性，在交通灯位置、种类出现变化后，将出现功能失效等情况，存在较大的安全隐患。

本发明中设计的方案脱离了对高精地图的依赖，通过对检测结果统计投票、使用历史帧信息及车辆运动学信息进行预测跟踪、分别设计检测与分类模型等方法，实现无高精地图条件下对交通灯的稳定检测，满足自动驾驶安全要求的同时显著降低开发成本。

本发明中提出的方案主要分为三个部分，即：前处理、检测流程、后处理。对于首帧图像信息，将对其进行检测，并将检测结果保存在列表中，不做输出，等待与后续检测结果结合处理。当已存在历史检测信息时，可以调用完整的交通灯检测流程。

前处理的主要任务是基于前一帧获得交通灯箱与交通灯泡的检测结果，对当前帧两类目标可能出现的位置进行预测。在预测时，需要获取车辆的运动学信息，包含车速、横摆(yaw)角变化率等，随后根据相似三角形原理，对下一帧该检测框可能出现的位置进行预测。

前处理流程如下：

图2是根据本公开实施例的一种图像坐标系、相机坐标系、以及世界坐标系之间的关联的示意图，如图2所示，图中描述了图像坐标系、相机坐标系、以及世界坐标系之间的关联，世界坐标系中点P通过相机的小孔成像原理投影在图像平面P点处，因为图像点通过小孔成像原理获得，世界坐标系中的对象可通过相似三角形计算在图像平面中的位置，基于这一原理，展开如下计算流程：

首先通过车辆运动学信息推算两帧间车辆的运动距离以及车辆的朝向角变化，随后基于相似三角形原理估计前一帧中检测到的交通灯在VCS坐标系(车身坐标系)中与车身的距离如下：

其中，x_vcs为在VCS坐标系中交通灯与车身的距离，fv为使用的摄像头的像距，s_H为交通灯框在VCS坐标系中的高度(可按照经验值预估)，s_imH为交通灯框在图像坐标系中的高度。

类似地，可通过获取摄像头的消失点、车辆的横摆角速度(yaw rate)、交通灯在图像中的横向位置等信息，计算出交通灯在VCS坐标系中的横向位置。获得前一帧的交通灯在VCS坐标系的位置信息后，可以再一次通过车辆的运动学信息以及相似三角形原理，预估当前帧该交通灯框在图像坐标系中可能出现的位置。具体实现方案如下：

其中，y_im为预测的当前帧交通灯框中心点在图像坐标系中的纵坐标，y_vp为摄像头的消失点，

为前一帧交通灯检测框中心点在图像坐标系中的纵坐标，

为前一帧交通灯在VCS坐标系中x轴上的位置，L为两帧间车辆行驶的距离，yaw_rate为两帧间车辆yaw角变化率。

类似地，可以计算出预测的当前帧交通灯框中心点在图像坐标系中的横坐标，从而最终得到通过前一帧检测框预测的当前帧检测框可能存在的位置。

随后，重复上述流程，对通过前一帧获取的交通灯泡检测框进行预测，并将该结果保存在成员变量的数组中，后续将运用预测框进行检测与匹配。

检测流程如下：

本方法中共有三种检测模型，分别如下：

1)全图检测模型：模型输入为原图，并将在全图范围检测交通灯，仅输出交通灯框信息。该模型隔帧调用，也可将调用周期配置为更长，在没有调用全图检测模型的图像帧，将调用ROI检测模型进行补检。

2)ROI检测模型：模型输入为ROI，通过预测当前帧中交通灯框可能的位置并对其范围进行适度外扩获得，该模型也仅输出交通灯框信息，作用与全图检测模型基本一致，但该模型运算效率高，计算资源需求低，可快速完成检测，达到提升模块运行效率的作用。

3)分类模型：通过全图检测模型或ROI检测模型获得交通灯箱的外框，该外框将作为本模型的输入，在本模型中将检测灯箱内的灯泡，并对其颜色、类别(圆形灯、箭头灯等)进行分类，最终输出检测结果。

在检测部分中，首先将基于配置，调用全图检测模型或ROI检测模型，对当前帧进行检测，获得结果后，将所有检测框按照置信度排序，并预设最大输出检测数量以保证检测的准确率。随后，对所有候选检测框进行初步筛选，步骤如下：

步骤一：删除所有置信度在阈值之下的检测；

步骤二：删除所有检测框下端点在消失点之下一定距离外的检测框：基于交通常识，交通灯不会出现在图像中地平线以下。

完成初步筛选后，通过对跟踪框与检测框的双层遍历开始构建MHT树结构，以实现交通灯前一帧跟踪框与当前检测框的一对多匹配关系。在进行匹配之前，首先分别计算跟踪框和检测框的宽高比与面积，并进行比较，如果差值大于阈值，则证明两框差异较大，不会对两框进行匹配。

随后，计算两框中心点的距离，并与预设阈值比较，如果小于阈值，则将当前检测框与跟踪框进行关联。当完成对所有跟踪框与检测框的遍历后，MHT树已初步构建完成，但如果目前检测结果的数量超过预设值，则需要对所有检测结果按照如下规则(按重要性排序)重新排序，流程如下：

1)该检测框的长宽比是否在阈值范围内(是否为常规交通灯形状)；

2)该检测框是否在图像边缘(图像边缘存在畸变，同时一般情况下，在图像边缘的交通灯不与当前行驶方向关联。优先输出非图像边缘的检测框)；

3)该检测框的长和宽是否大于阈值(长、宽较小意味着当前交通灯在图像中较小，即实际距离较远，优先输出距离较近的交通灯)；

4)该检测框的面积是否大于阈值(面积较小意味着实际距离远，优先输出距离较近的交通灯)；

5)该检测框是否靠近图像中心(更靠近图像中心的检测框与当前行驶关联程度更高，优先输出)。

按照上述规则重新排序后，按照重要性从大到小的顺序放入候选列表中，直至达到检测上限。此时，如果依然没有达到检测上限，可根据跟踪框的信息进行补框，具体操作如下：

遍历MHT树中所有的跟踪框以及与跟踪框相关联的检测框，寻找大小合适且不在图像边缘的所有检测框，计算该框与关联的跟踪框之间的IOU，如果小于阈值且该跟踪框存在时间超过1帧，则将当前检测框作为候选框补入输出列表，直至列表数量达到上限。

至此，获得全部待检测的交通灯框，随后调用分类模型，对检测到的交通灯框内部的灯泡进行检测与分类。

后处理流程如下：

后处理模块的主要功能是完成交通灯跟踪框与检测框的一对一匹配，为刚出现的交通灯增加跟踪框与检测框信息，对检测属性进行投票与存储，并通过卡尔曼滤波校正输出前检测框的宽、高，最终输出全部检测结果。

首先通过匈牙利算法将一对多匹配进一步修正为一对一匹配。匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，通过该算法，以及设定的代价函数，可以全局最优地生成跟踪框与检测框地一对一匹配。在该模块中，采用两框中心点之间的距离作为代价函数，一对一匹配相对距离最近的每对跟踪框与检测框。

随后，对于之前生成的候选检测框列表，如果存在未完成匹配的检测框，则为其生成投票队列，并创建跟踪框。

投票队列是一个长度固定的滑动窗口，其作用是为了减少误检、提升属性输出的准确性。如创建长度为5的投票队列，则对于所有的交通灯对象，都需要至少连续5帧存在匹配的检测结果，其最终的颜色输出将通过5次投票输出获得票数最多的属性。例如，某检测到的交通灯连续5帧的投票结果为：黑色、黄色、黑色、绿色、绿色，则将最终输出绿色作为检测结果。

获得颜色属性后，将通过卡尔曼滤波，以跟踪框的宽、高作为输入，预测其在当前帧的宽、高，并以检测结果作为观测值，通过卡尔曼增益，将两者结合，并得到最终的检测框尺寸信息，

具体的卡尔曼滤波器流程如下：

(预测状态变化)；

(预测估计协方差矩阵)；

(测量残差)；

(测量残差协方差)；

(最优卡尔曼增益)；

(更新的状态估计)；

P_k|k＝(I-K_kH_h)P_k|k-1(更新的协方差估计)。

至此，完成全部交通灯处理流程，并最终输出交通灯的检测结果。

图3是根据本公开实施例的一种自动驾驶中脱离高精地图的交通灯检测和识别方法的流程图，如图3所示，该方法的步骤可以包括如下：

步骤S301，对前一帧获得的跟踪框进行位置预测；

步骤S302，对预测位置扩展ROI并调用检测模型；

步骤S303，根据先验信息过滤检测框；

步骤S304，基于MHT树结构建立跟踪框与检测框的一对多匹配；

步骤S305，选取待识别检测框；

步骤S306，调用类型识别模型进行精细检测与分类；

步骤S307，通过匈牙利算法建立一对一匹配；

步骤S308，对新出现的交通灯建立跟踪信息；

步骤S309，对待检测框用卡尔曼滤波调整尺寸；

步骤S310，输出结果。

图4A是根据本公开实施例的一种待跟踪交通灯的前一帧图像的示意图，如图4A所示，在前一帧图像中显示待跟踪的交通灯的跟踪框，其中，跟踪框用于表征待跟踪的交通灯的交通灯框信息。

图4B是根据本公开实施例的一种待跟踪交通灯的当前帧图像的示意图，如图4B所示，在当前帧图像中显示跟踪框和多个检测框，其中，跟踪框用于表征待跟踪的交通灯在当前帧图像中的交通灯框信息，检测框用于表征候选交通灯在当前帧图像中的交通灯框信息，然后调用类型识别模型对多个检测框进行分类，再通过采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框，最后，基于目标检测框，识别出位于当前帧图像中的目标交通灯。

图4C是根据本公开实施例的一种自动驾驶中脱离高精地图的交通灯检测和识别方法的应用效果的示意图，如4C所示，通过设计一个可以快速检测交通灯的ROI小模型，在此基础之上，交通灯全图检测模型可以隔帧调用，对该模型检出的交通灯框结合车辆运动信息进行位置预测，并在下一帧调用ROI小模型进行检测，通过这样轮流检测的设计，显著降低了计算资源需求，有效提升运行效率，保证交通灯模块的实时性。

在本公开实施例中，通过设计了隔帧检测模型，该模型的输入为基于预测值生成的ROI，采用MHT树进行一对多匹配，再进行候选框筛选，最终进行一对一匹配，采用小孔成像、相机消失点等基本计算机视觉原理进行预测、跟踪与筛选，降低对计算资源的需求与依赖，进而解决了对交通灯检测的可靠性低的技术问题，达到了提高对交通灯检测的可靠性的技术效果。

需要注意的是，本公开上述实施例中的步骤并非必须以上述步骤顺序来执行，比如在执行上述步骤S606和步骤S607时可以互换顺序。

实施例3

本公开实施例还提供了一种用于执行图1所示实施例的检测交通灯的方法的检测交通灯的装置。

图5是根据本公开实施例的一种检测交通灯的装置的示意图，如图5所示，该检测交通灯的装置50可以包括：采集单元51、选取单元52、预测单元53、第一确定单元54、第二确定单元55。

采集单元51，采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；

选取单元52，选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；

预测单元53，基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；

第一确定单元54，基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系；

第二确定单元55，从多个候选交通灯中确定目标交通灯，其中，目标交通灯表征在当前帧图像中与待跟踪的交通灯匹配的交通灯。

可选地，预测单元53包括：计算模块和第一确定模块，其中，第一确定模块包括：第一显示模块，其中，第一显示模块包括：显示子单元和第一识别子单元，其中，第一识别子单元包括：第一识别子模块、第二识别子模块、排序子模块和删除子模块。其中，计算模块，用于基于车辆在行驶过程中的车辆运动信息，计算得到车辆在当前帧图像和前一帧图像之间的车辆位移变化信息和车辆朝向角变化信息；第一确定模块，用于基于前一帧图像中待跟踪的交通灯的位置信息、车辆位移变化信息和车辆朝向角变化信息，确定待跟踪的交通灯在当前帧图像中的预测位置；显示模块，用于在前一帧图像中显示待跟踪的交通灯的跟踪框，其中，跟踪框用于表征待跟踪的交通灯的交通灯框信息；显示子单元，用于在当前帧图像中的预测位置显示跟踪框；第一识别子单元，用于调用全图检测模型或ROI检测模型，对当前帧图像进行检测，识别出当前帧图像中的多个候选交通灯；第一识别子模块，可以是全图检测模型，用于检测出当前帧图像中与跟踪框关联的至少一个候选交通灯，并标识出候选交通灯对检测框；第二识别子模块，可以是ROI检测模型，用于基于跟踪框的位置进行区域扩展，得到外扩框，识别出位于外扩框中的至少一个候选交通灯，并标识出候选交通灯对检测框；排序子模块，用于将多个候选交通灯按照置信度进行排序，并按照排序结果，获取置信度超过阈值的交通灯；删除子模块，用于删除当前帧图像中位于地平线以下的交通灯。

可选地，第二确定单元55包括：第二显示模块、调用模块、第二确定模块和识别模块，其中，第二确定模块包括：第一确定子单元。其中，第二显示模块，用于在当前帧图像中显示跟踪框和多个检测框，其中，跟踪框用于表征待跟踪的交通灯在当前帧图像中的交通灯框信息，检测框用于表征候选交通灯在当前帧图像中的交通灯框信息；调用模块，用于调用类型识别模型对多个检测框进行分类；第二确定模块，用于采用匈牙利算法将分类结果依次与跟踪框进行匹配处理，从多个检测框中确定与跟踪框匹配的目标检测框；识别模块，用于基于目标检测框，识别出位于当前帧图像中的目标交通灯；第一确定子单元，用于基于没有匹配成功的至少一个交通灯，确定当前帧图像中新识别出的目标交通灯，并创建目标交通灯的跟踪信息。

在该实施例的检测交通灯的装置中，通过采集单元51，采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在车辆上的摄像头来拍摄得到帧图像；选取单元52，选取与当前帧图像相邻的前一帧图像，并从前一帧图像中识别出至少一个待跟踪的交通灯；预测单元53，基于待跟踪的交通灯在前一帧图像中的位置信息和车辆的车辆运动信息，预测得到待跟踪的交通灯在当前帧图像中的预测位置；第一确定单元54，基于待跟踪的交通灯在当前帧图像中的预测位置，确定当前帧图像中多个候选交通灯，其中，待跟踪的交通灯与当前帧中多个候选交通灯为一对多的匹配关系；第二确定单元55，从多个候选交通灯中确定目标交通灯，其中，目标交通灯表征在当前帧图像中与待跟踪的交通灯匹配的交通灯，进而解决了对交通灯检测的可靠性低的技术问题，达到了提高对交通灯检测的可靠性的技术效果。

实施例4

根据本发明实施例，还提供了一种电子设备。该电子设备安装在车辆中，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器执行本公开实施例的检测交通灯的方法。

实施例5

根据本公开的实施例，本公开还提供了一种车辆，包括本公开实施例的检测交通灯的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模型的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种检测交通灯的方法，其特征在于，包括：

采集车辆在行驶过程中的车辆运动信息和当前帧图像，其中，通过安装在所述车辆上的摄像头来拍摄得到帧图像；

选取与所述当前帧图像相邻的前一帧图像，并从所述前一帧图像中识别出至少一个待跟踪的交通灯；

基于所述待跟踪的交通灯在所述前一帧图像中的位置信息和所述车辆的车辆运动信息，预测得到所述待跟踪的交通灯在所述当前帧图像中的预测位置；

基于所述待跟踪的交通灯在所述当前帧图像中的预测位置，确定所述当前帧图像中多个候选交通灯，其中，所述待跟踪的交通灯与所述当前帧中多个候选交通灯为一对多的匹配关系；

从所述多个候选交通灯中确定目标交通灯，其中，所述目标交通灯表征在所述当前帧图像中与所述待跟踪的交通灯匹配的交通灯。

2.根据权利要求1所述的方法，其特征在于，基于所述交通灯在所述前一帧图像中的位置信息和所述车辆的车辆运动信息，预测得到所述待跟踪的交通灯在所述当前帧图像中的预测位置，包括：

基于所述车辆在行驶过程中的车辆运动信息，计算得到所述车辆在所述当前帧图像和所述前一帧图像之间的车辆位移变化信息和车辆朝向角变化信息；

基于所述前一帧图像中所述待跟踪的交通灯的位置信息、所述车辆位移变化信息和车辆朝向角变化信息，确定所述待跟踪的交通灯在所述当前帧图像中的预测位置。

3.根据权利要求2所述的方法，其特征在于，在所述前一帧图像中显示所述待跟踪的交通灯的跟踪框，其中，所述跟踪框用于表征所述待跟踪的交通灯的交通灯框信息。

4.根据权利要求2或3所述的方法，其特征在于，基于所述待跟踪的交通灯在所述当前帧图像中的预测位置，确定所述当前帧图像中多个候选交通灯，包括：

在所述当前帧图像中的所述预测位置显示所述跟踪框；

调用全图检测模型或ROI检测模型，对所述当前帧图像进行检测，识别出所述当前帧图像中的多个候选交通灯。

5.根据权利要求4所述的方法，其特征在于，所述全图检测模型用于检测出所述当前帧图像中与所述跟踪框关联的至少一个候选交通灯，并标识出所述候选交通灯对检测框。

6.根据权利要求4所述的方法，其特征在于，所述ROI检测模型用于基于所述跟踪框的位置进行区域扩展，得到外扩框，识别出位于所述外扩框中的至少一个候选交通灯，并标识出所述候选交通灯对检测框。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述多个候选交通灯进行筛选，该步骤包括如下至少之一：

将所述多个候选交通灯按照置信度进行排序，并按照排序结果，获取置信度超过阈值的交通灯；

删除所述当前帧图像中位于地平线以下的交通灯。

8.根据权利要求1所述的方法，其特征在于，从所述多个候选交通灯中确定目标交通灯，包括：

在所述当前帧图像中显示跟踪框和多个检测框，其中，所述跟踪框用于表征所述待跟踪的交通灯在所述当前帧图像中的交通灯框信息，所述检测框用于表征所述候选交通灯在所述当前帧图像中的交通灯框信息；

调用类型识别模型对所述多个检测框进行分类；

采用匈牙利算法将所述分类结果依次与所述跟踪框进行匹配处理，从所述多个检测框中确定与所述跟踪框匹配的目标检测框；

基于所述目标检测框，识别出位于所述当前帧图像中的所述目标交通灯。

9.一种电子设备，其特征在于，所述电子设备安装在车辆中，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行权利要求1-8中任意一项所述的检测交通灯的方法。

10.一种车辆，其特征在于，在所述车辆中运行存储的程序，其中，在所述程序运行时控制所在设备的处理器中执行权利要求1-8中任意一项所述的检测交通灯的方法。

Images