CN113989772A - 一种交通灯检测方法、装置、车辆和可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种交通灯检测方法、装置、车辆和可读存储介质，所述方法包括：获取检测任务；若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测；若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务；根据检测结果控制车辆的行驶。根据本发明实施例，当检测任务包括交通灯检测任务时，可以采用执行速度较快的第一神经网络模型对交通灯进行检测。通过采用上述方法，将交通灯检测任务进行单独组网，采用轻量的特征提取网路和目标检测网络即可完成交通灯检测任务，在兼顾检测准确率和召回率的基础上，提高车辆终端神经网络的推理运算速度。

Description

一种交通灯检测方法、装置、车辆和可读存储介质

技术领域

本发明涉及车辆技术领域，特别是涉及一种交通灯检测方法、一种交通灯检测装置、一种车辆和一种计算机可读存储介质。

背景技术

在智能车辆自动驾驶等神经网络密集部署的场景中，各类目标检测任务需要消耗大量的计算资源，无论是在计算开销上，还是在计算速度上都有待提升。在各类检测任务的开发过程中，通常是以公用的多层特征提取神经网络输出作为上游输出，针对不同的检测任务开发不同的下游网络和损失函数，进而采用联合训练的方法得到可用的检测网络。

但是对于特定的检测任务——交通灯检测任务而言，采用上述检测方法反而会造成计算资源浪费。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种交通灯检测方法和相应的一种交通灯检测装置、一种车辆，以及一种计算机可读存储介质。

本发明实施例公开了一种交通灯检测方法，所述方法包括：

获取检测任务；

若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测；

若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务；其中，所述第一神经网络模型的执行速度大于所述第二神经网络模型的执行速度；

根据检测结果控制车辆的行驶。

可选地，所述若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测，还包括：

采用所述第二神经网络模型对除所述交通灯之外的其它检测目标进行检测。

可选地，所述采用预设的第一神经网络模型对所述交通灯进行检测，包括：

从所述第一神经网络模型输出的特征图像中确定交通灯特征点；

根据位于所述特征点的图像特征信息确定所述交通灯的其它交通灯特征信息。

可选地，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。

可选地，所述第一神经网络模型为串行的一个神经网络，所述从所述第一神经网络模型输出的特征图像中确定交通灯特征点，包括：

从所述一个神经网络中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；

从所述特征图像中确定所述特征点。

可选地，所述特征图像为多通道热力图，所述从所述第一神经网络模型输出的特征图像中确定交通灯特征点，包括：

从所述多通道热力图中确定用于提取位置特征的第一通道热力图；

将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。

可选地，所述第二神经网络模型包括多个检测目标共用的共用神经网络和与所述多个检测目标分别对应的检测网络，所述采用预设的第二神经网络模型执行所述检测任务，包括：

获取所述检测任务的待检测图像；

将所述待检测图像输入所述第二神经网络模型中进行多个检测目标的检测。

本发明实施例还公开了一种交通灯检测装置，所述装置包括：

获取模块，用于获取检测任务；

第一检测模块，用于若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测；

第二检测模块，用于若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务；其中，所述第一神经网络模型的执行速度大于所述第二神经网络模型的执行速度；

控制模块，用于根据检测结果控制车辆的行驶。

可选地，所述装置，还包括：

第三检测模块，用于采用所述第二神经网络模型对除所述交通灯之外的其它检测目标进行检测。

可选地，所述第一检测模块，包括：

第一确定子模块，用于从所述第一神经网络模型输出的特征图像中确定交通灯特征点；

第二确定子模块，用于根据位于所述特征点的图像特征信息确定所述交通灯的其它交通灯特征信息。

可选地，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。

可选地，所述第一神经网络模型为串行的一个神经网络，所述第一确定子模块，包括：

输出单元，用于从所述一个神经网络中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；

第一确定单元，用于从所述特征图像中确定所述特征点。

可选地，所述特征图像为多通道热力图，所述第一确定子模块，包括：

第二确定单元，用于从所述多通道热力图中确定用于提取位置特征的第一通道热力图；

第三确定单元，用于将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。

可选地，所述第二神经网络模型包括多个检测目标共用的共用神经网络和与所述多个检测目标分别对应的检测网络，所述第二检测模块，包括：

获取子模块，用于获取所述检测任务的待检测图像；

检测子模块，用于将所述待检测图像输入所述第二神经网络模型中进行多个检测目标的检测。

本发明实施例还公开了一种车辆，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的一种交通灯检测方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种交通灯检测方法的步骤。

本发明实施例包括以下优点：

在本发明实施例中，当检测任务包括交通灯检测任务时，可以采用执行速度较快的第一神经网络模型对交通灯进行检测。通过采用上述方法，将交通灯检测任务进行单独组网，采用轻量的特征提取网路和目标检测网络即可完成交通灯检测任务，在兼顾检测准确率和召回率的基础上，提高车辆终端神经网络的推理运算速度，减少计算开销。

附图说明

图1是本发明实施例提供的一种交通灯检测方法的步骤流程图；

图2是本发明实施例提供的另一种交通灯检测方法的步骤流程图；

图3是本发明实施例提供的一种交通灯检测装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明保护的范围。

在智能车辆自动驾驶等神经网络密集部署的场景中，各类目标检测任务需要消耗大量的计算资源，无论是在计算开销上，还是在计算速度上都有待提升。在各类检测任务的开发过程中，通常是以公用的多层特征提取神经网络输出作为上游输出，针对不同的检测任务开发不同的下游网络和损失函数，进而采用联合训练的方法得到可用的检测网络。但是对于特定的检测任务——交通灯检测任务而言，采用上述检测方法反而会造成计算资源浪费。

以下将从三个方面分析交通灯区别与其它检测目标的特性：

1.交通灯的形状尺寸特征

在同一国家或地域内，交通灯制式相对统一，存在形状规则、大小近似、宽度高度比例固定的特点。相较于各种各样的车辆以及姿态各异的行人，交通灯具有更易学习的形状特征。这使得交通灯检测任务可以使用轻量的特征提取网络提取形状特征，无需耦合深层次网络所提取的特征。

此外，小孔成像设备具有“因深度不同，图像上物体发生形变”的特点。举例而言，较长的公交车由于车头和车尾在观察坐标系中深度差异较大，使得其长方形平面在图像中呈现“近大远小”的特征，变为梯形。这使得目标尺寸回归存在较大方差，在梯度敏感的神经网络中表现较差。为提高回归精度，需利用更深层次的特征提取网络在大量的数据上进行学习；但对于尺寸相对较小的交通灯而言，其在图像上的形变极小，近似仍为矩形。这使得神经网络更易学得交通灯的尺寸特征，无需采用深层次的神经网络。

2.交通灯的颜色特征

交通灯在图像中的颜色特征主要体现在两个方面，一类为表示信号的“红、黄、绿”色，一类为交通灯外壳的颜色(一般为连续的黑色)。在HSV色域进行分析，人工设计的的“红、黄、绿”色具有高饱和度、高亮度的特点。相较于复杂的背景环境，交通灯信号颜色饱和度较高，易于区分；相较于车辆外漆颜色及行人外套颜色等高饱和度颜色而言，交通灯具有更高的亮度。这两个特点使交通灯在颜色上存在区分于其它交通参与者更为显著的特征。而简单显著的特征一般可用更为轻量的网络学习得到，无需复杂深层的网络对潜在特征进行学习。

对于交通灯黑色的整体外壳，一方面其加强了信号颜色与背景环境颜色之间的区分度，在梯度图上即可正确找到交通灯的位置；另一方面，户外环境中由于光照、反射率的不同，物体连续的黑色极少，大多数物体同种颜色分布松散。而交通灯由于黑色外壳的存在，使其无论是单一目标内还是所有类内目标中，颜色分布较为集中。这使得交通灯具有区别于其它交通参与者和背景环境的又一显著特征。

3.交通灯参与交通的特点

不同的国家和地域对于交通灯位置摆放规定具有相似性，均要求其易于驾驶员分辨，无遮挡且摆放规则。交通灯在交通中的重要作用使得其相对于车辆检测和行人检测减少了由于物体不全、被遮挡以及朝向各异等原因所造成的检测困难问题。这也是交通灯检测任务可以采用更为浅层的神经网络的本质原因。

本发明实施例的核心构思之一在于，当检测任务包括交通灯检测任务时，可以采用执行速度较快的第一神经网络模型对交通灯进行检测。通过采用上述方法，将交通灯检测任务进行单独组网，采用轻量的特征提取网路和目标检测网络即可完成交通灯检测任务，在兼顾检测准确率和召回率的基础上，提高车辆终端神经网络的推理运算速度，减少计算开销。

参照图1，示出了本发明实施例提供的一种交通灯检测方法的步骤流程图，具体可以包括如下步骤：

步骤101，获取检测任务。

先进驾驶辅助系统(Advanced Driver Assistance System)，简称ADAS，是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。

在智能车辆的自动驾驶或者辅助驾驶过程中，需要对交通场景内的交通目标进行准确识别、定位和分类，交通目标可以包括但不限于以下至少一项：行人/机动车/非机动车/交通灯/交通标志。即在车辆的驾驶过程中，具有各种检测任务。检测任务可以包括行人检测任务、车辆检测任务、道路检测任务、交通灯检测任务等。

步骤102，若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测。

由于交通灯具有较为固定的形状特征和颜色特征，因此，可以采用浅层神经网络模型对交通灯进行检测，即预先训练的第一神经网络模型为浅层神经网络模型。示例性地，单隐藏层神经网络就是典型的浅层神经网络。

在本发明实施例中，如果检测任务包括交通灯检测任务，则可以采用预先训练的第一神经网络模型检测交通灯。

步骤103，若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务。

第二神经网络模型可以是预先建立的可以同步进行除交通灯检测任务之外的多个其它检测任务的检测的模型，当确定所需进行的检测任务中不包括交通灯检测任务时，则可以采用第二神经网络模型进行除交通灯检测任务之外的多个其它检测任务的检测。具体的，可以获取需要同步进行检测的除交通灯检测任务之外的多个其它检测任务的待检测图像，基于第二神经网络模型对待检测图像进行除交通灯检测任务之外的多个其它检测任务的检测，获得除交通灯检测任务之外的多个其它检测任务分别对应的检测结果。

由于第二神经网络模型需要对各种除交通灯之外的其它交通目标进行检测，因此，将第二神经网络模型设置为深层神经网络模型，以满足对多个除交通灯之外的其它交通目标的检测要求，以提高检测精度。

其中，第一神经网络模型的执行速度大于第二神经网络模型的执行速度。

通过将交通灯检测任务采用第一神经网络模型进行单独检测，而对于其它的检测任务则采用第二神经网络模型进行多个检测目标的同步检测，可以提高智能车辆驾驶神经网络密集部署场景中的神经网络的推理速度，降低车辆终端算法部署的开销。

步骤104，根据检测结果控制车辆的行驶。

可以根据检测任务的检测结果控制车辆的行驶。在一种示例中可以将检测结果输入到车辆的决策规划控制模块中，并结合车辆自身信息进行驾驶行为的决策和控制。

综上，在本发明实施例中，当检测任务包括交通灯检测任务时，可以采用执行速度较快的第一神经网络模型对交通灯进行检测。通过采用上述方法，将交通灯检测任务进行单独组网，采用轻量的特征提取网路和目标检测网络即可完成交通灯检测任务，在兼顾检测准确率和召回率的基础上，提高车辆终端神经网络的推理运算速度，减少计算开销。

参照图2，示出了本发明实施例提供的另一种交通灯检测方法的步骤流程图，具体可以包括如下步骤：

步骤201，获取检测任务。

检测任务是指从待检测图像中确定所有目标物体的位置以及对应类别。在智能车辆的驾驶过程中，可以具有多种检测任务，需要对交通场景内的交通目标进行准确识别、定位和分类，交通目标可以包括但不限于以下至少一项：行人/机动车/非机动车/交通灯/交通标志。也就是说，检测任务可以包括行人检测任务、车辆检测任务、道路检测任务、交通灯检测任务等。

步骤202，若所述检测任务包括交通灯检测任务，则从所述第一神经网络模型输出的特征图像中确定交通灯特征点。

第一神经网络模型是浅层神经网络模型，由于交通灯具有较为固定的形状特征和颜色特征，可以采用浅层神经网络模型对交通灯进行检测。第一神经网络模型可以是由轻量的特征提取网络和目标检测网络组成的。其中，轻量的特征提取网络用于前端进行图像特征提取，目标检测网络用于基于提取的图像特征进行分析处理。

示例性地，第一神经网络模型可以是一个轻量化易部署的神经网络，其执行速度快，并且对GPU(Graphics Processing Unit，图形处理器)/DLA(Deep LearningAccelerator，深度学习加速器)等设备友好。

本申请一种可选的实施方式中，在第一神经网络模型的神经网络中对交通灯进行检测时，可以是先识别出交通灯特征点的位置，在识别出交通灯特征点位置的基础上，对交通灯的其它特征(颜色特征、尺寸特征、指向特征等)进行识别。相对于现有技术，本发明实施例中，首先需要识别出交通灯特征点的位置，而不是对交通灯的颜色或者几何尺寸等特征进行识别。

交通灯主要由明亮的彩色灯组成，通常是圆形或箭头形的，最常见的交通灯配置为圆形的红黄绿灯，其每个状态分别表示停车、等待和通行。交通灯的基础组成结构包括杆、背板和背板中的灯区。交通灯通常包含在一个灰黑色矩形的背板中，背板内接一个或多个圆形灯。尽管气候、道路环境等会在不同程度上影响交通灯图像的采集，但是交通灯的形状和几何尺寸却不会有太大的变化。

需要说明的是，交通灯特征点用于后续对交通灯其它特征进行识别，交通灯特征点可以设置为易于识别交通灯其它特征的关键点。在一种优选的示例中，特征点可以是交通灯背板(与杆分离)的中心点或者各色灯区的中心点或者各色灯区中方向指示标志的角点。交通灯背板的中心点可以用于识别交通灯背板的尺寸特征，而交通灯各色灯区的中心点可以用于识别交通灯各色灯区的颜色特征或者各色灯区的指向特征，交通灯各色灯区中方向指示标志的角点可以用于识别交通灯各色灯区的指向特征。此外，本领域技术人员还可以根据实际需要设置不同的特征点，对此，本发明实施例不加以具体限制。

在本步骤中，可以将检测任务中的待检测图像输入预先训练的第一神经网络模型中，并从第一神经网络模型输出的特征图像中确定交通灯特征点。

在具体的实施方式中，针对基于静态图像的交通灯检测任务，可以采用one-stage检测方法进行检测。one-stage检测算法，不需要region proposal(产生候选区域)阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度。

此外，还可以将第一神经网络模型中的轻量的特征提取网络替换为残差特征提取网络，采用残差特征提取网络进行交通灯检测，如ResNet等，可以达到相同的检测效果。

由于一个待检测图像通常情况下具有多个检测目标，在利用第一神经网络模型进行交通灯检测时，对于属于同一个待检测图像中的其它检测目标，采用第二神经网络模型——深层神经网络模型进行检测。也就是说，若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测，还包括：

采用所述第二神经网络模型对除所述交通灯之外的其它检测目标进行检测。

在一种示例中，当前检测任务的待检测图像中具有交通灯、行人、车辆等检测目标，采用本申请的检测方法，对于交通灯采用第一神经网络模型进行检测，对于行人和车辆采用第二神经网络模型进行检测。由于进行神经网络检测之前，车辆不能确定待检测图像中是否具有交通灯，在本申请的一种优选的实施方式中，可以根据车辆的导航信息确定待检测图像的拍摄位置是否为交通灯所处的路口位置，在确定待检测图像的拍摄位置为路口位置的情况下，将该待检测图像输入第一神经网络模型中进行检测。

在一种可选的示例中，第一神经网络模型可以为串行的一个神经网络，采用该一个神经网络进行交通灯检测，针对步骤202，可以执行以下步骤：

子步骤S11，从所述一个神经网络中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像。

子步骤S12，从所述特征图像中确定所述特征点。

在神经网络中，感受野(Receptive Field)的定义是神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域。感受野用于限定输入图像中的像素点可以和多大区域范围内的其它像素点联动。增加感受野的大小可以利用更大的图像区域中的上下文信息进行分析处理。感受野大小只和神经网络模型的结构特征相关。即在本发明实施例中可以将用于进行交通灯特征提取的一个神经网络的网络结构设定为，该网络结构对应的感受野范围与交通灯形状或者尺寸匹配。具体的，可以是与交通灯背板的尺寸匹配。其中，感受野范围与交通灯背板的尺寸匹配，可以是感受野范围不小于交通灯背板的尺寸大小。

本申请限定了提取交通灯特征信息的特征图像的感受野范围，通过设置每一层卷层输出的特征图像的每一个像素在输入图像中对应有限的感受野，将该感受野范围设置为与交通灯背板的尺寸匹配。采用此种方法，在图像空间结构不被卷积破坏的前提下，可以使得感受野只包括能够指示交通灯特征信息的信息，将感受野范围局限于交通灯背板的大小，可以在不遗漏信息的前提下，不额外引入其它干扰信息。

在另一种可选的示例中，特征图像可以为多通道热力图，针对步骤202，可以执行以下步骤：

子步骤S21，从所述多通道热力图中确定用于提取位置特征的第一通道热力图。

子步骤S22，将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。

一个RGB图像具有三个通道，本发明实施例中的第一神经网络模型输出的特征图像是包含多个通道的热力图。热力图是指以特殊高亮的形式显示访客热衷的页面区域和访客所在的地理区域的图示。而在神经网络中，主要用于理解给定的检测图像中，哪部分在神经网络最终的分类决策中起作用。

不同的通道可以分别组成相应的热力图，每一个通道对应的热力图用于提取一种类别的交通灯特征信息。交通灯特征信息可以包括特征点位置、背板的尺寸特征信息、各色灯区的颜色特征信息、各色灯区的指向特征信息中的一种或多种。示例性地，特征点位置的提取可以是在第一通道热力图中进行的，而颜色特征信息和指向特征信息的提取则可以在由另外的通道组成的热力图中进行提取。

在本申请中，可以将第一通道热力图中，存在特征点的概率大于预设概率的位置确定为特征点位置。优选地，还可以将存在特征点的概率最大且大于预设概率的位置确定为特征点位置。

步骤203，根据位于所述特征点的图像特征信息确定所述交通灯的其它交通灯特征信息。

在确定特征点位置后，可以根据位于特征点的图像特征信息确定交通灯的其它交通灯特征信息。其中，其它交通灯特征信息可以包括背板的尺寸特征信息、各色灯区的颜色特征信息和各色灯区的指向特征信息中的至少一种。具有方向指示标志的指向性交通灯具有相应的指向特征信息。

在本申请的一种实施方式中，第一神经网络模型的训练步骤至少包括：将大量的交通灯图像数据作为样本数据发送至神经网络训练系统，其中，每个交通灯图像数据标注有交通灯特征点位置、交通灯灯区的显示颜色以及背板尺寸；利用神经网络训练系统对多个样本数据进行训练，得到对应的用于确定交通灯特征点位置、确定交通灯灯区颜色特征和背板尺寸特征的第一神经网络模型。

由于第一神经网络模型输出的特征图像为包含多个通道的热力图，每一个通道对应的热力图用于提取一种类别的交通灯特征信息，即可以在用于提取颜色特征的第二通道热力图中，根据位于特征点位置处的第一图像特征信息确定交通灯灯区的显示颜色；在用于提取尺寸特征的第三通道热力图中，根据位于特征点位置处的第二图像特征信息确定交通灯背板的绝对尺寸；以及在用于提取指向特征的第四通道热力图中，根据位于特征点位置处的第三图像特征信息确定交通灯灯区的指示方向。

此外，除了采用上述方法对交通灯的特征点位置，尺寸进行回归，对交通灯颜色进行分类外，还可以采用如anchor-base的方法对交通灯位置和偏移量进行回归，也能得到相同的效果。

步骤204，若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务。

其中，第一神经网络模型的执行速度大于第二神经网络模型的执行速度。

第一神经网络模型为专用于进行交通灯检测的神经网络模型，第二神经网络模型则可以对除交通灯之外的其它检测目标进行同步检测。第一神经网络模型为浅层的神经网络模型，而第二神经网路模型为深层的神经网络模型。因此，第一神经网络模型的执行速度较快。

在一种可选的示例中，第二神经网络模型包括多个检测目标共用的共用神经网络和与多个检测目标分别对应的检测网络，针对步骤204，可以执行以下步骤：

子步骤S31，获取所述检测任务的待检测图像。

子步骤S32，将所述待检测图像输入所述第二神经网络模型中进行多个检测目标的检测。

在第二神经网络模型中，可以对多个除交通灯之外的检测目标进行检测。如果检测目标为车辆，则可以检测车辆的运动状态，例如，可以确定车辆正在往什么方向行驶；如果检测目标为行人，则可以检测行人的移动状态，例如，行人是否要通过人行横道；如果检测目标为交通标识，则可以确定该交通标识所指示的信息，例如限速30公里/时等。

步骤205，根据检测结果控制车辆的行驶。

可以根据检测任务的检测结果指导车辆进行相应的驾驶行为的决策与控制。

综上，在本发明实施例中，当检测任务包括交通灯检测任务时，可以采用执行速度较快的第一神经网络模型对交通灯进行检测。通过采用上述方法，将交通灯检测任务进行单独组网，采用轻量的特征提取网路和目标检测网络即可完成交通灯检测任务，在兼顾检测准确率和召回率的基础上，提高车辆终端神经网络的推理运算速度，减少计算开销。在多类检测任务架构的基础上，将交通灯检测任务单独组网，采用更为轻量的特征提取网络和目标检测网络，以获得交通灯的位置、尺寸、颜色等辅助车辆驾驶决策的信息。通过利用轻量的神经网络执行交通灯检测任务，在具有速度优势的同时，兼顾准确率和召回率等性能。使其更为简单地部署在神经网络密集部署的智能车辆上，辅助驾驶行为的决策。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图3，示出了本发明实施例提供的一种交通灯检测装置的结构框图，具体可以包括如下模块：

获取模块301，用于获取检测任务；

第一检测模块302，用于若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测；

第二检测模块303，用于若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务；其中，所述第一神经网络模型的执行速度大于所述第二神经网络模型的执行速度；

控制模块304，用于根据检测结果控制车辆的行驶。

在一种可选的示例中，所述装置，还包括：

第三检测模块，用于采用所述第二神经网络模型对除所述交通灯之外的其它检测目标进行检测。

在一种可选的示例中，所述第一检测模块，包括：

第一确定子模块，用于从所述第一神经网络模型输出的特征图像中确定交通灯特征点；

第二确定子模块，用于根据位于所述特征点的图像特征信息确定所述交通灯的其它交通灯特征信息。

在一种可选的示例中，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。

在一种可选的示例中，所述第一神经网络模型为串行的一个神经网络，所述第一确定子模块，包括：

输出单元，用于从所述一个神经网络中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；

第一确定单元，用于从所述特征图像中确定所述特征点。

在一种可选的示例中，所述特征图像为多通道热力图，所述第一确定子模块，包括：

第二确定单元，用于从所述多通道热力图中确定用于提取位置特征的第一通道热力图；

第三确定单元，用于将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。

在一种可选的示例中，所述第二神经网络模型包括多个检测目标共用的共用神经网络和与所述多个检测目标分别对应的检测网络，所述第二检测模块，包括：

获取子模块，用于获取所述检测任务的待检测图像；

检测子模块，用于将所述待检测图像输入所述第二神经网络模型中进行多个检测目标的检测。

综上，在本发明实施例中，当检测任务包括交通灯检测任务时，可以采用执行速度较快的第一神经网络模型对交通灯进行检测。通过采用上述方法，将交通灯检测任务进行单独组网，采用轻量的特征提取网路和目标检测网络即可完成交通灯检测任务，在兼顾检测准确率和召回率的基础上，提高车辆终端神经网络的推理运算速度，减少计算开销。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种车辆，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述一种交通灯检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述一种交通灯检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理终端设备上，使得在计算机或其它可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种交通灯检测方法和一种交通灯检测装置、一种车辆和一种计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种交通灯检测方法，其特征在于，所述方法包括：

获取检测任务；

若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测；

若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务；其中，所述第一神经网络模型的执行速度大于所述第二神经网络模型的执行速度；

根据检测结果控制车辆的行驶。

2.根据权利要求1所述的方法，其特征在于，所述若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测，还包括：

采用所述第二神经网络模型对除所述交通灯之外的其它检测目标进行检测。

3.根据权利要求1所述的方法，其特征在于，所述采用预设的第一神经网络模型对所述交通灯进行检测，包括：

从所述第一神经网络模型输出的特征图像中确定交通灯特征点；

根据位于所述特征点的图像特征信息确定所述交通灯的其它交通灯特征信息。

4.根据权利要求3所述的方法，其特征在于，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。

5.根据权利要求3所述的方法，其特征在于，所述第一神经网络模型为串行的一个神经网络，所述从所述第一神经网络模型输出的特征图像中确定交通灯特征点，包括：

从所述一个神经网络中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；

从所述特征图像中确定所述特征点。

6.根据权利要求3所述的方法，其特征在于，所述特征图像为多通道热力图，所述从所述第一神经网络模型输出的特征图像中确定交通灯特征点，包括：

从所述多通道热力图中确定用于提取位置特征的第一通道热力图；

将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。

7.根据权利要求1所述的方法，其特征在于，所述第二神经网络模型包括多个检测目标共用的共用神经网络和与所述多个检测目标分别对应的检测网络，所述采用预设的第二神经网络模型执行所述检测任务，包括：

获取所述检测任务的待检测图像；

将所述待检测图像输入所述第二神经网络模型中进行多个检测目标的检测。

8.一种交通灯检测装置，其特征在于，所述装置包括：

获取模块，用于获取检测任务；

第一检测模块，用于若所述检测任务包括交通灯检测任务，则采用预设的第一神经网络模型对所述交通灯进行检测；

第二检测模块，用于若所述检测任务不包括交通灯检测任务，则采用预设的第二神经网络模型执行所述检测任务；其中，所述第一神经网络模型的执行速度大于所述第二神经网络模型的执行速度；

控制模块，用于根据检测结果控制车辆的行驶。

9.一种车辆，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的一种交通灯检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的一种交通灯检测方法的步骤。

Images