CN109767637B - 倒计时信号灯识别及处理的方法和装置 - Google Patents

Abstract

本发明公开了倒计时信号灯识别方法和装置。该方法包括：从相机捕获图像数据；利用目标检测模型，对图像数据进行检测以识别信号灯并获得信号灯信息；利用分类模型，对检测为倒计时灯的信号灯进行进一步识别，以获得倒计时具体数字；对倒计时灯与信号灯进行关联，获得包括经关联的信号灯倒计时信息的检测结果；对检测结果进行追踪，以获得最终倒计时信号灯检测结果。

Description

倒计时信号灯识别及处理的方法和装置

技术领域

概括地说，本发明涉及图像处理和汽车安全辅助驾驶领域，具体地说，本发明涉及交通标志(特别是倒计时信号灯)识别方法和装置。

背景技术

随着技术的发展，机器人驾驶交通工具(例如，“UAV”或“无人机”)自动驾驶技术开始逐渐成为热点。在自动驾驶领域，交通信号灯检测技术是机器人驾驶交通工具的关键技术之一。如果无法正确地检测和分类交通信号灯，则可能违反交通规则，并可能造成严重的交通事故而导致死亡、损伤、和/或具有明显的损坏性。

传统的交通信号灯检测方案主要是基于传统特征的方法，主要利用颜色直方图和HOG(方向梯度直方图)特征来刻画交通信号灯的颜色和形状，如红色的直行灯、绿色的左转灯等。但是，这种方案对环境的鲁棒性不强，光照条件对于信号灯的颜色有非常大的影响，在强光照下红色往往会看上去像黄色。而且信号灯形状各异，并且由于摄像头安装位置和信号灯安装位置的不确定，在图像上信号灯的形状会产生一定的形变。此外，在道路上车灯会对信号灯的检测产生干扰。这些因素导致现有技术存在以下问题：交通信号灯识别精度不高、检测容易发生错误、容易受到诸如光照和位置等等之类的外界环境各种因素的影响。

另外，在现有技术方法中，在交叉路口确定交通信号灯的区域，然后判断其中颜色值的变化来确定交通信号灯的颜色。但是，这种方法对于初始确定的区域要求非常严格，而相机标定参数的变化，可能导致交通信号灯在图像上的位置不是正确的位置。此外，现有技术通常只关心交通信号灯的检测，对于倒计时不做处理，但忽略倒计时会使得在经过交叉路口时很危险(例如，在绿灯即将变黄或变红的时)。因此，在自动驾驶领域，需要考虑如何将倒计时和信号灯结合起来检测和识别。

发明内容

有鉴于此，本发明公开内容提供了用于倒计时信号灯识别及处理的方法、装置、设备和计算机存储介质。本发明公开内容使用高精度地图等方式提供的信息对信号灯位置进行粗定位，从而减少环境中车灯等的干扰，接着采用基于深度学习的检测方法对相机捕获到的图像进行检测，使得交通信号灯的检测识别更加准确，对于颜色、形状的识别更加鲁棒，同时使用追踪方法来进一步减少环境中其它因素的干扰并降低模型错检的影响，然后使用基于深度学习的识别方法对倒计时信号灯进行识别，并且与信号灯进行关联，获得路口信号灯倒计时信息，以确保经过交叉路口时的安全性。

在一个方面，本发明的实施例提供了一种用于倒计时信号灯识别及处理的方法，该方法包括：从相机捕获图像数据；利用目标检测模型，对所述图像数据进行检测以识别信号灯并获得信号灯信息；利用分类模型，对检测为倒计时灯的信号灯进行进一步识别，以获得倒计时具体数字；对所述倒计时灯与信号灯进行关联，获得包括经关联的信号灯倒计时信息的检测结果；对所述检测结果进行追踪，以获得最终倒计时信号灯检测结果。

在本发明公开内容的一个实施例中，所述方法还包括：从高精度地图设备获取信号灯位置信息，以对所述图像数据中的信号灯进行粗定位；利用所述目标检测模型，对所述图像数据中经过粗定位的区域进行检测以识别信号灯并获得信号灯信息。

在本发明公开内容的一个实施例中，所述方法还包括：对所述最终倒计时信号灯检测结果进行修正，以去除不理想检测结果。

在本发明公开内容的一个实施例中，所述信号灯信息包括：信号灯颜色、箭头形状、是否是倒计时灯、坐标位置和置信度等等。

在本发明公开内容的一个实施例中，所述目标检测模型是通过以下至少之一改进，在Faster RCCN基础上实现的新型快速RCNN模型：改善基础网络；改进RPN(区域建议网络)的锚点选取；使用RoI-Align来替代RoI-Pooling；使用难样本进行在线挖掘。

在本发明公开内容的一个实施例中，对所述倒计时灯与信号灯进行关联以获得包括经关联的信号灯倒计时信息的检测结果，包括：确定倒计时灯和其它信号灯；获取所述倒计时灯的倒计时灯信息和所述其它信号灯的信号灯信息，其中所述倒计时灯信息包括倒计时灯的图像位置、倒计时具体数字、倒计时灯宽度、倒计时灯颜色，所述其它信号灯的信号灯信息包括信号灯的图像位置、信号灯颜色、信号灯类型；对于所述倒计时灯和所述其它信号灯中的每一个，分别计算图像上的像素欧氏距离；针对每一个倒计时灯，将与所述倒计时灯的所述像素欧氏距离小于所述倒计时灯宽度的阈值倍数的所述其它信号灯，选择为所述倒计时灯的候选匹配信号灯；针对每一个倒计时灯，在其所有候选匹配信号灯中，选取颜色相同、距离最近的信号灯作为成功关联的信号灯。

在本发明公开内容的一个实施例中，所述经关联的信号灯倒计时信息包括信号灯的图像位置、信号灯颜色、信号灯类型、倒计时具体数字和置信度。

在本发明公开内容的一个实施例中，对所述检测结果进行追踪以获得最终倒计时信号灯检测结果，包括：根据信号灯颜色、类别、位置等，选择所述经关联的信号灯中置信度高于阈值的高置信度信号灯检测结果，以计算与图像上的上一帧最终信号灯检测结果的欧氏距离，如果信号灯颜色、类别不同，则所述欧氏距离为正无穷；如果所述高置信度信号灯检测结果是新的信号灯，则加入当前帧的最终信号灯检测结果；使用匈牙利匹配对所述欧氏距离进行匹配，获得两帧之间信号灯的对应关系；如果上一帧的最终信号灯检测结果与所述高置信度信号灯检测结果匹配成功，则认为是可靠的检测结果，并加入所述当前帧的最终信号灯检测结果；如果上一帧的最终信号灯检测结果与所述高置信度信号灯检测结果不匹配，则与所述经关联的信号灯中置信度低于阈值的低置信度信号灯检测结果继续匹配，如果匹配上，则是可靠的检测结果并加入所述当前帧的最终信号灯检测结果，如果不匹配，则丢弃所述低置信度信号灯检测结果，如果所述上一帧的最终信号灯检测结果已经有门限次数都没有匹配，则丢弃所述上一帧的最终信号灯检测结果；获得当前帧的所有未丢弃的经关联的信号灯检测结果作为追踪结果，其中所述追踪结果的信息包括信号灯的位置、颜色和形状。

在本发明公开内容的一个实施例中，在识别信号灯时，如果获得的信号灯在图像位置上重叠，则通过NMS(Non-Maximum Suppression，非极大值抑制)以根据不同类别的信号灯来各自去除可能的误检以及多余的检测。

各个实施例还可以包括具有倒计时信号灯检测装置的机器人驾驶交通工具，该倒计时信号灯检测装置包括收发机、存储器、以及配置有处理器可执行指令以执行上面所概述的方法的操作的处理器。各个实施例包括用于在机器人驾驶交通工具中使用的处理设备，其配置为执行上面所概述的方法的操作。各个实施例包括存储有处理器可执行指令的非临时性处理器可读介质，所述处理器可执行指令被配置为使机器人驾驶交通工具的处理器执行上面所概述的方法的操作。

附图说明

并入本文并且构成本说明书一部分的附图，描绘了示例性实施例，并且连同上面给出的概括描述以及下面给出的详细描述一起来解释各个实施例的特征。

图1示出了适于用来实现本发明实施例的环境或系统；

图2是根据本发明实施例，示出用于在机器人驾驶交通工具中使用的倒计时信号灯检测设备的组件的框图；

图3A至图3B根据本发明实施例，示出了适用于倒计时信号灯识别的新型快速RCNN的网络架构及其相应特点；

图4根据本发明实施例，示出了一种用于倒计时信号灯识别的方法的示意性流程图；

图5根据本发明实施例，示出了用于倒计时关联的方法的示意性流程图；

图6根据本发明实施例，示出了用于对检测结果进行追踪的方法的示意性流程图；

图7根据本发明实施例，示出了用于信号灯检测模型训练及其部署的方法；

图8根据本发明实施例，示出了用于倒计时识别模型训练及其部署的方法；

图9根据本发明实施例，示出了一种用于基于深度学习的倒计时信号灯识别的装置的示意性框图。

在附图中，相同或相似的标号被用来表示相同或相似的元素。

具体实施方式

为了说明性起见，给出了本文档中所描述的本发明的实施例、附图和例子，以便提供对本发明的一个或多个实施例的理解，这些实施例包括用于实施本发明的当前最佳预期模式的实施例。

这些实施例、附图和例子不应被解释为是穷举的，也不应将本发明的实施例限制于这里所描述的实施例，它们仅仅是为了说明本发明的一般性原理。对于本领域普通技术人员来说，不脱离这些示例和实施例的保护范围和精神的本发明的众多其它修改和变型将是显而易见的。选择本文档中使用的术语是为了最好地解释这些示例和实施例的基本原理，以便相对于已知技术和产品来说明本发明的实际应用和技术改进，使本领域普通技术人员能够更好地理解这里所公开的示例和实施例。

本文所使用的“示例性的”一词意味着“用作例子、例证或说明”。本文中描述为“示例性”的任何方面不应被解释为比其它方面更优选或更具优势。

如本文所使用的，术语“机器人驾驶交通工具”和“无人机”、“无人车”指代：包括有被配置为提供一些自主或半自主能力的车载计算设备的各种类型的车辆中的一种。机器人驾驶交通工具的示例包括但不限于：诸如无人驾驶飞行器(UAV)之类的飞行器；地面车辆(例如，自动驾驶汽车或半自动驾驶汽车等等)；水基车辆(即，被配置为在水面上或水下作业的车辆)；天基车辆(例如，航天器或太空探测器)；和/或其某种组合。在一些实施例中，机器人驾驶交通工具可以是有人驾驶的。在其它实施例中，机器人驾驶交通工具可以是无人驾驶的。在一些实现中，机器人驾驶交通工具可以是飞行器(无人驾驶或有人驾驶)，该飞行器可以是旋翼飞行器或有翼飞行器。

如本文所使用的，术语“交通标志”可以指代红绿灯或其它类型的交通信号灯。

各个实施例可以在各种机器人驾驶交通工具中实现，在图1中示出了可以适合于结合各种实施例使用的示例。

参见图1，系统或环境1可以包括一个或多个机器人驾驶交通工具10和交通标志20。图1中的机器人驾驶交通工具10可以与任何通信网络进行通信，也可以不与这些通信网络进行通信。交通标志20可以是待检测识别的交通指示灯，例如交通标志20可以是红绿灯(上中下分别为红黄绿灯)或其它类型的交通信号灯，其中交通标志20可以包括信号灯部分202和倒计时灯部分204，倒计时灯部分204中的数字给出了相应灯的倒计时数的示例。

在各个实施例中，机器人驾驶交通工具10可以包括一个或多个相机140，所述一个或多个相机140被配置为捕获图像，将图像数据提供给机器人驾驶交通工具10的处理设备110。交通标志20可以在机器人驾驶交通工具10的相机140的捕获范围内。

机器人驾驶交通工具10可以包括处理设备110，处理设备110可以被配置为监测和控制机器人驾驶交通工具10的各种功能、子系统和/或其它组件。例如，处理设备110可以被配置为监测和控制机器人驾驶交通工具10的各种功能，例如与推进、动力管理、传感器管理、导航、通信、致动、转向、制动和/或车辆操作模式管理相关的模块、软件、指令、电路、硬件。

处理设备110可以容纳用于控制机器人驾驶交通工具10的操作的各种电路和设备。例如，处理设备110可以包括指示机器人驾驶交通工具10的控制的处理器120。处理器120可以包括一个或多个处理器，其被配置为执行处理器可执行指令(例如，应用程序、例程、脚本、指令集等)以控制机器人驾驶交通工具10的操作(其包括本文的各种实施例的操作)。在一些实施例中，处理设备110可以包括耦合到处理器120的存储器122，其被配置为存储数据(例如，获得的图像数据、接收的消息、应用程序等等)。处理器120和存储器122以及其它元件可以被配置成或者包括片上系统(SOC)115。处理设备110可以包括一个以上的SOC115，从而增加处理器120和处理器核的数量。处理设备110还可以包括不与SOC 115相关联的处理器120。各个处理器120可以是多核处理器。

如本文所使用的术语“片上系统”或“SOC”是指一组互连的电子电路，其通常(但不排外地)包括一个或多个处理器(例如，120)、存储器(例如，122)和通信接口。SOC 115可以包括各种不同类型的处理器120和处理器核，比如通用处理器、中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、加速处理单元(APU)、处理设备的特定组件的子系统处理器(例如，用于倒计时信号灯检测装置(如，130)的图像处理器或者用于显示器的显示处理器、辅助处理器、单核处理器和多核处理器)。SOC 115还可以包括其它硬件和硬件组合，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其它可编程逻辑器件、离散门逻辑、晶体管逻辑、性能监测硬件、看门狗硬件和时间基准。可以对集成电路进行配置，使得集成电路的组件驻留在单片半导体材料(例如，硅)上。

处理设备110还可以包括或连接到一个或多个传感器136，处理器120可以使用所述一个或多个传感器136来确定与车辆操作相关联的信息和/或与机器人驾驶交通工具10相对应的外部环境相关联的信息，以控制机器人驾驶交通工具10上的各种处理。这种传感器136的示例包括加速度计、陀螺仪和电子指南针，它们被配置为向处理器120提供关于机器人驾驶交通工具10的方向和运动的变化的数据。可以通过各种电路(例如，总线或其它类似电路)，将处理设备110和/或SOC 115内的各种组件耦合在一起。

处理设备110还可以包括倒计时信号灯检测装置130，后者可以从相机140捕获包含交通标志20的图像数据，利用目标检测模型对图像数据进行检测以识别信号灯并获得信号灯信息，利用分类模型对检测为倒计时灯的信号灯进行进一步识别以获得倒计时具体数字，对倒计时灯与信号灯进行关联以获得包括经关联的信号灯倒计时信息的检测结果，对检测结果进行追踪以获得最终倒计时信号灯检测结果。

另外，处理设备110还可以可选地包括高精度地图设备132，后者可以获得有关交通标志20的高精度地图信息，对从相机捕获的图像数据中的信号灯进行粗定位，然后倒计时信号灯检测装置130再利用目标检测模型，对图像数据中经过粗定位的区域进行检测以识别信号灯并获得信号灯信息。

虽然图中将处理设备110的各个组件示为单独的组件，但是可以将一些或所有的组件(例如，处理器120、存储器122和其它单元)一起集成在单个设备或模块(例如，片上系统模块)中。

各个实施例可以在机器人驾驶交通工具的倒计时信号灯检测设备200中实现，在图2中示出了其一个示例。参见图1-2，适用于各种实施例的倒计时信号灯检测设备200可以包括相机140、处理器208、存储器210、倒计时信号灯检测单元212、以及可选的高精度地图单元214。

相机140可以包括至少一个图像传感器204和至少一个光学系统206(例如，一个或多个透镜)。相机140可以获得一个或多个数字图像(本文有时称为图像帧)。相机140可以包括单个单目相机、立体相机和/或全向相机。在一些实施例中，相机140可以与倒计时信号灯检测设备200物理地分离，例如位于机器人驾驶交通工具的外部并且经由数据线缆(没有示出)连接到处理器208。在一些实施例中，相机140可以包括另一个处理器(没有示出)，其可以配置有处理器可执行指令以执行各种实施例方法的操作中的一个或多个操作。

在一些实施例中，可以在相机140内实现存储器210或者诸如图像缓冲器(没有示出)之类的另一种存储器。例如，相机140可以包括被配置为在对来自图像传感器204的图像数据进行处理(例如，由处理器208进行处理)之前，对该数据进行缓存(即，临时地存储)。在一些实施例中，倒计时信号灯检测设备200可以包括图像数据缓冲器，其被配置为对来自相机140的图像数据进行缓存(即，临时地存储)。这样的缓存图像数据可以提供给处理器208，或者可以由处理器208或者被配置为执行各种实施例中的一些或全部操作的其它处理器访问。

在一些实施例中，倒计时信号灯检测单元212可以被配置为使用从相机140捕获的图像数据，进行基于深度学习的倒计时信号灯的识别，提高对交通信号灯检测的鲁棒性以及减少环境对交通信号灯检测的干扰，从而确定用于在相应环境下进行自动驾驶的各种控制指令，以便在机器人驾驶交通工具10的环境内进行导航。在各个实施例中，可以对相机140的一个或多个相机捕获的图像中的一个或多个加时间戳。

在一些实施例中，可选的高精度地图单元214可以被配置为获得倒计时信号灯检测设备200周围的高精度地图，为倒计时信号灯的识别提供辅助(例如，对相机140捕获的图像数据中的信号灯信息进行粗定位)。高精度地图单元214可以与倒计时信号灯检测单元212物理地分离(如图所示)，也可以与倒计时信号灯检测单元212集成在一起。

处理器208可以耦合到相机140、一个或多个图像传感器204、一个或多个光学系统206、存储器210和倒计时信号灯检测单元212(例如，与它们进行通信)。处理器208可以是通用单芯片或多芯片微处理器(例如，ARM处理器)，特殊用途微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等等。处理器208可以称为中央处理单元(CPU)。虽然在图2中示出了单个处理器208，但倒计时信号灯检测设备200可以包括多个处理器(例如，多核处理器)或者不同类型的处理器(例如，ARM和DSP)的组合。

处理器208可以被配置为实现各个实施例的方法，以进行基于深度学习的倒计时信号灯识别和/或在环境中导航机器人驾驶交通工具10。

存储器210可以存储数据(例如，图像数据、时间戳、与倒计时信号灯检测单元212相关联的数据等等)、以及可以由处理器208执行的指令。在各种实施例中，可以存储在存储器210中的指令和/或数据的示例可以包括图像数据、陀螺仪测量数据、相机自动校准指令等等。存储器210可以是能够存储电子信息的任何电子组件，其包括例如随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光存储介质、RAM中的闪存设备、处理器附带的板载存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器等等(包括其组合)。

当然，本领域普通技术人员应当理解，该倒计时信号灯检测设备200例如可以是服务器或者计算机，也可以是智能终端，例如电子锁、智能手机、智能平板等，本发明并不受此限制。

下面将具体描述本发明实施例的机制和原理。除非特别声明，在下文和权利要求中使用的术语“基于”表示“至少部分地基于”。术语“包括”表示开放性包括，即“包括但不限于”。术语“多个”表示“两个或更多”。术语“一个实施例”表示“至少一个实施例”。术语“另一实施例”表示“至少一个另外的实施例”。其他术语的定义将在下文描述中给出。

图3A根据本发明实施例，示出了一种新型快速RCNN的网络架构。如图3A中所示，该新型快速RCNN包括基础网络、RPN(区域建议网络)、RoIPooling(RoI池化)和分类与位置精修等部分。

本发明的该新型快速RCNN算法使用两阶段算法，在第一阶段中，快速RCNN通过一系列的卷积层和池化层(其统称为基础网络)来提取图像的特征，以得到全局特征图。然后，将全局特征图送入RPN(区域建议网络)，以获得多个候选的检测框。之后，在第二阶段中，针对候选检测框，在特征图上提取每个检测框的特征。每个检测框的大小可能不同，但由于用于分类的网络必须需要固定尺寸的输入数据。因此可以使用RoIPooling技术，针对每个检测框提取6x6x256(宽x高x通道数)大小的特征图。使用这种经过RoIPooling的特征图，对相应检测框内的内容进行分类，判断是哪种颜色的红绿灯、哪种形状的红绿灯或者还是背景，并同时对检测框的位置进行精修，使得检测框与被检测物体更加紧致。

图3B示出了根据本发明实施例的新型快速RCNN的相应改进的说明。该新型快速RCNN相对于传统快速RCNN，对于基础网络、RPN、以及RoIPooling的相应部分和参数进行了改进，从而在不损失对交通信号灯检测的精确性的同时可以提高运算速度。

首先，对快速RCNN的基础网络进行改善，也就是改变卷积层的排布方式，从而提高相应的运算速度。残差神经网络(ResNet)使用残差学习的思想，避免梯度消失，使得训练更深层的网络更容易，而inception的结构，通过使用不同数量的卷积核，保持了网络感受野(Receptive Field)的多样性，本发明公开内容的实施例对inception和resnet二者(inception和resnet各有自己的卷积层的设计)进行组合，在inception结构外再加上残差结构，这样一来，既有inception的结构，也有resnet的结构。可以保证网络感受野的大小以及性能，并达到足够快的速度。

为了适应交通信号灯之类的小物体，通过改变conv3层的步长，从2改为1，使得最后得到的特征图大小为原图大小的1/8，并且将上一层的1/4大小的特征图下采样到1/8，将下一层的1/16大小的特征图上采样到1/8，这样总共能获得3个都是与原图大小1/8的特征图，作为最后提供给后续网络(RPN和RoIPooling)的特征图。经过相应参数的改进，上层的特征有更丰富的特征，并且由于下层的特征通过了更多卷积层，有更抽象的语义信息，因此将它们进行融合，可以获得更好的特征图。因此，经过相应的改进，可以在不降低精度的基础上，同时充分利用inception和resnet网络的益处来提高运算速度。

此外，为了适应交通灯信号灯在图像中比例较小、受外界干扰多等因素，本发明公开内容还改善了RPN中的锚点。在RPN中，要获取候选的检测框，则需要在预设的锚点上进行预测，因此预测的锚点的大小对后续的预测有很重要的影响。通过先验信息发现，交通信号灯的宽高比均为1:1，所以将锚点的宽高比都设为1:1，使得模型预测候选检测框更加容易，从而获得的候选检测框也更加准确。

还有，本发明公开内容使用RoI-Align来替代RoI-Pooling，进一步解决由于红绿灯在图像中比较小而造成若使用RoIPooling进行池化将带来量化误差，从而损失一定空间精度的问题。另外，本发明中使用RoI-Align，对于有小数点的位置，通过双线性插值的方法，利用旁边的4个整数点来计算出它的特征值，从而减少偏移的误差。

最后，使用难样本在线挖掘。在训练时，使用难样本在线挖掘(OHEM，online hardexample mining)的技术，对每个检测框使用神经网络先计算一遍损失值，选取损失值大的检测框进行反向传播，从而使模型自动对检测困难的样本给予更多关注(简单来说，就是对检测效果不好的检测框给予更多关注)。

通过改善基础网络、改进RPN的锚点选取、使用RoI-Align来替代RoI-Pooling、以及使用难样本进行在线挖掘技术，本发明公开内容提出的新型RCNN模型可以在不损失对交通信号灯检测的精确性的同时提高运算速度，从而有助于机器人驾驶交通工具10能够在现实环境中，快速可靠地并且智能地检测和分类交通信号灯。

图4根据本发明实施例，示出了一种用于倒计时信号灯识别的方法400的示意性流程图。方法400可以由参照图1所描述的倒计时信号灯检测装置130、参照图2所描述的倒计时信号灯检测设备200来执行。下面结合图4详细描述方法400中包括的各步骤。

方法400始于步骤402，从相机捕获图像数据。本领域普通技术人员可以理解，这里获取图片数据例如可以是获取采集的图片数据，也可以是获取经过处理后的采集的图片数据，或其它方式。本发明并不受此限制。

在步骤404，利用目标检测模型，对图像数据进行检测以识别信号灯并获得信号灯信息。在一个方面，该信号灯信息可以包括：信号灯颜色、箭头形状、是否是倒计时灯、坐标位置和置信度等等。在本发明的优选实施例中，可以首先从高精度地图设备获取信号灯位置信息，以对图像数据中的信号灯进行粗定位，然后再利用目标检测模型，对图像数据中经过粗定位的区域进行检测以识别信号灯并获得信号灯信息。

在一个方面，所述目标检测模型是通过以下至少之一改进，在FasterRCCN基础上实现的新型快速RCNN模型：改善基础网络；改进RPN(区域建议网络)的锚点选取；使用RoI-Align来替代RoI-Pooling；使用难样本进行在线挖掘。

在一个方面，在识别信号灯时，如果获得的信号灯在图像位置上重叠，则通过NMS(Non-Maximum Suppression，非极大值抑制)以根据不同类别的信号灯来各自去除可能的误检以及多余的检测。例如，如果两个同为红色左转的信号灯的检测框有重叠，则计算这两个检测框的重叠面积比为各自面积的交集与并集之比，如果所获得的重叠面积比大于一定阈值(例如但不限于0.5)，则将其中置信度较低的信号灯去除。接着，对所有类别的信号灯进行相同的操作，即对有重叠的红色左转灯和黄色指示灯的检测框进行相同的处理，去除置信度较低的信号灯。之后，去除置信度小于一定阈值(例如但不限于0.4)的信号灯，以避免错检。

在步骤406，利用分类模型，对检测为倒计时灯的信号灯进行进一步识别，以获得倒计时具体数字。在一个方面，该分类模型可以是基于卷积神经网络(CNN)的分类模型。在一个方面，该分类模型的训练样本可以包括图像、信号灯类型、位置和颜色、倒计时灯的具体数字等信息。在优选的实施例中，在利用分类模型，对检测为倒计时灯的信号灯进行进一步识别以获得倒计时具体数字时，可以对图像数据进行数据增强，其包括但不限于：在原始图像中截取倒计时数字图像时进行随机偏移、像素值的随机增强。

在步骤408，对倒计时灯与信号灯进行关联，获得包括经关联的信号灯倒计时信息的检测结果。在一个方面，该经关联的信号灯倒计时信息包括信号灯的图像位置、信号灯颜色、信号灯类型、倒计时具体数字、以及置信度等等。

在步骤410，对步骤408的检测结果进行追踪，以获得最终倒计时信号灯检测结果。

在可选的方面，在步骤410之后还可以包括：对最终倒计时信号灯检测结果进行修正，以去除不理想检测结果。因为检测结果受到车辆朝向和颠簸影响，所以可能会有某一些帧的检测结果不理想。举例而言，可以通过先验获得的红绿灯闪烁情况“绿灯->黄灯->红灯->绿灯”来平稳检测结果。也可以通过系统自身计数来估算倒计时数字大小，来弥补某几帧丢失检测结果的情况。此外，还可以通过去除相同类别但颜色相反的情况(例如，同时出现绿灯左转和红色左转)来去除明显的错检。

图5根据本发明实施例，示出了用于倒计时关联的方法500的示意性流程图。方法500可以由参照图1所描述的倒计时信号灯检测装置130、参照图2所描述的倒计时信号灯检测设备200、以及参照图9所描述的关联模块910来执行。方法500可以是方法400中的步骤408的详细说明。

在步骤502，根据在图4的方法400中的步骤404和406中的检测结果和相应信息，确定其中的倒计时灯和其它非倒计时信号灯。

在步骤504，获取倒计时灯的倒计时灯信息和其它非倒计时信号灯的信号灯信息。这里，倒计时灯信息包括倒计时灯的图像位置(其中，该倒计时灯的图像位置可通过左上角与右下角坐标位置来表示)、倒计时具体数字、倒计时灯宽度、倒计时灯颜色，而其它非倒计时信号灯的信号灯信息包括信号灯的图像位置、信号灯颜色、信号灯类型等等。

在步骤506，对于倒计时灯和其它非倒计时信号灯中的每一个，分别计算图像上的像素欧氏距离。

在步骤508，针对每一个倒计时灯，将与该倒计时灯的像素欧氏距离小于倒计时灯宽度的阈值倍数的其它非倒计时信号灯，选择为该倒计时灯的候选匹配信号灯。这里，该阈值倍数可以选择为例如2倍。

在步骤510，针对每一个倒计时灯，在其所有候选匹配信号灯中，选取颜色相同、距离最近的信号灯作为成功关联的信号灯。

图6根据本发明实施例，示出了用于对检测结果进行追踪的方法600的示意性流程图。方法600可以由参照图1所描述的倒计时信号灯检测装置130、参照图2所描述的倒计时信号灯检测设备200、以及参照图9所描述的追踪模块908来执行。方法600可以是方法400中的步骤410的详细说明。

在步骤602，根据信号灯颜色、类别、位置等，选择当前帧中经关联的信号灯中置信度高于阈值的高置信度信号灯检测结果，以计算其与图像上的上一帧最终信号灯检测结果的欧氏距离，其中该阈值可以是例如(但不限于)0.7。如果信号灯颜色、类别不同，则将欧氏距离设置为正无穷。

在步骤604，判断该高置信度信号灯检测结果是否是新的信号灯，如果是新的信号灯，则加入当前帧的最终信号灯检测结果。

在步骤606，使用匈牙利匹配对步骤602获得的欧氏距离进行匹配，获得两帧之间信号灯的对应关系。如果上一帧的最终信号灯检测结果与所述高置信度信号灯检测结果匹配成功，则认为是可靠的检测结果，方法600转到步骤614，将其加入所述当前帧的最终信号灯检测结果。

否则，如果上一帧的最终信号灯检测结果与所述高置信度信号灯检测结果不匹配，则方法600转到步骤608，计算其与当前帧中低置信度信号灯检测结果(例如，当置信度>0.4并且置信度<0.7时，可以认为是低置信度)的欧氏距离。同样，在步骤610处，继续进行匈牙利匹配，如果匹配上，则是可靠的检测结果，则方法600转到步骤614，将其加入当前帧的最终信号灯检测结果。如果匹配不上，则方法600转到步骤612，如果上一帧的追踪结果已经有门限次数都没有匹配，则丢弃上一帧的该追踪结果。这里，该门限次数可以是例如(但不限于)3次。

在步骤614处，获得当前帧的所有未丢弃的经关联的信号灯检测结果作为追踪结果，其中该追踪结果的信息包括信号灯的位置、颜色和形状等等。

图7根据本发明实施例，示出了用于信号灯检测模型训练及其部署的方法。

如图7左侧所示，信号灯检测模型可以按照如下方式进行训练：

1、获取带标注的训练样本，其中训练样本包括图像，信号灯类型、位置和颜色，倒计时灯的具体数字。

2、根据配置参数，生成待训练样本图像的候选推荐区域。其中配置参数可以包括：需要检测的交通信号灯类别(如，左转、右转、直行、指示灯、数字灯等)、交通信号灯长宽比、交通信号灯在图像中所占比例等等。例如，该步骤可以为：采用基于区域的快速卷积神经网络目标检测模型Faster R-CNN的深度学习目标检测方法，因为交通信号灯的宽高比均为1:1，所以根据配置参数，将模型中生成的候选推荐区域的宽高比都设置为1:1，从而使得模型学习更加容易，最终获得的信号灯框也更加准确。

3、根据交通信号灯任务的特征(如，交通灯在图像中比例较小、外界干扰多)，调整网络结构。该步骤如下：a)使用OHEM(难样本在线挖掘)，在模型训练过程中，让模型自动对于检测困难的样本给予更多关注，使得训练出来的模型对于错检更加鲁棒；b)使用roi-align(感兴趣区域排列)，使对每一个检测得到的区域所获得的特征更加精细；c)将模型的步长从16改为8，扩大了输入给分类器的特征大小，使得特征更丰富，对交通信号灯的分类更准确。

4、根据带标注的训练样本，以及图3所详细描述的模型结构，训练获取交通信号灯检测模型。

如图7右侧所示，信号灯检测模型的识别部署包括：

1、获取待检测图像和交通信号灯检测及识别模型。

2、通过信号灯检测识别模型对待检测图像进行交通信号灯检测和识别。

3、获取待检测图像中交通信号灯信息。其中，信号灯信息可以包括：信号灯颜色、箭头形状、是否是倒计时灯、坐标位置和置信度等等。

4、当获得的信号灯在图像位置上有重叠时，根据不同类别的信号灯各自通过NMS(Non-Maximum Suppression，非极大值抑制)去除可能的误检以及多余的检测。举例而言，如果两个同为红色左转的信号灯的检测框有重叠，则计算这两个检测框的重叠面积比为各自面积的交集与并集之比，如果所获得的重叠面积比大于一定阈值(例如但不限于0.5)，则将其中置信度较低的信号灯去除。接着，对所有类别的信号灯进行相同的操作，即对有重叠的红色左转和黄色指示灯的检测框进行相同的处理，去除置信度较低的信号灯。之后，去除置信度小于一定阈值(例如但不限于0.4)的信号灯，以避免错检。

图8根据本发明实施例，示出了用于倒计时识别模型训练及其部署的方法；

如图8左侧所示，倒计时识别模型可以按照如下方式进行训练：

1、获取信号灯检测模型带标注的训练样本，其中训练样本包括图像、信号灯类型、位置和颜色等。

2、将图像中的倒计时数字截取出来，获得倒计时识别模型的训练样本，其中训练样本包括倒计时灯图像，倒计时灯中的具体数字等。

3、对倒计时数字进行增强处理，包括但不限于：在原始图像中截取倒计时数字图像时进行随机偏移、像素值的随机增强等等。

4、将数据输入基于卷积神经网络的分类模型进行训练，生成倒计时识别模型。

如图8右侧所示，倒计时识别模型的部署包括：

1、获取待检测图像和信号灯检测识别模型。

2、通过信号灯检测识别模型对待检测图像进行交通信号灯检测和识别。

3、获取待检测图像中交通信号灯信息，其中信号灯信息包括：信号灯颜色、箭头形状、是否是倒计时灯、坐标位置和置信度等等。

4、如果该信号灯被检测识别为数字灯，则将其输入给生成的倒计时识别模型以获取倒计时具体数字。

图9根据本发明实施例，提供了一种用于基于深度学习的倒计时信号灯识别的装置900的示意性框图。

该装置900包括获取模块902，其被配置为从相机捕获图像数据。该装置900还包括信号灯检测模块904，其被配置为利用目标检测模型，对图像数据进行检测以识别信号灯并获得信号灯信息。该装置900还包括倒计时识别模块906，其被配置为利用分类模型，对检测为倒计时灯的信号灯进行进一步识别，以获得倒计时具体数字。该装置900还包括关联模块908，其被配置为对倒计时灯与信号灯进行关联，获得包括经关联的信号灯倒计时信息的检测结果。该装置900还包括追踪模块910，其被配置为对检测结果进行追踪，以获得最终倒计时信号灯检测结果。该装置900还可选地包括粗定位模块912，其被配置为从高精度地图设备获取信号灯位置信息，以对图像数据中的信号灯进行粗定位。该装置900还可选地包括修正模块914，其被配置为对最终倒计时信号灯检测结果进行修正，以去除不理想检测结果。

本实施例提供的装置900的具体实现可以参照相应的方法实施例，在此不再赘述。

为清晰起见，图9中没有示出装置900所包括的所有可选单元或者子单元，并使用虚线来示出了可选的模块。上述方法实施例以及通过参考和结合能够得到的实施例所描述的所有特征和操作分别适用于装置900，故在此不再赘述。

本领域技术人员可以理解，装置900中单元或子单元的划分不是限制性的而是示例性的，而是为了更方便本领域技术人员理解，从逻辑上描述其主要功能或操作。在装置900中，一个单元的功能可以由多个单元来实现；反之，多个单元也可由一个单元来实现。本发明并不对此加以限制。

同样的，本领域技术人员可以理解，可以采用各种方式来实现装置800所包含的单元，其包括但不限于软件、硬件、固件或其任意组合，本发明并不对此加以限制。

本发明可以是具有任何可能的技术细节集成级别的系统、方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或媒体)，其上具有用于使处理器执行本发明的方面的计算机可读程序指令。

计算机可读存储介质可以是有形设备，其可以保持和存储用于供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者前述的任何适当组合。计算机可读存储介质的更具体示例的非详尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、机械编码装置(例如，在其上记录有指令的凹槽中的穿孔卡或凸起结构)、以及前述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为本身是暂时性信号，例如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质或外部计算机或外部存储设备下载到相应的计算/处理设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或者网络接口从网络接收计算机可读程序指令，转发这些计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据、或者以一种或多种编程语言(其包括诸如Smalltalk、C++等等之类的面向对象的编程语言、以及诸如“C”编程语言之类的过程编程语言、或者类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全地在用户的计算机上执行、作为独立的软件包部分地在用户的计算机上执行、部分地在用户的计算机上和部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(其包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网进行连接)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化电子电路，来执行计算机可读程序指令，以执行本发明的方面。

可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以生产机器，使得通过计算机的处理器或其它可编程数据处理装置执行的指令，创建用于实现流程图和/或框图块或块集合中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机、可编程数据处理装置和/或其它设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括具有指令的制品，其中这些指令实现流程图和/或框图块或者块集合中指定的功能/动作的方面。

计算机可读程序指令还可以加载到计算机、其它可编程数据处理装置或者其它设备上，以使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤产生计算机实现的处理，使得在计算机、其它可编程装置或者其它设备上执行的指令实现在流程图和/或框图块或块集合中指定的功能/动作。

Claims (9)

1.一种用于倒计时信号灯识别的方法，所述方法包括：

从相机捕获图像数据；

利用基于深度学习的目标检测模型，对所述图像数据进行检测以识别信号灯并获得信号灯信息；其中，所述目标检测模型是在Faster RCCN基础上实现的新型快速RCNN模型；

利用基于卷积神经网络CNN的分类模型，对检测为倒计时灯的信号灯进行进一步识别，以获得倒计时具体数字；

对所述倒计时灯与信号灯进行关联，获得包括经关联的信号灯倒计时信息的检测结果；

对所述检测结果进行追踪，以获得最终倒计时信号灯检测结果；

其中，对所述倒计时灯与信号灯进行关联以获得包括经关联的信号灯倒计时信息的检测结果，包括：

确定倒计时灯和其它信号灯；

获取所述倒计时灯的倒计时灯信息和所述其它信号灯的信号灯信息，其中所述倒计时灯信息包括倒计时灯的图像位置、倒计时具体数字、倒计时灯宽度、倒计时灯颜色，所述其它信号灯的信号灯信息包括信号灯的图像位置、信号灯颜色、信号灯类型；

对于所述倒计时灯和所述其它信号灯中的每一个，分别计算图像上的像素欧氏距离；

针对每一个倒计时灯，将与所述倒计时灯的所述像素欧氏距离小于所述倒计时灯宽度的阈值倍数的所述其它信号灯，选择为所述倒计时灯的候选匹配信号灯；

针对每一个倒计时灯，在其所有候选匹配信号灯中，选取颜色相同、距离最近的信号灯作为成功关联的信号灯。

2.根据权利要求1所述的方法，还包括：

从高精度地图设备获取信号灯位置信息，以对所述图像数据中的信号灯进行粗定位，

其中，利用所述目标检测模型，对所述图像数据中经过粗定位的区域进行检测以识别信号灯并获得信号灯信息。

3.根据权利要求1所述的方法，还包括：

对所述最终倒计时信号灯检测结果进行修正，以去除不理想检测结果。

4.根据权利要求1所述的方法，其中，所述新型快速RCNN模型通过以下至少之一改进：

改善基础网络；

改进RPN区域建议网络的锚点选取；

使用RoI-Align来替代RoI-Pooling；

使用难样本进行在线挖掘。

5.根据权利要求1所述的方法，其中，对所述检测结果进行追踪以获得最终倒计时信号灯检测结果，包括：

根据信号灯颜色、类别、位置，选择所述经关联的信号灯中置信度高于阈值的高置信度信号灯检测结果，以计算其与图像上的上一帧最终信号灯检测结果的欧氏距离，如果信号灯颜色、类别不同，则所述欧氏距离为正无穷；

如果所述高置信度信号灯检测结果是新的信号灯，则加入当前帧的最终信号灯检测结果；

使用匈牙利匹配对所述欧氏距离进行匹配，获得两帧之间信号灯的对应关系；

如果上一帧的最终信号灯检测结果与所述高置信度信号灯检测结果匹配成功，则认为是可靠的检测结果，并加入所述当前帧的最终信号灯检测结果；

如果上一帧的最终信号灯检测结果与所述高置信度信号灯检测结果不匹配，则与所述经关联的信号灯中置信度低于阈值的低置信度信号灯检测结果继续匹配，如果匹配上，则是可靠的检测结果并加入所述当前帧的最终信号灯检测结果，如果不匹配，则丢弃所述低置信度信号灯检测结果，如果所述上一帧的最终信号灯检测结果已经有门限次数都没有匹配，则丢弃所述上一帧的最终信号灯检测结果；

获得当前帧的所有未丢弃的经关联的信号灯检测结果作为追踪结果，其中所述追踪结果的信息包括信号灯的位置、颜色和形状。

6.根据权利要求4所述的方法，其中，在识别信号灯时，如果获得的信号灯在图像位置上重叠，则通过NMS非极大值抑制以根据不同类别的信号灯来各自去除可能的误检以及多余的检测。

7.根据权利要求1所述的方法，其中，所述信号灯信息包括：信号灯颜色、箭头形状、是否是倒计时灯、坐标位置和置信度。

8.一种用于倒计时信号灯识别的装置，用于执行权利要求1至7中任一项的方法。

9.一种用于倒计时信号灯识别的计算机可读存储介质，所述计算机可读存储介质上存储有至少一个可执行的计算机程序指令，所述计算机程序指令用于执行权利要求1至7中任一项的方法。

Images