CN108090411A - 使用计算机视觉和深度学习进行交通信号灯检测和分类 - Google Patents

Abstract

本发明公开了一种用于检测和分类一个或多个交通信号灯的方法。该方法可以包括将RGB帧转换为HSV帧。可以通过至少一个阈值来过滤HSV帧，以获得至少一个饱和度帧。可以从至少一个饱和度帧中提取至少一个轮廓。因此，可以裁切出RGB帧的第一部分，以便包含包括至少一个轮廓的区域。然后可以通过人工神经网络对第一部分进行分类，以确定第一部分是否对应于非交通信号灯类、红色交通信号灯类、绿色交通信号灯类、黄色交通信号灯类等。

Description

使用计算机视觉和深度学习进行交通信号灯检测和分类

技术领域

本发明涉及车载系统，并且更具体地涉及用于将基于图像的交通信号灯的检测和分类用作控制车辆的一个或多个功能的基础的系统和方法。

背景技术

交通信号灯传达至关重要的信息。任何未能正确检测和分类交通信号灯都是可能导致死亡、受伤和/或重大财产损失的严重的安全违规行为。因此，需要的是可靠地检测和分类交通信号灯的计算机化系统。

发明内容

根据本发明，提供一种方法，该方法包含：

将RGB帧转换为HSV帧；

通过至少一个阈值来过滤HSV帧的饱和度信道，以获得至少一个饱和度帧；

从至少一个饱和度帧中提取至少一个轮廓；

裁切出RGB帧的第一部分，该第一部分包含包括至少一个轮廓的区域；和

通过人工神经网络对第一部分进行分类。

根据本发明的一个实施例，该方法中至少一个阈值包含多个阈值。

根据本发明的一个实施例，该方法中至少一个饱和度帧包含多个饱和度帧。

根据本发明的一个实施例，该方法中：

过滤包含通过多个阈值来过滤饱和度信道，以获得多个饱和度帧；和

多个阈值分布在饱和度信道的域上。

根据本发明的一个实施例，该方法中至少一个轮廓包含多个轮廓。

根据本发明的一个实施例，该方法中多个轮廓包含在多个饱和度帧中发现的所有轮廓。

根据本发明的一个实施例，该方法还包括通过尺寸来过滤多个轮廓。

根据本发明的一个实施例，该方法中，过滤多个轮廓包含通过形状来填充多个轮廓。

根据本发明的一个实施例，该方法中：

过滤多个轮廓包含识别多个轮廓的子集；

子集中的每个轮廓具有对应于交通信号灯的形状和尺寸；和

至少一个轮廓包括在子集内。

根据本发明的一个实施例，该方法中：

分类包含确定第一部分和多个类别中的每个类别之间的关联分数；和

多个类别包括：

非交通信号灯类，

红色交通信号灯类，

绿色交通信号灯类，和

黄色交通信号灯类。

根据本发明，提供一种方法，该方法包含：

通过车辆车载的计算机系统接收由车辆的前视摄像机捕获的RGB帧；

通过计算机系统将RGB帧的第一部分与强度阈值进行比较；和

通过计算机系统，当第一部分具有高于强度阈值的强度时根据第一过程来处理RGB帧，并且当第一部分具有低于强度阈值的强度时，根据第二不同的过程来处理RGB帧，该第一过程包含：

将RGB帧转换为HSV帧，

通过至少一个阈值来过滤HSV帧的饱和度信道，以获得至少一个饱和度帧，

从至少一个饱和度帧中提取至少一个第一轮廓，

裁切出RGB帧的第二部分，该第二部分包含包括至少一个第一轮廓的第一区域，和

确定第二部分和多个类别中的每个类别之间的关联分数，多个类别包括非交通信号灯类、红色交通信号灯类、绿色交通信号灯类和黄色交通信号灯类。

根据本发明的一个实施例，该方法还包含根据确定来控制车辆的制动。

根据本发明的一个实施例，该方法中处理的第二过程包含将RGB帧转换为LAB帧。

根据本发明的一个实施例，该方法中处理的第二过程还包含通过至少一个阈值来过滤LAB帧的“a”信道，以获得至少一个“a”帧。

根据本发明的一个实施例，该方法中处理的第二过程还包含从至少一个“a”帧中提取至少一个第二轮廓。

根据本发明的一个实施例，该方法中处理的第二过程还包含裁切出RGB帧的第三部分，该第三部分包含包括至少一个第二轮廓的第二区域。

根据本发明的一个实施例，该方法中处理的第二过程还包含确定第三部分与多个类别中的每个类别之间的关联分数。

根据本发明，提供一种系统，该系统包含：

车辆；

至少一个前视摄像头，该至少一个前视摄像头被固定在车辆上；

至少一个处理器，该至少一个处理器被车载支承在车辆上；和

存储器，该存储器可操作地连接至至少一个处理器，该存储器储存：

计算机视觉模块，该计算机视觉模块被编程用于(1)接收由至少一个前视摄像机捕获的RGB帧，(2)将RGB帧的第一部分与强度阈值进行比较，以及(3)当第一部分具有高于强度阈值的强度时根据第一过程来处理RGB帧，并且当第一部分具有低于强度阈值的强度时根据第二不同的过程来处理RGB帧。

该计算机视觉模块中，第一过程包含：(1)将RGB帧转换为HSV帧，(2)通过至少一个阈值来过滤HSV帧的饱和度信道，以获得至少一个饱和度帧；(3)从至少一个饱和度帧中提取至少一个第一轮廓，以及(4)裁切出RGB帧的第二部分，该第二部分包含包括至少一个第一轮廓的第一区域，以及

神经网络模块，该神经网络模块被编程用于确定第二部分和多个类别中的每个类别之间的关联分数，该多个类别包括非交通信号灯类、红色交通信号灯类、绿色交通信号灯类和黄色交通信号灯类。

根据本发明的一个实施例，其中存储器还包含控制模块，该控制模块被编程用于根据由神经网络模块做出的确定来控制车辆的制动。

根据本发明的一个实施例，其中：

第二过程包含：

将RGB帧转换为LAB帧，

通过至少一个阈值来过滤LAB帧的“a”信道，以获得至少一个“a”帧，

从至少一个“a”帧中提取至少一个第二轮廓，和

裁切出RGB帧的第三部分，该第三部分包含包括至少一个第二轮廓的第二区域；和

神经网络还被编程用于确定第三部分和多个类别的每个类别之间的关联分数。

附图说明

为了容易理解本发明的优点，将通过参考附图中所示的具体实施例来描述上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是限制其范围，本发明将通过使用附图用额外的特征和细节来进行描述和解释，其中：

图1是示出了可以由被车载支承在车辆上的前视摄像机捕获的示例性图像的示意图；

图2是示出了车载支承用于根据本发明检测和分类交通信号灯的系统的车辆的一个实施例的示意图；

图3是示出了用于根据本发明检测和分类交通信号灯的系统的一个实施例的示意性框图；

图4是示出了根据本发明的计算机视觉模块的一个实施例的示意性框图；

图5是示出了从图1的示例性图像到中间图像以及移向信道特定的阈值图像的流程的示意图；

图6是示出了由根据本发明的计算机视觉模块实施的计算机视觉的特定候选过滤方面的示意图；和

图7是用于根据本发明检测和分类交通信号灯的方法的一个实施例的示意性框图。

具体实施方式

将容易理解，如本文的附图中总体上描述和示出的本发明的部件可以以各种各样的不同配置来设置和设计。因此，如附图所示，本发明的实施例的以下更详细的描述并不旨在限制如权利要求保护的本发明的范围，而是仅代表根据本发明的目前预期的实施例的某些示例。通过参考附图将最好地理解目前描述的实施例，其中相同的部件由相同的附图标记表示。

参考图1和2，交通信号灯10传达至关重要的信息，该信息必须被正确地理解以安全地操作车辆12。这一现实为驾驶员和自主驾驶系统带来了重大的挑战。例如，如果驾驶员分心，则他或她可能不能正确地检测和/或响应交通信号灯10。类似地，由于交通信号灯10是普遍存在的，所以可能需要自主驾驶系统来检测和响应各种交通信号灯10。

为了克服这些挑战，根据本发明的车辆12可以车载支承负责检测和分类交通信号灯的系统14。根据本发明的系统14可以将一个或多个车载传感器16的输出用作这种检测和分类的基础。包括在车辆12内的传感器16可以采用任何合适的形式。例如，一个或多个传感器16可以包含摄像机、光传感器、速度计、制动传感器、转向传感器、节气门传感器等或者其组合或子组合。

在所选择的实施例中，根据本发明的系统14可以控制车辆12的一个或多个功能。例如，系统14可以控制车辆12的一个或多个报警系统的运行。因此，如果来自一个或多个传感器16的数据指示车辆12正以过快的速度(例如，没有制动、太少的制动等)接近红灯，则系统14可以指示一个或多个报警系统发布一个或多个的警告(例如，使灯闪烁、使警报器发声、振动方向盘等)。替代地，或者除此之外，系统14可以控制车辆12的一个或多个核心系统的运行。因此，如果来自一个或多个传感器16的数据指示车辆12正以过快的速度接近红灯，则系统14可以启动车辆12的制动器。

在特定的实施例中，根据本发明的一个或多个传感器16可以是面向前或前视摄像机16a(例如，定向至车辆12的前方区域的摄像机)、视角摄像机16b(例如，捕获穿过挡风玻璃的驾驶员的视角的摄像机)等或者其组合或子组合。

由一个或多个传感器16捕获的图像数据(例如，视频)可以由系统14作为单独的图像18或帧18来进行处理。例如，可以将由一个或多个传感器16捕获的一个或多个图像18的所选择的部分馈入系统14内的人工神经网络。人工神经网络可以将这些部分考虑为：这些部分确定在其中表示哪个类别(例如哪个交通信号灯10)。因此，系统14可以根据人工神经网络进行的分类来控制车辆12的一个或多个功能。

在特定的实施例中，由人工神经网络执行的分类可以与捕获分类所基于的传感器数据实时地发生。也就是说，人工神经网络可以在通过一个或多个传感器16捕获到该特定传感器数据之后的非常短的时间段内量化特定传感器数据(例如，图像数据)与一个或多个类别的对应关系。在所选择的实施例中，那个非常短的时间段可以是约1秒或更短。

参考图3，根据本发明的系统14可以使用计算机视觉、深度学习或其组合来生成或收集表征一个或多个交通信号灯10的信息。系统14可以以任何合适的方式来实现。例如，系统14可以具体为硬件、软件或其某种组合。

在所选择的实施例中，系统14可以包括计算机硬件和计算机软件。系统14的计算机硬件可以包括一个或多个处理器20、存储器22、一个或多个用户界面24、其他硬件26等或者其组合或子组合。在特定的实施例中，该计算机硬件的所有或一些子集可以是已经被包括作为车辆12的一部分的硬件。也就是说，计算机硬件的全部或一些部分可以是多用途的，并且执行已经与车辆12的操作相关联的任务。替代地，根据本发明的系统14可以被唯一地专用于检测、分类和/或响应交通信号灯10。

根据本发明的系统14的存储器22可以可操作地连接至一个或多个处理器20并且储存计算机软件。这可以使得一个或多个处理器20能够执行计算机软件。因此，系统14可以通过为车辆12增加和/或修改软件、增加附加硬件或者其组合来增加车辆12的功能或特征。

系统14的用户界面24可以使工程师、技术人员、驾驶员等能够与系统14的各个方面进行交互，运行、个性化设置或控制系统14的各个方面。系统14的用户界面24可以包括一个或多个按钮、按键、键盘、触摸屏、指向设备等或者其组合或子组合。替代地，或者除此之外，用户界面24可以包含一个或多个通信端口(例如，插入式端口、无线通信端口等)，一个或多个外部计算机或设备可以通过该一个或多个通信端口与系统14或其一个或多个部件进行通信。在特定的实施例中，用户界面24可以使得用户(例如，驾驶员)能够在一个或多个与交通信号灯相关的情况下手动地控制(例如，选择、增量地增加或减少)要发布的一个或多个警告。

在所选择的实施例中，系统14的存储器22可以储存(至少暂时性)传感器数据28(例如，由被车载支承在车辆12上的一个或多个传感器16输出的一段或多段信号输出)、由被车载支承在车辆12上的一个或多个传感器16收集或捕获的视频30(例如，一个或多个视频文件30)、包含、限定或对应于由一个或多个传感器16捕获的或从由一个或多个传感器16收集或捕获的视频中提取的一个或多个图像的一个或多个图像文件32等或者其组合或子组合。

另外，存储器22可以储存一个或多个软件模块。例如，存储器22可以储存通信模块34、图像提取模块36、计算机视觉模块38、神经网络模块40、控制模块42、其他数据或软件44等或者其组合或子组合。替代地，通信模块34、图像提取模块36、计算机视觉模块38、神经网络模块40、控制模块42中的一个或多个可以具体为硬件或包括硬件部件。因此，尽管图3将通信模块34、图像提取模块36、计算机视觉模块38、神经网络模块40和控制模块42示出为储存在存储器22中的纯软件模块，但是实际上，这些模块34、36、38、40、42中的一个或多个可以包含硬件、软件或其组合。

通信模块34可以使得诸如传感器数据28、视频文件30、图像文件32、软件部件(例如，一个或多个模块34、36、38、40、42或其更新)、表征交通信号灯10的信息、类别(例如，由系统14的人工神经网络输出的类别信息)等或者其组合或子组合中的一段或多段的数据能够被传入或导出根据本发明的系统14。例如，形成被车载支承在车辆12上的系统14的一部分的通信模块34可以使得系统14能够收到对其计算机视觉模块38、神经网络模块40等的更新。因此，在车辆12之外开发的改进可以根据需要或必要而引入车辆上。

图像提取模块36可以从由一个或多个传感器16捕获的视频中提取一个或多个图像18。例如，图像提取模块34可以从储存在存储器22中的视频文件30、由传感器16输出的视频等中提取一个或多个图像18。在所选择的实施例中，图像提取模块36可以将从而被提取出的一个或多个图像18在存储器22中储存为图像文件32。

计算机视觉模块38可以确定一个或多个图像18的哪些部分应当被神经网络模块40处理。例如，计算机视觉模块38可以识别和裁切图像18中更可能包含交通信号灯10的一个或多个部分。然后可以将这些部分传递至神经网络模块40而进行分类。

神经网络模块40可以包括或支持被编程用于执行或应用深度学习的人工神经网络。由人工神经网络执行或应用的深度学习可以使用一个或多个算法对与由连接到根据本发明的系统14的一个或多个传感器16收集的一个或多个图像18的一个或多个部分相对应的数据的高级抽象进行建模。在所选择的实施例中，这可以通过使用包含多个非线性变换的多个处理层来实现。

例如，对应于神经网络模块40的人工神经网络可以包含具有输入节点、隐含层和输出节点的前馈计算图。对于涉及图像的分类，可以将形成分类的一部分的输入图像的像素值分配给输入节点，并且然后经过多个非线性变换通过网络被馈送。在计算结束时，输出节点可以产生对应于由神经网络推导的类别的值。

为了使对应于神经网络模块40的人工神经网络能够区分不同类别，需要基于示例来训练该人工神经网络。因此，为了创建能够对多个不同的交通信号灯进行分类的人工神经网络，必须将具有已知(例如，示踪)特征的大量示例图像(例如，每种类型为数百个至数千个)用作训练数据。因此，使用反向传播算法，可以训练人工神经网络。

对应于神经网络模块40的人工神经网络可以在运行非生产型系统14内或者非生产型系统14上的硬件时进行训练。例如，人工神经网络可以在计算机实验室中的外部系统14、专门用于训练目的的被车载支承在测试车辆12上的非生产型系统14等上进行训练。一旦被训练，人工神经网络可以被“克隆”或者以其他方式复制到形成生产型车辆12的一部分的生产型系统14上或者输入到形成生产型车辆12的一部分的生产型系统14内。

当被训练时，对应于神经网络模块40的人工神经网络可以接收一个或多个输入(例如，由一个或多个传感器16捕获的一个或多个图像18的所裁切的部分)，并且将这些输入分类为具有训练人工神经网络的每个类别的特定数字关联(例如，百分比“分数”)。因此，如果在十个不同类别上训练人工神经网络，则对于一个或多个输入，人工神经网络可以输出十个数字分数。每个这样的分数可以指示一个或多个输入(或由一个或多个输入反映的物理现实)与不同类别的关联。

在确切或明确的分类中，一个或多个输入可以显示为与一个类别强关联并且和所有其他类别的弱关联。在不确切或不明确的分类中，一个或多个输入可以显示为不与任何特定类别优先关联。例如，对于特定的类别可能有“最高的”分数，但是该分数可能接近于其他类别的其他分数。

因此，在所选择的实施例中，神经网络模块40可以应用一个或多个阈值比较或测试来确定任何特定分类是否足够确切或明确，以便采取行动或受到信赖(例如，分类是否足够确切或明确，以便对车辆12的功能进行一些改变)。例如，神经网络模块40可以测试分类以查看最高分数与所有其他分数之间的间距是否符合或满足某一间距阈值。

可以对根据本发明的人工神经网络进行训练，以识别出某个预定类别的集合(例如，产生其关联分数)。这样的集合内的类别的数量可以在实施例之间改变。在特定的实施例中，类别的数量可以比对应车辆12容易遇到的交通信号灯的类型多1。例如，如果车辆12仅可能遇到三种类型的交通信号灯(例如，圆形红灯、圆形黄灯和圆形绿灯)，则类型的数量可以是4，并且包括非交通信号灯类、红色交通信号灯类、黄色交通信号灯类和绿色交通信号灯类。

然而，在大多数驾驶环境中，车辆12将遇到三种以上类型的交通信号灯10。因此，人工神经网络可以更经常地被训练以识别四个以上的类别。例如，在所选择的实施例中，可以训练根据本发明的人工神经网络来识别非交通信号灯类、红色交通信号灯类、黄色交通信号灯类、绿色交通信号等类、红色-左箭头类、红色-右箭头类、黄色-左箭头类、黄色-右箭头类、绿色-左箭头类，绿色-右箭头类等或者其组合或子组合。

控制模块42可以被编程用于基于所选择的传感器数据28、由神经网络模块40确定的类别等或者其组合来请求、启动或实施一个或多个动作或功能。例如，当控制模块40从数据28和类别确定车辆12正以过快的速度接近红灯时，控制模块42可以请求、启动或实施一个或多个警告(例如使灯闪烁、使警报器发声、振动方向盘等或者其组合或子组合)。替代地，或除此之外，控制模块42可以请求、启动或实施车辆12的制动。

参考图4-6，计算机视觉模块38可以以任何合适的方式确定一个或多个图像18的哪个部分将被神经网络模块40处理。在所选择的实施例中，为了执行其预期功能，计算机视觉模块38可以包括强度模块46、转换模块48、信道过滤模块50、轮廓检测模块52、候选过滤模块54、裁切模块56、导出模块58、其他数据或软件60等或者其组合或子组合。

强度模块46可以确定图像18是否对应于日间环境或夜间环境。在所选择的实施例中，强度模块46可确定讨论中的图像18的上部部分62中的像素的平均强度。如果平均强度大于或等于特定阈值，则强度模块46可以确定图像18对应于或表示(例如，捕获)日间环境。如果平均强度小于特定阈值，则强度模块46可以确定图像18对应于或表示(例如，捕获)夜间环境。

由强度模块46分析的上部部分62可以以任何合适的方式来限定。如图所示，上部部分62可以包含特定窗口或方框内的所有像素。然而，在所选择的实施例中，上部部分62可以仅仅是图像18的上半部、三分之一、四分之一等。

最常见的是，可以根据RGB(红绿蓝)值来限定对应于一个或多个传感器16(例如，一个或多个摄像机)的图像18的各种像素的颜色。例如，每个像素的颜色可以具有从0到255的红色值、从0到255的绿色值和从0到255的蓝色值。然而，这种色彩方案可能不容易揭示由根据本发明的系统14使用的所有信息。因此，在所选择的实施例中，转换模块48可以将图像18转换成具有可以从中提取更多有用信息的色彩方案的中间图像64。

在所选择的实施例中，转换模块48可以对“日”和“夜”图像18进行不同处理。也就是说，当强度模块46确定图像18对应于日间环境时，转换模块48可以按照第一色彩方案或空间来将图像18转换成中间图像64。当强度模块46确定图像18对应于夜间环境时，转换模块48可以按照第二不同的色彩方案或空间来将该图像18转换成中间图像64。

例如，转换模块48可以将“日”RGB图像18转换为HSV(色调-饱和度-纯度色彩模型)、HSB(色调-饱和度-亮度色彩模型)、HSL(色调-饱和度-明度色彩模型)或HSI(色调-饱和度-强度色彩模型)的中间图像64，并且将“夜”RGB图像18转换为LAB(明度-a-b色彩模型)的中间图像64。对应于HSV、HSB、HSL或HIS的中间图像64可以具有色彩方案或色彩空间，该色彩方案和色彩空间具有由分别对应于“色调”和“饱和度”的两个分数或值、和对应于“纯度”、“亮度”，“明度”或“照度”、和“强度”的第三分数或值表示的像素颜色。对应于LAB的中间图像64可以具有色彩方案或色彩空间，该色彩方案或色彩空间具有由对应于“明度”以及“a”和“b”颜色对立维度的分数或值表示的像素颜色。

信道过滤模块50可以从一个或多个中间图像64产生一个或多个信道特定的阈值图像66。信道可以对应于或者是色彩方案或色彩空间的特定分量。例如，在HSV、HSB、HSL或HSI色彩方案或色彩空间中，颜色的“饱和度”分量可以对应于或者是信道。类似地，在LAB色彩方案或色彩空间中，颜色的“a”分量可以对应于或者是信道。因此，信道过滤模块50可以处理一个或多个中间图像64，以通过在“饱和度”和/或“a”信道上滤除具有低于特定阈值的所有像素来产生一个或多个信道特定的阈值图像66。

对于特定的中间图像64，信道过滤模块50可以产生多于一个信道特定的阈值图像66。在这样的实施例中，不同的信道特定的阈值图像66可以对应于不同的阈值。例如，信道过滤模块50可以在用于获得多个信道特定的阈值图像66的信道域内以多个阈值(例如，50、100、150、200、250等或者其组合或子组合)来滤除与“日”环境相对应的中间图像64的“饱和度”信道。类似地，信道过滤模块50可以在用于获得多个信道特定的阈值图像66的信道域内以多个阈值(例如，50、100、150、200、250等或者其组合或子组合)来滤除与“夜”环境对应的中间图像64的“a”信道。使用大量阈值可以应对太阳光或其他光源的不同强度以及一天中的不同时间。

轮廓检测模块52可以在一个或多个信道特定的阈值图像66中描绘或识别一个或多个物体68上的边界。在所选择的实施例中，轮廓检测模块52可以从一个或多个边界获得特定的轮廓。然而，如此识别的轮廓可能需要是物体轮廓。因此，如此识别的轮廓通常可以是闭合曲线。

在图5所示的假设的信道特定的阈值图像66中，可以存在三个物体68。物体68对应于路灯68a、红色交通信号灯68b和道路标志68c。因此，如果轮廓检测模块52在该信道特定的阈值图像66上操作，则其可以识别三个轮廓，即：对应于路灯68a的第一轮廓、对应于红色交通信号灯68b的第二轮廓、以及对应于道路标志68c的第三轮廓。

候选过滤模块54可以用于由轮廓检测模块52识别的一个或多个轮廓，以滤除不太可能表示交通信号灯10的物体68。在所选择的实施例中，候选过滤模块54可以分析一个或多个物体68的尺寸和/或形状，以查看其尺寸和/或形状是否适合于交通信号灯10的预期参数内。如果尺寸和/或形状不适合于这样的参数内，则物体68可以被滤除。

例如，许多(如果不是大多数的话)交通信号灯10(即使是箭头的那些)具有大体上等于其高度72的宽度70。因此，候选过滤模块54可以滤除不具有在特定范围内的宽度70与高度72的比率的物体68。例如，在图5所示的假设的信道特定的阈值图像66中，存在三个物体68。识别的物体68的轮廓可以指示：路灯68a和道路标志68c具有大于其各自的高度72两倍的各自的宽度70。因此，候选过滤模块54可以将由于具有表示交通信号灯10的低可能性的两个物体68a、68c滤除。

替代地，或除此之外，交通信号灯10将具有图像18中的相对尺寸。也就是说，这些尺寸将遮盖或消耗宽度方向、高度方向和/或对应于特定范围的区域方向的多个像素。因此，候选过滤模块54可以滤除在宽度70、高度72和/或区域方面太大或太小(即，不属于特定范围)的物体68。

例如，在图5所示的假设的信道特定的阈值图像66中，存在三个物体68。识别的物体68的轮廓可以指示道路标志68c具有比预期的交通信号灯10更大(例如，消耗更多的像素)的宽度70。因此，候选过滤模块54可以将由于具有表示交通信号灯10的低可能性的物体68c滤除。

裁切模块56可以从对应于通过由候选过滤模块54执行的过滤的一个或多个物体68的图像18(例如，原始RGB图像的部分74)中裁切出感兴趣的一个或多个区域74，在所选择的实施例中，裁切的边界78可以匹配或紧密地追踪由轮廓检测模块52识别的轮廓。替代地，裁切的边界78可以包含比由轮廓检测模块52识别的轮廓更大(例如，略微更大)的轮廓，以便提供稍多的环境。

一旦感兴趣的一个或多个区域74已经被裁切出，输出模块58就可以将裁切出的区域发送到人工神经网络(例如，形成神经网络模块40的一部分的人工神经网络)，以根据本发明进行分类。因此，可以仅在可能包含交通信号灯10的图像18的小部分74上执行分类。由计算机视觉模块38执行的相对较快的处理可以显着地降低在相对较慢和/或更多的严密计算的分类过程中花费的时间量。因此，根据本发明的交通信号灯10的检测和分类可以是相对快速的过程(例如，在大约1秒或更短时间内完成)。

参考图7，在所选择的实施例中，将人工神经网络的一个或多个分类算法应用于图像数据的过程80可以从获得82一个或多个图像18(例如，一个或多个RGB图像18)开始。可以测量84该一个或多个图像18的部分62(例如，上部部分62)的平均强度。然后可以做出86关于部分62的平均强度是否等于或大于a阈值的确定。

如果是，则可以转换88一个或多个图像18以形成处于HSV、HSB、HSL或HSI色彩方案等的一个或多个中间图像64。此后，可以基于其“S”或“饱和度”信道以该信道域内的一个或多个阈值来过滤90中间图像64。相反，如果部分62的平均强度低于阈值，则可以转换92一个或多个图像18以形成处于LAB色彩方案等的一个或多个中间图像64。此后，可以基于其“a”信道以该信道域内的一个或多个阈值来过滤94中间图像62。

根据本发明的过滤90、94可以产生一个或多个信道特定的阈值图像66。因此，可以处理一个或多个信道特定的阈值图像66中的每个，以便检测96其中任何候选物体68的任意轮廓。此后，可以将不具有像交通信号灯10的特定范围内的尺寸和/或形状一样的尺寸和/或形状的候选物体68滤除98。相比之下，在对应于具有像交通信号灯10的特定范围内的尺寸和/或形状一样的尺寸和/或形状的候选物体68(例如，遮盖、占据与候选物体68相同的像素空间)的一个或多个图像18(例如，获得82的原始图像18)内的感兴趣的区域74可以被裁切出100并且通过一个或多个人工神经网络进行分类102。

此后，可以基于由一个或多个人工神经网络做出102的一个或多个分类来控制104车辆12。这样的控制104可以包括向驾驶员发出一个或多个警告。替代地，或除此之外，这样的控制104可以包括主动制动以降低车辆12的速度和/或使车辆12停止。

图7中的流程图示出了根据与本发明一致的各种实施例可能实施系统、方法和计算机程序产品的架构、功能和操作。在这方面，流程图中的每个框可以表示代码的模块、段或部分，该代码的模块、段或部分包含用于实施指定的逻辑函数的一个或多个可执行指令。还将注意到，流程图的每个框的说明以及流程图中框的组合的说明可以由执行指定功能或动作的专用基于硬件的系统或专用硬件和计算机指令的组合来实施。

还应当注意，在一些替代实施方式中，在框中提到的功能可以不按图中所示的顺序发生。在特定的实施例中，连续示出的两个框根据所涉及的功能，实际上可以大体上同时执行，或者有时可以以相反的顺序执行框。替代地，如果不需要，则可以省略某些步骤或功能。

在上述公开中，已经参考了构成本发明的一部分的附图，并且在附图中通过图示的方式示出了可以实施本公开的具体实施方式。应当理解，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以改变结构。说明书中参考“一个实施例”、“实施例”、“示例性实施例”、“所选择的实施例”、“特定的实施例”等，表明所描述的一个实施例或多个实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括特定的特征、结构或特性。此外，这样的语句不一定指代相同的实施例。另外，当结合实施例描述特定的特征、结构或特性时，认为结合不管是否明确描述的其他实施例来影响这些的特征、结构或特性是在本领域技术人员的知识范围内。

本发明所公开的系统、设备和方法的实施方式可以包含或利用包括计算机硬件的专用或通用计算机，例如，比如，本发明所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于运载或储存计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。储存计算机可执行指令的计算机可读介质是计算机存储介质(装置)。运载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制，本公开的实施方式可以包含至少两种明显不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、CD-ROM(只读光盘)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储装置、或者可以用于存储计算机可执行指令或数据结构的形式的所需的程序代码并且可以由通用或专用计算机访问的任何其他介质。

本发明所公开的设备系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合中的一个)传输或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，传输介质可以用于以计算机可执行指令或数据结构的形式运载计算机可执行指令或数据结构的形式的期望的程序代码，并且可以由通用或专用计算机访问。

计算机可执行指令包含，例如，在处理器执行时使通用计算机、专用计算机或专用处理装置来执行某个功能或功能组的指令和数据。计算机可执行指令可以是，例如，二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。虽然主题已经用特定于结构特征和/或方法动作的语言描述，但是应当理解，所附权利请求中限定的主题不一定限于上述所描述的特征或行为。更确切地说，所描述的特征和行为被公开为实现权利请求的示例性形式。

本领域技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实施本公开，包括内联车辆计算机、个人计算机、台式计算机、便携计算机、消息处理器、手提式装置、多处理器系统、基于微处理器或可编程的消费性电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(掌上电脑)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储装置二者中。

此外，在适当的情况下，本发明所描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本发明所描述的系统和过程中的一个或多个。在整个说明书和权利要求书中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称指代。本文档不打算区分名称不同而非功能不同的部件。

应当注意，上述传感器实施例可以包含计算机硬件、软件、固件或其任何组合来执行其功能的至少一部分。例如，传感器可以包括被配置用于在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。这些示例性装置设置在本发明中的目的是说明，并不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实施。

本公开的至少一些实施例已经针对包含储存在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。这样的软件当在一个或多个数据处理装置中执行时，使装置如本文所述地运行。

虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅仅是作为示例而非限制来提出的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的广度和范围不应该由上述示例性实施例中的任何一个来限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的提出了前面的描述。它不是穷举的，也不是将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，前述的替代性的实施方式可用于期望形成本发明的另外的混合实施例的任何组合。

Claims (15)

1.一种方法，包含：

将RGB帧转换为HSV帧；

通过至少一个阈值来过滤所述HSV帧的饱和度信道，以获得至少一个饱和度帧；

从所述至少一个饱和度帧中提取至少一个轮廓；

裁切出所述RGB帧的第一部分，所述第一部分包含包括所述至少一个轮廓的区域；和

通过人工神经网络对所述第一部分进行分类。

2.根据权利要求1所述的方法，其中所述至少一个饱和度帧包含多个饱和度帧。

3.根据权利要求2所述的方法，其中：

所述过滤包含通过所述多个阈值来过滤所述饱和度信道，以获得所述多个饱和度帧；和

所述多个阈值分布在所述饱和度信道的域上。

4.根据权利要求3所述的方法，其中所述至少一个轮廓包含多个轮廓，并且其中所述多个轮廓包含在所述多个饱和度帧中发现的所有轮廓。

5.根据权利要求4所述的方法，还包括通过尺寸或形状来过滤所述多个轮廓。

6.根据权利要求5所述的方法，其中：

过滤所述多个轮廓包含识别所述多个轮廓的子集；

所述子集中的每个所述轮廓具有对应于交通信号灯的形状和尺寸；和所述至少一个轮廓包括在所述子集内。

7.根据权利要求6所述的方法，其中：

所述分类包含确定所述第一部分和多个类别中的每个所述类别之间的关联分数；和

所述多个类别包括：

非交通信号灯类，

红色交通信号灯类，

绿色交通信号灯类，和

黄色交通信号灯类。

8.一种方法，包含：

通过车辆车载的计算机系统接收由所述车辆的前视摄像机捕获的RGB帧；

通过所述计算机系统将所述RGB帧的第一部分与强度阈值进行比较；和

通过所述计算机系统，当所述第一部分具有高于所述强度阈值的强度时根据第一过程来处理所述RGB帧，并且当所述第一部分具有低于所述强度阈值的强度时，根据第二不同的过程来处理所述RGB帧，所述第一过程包含：

将所述RGB帧转换为HSV帧，

通过至少一个阈值来过滤所述HSV帧的饱和度信道，以获得至少一个饱和度帧，

从所述至少一个饱和度帧中提取至少一个第一轮廓，

裁切出所述RGB帧的第二部分，所述第二部分包含包括所述至少一个第一轮廓的第一区域，和

确定所述第二部分和多个类别中的每个所述类别之间的关联分数，所述多个类别包括非交通信号灯类、红色交通信号灯类、绿色交通信号灯类和黄色交通信号灯类。

9.根据权利要求8所述的方法，还包含根据所述确定来控制所述车辆的制动。

10.根据权利要求9所述的方法，其中所述处理的所述第二过程包含将所述RGB帧转换为LAB帧。

11.根据权利要求10所述的方法，其中所述处理的所述第二过程还包含以下中的至少一个：通过至少一个阈值来过滤所述LAB帧的“A”信道以获得至少一个“A”帧、从所述至少一个“A”帧中提取至少一个第二轮廓、和确定所述第三部分与所述多个类别中的每个所述类别之间的关联分数。

12.根据权利要求11所述的方法，其中所述处理的所述第二过程还包含裁切出所述RGB帧的第三部分，所述第三部分包含包括所述至少一个第二轮廓的第二区域。

13.一种系统，包含：

车辆；

至少一个前视摄像头，所述至少一个前视摄像头被固定在所述车辆上；

至少一个处理器，所述至少一个处理器被车载支承在所述车辆上；和存储器，所述存储器可操作地连接至所述至少一个处理器，所述存储器储存：

计算机视觉模块，所述计算机视觉模块被编程用于(1)接收由所述至少一个前视摄像机捕获的RGB帧，(2)将所述RGB帧的第一部分与强度阈值进行比较，以及(3)当所述第一部分具有高于所述强度阈值的强度时根据第一过程来处理所述RGB帧，并且当所述第一部分具有低于所述强度阈值的强度时根据第二不同的过程来处理所述RGB帧；

所述计算机视觉模块中，所述第一过程包含：(1)将所述RGB帧转换为HSV帧，(2)通过至少一个阈值来过滤所述HSV帧的饱和度信道，以获得至少一个饱和度帧；(3)从所述至少一个饱和度帧中提取至少一个第一轮廓，以及(4)裁切出所述RGB帧的第二部分，

所述第二部分包含包括所述至少一个第一轮廓的第一区域，以及

神经网络模块，所述神经网络模块被编程用于确定所述第二部分和多个类别中的每个所述类别之间的关联分数，所述多个类别包括非交通信号灯类、红色交通信号灯类、绿色交通信号灯类和黄色交通信号灯类。

14.根据权利要求13所述的系统，其中所述存储器还包含控制模块，所述控制模块被编程用于根据由所述神经网络模块做出的所述确定来控制所述车辆的制动。

15.根据权利要求14所述的系统，其中：

所述第二过程包含：

将所述RGB帧转换为LAB帧，

通过至少一个阈值来过滤所述LAB帧的“A”信道，以获得至少一个“A”帧，

从所述至少一个“A”帧中提取至少一个第二轮廓，和

裁切出所述RGB帧的第三部分，所述第三部分包含包括所述至少一个第二轮廓的第二区域；和

所述神经网络还被编程用于确定所述第三部分和所述多个类别中的每个所述类别之间的关联分数。