CN102800207A - 交通信号检测系统和方法 - Google Patents

Abstract

本发明涉及一种交通信号检测系统和方法，可以确定车辆位置，使用与车辆相连的摄像机搜集图像，结合车辆位置和/或先前搜集的关于交通信号或其他物体(例如交通标志)的位置信息分析图像，和使用该分析在搜集到的图像内定位交通信号图像。可以确定信号的位置(例如地理位置)，并存储以备之后使用。信号的识别可以被用于提供输出例如信号状态，如绿灯。

Description

交通信号检测系统和方法

技术领域

本发明涉及检测与交通相关的物体或信号装置，诸如使用例如位置知识、先前检测到的物体知识和图像组合的交通信号灯。

背景技术

相当高百分比的交通(如车辆)事故是在交叉路口发生的，并且部分这些事故都是由于驾驶员没有觉察到交通信号造成的。为驾驶员提供关于交通信号的信息并使驾驶员在车辆靠近这些信号前或靠近这些信号时觉察到这些信号可以帮助驾驶员避免这类事故。此外，将与这些信号有关的信息输入到系统中，如自行调节的自适应巡航控制(ACC)，可以有益于这些系统的性能。

通过对从例如沿行驶方向指向的摄像机拍摄的图像进行自动电脑图像分析可以提供关于交通信号的信息。但是该分析可能是不准确的并且，可能花费比在高速行驶的车辆情况下可利用的时间更多的时间。

发明内容

一种方法和系统可以确定车辆位置、使用与车辆相连的摄像机搜集图像、结合车辆位置和/或先前搜集关于交通信号或其他物体(如，交通标志)的位置的信息分析图像以及使用该分析在搜集的图像内定位交通信号的图像。可以确定信号的位置并存储用于随后使用。可以使用信号的识别以提供输出，例如信号的状态(如，绿灯)。

方案1：一种方法，包括：

确定车辆位置；

使用与车辆相连的摄像机搜集图像；以及

结合车辆位置和先前搜集的关于交通信号位置的信息分析图像，以在搜集的图像内定位交通信号的图像。

方案2：如方案1所述的方法，包括确定交通信号的地理位置。

方案3：如方案1所述的方法，其中先前搜集的关于交通信号位置的信息是基于通过与车辆相连的摄像机拍摄的图像搜集的。

方案4：如方案1所述的方法，包括利用交通信号的位置更新先前搜集的关于交通信号位置的信息。

方案5：如方案1所述的方法，包括通过创建各自围绕图像一部分的一系列候选窗口来定位交通信号的图像，其中每个窗口的选择都由先前搜集的关于交通信号位置的信息来加权。

方案6：如方案1所述的方法，包括通过分析图像各部分定位交通信号的图像，其中所述分析由与已知地图数据结合的车辆位置来加权。

方案7：如方案1所述的方法包括确定交通信号的状态。

方案8：一种系统，包括：

存储先前搜集的关于交通信号位置的信息的数据库；

摄像机；

车辆位置检测系统；和

控制器，其用于：

接收来自车辆位置检测系统的车辆位置；

使用摄像机搜集图像；和

结合车辆位置和先前搜集的关于交通信号位置的信息分析图像，以在搜集的图像内定位交通信号图像。

方案9：如方案8所述的系统，其中控制器用于确定交通信号的地理位置。

方案10：如方案8所述的系统，其中先前搜集的关于交通信号位置的信息是基于由摄像机拍摄的图像搜集的。

方案11：如方案8所述的系统，其中控制器利用交通信号的位置更新先前搜集的关于交通信号位置的信息。

方案12：如方案8所述的系统，其中控制器通过创建各自围绕图像的一部分的一系列候选窗口定位交通信号的图像，其中每个窗口的选择都由先前搜集的关于交通信号位置的信息来加权。

方案13：如方案8所述的系统，其中控制器通过分析图像的各部分定位交通信号的图像，其中所述分析由与已知地图数据结合的车辆位置来加权。

方案14：如方案8所述的系统，其中控制器用于确定交通信号的状态。

方案15：一种方法，其包括：

在车辆内，拍摄图像；

在图像内的多个候选区域内搜索交通信号，其中确定候选区域以用作关于交通信号位置的输入信息；和

确定在图像内交通信号的状态。

方案16：如方案15所述的方法，包括确定交通信号的地理位置。

方案17：如方案15所述的方法，其中关于交通信号位置的信息是基于在车辆内拍摄的图像搜集的。

方案18：如方案15所述的方法，包括利用交通信号的位置更新关于交通信号位置的信息。

方案19：如方案15所述的方法，其中候选区域各限定图像的一部分，其中每个区域的确定都由关于交通信号位置的信息来加权。

方案20：如方案15所述的方法，其中在图像内搜索交通信号由车辆的位置来加权。

附图说明

认为是本发明的主题在说明书的结束部分被特别地指出并明确地要求保护。但是，通过参照下面详细的描述并与附图一起阅读时可以最好地理解本发明，关于操作的组织和方法，以及其目标、特征和优势，其中：

图1是根据本发明的一个实施例的车辆和信号检测系统的示意图；

图2是根据本发明的一个实施例的信号检测系统的示意图；

图3是描述根据本发明的一个实施例的方法的流程图；

图4是描述根据本发明的一个实施例的方法的流程图；和

图5根据本发明的一个实施例描述了来自安装在车辆内的摄像机的一个视图，其中添加了候选窗口。

附图标记可以在附图间重复，以表征相应的或类似的元件。此外，附图中示出的一些模块是可以结合成单一功能元件。

具体实施方式

为了提供对本发明的全面理解，在接下来的详细描述中阐述了大量具体细节。但是，本领域技术人员会理解的是，本发明的具体实施例在不具备这些具体细节的情况下也可能实施。其他情况下，公知的方法、工序、元件和流程没有详细描述，以致不会令本发明难于理解。

除非以其它方式特别指出，如根据下面的讨论明显地的是，在整个说明讨论中使用的术语如“处理”、“计算”、“存储”、“确定”或类似术语都是指计算机或计算系统或类似的电子计算装置的操作和/或处理，类似的电子计算装置操作和/或将计算系统的寄存器和/或存储器内表示为如电子的物理量的数据转换成类似地表示为计算系统的存储器、寄存器或其它这种信息存储、传输或显示装置内的表示为物理量的其它数据。

本发明的实施例可以结合车辆的位置信息(和相关信息，如行驶方向，速度，加速度，航向，偏航角等)和可视信息如从车内摄像机拍摄的图像以定位(如确定绝对位置和/或图像中的位置)信号装置如交通信号。用于此文中时，交通信号可以包括交通信号灯，诸如具有三个或其他数量的灯例如红灯、黄灯和绿灯的传统交通信号灯，或其他交通、火车、车辆或其他信号发生装置。先前搜集的、获得的或输入的关于例如道路或交叉路口的几何形状和交通信号的位置的知识可以用于在图像中定位信号。可以例如使用安装在车辆上的诸如数字摄像机的摄像机收集图像。典型地，摄像机是沿通常行驶方向向前朝向，并且可以例如被安装在后视镜的前面或其他合适的位置。车辆典型地为机动车辆，如私人轿车、厢式汽车或卡车，但是本发明的实施例也可以被用于其他车辆。位置信息可以来自车辆位置检测系统，如全球定位系统(GPS)信息，航位推算信息(如轮速，加速计等)或其他信息。

虽然描述了如被检测的信号，但是使用本发明的实施例，也可以检测其他道路或与交通相关的物体。例如，可以检测交通标志、桥梁、出口坡道、车道数量、路肩或其他物体。

在此文进行讨论时，摄像机与车辆的位置、观察位置、航向或方向以及其它位置和方位数据通常是可以互换的。在此文中使用时，由于图像是由安装在车辆内的摄像机拍摄的，因此与车辆的距离和角度通常就是与摄像机的距离和角度。

位置信息和先前搜集的或获得的信息可以用于通报图像分析。也可以使用准备好的、先前存在的或公开的可获得的地图信息，如Navteq地图或谷歌提供的地图。在某些实施例中，这可以使图像分析更快和/或更准确，尽管也可能实现其他的或不同的好处。例如，可以输入或获取与某一区域例如具有交通信号的交叉路口相关的信息。该信息可以在车辆先前行驶通过交叉路口期间获取。交叉路口的几何形状，包括已知的交通信号的位置可以是已知的。关于先前识别的交通信号位置的信息可以与当前已知的车辆的位置信息结合，以在由车辆搜集的图像中识别类似区域从而确定交通信号的位置。由摄像机拍摄的图像可以被分析用于与车辆的位置和已知的地图数据或关于交叉路口的位置的知识和/或先前搜集的关于信号位置的信息结合的信号，以在搜集的图像中定位交通信号的图像。

在某些实施例中，在每通过一个区域、路段或交叉路口时，可以汇集更多信息，并且因此在每次连续的通过时，可以进行更准确和/或更快速的图像分析。信号位置信息可以被存储，并且随着更多的信号被检测到这些信息的量也会增加。

在图像中识别出信号装置如交通信号之后，可以分析它们以确定它们的状况或状态(如停止、黄灯、绿灯、禁止左转、允许左转等)。该状态可以例如通过显示器、警报器、可听音等显示或提供给驾驶员或其他使用者。该状态可以被提供给自动化过程如ACC以使车辆自动地减速。

图1是根据本发明的一个实施例的车辆和信号检测系统的示意图。车辆10(如汽车、卡车或其他车辆)可以包括信号检测系统100。在车辆内或与车辆相连的摄像机12例如能够拍影像和/或静像的摄数码摄像机，可以获取图像并通过例如有线线路14或无线线路将图像传送到信号检测系统100。通常，摄像机12是通过挡风玻璃22朝前面向(例如面向通常行驶方向)图像，并且可以例如被安装到后视镜24上，但是也可以被设置在另外的位置，如乘客舱18外面。可以使用多于一个的摄像机以从不同观察位置获得图像。

在一个实施例中，信号检测系统100是或者包括安装在乘客舱18内的车辆仪表板上或行李箱20内的计算装置，并且可以是传统的车辆位置检测系统(如GPS)的一部分、与其相连、从其接受位置信息或是将其包括在内。在一个可选的实施例中，信号检测系统100可以位于车辆的另一部分内，可以位于车辆的多个部分内，或者可以具有其远程定位的功能性的全部或部分(例如，在远程服务器内)。

图2是根据本发明的一个实施例的信号检测系统的示意图。信号检测系统100可以包括一个或多个处理器或控制器110，存储器120，长期存储器130，输入装置或区域140和输出装置或区域150。输入装置或区域140可以是，例如触摸屏、键盘、麦克风、指示器装置或其他装置。输出装置或区域150可以是例如显示器、屏幕、诸如扩音器或头戴式耳机等音频装置或其他装置。输入装置或区域140与输出装置或区域150可以例如被组合成可以是系统100一部分的触摸屏显示器和输入端。信号检测系统100可以包括GPS系统180或与其关联或被连接到其上，或包括用于接收或确定如车辆10的位置信息的其它系统，或与其关联或连接到其上。GPS系统180可以位于车辆内的与系统100分离的位置。

系统100可以包括一个或多个数据库170，其可以包括例如关于先前遇到的每个信号(如交通或其他信号)的信息，包括信号的地理位置或三维(3D)位置。一个物体例如信号、车辆或图像中识别的物体的地理或3D位置可以是例如在GPS系统中使用的格式或位置、xyz坐标集或其他合适的位置信息。关于信号的其他信息可以被存储，例如检测到的交通信号的像斑、关于信号存在的置信度值、用于信号位置的先前估算或测量的历史或与信号相关的信号定位或估算定位的高斯分布。数据库170可以全部或部分地存储在存储器120、长期存储器130中的一个或两个内或其他装置内。系统100可以包括地图数据175，尽管该数据可以远程获取并且可以与系统100分开存储。

处理器或控制器110可以是例如中央处理单元处理器(CPU)、芯片或任何合适的计算或运算装置。处理器或控制器110可以包括多处理器，并且可以包括通用处理器和/或专用处理器，如图形处理芯片。处理器110可以执行例如存储在存储器120或长期存储器130内的代码或指令，以实施本发明的实施例。

存储器120可以是或可以包括如随机存取存储器(RAM)、只读存储器(ROM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SD-RAM)、双倍数据速率(DDR)存储器芯片、快闪式存储器、易失存储器、非易失存储器、高速缓冲存储器、缓冲器、短期记忆单元、长期记忆单元或其它合适的记忆单元或存储单元。存储器120可以是或可以包括多重存储单元。

长期存储器130可以是或可以包括例如硬盘驱动器、软盘驱动器、光盘(CD)驱动器、可重写光盘(CD-R)驱动器、通用串行总线(USB)装置或其他合适的可移动的和/或固定的存储单元，并且可以包括多重这些单元或这些单元的组合。

存储器120和/或长期存储器130和/或其他存储装置可以存储交叉路口或车辆10行驶过的其他区域的几何形状，其可能包括例如信号的位置坐标(如X/Y/Z坐标，GPS坐标)。信号位置可以诸如像被存储为经度、纬度和高度或海拔。车辆位置数据可以包括航向，并因此可以包括例如经度、纬度和高度或海拔和航向数据等六个数据，其中航向数据可包括三个数据。也可以使用其他的用于描述信号位置和车辆位置和/或航向的方法和系统。在一个实施例中，所述系统假定信号面向接近的车辆(例如配装该系统的车辆)。

在一些实施例中，由车辆搜集的信号数据对于搜集数据的特定车辆是有用的或与其相关，并且因此由特定车辆“开发”或拍摄，用于由该特定车辆内的系统100使用。

图3是描述根据本发明的一个实施例的方法的流程图。图3中的操作可以由例如参照图1和2中所述的系统执行，但也可以由其他系统和装置执行。

在操作300中，车辆可以是行驶的，并且可以通常沿前进方向拍摄或搜集图像。可以以规律的时间间隔搜集图像，例如每隔100毫秒，或以其它间隔。可以将图像拍摄为视频。例如，车辆内或与车辆相连的一个摄像机或多个摄像机，诸如一个或多个朝前面向的摄像机，如摄像机12，可以拍摄图像。

在操作310中，例如通过从车辆位置检测系统例如GPS(如系统180)接收车辆位置、通过航位推算或通过系统的组合，可以确定车辆的位置。

在操作320中，可以分析拍摄的图像，可以检测信号装置的图像并在拍摄的图像中定位信号装置的图像，并可以确定检测到的信号的位置(例如，地理位置)。这可以基于例如公知的信号诸如交通信号的模板或特征例如通过公知的物体识别技术来完成。由于不同的辖区内信号可能看起来不一样，因此在不同的应用、位置或辖区内可以使用不同的特定信号模型或特征。可以利用或结合输入例如由Navteq或谷歌提供的地形图输入来分析图像并可以完成信号检测。可以利用或结合先前的由车辆内系统获得的交叉路口信息或信号位置信息来分析图像并可以完成信号检测；这些信息可以与特定车辆相关并存储在特定车辆内或存储用于特定车辆。参照图4提供了用于在图像中检测信号装置的示例方法。

信号检测的结果可以包括例如信号图像或在图像中信号的位置和信号的地理位置。

在操作330中，如果检测到信号或在操作320中做出了交通信号存在的肯定确定，则可以更新车辆内系统中存储的信号位置信息。该更新可以包括例如在数据库(如数据库170)或其他数据结构或存储器或长期存储器内存储信号的进入和其地理位置。该更新可以包括例如调整先前存储的信号的地理位置。该更新可以包括记录在某位置处或其附近不止一次(或该信号被检测到的次数)检测到的信号。该更新可以包括存储关于最新检测到的交通信号的信息。可以将某区域由于图像质量问题、处理局限或其他原因先前未检测到的信号加入数据库。先前其位置被错误计算或已移动的信号可以使它们的位置在数据库中得到修改。

信号位置信息可以在GPS坐标x中表述(例如，纬度、经度和高度)，并且可以包括相应的协方差矩阵(P)。新的或更新的测量位置z可以与协方差矩阵(M)在相同的坐标系中。

信号位置的高斯分布N(x，P)可以表示为[R_P，z_P]，其中，

并且z_P＝R_Px。类似地，新测量值z的高斯分布N(z，M)可以表示为[R_M，z_M]。信号位置

的组合的、更新的或新的估算值可以计算为 $\hat{x}={(R_P^T{R}_P+R_M^T{R}_M)}^{-1}(R_P^T{z}_P+R_M^T{z}_M),$ 其中是矩阵 $R_P^T{R}_P+R_M^T{R}_M$ 的楚列斯基(Cholesky)分解因子。

可以基于新信息使用其他计算来更新信号位置。

在操作340中，可以确定信号的状况或状态。状态可以是例如红色(停止)、黄色(减速)、绿色(通行)、右转、左转、禁止右转、禁止左转、无效或差错(例如停电或者错误的交通信号的情况)或其他状况或状态。不同辖区可以具有与不同的状况相关的不同的输入或图像，例如在某些辖区内黄灯可以表示减速，而在其他辖区内黄灯表示信号将很快变为绿色或“通行”。其中检测到信号的图像的特定位置可以被分析用于与相关辖区或区域的特定状态相关的已知颜色或形态(例如绿色，红色，黄色)。

在操作350中，可以产生输出或者可以使用状态。例如，状况或状态可以以显示或信号的形式展示给使用者，例如通过一个或多个输出装置或区域150(例如，来自仪表板或驾驶室的扬声器的说明“停止”的音频信号)。状态可以被输入到自动化系统，例如ACC。状态可以促使这样的自动化系统或驾驶员减速或停车。如果信号中检测到红色或停止而驾驶员没有停车或者没有开始停车，则将呈现给使用者交叉路口交通信号灯违规警报。

在操作360中，如果没有检测到交通信号灯或在操作320做出了关于交通信号存在的否定确定，则可以更新车辆内系统内存储的信号位置信息。在一个实施例中，数据库中的每个信号可以都与置信度值相关。如果预期信号未检测到，则置信度值会减小。如果置信度值低于阈值，则相应的信号进入将从系统中删除。如果预期信号被检测到，则置信度值会增加。

可以使用其他操作或系列操作。操作无需以提出的顺序进行；提出的顺序仅为了组织本说明。例如，可以在持续或周期性的基础上搜集车辆位置信息，在持续或周期性的基础上进行图像搜集，并且不必在图像搜集和分析之后再进行车辆位置信息搜集。

在一个实施例中，面朝前的摄像机使其位置被校准以参照与车辆相连的GPS天线的相位中心。图像中的每个像素都可以对应来自例如天线位置(例如，来自GPS天线位置的纵向和横向位移)的相应位置，假定相应的真实世界中的点的高度是已知的。如果所述高度未知，那么可以使用在已知位置从车辆拍摄的一系列图像构成的图像平面(例如信号的行和列)中的信号位置的多个测量值，以确定所述高度。

限定了例如道路和交叉路口(例如，两条或三条路的交汇处)的地理特征的地形图输入可以与车辆的位置信息或成像的物体的位置信息结合以加权图像中出现信号的可能性和/或加权检测过程。车辆位置信息可以指定给每个图像或图像中识别的物体。指定给图像的位置信息可以是拍摄图像时车辆的位置信息——图像中所示的物体自身可以具有不同的位置信息。如果指定给图像的或与图像中物体相关的GPS信息根据地图与交叉路口不相符，那么可以加权特征提取过程以降低信号检测的可能性(当然，在图像中信号清楚的识别可以不考虑这点)。如果指定给图像的或与图像中的物体相关的GPS信息根据地图确实与交叉路口相符，那么可以加权特征提取过程以提高信号检测的可能性。

关于由车辆内系统先前的搜集的信号位置的信息可以与车辆的位置信息或拍摄的图像中物体的位置信息结合，以加权图像中以及图像中特定位置处信号出现的可能性。基于图像拍摄时的车辆位置和候选信号与车辆的估算距离和相对位置，可以将要分析的图像区域指定给一个地理位置。可以将位置数据和先前搜集的信号位置比较以提高或降低区域的加权进而确定该区域是否将用于信号检测过程。

图4是描述了根据本发明的一个实施例的在图像中定位、查找或检测信号的方法的流程图。图4中的操作可以是图3所示的系列操作的一部分，但是也可以在其他方法中使用。

在操作400中，对于图像(例如，在图3的操作300中拍摄的图像)，可以限定或识别一系列候选窗口或区域。候选窗口可以是例如矩形的或正方形的，但是也可以使用其他形状。一个实施例中的候选窗口是存储于存储器(例如，存储器120)中的虚拟数字对象并且未被示出。

在一个实施例中，使用公知的方法在图像中确定水平线。可以识别水平线上方的区域具有包含信号图像的可能性，例如具有高密度黄色或其他交通信号灯组成部分或边缘的那些区域。在另一个实施例中，可以基于先前已知的或检测到的信号来识别具有包含信号可能性的区域。一个或多个窗口可以被指定以包围每个选择的区域。例如，可以将一系列例如10个不同尺寸和/或形状的模板窗口指定给相同的识别的候选位置，并且由每个窗口限定或包围的图像区域可以被输入分类器或识别操作(例如，“强制”法)。也可以使用其他限定候选窗口的方法。此外，可以使用其他方法识别在其中搜索信号的区域。

可以结合或用作正和/或负加权车辆内或由车辆控制的系统或数据库(例如，数据库170)中存储的先前的信号位置数据信号确定每个可能的窗口或区域是否被用作候选窗口。

图5根据本发明的一个实施例描述了安装在车辆内的摄像机拍摄的图像，其中添加了候选区域或窗口。所示的候选窗口500是一个实施例中添加到窗口的一个子系列的候选窗口。窗口510为交通信号的位置，该交通信号的位置已在先前由与车辆相连的系统搜集，并且窗口或区域510可以识别一个被选区域或作为一个被选区域的依据，其可以用于限定候选窗口。例如，对于与已知的或先前识别的信号相对应的每个窗口或区域510，可以创建一系列尺寸和位置不同的候选窗口，每个候选窗口都与窗口或区域510重叠(为了清楚的目的，只示出了有限数量的候选窗口)。

由车辆内或由车辆控制的系统(例如，系统100)先前搜集的关于信号位置的信息或基于过往经验关于投射信号以位于图像中的位置的信息可以加快在图像中对信号的搜索或者缩小搜索范围。这对于行驶中的车辆非常有益，在这种情况下驾驶员或车辆对交通信号灯的反应是时间敏感的。通过如存储在车辆内或由车辆控制的系统或数据库中的信号的地理位置或3D位置可以提供正加权和负加权或制导。

当识别到位于水平线上方的具有包含信号图像的可能性的区域时，可以利用每个区域中识别的物体的地理位置来识别信号是否在物体位置处或其附近(例如，在一定的预定距离内)被识别到。如果先前识别到信号在区域内的物体位置处或其附近(例如，在临界距离内)，则该区域将更有可能被识别为由一个或多个候选区域或窗口包围或限定的候选区域。如果先前未识别到信号在区域内的物体位置处或其附近，则该区域不大可能被识别为由一个或多个候选窗口包围的候选区域。

为了比较候选区域的地理位置和先前识别到的信号的位置，对于每个候选窗口而言，可以估算并指定窗口中显示的或成像的物体或主要物体的地理位置。可以结合当前的车辆位置(以及可能的航向或方位)和估算的窗口相对于车辆的距离和角度以进行该估算。例如，车辆的位置和航向和估算的与水平线的夹角都可以投射至图像平面上。也可以使用其他方法。由于车辆可能在不同位置(例如不同的车道)行驶通过先前先前成像的区域，因此图像中物体的绝对(例如，地理的)位置的确定以及与已知的信号位置的对比可有助于信号检测。

例如，可以识别候选窗口或区域内的一个或多个特征点。随着车辆向窗口中成像的物体移动，在一个系列或多个系列特定的车辆位置处，可以使用三角测量来估算一个或多个特征点的地理位置。计算从车辆内摄像机至各点的连线的一个角度或多个角度(摄像机相对于车辆的GPS中心点的特定位置和视角可以是已知的并用于该计算)。在一个实施例中，使用了两个角——自水平线的仰角和从车辆与摄像机的行驶方向的左/右角(“偏转角”)。随着车辆(并由此摄像机)向物体移动，计算的一个角度或多个角度也改变(例如，对于用于确定物体的位置的每个图像)。一个角度或多个角度的变化可以与行驶的距离的变化结合，以确定摄像机和用于使用公知的图像处理技术如三角测量法的任何指定图像的点之间的距离。估算的与车辆的距离可能和与车辆的角度结合用于确定候选窗口中的目标物体在车辆上方的估算高度和与车辆的距离和/或地理位置，例如绝对项的三维位置，通常是三维坐标。车辆上方的高度和与车辆的距离可以是相对于某个已知的参照点，例如摄像机或车辆的GPS位置。

在操作410中，可以识别包括信号图像的图像区域(例如，在候选区域或窗口内)。在一个实施例中，通过分析例如由候选窗口包围或由候选窗口限定的图像各部分可以确定信号。对于每个候选窗口，可以确定该候选窗口是否包括信号，并接着可以确定与候选窗口或区域内的信号对应的轮廓或像素。在其他实施例中，不需要使用候选窗口。在一个实施例中，通过设置成正加权和/或负加权或设置成制导与包括交叉路口(因为在交叉路口处更可能存在信号)或其它可能包含信号的区域的已知位置的已知地图数据结合的车辆的地理、GPS或3D位置来将候选窗口确定为包围或者不包围信号。虽然在一个实施例中，车辆位置信息被用于加权或影响候选窗口是否包含信号的确定，并且单独地现有信号数据被用于加权或辅助候选窗口本身的确定，但是在其他的实施例中，车辆位置数据可以被用于挑选候选窗口并且信号信息可以被用于确定候选窗口是否包括信号图像，或者每个输入的组合可以用于每项确定。

可以由预先存在的或准备好的地图中获取的交叉路口信息提供正加权和负加权或制导。在这样的地图中可以将交叉路口识别为例如两条或三条道路的交汇处，并且可以假定信号存在于交叉路口附近并且该信号不会存在于没有交叉路口的地方。当然，存在例外情况，因此来自该地图的输入可以是加权的形式。在其他实施例中，可以不使用加权(例如，可以使用绝对值)，并且不必使用这些地图信息。

每个候选窗口都可以通过一系列或一连串的步骤或分级器进行处理，以分别识别不同的图像特征并且确定图像或候选窗口中的信号图像存在的可能性。例如，可以使用一系列三级分级器。在一个实施例中，可以计算类哈尔(Haar-like)的梯度方向直方图(HOG)特征，并且可以使用AdaBoost(自适应增强)算法来选择能够从背景中最佳识别物体的特征。

例如，使二进制的fp限定为

其中p_s和p_v表示信号的位置和对象车辆的位置，以及D表示距离临界值。效率低的和有效的(因此是有效的)检测器组可以被分级进行或者以级联形式执行。例如，可以使用AdaBoost分级器，设计为如下述判定函数：

其中，如果数值小于0，则信号函数返回-1(没有物体)，如果数值为正，则信号函数返加+1(有物体)。二进制特征值fi可以被限定为，例如：

其中，v_i是标量特征描述符，v_i＞T_i表示有物体，而Vi≤Ti表示没有物体。w_i表示表示特征f_i可能影响有或没有物体的决策的强度(例如，重要程度)。参数(例如，w_iw_p和T_i)可以例如从标记的培训数据集中获得。

以许多误检为代价，可以调整每个结点的分级器以具有非常高的检侧率。例如，几乎全部(99.9％)的物体都可以被检测到，但是在每个结点上都会错误检测到许多(50％)非物体。最终，使用例如20层级联的分级器，最终检测率可能是0.999²⁰＝98％，其中假阳性率仅为0.5²⁰＝0.0001％。如果交通信号存在的话，最后阶段可以例如是基于来自之前阶段的输入的HOG，HSV分级器确定。

可以使用其他的或不同的分级器，并且可以使用不同排序的分级器。

给每个分级器的输入可以是一系列的候选窗口和加权信息(例如车辆位置信息)。每个分级器可以利用其自身的特定标准来确定输入的候选窗口中哪些可能包含信号，以及输出该系列候选窗口(典型地比输入系列小)。如果车辆位置数据与已知地图数据结合表明车辆位于图像拍摄时的交叉路口处或其附近，或者如果候选窗口内指定给物体的位置(通常从车辆位置获得)位于图像拍摄时的交叉路口处或其附近，则对于每个窗口，每个分级器可以更可能确定窗口包含信号。

在一个实施例中，系列的分级器的输出是最可能被认为或确定为包括信号的一系列候选窗口。在其他实施例中，每个分级器的输出可以是中间的是或否，或者是与是否预测出在窗口中检测到信号相对应的1或0(或其他类似输出)，并且系列的输出可以为是或否，或者是与是否在矩形中检测到信号相对应的1或0(或其它类似的输出)。可以使用在图像中而不是分级器或一系列阶段识别信号的方法。

在操作420中，可以在被识别为包含信号或被认为包含信号的各区域或候选窗口中识别信号。公知的物体检测技术可以限定在信号所在的候选窗口内。例如可以根据操作410中计算用于窗口物体的地理信息来确定信号的地理位置，或者例如使用操作410中讨论的技术来确定特定信号的地理位置。

在操作430中可以产生输出。输出可以包括，例如每个检测到的信号的图像，或一个或多个图像内信号的位置，以及一个或多个信号的地理位置。

可以使用其他操作或系列操作。虽然在图4所示的例子中，信息例如车辆位置和先前搜集到的信号信息作为权数被输入到搜索程序，但是当先前搜集到的信号没有预示信号存在，或车辆位置信息未预示信号存在时，可以不使用先前的信号信息来检测信号。

在上述实施例中检测到信号时，还可以在图像中检测到其他物体，并且通过记录这些物体的过去检测结果提高了其检测准确度和速度。例如，可以检测到交通标志、桥梁、出口坡道、车道数量、路肩或其他物体。

本发明的实施例可以包括用于实施本文所述操作的设备。这些设备可以是为预期目的而特制的，或者可以包括由存储在计算机中的计算机程序选择性地激活或重构的计算机或处理器。这些计算机程序可能被存储于计算机可读或处理器可读的存储介质、任意形式的磁盘包括软盘、光盘、只读光盘(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电子可编程序只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)，磁卡或光卡，或任何其他类型的适用于存储电子指令的介质。可以理解的是可以使用多种编程语言来实现本文所述的本发明的教导。本发明的实施例可以包括物件例如编码、包含或存储指令的计算机或处理器可读存储中介，诸如像存储器、磁盘驱动器或者USB闪存，所述指令例如是计算机可执行程序，其中由处理器或控制器执行时能使处理器或控制器实现本文所述的方法。所述指令可以使处理器或控制器执行实现本文公开的方法的程序。

本文讨论的各实施例的特征可以用于本文讨论的其他实施例。已阐述的本发明的实施例的上述描述仅用于说明和描述。其并不意图详尽或将本发明限制为所述的精确形式。本领域技术人员应当理解的是，根据上述教导可以存在众多修改、变型、替代、改变和等同物。因此，需要理解附加的权利要求目的是要在本发明的真实精神范围内覆盖所有的这些修改和变型。

Claims (10)

1.一种方法，包括：

确定车辆位置；

使用与车辆相连的摄像机搜集图像；以及

结合车辆位置和先前搜集的关于交通信号位置的信息分析图像，以在搜集的图像内定位交通信号的图像。

2.如权利要求1所述的方法，包括确定交通信号的地理位置。

3.如权利要求1所述的方法，其中先前搜集的关于交通信号位置的信息是基于通过与车辆相连的摄像机拍摄的图像搜集的。

4.如权利要求1所述的方法，包括利用交通信号的位置更新先前搜集的关于交通信号位置的信息。

5.如权利要求1所述的方法，包括通过创建各自围绕图像一部分的一系列候选窗口来定位交通信号的图像，其中每个窗口的选择都由先前搜集的关于交通信号位置的信息来加权。

6.如权利要求1所述的方法，包括通过分析图像各部分定位交通信号的图像，其中所述分析由与已知地图数据结合的车辆位置来加权。

7.如权利要求1所述的方法包括确定交通信号的状态。

8.一种系统，包括：

存储先前搜集的关于交通信号位置的信息的数据库；

摄像机；

车辆位置检测系统；和

控制器，其用于：

接收来自车辆位置检测系统的车辆位置；

使用摄像机搜集图像；和

结合车辆位置和先前搜集的关于交通信号位置的信息分析图像，以在搜集的图像内定位交通信号图像。

9.如权利要求8所述的系统，其中控制器用于确定交通信号的地理位置。

10.一种方法，其包括：

在车辆内，拍摄图像；

在图像内的多个候选区域内搜索交通信号，其中确定候选区域以用作关于交通信号位置的输入信息；和

确定在图像内交通信号的状态。

Images