CN101395645A

CN101395645A - 图像处理系统及方法

Info

Publication number: CN101395645A
Application number: CNA2007800078273A
Authority: CN
Inventors: 小野目宽久; 渡边幸治
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-03-06
Filing date: 2007-03-02
Publication date: 2009-03-25
Anticipated expiration: 2027-03-02
Also published as: CN101395645B; EP1991973B1; JP4631750B2; US8134480B2; EP1991973A1; WO2007102065A1; US20090303077A1; JP2007241469A

Abstract

本发明提供一种图像处理系统和方法。该系统包括：前方监视设备，其获得车辆前方的场景图像；车辆位置检测设备，其检测车辆位置和方向；地图数据库，其存储道路地图；交通指示器位置估计部分，其根据已经由所述车辆位置检测设备检测到的车辆位置，基于从所述地图数据库提取的车辆前方道路形状，估计交通指示器(23)的位置；图像处理区域设定部分，其基于已经由所述交通指示器位置估计部分所估计的交通指示器的位置，在所述前方监视设备所获得的图像内设定图像处理区域；以及交通指示器检测部分，其从所述图像处理区域检测交通指示器。

Description

图像处理系统及方法

技术领域

【1】本发明涉及一种用于检测车辆前方交通指示器的图像处理系统及方法。

背景技术

【2】随着车载照相机性能的改进以及信息处理技术的发展，出现了一种技术，其中，车辆检测车辆周围状况，并促使驾驶员按需地执行紧急操作以避免危险，并进行车辆自动控制，例如使车辆制动(例如，参见JP-A-10-177699)。

【3】在JP-A-10-177699中描述的技术中，在为车辆的驾驶员进行路线引导期间，当车辆将要到达所引导的路线的交叉路口时，从在车辆的行驶方向中拍摄的图像的数据中检测例如交通信号灯的交通指示器，然后通过使用所检测的交通指示器对驾驶员进行路线引导。在此技术中，进行图像处理的区域局限于交叉路口附近，从而可以提高图像处理速度。

【4】而且，已经出现的技术是，当检测到交通信号灯时，假定交通信号灯位于路面上方几米处，在每个所拍摄的图像的垂直中心上方区域上进行交通信号灯的搜索(例如，参见JP-A-2005-098853)。

【5】然而，在描述检测交叉路口处或附近的作为交通指示器的交通信号灯的技术的JP-A-10-177699中，对于估计交通信号灯的位置的方法未作描述。交通信号灯经常位于交叉口以及人行横道处。然而，如果在所引导的路线的交叉路口处所拍摄的图像的整个区域中进行交通信号灯的搜索，那么图像处理的负担仍然很重。

【6】当在图像中搜索交通指示器时，如果交通指示器的坐标已知具有一定精度，图像数据的处理速度得以提高。例如，交通指示器的三维位置可以从图像或者基于车辆位置确定。在此情形下，交通指示器的初始位置是一个重要数据。然而，如果初始位置固定在路面上方几米的区域内，在某些情形中坐标计算将会出现偏差。

发明内容

【7】本发明提供一种图像处理系统及方法，其从车辆前方的场景图像精确地检测交通指示器。

【8】本发明的一方面涉及一种图像处理系统，其包括：前方监视设备，其获得车辆前方的场景图像；车辆位置检测设备(例如GPS/INS设备2)，其检测车辆的位置和方向；地图数据库，其存储道路地图；交通指示器位置估计部分(例如交通信号灯位置估计部分7)，其根据已经由所述车辆位置检测设备检测到的车辆位置，基于从所述地图数据库提取的车辆前方的道路形状，估计交通指示器的位置；图像处理区域设定部分，其基于已经由所述交通指示器位置估计部分所估计的交通指示器的位置，在所述前方监视设备所获得的图像内设定进行预定图像处理的图像处理区域；以及交通指示器检测部分(例如交通信号灯检测部分9)，其通过预定的图像处理从所述图像处理区域检测交通指示器。

【9】本发明的另一方面涉及一种图像处理方法，其包括：获得车辆前方的场景图像；检测车辆位置和方向；基于所检测到的车辆位置，从预存有道路地图的道路地图数据库中提取车辆前方的道路形状；基于所述道路形状，估计交通指示器的位置；基于所估计的交通指示器的位置，设定进行预定图像处理的图像处理区域；以及通过所述预定图像处理来从所述图像处理区域检测所述交通指示器。

【10】根据上述图像处理系统及方法，可以从车辆前方的场景图像中精确地检测交通指示器。

附图说明

【11】从下面参照附图对优选实施例进行的描述，本发明前述和其它目的、特征和优点将变得明显，附图中类似的标记用来表示类似的元件，其中：

图1是示出根据本发明第一实施例的图像处理系统的构造的一个实例的视图；

图2是照相机拍摄的图像的一个实例；

图3A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图3B是示出所拍摄的图像的一个实例的视图；

图4A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图4B是示出所拍摄的图像的一个实例的视图；

图5A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图5B是示出所拍摄的图像的一个实例的视图；

图6A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图6B是示出所拍摄的图像的一个实例的视图；

图7A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图7B是示出所拍摄的图像的一个实例的视图；

图8A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图8B是示出所拍摄的图像的一个实例的视图；

图9A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图9B是示出所拍摄的图像的一个实例的视图；

图10A是示出从道路地图数据库提取的道路形状的一个实例的视图；

图10B是示出所拍摄的图像的一个实例的视图；

图11是表示由图像处理系统执行以检测交通信号灯的控制程序的流程图；

图12A到图12D是用于比较使用传统的图像处理方法的情形以及估计交通信号灯的位置并且基于所估计的交通信号灯的位置设定搜索范围的情形中图像处理所使用的时间的图形；

图13是示出根据第二示例性实施例的图像处理系统的构造的一个实例的视图；

图14是示出由所述图像处理系统执行以检测交通信号灯的控制程序的流程图；

图15A到图15C示出用于描述步数以及交通信号灯的坐标的计算结果的实例；

图16A和16B是车辆在两车道道路上行驶时拍摄的图像；

图17A和17B是车辆在宽度较宽的道路上行驶时拍摄的图像；

图18A和18B是车辆在弯道上行驶时拍摄的图像；以及

图19A和19B是车辆在斜坡上行驶时拍摄的图像。

具体实施方式

【12】此后，将参照附图描述本发明的示例性实施例。注意，尽管在下面的说明中将交通信号灯描述为交通指示器的一个实例，也可替代地使用例如交通标牌的其它任何交通指示器。

【13】第一示例性实施例

图1示出根据第一示例性实施例的图像处理系统的总体构造的实例。图像处理系统包括GPS(全球定位系统)/INS(惯性导航系统)设备2、地图数据库3、前方监视设备4、图像处理设备5以及输出设备6。图像处理设备5包括交通信号灯位置估计部分7、图像处理区域设定部分8以及交通信号灯检测部分9。

【14】GPS/INS设备2从GPS卫星接收导航信息并基于所接收的信息确定车辆的坐标，并且GPS/INS设备2通过使用自主导航方法精确地估计车辆位置。

【15】更具体地，GPS/INS设备2通过使用GPS/INS设备2从GPS卫星接收的电波来确定车辆位置。即，车辆与每个GPS卫星之间的距离能够通过将GPS卫星传送的电波的传播时间乘以光速得到。从而，在确定车辆位置时，首先计算到三个以上GPS卫星的距离，并且半径等于所计算的与各个GPS卫星的距离的球体的交点被确定为车辆的坐标。注意，通过使用来自于第四GPS卫星的导航数据，能够校正车辆的时钟从而能够更精确地确定车辆坐标。

【16】然后，基于所确定的车辆坐标，GPS/INS设备2通过使用下述自主导航方法来精确地估计车辆位置。检测车速的车速传感器以及检测车辆行驶方向的陀螺仪传感器连接到GPS/INS设备2。GPS/INS设备2持续地收集由所检测的车速和所检测的车辆行驶方向所限定的车辆轨迹的数据，并且GPS/INS设备2基于所收集的轨迹数据通过使用自主导航方法来估计车辆位置。注意，由陀螺仪传感器所检测的与车辆方向相关的信息被提供到图像处理设备5并用于图像数据处理。

【17】最后，GPS/INS设备2通过使用地图匹配方法来精确地估计车辆的当前位置。即，通过将基于从导航信息获得的车辆坐标、并通过自主导航方法估计的车辆位置与从地图数据库3提取的道路地图上表示的道路和车辆位置匹配，从而确定车辆的当前位置。

【18】地图数据库3是存储道路地图信息的数据库，并且地图数据库3以硬盘驱动器、CD-ROM驱动器、DVD-ROM驱动器等的形式提供。道路地图信息包括与路网以及由纬度和经度限定的交点相关的信息。更具体地，地图数据库3以数据表的形式提供，所述数据表包括与节点(道路的交叉点，即交点)和链接(道路，节点通过所述道路连接)相关的信息，所述节点和链接相当于实际路网中的交点和道路。

【19】在上述数据表中，每个节点表包括节点的识别码和坐标以及从节点延伸的链接的数目和识别码，并且每个链接表包括链接的识别码、作为所述链接的起点和终点的节点的识别码以及所述链接的长度。向所述节点和链接分配唯一的识别码，从而通过追踪所述节点和链接的识别码而限定所述路网。

【20】地图数据库3还存储与每条道路的长度和宽度以及每条道路的车道数相关的信息。而且，地图数据库3存储与道路类型(例如高速公路、国家公路、地方公路)、建筑物(例如百货商场、陆桥)以及交通管制(例如速度限制、单向车道、不准掉头)有关的信息。

【21】下面将描述前方监视设备4。前方监视设备4由照相机、雷达等形成，并检测车辆前方的情况。

【22】当前方监视设备4是包括例如CCD和MOS的光电转换元件的照相机时，通过使用光电二极管将来自车辆前方的光线转换成电信号，所收集的电荷以电压形式被读出并放大。放大的电压转换成数字信号(A/D转换)，该数字信号然后转换成具有某种亮度等级(例如256级)的数字图像。例如，照相机拍摄以30到60fps的帧速率拍摄图像，并将所拍摄的图像数据连续地输出到图像处理设备5，同时将所述数据临时存储到预定的缓存中。

【23】即使仅使用一个照相机的情况下，也可通过图像处理确定到一个物体的距离。另一方面，当使用立体照相机时，通过分析同时拍摄的两幅图像的数据确定两个照相机之间的视差。在这样确定视差后，基于视差、照相机的焦距以及照相机之间的距离通过三角测量法确定每个像素处的距离。在第一示例性实施例中，考虑到图像处理的负担，使用单个照相机拍摄的图像数据。

【24】图2是照相机拍摄的图像的一个实例。图2中的图像示出交通信号灯21、22。由于车辆位置和方向已经由GPS/INS设备2所确定，所以，如果估计每个交通信号灯21、22的位置，那么能够以某种精度估计交通信号灯21、22出现的图像区域。

【25】同时，当前方监视设备4是雷达时，能够通过测量从雷达发送雷达脉冲到该雷达脉冲返回到雷达的时间来确定车辆前方物体的形状以及到该物体的距离。雷达设备向激光二极管提供脉冲电流并同时开始计时。在被供以脉冲电流时，激光二极管在前方输出与该电流成比例的激光脉冲。当雷达的接收部分接收到从车辆前方的物体反射的激光脉冲时，雷达停止计时。由于所计数的时间与到物体的距离成比例，所以能够通过将所计数的时间乘以合适的系数而确定与该物体的距离。

【26】雷达持续地发送激光脉冲，同时改变发送方向，从而扫描车辆前方的预定区域。从而，通过重复上一段中描述的操作，能够确定在每个扫描点处与该物体的距离。这个距离信息存储在例如微处理器的处理单元中，该处理单元基于扫描方向、与该物体的距离以及车辆方向产生图像数据。

【27】上面是基于雷达的前方监视设备4如何获得例如图2中示出的图像。注意，难以在使用雷达得到的图像中分辨不同颜色(例如交通信号灯的信号灯颜色)。

【28】图像处理设备5的交通信号灯位置估计部分7基于交叉路口的形状估计交叉路口处的交通信号灯的位置。因为如上所述通过GPS/INS设备2确定车辆的当前位置，所以，能够从地图数据库3获得车辆附近区域的地图——特别是车辆行驶方向上的道路地图，从而能够确定车辆前方的道路形状。每条道路上有许多交通信号灯，然而，它们通常布置在特定位置。下面将详细描述如何基于存在或没有交叉路口、道路形状等来估计每个交通信号灯的位置。

【29】图像处理设备5的图像处理区域设定部分8基于由交通信号灯位置估计部分7估计的交通信号灯的位置以及车辆的位置和方向，来设定图像区域并在所设定的图像区域内执行交通信号灯的搜索。

【30】图3A示出从地图数据库3提取的道路形状以及车辆当前位置。图3B示出当检测到车辆位置如图3A所示时拍摄的图像。

【31】根据图3A中示出的道路形状，交通信号灯位置估计部分7检测车辆前方的交叉路口，并估计到该交叉路口的距离。例如，当检测到交叉路口时，交通信号灯位置估计部分7假定交通信号灯出现在交叉路口之前的拐角处，并基于道路地图估计与该交通信号灯的距离。交通信号灯位于路面上方几米处。

【32】因为图像处理区域设定部分8已经获得车辆的方向(图3B中照相机相对于交通信号灯的角度θ)，所以图像处理区域设定部分8能够确定如图3B中所示的图像相对于该交叉路口拍摄的方向。即，一旦估计了交通信号灯的位置，就可以基于车辆的位置和方向识别交通信号灯可能会出现的图像区域。注意，搜索范围的大小可以随着车辆和交通信号灯之间距离而变化。

【33】如图3B中的长方形示出的是搜索范围51，该搜索范围是图像处理区域设定部分8估计交通信号灯可能会出现的区域。从而，图像处理设备5的交通信号灯检测部分9仅需要在搜索范围51标识的区域内搜索交通信号灯。

【34】交通信号灯检测部分9通过处理图像数据而搜索交通信号灯。例如，交通信号灯检测部分9通过模板匹配搜索交通信号灯。更具体地，在模板匹配中，作为模板的标准交通信号灯的图像覆盖在该图像上，并连续地逐个像素地移动，从而扫描搜索范围51的整个区域或图像的整个区域。在扫描期间，例如交通信号灯检测部分9计算模板图像的亮度分布与所扫描图像的每个部分的亮度分布之间的匹配度，并将匹配度最高的模板位置确定为交通信号灯的位置。考虑到红、蓝、黄色之间的差别，三个交通信号灯的圆圈中具有最高亮度的位置被确定为处于打开状况。注意，例如支持矢量机或神经网络的机器学习能够用于图像处理，以检测交通信号灯。当检测交通信号灯时能够使用学习数据库，每个学习数据库都包括具有不同大小的交通信号灯模板。在此情形下，能够基于与交通信号灯的距离选择性地使用学习数据库，从而提高检测精度。

【35】输出设备6是液晶显示器、有机电致发光显示器、平视显示器等，其显示道路地图、交通信息以及到目的地的路线。扬声器链接到输出设备6。扬声器6发出警告声和提醒交通信号灯位置的声音。

【36】接下来将更详细地描述图像处理设定区域部分8如何设定搜索范围。下述方法中的两种或多种方法能够结合起来应用，只要它们之间没有冲突。当使用两种或多种彼此冲突的方法时，建议首先使用其中一种，并且如果由这种方法未检测到交通信号灯，可接着使用下一种方法。

【37】i)当估计交通信号灯在道路上方时，

图4A示出从地图数据库3提取的车辆前方的道路形状，图4B示出当检测到车辆位置如图4A所示时拍摄的图像。

【38】根据估计交通信号灯位于路面上方的方法，图像处理区域设定部分8设定搜索范围的宽度为大体上等于道路的宽度。与道路有关的信息存储在地图数据库3中。当道路宽度未记录在地图数据库3中时，图像处理区域设定部分8通过处理图像数据来识别图像上道路的宽度。

【39】当设有护栏并且道路右侧和左侧画有白线时，所拍摄的图像示出每个都具有一定亮度等级并且大体上沿着图像的竖直方向延伸的部分，并且这些部分之间的区域能够确定为表示道路的宽度。当每个所画出的路缘显示道路两侧没有设置停车区域或等待区域时，道路宽度能够像护栏和白线的情形中一样确定。当使用雷达来监视车辆前方的情形时，每个护栏或路缘的形状由雷达检测，从而能够以与如上所述相同的方式确定道路宽度。

【40】在确定道路宽度后，图像处理区域设定部分8接着基于从GPS/INS设备2获得的车辆位置、与交叉路口的距离以及车辆方向，来设定宽度大体上等于道路宽度的搜索范围52。这样，在上述方法中，能够使搜索范围小于在整个图像区域中搜索交通信号灯时的情形。

【41】ii)当估计交通信号灯分别出现在交叉路口之前或之后时，图5A示出从地图数据库3提取的车辆前方的道路形状，图5B示出当检测到车辆位置如图5A所示时拍摄的图像。

【42】根据该方法，交通信号灯位置估计部分7估计交通信号灯分别位于交叉路口之前或之后。图像处理区域设定部分8基于从GPS/INS设备2获得的车辆位置、与交叉路口之前预定点的距离、与交叉路口之后预定点的距离以及车辆方向，来设定用于位于交叉路口之前的交通信号灯的搜索范围53以及用于位于交叉路口之后的交通信号灯的搜索范围54。

【43】这样，在上述方法中，能够使搜索范围小于在整个图像区域中搜索交通信号灯时的情形。

【44】注意，每个搜索范围53、54的宽度可设定为大体上等于道路宽度，或者可设定为比道路宽度略大一些余量。而且，能够通过根据与车辆的距离的不同而使得设定为用于位于交叉路口之后的交通信号灯的范围54小于用于位于交叉路口之前的交通信号灯的搜索范围53，而减小图像处理区域的大小。

【45】iii)当估计交通信号灯跨过交叉路出现在交叉路之前和之后时，图6A示出从地图数据库3提取的车辆前方的道路形状，图6B示出当检测到车辆位置如图6A所示时拍摄的图像。

【46】根据该方法，交通信号灯位置估计部分7估计一个交通信号灯位于交叉路口之前，而另一个交通信号灯位于前一交通信号灯之后大体上等于交叉路宽度的距离。图像处理区域设定部分8基于从GPS/INS设备2获得的车辆位置、与交叉路口的距离以及车辆方向，并基于从地图数据库3提取的交叉路的宽度，来设定用于位于交叉路口之前的交通信号灯的搜索范围55以及用于位于交叉路口之后的第二交通信号灯的搜索范围56。

【47】这样，在上述方法中，能够使搜索范围小于在整个图像区域中搜索交通信号灯时的情形。

【48】注意，每个搜索范围55、56的宽度可设定为大体上等于道路宽度，或者可设定为比道路宽度略大一些余量。而且，能够通过根据与车辆的距离的不同而使得设定为用于位于交叉路口之后的交通信号灯的搜索范围56小于用于位于交叉路口之前的交通信号灯的搜索范围55而进一步减小图像处理区域的大小。

【49】iv)当车辆行驶在宽阔的道路上并且估计交通信号灯位于交叉路口拐角处，

图7A示出从地图数据库3提取的车辆前方的道路形状，图7B示出当检测到车辆位置如图7A所示时拍摄的图像。

【50】“宽阔的道路”是指具有至少一定数目车道并且具有至少某一宽度的道路。在这种宽阔的道路的交叉路口的情形下，有时交通信号灯设置在交叉路口的拐角处，使得驾驶员能够很容易就发现这些交通信号灯。

【51】根据该方法，交通信号灯位置估计部分7估计交通信号灯位于交叉路口的每个拐角处。从而，在图7A中示出的道路形状的情形中，分别为交叉路口的四个拐角设定四个搜索范围。

【52】具体地，图像处理区域设定部分8基于从GPS/INS设备2获得的车辆位置、与每个拐角的距离以及车辆方向，来设定用于图像中各个拐角的搜索范围57到60。

【53】注意，每个搜索范围的宽度可设定为大体上等于道路宽度的一半，或者可设定为比道路宽度的一半略大一些余量。而且，能够根据与车辆的距离的不同而使得位于交叉路口之前的搜索范围58、60小于位于交叉路口之后的交通信号灯的搜索范围57、59而进一步减小图像处理区域的大小。

【54】从而，当道路宽度较大时，通过将交通信号灯的位置限制在交叉路口的每个拐角，能够使搜索范围小于在整个图像区域中或道路的整个宽度上搜索交通信号灯时的情形。

【55】v)当车辆在弯道上行驶时，

图8A示出从地图数据库3提取的车辆前方的道路形状，图8B示出当检测到车辆位置如图8A所示时拍摄的图像。

【56】当车辆在弯道上行驶时，车辆的行驶方向和交通信号灯的位置不一致，从而按照道路的曲率来设定搜索范围。当到交叉路口的道路如图8A中所示弯曲时，该交叉路口处交通信号灯的位置从该交叉路口向前偏移一段预定距离，使得驾驶员能够事先发现该交通信号灯。一般地，偏移距离L1(偏移量)作为弯道的曲率K的函数获得，并计算如下：

L1(偏移量)＝C1×K…………(1)

在上述方程中，C1是给定的常数。交通信号灯位置估计部分7从而计算偏移距离L1(偏移量)并估计交通信号灯的位置。

【57】然后，图像处理区域设定部分8基于从GPS/INS设备2获得的车辆位置、交叉路口与车辆方向之间的角度θ以及与交叉路口的距离，来设定搜索范围61的位置。

【58】而且，图像处理区域设定部分8基于偏移距离L1(偏移量)，并基于从GPS/INS设备2获得的车辆位置以及与交叉路口的距离，来设定搜索范围62的位置。

【59】注意，每个搜索范围61、62的宽度可设定为大体上等于道路宽度、大体上等于道路宽度的一半、大体上等于道路的一个车道的宽度或者比前述三者各自略大一些余量。而且，能够通过根据与车辆的距离的不同而调节每个搜索范围61、62的大小而进一步减小图像处理区域的大小。

【60】在上述方法中，即使道路是弯道，通过根据道路曲率限制每个交通信号灯的位置，也能够使搜索范围小于在整个图像区域中搜索交通信号灯时的情形。

【61】vi)当车辆在斜坡上行驶时，

图9A示出从地图数据库3提取的道路的斜度，图9B示出当检测到车辆位置如图9A所示时拍摄的图像。

【62】当车辆在倾斜道路上行驶时，交通信号灯从该交叉路口向前偏移一段预定距离，使得驾驶员能够容易地发现该交通信号灯。偏移距离L2(偏移量)作为斜度α的函数获得，并计算如下：

L2(偏移量)＝C2×α…………(2)

在上述方程中，C2是给定的常数。从而，交通信号灯位置估计部分7基于道路的斜度α计算偏移距离L2，并且图像处理区域设定部分8基于从GPS/INS设备2获得的车辆位置以及与交叉路口的距离来设定搜索范围63的位置。注意，即使车辆在倾斜的道路上行驶，车辆和道路表面也保持彼此平行，从而车辆的位置相对于设置在路面上方几米高处的交通信号灯的位置与车辆在平路上行驶的情况并没有太大不同。

【63】注意，搜索范围63的宽度可设定为大体上等于道路宽度、大体上等于道路宽度的一半、大体上等于道路的一个车道的宽度或者比前述三者各自略大一些余量，这取决于道路的宽度。

【64】因此，当车辆在倾斜道路上行驶时，通过根据道路斜度限制交通信号灯的位置，能够使搜索范围小于在整个图像区域中搜索交通信号灯时的情形。

【65】vii)当车辆在窄路上行驶时，

图10A示出从地图数据库3提取的车辆前方的道路形状，图10B示出当检测到车辆位置如图10A所示时拍摄的图像。

【66】在窄路的交叉路口的情形中，交通信号灯有时位于交叉路口中心。这里，“交叉路口的中心”相当于道路的横向中心或其附近区域。与车辆所正在行驶的道路的宽度相关的信息存储在地图数据库3中。

【67】图像处理区域设定部分8基于从GPS/INS设备2获得的车辆位置、与交叉路口的距离以及车辆方向，并基于从地图数据库3提取的两条道路中的每条道路的宽度，来设定图像中的搜索范围64。

【68】这样，在上述方法中，能够使搜索范围小于在整个图像区域中搜索交通信号灯时的情形。

【69】注意，搜索范围64的宽度可设定为大体上等于道路宽度或可设定为比其略大一些余量。

【70】如上所述，当车辆正在靠近交叉路口时，根据示例性实施例的图像处理系统1估计每个交通信号灯的位置并根据道路宽度、道路形状等来设定搜索范围。

【71】图11是表示由图像处理系统执行以检测交通信号灯的控制程序的流程图。该控制程序随着点火开关打开或者随着车辆开始移动而开始。

【72】当车辆行驶时，GPS/INS设备2获得车辆的位置和方向(S1)。图像处理设备5然后获得车辆当前位置附近的道路地图，特别是沿车辆行驶方向的区域的道路地图(S2)。

【73】前方监视设备4获得预定帧速率的图像并将所述图像输出到图像处理设备5(S3)。

【74】接着，交通信号灯位置估计部分7基于从道路地图提取的道路形状估计交通信号灯的位置。即，交通信号灯位置估计部分7确定是否有交叉路口(S4)，并且如果有交叉路口(S4：是)，交通信号灯位置估计部分7基于道路宽度、交叉路宽度、道路曲率以及道路斜度等来估计交通信号灯的位置(S5)。

【75】在这样估计交通信号灯的位置后，图像处理区域设定部分8在图像中设定搜索范围，所述搜索范围覆盖了估计会出现交通信号灯的区域(S6)。当有两个或更多个交通信号灯的估计位置时，可基于分配给各个估计位置的优先级设定两个或更多个搜索范围。

【76】交通信号灯检测部分9通过模板匹配等方法在搜索范围中搜索交通信号灯(S7)。

【77】如果未检测到交通信号灯(S8：否)，则交通信号灯检测部分9通过在整个图像内进行图像处理来搜索交通信号灯，即在交叉路口附近的整个区域内搜索(S9)。

【78】另一方面，如果在步骤S7中检测到交通信号灯(S8：是)，则进行预定控制，例如检测车速并通知驾驶员所检测的车速是否超过预定大小(S10)。

【79】在第一示例性实施例中交通信号灯的检测结果

下面将描述当车辆以60km/h的速度行驶时第一示例性实施例的图像处理系统1所执行的检测交通信号灯的处理的结果。

【80】图16A和16B是当车辆行驶在两车道道路上时从车辆拍摄的图像。图16A中的方框所表示的区域是传统方法中在交叉路口附近整个区域内进行图像处理时设定的搜索区域。

【81】图16B中所示的是基于交通信号灯位于道路上方(i)以及分别位于交叉路口之前(ii)或之后(iii)的假设而设定的搜索范围。

【82】图12的图表用于比较在使用传统图像处理方法的情形以及估计交通信号灯的位置并基于所估计的交通信号灯的位置设定搜索范围的情形之间图像处理所使用的时间。图12中，每个白条表示对交叉路口附近整个区域都搜索所使用的时间，而每个黑条表示设定搜索范围并且在搜索范围内搜索交通信号灯时所使用的时间。

【83】参照图12A，当对图16A和16B所示的图像进行图像处理时，在交叉路口附近的整个区域上搜索交通信号灯时在检测到交通信号灯之前需120ms，而使用搜索范围进行搜索时需80ms。

【84】图17A和17B是当车辆行驶在宽阔的道路上时拍摄的图像。该道路为三车道。

【85】图17A中的方框所表示的区域是在交叉路口附近整个区域内进行图像处理时设定的搜索区域。

【86】而在图17B中，估计交通信号灯位于交叉路口的每个拐角处(iv)，并且因此设定搜索范围，即，设定四个搜索范围。

【87】参照图12B，当对于图17A和图17B中示出的图像进行图像处理时，在交叉路口附近整个区域内搜索交通信号灯时在检测到交通信号灯之前需110ms，而使用搜索范围进行搜索时需50ms。

【88】图18A和18B每个都示出当车辆在弯道上行驶时拍摄的图像。【89】图18A中的方框所表示的区域是在交叉路口附近整个区域内进行图像处理时设定的搜索区域。

【90】而在图18B中，估计交通信号灯位于交叉路口之前偏移距离L1(偏移量)处(v)，并且因此设定搜索范围。

【91】参照图12C，当对于图18A和图18B中示出的图像进行图像处理时，在交叉路口附近整个区域内搜索交通信号灯时在检测到交通信号灯之前需100ms，而使用搜索范围进行搜索时需40ms。

【92】图19A和19B每个都示出当车辆在倾斜道路上行驶时拍摄的图像。

【93】图19A中的方框所表示的区域是在交叉路口附近整个区域内进行图像处理时设定的搜索区域。

【94】图19B中，估计交通信号灯位于交叉路口之前偏移距离L2(偏移量)处(vi)，并且因此设定搜索范围。

【95】参照图12D，当对于图19A和图19B中示出的图像进行图像处理时，在交叉路口附近整个区域内搜索交通信号灯时在检测到交通信号灯之前需100ms，而使用搜索范围进行搜索时需45ms。

【96】根据本发明第一实施例，从图12A到12D明显可见，通过估计交通信号灯的位置并因此设定搜索范围，减小了进行图像处理以搜索交通信号灯所需的时间。

【97】第二示例性实施例

根据第二示例性实施例的图像处理系统，通过使用由交通信号灯位置估计部分7在道路地图上估计的交通信号灯的位置作为初始值，而由预定算法计算交通信号灯的实际坐标，并将所计算的交通信号灯的实际坐标存储在数据库中。注意，交通信号灯的位置将在合适的场合被称为“交通信号灯的坐标”，并且每个交通信号灯的坐标由经度、纬度和高程限定。根据该图像处理系统，由于交通信号灯的实际坐标存储在数据库中，提高了图像处理的速度。

【98】图13示出根据第二示例性实施例的图像处理系统的构造的一个实例。图13中与图1相同的部件将以相同的附图标记表示，并且省略其描述。图13中的图像处理系统与图1中的不同之处在于图13中的图像处理系统包括交通信号灯位置计算部分11和空间模型数据库10。

【99】交通信号灯位置计算部分11通过使用例如卡尔曼滤波器来计算交通信号灯的实际坐标。卡尔曼滤波器是一种用于从包括噪声的观测值中找到合适的估计值作为真实值的滤波器(算法)。更具体地，卡尔曼滤波器是一种状态估计类型的滤波器，其在计算时将当前估计值应用到前一估计值，从而估计一个更接近真实值的值。在第二示例性实施例中，通过使用从所拍摄的图像获得的值并基于车辆的位置和方向，在每个范围内重复计算交通信号灯的实际坐标。

【100】因为与车辆的位置和方向相关的信息已经被输入到交通信号灯位置计算部分11中，当从图像中检测到交通信号灯时，交通信号灯位置计算部分11能确定车辆和交通信号灯之间的三维位置关系。从而，能够从车辆的位置和方向确定所检测的交通信号灯的坐标。车辆的位置和方向包括误差，从而交通信号灯的计算坐标也包括误差。然而，因为是高速连续拍摄图像，例如每秒钟数十张，考虑到由于因此而重复坐标的估计，所以，所估计的坐标接近真实值。而且，如果在车辆经过交叉路口之前最后记录的坐标被记录下，则可以使用所记录的坐标作为车辆下次经过同一交叉路口时的初始值，这可使估计的值更接近真实值。

【101】空间模型数据库10是记录交通信号灯计算部分11所计算的交通信号灯的坐标的数据库。即，空间模型数据库10记录车辆经过每个交叉路口时所计算的交通信号灯的坐标，将每个坐标与相应的交叉路口节点以及车辆经过该交叉路口的日期和时间相关联。从而，从车辆下次经过同一交叉路口时起，在设定图像处理区域时，通过使用所记录的交通信号灯的坐标能够更精确地估计交通信号灯的位置。

【102】图14是示出由所述图像处理系统执行以检测交通信号灯的控制程序的流程图。图14中与图11相同的部分以相同的附图标记表示。

【103】当车辆行驶时，GPS/INS设备2获得车辆的位置和方向(S1)。图像处理设备5然后获得车辆当前位置附近的道路地图，特别是沿车辆行驶方向的区域的道路地图(S2)。

【104】前方监视设备4获得预定帧速率的图像并将所述图像输出到图像处理设备5(S3)。

【105】接着，交通信号灯位置估计部分7基于从道路地图提取的道路形状估计交通信号灯的位置。即，交通信号灯位置估计部分7确定是否有交叉路口(S4)，并且如果有交叉路口(S4：是)，交通信号灯位置估计部分7基于道路宽度、交叉路宽度、道路曲率以及道路斜度等来估计交通信号灯的位置(S5)。

【106】在这样估计交通信号灯的位置后，图像处理区域设定部分8在图像中设定搜索范围，所述搜索范围覆盖了估计会出现交通信号灯的区域(S6)。当有两个或更多个交通信号灯的估计位置时，可基于分配给各个估计位置的优先级设定两个或更多个搜索范围。

【107】交通信号灯检测部分9通过模板匹配等方法在搜索范围中搜索交通信号灯(S7)。

【108】接下来，交通信号灯位置计算部分11确定所检测的交通信号灯是否第一次通过数据处理检测(S18)。即，如果在车辆第一次经过交叉路口时前方监视设备4连续拍摄的那些图像中检测到该交通信号灯的第一图像数据，该交通信号灯的图像数据被认为是第一次已经获得。

【109】如果确定是第一次获得交通信号灯的图像数据(S18：是)，则交通信号灯计算部分11将步骤S5中估计的交通信号灯的坐标设定为初始值，以计算交通信号灯的实际坐标(S19)。通过如此设定初始值，交通信号灯计算部分11能够通过重复计算而更容易地得到交通信号灯的实际坐标。

【110】下面是被设定为前一初始值的坐标的实例：

—位置坐标，其在道路的横向中心并且位于路面上方5m处(当估计交通信号灯位于道路上方时)

—位置坐标，其在交叉路口末端，位于道路的横向中心并且位于路面上方5m处(当估计交通信号灯位于交叉路口之前和之后时)

—位置坐标，其在交叉路口末端，位于道路的一个车道的横向中心并且位于路面上方5m处(当道路是宽阔的道路并且估计交通信号灯位于交叉路口的每个拐角处时)

—位置坐标，其在交叉路口之前偏移距离L1处，位于道路的横向中心并且位于路面上方5m处(当道路是弯道时)

—位置坐标，其在交叉路口之前偏移距离L2处，位于道路的横向中心并且位于路面上方5m处(当道路是倾斜道路时)

—位置坐标，其在道路的横向中心并且位于路面上方5m处(当道路是窄路时)

再返回到控制程序，交通信号灯计算部分11接下来计算交通信号灯的实际坐标(S21)。在此情形下，由于交通信号灯的坐标从未计算过，交通信号灯位置计算部分11将已经在步骤S5中估计为交通信号灯的位置的坐标设定为初始值。

【111】交通信号灯位置计算部分11根据道路形状将所估计的坐标设定为初始值(S19)，并基于车辆的位置和方向以及图像中交通信号灯的位置计算交通信号灯的实际坐标(S21)。

【112】如果确定交通信号灯的数据曾经获得过(S18：否)，则交通信号灯位置计算部分11通过在计算时将车辆的当前位置和方向以及图像中交通信号灯的位置应用到已经估计过的交通信号灯的坐标，来重复计算交通信号灯的实际坐标(S21)。

【113】接下来，图像处理设备5确定车辆是否已经经过交叉路口(S22)。基于从GPS/INS设备2获得的车辆位置进行该判断。

【114】如果在步骤S22中确定车辆还未经过交叉路口(S22：否)，则控制返回到步骤S1并重复搜索交通信号灯并且计算交通信号灯的实际坐标。

【115】另一方面，如果在步骤S22中确定车辆已经经过交叉路口(S22：是)，则图像处理设备5将所估计的交通信号灯的坐标记录到空间模型数据库中(S23)，此后图14中的流程图的控制程序结束。

【116】第二示例性实施例中交通信号灯的检测结果

图15A到15C表示交通信号灯的坐标计算结果随步数变化的实例。更具体地，图15A表示步数与纬度之间的关系，图15B表示步数与经度之间的关系，图15C表示步数与高程之间的关系。

【117】在图15A到15C中的每幅图中，虚线表示通过实际测量获得的交通信号灯的坐标，线A表示使用所估计的交通信号灯的位置作为初始值计算的交通信号灯的坐标，线B表示使用交叉路口的节点处并位于路面上方5m处的位置作为初始值所计算的交通信号灯的坐标。

【118】如图15A到15C所示，当交叉路口的节点用作初始值时，经度和纬度的计算可能发散。另一方面，当所估计的交通信号灯的位置用作初始值时，通过重复计算，所计算的值接近真实值。

【119】如上所述，根据第二示例性实施例的图像处理系统能够通过将所估计的交通信号的位置用作初始值而防止计算发散，从而精确地计算交通信号灯的实际坐标。当交通信号灯的坐标精确地计算出时，假定交通信号灯位于所估计的坐标处，则能够减小图像搜索区域的大小，从而能够迅速地检测到交通信号灯。

Claims

1、一种图像处理系统，其特征在于包括：

前方监视设备，其获得车辆前方的场景图像；

车辆位置检测设备，其检测所述车辆的位置和方向；

地图数据库，其存储道路地图；

交通指示器位置估计部分，其根据已经由所述车辆位置检测设备检测到的车辆位置，基于从所述地图数据库提取的车辆前方道路形状，估计交通指示器的位置；

图像处理区域设定部分，其基于已经由所述交通指示器位置估计部分所估计的交通指示器的位置，在所述前方监视设备所获得的图像内设定进行预定图像处理的图像处理区域；以及

交通指示器检测部分，其通过所述预定图像处理从所述图像处理区域检测所述交通指示器。

2、如权利要求1所述的图像处理系统，其特征在于包括：

当所述道路形状表示交叉路口时，所述交通指示器位置估计部分估计一个或多个交通指示器位于：

a)车辆正在行驶的道路的上方；

b)沿车辆行驶方向观察，分别位于所述交叉路口之前和之后；

c)沿车辆行驶方向观察，跨过交叉路分别位于所述交叉路口之前和之后；

d)离所述交叉路口的每个拐角预定距离的范围内；

e)沿车辆行驶方向观察，位于所述交叉路口之前根据弯道的曲率所确定的距离；

f)沿车辆行驶方向观察，位于所述交叉路口之前根据道路的斜度所确定的距离；或者

g)大体上位于车辆正在行驶的道路的横向中心。

3、如权利要求1或2所述的图像处理系统，其特征在于：

基于所述车辆正在行驶的道路的宽度设定所述图像处理区域。

4、如权利要求1—3中任一项所述的图像处理系统，其特征在于还包括：

输出设备，其向驾驶员显示车辆前方的场景图像以及文字信息，其中，扬声器连接到所述输出设备，并且当所述交通指示器检测部分检测到所述交通指示器时，所述扬声器输出警报。

5、如权利要求1—4中任一项所述的图像处理系统，其特征在于还包括：

交通指示器位置计算部分，其计算所述交通指示器的位置的坐标，其中，

所述交通指示器位置计算部分用已经由所述交通指示器位置估计部分估计的交通指示器的位置作为初始值，基于已经由所述车辆位置检测设备检测到的车辆的位置和方向以及所述图像中已经由所述交通指示器检测部分检测到的交通指示器的位置，计算所述交通指示器的位置的坐标。

6、如权利要求5所述的图像处理系统，其特征在于还包括：

空间模型数据库，其记录已经由所述交通指示器位置计算部分计算的交通指示器的位置的坐标，其中，

如果所述交通指示器的位置的坐标被记录在所述空间模型数据库中，则所记录的坐标被设定为所述交通指示器位置计算部分的计算中的初始值。

7、如权利要求1—6中任一项所述的图像处理系统，其特征在于：

所述交通指示器包括交通信号灯。

8、一种图像处理方法，其特征在于包括：

获得车辆前方的场景图像；

检测所述车辆的位置和方向；

基于所检测到的车辆位置，从预存有道路地图的道路地图数据库中提取所述车辆前方的道路形状；

基于所述道路形状，估计交通指示器的位置；

基于所估计的交通指示器的位置，设定进行预定图像处理的图像处理区域；以及

通过所述预定图像处理来从所述图像处理区域检测所述交通指示器。