CN101689296A

CN101689296A - 用于产生道路信息的方法及设备

Info

Publication number: CN101689296A
Application number: CN200880017372A
Authority: CN
Inventors: 马尔钦·米夏尔·克米奇克; 卢卡什·彼得·塔博罗维斯基
Original assignee: Tele Atlas BV
Current assignee: Tele Atlas BV; Tele Atlas NV
Priority date: 2007-04-19
Filing date: 2008-04-18
Publication date: 2010-03-31
Also published as: JP2010530997A; CA2684416A1; WO2008130219A1; US20100086174A1; RU2009142604A; EP2137693A1; WO2008130233A1; AU2008241689A1

Abstract

本发明涉及一种产生供在地图数据库中使用的道路信息的方法，所述方法包括：从借助安装于移动车辆上的基于陆地的相机获得的图像序列获取源图像；从与所述源图像中表示所述移动车辆前方或后方的路面的预界定区域相关联的像素确定道路色彩样本；依据所述道路色彩样本从所述源图像产生路面图像；及，依据所述路面图像及与所述源图像相关联的位置和定向数据产生道路信息。

Description

用于产生道路信息的方法及设备

技术领域

本发明涉及一种用于产生道路信息的方法。本发明进一步涉及一种用于产生道路信息的设备、一种计算机程序产品及携载所述计算机程序产品的处理器可读媒体。

背景技术

需要为导航系统及类似系统中所使用的数字地图数据库收集大量水平道路信息，例如，车道分隔带、道路中心线、道路宽度等等。道路信息的地理位置可存储为绝对或相对位置信息。例如，中心线可以绝对地理位置信息存储，且道路宽度可以相对位置信息存储，所述相对位置信息相对于中心线的绝对地理位置为相对信息。可通过解释高分辨率航空经正射校正(orthorectified)的图像获得所述道路信息。这些高分辨率经正射校正的图像应具有低于25cm的像素大小。获得这些图像极昂贵且不保证俘获所有道路水平信息。

可从航空图像极有效地获得经正射校正的图像。然而，常常引入误差，此可导致对地理位置数据的不精确测绘。主要问题是，通常不准确地垂直于地球表面拍摄航空图像。即使在接近于地球表面拍摄图片时，仅所述图片的中心准确地垂直于地球表面。为对此图像进行正射校正，必须另外获得地形的高度信息。结合用于确定所述经正射校正的图像的三角测量过程，在航空图像中缺少对象的精确高度信息可导致这些图像高达十几米的不精确度。精确度可通过拍摄重叠图像并比较从来自相同航空相机的后续图像获得的相同表面而得以改善。但是仍存在对所获得的精确度对额外成本的限制。

此外，为从航空经正射校正的图像获得“水平”道路信息，必须分析所述图像。在所述图像中，必须检测路面。因经正射校正的图像的位置不精确度，地图数据库中道路的地理位置不可用于精确地确定路面在所述经正射校正的图像中的所在位置。此外，因航空经正射校正的图像的分辨率及路面因阴影而强烈变化的照明，难以借助基于色彩的分割算法检测路面。

现今，可通过分析并解释水平图片图像及借助只在地球上的移动收集装置收集的其它数据来获得用于导航系统及类似系统中所使用的数字地图数据库的“垂直”道路信息，例如，速度限制、方向路标等等。术语“垂直”指示道路信息的信息平面大致平行于重力矢量。移动测绘车辆(其是基于陆地的车辆，例如，汽车或有篷货车)用于为增强数字地图数据库而收集移动数据。增强的实例为交通符号、路线符号、交通灯、显示街道名称等等的街道符号的位置。

移动测绘车辆具有多个相机，这些相机中的一些为立体照相相机且所有这些相机因具有精密GPS及其它车载位置确定器材的有篷货车而经精确地地理定位。在行驶于道路网络上时，俘获图像序列。这些图像可为视频或静止图片图像。

移动测绘车辆在对象(例如，建筑物或路面)的图像序列中记录多于一个图像，且针对图像序列的每一图像，连同所述图像序列的定向数据一起精确地确定地理位置。具有对应的地理位置信息的图像序列将称为经地理编码的图像序列。因为由相机获得的图像序列表示“水平”道路信息的视觉透视图，所以图像处理算法可为从所述图像序列抽取道路信息提供解决方案。

发明内容

本发明设法提供一种产生供在地图数据库中使用的道路信息的经改善的方法。

根据本发明，所述方法包括：

-从借助安装于移动车辆上的基于陆地的相机获得的图像序列获取一个或一个以上源图像；

-从与所述一个或一个以上源图像中表示所述移动车辆前方或后方的路面的预界定区域相关联的像素确定道路色彩样本，所述预界定区域包含所述移动车辆的轨迹线；

-依据所述道路色彩样本从所述一个或一个以上源图像产生路面图像；及，

-依据所述路面图像及与所述源图像相关联的位置和定向数据产生道路信息。

本发明是基于辨识移动测绘车辆，所述移动测绘车辆行驶在地球表面上、用基于陆地的相机记录表面收集的地理位置图像序列。所述图像序列中的一些包含车辆前方或后方的道路。此外，通常，车辆的行驶方向大致相似于所述车辆前方或后方的道路的方向。此外，已知相机相对于车辆且因此相对于路面的位置和定向。借助GPS接收器及惯性测量装置(例如，一个或一个以上回转仪及/或加速计)确定车辆的位置和定向。

因为基于陆地的相机与所记录的地球表面之间的距离有限且借助车载定位系统(例如，GPS接收器)及其它额外位置和定向确定器材(例如，惯性导航系统-INS)精确已知所述相机的地理位置，所以可精确地确定每一像素(假设所述像素表示地球表面)的绝对地理位置。此外，所述相机相对于车辆的定向数据使得我们能够针对每一图像确定图像中以一确定程度表示路面的区域或像素群组。此使得我们能够自动且精确地获得路面的色彩光谱样本。所述色彩光谱样本包括对应于所假设的路面的像素的所有色彩值。使用所述色彩光谱来检测图像中可对应于路面的像素。使用因此获得的路面图像来检测道路的边沿，此使得我们能够导出道路信息，例如，中心线的绝对或相对位置及道路宽度。优选地，为获得道路色彩样本的预界定区域对应于车辆正行驶于其上的车道的车道标记之间的路面。以此方式，通常，所述道路色彩样本对应于路面或人行道材料的背景色彩的色彩光谱。现在，仅将选择对应于道路色彩背景的像素作为路面，且对应于车道标记的像素将被排除在外。以此方式，从路面图像，可检测且定位道路边缘及道路中心线以及车道信息，例如，车道分隔带、车道宽度、车道标记、车道涂料等等。

在本发明的实施例中，产生道路信息包括：

-确定所述路面图像中的道路边缘像素；

-对所述道路边缘像素执行曲线拟合以获得表示道路边缘的曲线及

-依据所述路面图像中所述曲线的位置及对应的位置和定向数据计算所述道路信息。

在本发明的进一步实施例中，已从所述一个或一个以上源图像中表示所述移动车辆前方或后方预界定区域的区域选择了路面图像，所述预界定区域包含所述移动车辆的所述轨迹线。借助相机获得的“垂直”图像中的每一像素在水平平面中具有对应的分辨率。所述分辨率随着车辆与路面之间的距离而减小。这些特征使得我们能够通过不考虑表示车辆前方或后方比预定距离远的地球表面的像素来以所保证的精确度导出位置信息。

在本发明的进一步实施例中，获取源图像包括：

-依据与来自所述图像序列的一个或一个以上图像相关联的位置数据和定向数据处理所述一个或一个以上图像以获得所述一个或一个以上源图像，其中每一源图像对应于经正射校正的图像。此特征具有路面的透视图以路面的俯视图图像转换的优点。在经正射校正的图像中，道路的边沿及中心线彼此平行于。此外，经正射校正的图像的每一像素表示地球表面的相似大小。这些性质使得能够从经正射校正的图像有效且精确地导出道路信息。使用多于一个图像使得我们能够产生经正射校正的图像(亦即，道路段的经正射校正的镶嵌图)且从所述经正射校正的图像导出所述道路段的道路信息。

在本发明的实施例中，产生道路信息包括：

-确定所述路面图像中的道路边缘像素；

-执行线拟合算法以获得表示道路边缘的线；及，

-依据所述线以及位置和定向数据计算道路信息。这些特征允许程序有效地确定道路边缘及供在地图数据库中使用的对应的道路信息。

在本发明的实施例中，产生道路信息包括：

-确定所述路面图像中的道路边缘像素；

-确定所述路面图像中条纹的位置，其包括与属于所述条纹的道路边缘像素的数目相关的最大值，其中所述条纹具有预界定宽度及平行于与所述路面图像相关联的移动车辆的行驶方向的方向；

-对属于所述条纹的道路边缘像素执行线拟合算法以获得表示道路边缘的线；及

-依据所述线以及位置和定向数据计算道路信息。在此实施例中，首先确定平行于所述图像中的路边的行驶方向的最可能位置，且随后仅考虑靠近于所述位置的道路边缘像素以导出道路信息。所述路面像素的色彩不具一种色彩而具有不同色彩的集合。因此，在所述路面图像中，路面的边沿不是直线而是噪声严重的曲线或波状曲线。所述条纹对应于源图像中表示透视图的四边形且是源图像中表示经正射校正的视图的矩形。此实施例的这些特征减少图像中的干扰减小与道路信息相关联的位置信息的精确度的可能性。如果源图像为经正射校正的图像，其中一列像素对应于平行于行驶方向的线，那么此实施例的特征可通过以下步骤极有效地实施及处理：

-确定所述路面图像中的道路边缘像素；

-针对每一列对道路边缘像素的数目进行计数以获得边缘像素柱状图；

-过滤所述边缘像素柱状图以获得表示道路边缘的列的位置；

-依据所述列的位置以及位置和定向数据计算所述道路信息。

这些特征使得我们能够极容易且有效地确定路面边沿的位置。借助相关联的定向及位置数据，可获得经正射校正的图像，其中一列对应于行驶方向。以此方式，所述条纹平行于行驶方向定向且对应于一个或一个以上毗邻列。以此方式，可通过首先针对每一列对边缘像素的数目进行计数且随后针对每一列位置对所述一个或一个以上毗邻列中边缘像素的数目进行计数来容易地对所述条纹中边缘像素的数目进行计数。

在有利实施例中，过滤包括：

-确定柱状图中具有与一个或一个以上毗邻列中所计数道路边缘像素的数目相关的最大值的列的位置。且在进一步实施例中，计算包括

-通过计算一个或一个以上列中毗邻于柱状图中在路面图像的左部具有最大值的列的所确定位置的边缘像素的列位置的平均值确定路面的左边沿的位置；

-通过计算一个或一个以上列中毗邻于柱状图中在路面图像的右部具有最大值的列的所确定位置的边缘像素的列位置的平均值确定路面的右边沿的位置；

-依据左侧及右侧的位置计算道路信息。这些特征提供一种简单且快速的算法来产生道路信息。且在本发明的进一步实施例中，所述道路信息包括表示道路的中心的位置的一组参数，其中计算包括通过计算路面的左边沿及右边沿的位置的平均位置来确定所述组参数。且在本发明的另一进一步实施例中，所述道路信息包括道路宽度参数，其中计算包括借助计算路面的左边沿及右边沿的位置之间的距离来导出所述道路宽度参数的值。以此方式，可容易地获得对应于道路的中心及宽度的道路信息。

在本发明的实施例中，已通过处理来自图像序列的第一及第二图像产生了道路信息，其中所述第一图像及时跟随所述第二图像。此特征使得我们能够检测对应于移动对象的像素。

在本发明的进一步实施例中，所述方法进一步包括：

-确定两个连续源图像内表示所述路面的相似地理区域的共用区域；

-针对所述共用区域的像素，确定其是否必须分类为固定像素或移动对象像素。这些特征使得我们能够针对连续图像的像素(当被投影于表示移动车辆前面或后方的地球表面的共用平面上时所述连续图像具有相似的地理位置)确定所述像素在两个图像中显形相同对象还是不同对象。

在进一步实施例中，已从预界定区域中的固定像素确定了道路色彩样本且移动对象像素被排除在外。此特征使得我们能够获得对路面的色彩光谱的更好估计。

在本发明的进一步实施例中，从共用区域的预界定区域确定道路色彩样本。此特征使得实践本发明的工程师能够将用于确定所述道路色彩样本的像素限于通常应以极高确定程度表示路面的像素。

在本发明的进一步实施例中，从共用区域产生路面图像。这些特征使得我们能够在两个经正射校正的图像中检查像素是否表示路面。

在本发明的有利实施例中，产生路面图像包括：

-检测共用区域中移动对象的像素；及

-将所述像素标记为从路面排除。

借助所述特征，可从路面排除在汽车的前方或后方的路面上移动的对象。在不同时间记录第一及第二图像的共用区域。移动跨越所述路面的对象将在所述第一及第二图像中具有不同位置。可借助众所周知的图像处理方法来检测移动且随后可确定第一及第二图像中移动对象的位置。此使得我们能够获得指示假设经正射校正的图像的哪些像素对应于路面像素的图像。

在本发明的另一实施例中，产生道路信息包括：

-处理路面图像的不具有指示来表示路面像素的像素以检测、识别并抽取描述车道标记及其它所涂绘道路标记的道路信息。如果从仅表示路面的背景色彩的像素获得道路色彩样本，那么将不把对应于道路涂料的像素指派为路面像素。所述道路涂料将被看作所述路面图像中的孔。可通过分析这些孔及其对应的位置和定向来识别道路信息，例如，车道分隔带、中断线、实心车道线、虚线及其它规格化的道路标记。

可使用软件、硬件或软件与硬件的组合来实施本发明。当本发明的全部或部分在软件中实施时，所述软件可驻留于处理器可读存储媒体上。适当的处理器可读存储媒体的实例包含软盘、硬盘、CD ROM、DVD、存储器IC等等。当系统包含硬件时，所述硬件可包含：输出装置(例如，监视器、扬声器或打印机)；输入装置(例如，键盘、指向装置及/或麦克风)；及处理器，其与所述输出装置通信；以及处理器可读存储媒体，其与所述处理器通信。所述处理器可读存储媒体存储代码，所述代码能够编程所述处理器以执行这些动作从而实施本发明。本发明的过程还可在可经由电话线或其它网络或英特网连接存取的服务器上实施。

附图说明

下文将使用许多实例性实施例参照所附图式更详细地论述本发明，这些图式打算图解说明本发明但不限制其由所附权利要求书及其等效实施例界定的范围，其中

图1显示具有相机的MMS系统；

图2显示位置和定向参数的图示；

图3为根据本发明用于产生道路信息的过程的范例实施方案的框图；

图4显示将源图像转换成经正射校正的图像块的一般原理的侧视图；

图5显示将源图像转换成经正射校正的图像块的一般原理的俯视图；

图6显示将立体图像对转换成两个经正射校正的图像块；

图7显示叠加图6中的两个经正射校正的图像块的结果；

图8显示用于获得道路色彩样本的区域；

图9显示叠加两个后续图像的结果；

图10显示检测与移动对象相关联的像素的结果；

图11显示具有路面、道路边缘及所计算的道路边缘的经正射校正的图像；

图12显示经正射校正的图像的一列中用于确定道路边缘的位置的所计数边缘像素的条形图的实例；

图13显形中心线的确定；

图14显示本发明可借助其执行的计算机布置的框图；

图15a、15b及15c显示从图像序列提取的三个源图像的实例；

图16显示从对应于图15中所示的源图像的图像序列获得的路面的经正射校正的镶嵌图；

图17显示上覆图16中所示的经正射校正的镶嵌图的路面图像；及

图18图解说明本发明在应用于一个图像上时的情况。

具体实施方式

图1显示采用汽车1形式的MMS系统。汽车1具有一个或一个以上相机9(i)，i＝1，2，3，...I。汽车1可由驾驶员驾驶着沿感兴趣的道路行驶。

汽车1具有多个车轮2。此外，汽车1具有高精确度位置确定装置。如图1中所示，所述位置确定装置包括以下组件：

·GPS(全球定位系统)单元，其连接到天线8且经布置以与多个卫星SLi(i＝1，2，3，...)通信且依据从卫星SLi接收的信号计算位置信号。所述GPS单元连接到微处理器μP。基于从所述GPS单元接收的信号，所述微处理器μP可确定将显示于汽车1中的监视器4上的适宜的显示信号，从而告知驾驶员汽车的所在位置及所述汽车可能正沿哪一方向行进。替代GPS单元，可使用差分GPS单元。差分全球定位系统(DGPS)是对全球定位系统(GPS)的增强，其使用固定的基于地面的参考站网络来广播由卫星系统所指示的位置与已知固定位置之间的差。这些站广播所测量的卫星伪距与实际(在内部计算的)伪距之间的差，且接收站可将其伪距校正相同量。

·DMI(距离测量器具)。此器具是通过感测车轮2中的一者或一者以上的旋转次数来测量汽车1行进的距离的计程仪。所述DMI还连接到微处理器μP以允许所述微处理器μP考虑由所述DMI测量的距离，同时依据来自所述GPS单元的输出信号计算显示信号。

·IMU(惯性测量单元)。此IMU可实施为3个回转仪单元，其经布置以测量沿3个正交方向的旋转加速度及平移加速度。所述IMU还连接到微处理器μP以允许所述微处理器μP考虑所述DMI的测量结果，同时依据来自所述GPS单元的输出信号计算显示信号。所述IMU还可包括航位推算传感器。

如图1中所示的系统为所谓的“移动测绘系统”，其例如通过借助安装于汽车1上的一个或一个以上相机9(i)拍摄图片来收集地理数据。所述相机连接到微处理器μP。所述汽车前方的相机9(i)可为立体相机。所述相机可经布置以产生图像序列，其中已以预界定帧速率俘获了图像。在实例性实施例中，所述相机中的一者或一者以上为静止图片相机，其经布置以在汽车1的每一预界定位移或每一时间间隔俘获图片。所述预界定位移经挑选以使得两个后续图片包括路面的相似部分，亦即，具有相同地理位置或表示相同地理区域。例如，可在每8米的行进后俘获一图片。

通常想要从3个测量单元GPS、IMU及DMI尽可能精确地提供位置和定向测量。测量这些位置和定向数据，同时相机9(i)拍摄图片。存储这些图片以供稍后联合在拍摄这些图片的同时收集的汽车1的对应的位置和定向数据用于μP的适宜的存储器中。这些图片包含关于道路信息的信息，例如，道路的中心、路面边缘及道路宽度。

图2显示哪些位置信号可从图1中所示的三个测量单元GPS、DMI及IMU获得。图2显示微处理器μP经布置以计算6个不同参数，亦即，相对于预定坐标系统中的原点的3个距离参数x、y、z；以及3个角参数ω_x、ω_y及ω_z，其分别表示分别围绕x轴、y轴及z轴的旋转。z方向与重力矢量的方向一致。

汽车1中的微处理器及存储器9可实施为计算机布置。图14中显示此计算机布置的实例。

图3显示根据本发明产生道路信息的过程的实例性实施方案的框图。所述过程通过借助如图1中所示的移动测绘车辆俘获具有相关联的位置和定向数据的源图像序列且将所俘获的数据存储在存储媒体上而以MMS(移动测绘系统)对话31开始。在过程块32中，处理所俘获的数据以针对具有相关联的位置和定向数据的每一源图像产生经正射校正的图像块。所述相关联的位置和定向数据包含可从GPS、DMI及IMU获得的位置信号以及相应相机相对于汽车的位置和定向的位置和定向。下文将更详细地描述经正射校正的图像块从源图像的产生。所述位置和定向数据使得我们能够叠加两个连续图像，包括路面中表示具有相同地理位置的相同地理区域的相似部分。此外，从所俘获的数据中的位置和定向数据，可确定汽车的轨迹线。

使用这些经正射校正的图像块来检测对应于路面上的移动对象的像素且导出道路色彩样本。块33表示检测移动对象的像素的过程，且块34表示用于导出道路色彩样本的过程。对相同图像同时执行两个过程。因此，块33针对第n个图像产生经正射校正的二进制第n个图像，其中针对每一像素指示所述像素是对应于固定对象还是移动对象，且块34针对第n个图像产生相关联的道路色彩样本。道路色彩样本为具有已辨识为一个或一个以上连续源图像中的路面的色彩的值的色彩值的集合，例如，基于相机相对于移动测绘车辆的行驶方向的定向的第n个图像的像素值应表示在正常条件下的路面。例如，从来自所述图像中的多边形的像素提取道路色彩样本，其中所述多边形的区域对应于车辆将行驶于其上的路面。

在块35中，使用第n个源图像的道路色彩样本来选择所述第n个源图像中具有包含于所述道路色彩样本中的色彩的所有像素。随后，将把所述第n个图像中已识别为对应于移动对象的像素标记为非固定像素。块35的结果为针对每一像素指示所述第n个图像中相关联的像素是否对应于路面且是否对应于移动对象的二进制经正射校正的图像。

在块36中，从所述二进制经正射校正的图像确定左侧及右侧或道路位置。下文将更详细地描述用以确定道路的左侧及右侧的算法。使用所确定的位置来导出所述第n个图像中所示的路面的中心的位置及所述路面的宽度。借助与所述第n个源图像相关联的位置和定向数据，可计算道路的中心的对应的地理位置。

此外，在块36中，使用所述二进制经正射校正的图像来检测、识别并抽取描述车道标记及其它所涂绘道路标记的道路信息。如果从仅表示路面的背景色彩的像素获得道路色彩样本，那么将不把对应于道路涂料的像素指派为路面像素。所述道路涂料将被看作二进制图像中的孔。可通过分析这些孔及其对应的位置和定向来识别道路信息，例如，车道分隔带、中断线、实心车道线、虚线及其它规格化的道路标记。确定孔的形状及大小且使其与车道标记及其它规格化的道路涂料的已知特性匹配。在实施例中，针对每一孔产生多边形。使用所述多边形来识别对应的道路涂料。通过识别图像中道路的车道分隔带，可导出车道的总数目。可相对于路边、道路的中心线及邻近道路标记的位置验证所匹配孔的位置和定向以减小错误检测的道路信息项目的数目。此外，可使用孔内像素的色彩值来分析所述孔以进一步减小有误差的检测。

在块37中，将道路的所计算的中心及道路宽度以及其它道路信息项目存储为供在数字地图数据库中使用的数据库中的属性。此数字地图数据库可在导航应用(例如，导航系统及类似系统)中使用，以在显示器上显示表示用户正在上面行驶的道路的透视图或俯视图或使用与方向指引或安全应用有关的信息。现将更详细地揭示图3中所示的相应块。

图4显示在块32中执行的将源图像转换成经正射校正的图像块的一般原理的侧视图。相机或CCD相机202(图2中所示)中的图像传感器101记录源图像序列。所述源图像表示由如图1中所示安装于汽车上的基于陆地的相机9(i)记录的更多或更少垂直图像。所述源图像可为借助静止图片相机记录的静止图片序列，所述相机在例如8米的每一位移被触发。包括所述图像传感器的相机具有视角α。所述视角α由所述相机的透镜的焦距102确定。所述视角α可在45°＜α＜180°的范围中。此外，所述相机具有视轴(looking axis)103，其处于视角的中心。在图1中，视轴103平行于水平平面104。图像传感器101垂直于视轴103安装。在此情况中，图像传感器101记录“纯”垂直源图像。如果进一步已知所述图像传感器相对于水平平面(例如，地球表面)的高度，那么由图像传感器101记录的图像可变换为表示水平平面的俯视图的经缩放版本的经正射校正的图像块。为在水平方向上获得具有适宜分辨率的水平线图像，使用所述图像传感器的有限区域。图4显示图像传感器101的对应于水平平面中的部分108的部分106。所述经正射校正的图像块的最小可接受分辨率确定所述图像传感器与水平平面中的最远点之间的最大距离。借助三角法，从所述基于陆地的相机检索的源图像可转换为任一虚平面。即使所述视轴相对于水平平面以一已知角度成角度，也可从源图像获得经正射校正的图像块。

图5显示将源图像转换成经正射校正的图像块200的一般原理的俯视图。相机202的视轴103、218的视角及定向确定水平平面的由图像传感器101记录的部分。经正射校正的图像块200的边沿由参考编号224指示。在图5中，相机202的视轴218与道路的具有车道标记的方向中心轴一致。属性集合及导航系统及类似系统所需的精确度需要所述经正射校正的图像块的预界定最小分辨率。这些要求限制水平平面的可从源图像获得的部分。相机焦点208相对于水平平面的位置与水平平面的区域的边界之间的最大距离206确定所述最小分辨率。此外，实际上，最大距离206可受到两个汽车当行驶于特定道路上时其之间的最小距离的限制。因此，通过限制最大距离，在大多数情况中具有如下优点：经正射校正的图像块中的路面不包括行驶于移动测绘车辆前方的汽车的后面。此外，最大距离206与最小距离204之间的差确定相机的后续图像记录之间的最大可允许距离。此可限制车辆的最大行驶速度。水平平面的矩形对应于源图像中近似具有梯形形式的区域。从图5可见，所述最小距离及所述视角确定经正射校正的图像块200是否包括在源图像中不具有对应的区域的小区域210。经正射校正的图像块200为虚线正方形且小区域210为在接近由200所指示的虚线正方形的角落处切出的小三角形。

在实施例中，经正射校正的图像块200对应于具有16m宽度220及16m长度222的区域。在每8米俘获图像的情况中，可在两个连续图像中看见99％的路面。对于所述经正射校正的图像块的进一步处理，具有呈矩形形式的经正射校正的图像块是有利的。将给予所述经正射校正的图像块的在源图像中不具有相关联的像素的像素预界定色彩值。预界定色彩值的实例为对应于现有路面色彩的色彩或在源图像中通常将不存在或几乎不存在的值。此减少所述经正射校正的图像块的进一步处理中误差的可能性。

在转换源图像以针对每一像素216(离视轴具有距离214且离焦点208具有距离204)获得经正射校正的图像块的实施例中，借助三角法确定源图像中的对应的位置，在未公开的专利申请案PCT/NL2006/050252中更详细地描述三角法，所述专利申请案以参考方式同此并入。应注意，当将源图像转换为经正射校正的图像时，分辨率(每一像素表示的物理大小)改变(变得较大)。通过对源图像中相关联的像素的色彩值求平均值以获得所述经正射校正的图像的像素的色彩值来完成大小增加。所述求平均值具有使路面色彩样本成群且减少所述过程内的噪声的效应。

在一个实施例中，图6在上侧显示立体图像对。在下侧显示两个对应的所转换的经正射校正的图像块。可通过首先借助三角法或三角测量确定源图像中的对应的位置且其次复制源图像中最近像素的值来导出所述经正射校正的图像块中像素的值。还可通过在四个或9个最近像素之间插值获得所述值。虚线302及304指示源图像的用于获得经正射校正的图像块的区域。在优选实施例中，所述经正射校正的图像块为矩形。使用立体相机将导致产生具有相对大重叠区域的两个经正射校正的图像块序列。图7显示通过叠加图6中的两个经正射校正的图像块获得的经正射校正的镶嵌图。所述叠加可基于相应经正射校正的图像块的地理位置。从位置确定函数导出每一经正射校正的图像块的地理位置，所述位置确定函数包含来自移动车辆的GPS位置、移动车辆的行驶方向或定向、移动车辆上相机的位置及移动车辆上相机的定向。将为导出经正射校正的图像块的地理位置的这些参数存储为与源图像相关联的位置和定向数据。分别从图6中的左经正射校正的图像块及右经正射校正的图像块获得经正射校正的镶嵌图的左区域402及右区域406。从左经正射校正的图像块或右经正射校正的图像块的对应的区域获得经正射校正的镶嵌图的中间区域404。在前方使用一立体相机或两个相机的优点是，可获得较大/较宽广的经正射校正的镶嵌图，因为两个相机可在比仅一个所述相机更大的角度上记录图像。相似地，结合侧面查看相机使用前方查看相机使得我们能够从极宽广的道路或具有人行道的街道获得精确的经正射校正的镶嵌图。以此方式，可产生以其全宽度表示路面的经正射校正的图像。

在块34中，从经正射校正的图像获得道路色彩样本以检测所述经正射校正的图像中的路面。图8显示用于获得道路色彩样本的区域的实例。汽车行驶于道路800上。箭头804识别汽车的行驶方向。以806指示的区域为路边。当汽车行驶于道路上时，我们可假设在汽车正前面必须仅为道路。然而，路面的像素不具有一种色彩而具有来自所谓的色空间的色彩。在每一经正射校正的图像中，界定通常包括表示路面的像素的预界定区域802。预界定区域802可呈矩形形式，其表示移动测绘车辆前方的车道中距5-11米的区域中的像素。优选地，所述预界定区域包含所述车辆的轨迹线且足够窄以便从车道标记排除含有色彩的像素且仅包含表示路面的背景色彩的像素。使用来自预界定区域802中的像素的色彩来产生道路色彩样本。使用所述道路色彩样本来确定像素是否可能是路面。如果像素具有所述经正射校正的图像的所述道路色彩样本中存在的色彩值，那么所述像素可能是路面。可最接从记录移动测绘车辆前方的道路的图像(例如，来自立体相机的图像对的图像中的一者)获得所述道路色彩样本，因为这些图像包含所述车辆的轨迹线且所述轨迹线通常在路面上。可从一个图像提取道路色彩样本以检测所述图像中的路面。工程师可找到许多方式来获得色彩样本且可对许多参数求平均值。在另一实施例中，可从多于一个连续图像提取道路色彩样本。还可每n个图像地确定道路色彩样本且可将所述道路色彩样本用于第n个图像及(n-1)个连续图像。有规则地获得道路色彩样本很重要，因为路面的色彩在很大程度上取决于道路的照明条件及灯强度。在阴影中的路面经具有与在直接阳光中的路面明显不同的道路色彩样本。因此，如果足够处理能力可用于每一经正射校正的图像，那么应确定对应的道路色彩样本且将所述道路色彩样本用于检测所述图像中的路面。此外，可组合来自数个图像的道路色彩样本以实现对不想要的暂时样本的过滤。

所述道路色彩样本可受到移动车辆前方的移动对象的色彩的污染。因此，视情况，可从所述道路色彩样本排除块33中检测为移动对象像素的像素的色彩值。以此方式，可避免对所述道路色彩样本的污染。此选项在图3中由到块34的虚线指示。

应注意，图8表示源图像的经正射校正的部分。当视轴不平行于车辆的行驶方向时，所述部分的轮廓不对称(如图所示)。

为能够确定道路的宽度及中心，相机必须俘获道路的全宽度。通常，当汽车正行驶于所述道路上时，其与所述汽车前方的车辆之间存在最小距离。此距离可用于确定预界定区域以获得道路色彩样本。此外，可假设一直到所述汽车前方出现汽车，在图像中可看不到除路面以外的任何其它情况。然而，在所述道路的其它车道中，移动对象(例如，汽车、摩托车、有篷货车)可通过移动测绘车辆。对应于这些移动车辆的像素不应分类为路面。

图3中的块33检测源图像中移动对象的像素。可在两个连续经正射校正的图像中的共用区域中检测移动对象的像素。图9显示叠加两个后续图像的结果。参考编号902及904指示第n个及第(n+1)个经正射校正的图像的具有已从第n个及第(n+1)个源图像导出的像素的部分的边界。箭头908指示移动测绘车辆的行驶方向。假设所述第n个及第(n+1)个经正射校正的图像在行驶方向上包括16米的道路且所述第(n+1)个图像是在移动测绘车辆在俘获第n个图像后在8米的位移后拍摄。在那一情况中，在车辆的行驶方向上存在为8米的共用平面906。与对应于第(n+1)个图像的共用平面的像素相比，对应于第n个图像的共用平面906的像素对应于另一时刻。移动对象在第n个及第(n+1)个图像中将具有不同位置，而固定对象将不在共用平面906中移动。可通过确定在共用平面906中具有等效位置的像素之间的色彩距离来找到移动对象的像素。

共用平面906中第n个图像的像素由r_n、g_n、b_n表示，其中r、g及b对应于像素的红色、绿色及蓝色色彩值。共用平面906中处于相同位置处的第(n+1)个图像的像素由r_n+1、g_n+1、b_n+1表示。在范例实施例中，在共用平面中具有相同位置的所述像素的色彩由以下方程式确定：

dist = \frac{distR + distG + distB}{3}

其中：

distR＝(r_N-r_N+1)²

distG＝(g_N-g_N+1)²

distB＝(b_N-b_N+1)²

如果dist＞thr²，其中thr为自适应阈值，那么所述像素表示移动对象，否则所述像素表示固定的某事物。在实施例中，所述阈值在经典RGB空间中为10²-15²的距离。另一方法是使用相对于光谱特性(例如，像素的平均色彩)的距离。工程师可找到许多其它方式来确定像素是表示移动对象还是表示固定的某事物。

应注意，替代RGB空间，在本发明中可使用其它色空间。色空间的实例为绝对色空间、LUV色空间、CIELAB、CIEXYZ、Adobe RGB及sRGB。这些相应色空间中的每一者具有其特定优点及缺点。

图10显示在执行对对应于第n个及第(n+1)个经正射校正的图像1002、1004的共用平面1006的像素上的移动对象的像素的检测后的实例性结果。所述结果为二进制图像，其中白色像素与固定对象相关联，且黑色像素与移动对象相关联。移动对象为在第n个及第(n+1)个源图像中具有不同地理位置的对象。在第n个及第(n+1)个经正射校正的图像1002、1004的共用平面1006中检测所述移动，且如果所述共用平面中的像素具有大于两个连续图像之间的阈值量的色移，那么所述像素与移动对象相关联。图10中的移动对象1010可为行驶于另一车道上的车辆。箭头1008指示携载相机的车辆的行驶方向。

使用与由块34产生的第n个图像相关联的道路色彩样本来检测表示所述第n个图像中的路面的像素且产生路面图像。针对所述第n个图像的共用平面906中的每一像素，进行检查以看所述像素的色彩值是否处于道路色彩样本中或在距所述道路色彩样本中的任一色彩或来自所述道路色彩样本的一个或一个以上特性(例如，道路色彩样本的平均色彩或色谱)的预定距离内。如果是这样，那么路面图像中的对应的像素将被分类为路面像素。应注意，通过处理源图像中多于一个像素的值获得经正射校正的图像中的像素。此减少道路色彩样本的色彩光谱中的噪声，且因此改善路面像素选择及识别的质量。此外，应注意，可使用文理分析及段生长或区生长算法来从经正射校正的图像选择路面像素。使用与由块33产生的指示像素是固定像素还是对应于移动对象的第n个图像相关联的二进制图像来给路面图像中的每一图像指派对应的参数。使用路面图像的这两个性质来选择道路边缘像素且产生道路边缘图像。首先，针对所述路面图像中的每一行，选择、识别最左及最右像素且将其存储为道路边缘像素的一部分以供进一步处理。应注意，可使用其它算法来选择道路边缘像素，例如，选择路面中形成最左及最右毗邻像素链的像素。其次，针对每一道路边缘像素，验证其位置是否靠近对应于移动对象的像素。如果道路边缘像素靠近移动对象像素，那么可将所述像素标记为可疑像素或可将其从二进制图像中的道路边缘像素排除。如果道路边缘像素与最近移动对象像素之间的距离小于三个像素，那么将所述道路边缘像素视为靠近于移动对象像素。在实施例中，当路面中的对应的被标记为移动对象像素时，将道路边缘像素标记为可疑像素或将其排除。可使用所述可疑指示来确定其是否仍可能以预定可靠性来自动地导出对应于源图像的道路边缘的位置。如果存在太多可疑道路边缘像素，那么所述方法可经布置以提供源图像从而使得人类能够在所述源图像或经正射校正的源图像中指示左道路边缘及/或右道路边缘的位置。因此获得的位置存储在数据库中以供进一步处理。因此，如果由块33产生的二进制图像指示共用平面中的像素为固定像素且经正射校正的图像中相关联的像素的色彩为来自道路色彩样本的色彩，那么将所述像素分类为道路边缘像素。将任一不满足此要求的像素分类为道路边缘像素。当显形路面图像且从路面像素排除对应于移动对象的像素时，将把移动对象看作路面中的孔或路面的侧处的切口。

图11显示路面图像1100的理想化实例，其包括路面1102、左道路边缘及右道路边缘1104、1106以及沿道路1108的草地边沿。此外，图11显示路面图像1100、车辆1110的行驶方向以及道路的所计算的左侧及右侧1112、1114上的上覆图。路面1102的边缘1104、1106不平滑，因为靠近路边的路面的色彩可不同于道路色彩样本。例如，路边可覆盖有灰尘。此外，道路色彩可因阴影而出现偏离。因此，这些边缘为锯齿状。在块36中，首先将确定路面图像中的边缘像素。边缘像素为垂直于行驶方向的线1116上的极端路面像素。以此方式，路面内部中的孔因移动对象或其它噪声而将不导致对道路边缘的虚假检测。应注意，在图11中，道路边缘1104及1106由连续线表示。实际上，因(例如)移动对象，道路边缘可不连续，因为可排除标记为可疑像素的道路边缘像素。

其次，将边缘点拟合为直线。下文所述的算法是基于道路的边缘大致平行于车辆的行驶方向的假设。使用平行于行驶方向的条纹或窗来获得对路面图像中的路面的左侧及右侧的位置的粗略估计。所述条纹具有预界定宽度。将所述条纹从左侧移动到右侧且针对所述条纹的每一可能位置确定落在所述条纹内的道路边缘像素的数目。可以条形图表示每一位置的道路边缘像素的数目。图12显示可在上述方法像图11一样应用于路面图像以确定路边的位置时获得的条形图。垂直轴1202指示落在所述条纹内的道路边缘像素的数目，且水平轴1204指示所述条纹的位置。将形成顶部或在局部具有最大数目的像素的位置视为粗略地指示路边的位置。所述位置为粗略位置，因为路边的确切位置在所述条纹内。可通过将落在所述条纹中的边缘像素拟合为平行于行驶方向的直线来确定路边的位置。例如，可使用众所周知的线性最小二乘法拟合技术来找到平行于行驶方向通过边缘像素的最佳拟合直线。还已发现多边形骨架算法及稳健线性回归算法(例如，基于中值的线性回归)极适于确定道路边缘的位置、道路宽度及中心线。因为已知经正射校正的图像的地理位置，所以可极容易地计算因此找到的直线的地理位置。以相似方式，可确定右路边的位置。应注意，可将边缘像素应用于任一线拟合算法从而替代直的道路边缘获得曲线状路边。此将增加处理源图像所需的处理能力，但可有益于道路的弯曲。将所确定的道路边缘及中心线存储为一组参数，所述参数包含端点及形状点的位置中的至少一者。所述组参数可包括用于表示的多项式的系数的参数，所述多项式表示对应的线。

用于确定上文所界定的路边的位置的算法可用于任一经正射校正的图像上，其中已知车辆相对于所述图像的定向的行驶方向。所述行驶方向及定向允许我们精确地确定所述图像内当车辆行驶于直的道路或甚至弯曲道路上时对应于所述车辆的轨迹线的区域。可使用此区域来获得道路色彩样本。因为所述轨迹线通常跨越路面，所以可自动地获得所述道路色彩样本，而不执行专门图像分析算法来确定图像的哪一区域可表示路面。

在有利实施例中，块32经布置以产生经正射校正的图像，其中所述经正射校正的图像的像素的列与车辆的行驶方向相对应。在此情况中，可极容易地确定路边的位置。如上文中所揭示的条纹中边缘像素的数目对应于x个毗邻列中边缘像素的和，其中x为列数目且对应于所述条纹的宽度。优选地，所述条纹的位置对应于形成所述条纹的列的中间列的位置。在实施例中，所述条纹的宽度对应于为1.5米的宽度。

用于确定路边的位置的算法可包括如下动作：

-针对每一列像素，对边缘像素的数目进行计数；

-针对每一列位置，合计x个毗邻列的边缘像素的数目；

-确定在这x个毗邻列的所合计边缘像素的数目中具有局部最大值的列的位置；

-确定对应于与先前所确定的位置相关联的则x个毗邻列的边缘像素的平均值(列)位置。

所有这些动作可以简单操作执行，例如计数、加法、比较及求平均数。经正射校正的图像的左部中的局部最大值与左路边相关联，且经正射校正的图像的右部中的局部最大值与右路边相关联。

在已确定了对应于左路边及右路边的直线的位置后，可通过计算左路边及右路边的平均位置来确定道路的中心。可将道路的中心存储为以(例如)端点的具有纬度及经度的坐标表征的一组参数。可通过计算左路边与右路边的位置之间的距离来确定道路的宽度。图13显示经正射校正的图像1302的实例。道路的右所检测边缘、道路的左所检测边缘及道路的所计算的中心线叠加于所述图像上。

应注意，上述方法使用色彩信息及对与移动对象相关联的像素的检测两者。应注意，所述方法还在无对所述像素的检测的情况中很好地执行。在那一情况中，每次仅使用一个源图像来产生供在地图数据库中使用的道路信息。

图15a、15b及15c显示从由如图1中所示的MMS系统获得的图像序列提取的三个源图像的实例。已通过以规则间隔拍摄图像获得了所述图像序列。以此方式，产生具有预界定帧速率(例如，30帧/秒或25帧/秒)的图像序列。图15a到15c中所示的三个源图像不是所述图像序列的后续图像。借助高精确度定位装置，针对每一图像，可精确地确定相机位置和定向。借助未公开的专利申请案PCT/NL2006/050252中所述的方法，透视图图像转换为经正射校正的图像，其中针对每一像素，可从位置和定向数据导出对应的地理位置。与每一经正射校正的图像相关联的位置和定向数据使得能够从所述经正射校正的图像产生经正射校正的镶嵌图。

图16显示从对应于图15a到15c中所示的三个源图像的图像序列以及插入图像获得的路面的经正射校正的镶嵌图。在所述经正射校正的镶嵌图中，指示对应于这三个图像的区域。由151a、152a及153a所指示的区域分别对应于图15a、15b及15c中所示的源图像的经正射校正的部分。由151b、152b及153b指示的区域分别对应于可已通过图15a、15b及15c中所示的源图像的对应的部分的正射校正获得的区域，但其不用于经正射校正的镶嵌图中，因为继图15a-15c中所示的源图像之后的图像提供相同区域但具有较高分辨率及所述汽车前方的汽车正遮挡对路面的观察的较少机会，因为位置相机与路面之间的距离较短。再次出于相同原因，也不使用最远部分151b、152b及153b但替代使用后续图像(未指示于图16中)。可见，仅源图像的小区域用于经正射校正的镶嵌图中。所使用的区域对应于从距MMS系统的预界定距离一直到与MMS系统在对应于帧速率的随后时间间隔期间的行进速度相关的距离的路面。源图像的所使用的区域将随着行进速度的增加而增加。在图16中进一步指示所述MMS系统的轨迹线160。相机位置与由源图像的像素表示的路面之间的最大距离优选小于正行驶于道路上的两个汽车之间的最小距离。如果情况如此，那么可产生道路区段的路面的经正射校正的镶嵌图，其因正行驶于所述MMS系统前方的车辆而不显示失真。

此外，从图16可容易地看出，路面的每一部分俘获于至少两个图像中。可看出由151b、152b及153b指示的区域的部分还将由从图15a到15c中所示的图像获得的经正射校正的图像覆盖。未显示但可容易推断出，区域151b、152b及153b的部分为来自继图15a到15c中所示的图像之后的图像的经正射校正的部分。然而在图15a到15c中所示的图像序列的图像中，汽车为可见，那些汽车在经正射校正的镶嵌图中不再可见。应注意，区域151a显示汽车的底架在正前方的暗组件。因为前述图像中的对应的地理区域显示除所述暗组件之外的组件，所以对应于所述暗组件的所述像素将标记为移动对象像素且将从道路色彩样本排除。

使用上述方法来产生表示路面色彩的道路色彩样本。从图15中所示的源图像及图16中所示的经正射校正的镶嵌图可见路面不具有均匀色彩。使用所述经正射校正的镶嵌图来确定道路信息，例如，道路宽度、车道宽度。上文揭示怎样将道路色彩样本用于确定哪些像素对应于路面且所述像素中的哪些不对应于路面。此外，上文描述可怎样针对每一像素确定其是固定像素还是移动对象像素。还使用这些方法来确定适于在经正射校正的镶嵌图中确定对应于路面的像素的道路色彩样本。可从与一个源图像中表示其上安装相机的移动车辆前方的路面的预界定区域相关联的像素确定道路色彩样本。然而，如果所述预界定区域中的路面不包括阴影，那么所述道路色彩样本将不把对应于有阴影的路面的像素指派给将针对经正射校正的镶嵌图产生的路面图像。因此，在本发明的实施例中，从多于一个连续图像确定所述道路色彩样本。所述道路色彩样本可对应于经正射校正的图像中用于解释经正射校正的镶嵌图的预界定区域中存在的所有像素值。在另一实施例中，所述道路色彩样本对应于经正射校正的镶嵌图的预界定区域中存在的所有像素值，其中所述预界定区域包括跟随移动车辆的轨迹线160的条纹中的所有像素。所述轨迹线可在所述条纹的中间，但应在所述条纹中的某处。因此获得的道路色彩样本将几乎包括路面的所有色彩值，从而使得所述应用能够在经正射校正的镶嵌图中几乎正确地检测对应于路面的所有像素且获得可从其确定道路信息(例如，道路边缘的位置)的路面图像。

在实施例中，已从预界定区域中的固定像素确定了道路色彩样本并移动对象像素被排除在外。在此实例中，所述道路色彩样本仅包括预定区域中未被分类为移动对象像素的像素的色彩值。以此方式，所述道路色彩样本更好地表示路面的色彩。

图17显示图16的经正射校正的镶嵌图，其中路面图像在顶部。区域170指示未被分类为路面像素的像素的区域。分类为路面像素的像素在图17中为透明。形成区域170与图17中的透明区域之间的边界的像素将被指派为道路边缘像素且用于确定道路信息，例如道路边缘及道路中心线的位置。

应注意，经正射校正的镶嵌图为源图像中表示移动车辆前方的预界定区域的区域的合成物。因此，从所述经正射校正的镶嵌图产生的路面图像为源图像中表示移动车辆前方的预界定区域的区域的合成物。

当保证在俘获图像序列期间移动对象已存在于移动车辆前方的预界定区域中时，上述方法将适当地工作。然而，情况并不总是如此。在图16中，对应于源图像2的镶嵌图部分包括阴影。对应于所述阴影的色彩值可导致路面图像的不适当产生。因此，如上文所述，针对用于产生所述道路色彩样本的每一像素确定其是对应于固定像素还是移动对象像素。

针对经正射校正的镶嵌图，将产生对应的图像(亦即，移动对象图像)，从而针对每一像素识别所述经正射校正的镶嵌图中的对应像素是固定像素还是移动对象像素。接着仅使用跟随移动车辆的轨迹线的条纹中的像素的像素值来获得道路色彩样本并将排除所述条纹中分类为移动对象像素的所有像素。以此方式，仅使用在所述图像序列的两个后续图像中识别为固定像素的像素的像素值来获得道路色彩样本。此将改善道路色彩样本的质量且因此路面图像的质量。

当应用上述移动对象检测时，对应于阴影的像素将因在图像序列的先前图像中而被识别为移动对象像素，经正射校正的图像中的对应的像素将显示移动车辆前方的车辆，其色彩明显不同于有阴影的路面。

移动对象图像可进一步用于改善对应于经正射校正的镶嵌图的路面图像中道路边缘的位置的确定。前文描述一种用于改善的方法。

在大多数情况中，道路区段或沿轨迹并不是直的。图16显示稍微弯曲道路。可使用众所周知的曲线拟合算法来确定路面图像中道路边缘的位置且随后道路边缘的地理位置。可从曲线拟合算法道路排除被分类为移动对象像素的道路边缘像素。

显示，根据本发明的方法可应用于经正射校正的图像及经正射校正的镶嵌图两者上。在两种情况中，从与一个或一个以上源图像中表示移动车辆前方的路面的预界定区域相关联的像素确定道路色彩样本，所述预界定区域包含所述移动车辆的轨迹线。此外，从一个或一个以上源图像依据道路色彩样本产生路面图像，且依据所述路面图像以及与源图像相关联的位置和定向数据产生道路信息。

对于两种类型的图像，优选地首先针对每一像素确定其是固定像素还是移动对象像素。为此，使用两个连续源图像内的共用区域，其中当被投影于相同平面上时，所述共用区域在所述图像中的每一者中表示路面的相似地理区域。接着，使用此信息来仅排除对应于移动对象的像素使其不确定道路色彩样本且改善用于产生道路信息的方法。

应注意，如果仅使用一个源图像来产生道路信息，那么可使用所述源图像来确定道路色彩样本并产生二进制路面图像。从所述二进制路面图像，可检索道路边缘像素。借助道路边缘像素以及相关联的位置和定向数据，可确定平行于行驶方向的最佳线。可使用将源图像转换为经正射校正的图像的公式来确定源图像中平行于行驶方向的线。

图18图解说明根据本发明的方法在应用于一个源图像上时的实施例。图18显示弯曲道路180及车辆181的轨迹线。可借助与图像序列相关联的位置和定向数据在图像中确定所述车辆的轨迹线。使用轨迹线181来确定所述图像中表示移动车辆前方的路面的预界定区域182。线183指示预界定区域182的外部线。区域182在真实世界中为具有预界定宽度的条纹，其具有平行于车辆181的轨迹线的两个侧。可见区域182延伸直到所述车辆前方的预界定距离。使用预界定区域182中像素的所有值来获得道路色彩样本。使用所有色彩值来将每一像素分类为路面像素或非路面像素且产生对应的路面图像。线184图解说明对应于路面180的右侧的道路边缘像素，且线185图解说明对应于路面180的左侧的道路边缘像素。可使用曲线拟合算法来确定道路边缘的曲线及中心线曲线，未显示所述曲线。借助与所述图像相关联的位置和定向数据，可计算道路边缘及中心线的坐标。

当可保证没有汽车在所述车辆正前方时，根据本发明的方法将仅对一个图像工作。如果不能保证此，那么可如上文所述通过在后续图像中使用预界定区域182的一部分中的共用区域在所述部分中确定对应于移动对象的像素。

借助上文所述的方法，可确定道路的中心线的绝对位置。此外，可确定路边的绝对位置及指示所述路边相对于中心线的相对位置的道路宽度。这些所确定的道路信息存储在供在地图数据库中使用的数据库中。可使用所述道路信息来在导航系统中产生路面的更现实视图。例如，可显形道路的变窄。此外，所述数据库中道路的宽度可极有益于确定用于可被太窄道路阻碍的例外运输的最佳路线。

图14图解说明可用于实施执行上述方法的道路信息产生器的计算机系统的高阶框图。

图14的计算机系统包含处理器单元1412及主存储器1414。处理器单元1412可含有单个微处理器，或可含有多个微处理器以供将所述计算机系统配置为多处理器系统。主存储器1414部分地存储指令及数据以供由处理器单元1412执行。如果本发明的方法全部或部分地在软件中实施，那么主存储器1414在操作时存储可执行代码。主存储器1414可包含动态随机存取存储器(DRAM)以及高速缓冲存储器库。

图14的系统进一步包含大容量存储装置1416、外围装置1418、输入装置1420、便携式存储媒体驱动器1422、图形子系统1424及输出显示器1426。为简洁起见，将图14中所示的组件描绘为经由单个总线1428连接。然而，这些组件可通过一个或一个以上数据传输构件连接。例如，处理器单元1412及主存储器1414可经由本地微处理器总线连接，且大容量存储装置1416、外围装置1418、便携式存储媒体驱动器1422及图形子系统1424可经由一个或一个以上输入/输出(I/O)总线连接。大容量存储装置1416(其可借助磁盘驱动器或光盘驱动器实施)为用于存储数据的非易失性存储装置，这些数据例如相应相机的经地理编码的图像序列、相机的校准信息、恒定及变化位置参数、恒定及变化定向参数、经正射校正的图像块、道路色彩样本、所产生的道路信息以及供处理器单元1412使用的指令。在一个实施例中，大容量存储装置1416存储系统软件或计算机程序以供出于加载至主存储器1414的目的实施本发明。

便携式存储媒体驱动器1422结合便携式非易失性存储媒体(例如，软盘、微驱动器及快闪存储器)操作以将数据及代码输入到图14的计算机系统且从图14的计算机系统输出数据及代码。在一个实施例中，用于实施本发明的系统软件以此便携式媒体的形式存储在处理器可读媒体上，且经由便携式存储媒体驱动器1422输入到所述计算机系统。外围装置1418可包含任一类型的计算机支持装置(例如，输入/输出(I/O)接口)以将额外功能添加到所述计算机系统。例如，外围装置1418可包含网络接口卡以供将计算机系统介接到网络、调制解调器等等。

输入装置1420提供用户接口的一部分。输入装置1420可包含用于输入阿拉伯数字或其它键信息的阿拉伯数字键盘或指向装置(例如，鼠标、追踪球、触针或指针方向键)。为显示原文及图形信息，图14的计算机系统包含图形子系统1424及输出显示器1426。

输出显示器1426可包含阴极射线管(CRT)显示器、液晶显示器(LCD)或其它适宜的显示装置。图形子系统1424接收原文及图形信息，并处理所述信息以供输出到显示器1426。输出显示器1426可用于通过将所计算的中心线及道路边缘上覆在相关联的经正射校正的图像上来报告根据本发明的方法的结果、显示经正射校正的镶嵌图、显示方向、显示确认信息及/或显示是用户接口的一部分的其它信息。图14的系统还包含音频系统1428，其包含麦克风。在一个实施例中，音频系统1428包含从麦克风接收音频信号的声卡。另外，图14的系统包含输出装置1432。适宜的输出装置的实例包含扬声器、打印机等等。

图14的计算机系统中所含有的组件为通常在通用计算机系统中找到的那些组件，且打算表示在本计数中众所周知的这些计算机组件的宽广种类。

因此，图14的计算机系统可为个人计算机、工作站、小型计算机、大型计算机等等。所述计算机还可包含不同总线配置、网络式平台、多处理器平台等等。可使用各种操作系统，包含UNIX、Solaris、Linux、Windows、Macintosh OS及其它适宜的操作系统。

可自动地执行上述方法。可能碰巧图像的质量使得执行本发明的图像处理工具及对象辨识工具需要某一校正。例如，相关联的经正射校正的图像块上的所计算的路边的叠加显示不想要的可见出发。在那一情况中，所述方法包含一些验证及手动调适动作以实现确认或调适中间结果的可能性。这些动作还可适于接受道路信息产生的中间结果或最终结果。此外，可使用一个或一个以上后续图像中有疑问标记的数目来请求人类执行验证。

由本发明产生的道路信息针对每一图像产生道路信息并将其存储在数据库中。可进一步处理所述道路信息以减少信息的量。例如，对应于与道路区段相关联的图像的道路信息可针对所述区段的道路宽度减少为一个参数。此外，如果所述道路区段足够平滑，那么可用一组参数描述中心线，所述参数包含至少所述区段的端点及形状点。表示所述中心线的线可由多项式的系数存储。

已出于图解说明及描述目的呈现了本发明的前述实施方式。并不打算穷尽列举本发明的形式或将本发明限于所揭示的确切形式，且显然鉴于以上教示许多修改及变化均可行。例如，替代记录移动车辆前方的路面的相机，可使用记录移动车辆后方的路面的相机。此外，本发明还适于确定经正射校正的图像中车道分隔带或其它线性道路标记的位置。

挑选所描述的实施例以便最佳地解释本发明的原理及其实际应用从而藉此使得所属领域的技术人员能够在各种实施例中且以适于所涵盖的特定应用的各种修改来最佳地利用本发明。本发明的范围打算由所附权利要求书加以界定。

Claims

1、一种产生供在地图数据库中使用的道路信息的方法，所述方法包括：

从借助安装于移动车辆上的基于陆地的相机获得的图像序列获取一个或一个以上源图像；

从与所述一个或一个以上源图像中表示所述移动车辆前方或后方的路面的预界定区域相关联的像素确定道路色彩样本，所述预界定区域包含所述移动车辆的轨迹线；

依据所述道路色彩样本从所述一个或一个以上源图像产生路面图像；及，

依据所述路面图像及与所述源图像相关联的位置和定向数据产生道路信息。

2、如权利要求1所述的方法，其中产生道路信息包括：

确定所述路面图像中的道路边缘像素；

对所述道路边缘像素执行曲线拟合以获得表示道路边缘的曲线及

依据所述路面图像中所述曲线的位置及对应的位置和定向数据计算所述道路信息。

3、如权利要求1到2中任一所述的方法，其中已从所述一个或一个以上源图像中表示所述移动车辆前方的预界定区域的区域选择所述路面图像，所述预界定区域包含所述移动车辆的所述轨迹线。

4、如权利要求1到3中任一所述的方法，其中获取源图像包括：

依据与来自所述图像序列的一个或一个以上图像相关联的位置数据和定向数据处理所述一个或一个以上图像以获得所述一个或一个以上源图像，其中每一源图像对应于经正射校正的图像。

5、如权利要求1到4中任一所述的方法，其中从多于一个连续图像提取所述道路色彩样本。

6、如权利要求1到5中任一所述的方法，其中所述方法进一步包括：

确定两个连续源图像内表示所述路面的相似地理区域的共用区域；

针对所述共用区域的像素，确定其是否必须分类为固定像素或移动对象像素。

7、如权利要求6所述的方法，其中已从所述预界定区域中的所述固定像素确定所述道路色彩样本，且移动对象像素被排除在外。

8、如权利要求1到7中任一所述的方法，其中所述路面图像为从后续源图像获得的经正射校正的镶嵌图。

9、如权利要求1到8中任一所述的方法，其中所述路面图像为从经正射校正的图像获得的经正射校正的镶嵌图，每一经正射校正的图像表示所述车辆前方或后方的预定区域。

10、如权利要求6及9所述的方法，其中产生路面图像包括：

将像素标记为所述路面图像中的固定像素或移动对象像素。

11、如权利要求10所述的方法，其中产生道路信息包括：

依据所述标记为非固定像素，将所述路面图像的像素指派为道路边缘像素。

12、一种用于执行如权利要求1到11中任一所述的方法的设备，所述设备包括：

输入装置；

处理器可读存储媒体；及

处理器，其与所述输入装置及所述处理器可读存储媒体通信；

输出装置，其用以实现与显示单元的连接；

所述处理器可读存储媒体存储代码，所述代码用以编程所述处理器以执行包括如下动作的方法：

从借助安装于移动车辆上的基于陆地的相机获得的图像序列获取源图像；

从与所述源图像中表示所述移动车辆前方或后方的路面的预界定区域相关联的像素确定道路色彩样本；

依据所述道路色彩样本从所述源图像产生路面图像；及，

13、一种包括指令的计算机程序产品，当加载于计算机布置上时所述指令允许所述计算机布置执行如权利要求1到11所述的方法中的任何一者。

14、一种携载计算机程序产品的处理器可读媒体，当加载于计算机布置上时所述计算机程序产品允许所述计算机布置执行如权利要求1到11所述的方法中的任何一者。