CN106256644A - 使用视觉提示、静止对象和gps在十字路口中的车辆定位 - Google Patents

Abstract

一种用于识别车辆的位置和方向的系统和方法。所述方法包括从(例如)在车辆或路旁单元上的地图数据库获得特定位置的环境模型。所述方法进一步包括使用GPS信号检测车辆的位置、使用雷达传感器确定从车辆到所述位置处的静止对象的距离测量和使用摄像机检测车辆周围的视觉提示。所述方法包括将静止对象和已检测视觉提示与在环境模型中的静止对象和视觉提示配准，和使用到静止对象的这些距离测量和在环境模型中匹配的视觉提示确定车辆的位置和方向。车辆可基于已检测静止对象和视觉提示更新环境模型。

Description

使用视觉提示、静止对象和GPS在十字路口中的车辆定位

技术领域

本发明总体上涉及一种用于识别车辆的位置和方向的系统和方法，并且更具体地，涉及用于在十字路口处或者在发生弱的GPS信号接收期间识别车辆的位置和方向的系统和方法，其中该方法使用由车辆摄像机提供的视觉提示和/或来自通过雷达传感器所检测的车辆周围的静止对象的距离测量。

背景技术

对象检测系统(还被称为对象感测系统)在现代车辆中已经变得越来越普遍。对象检测系统可以向驾驶员提供关于在车辆的路径中的对象的警告。对象检测系统还可以向主动车辆系统(诸如自适应巡航控制系统，其控制车辆速度以维持与先行车辆的适当纵向间隔)和后方横穿交通回避系统(其可以提供警告和自动刹车两者以避免在宿主车辆倒车时与在宿主车辆后面的对象碰撞)提供输入。

用于这些类型系统的对象检测传感器可以使用多种技术中的任一种，诸如近程雷达、远程雷达、具有图像处理的摄像机、激光或者激光雷达、超声波等。对象检测传感器检测车辆和在当前车辆的路径中的其它对象，并且应用软件使用对象检测信息来视情况提供警告或者采取动作。警告可以是在车辆仪表盘上或者在平视显示器(HUD)中的视觉指示，和/或可以是音频警告或者其它触觉反馈装置，诸如触觉座椅。在许多车辆中，对象检测传感器直接集成到车辆的前保险杠或者其它仪表板中。

在车辆上采用的用于检测车辆周围的对象并且提供至那些对象的距离和那些对象的方向的雷达和激光雷达传感器，提供来自对象的反射作为组合为点群集距离地图的多个扫描点，其中对于跨越传感器的视野的每个1/2°提供单独的扫描点。因此，如果在当前车辆的前面检测到目标车辆或者其它对象，可能会有多个扫描点，其识别目标车辆与当前车辆的距离而返回。通过提供扫描返回点的群集，具有各种并且任意形状的对象，诸如卡车、拖车、自行车、行人、防护栏、K-屏障等，可以更容易检测到，其中对象对于当前车辆越大和/或越接近，提供的扫描点越多。

在车辆上的摄像机可以提供倒车辅助，拍摄车辆驾驶员的图像来确定驾驶员疲劳或者专注，出于避免碰撞的目的在车辆行驶时提供路面的图像，提供结构识别，诸如道路标志等。其它车辆视觉应用包括用于感测车辆行驶车道并且在车道中心驾驶车辆的车辆车道感测系统。这些已知的车道检测系统中的许多检测在用于各个应用的路面上的车道标记，诸如车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等，并且具有通常采用的在车辆的前部或者后部的单个摄像机，来提供用于检测车道标记的图像。

本领域还已知在车辆上提供环绕视图摄像机系统，其包括前摄像机、后摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像来生成车辆和周围区域的俯视图，并且其中图像在车辆的拐角处彼此重叠。俯视图可以为车辆驾驶员显示以看见用于倒车、停车等车辆周围的情况。未来车辆可以不采用后视镜，但是可以替代地包括由环绕视图摄像机提供的数字图像。

各种车辆系统要求车辆的位置和方向已知。目前，现代车辆通常依靠GPS信号来识别车辆位置，这对于各种车辆系统(诸如导航系统等)是必要的。然而在车辆上的当前GPS接收器不总是能够接受GPS信号，由于例如高建筑、基础设施等干扰和阻塞信号，由此对要求车辆定位的那些系统具有不利的影响。因此，有利的是提供用于在弱GPS接收的区域中确定车辆的位置的另外可靠的技术。

发明内容

以下公开描述了一种用于识别车辆的位置和方向的系统和方法。该方法包括从例如在车辆或者路旁单元上的地图数据库获得具体位置的环境模型。该方法进一步包括使用GPS信号检测车辆的位置，使用雷达传感器确定从车辆至在位置处的静止对象的距离测量，并且使用摄像机检测车辆周围的视觉提示。该方法包括用在环境模型中的静止对象和视觉提示配准静止对象和已检测的对象，并且使用至静止对象的那些距离测量和在环境模型中匹配的视觉提示以帮助确定车辆的位置和方向。车辆可以基于已检测的静止对象和视觉提示更新环境模型。

本发明的附加特征通过对应附图结合做出的以下说明和所附权利要求书而变得显而易见。

附图说明

图1是道路十字路口的示意图；

图2是在图1中示出的十字路口的环境模型；

图3是用于更新和修正在图2中示出的环境模型的技术的简化框图；

图4是用于基于环境模型获得车辆位置的系统的框图；以及

图5是用于对象和地标检测的系统的框图。

具体实施方式

涉及一种用于通过融合来自GPS信号、由车辆摄像机检测的视觉提示和由雷达传感器检测的静止对象的数据识别车辆位置和方向的系统和方法的本发明的实施例的以下讨论在本质上仅仅是示例性的，并且决不旨在限制本发明或其应用或用途。例如，如所讨论，系统和方法具有用于识别车辆位置的特定应用。然而，如本领域技术人员将理解，系统和方法可以具有用于其它移动平台，诸如在火车、机械、拖拉机、船、旅游车辆等上的应用。

如下文将详细地讨论，本发明提出了一种用于通过融合来自GPS信号、视觉提示和/或静止对象的数据和距离测量识别用于各种车辆系统(诸如碰撞避免系统、导航系统等)的车辆位置和方向的系统和方法。系统和方法的以下讨论和描述将具体涉及确定在十字路口处的车辆位置和方向，其中GPS信号由于结构元件阻塞信号而可能较弱，且车辆碰撞的发生可能较高，且其中十字路口通常包括各种和许多静止对象，诸如可用于确定车辆的位置的标志和视觉提示。然而，应强调如本文讨论的本发明的系统和方法可在许多其它位置和环境处采用。如本文所使用，视觉提示是可从由摄像机捕捉的图像中提取，其指示自动化车辆有兴趣感知的环境的某个性质的状态的统计量或图案。视觉提示是小斑点，所述斑点通常被描述为位置(在图像中的行和列)和特征描述符(可唯一地识别斑点的二进制向量)。视觉提示的实例可以是比例不变特征变换、加速分段测试提取特征(FAST)、二进制鲁棒性独立基本特征(BRIEF)和快速定向和旋转(ORB)BRIEF。

图1是由交叉道路14和16限定的十字路口12的示意图10。若干车辆18被示出停在十字路口12处，其中沿道路14行驶的车辆18遭遇停车标志20且沿道路16行驶的车辆18遭遇交通灯22。其中车辆18中的一个在示意图10中被指定为宿主车辆26并且包括执行本文讨论的各种操作所需要的各种硬件和软件元件28。例如，元件28可以包括处理器30、地图数据库32、摄像机34(包括俯视图摄像机)、对象传感器36(诸如雷达、激光雷达等)、GPS接收器38和短程通信系统40。

如本文将讨论，GPS接收器38将接收GPS卫星信号，摄像机34将检测宿主车辆26周围的视觉提示(诸如车道标记42、停止线44、斑马线46等)，且传感器36将检测静止对象(诸如道路标志48、标杆50、停车标志20、交通灯22等)。处理器30将使用这些信号中的一个或多个以产生十字路口12和存储在地图数据库32中的其它十字路口或位置的环境模型，且可用于基于从车辆26到各种视觉提示和对象的距离或距离测量识别车辆26在十字路口12中和其周围的位置和方向。另外，在车辆26上的短程通信系统40可将数据传输到路旁单元52和从路旁单元52接收数据，所述路旁单元52还存储环境模型使得在环境模型通过宿主车辆26或具有与主车辆26相同的能力的其它车辆18在路旁单元52中更新时，可与主车辆26共享所述更新信息以尤其在不存在或弱GPS信号的发生期间提供其位置的更精确描绘。

图2是由基于通过宿主车辆26从视觉提示和静止对象接收的信息产生的示意图10的制成的环境模型60，其中模型60将十字路口12示为十字路口62、将道路14示为道路64、将道路16示为道路66和将宿主车辆26示为主车辆68。在模型60中，圆圈70表示宿主车辆68从其接收GPS信号的GPS卫星，正方形72表示车辆68识别的静止对象，且椭圆74表示所检测的视觉提示。在模型60中的箭头76识别距这些各种事物的已确定距离，所述各种事物接着融合在一起以识别宿主车辆68的具体位置和方向。获得如本文讨论的所有传感器信息允许宿主车辆26被定位到全局坐标。

因为可能宿主车辆26将沿着相同路线重复行驶，诸如从家到工作场所并且反之亦然，所以可以存储在地图数据库32或者路旁单元52中的若干环境模型可以基于静止对象和视觉提示的最新检测在宿主车辆26沿着路线行驶时更新。因此，环境模型通过添加可以为新的对象并且去除可为过去的对象不断更新。通过知道静止对象的位置和视觉提示，在宿主车辆26上的测距传感器可以基于宿主车辆26与那些对象的距离来确定车辆的位置和方向。如宿主车辆26检测沿其路线各个静止对象并且那些对象对应于已经存在于存储在数据库32或者路旁单元52中的环境模型中的现有对象相，车辆26可以使用那些静止对象识别车辆26的特定位置和方向。由此，在宿主车辆26沿其正常路线行驶重复检测那些新对象时，新对象可以被添加至环境模型并且去除的对象可以从环境模型消除，可以去除曾经重复检测并且现在不重复检测到的具体对象。

图3是示出在框82中执行的用于更新宿主车辆26的位置和方向的过程的简化流程图80，其接收静止对象和在线84上被检测的视觉提示的距离测量。车辆位置和方向确定算法还从例如路旁单元52或者地图数据库32接收在线88上的框86处中识别的环境模型60。算法基于现有环境模型和最新检测到的信号计算更新后的环境模型，并且提供该数据以更新在线90上框86处的环境模型60。

图4是以本文所讨论的方式提供车辆位置、航向改变角和速度的系统100的框图。方框102表示处理器，诸如在宿主车辆26上的处理器30，该处理器执行并且运行为提供车辆位置、航向改变角和速度所需的各个程序和算法，其信号在线104上提供。处理器102从适合的车辆传感器106接收动态数据，诸如车辆速度、车辆偏航速率、转向车轮角度等。处理器102还从传感器和接收器108接收距离测量信号(诸如GPS信号)、检测的静止对象(诸如来自雷达传感器)、检测的视觉提示(诸如来自车辆摄像机的路面标记等)。处理器102还从路旁单元52接收并且下载环境模型110。处理器102将检测的对象和视觉提示与在环境模型110中的那些匹配，并且找出其中传感器数据最佳匹配在环境模型110中的对象的车辆姿态。处理器102还配准并且更新静止路旁对象和视觉提示以提供传回至路旁单元52的已更新的环境模型。

图5是提供关于宿主车辆26如何提供静止对象检测的另外的细节的系统120的框图。如所提及的，通过框122表示，静止对象通过雷达或者激光雷达传感器来检测，当检测具体对象时该激光雷达传感器提供多个扫描点。然后，扫描点进行到框124以提供本领域技术人员公知的群集点，以识别被检测的具体对象的距离、距离变化率和角度。然后，在框126处，检测算法确定被检测的对象是否静止，即，没有从一个样本点移动至另一样本点。在框128处，算法将被检测的静止对象匹配或者配准至在框130处提供的环境模型中的那些，以确保被检测的对象为现有静止对象。然后，在框132处，算法输出识别匹配的静止对象(其持久性指数大于预定阈值)的信号。在车辆26可以重复行驶路线时，持久性指数识别检测具体对象的频率。这样，算法检测路旁对象，它的大小小于1米，并且它的地面速度为零并且不在其它静止对象附近。算法确定被检测对象在宿主车辆26的坐标系中的距离和方位角。一旦静止对象被检测到大于阈值，宿主车辆26将修正或者更新后的环境模型发送回到路旁单元52。

视觉提示检测算法可以采用用于检测宿主车辆26周围的车道标记的环绕视图摄像机系统，并且可以使用，例如，前视摄像机识别在图像的消失线上方的视觉提示，其中检测算法确定用于每个被检测提示的方位角。如果算法能够确定两个或更多个视觉提示的方位角，那么然后可以使用三角测量算法来确定到那些视觉提示的距离。

以下讨论提供上面所讨论的定位算法如何使用距离和方位测量来确定宿主车辆26的位置和方向的更详细说明。信息阵列用于表示高斯(Gaussian)分布为以下：

p～N(μ,∑) (1)

p～[R,z] (2)

其中：

R^TR＝∑^-1 (3)

Rp＝z (4)

本文出于讨论的目的，本地东北天(ENU)坐标系用于表示车辆26的位置。传感器测量获取为ρ₁,ρ₂,…,ρ_M，其中每个传感器测量可以是用于静止对象或者视觉提示的距离或者方位角。通过这些测量，使ρ₁,ρ₂,…,ρ_M在环境模型60中的相关联位置。当宿主车辆26进入环境模型60并且获取位置测量ρ₁,ρ₂,…,ρ_M时，其中更新p＝(X,Y,X)^T使用具有L迭代的最小二乘法计算过程来计算，执行初始化过程。

将宿主车辆26的初始位置设为：

$\tilde{p}={(\tilde{X},\tilde{Y},\tilde{Z})}^T={\mathrm{\Σ}}_{j=1}^M{p}_j/M---\left(5\right)$

为说明的目的，考虑两个测量结果ρ₁(距离)和ρ₂(方位)，其中σ₁和σ₂为这两个测量结果相应的标准偏差，分别如下：

${\tilde{p}}_j={(X_j,Y_j,Z_j)}^{T}forj=1,2---\left(6\right)$

设：

${\widetilde{\mathrm{\ρ}}}_1=\sqrt{{(\tilde{X}-X_1)}^2+{(\tilde{Y}-Y_1)}^2+{(\tilde{Z}-Z_1)}^2}---\left(7\right)$

${\widetilde{\mathrm{\ρ}}}_2=arctan\left(\frac{\tilde{Y}-Y_2}{\tilde{X}-X_2}\right)---\left(8\right)$

$r^2={(\tilde{X}-X_2)}^2+{(\tilde{Y}-Y_2)}^2---\left(9\right)$

$\left(\begin{array}{ccc}\frac{\stackrel{\‾}{X}-X_1}{{\widetilde{\mathrm{\ρ}}}_1{\mathrm{\σ}}_1}& \frac{\stackrel{\‾}{Y}-Y_1}{{\widetilde{\mathrm{\ρ}}}_1{\mathrm{\σ}}_1}& \frac{\stackrel{\‾}{Z}-Z_1}{{\widetilde{\mathrm{\ρ}}}_1{\mathrm{\σ}}_1}\\ -\frac{\stackrel{\‾}{Y}-Y_2}{r^2{\mathrm{\σ}}_2}& \frac{\stackrel{\‾}{X}-X_2}{r^2{\mathrm{\σ}}_2}& 0\end{array}\right)\left(\begin{array}{c}X-\tilde{X}\\ Y-\tilde{Y}\\ Z-\tilde{Z}\end{array}\right)=\left(\begin{array}{c}\frac{{\mathrm{\ρ}}_1-{\widetilde{\mathrm{\ρ}}}_1}{{\mathrm{\σ}}_1}\\ \frac{{\mathrm{\ρ}}_2-{\widetilde{\mathrm{\ρ}}}_2}{{\mathrm{\σ}}_2}\end{array}\right)---\left(10\right)$

以矩阵形式：

$H(p-\tilde{p})=\mathrm{\Δ}\mathrm{\ρ}---\left(11\right)$

或者：

Hp＝o (12)

其中：

$o=H\tilde{p}+\mathrm{\Δ}\mathrm{\ρ}---\left(13\right)$

构建矩阵[H o]并将QR应用到矩阵中以获得三角矩阵其中标量e表示余数。

正确的初始位置为：

p₀＝(R₀)^-1z₀ (14)

所述分布为：

p₀～[R₀,z₀] (15)

设然后循环最小二乘至多L次迭代(五次)或者在达到收敛时。

如上所讨论，定位算法确定了在每个已定采样点处宿主车辆26的位置。本发明还提出了一种位置跟踪算法，其允许在两个采样点之间跟踪车辆26的位置。以下讨论位置跟踪算法如何进行位置跟踪。输入测量值及相应位置如下：

ρ₁,ρ₂,…,ρ_M (16)

p₁,p₂,…,p_M (17)

预测车辆位置为：

$\tilde{p}={(\tilde{X},\tilde{Y},\tilde{Z})}^T---\left(18\right)$

并且先前分布为：

$p~\[\tilde{R},\tilde{z}\]---\left(19\right)$

车辆位置的后分布为：

$p~\[\hat{R},\hat{z}\]---\left(20\right)$

而且更新后的位置为：

$\hat{p}={\hat{R}}^{-1}\hat{z}---\left(21\right)$

在下一时间步骤处的预测车辆位置其中先前分布为：

$p~\tilde{R},\tilde{z}---\left(22\right)$

如果是初始步骤，那么：

$\hat{p}=p_0---\left(23\right)$

而且后分布为：

p～[R₀,z₀] (24)

构建矩阵：

$\left(\begin{array}{cc}\tilde{R}& \tilde{z}\\ H& o\end{array}\right)---\left(25\right)$

并且应用QR分解，获得的上三角矩阵为：

$\left(\begin{array}{cc}\hat{R}& \hat{z}\\ 0& e\end{array}\right)---\left(26\right)$

其中e是最小二乘余数。

而且在时间t时更新后的位置为：

$\hat{p}={\hat{R}}^{-1}\hat{z}---\left(27\right)$

其中以信息阵列形式的后分布为：

$p~\[\hat{R},\hat{z}\]---\left(28\right)$

给定在时间t时位置的最优估计值，其中分布为在时间t+Δt时将预测位置建模为：

$\tilde{p}=f(\hat{p},v)+w,---\left(29\right)$

其中v表示速度矢量，包括车辆传感器的速度及偏航速率，w为具有零-平均值和统一方差的高斯噪声矢量。

将上述非线性动态方程线性化成接近如下：

$F\tilde{p}+G\hat{p}=u+w---\left(30\right)$

其中，矩阵F和G分别表示雅可比行列式和

构建所述矩阵：

$\left(\begin{array}{ccc}\hat{R}& 0& \hat{z}\\ G& F& u\end{array}\right)---\left(31\right)$

并且对其应用QR分解，获得的上三角矩阵为：

$\left(\begin{array}{ccc}\mathrm{\α}& \mathrm{\β}& \mathrm{\γ}\\ 0& \tilde{R}& \tilde{z}\end{array}\right)---\left(32\right)$

预测位置为：

$\tilde{p}={\tilde{R}}^{-1}\tilde{z}---\left(33\right)$

并且该位置的分布为：

$p~\[\tilde{R},\tilde{z}\]---\left(34\right)$

如本领域技术人员很好地理解，文中讨论的描述本发明的若干和各种步骤及过程可参考利用电学现象操作和/或转换数据的计算机、处理器或其它电子计算装置所执行的操作。那些计算机及电子装置可以采用各种易失性和/或非易失性存储器，包括具有存储在其上的可执行程序的永久计算机可读介质，该程序包括能够由计算机或处理器能执行的各种代码或可实行的指令，其中存储器和/或计算机可读介质可包括所有形式及类型的存储器以及其它计算机可读介质。

上文讨论仅公开和描述了本发明的示例性实施例。根据此类讨论以及附图和权利要求书，本领域技术人员将会容易地理解，在不偏离由以下的权利要求书限定的本发明的精神和范围的情况下，可以在其中作出各种改变、修改和变更。

Claims (10)

1.一种用于识别在特定位置处移动平台的位置及方向的方法，所述方法包括：

获得环境模型，其包括在所述特定位置处的静止对象和视觉提示；

在所述特定位置处使用在所述移动平台上的传感器检测静止对象；

确定从所述移动平台到所述传感器所检测到的所述静止对象之间的距离；

检测所述移动平台周围的视觉提示；

将由所述传感器检测的所述静止对象及所述检测的视觉提示与在所述环境模型中的静止对象及视觉提示进行匹配；和

使用所述匹配的静止对象的所述距离及所述匹配的视觉提示识别所述移动平台的所述位置及方向。

2.根据权利要求1所述的方法，还包括使用GPS信号检测所述移动平台的所述位置，其中识别所述移动平台的所述位置及方向包括将使用GPS信号检测的所述移动平台的位置、所述匹配的静止对象及所述匹配的视觉提示组合。

3.根据权利要求1所述的方法，其中检测所述移动平台周围的视觉提示包括使用在所述车辆上的一台或多台摄像机。

4.根据权利要求3所述的方法，其中检测所述移动平台周围的视觉提示包括使用俯视摄像机系统。

5.根据权利要求1所述的方法，其中确定从所述移动平台到静止对象之间的距离包括使用在所述移动平台上的雷达传感器或激光雷达传感器。

6.根据权利要求1所述的方法，其中获得所述环境模型包括从在所述移动平台上的地图数据库获得所述环境模型。

7.根据权利要求1所述的方法，其中获得所述环境模型包括从位于所述特定位置处的路边单元获得所述环境模型。

8.根据权利要求1所述的方法，其中检测在所述特定位置处的所述静止对象包括通过从一个采样点到另一个采样点到所述静止对象的距离来确定静止对象是静止的。

9.根据权利要求1所述的方法，其中识别所述移动平台的所述位置及方向还包括使用移动平台速度及偏航速率数据。

10.根据权利要求1所述的方法，进一步包括通过添加不在所述环境模型中的已检测静止对象和移除在所述环境模型中的未检测静止对象更新所述环境模型。