CN101837782B - 用于碰撞预备系统的多目标融合模块 - Google Patents

Abstract

本发明涉及用于碰撞预备系统的多目标融合模块。一种用于在动态车辆事件期间控制车辆操作的方法，包括：监测第一输入图像；在第一跟踪循环中监测所述第一输入图像中的第一跟踪目标；监测第二输入图像；在第二跟踪循环中监测所述第二输入图像中的第二跟踪目标；以及确定将所述第一跟踪目标与所述第二跟踪目标进行比较的相异性度量。所述相异性度量估计所述第一跟踪目标和所述第二跟踪目标是否表示邻近车辆的单个跟踪目标。所述方法还包括：基于所述相异性度量将所述第一跟踪目标和所述第二跟踪目标相关联；以及使用碰撞预备系统中的相关目标来控制车辆操作。

Description

用于碰撞预备系统的多目标融合模块

相关申请的交叉引用

本申请要求于2009年1月26日提交的美国临时申请No.61/147,175的权益，上述申请作为参考引入本文。

技术领域

本发明总体上涉及目标跟踪系统，且更具体地涉及与涉及车辆操作的目标跟踪系统相关联的测量系统。

背景技术

该部分的内容仅提供与本发明有关的背景信息，且可能不构成现有技术。

现代车辆可配备有辅助车辆操作者管理车辆操作和导航的各种传感装置和系统。用于陆上车辆的已知系统可以包括用以控制车辆操作的自主控制系统。例如，车辆使用巡航控制系统来将车辆的行驶速度保持在操作者选择的速度。此外，车辆基于操作者选择的速度和在计划行驶路径中另一车辆(例如，在主体车辆的当前车道中的另一车辆)的存在和距离两者使用适应性巡航控制系统来控制速度。由适应性巡航控制系统使用的示例性车辆检测系统包括雷达检测装置和LIDAR检测装置，以检测主体车辆的计划行驶路径中的其它车辆的位置和速度。

已知车辆系统包括具有操控能力的自主和半自主车辆控制系统。已知的自主车辆控制系统包括行驶路径和速度控制能力。具有操控能力的示例性自主控制系统是自主车道变换系统。已知的自主车道变换系统包括车载监测系统，所述车载监测系统配置成检测主体车辆的当前车道中的目标车辆和靠近并邻近主体车辆的车道中的目标车辆。已知的车辆检测系统包括基于照相机的系统、雷达检测装置和LIDAR检测装置，以识别车辆和其它目标的相对位置和轨迹。自主车道变换系统包括从车辆操作者接收指令的人机接口装置和自动转向主体车辆以响应于所述指令变换车辆轨迹的致动器。自主车道变换系统的操作包括车辆操作者通过人机接口装置命令致动自主车道变换系统，从而指示变换主体车辆的驾驶车道的要求。当致动自主车道变换系统时，自主车道变换系统监测相邻行驶车道并操作主体车辆的转向系统以将主体车辆操控到相邻车道中。

车辆也包括设计成减轻碰撞影响的多种安全系统。在预备碰撞事件时期望准确地预测即将来临的碰撞事件。

发明内容

一种用于在动态车辆事件期间控制车辆操作的方法，包括：监测第一输入图像；在第一跟踪循环中监测所述第一输入图像中的第一跟踪目标；监测第二输入图像；在第二跟踪循环中监测所述第二输入图像中的第二跟踪目标；以及确定将所述第一跟踪目标与所述第二跟踪目标进行比较的相异性度量(dissimilarity measure)。所述相异性度量估计所述第一跟踪目标和所述第二跟踪目标是否表示邻近车辆的单个跟踪目标。所述方法还包括：基于所述相异性度量将所述第一跟踪目标和所述第二跟踪目标相关联；以及使用碰撞预备系统中的相关目标来控制车辆操作。

一种用于在动态车辆事件期间控制车辆操作的方法，所述方法包括：

监测第一输入图像；

在第一跟踪循环中监测所述第一输入图像中的第一跟踪目标；

监测第二输入图像；

在第二跟踪循环中监测所述第二输入图像中的第二跟踪目标；

确定将所述第一跟踪目标与所述第二跟踪目标进行比较的相异性度量，所述相异性度量估计所述第一跟踪目标和所述第二跟踪目标是否表示邻近车辆的单个跟踪目标；

基于所述相异性度量将所述第一跟踪目标和所述第二跟踪目标相关联；以及

使用碰撞预备系统中的相关目标来控制车辆操作。

所述方法还包括：

在所述第一输入图像中确定所述第一跟踪目标；

确定所述第一跟踪目标在所述第一输入图像中的位置；

限定所述第一输入图像中的邻近所述第一跟踪目标的特征；

确定描述所述第一跟踪目标的可能类别的第一标记；

在所述第二输入图像中确定所述第二跟踪目标；

确定所述第二跟踪目标在所述第二输入图像中的位置；

限定所述第二输入图像中的邻近所述第二跟踪目标的特征；

确定描述所述第二跟踪目标的可能类别的第二标记；以及

其中，确定将所述第一跟踪目标与所述第二跟踪目标进行比较的相异性度量包括将每个跟踪目标的位置、邻近每个跟踪目标的特征和标记进行比较。

可能类别包括快速移动目标、缓慢移动目标和静止目标。

所述方法还包括：

监测与每个输入图像相对应的测距传感器数据；以及

其中，在输入图像中确定跟踪目标基于与每个输入图像相对应的测距传感器数据。

第二标记基于第一标记。

在输入图像中确定跟踪目标包括在每个图像中识别显著图像区域和与运动相关的区域。

在每个图像中识别显著图像区域和与运动相关的区域包括：

确定边缘地图；

确定角点地图；

确定Lucan-Kanade光流地图；

确定输入图像的表示地面的区域；以及

基于所述边缘地图、所述角点地图、所述Lucan-Kanade光流地图、和输入图像的表示地面的区域来识别显著图像区域和与运动相关的区域。

识别显著图像区域和与运动相关的区域还包括在输入图像上投影来自于先前输入图像的目标信息；以及

其中，识别显著图像区域和与运动相关的区域还基于投影来自于先前输入图像的目标信息。

第一目标选择为与第二目标进行比较的先验信息。

所述方法还包括：

用一组卡尔曼滤波器分析相关跟踪目标；以及

其中，使用碰撞预备系统中的相关跟踪目标包括使用所分析的相关跟踪目标。

用一组卡尔曼滤波器分析相关目标包括：

监测车辆的速度和偏航速率；

将该组卡尔曼滤波器应用于相关目标以及车辆的速度和偏航速率；以及

在来自于该组卡尔曼滤波器的输出上使用马尔柯夫决策过程来生成所分析的相关目标。

一种用于在动态车辆事件期间控制车辆操作的方法，所述方法包括：

监测测距传感器信息和视觉系统信息；

将所述测距传感器信息叠加在所述视觉系统信息上，以生成修正图像；

使用边缘检测、角点检测和光流检测来识别所述修正图像中的显著图像区域；

排除与地面相对应的显著图像区域；

使用显著图像区域重复识别车辆视场中的目标，包括在第一时间步长中使用显著图像区域识别车辆视场中的第一目标和在随后的时间步长中使用显著图像区域识别车辆视场中的第二目标；

预测第一目标在随后时间步长中的位置；

基于第一目标的预测位置与所识别的第二目标的比较来将第一目标和第二目标进行匹配；

确定匹配目标的目标航迹；

基于目标航迹来确定每个匹配目标和车辆之间的碰撞概率；和

基于碰撞概率来控制车辆。

一种操作车辆中的碰撞预备系统的系统，所述系统包括：

视觉系统；

测距传感器系统；和

控制模块，所述控制模块：

监测来自于测距传感器的数据和来自于视觉系统的图像；

基于所述测距传感器数据和图像重复识别车辆视场中的目标，包括在第一时间步长中使用所述测距传感器数据和图像识别车辆视场中的第一目标和在随后的时间步长中使用所述测距传感器数据和图像识别车辆视场中的第二目标；

预测第一目标在随后时间步长中的位置；

基于第一目标的预测位置来将第一目标和第二目标相关联；

确定相关目标的目标航迹；

基于目标航迹来确定相关目标和车辆之间的碰撞概率；以及

基于碰撞概率来控制车辆。

确定相关目标的目标航迹包括：

使用多个卡尔曼滤波器来处理所述相关目标；以及

基于所述多个卡尔曼滤波器的输出的选择，使用马尔柯夫决策过程来确定目标航迹。

识别车辆视场中的目标包括：

将测距传感器数据叠加到一个图像上以生成修正图像；

提取在修正图像上的与测距传感器信息相关的图像区域；

确定图像区域的特征描述符；和

基于所述特征描述符来识别图像区域中的目标。

所述特征描述符使用预定特征直方图、梯度方向直方图和主成分分析中的至少一种来确定。

预定特征使用Haar小波、Gabor小波和Leung-and-Malik滤波器组中的至少一种来确定。

基于第一目标的预测位置来将第一目标和第二目标相关联包括：

确定第一和第二目标之间的相异性度量；以及

在所述相异性小于预定阈值时将第一和第二目标进行匹配。

基于目标航迹来确定相关目标和车辆之间的碰撞概率包括：

确定目标航迹的高斯分布；

随机取样高斯分布以获得质点组；

确定每个质点的纵向和横向位移；

确定每个质点是否在与车辆的碰撞路径上；

确定每个质点在碰撞路径上的碰撞时间；

如果相应质点的碰撞时间小于阈值时间，那么将碰撞路径上的每个质点指定为威胁；以及

当该质点组中指定为威胁的预定百分比大于阈值百分比时，确定碰撞即将到来。

附图说明

现在将通过示例的方式参考附图描述一个或多个实施例，在附图中：

图1示意性地示出了根据本发明的配备有照相机和雷达成像系统的车辆的示例性设置；

图2示意性地示出了根据本发明的使用传感器来生成融合的目标航迹的示例性车辆；

图3示意性地示出了根据本发明的监测传感器输入和生成航迹列表的示例性过程；

图4示意性地示出了根据本发明的示例性系统，传感器输入藉此融合到用于碰撞预备系统的目标航迹中；

图5示意性地示出了根据本发明的示例性融合模块；

图6示意性地示出了根据本发明的用于识别显著图像区域和与运动相关的图像区域的示例性控制方案；

图7示意性地示出了根据本发明的操作估计一组目标的位置和速度的示例性卡尔曼滤波器组；和

图8示出了根据本发明的叠加到相应图像平面上的示例性测距数据。

具体实施方式

现在参考附图，其中，附图显示仅仅是为了示出某些示例性实施例而不是为了限制所述实施例，图1示出了根据本发明的照相机11的示例性设置，照相机11位于车辆10前面且指向车辆10前面的地面。照相机11与控制模块5通信，控制模块5包括处理来自于照相机11的输入的逻辑。车辆10也可配备有雷达成像系统13，在存在时，雷达成像系统13也与控制模块5通信。本领域技术人员应当理解的是，除了使用照相机11和雷达成像系统13之外或者替代使用照相机11和雷达成像系统13，车辆10可以使用各种方法来识别道路状况，包括GPS信息、来自于与车辆10通信的其它车辆的信息、关于具体路面的历史数据、生物信息(例如，读取驾驶员的视觉焦点的系统)、雷达成像系统或其它类似系统。本文公开的内容能够应用于各种装置设置且因而不受限于此。

照相机11是能够将光、红外线或其它电磁(EM)辐射形式的视觉输入译码成能够便于分析的数据格式(例如，数字、象素化图像)的本领域熟知的装置。在一个实施例中，照相机11使用电荷耦合装置(CCD)传感器来产生指示视场的图像。优选地，照相机11配置成用于连续生成图像，例如每秒产生30个图像。由照相机11产生的图像可存储在照相机11内的存储器中或者传输给控制模块5，以用于存储和/或分析。优选地，照相机11产生的每个图像是具有已知象素大小的二维图像，包括多个可辨识象素。所述多个可辨识象素可使用阵列存储和分析。每个象素可在阵列中表示为位集合或多个位集合，其中，位与预定调色板或颜色图上的颜色相对应。每个象素例如在红-绿-蓝(RGB)颜色模型或青-紫-黄-黑(CMYK)颜色模型中可表示为多个颜色强度值的函数。优选地，每个象素包括多个位集合，其中，每个位集合与颜色强度和颜色强度值相对应，例如，在RGB颜色模型上，第一位集合与红色强度值相对应，第二位集合与绿色强度值相对应，且第三位集合与蓝色强度值相对应。

雷达成像装置13是本领域熟知的装置，包括：能够发送无线电波或其它EM辐射的发送器；能够感测所发送的波的接收器装置，该所发送的波从发送器前面的目标被反射回到接收器；和将所感测的波转换成能够分析的数据格式(例如，指示与反射该波的目标的距离和角度)的装置。替代性地，雷达成像装置13可用配置成发送和接收光能的光检测和测距(LIDAR)系统来替代或补充。所接收的光能可用于确定目标几何尺寸和/或与车辆10的几何接近度。应当注意的是，雷达成像装置13对于执行本文公开的许多方法来说是可选的而不是必需的，其中，视觉图像的处理能够完成畅通路径检测。本文使用的术语“畅通路径”旨在给予本领域普通技术人员其普通和通常的涵义(且不限于特定或定制涵义)，且无限制性地指代没有超过阈值的目标的路径，例如没有分类为上述第二和第三类别的目标的路径。

控制模块5在图1中示出，并在本文描述为分立元件，这种图示是为了便于说明且应当理解的是，控制模块5可采用任何合适的形式，包括一个或多个专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的中央处理单元(优选为微处理器)以及相关存储器和储存器(只读、可编程只读、随机存取、硬盘驱动器等)、组合逻辑电路、输入/输出电路和装置、合适的信号调节和缓冲电路、以及提供所述功能的其它合适部件的各种组合。控制模块具有一组控制算法，所述控制算法包括存储在存储器中且被执行提供期望功能的常驻软件程序指令和标定值。所述算法优选在预定循环期间被执行。所述算法例如由中央处理单元执行，并且可操作以监测来自感测装置和其它网络控制模块的输入以及执行控制和诊断程序从而控制致动器的操作。在持续进行的发动机和车辆操作期间，循环以规则间隔例如每3.125、6.25、12.5、25和100毫秒被执行。替代性地，算法可响应于事件发生而被执行。

控制模块5执行存储在其中的算法代码以监测相关的设备(例如照相机11和雷达成像系统13)并执行由处理模块内执行的分析所表示的指令或数据传输。控制模块5可包括借助于本领域已知且在本文未描述的手段来致动自主驾驶控制的算法和机构，或者控制模块5可简单地提供信息给独立的自主驾驶系统。取决于与控制模块结合使用的具体实施例，控制模块5适合于根据需要从其它系统和操作者接收输入信号。

图2示意性地示出了根据本发明的使用传感器来生成融合的目标航迹的示例性车辆10。示例性车辆包括旨在用于高速公路上的乘用车辆，但是应当理解的是，本文所述的发明可应用于任何车辆或其它系统，以试图监测远程车辆和其它目标的位置和轨迹。车辆包括控制系统，所述控制系统包含在各种时刻执行的算法和标定值。控制系统优选为总体车辆控制结构的子组且提供协调的车辆系统控制。控制系统监测来自于各个传感器的输入，综合相关信息和输入，并执行算法来控制各种致动器以实现控制目标，包括诸如避免碰撞和适应性巡航控制的参数。车辆控制结构包括多个分布式处理器和装置，包括提供诸如防抱死制动、牵引控制和车辆稳定性的功能的系统控制器。

示例性传感系统优选包括目标定位传感器，包括至少两个前视测距传感装置14和16以及附随的子系统或处理器。目标定位传感器可包括上文所述的雷达成像装置13，雷达成像装置13配置成包括短程雷达子系统、长程雷达子系统和前视系统。目标定位传感装置可包括任何测距传感器，例如上文所述包括FM-CW雷达(频率调制连续波)、脉冲和FSK(频率键移)雷达、LIDAR装置、以及依赖于诸如Doppler效应测量的效应来定位前面目标的超声装置。可能的目标定位装置包括上文所述的照相机11，其使用数字图形方法来“观察”前面目标。这种传感系统用于检测和定位机动车应用中的目标，可与包括例如适应性巡航控制、碰撞避免、预防碰撞安全和侧面目标检测的系统使用。示例性车辆系统也可包括全球位置传感(GPS)系统。

这些传感器优选定位在车辆10内相对于车辆前面的视场相对不受阻碍的位置。也应当理解的是，这些传感器中的每个提供跟踪目标的实际位置或状况的估计值，其中，所述估计值包括估计位置和标准偏差。因而，目标位置和状况的传感器检测和测量通常称为“估计值”。还应当理解的是，这些传感器的特征是互补的，因为一些传感器比其它传感器在估计某些参数方面更可靠。常规传感器具有不同的操作范围和角视界，且能够在其操作范围内估计不同的参数。例如，雷达传感器通常可以估计目标的距离、距离变化率和方位位置，但是在估计检测目标的范围方面通常不稳固。具有视觉处理器的照相机在估计目标的形状和方位位置方面更稳固，但是在估计目标的距离和距离变化率方面效率较低。扫描式LIDAR关于估计距离和方位位置方面有效且准确地执行，但是通常不能估计距离变化率，因而关于新目标获取/识别方面不准确。超声传感器能够估计距离，但是通常不能估计或计算距离变化率和方位位置。此外，应当理解的是，每种传感器技术的性能受到不同环境状况的影响。因而，常规传感器存在参数差异，这些传感器的可操作叠加为传感器融合提供了机会。

每个目标定位传感器和子系统提供输出，包括距离R、基于时间的距离变化R_dot、和角度Θ(优选相对于车辆的纵轴线)，所述输出可写成测量矢量(O)，即传感器数据。示例性短程雷达子系统具有160度的视场(FOV)和三十米的最大量程。示例性长程雷达子系统具有17度的视场和220米的最大量程。示例性前视子系统具有45度的视场和五十(50)米的最大量程。对于每个子系统，视场优选围绕车辆10的纵轴线取向。车辆优选相对于坐标系(称为XY坐标系20)取向，其中，车辆10的纵轴线建立X轴，中心位于便于车辆和信号处理的点处，Y轴通过垂直于车辆10的纵轴线且在水平面中的轴线建立，因而平行于道路表面。

题为“SYSTEM AND METHOD OF TRAGET TRACKING USINGSENSOR FUSION”的美国专利No.7,460,951作为参考引入本文，从而在本文不需要详细地充分描述用于融合来自于多个传感的跟踪数据器以更准确地估计目标位置的方法和设备。

回到图2，车辆10示出为包括一对传感系统14和16。车辆10可以参考坐标系(X，Y)20，其中，坐标参考车辆的纵轴线和横向位置(例如，与车辆的中心线相比)定义。传感系统14和16可以是任何上述示例性系统或能够返回感测目标的航迹的本领域已知的系统。传感器可以具有其自身的坐标系。参考传感器系统14示出了示例性坐标系(u，V)21。在三个不同时间示出了目标30。感测FOV(A)内的目标的传感器系统14返回目标30的三个跟踪目标位置，标记为r_a1，r_a2和r_a3。感测FOV(B)内的目标的传感器系统16类似地返回目标30的三个跟踪目标位置，标记为r_b1，r_b2和r_b3。目标30的融合位置可以基于关于目标30的可用信息来描述。将多组数据融合成融合组的方法是本领域已知的。例如，示例性方法可以在各个数据点应用权重或测量偏差，且每个独立点对融合组的贡献可以取决于权重或偏差。图2示出了示例性融合数据点组，标记为r_f1，r_f2和r_f3。

图3示意性地示出了根据本发明的监测传感器输入和生成对应于被检测目标的航迹列表的示例性过程。示例性车辆10总体上包括控制系统，所述控制系统具有观测模块22、数据关联和聚类(DAC)模块24(还包括卡尔曼滤波器24A)、和航迹寿命管理(TLM)模块26，所述TLM模块26跟踪包括多个目标航迹的航迹列表26A。更具体地，观测模块包括传感器14、16、其相应传感器处理器、以及在传感器、传感器处理器和DAC模块24之间的互连件。

上述目标跟踪系统示出了一种方法，目标或多个目标可以通过所述方法跟踪。然而，应当理解，收集关于车辆周围环境的信息的多种不同传感器可以类似地使用，且本发明并不旨在限于本文所述的特定实施例。此外，上文所述的数据融合方法是各种输入传感器的细节可以融合到目标的单个有用航迹的一种示例性方法。然而，许多数据融合方法是本领域已知的，且本发明并不旨在限于本文所述的特定示例性实施例。

本文公开了用于使用碰撞预备系统和所识别目标的运动来控制车辆操作的方法。所识别目标被分析以基于相对于车辆的目标运动来识别可能迫近的或即将来临的碰撞。碰撞预备系统配置成向车辆操作者警报迫近的碰撞且配置成控制车辆操作，例如如果碰撞被认为是不可避免的，通过自动制动以降低碰撞严重性。

视觉系统提供用于车辆控制系统中的传感器输入的替代源。用于分析视觉信息的方法是本领域已知的，包括模式识别、角点检测、竖直边缘检测、竖直目标识别和其它方法。然而，应当理解的是，邻近车辆的视场的高分辨率视觉表示包括要分析的非常大量的信息，该高分辨率视觉表示以评价运动所需的高速率实时更新。视觉信息的实时分析是可能是抑制性的。公开了一种方法，该方法借助于由诸如上文所述的示例性航迹融合方法的方法生成的融合航迹来融合来自于视觉系统的输入，以将视觉分析集中在最可能造成碰撞威胁的视觉信息的一部分上并使用集中的分析来警报可能即将来临的碰撞事件。此外，描述了采用重复跟踪循环的方法来识别跟踪目标，例如，使用在一个循环中确定的信息来帮助确定下一循环中的信息。此外，描述了一种方法来应用一组滤波器于图像中的跟踪目标且通过应用模型来确定哪个滤波器输出是跟踪目标的最佳估计。

图4示意性地示出了根据本发明的用于碰撞预备系统的示例性控制方案100。控制方案在图4中示出且在本文描述为包括分立元件。这种图示是为了便于描述，应当认识到，由这些元件执行的功能可组合在一个或多个装置中，例如在软件、硬件和/或专用集成电路中实施。例如，控制方案100可在控制模块5中实施。控制方案100包括监测描述车辆10周围环境的传感器输入数据(包括测距传感器102、照相机图像104和车载传感器106)。优选地，控制方案100使用其测距传感器(例如，雷达和LIDAR)和照相机来连续地监测周围车辆环境。

数据融合模块110输入传感器数据。数据融合模块110将所述输入分析、滤波或关于各个输入的可靠性按优先顺序进行排序，且被排序或加权的输入被求和以生成邻近车辆10的目标的航迹估计。这些目标航迹然后输入给碰撞威胁评估模块120，其中，每个航迹针对碰撞概率进行评估。应当理解的是，碰撞不需要针对本文采用的方法进行，而是基于动态车辆事件的评估(例如，检测的目标与主车辆的关系变化暗示即将来临的碰撞)，从而可以评估碰撞的概率。碰撞的该概率可以例如相对于碰撞的阈值概率进行评估，且如果碰撞被确定为可能的，那么可以启动碰撞应对措施。识别目标的碰撞概率由碰撞应对措施模块150分析。

碰撞应对措施可以采用本领域已知的许多形式。例如，车辆制动系统可以自动激活，以试图在撞击之前使车辆减速。类似地，发动机的节气门可以被切断，以在撞击之前降低车辆的速度和车辆的动能。例如，可以激活自动转向，以在碰撞之前使车辆摆好姿势，以避免角撞击的影响。类似地，如果预计侧面撞击即将来临，那么车辆的转向和前进运动可以被控制以调节使得撞击远离车辆的客舱。类似地，如果预计后部撞击即将来临，那么车辆的节气门可以增加以减少在撞击时的车辆速度差。其它车辆系统可以附加地控制，以便为撞击做好准备。例如，乘员的座椅安全带可以被收紧和/或锁定，以便为撞击做好准备。车辆的头枕可以被操控以最佳地保护车辆乘员的头和颈部。气囊可以在预计撞击之前的瞬时例如用降低的压力抢先展开，从而减少乘客受到气囊的通常快速展开的影响的概率。在撞击之前，窗户可以自动关闭且门可以锁定。脚踏板可以被调节到缩回位置，以降低在撞击期间与车辆操作者相互作用的概率。初始紧急信号可以通过无线通信网络传输，以警报急救人员，从而避免在撞击损坏系统操作时系统不能通信。可听到的即将来临的碰撞警报可以发出声音，以警报车辆乘员。设想多种碰撞应对措施，且本发明并不旨在限于本文所述的特定示例性实施例。

在一个实施例中，上文所述的示例性控制方案100用于在动态车辆事件期间控制车辆操作。所述方法包括监测测距传感器信息和视觉系统信息。将测距传感器信息叠加在视觉系统信息上生成修正图像。使用边缘检测、角点检测和光流检测来识别修正图像中的显著图像区域，其中，排除对应于地面的显著图像区域。所述方法还包括使用在第一时间步长中的显著图像区域来识别车辆视场中的第一目标和使用在随后的时间步长中的显著图像区域来识别车辆视场中的第二目标。在随后的时间步长时第一目标的位置被预测并基于将第一目标的预测位置和所识别的第二目标进行比较来与第二目标进行匹配。确定匹配目标的目标航迹并基于目标航迹确定匹配目标和车辆之间的碰撞概率。车辆基于碰撞概率进行控制。

图5示意性地示出了根据本发明的示例性图像融合模块110。融合模块110整合来自于各种传感装置(包括照相机104和测距传感器102)的输入并生成邻近车辆10的目标的融合航迹。测量传感器数据包括在车辆二维坐标系中的目标列表的位置数据。在一个示例性实施例中，在运动分析和显著区域检测模块112中，目标被投影或叠加到照相机数据上以生成修正图像，优选使用被调节以对应于车辆二维坐标系的预定照相机标定参数。测距信息(例如，与图像的对应区域匹配的雷达返回值)可以用于识别可能目标在图像中可能目标的位置。附加光照标准化可应用于照相机数据和修正图像。标准化是改变象素强度值范围的过程。标准化的目的是使得图像变为更适合于机器处理的范围，以改进可靠性。例如，每个象素值被标准化为0平均值和单位偏差，以增强图像对比，尤其在低光照环境中或者在由于眩光而对比度差时。

运动分析和显著区域检测模块112识别具有包含目标或目标部分的阈值置信度的图像区域，用于进一步分析。对应于先前识别的目标的图像区域使用先验信息确定，包括先前时间步长的目标信息，例如目标航迹和位置。在一个实施例中，目标使用目标位置、在多次重复之间经过的时间和关联目标航迹投影到修正图像上。使用提取算法可以识别显著图像区域，提取算法包括尺度不变特征变换(SIFT)、快速鲁棒性特征(SURF)算法、和/或最大稳定极值区域(MSER)算法。在一个实施例中可以使用有向梯度直方图(HOG)和特征图像系数。

在修正图像中的其它感兴趣区域可以使用边缘、角点和显著块检测方法来识别。附加的感兴趣区域可以使用连续的修正图像之间的光流检测且通过将先前识别的目标投影到修正图像上来识别，如下文所述。边缘检测可以使用多种已知方法中的一种来执行。角点可以使用包括Harris角点检测算法的多种方法中的一种来识别。

对于上文所述的修正图像上的显著块识别，高斯算子应用于修正图像上。在操作中，通过以下的高斯核来卷积修正图像I(x，y)，其中，x和y是图像的行和列指数。

$g(x,y,t)=\frac{1}{2\mathrm{\πt}}{e}^{-\frac{x^2+y^2}{2t}}---\left[1\right]$

在一定标度t时通过高斯核来卷积修正图像以给出诸如下述关系式的标度空间表示。

L(x，y，t)＝g(x，y，t)*f(x，y)            [2]

在卷积修正图像之后，基于标度空间表示确定标度标准化高斯差分算子。标度标准化高斯差分(DoG)算子可以使用下述关系式确定。

$\mathrm{DoG}\{I(x,y);t\}=\frac{1}{2\mathrm{\Δt}}(L(x,y;t+\mathrm{\Δt})-L(x,y;t-\mathrm{\Δt})----\left[3\right]$

显著块通过修正图像上的在空间和标度两方面同时对应于高斯差分算子的局部最大/最小值的突显点定位。高斯差分算子的局部最大/最小值可以使用下述关系式确定。

$(\hat{x},\hat{y},\hat{t})=\arg \max \mathrm{mi}{n}_{(x,y,t)}\left(\mathrm{DoG}\right\{I(x,y),t\left\}\right)---\left[4\right]$

多种光流检测方法中的一种可用于识别在连续修正图像之间展现运动的图像区域。一种方法包括使用Lucas-Kanade光流算子来分析连续修正图像I_t-1(x，y)和I_t(x，y)，以确定对应于运动的感兴趣区域。此外，阈值和4邻域连接部分跟踪可应用于光流图像以识别表示显著运动的区域。在一个实施例中，在连续修正图像之间应用Lucas-Kanade光流算子得到光流地图，所述光流地图包括与修正图像之间的移动相关联的象素。

修正图像中的感兴趣区域还可以通过分析象素的视觉特征(例如在邻近车辆10的区域中与地面对应的颜色和/或纹路)来识别。与地面对应的象素区域不太可能包含目标且可以被恰当地废弃。此外，在一个实施例中，可废弃具有阈值量的对应地面的象素的图像区域。此外，与测距传感器数据识别的目标分离得到关于对应于地面的象素的信息。分析在修正图像的分区图像区域或小块内的象素的象素类别。含有与地面类别相关联的预定量象素的图像区域不太可能包含目标。

在分析修正图像的显著区域和与运动和特征相关联的图像区域之后，运动分析和显著区域检测模块112识别与大于对应于目标的预定阈值的置信度水平相关联的图像区域并输出所识别的图像区域。在一个实施例中，表示与目标存在相对应的置信度的权重与具体识别的特征相关联且基于图像区域中的特征倾向被定量地应用。类似地，权重可应用于显著区域、与运动相关的图像区域、和包含先前识别目标的图像区域。与图像区域相关联的权重可被求和，其中，对应于阈值权重的图像区域从运动分析和显著区域检测模块112输出。在一个实施例中，每个提取的特征、与运动相关的图像区域、在先前时间步长中识别的目标和未分类为地面的图像区域被融合在一起。与融合象素的阈值相关联的图像区域从运动分析和显著区域检测模块112输出。

图6示出了根据本发明的用于通过本文上述的方法来识别显著图像区域和与运动相关的图像区域的示例性控制方案600。控制方案600在图6中示出且在本文描述为包括分立元件。这种图示是为了便于描述，应当认识到，由这些元件执行的功能可组合在一个或多个装置中，例如在软件、硬件和/或专用集成电路中实施。在一个实施例中，控制方案600在运动分析和显著区域检测模块112中实施。

控制方案600连续地输入和监测使用上述照相机数据和测距传感器数据生成的修正图像(602)。使用本领域已知的或者本文所述的方法，控制方案600确定边缘地图(604)、使用Harris角点检测算法的角点地图(606)、以及Lucas-Kanade光流地图(608)。应当理解的是，步骤604-608识别图像中可能包括与车辆能够驾驶的地面或道路表面不同的目标的图案。通过本领域已知的方法，包括象素属性分析和描述诸如颜色和线条图案的因素的图像区域的分析，可以识别可能包括地面的图像区域。通过将该区域与具有描述目标的图案的识别区域进行比较，可以作出确定以限定可能包括地面且不指示被跟踪目标的图像区域或区段。过程600基于如上所述输入的修正图像来限定指示地面的区域(610)。在先前迭代中识别的目标投影到如上文所述的修正图像上(612)。边缘地图、角点地图、Lucas-Kanade光流地图、不对应地面的图像区域和投影目标被融合在一起以识别修正图像上与目标相对应的图像区域(614)。

回到图5，在识别修正图像上的图像区域之后，运动分析和显著区域检测模块112将目标位置(P)和识别图像区域(包括限定的特征区域(I))输出给特征提取模块114，用于进一步分析。特征提取模块114通过对小块应用已知的特征识别算法来分析图像区域。特征识别算法针对可用视觉信息搜索与目标相关联的图像区域中的特征模式，包括由线取向、线位置、颜色、角点特征、其它视觉属性和学习属性限定的特征。在一个实施例中，特征识别算法可应用于顺序图像以识别与车辆运动相对应的变化，其中，与地面移动无关的变化可识别为不畅通路径。特征提取模块114监测修正图像的图像区域并确定每个图像区域的特征描述符。特征描述符可使用特征提取算法和变换以及投影到线性子空间上(例如主成分分析)来确定，特征提取算法和变换例如预定区别特征的直方图(例如，竖直边缘、对称性)、梯度方向的直方图(HOG)。附加的区别特征可以由本领域已知的方法限定，例如Haar小波、Gabor小波和Leung-and-Malik滤波器组。

分类模块116分析每个图像区域并基于预先训练的分类器分配标记(L)给每个识别目标和相关图像区域。分类模块116获取所提取特征和先前识别目标(先验信息)，且相关数据(包括位置、图像区域和类别标记)针对当前时间步长在预测过程模块117中作为输入被更新且提供给分类器以确定图像区域是否包含目标。类别根据任何数量的分类器确定每个识别目标的标记。示例性类别包括例如快速移动目标(如运动的车辆)、缓慢移动目标(如行人)和静止目标(如街道标志)。分类模块116使用统计分类器方法，包括使用大量的目标和非目标图像样本来训练分类器对应于图像区域中的特征或属性。对应于图像区域中的特征的学习属性可以通过车辆内的机器学习算法来学习，但是通常离线编程且可根据试验、根据经验、通过预测、通过建模或足以准确地训练区别属性的其它技术来产生。这些属性允许控制方案开发在图像区域内识别的特征对应于预定类别目标的置信度(在0和1之间)。可以设定阈值置信度，从而定义指示目标的识别具体图像区域所需的置信度。

可以使用多种方法中的一种来将训练的分类器以应用于从图像区域提取的特征。第一种方法使用一组训练图像来分析特征。来自于训练的分类器的信息用于分类或加权指示具体目标的特征，具体类别取决于训练数据的比较的强度。如果特征是图像区域内的唯一特征，那么特征的类别可直接应用于图像区域。有多个特征被识别的图像区域的类别可采用许多形式，包括图像区域由所包括的最能表示对应于具体目标的图像区域的特征限定或者图像区域由其中所包括的所有特征的加权求和来限定。

用于将训练的分类器应用于从图像区域提取的特征以识别和分类图像区域中的目标的附加方法包括使用支持向量机(SVM)和神经网络。本领域技术人员将认识到，人工神经网络或神经网络是针对复杂和适应性决策形成的计算机系统。常规计算手段基于通过算法顺序处理数据，从而得到可预测结果，而已知神经网络以连续层和每层内通过交替节点的并行路径来处理数据。神经网络用数据初始训练，从而得到一组已知结果。由于该训练，权重应用于层之间和节点之间，网络自动适合于训练数据和调节权重以更接近地建模数据。在后一使用中，神经网络可以保持训练调节值且在网络的寿命内应用所述训练调节值，或者网络可以采用各种已知方法来从运行数据模式学习。通过训练和调整神经网络，包括多个识别特征的输入数据可以被分析以识别和分类图像区域中的目标。

在分类模块116中确定标记之后，输入图像中的目标可以根据上文所述的方法依照P、I和L描述。数据关联模块118分析包括P、I和L的当前目标列表，其中，先前目标(先验信息)和相关数据(包括位置、图像区域特征和类别标记)在预测过程模块117中使用目标动态模型针对当前时间步长进行更新。数据关联模块118将当前识别目标与先前识别目标进行匹配，且输出匹配目标测量对的列表。先前识别目标使用预测过程模块117更新至当前时间步长，如下文所述。

通过将在分析第二输入图像的第二跟踪循环中的目标(P、I和L)与在分析第一输入图像的第一跟踪循环中的另一目标(P、I和L)进行比较，可以确定两个目标是否可能指代邻近车辆的相同跟踪目标。在一种示例性方法中，当前目标列表可以使用目标P、I和L描述符之间的相异性度量与预测目标列表匹配。两个目标α和β之间的相异性

定义如下：

$D({\hat{o}}_{\mathrm{\β}},x_{\mathrm{\α}})=w_{P}d({\hat{P}}_{\mathrm{\β}},P_{\mathrm{\α}})+w_{I}d({\hat{I}}_{\mathrm{\β}},I_{\mathrm{\α}})+w_{L}d({\hat{L}}_{\mathrm{\β}},L_{\mathrm{\α}})---\left[5\right]$

其中，

是被比较的目标α和β之间的位置距离，

是两个目标之间的相异性且计算为两个对应特征描述符矢量之间的距离，且

描述将两个目标的标记进行比较的二进制因子。w_P，w_I和w_L是根据试验确定和标定的权重。通过比较跟踪目标的位置、靠近跟踪目标的图像特征和跟踪目标的标记，可以估计两个目标是否表示邻近车辆的相同跟踪目标。

操作中，来自于预测目标列表(先验信息)的第α个预测目标表示为x_α＝(I_α，P_α，L_α)，其中，I_α是对应图像小块的特征描述符，P_α是目标的位置，L_α是类别标记(例如，车辆、行人、摩托车、自行车、鹿)。第β个检测当前目标表示为 ${\widehat{\mathrm{\σ}}}_{\mathrm{\β}}=({\hat{I}}_{\mathrm{\β}},{\hat{P}}_{\mathrm{\β}},{\hat{L}}_{\mathrm{\β}}).$ 如果相异性

小于阈值，那么观测目标

与预测目标x_α相关联。

目标跟踪器模块119监测数据关联模块118的输出以使用一组卡尔曼滤波器来确定目标的更新位置和速度属性。图7示意性地示出了根据本发明目标跟踪器模块119，包括配置成估计一组目标的位置和速度的示例性卡尔曼滤波器组206。不同的滤波器用于与不同动态属性相关联的目标，例如，以恒定速度巡航的目标、具有高纵向操控的目标、具有高横向操控的目标和静止目标。马尔柯夫决策过程(MDP)模型208用于选择具有用于对应于目标的准确位置和速度估计值的最大加权值的卡尔曼滤波器。使用马尔柯夫决策过程来选择卡尔曼滤波器减少了跟踪等待时间，从而允许更大的碰撞预备系统功能性。所选择的卡尔曼滤波器由更新目标模块210使用以更新目标数据，包括位置和速度。

示例性马尔柯夫决策过程在本文参考图7和目标跟踪器模块119描述。马尔柯夫决策过程208用于从卡尔曼滤波器组206选择卡尔曼滤波器来更新目标的位置和速度。在当前时间步长t_k，目标状态x_tk关于特征描述符I_tk、目标的位置和速度P_tk、类别标记L_tk使用任何数量n个卡尔曼滤波器组206中的所选择的第i个卡尔曼滤波器确定。所选择的第i个卡尔曼滤波器具有所有第i个卡尔曼滤波器中准确确定目标状态x_tk的最大概率。马尔柯夫转移矩阵T可以用于描述在未来时间步长t_k+1时另一个卡尔曼滤波器将更准确地确定目标状态x_tk的概率。因而，T_ij表示在时间步长t_k+1时目标状态x_tk将从第i个卡尔曼滤波器变为第j个卡尔曼滤波器的概率。

概率通过数据挖掘过程使用在公共道路上收集的交通数据或者简单地通过启发式规则预先确定。给定多个车辆的非常长的顺序记录车辆数据，我们在时间t_k将每个车辆x_tk标记为基于地面真实数据(通过其它测量方法收集的，例如GPS数据)的具体模型。然后，转移概率T_ij可以通过以下关系式确定：

$T_{\mathrm{ij}}=\frac{\mathrm{Pr}(x_{t_k}\∈i,x_{t_{k+1}}\∈j)}{\mathrm{Pr}(x_{t_{k+1}}\∈j)}---\left[6\right]$

其中，

表示在时间步长t_k+1时车辆状态属于模型j的出现次数，

表示车辆状态在时间步长t_k和t_k+1时分别属于模型i和模型j的出现次数。

示例性马尔柯夫决策过程在本文参考图7和目标跟踪器模块119描述。马尔柯夫决策过程208用于从卡尔曼滤波器组206选择卡尔曼滤波器来更新目标的位置和速度。在当前时间步长t_k，目标状态x_tk关于特征描述符I_tk、目标的位置和速度P_tk、类别标记L_tk使用任何数量n个卡尔曼滤波器组206中的所选择的第i个卡尔曼滤波器确定。所选择的第i个卡尔曼滤波器具有所有第i个卡尔曼滤波器中准确确定目标状态x_tk的最大概率。

每个卡尔曼滤波器配置成基于数据关联模块118的输出和来自于车辆传感器204的车辆运动性能数据(包括车辆速度和偏航速率)将当前时间步长k时的目标状态x_tk关于特征描述符I_tk、目标的位置和速度P_tk、类别标记L_tk进行更新。此外，每个卡尔曼滤波器配置成基于来自于测距传感装置14和16以及照相机11的测量值更新位置测量值z_tk。n个独立卡尔曼滤波器组206中的每个第i个卡尔曼滤波器可以表示为：

$\hat{x}{\stackrel{\‾}{t}}_k=A^i{\hat{x}}_{t_{k-1}}+B^i{u}_{t_k}+{\mathrm{\υ}}^i---\left[7\right]$

$z_{t_k}=H^i{\hat{x}}_{t_k}+{\mathrm{\ω}}^i---\left[8\right]$

其中，Aⁱ和Bⁱ是第i个卡尔曼滤波器的系统矩阵，u_tk表示在时间步长t_k时的车辆操作者输入和车辆运动性能数据(例如包括制动器和加速踏板位置、方向盘转角和车辆偏航速率)，vⁱ表示根据高斯概率密度函数分布的第i个模型的建模误差，即vⁱ＝N(0，Qⁱ)，其中，Qⁱ是协方差矩阵，Hⁱ是第i个卡尔曼滤波器的测量矩阵，且ωⁱ表示根据高斯概率密度函数分布的第i个卡尔曼滤波器的测量误差，即ωⁱ＝N(0，Rⁱ)，其中，Rⁱ是第i个卡尔曼滤波器的测量误差的协方差矩阵。

马尔柯夫决策过程208选择在与所有卡尔曼滤波器的权重进行比较时与第i个卡尔曼滤波器的最大权重ωⁱ相关联的卡尔曼滤波器来更新目标状态x_tk和位置测量值z_tk。权重ωⁱ描述具体卡尔曼滤波器i将准确地确定目标状态x的概率。在操作中，马尔柯夫决策过程208以混合变量(包括权重ω₀ ⁱ、平均值

和协方差P₀ ⁱ)初始化卡尔曼滤波器组206的每个卡尔曼滤波器。卡尔曼滤波器在时间k接收新的测量值之后被更新，使用在先前时间步长t_k-1时确定先前估计值更新，包括第i个卡尔曼滤波器的权重

平均值

和协方差矩阵

混合变量使用如上所述确定且基于被比较的卡尔曼滤波器选择的转移概率矩阵T迭代确定。混合变量输入到卡尔曼滤波器组206。描述时间步长k的混合加权值可以使用下述关系式针对每个卡尔曼滤波器i确定：

${\stackrel{\‾}{w}}_{t_k}^i={\mathrm{\Σ}}_{j=1}^n{T}_{\mathrm{ij}}{w}_{t_{k-1}}^j---\left[9\right]$

其中，Tij表示目标从具体预测类别i(例如，静止目标类别)切换为另一具体类别j(例如，用恒定速度巡航)的概率。

混合平均值可以使用下述关系式针对每个卡尔曼滤波器确定：

${\stackrel{\‾}{\hat{x}}}_{t_{k-1}}^i={\mathrm{\Σ}}_{j-1}^n{T}_{\mathrm{ij}}{w}_{t_k}^j{\hat{x}}_{t_{k-1}}^j{\stackrel{\‾}{w}}_{t_k}^i---\left[10\right]$

混合协方差值使用反馈针对每个卡尔曼滤波器迭代确定，所述反馈包括使用下文所述的关系式[19]和[20]提供的估计模型调节状态和误差协方差。混合协方差值可以使用下述关系式确定：

${\stackrel{\‾}{P}}_{t_{k-1}}^i={\mathrm{\Σ}}_{j=1}^n{T}_{\mathrm{ij}}{\stackrel{\‾}{w}}_{t_k}^j(P_{t_{k-1}}^j+({\hat{x}}_{t_{k-1}}^j-{\stackrel{\‾}{\hat{x}}}_{t_{k-1}}^i){({\hat{x}}_{t_{k-1}}^j-{\stackrel{\‾}{\hat{x}}}_{t_{k-1}}^i)}^T/{\stackrel{\‾}{w}}_{t_k}^i---\left[11\right]$

在确定混合变量之后，卡尔曼滤波器组确定如下关系式：

${\left({\stackrel{\‾}{\hat{x}}}_{t_k}^i\right)}^{-}=A^i{\stackrel{\‾}{\hat{x}}}_{k-1}^i+B^i{u}_{\mathrm{tk}}---\left[12\right]$

${\left(P_{t_k}^i\right)}^{-}=A^i{\stackrel{\‾}{P}}_{k-1}^i{\left(A^i\right)}^T+Q^i---\left[13\right]$

$K_{t_k}^i={\left(P_{t_k}^i\right)}^{-}{\left(H^i\right)}^T{(H^i{\left(P_{t_k}^i\right)}^{-}{\left(H^i\right)}^T+R^i)}^{-1}---\left[14\right]$

${\hat{x}}_{t_k}^i={\left({\hat{x}}_{t_k}^j\right)}^{-}+K_{t_k}^j(z_{t_k}-H^i{\left({\hat{x}}_{t_k}^i\right)}^{-})---\left[15\right]$

$P_{t_k}^i=(I-K_{t_k}^i{H}^i){\left(P_{t_k}^i\right)}^{-}1---\left[16\right]$

其中，Aⁱ和Bⁱ是第i个卡尔曼滤波器的系统矩阵；u_tk表示在时间步长t_k时的车辆操作者输入和车辆运动性能数据(例如包括制动器和加速踏板位置、方向盘转角和车辆偏航速率)；Qⁱ表示代表第i个卡尔曼滤波器的模型预测误差的协方差矩阵；Hⁱ是第i个卡尔曼滤波器的测量矩阵；I表示单位矩阵；

表示在时间步长t_k时第i个卡尔曼滤波器的卡尔曼增益；和

表示在时间步长t_k时目标的估计平均值和对应协方差矩阵；Rⁱ表示代表第i个卡尔曼滤波器的测量误差的协方差矩阵。

概率分析用于确定第i个卡尔曼滤波器匹配当前测量观测值的概率。概率分析使用以下关系式执行：

$L^i={\mathrm{\γ}}^i{e}^{-\frac{1}{2}}{(z_{t_k}-H^i{\left({\hat{x}}_{t_k}^i\right)}^{-})}^T{\left(C^i\right)}^{-1}(z_{t_k}-H^i{\left({\hat{x}}_{t_k}^i\right)}^{-})---\left[17\right]$

其中，γⁱ是用于将概率密度函数积分为1的标准化系数，

和

表示使用上述关系式[121和[13]确定的估计平均值和对应协方差矩阵；且

$C^i=H^i{\left(P_{t_k}^i\right)}^{-}{\left(H^i\right)}^T+R^i.$

在执行概率分析之后，用于预测类别的权重值根据以下关系式更新：

$w_{t_k}^i=\frac{L^i{\stackrel{\‾}{w}}_{t_k}^i}{{\mathrm{\Σ}}_{j=1}^n{L}^j{w}_{t_k}^j}---\left[18\right]$

其中，

和Lⁱ分别在关系式[9]和[17]中计算。

在更新权重值之后，估计模型调节状态和误差协方差使用以下关系式更新：

${\stackrel{\‾}{x}}_{t_k}={\mathrm{\Σ}}_{i=1}^n{w}_{t_k}^i{\hat{x}}_{t_k}^i---\left[19\right]$

${\stackrel{\‾}{P}}_{t_k}={\mathrm{\Σ}}_{i=1}^n{w}_{t_k}^i(P_{t_k}^i+{\mathrm{\ϵ}}_i{\mathrm{\ϵ}}_i^T)---\left[20\right]$

其中， ${\mathrm{\ϵ}}_i={\stackrel{\‾}{x}}_{t_k}-{\hat{x}}_{t_k}^i.$

关系式[19]和[20]是离开目标跟踪器模块119的目标位置和速度的估计输出。来自于数据关联模块118的与目标相关联的特征描述符和类别标记保持不变。所述输出是目标航迹数据库113的输入，目标航迹数据库113配置成存储目标信息，包括目标航迹文件和对应图像区域以及类别标记。目标信息存储用于与新的数据重复比较和用于预测对车辆的相对运动，从而暗示可能的或即将来临的碰撞事件。此外，感兴趣区域反映了先前选择的图像区域，且可以提供给运动分析和显著区域检测模块112，从而执行图像区域识别，以提供重复视觉数据分析的连续性。以这种方式，测距数据或测距航迹信息被叠加到图像平面上以改进估计值。

在数据融合模块110生成邻近车辆10的目标的航迹估计值之后，目标航迹然后输入到碰撞威胁评估模块120，其中，每个航迹对碰撞概率进行评估。每个目标航迹包括高斯分布的混合，即 $x~{\mathrm{\Σ}}_{i=1}^n{w}^i.N({\hat{x}}^i,P^i),$ 其中，

和Pⁱ分别在关系式[15]和[16]中描述，其中，忽略时标下标t_k。该分布可随机取样，以获得表示目标的概率分布的质点组。

例如，对于第n个目标，对应质点组

表示概率分布，其中，M表示质点数量。第

个质点其中，

是第n个目标的纵向位移，

是横向位移，

和

分别是目标的纵向和横向速度。如果目标是碰撞路径，且碰撞时间(TTC)

小于阈值(例如，2秒)，那么质点

指定为威胁。碰撞威胁评估模块120基于与目标相关联的总质点的威胁数量的百分比来确定碰撞概率。碰撞概率输出到碰撞应对措施模块150。

所识别目标的碰撞概率通过碰撞应对措施模块150分析。该碰撞概率可以例如相对于阈值碰撞概率进行评估，且如果碰撞确定为可能的，那么可以启动碰撞应对措施。例如，如果碰撞概率大于阈值(例如，90％)，那么目标对主车辆具有即刻威胁，且执行合适的碰撞应对措施。碰撞应对措施可以包括安全带收紧、节气门空闲、自动制动、气囊预备、调节头约束、喇叭和前灯激活、调节踏板或转向柱、基于撞击的估计相对速度进行调节、对悬架控制的调节和对稳定性控制系统的调节。对可能碰撞事件的反应可以基于增加的概率来标度。例如，在确定低阈值概率的情况下可以使用柔和的自动制动，且响应于确定高阈值概率可以采取更剧烈的措施。

此外，应当注意到，判断概率的准确性改进可以通过重复训练警报模型来实现。例如，如果发出警报，那么可以通过语音提示、屏幕查询或任何其它输入方法来给予驾驶员回顾选项，从而请求驾驶员确认即将来临的碰撞警报是否合适。本领域中已知多种方法适合于正确警报、错误警报或未警报。例如，机器学习算法是本领域中已知的且可以用于适应性地使用编程、取决于反馈的性质来分配权重和重要性给替代计算。此外，模糊逻辑可以用于基于反馈根据可标度因子来调节系统的输入。以这种方式，系统的准确性可以随着时间且基于操作者的具体驾驶习惯改进。

图8示出了根据本发明的叠加到相应图像平面上的示例性测距数据。阴影条是叠加在前视照相机图像中的雷达航迹。如上文所述，运动分析和显著区域检测模块112提取包含测距传感器航迹的图像区域。特征提取模块114计算图像区域的特征描述符。分类模块116获取所提取特征作为输入且提供给分类器，以确定图像区域是否包含目标。类别确定每个图像区域的标记。例如，在图8中，框A和B识别为车辆，而未标记的框识别为路边目标。预测过程模块117使用目标的历史信息(即，先前循环的位置、图像小块和标记)并预测当前值。数据关联模块118将当前测量值与预测目标关联，或者确定测量源(即，位置、图像小块和标记)来自于具体目标。目标跟踪器模块119生成目标的更新位置，用于存储在目标航迹数据库113中。

本发明已经描述了某些优选实施例及其变型。在阅读和理解说明书之后，本领域技术人员可想到其它的变型和修改。因而，本发明不旨在限于作为用于实施本发明的最佳模式公开的特定实施例，而本发明将包括落入所附权利要求范围内的所有实施例。

Claims (19)

1.一种用于在动态车辆事件期间控制车辆操作的方法，所述方法包括：

监测第一输入图像；

在第一跟踪循环中监测所述第一输入图像中的第一跟踪目标；

监测第二输入图像；

在第二跟踪循环中监测所述第二输入图像中的第二跟踪目标；

确定将所述第一跟踪目标与所述第二跟踪目标进行比较的相异性度量，所述相异性度量估计所述第一跟踪目标和所述第二跟踪目标是否表示邻近车辆的单个跟踪目标；

基于所述相异性度量将所述第一跟踪目标和所述第二跟踪目标相关联；以及

使用碰撞预备系统中的相关目标来控制车辆操作；

其中，确定将所述第一跟踪目标与所述第二跟踪目标进行比较的相异性度量包括将每个跟踪目标的位置、邻近每个跟踪目标的特征和标记进行比较。

2.根据权利要求1所述的方法，还包括：

在所述第一输入图像中确定所述第一跟踪目标；

确定所述第一跟踪目标在所述第一输入图像中的位置；

限定所述第一输入图像中的邻近所述第一跟踪目标的特征；

确定描述所述第一跟踪目标的可能类别的第一标记；

在所述第二输入图像中确定所述第二跟踪目标；

确定所述第二跟踪目标在所述第二输入图像中的位置；

限定所述第二输入图像中的邻近所述第二跟踪目标的特征；

确定描述所述第二跟踪目标的可能类别的第二标记。

3.根据权利要求2所述的方法，其中，可能类别包括快速移动目标、缓慢移动目标和静止目标。

4.根据权利要求2所述的方法，还包括：

监测与每个输入图像相对应的测距传感器数据；以及

其中，在输入图像中确定跟踪目标基于与每个输入图像相对应的测距传感器数据。

5.根据权利要求2所述的方法，其中，第二标记基于第一标记。

6.根据权利要求2所述的方法，其中，在输入图像中确定跟踪目标包括在每个图像中识别显著图像区域和与运动相关的区域。

7.根据权利要求6所述的方法，其中，在每个图像中识别显著图像区域和与运动相关的区域包括：

确定边缘地图；

确定角点地图；

确定Lucan-Kanade光流地图；

确定输入图像的表示地面的区域；以及

基于所述边缘地图、所述角点地图、所述Lucan-Kanade光流地图、和输入图像的表示地面的区域来识别显著图像区域和与运动相关的区域。

8.根据权利要求7所述的方法，其中，识别显著图像区域和与运动相关的区域还包括在输入图像上投影来自于先前输入图像的目标信息；以及

其中，识别显著图像区域和与运动相关的区域还基于投影来自于先前输入图像的目标信息。

9.根据权利要求1所述的方法，其中，第一跟踪目标选择为与第二跟踪目标进行比较的先验信息。

10.根据权利要求1所述的方法，还包括：

用一组卡尔曼滤波器分析相关目标；以及

其中，使用碰撞预备系统中的相关目标包括使用所分析的相关目标。

11.根据权利要求10所述的方法，其中，用一组卡尔曼滤波器分析相关目标包括：

监测车辆的速度和偏航速率；

将该组卡尔曼滤波器应用于相关目标以及车辆的速度和偏航速率；以及

在来自于该组卡尔曼滤波器的输出上使用马尔柯夫决策过程来生成所分析的相关目标。

12.一种用于在动态车辆事件期间控制车辆操作的方法，所述方法包括：

监测测距传感器信息和视觉系统信息；

将所述测距传感器信息叠加在所述视觉系统信息上，以生成修正图像；

使用边缘检测、角点检测和光流检测来识别所述修正图像中的显著图像区域；

排除与地面相对应的显著图像区域；

使用显著图像区域重复识别车辆视场中的目标，包括在第一时间步长中使用显著图像区域识别车辆视场中的第一目标和在随后的时间步长中使用显著图像区域识别车辆视场中的第二目标；

预测第一目标在随后时间步长中的位置；

基于第一目标的预测位置与所识别的第二目标的比较来将第一目标和第二目标进行匹配；

确定匹配目标的目标航迹；

基于目标航迹来确定每个匹配目标和车辆之间的碰撞概率；和

基于碰撞概率来控制车辆。

13.一种操作车辆中的碰撞预备系统的系统，所述系统包括：

视觉系统；

测距传感器系统；和

控制模块，所述控制模块：

监测来自于测距传感器的数据和来自于视觉系统的图像；

基于所述测距传感器数据和图像重复识别车辆视场中的目标，包括在第一时间步长中使用所述测距传感器数据和图像识别车辆视场中的第一目标和在随后的时间步长中使用所述测距传感器数据和图像识别车辆视场中的第二目标；

预测第一目标在随后时间步长中的位置；

基于第一目标的预测位置来将第一目标和第二目标相关联；确定相关目标的目标航迹；

基于目标航迹来确定相关目标和车辆之间的碰撞概率；以及

基于碰撞概率来控制车辆。

14.根据权利要求13所述的系统，其中，确定相关目标的目标航迹包括：

使用多个卡尔曼滤波器来处理所述相关目标；以及

基于所述多个卡尔曼滤波器的输出的选择，使用马尔柯夫决策过程来确定目标航迹。

15.根据权利要求13所述的系统，其中，识别车辆视场中的目标包括：

将测距传感器数据叠加到一个图像上以生成修正图像；

提取在修正图像上的与测距传感器信息相关的图像区域；

确定图像区域的特征描述符；和

基于所述特征描述符来识别图像区域中的目标。

16.根据权利要求15所述的系统，其中，所述特征描述符使用预定特征直方图、梯度方向直方图和主成分分析中的至少一种来确定。

17.根据权利要求16所述的系统，其中，预定特征使用Haar小波、Gabor小波和Leung-and-Malik滤波器组中的至少一种来确定。

18.根据权利要求13所述的系统，其中，基于第一目标的预测位置来将第一目标和第二目标相关联包括：

确定第一和第二目标之间的相异性度量；以及

在所述相异性小于预定阈值时将第一和第二目标进行匹配。

19.根据权利要求13所述的系统，其中，基于目标航迹来确定相关目标和车辆之间的碰撞概率包括：

确定目标航迹的高斯分布；

随机取样高斯分布以获得质点组；

确定每个质点的纵向和横向位移；

确定每个质点是否在与车辆的碰撞路径上；

确定每个质点在碰撞路径上的碰撞时间；

如果相应质点的碰撞时间小于阈值时间，那么将碰撞路径上的每个质点指定为威胁；以及

当该质点组中指定为威胁的预定百分比大于阈值百分比时，确定碰撞即将到来。

Images