CN103576154A - 使用雷达和摄像机的障碍物探测的融合 - Google Patents

Abstract

本发明涉及使用雷达和摄像机的障碍物探测的融合。一种车辆障碍物探测系统包括用于捕获视野内的物体的成像系统和用于感测基本相同视野内的物体的雷达装置。该基本相同视野被划分成具有多个观测单元格的占用网格。融合模块接收来自雷达装置的雷达数据和来自成像系统的成像数据。融合模块将占用网格和相关联的雷达数据投影到被捕获图像上。融合模块使用来自雷达装置的传感器数据和来自成像系统的成像数据从每个对应单元格提取特征。主分类器确定从相应观测单元格提取的被提取特征是否是障碍物。

Description

使用雷达和摄像机的障碍物探测的融合

技术领域

实施例大体涉及障碍物探测。

背景技术

视觉成像系统被用于车辆以便增强诸如物体探测系统和其他视觉/定位系统的应用。这样的系统利用摄像机来捕获图像并且之后从该图像提取物体。这样的物体可以是在行驶道路内的其他车辆、行人或者甚至是物体。

雷达系统也可以被用于探测行驶道路内的物体。雷达系统使用无线电波来确定物体的距离、高度、方向或速度。发射器发射从其路径内的任意物体反弹的无线电波脉冲。从物体反射出的脉冲将无线电波能量的一小部分返回给通常位于与发射器处于相同位置的接收器。

通过协作地利用视觉成像系统和雷达系统来探测物体将增加探测和定位车辆行驶路径内物体时的可信度。然而，在已知系统中，独立于其他传感器来执行探测，之后结果被结合。问题在于，如果由一个跟踪装置所确定的探测和跟踪结果明显不同于来自另一装置的探测和跟踪结果，则如果将协作地利用这些结果，那么将更加不确定哪个数据将是用于识别障碍物时更加正确的数据。

发明内容

实施例的优点在于当由两个不同的障碍物感测装置探测时识别障碍物的准确性。以传感器水平来执行来自所述两个障碍物感测装置的输出的融合，从而利用更加丰富的信息内容。结合来自两个感测装置的数据之后对被识别障碍物的探测和跟踪。因此，相比于首先执行探测和跟踪来自每个相应装置的数据且之后融合探测和跟踪数据，通过以传感器水平融合信息增加了识别相应位置处的障碍物的准确性。

实施例提出一种车辆障碍物探测系统，其包括用于捕获视野内的物体的成像系统和用于感测基本相同视野内的物体的雷达装置。该基本相同视野被划分成具有多个观测单元格的占用网格（occupancy grid）。融合模块接收来自雷达装置的雷达数据和来自成像系统的成像数据。融合模块将占用网格和相关联的雷达数据投影到被捕获图像上。融合模块使用来自雷达装置的传感器数据和来自成像系统的成像数据从每个对应单元格提取特征。主分类器确定从相应观测单元格提取的被提取特征是否是障碍物。

实施例提出一种用于确定车辆外部的障碍物的方法。通过成像系统在视野内捕获物体。感测在雷达装置的基本相同视野内的物体。被雷达装置感测的该基本相同视野被划分成具有多个观测单元格的占用网格。融合模块接收来自雷达装置的雷达数据和来自成像系统的成像数据。融合模块将占用网格和相关联的雷达数据投影到被捕获图像上。融合模块使用来自雷达装置的传感器数据和来自成像系统的成像数据从每个对应单元格提取特征以用于识别潜在障碍物。通过主分类器来分类被提取特征以用于确定从相应观测单元格提取的被提取特征是否是障碍物。

本发明还提供了以下技术方案。

方案1. 一种车辆障碍物探测系统，所述车辆障碍物探测系统包括：

用于捕获视野内的物体的成像系统；

用于感测基本相同视野内的物体的雷达装置，所述基本相同视野被划分成具有多个观测单元格的占用网格；

用于接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据的融合模块，所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获影像上，所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征；和

用于确定从相应观测单元格提取的被提取特征是否是障碍物的主分类器。

方案2. 根据方案1所述的车辆障碍物探测系统，其中通过包括雷达特征、视觉特征和运动特征的矢量来呈现在相应单元格内被提取的相应特征。

方案3. 根据方案1所述的车辆障碍物探测系统，其中来自所述融合模块的输出产生包括距离、距离变化率和方位角的特征参数观测。

方案4. 根据方案1所述的车辆障碍物探测系统，进一步包括：用于分类车辆外部的障碍物的至少一个次级分类器，其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出，其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。

方案5. 根据方案4所述的车辆障碍物探测系统，其中所述至少一个次级分类器是无障碍路径探测分类器。

方案6. 根据方案4所述的车辆障碍物探测系统，其中所述至少一个次级分类器是运动流异常性分类器。

方案7. 根据方案1所述的车辆障碍物探测系统，其中针对每个相应单元格通过所述分类器来确定后验概率估计以便识别出位于每个相应单元格内的特征是否是障碍物，并且其中基于雷达和成像系统数据来计算所述后验概率估计。

方案8. 根据方案7所述的车辆障碍物探测系统，其中使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计：

其中

是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量，并且

是由时间t和时间t-1处的对应样本之间的相似性定义的加权因子。

方案9. 根据方案7所述的车辆障碍物探测系统，其中使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计：

其中是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量，并且

是权重因子。

方案10. 根据方案9所述的车辆障碍物探测系统，其中空间平滑技术被应用到所述占用网格的相邻观测单元格以便精细化在确定所述特征是否是障碍物时的所述后验概率估计。

方案11. 根据方案10所述的车辆障碍物探测系统，其中空间平滑识别出占用相邻观测单元格的特征之间的显现一致性。

方案12. 根据方案10所述的车辆障碍物探测系统，其中时间平滑技术被应用到被捕获图像以用于精细化在确定相应特征是否是障碍物时的所述后验概率估计，所述时间平滑识别出基于时间的图像的被捕获特征之间的运动连续性。

方案13. 根据方案12所述的车辆障碍物探测系统，其中使用如下公式根据所述空间平滑技术和所述时间平滑技术进一步精细化所述后验概率估计：

其中

是用于估计所述后验概率的时间因素，

是用于估计所述后验概率的当前因素，是用于估计所述后验概率的空间因素，

是所述当前因素的常数，

是由在时间t和时间t-1处的对应样本之间的相似性定义的权重，并且

是由相邻样本之间的空间相似性定义的权重。

方案14. 根据方案1所述的车辆障碍物探测系统，进一步包括用于处理从所述雷达装置获得的数据的预处理模块，其中所述预处理模块应用恒定虚警率技术来探测雷达视野内的目标，并且其中来自所述预处理模块的输出是被提供给所述融合模块的每个单元格的信噪比。

方案15. 根据方案1所述的车辆障碍物探测系统，进一步包括车辆安全应用，其中所述安全应用利用所识别的障碍物以用于在所述车辆和所述障碍物之间可能存在潜在碰撞的时候启动所述车辆的安全性相关装置。

方案16. 一种用于确定车辆外部的障碍物的方法，所述方法包括步骤：

通过成像系统捕获在视野内的物体；

感测在雷达装置的基本相同视野内的物体，

被所述雷达装置感测的所述基本相同视野被划分成具有多个观测单元格的占用网格；

融合模块接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据，所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获图像上，所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征以用于识别潜在障碍物；以及

通过主分类器来分类被提取特征以用于确定从相应观测单元格提取的被提取特征是否是障碍物。

方案17. 根据方案16所述的方法，其中所述分类器针对每个相应单元格确定后验概率估计以用于识别出位于每个相应单元格内的特征是否是障碍物，并且其中基于雷达和成像系统数据来计算所述后验概率估计。

方案18. 根据方案17所述的方，其中使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计：

其中

是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量，并且

是由时间t和时间t-1处的对应样本之间的相似性所限定的权重。

方案19. 根据方案18所述的方法，其中使用如下公式来确定用于确定特征是否是障碍物的后验概率估计：

其中

是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量，并且

是权重因子。

方案20. 根据方案16所述的方法，其中包括应用时间平滑技术至被捕获图像以精细化在确定相应特征是否是障碍物时的所述后验概率估计，所述时间平滑识别出基于时间的图像的被捕获特征之间的运动连续性。

方案21. 根据方案20所述的方法，包括使用如下公式根据所述空间平滑技术和所述时间平滑技术来精细化所述后验概率估计：

其中是用于估计所述后验概率的时间因素，

是用于估计所述后验概率的当前因素，

是用于估计所述后验概率的空间因素，

是所述当前因素的常数，

是由在时间t和时间t-1处的对应样本之间的相似性定义的权重，并且是由相邻样本之间的空间相似性定义的权重。

方案22. 根据方案16所述的方法，至少一个次级分类器对车辆外部的障碍物分类，其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出，其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。

方案23. 根据方案16所述的方法，其中从所述雷达装置获得的数据被提供给预处理模块，其中所述预处理模块应用恒定虚警率技术来探测雷达视野内的目标，并且其中来自所述预处理模块的输出是被提供给所述融合模块的每个单元格的信噪比。

附图说明

图1是车辆障碍物探测系统的框图。

图2是感测的占用雷达网格的示意图。

图3是成像系统所捕获的示例性图像。

图4是示出在早先时间被识别特征的可能性的占用网格。

图5是示出在当前时间被识别特征的可能性的精细化的占用网格。

图6是用于融合多个分类器的输出的框图。

具体实施方式

在图1中示出了车辆障碍物探测系统10的框图。系统10包括雷达装置12和成像系统14。

雷达装置12使用无线电波通过获得与物体有关的距离（range）、方位角和距离变化率（range rate）数据来探测该物体。雷达装置12包括接收器13，其接收与行驶路径内探测到的物体有关的反射电磁信号。接收的信号被提供给预处理单元16，以用于调节信号以便数据可以与来自成像系统14的数据协作地被处理。预处理单元16包括降频转换器18，其接收雷达传输、放大信号并将一组频率降频转换成较低的一组中间频率，在此信号被提供给模数信号转换器20。快速傅里叶变换22被应用到该转换的数字信号以便获得用于对信号滤波、压缩和降噪的信号频率分布。之后恒定虚警率算法（CFAR；constant false alarm rate algorithm）被应用以便探测雷达视野内的目标。22的输出是每个单元格的信噪比并且作为输入被馈送给融合模块24。

成像系统14包括图像捕获装置15，其包括但不限于摄像机。图像捕获装置捕获道路的图像，通常是朝向车辆前方的区域。然而，被捕获的区可以包括与朝向车辆前方的区域不同的区域，例如车辆侧方或后方的区域。来自被捕获图像的数据被提供给基于视觉的预处理单元26。预处理单元26用于对输入的被捕获图像进行校正、缩放、滤波和降噪。

融合模块24包括特征提取子模块30以及探测和跟踪子模块32。应该理解的是各种子模块可以包括独立处理器或者可以包括单个处理器。来自雷达模块16的预处理单元的数据和来自摄像机26的预处理单元的数据在特征提取子模块30内被组合。来自每个相应子模块的数据在特征提取子模块30内被协作地分析以用于识别潜在物体的特征。

探测和跟踪子模块32跟踪被识别为各个时间上的潜在物体的特征。时间平滑以及空间平滑可以被用于跟踪和识别不同示例时间处被捕获数据内的显著特征。

来自融合模块24的已识别特征输出被输入到分类器34，例如逻辑分类器。分类器（例如支持向量机或者其他类型的分类器）能够被用于区分相应特征是否是被捕获数据内的物体。

分类器的一个示例是支持向量机（SVM；support vector machine），其包括用于分类和回归的一组相关学习算法。学习算法是构建被用于预测新样本是否落入一个范畴或另一范畴（例如无障碍路径和有障碍路径）内的模型的训练方法。SVM模型是特征空间内的被映射成使得清晰间隙分割开各单独范畴的点的范畴的表征。支持向量机将输入数据映射到较高维度空间，在此构造出最大的分离超平面。使用支持向量机的示例是构造两个平行的超平面。这两个平行的超平面被构造在分离超平面的各侧上以便分离数据。分离超平面最大化这两个平行的超平面之间的距离。在具有距任意类别的最近训练数据点的最大空间距离的平行超平面之间需要有良好分离。基本概念在于，两个平行超平面之间的距离越大，则将数据分类到相应类别时的误识率越小。

来自分类器34的输出被提供到主动安全装置或者主动安全系统36，其使用对物体的识别来用于车辆主动安全应用，包括但不限于驾驶员报警通知，例如前进碰撞警告系统、自主或半自主碰撞避免系统、碰撞防范系统和碰撞缓和系统。

图2示出感测的占用雷达网格。雷达装置12产生电磁场。雷达装置12发射从发射路径内的任意物体反射的无线电波脉冲。从该物体反射的能量波的一部分返回到通常位于与发射器处于相同部位的天线。雷达装置产生的场的特征在于具有多个观测单元格42的占用网格40。从每个单元格提取特征以用于确定该特征是否是物体。相应单元格内的每个特征能够被识别为具有3维（3-D）的参数观测。3-D可以包括距离、距离变化率和方位角

。针对每个观测单元格内所识别的每个特征，将通过相应参数观测数据

来识别出该特征。在一个实施例中，单元格内的特征是在22内由CFAR算法所计算的信噪比。应该理解的是，在不背离本发明范围的情况下，可以使用其他方法来瞄准和识别单元格内的特征。

图3示出了成像系统所捕获的图像。图像包含车辆道路44和车辆外部的其他场景。由感测的雷达数据所产生的占用网格40被投影到被捕获图像上。占用网格40被投影成使得地里上定位于雷达数据内的每个观测单元格对应于捕获图像内的相同地理学位置。逻辑分类器被用于确定相应单元格内的特征可能是物体还是非物体。逻辑分类器也可以被训练成不仅用于确定每个单元格内的特征是否是物体，而且可以用于进一步将该物体辨识为行人、车辆或其他障碍物。逻辑分类器通过协作地分析单元格的雷达参数和单元格的图像参数二者来确定被占用的每个相应单元格的后验概率（posterior probability）。这样的特征包括但不限于颜色、质地、运动、雷达FFT谱。在给定网格（O）的情况下，针对每个单元格（o），基于下述公式确定被占据的单元格（o）的后验概率：

其中证据（evidence）r是雷达信号内感测的特征，f是从相应单元格提取的视觉特征，并且m是从运动流（motion flow）导出的特征。可以通过识别场景相对于地面流（ground flow）的异常性来确定运动流。

为了融合来自雷达和视觉装置的结果，使得每个单元格的内容代表融合的特征矢量

。日志分类可以被表示如下：

其中

是从被标记的训练样本通过逻辑回归而学习到的权重。下面的表达式能够被应用于估计特征是物体的概率：

。

替代性地，下面的表达式能够被应用于估计特征是否不是物体的概率：

。

如前所述，分类器是数据分析程序，其能够被训练成使用物体/装置的特征来在所述特征所属的类别之间进行区分（例如支持向量机）。因此，逻辑分类器可以被训练成在相应单元格内存在物体和不存在物体之间进行区分，或者分类器可以被用于区分物体涉及什么。例如，分类器能够被训练成区分物体是行人、车辆还是道路内其他可识别障碍物。

一旦通过分类器确定后验概率估计，则可以通过考虑已识别物体的空间约束和时间约束来精细化所述后验概率估计。时间约束涉及在至少两个时间移位的图像之间被再次定位到不同单元格的特征。关于特征是否能够基于被捕获图像之间的逝去时间被再次定位到网格内的另一单元格来确定估计。空间约束涉及两个相邻单元格之间的特征是否关联于彼此。例如，可以基于运动连续性和/或显现一致性（appearance consistency）来识别空间约束。

下列表达式是考虑到后验概率估计因素、时间约束因素和空间约束因素的概率估计：

其中

是用于估计后验概率的时间因素，

是用于估计后验概率的当前因素，

是用于估计后验概率的空间因素，

是当前因素的常数，是由在时间t和时间t-1的对应样本之间的相似性定义的权重，

是由相邻样本之间的空间相似性定义的权重。

图4示出了具有在时间t-1处的确定的后验概率

的特征。图5示出了运动补偿和时间补偿被应用以确定时间t处的特征的概率

时的特征。此外，空间补偿被应用以用于识别时间t处的相邻单元格。通过下述概率估计

来识别出相邻单元格。

图6示出了使用多个分类器输出结果的后验概率估计的精细化的框图。进一步通过融合来自多个分类器的结果来精细化包括空间/时间补偿的后验概率估计或被精细化的后验概率估计。其他分类器可以包括但不限于无障碍路径分类器和运动流异常性分类器。参考图6，逻辑分类器34、无障碍路径分类器50和运动流异常性分类器52各自独立地产生单元格的特征是否是物体的估计。如这里所述的空间和时间平滑54可以被应用到逻辑分类器34的输出。

选择器56确定被应用到每个分类器的输出的加权值以用于确定融合过程期间哪个分类器可靠。通过训练（例如地面实况标记）来确定权重。每个分类器可具有相等的权重分布或不等的权重分布。一些分类器可以在夜间分析期间产生更好的结果，由于当前条件期间结果的准确性原因，它们的结果被赋予较大的权重。因此，选择器56确定事件或条件的当前标准并且根据当前标准应用权重。例如，如果视频被冻结或者一区域被障碍物挡住，则利用来自视频图像的数据的分类器可以在融合分析中不得到权重或得到非常小的权重。替代性地，如果车辆上的感测装置具有不一致的性能，则利用这些感测装置的分类器可以具有较小加权。

在图6中，结果被提供给融合模块58，所述结果在此与其相应权重被协作地处理以用于产生进一步精细化关于单元格是否包含物体或更具体地探测到的物体类型的判定的结果。

所述结果可以被提供给车辆的其他安全应用处理器，其利用该信息来启用安全预防装置、报警装置、碰撞避免装置（例如制动、转向）或者将有助于驾驶员避免与道路内的已探测物体碰撞的其他防范或缓解装置。

虽然已经具体描述了本发明的某些实施例，不过本发明所涉及领域的那些技术人员将意识到各种替代性设计和实施例以用于实现所附权利要求所限定的本发明。

Claims (10)

1.一种车辆障碍物探测系统，所述车辆障碍物探测系统包括：

用于捕获视野内的物体的成像系统；

用于感测基本相同视野内的物体的雷达装置，所述基本相同视野被划分成具有多个观测单元格的占用网格；

用于接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据的融合模块，所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获影像上，所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征；和

用于确定从相应观测单元格提取的被提取特征是否是障碍物的主分类器。

2.根据权利要求1所述的车辆障碍物探测系统，其特征在于，通过包括雷达特征、视觉特征和运动特征的矢量来呈现在相应单元格内被提取的相应特征。

3.根据权利要求1所述的车辆障碍物探测系统，其特征在于，来自所述融合模块的输出产生包括距离、距离变化率和方位角的特征参数观测。

4.根据权利要求1所述的车辆障碍物探测系统，其特征在于进一步包括：用于分类车辆外部的障碍物的至少一个次级分类器，其中加权被应用到所述主分类器的输出和所述至少一个次级分类器的输出，其中所述主分类器的被加权输出和所述至少一个次级分类器的被加权输出被用于协作地识别所述视野内的障碍物。

5.根据权利要求4所述的车辆障碍物探测系统，其特征在于，所述至少一个次级分类器是无障碍路径探测分类器。

6.根据权利要求4所述的车辆障碍物探测系统，其特征在于，所述至少一个次级分类器是运动流异常性分类器。

7.根据权利要求1所述的车辆障碍物探测系统，其特征在于，针对每个相应单元格通过所述分类器来确定后验概率估计以便识别出位于每个相应单元格内的特征是否是障碍物，并且其中基于雷达和成像系统数据来计算所述后验概率估计。

8.根据权利要求7所述的车辆障碍物探测系统，其特征在于，使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计：

其中

是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量，并且是由时间t和时间t-1处的对应样本之间的相似性定义的加权因子。

9.根据权利要求7所述的车辆障碍物探测系统，其特征在于，使用如下公式来确定用于确定特征是否是障碍物的所述后验概率估计：

其中

是雷达特征数据、图像特征数据和特征运动流数据所代表的相应矢量，并且

是权重因子。

10.一种用于确定车辆外部的障碍物的方法，所述方法包括步骤：

通过成像系统捕获在视野内的物体；

感测在雷达装置的基本相同视野内的物体，

被所述雷达装置感测的所述基本相同视野被划分成具有多个观测单元格的占用网格；

融合模块接收来自所述雷达装置的雷达数据和来自所述成像系统的成像数据，所述融合模块将所述占用网格和相关联的雷达数据投影到被捕获图像上，所述融合模块使用来自所述雷达装置的传感器数据和来自所述成像系统的成像数据从每个对应单元格提取特征以用于识别潜在障碍物；以及

通过主分类器来分类被提取特征以用于确定从相应观测单元格提取的被提取特征是否是障碍物。

Images