CN104442567A - 交通工具图像显示系统中的物体突显和传感 - Google Patents

Abstract

本发明涉及交通工具图像显示系统中的物体突显和传感。公开了一种在被驾驶的交通工具的显示装置上显示捕捉图像的方法。通过安装在所述被驾驶的交通工具上的至少一个基于视觉的成像装置捕捉所述被驾驶的交通工具外的场景。传感处于所述被驾驶的交通工具附近的物体。通过处理器生成捕捉场景的图像。将所述图像动态地扩展为在图像中包括传感到的物体。在被动态地扩展的图像中突显传感到的物体。被突显物体表示邻近被驾驶的交通工具的可能碰撞被驾驶的交通工具的交通工具。在显示装置中显示具有被突显物体的所述被动态地扩展的图像。

Description

交通工具图像显示系统中的物体突显和传感

相关申请的交叉引用

本申请要求2013年8月7日提交美国临时申请No.61/863,087的优先权，其公开内容通过引用并入本文。

技术领域

本发明的实施例总体上涉及交通工具成像系统中的图像捕捉和显示。

背景技术

交通工具系统常常使用交通工具内的视觉系统来进行后视场景检测。许多摄像头可能采用鱼眼摄像头或使显示给驾驶员的捕捉图像畸变的类似装置，比如后背倒退摄像头。在视野被再现于显示屏幕上的情况下，由于畸变以及与再现视野相关联的其它因素，比如接近交通工具侧面的交通工具等物体也可能畸变。作为结果，交通工具的驾驶员可能注意不到该物体及其与被驾驶的交通工具(或本交通工具)的接近性。作为结果，用户可能注意不到以下状况：即，如果交通工具交叉路径将继续，如后退情形时，或者如果即将发生车道变化，则交通工具有可能碰撞被驾驶的交通工具。虽然被驾驶的交通工具的一些交通工具系统可能尝试确定被驾驶的交通工具与物体之间的距离，但是由于捕捉图像的畸变，这种系统可能无法确定用于警告驾驶员关于物体与交通工具之间的相对距离所需的那些参数或者无法确定碰撞时间可能发出现在何时。

发明内容

实施例的一个优点是在动态后视镜中显示交通工具，其中比如交通工具等物体被基于视觉的捕捉装置捕捉，并且所识别的物体被突显以唤起交通工具的驾驶员的注意，并且对于被突显的物体识别出碰撞时间。采用临时差值来确定碰撞时间，其中是通过围绕物体与被驾驶的交通工具之间的相对距离和物体尺寸的变化生成叠影边界来表示所述临时差值的。

另外，通过除基于视觉的捕捉装置外的传感装置对物体的检测被协同地用于提供物体的更准确的位置。来自其它传感装置的数据与来自基于视觉的成像装置的数据融合，以提供交通工具相对于被驾驶的交通工具的位置的更准确的定位。

实施例设想一种在被驾驶的交通工具的显示装置上显示捕捉图像的方法。通过安装在所述被驾驶的交通工具上的至少一个基于视觉的成像装置捕捉所述被驾驶的交通工具外的场景。传感处于所述被驾驶的交通工具附近的物体。通过处理器生成捕捉场景的图像。将所述图像动态地扩展为在图像中包括传感到的物体。在被动态地扩展的图像中突显传感到的物体。被突显物体表示邻近被驾驶的交通工具的可能碰撞被驾驶的交通工具的交通工具。在显示装置中显示具有被突显物体的所述被动态地扩展的图像。

本公开还提供以下技术方案：

1.一种在被驾驶的交通工具的显示装置上显示捕捉图像的方法，包括以下步骤：

通过安装在所述被驾驶的交通工具上的至少一个基于视觉的成像装置捕捉所述被驾驶的交通工具外的场景；

传感处于所述被驾驶的交通工具附近的物体；

通过处理器生成所捕捉场景的图像，所述图像被动态地扩展以在所述图像中包括传感到的物体；

在被动态地扩展的图像中突显传感到的物体，被突显的物体表示邻近所述被驾驶的交通工具的物体，其可能碰撞所述被驾驶的交通工具；以及

在显示装置中显示具有被突显物体的所述被动态地扩展的图像。

2.如技术方案1所述的方法，进一步包括以下步骤：

生成内部部件的图像叠影，所述内部部件的图像叠影包括所述被驾驶的交通工具的内部部件的再现，如通过后视镜观看反射图像的驾驶员将看到的；

在所述显示装置上显示所述内部部件的图像叠影。

3.如技术方案1所述的方法，其中，在被动态地扩展的图像中突显传感到的物体包括在所述被动态地扩展的图像中的物体上叠加警报符号，所述警报符号表示所述物体有可能会碰撞所述被驾驶的交通工具。

4.如技术方案1所述的方法，其中，在被动态地扩展的图像中突显传感到的物体包括在物体上叠加物体叠影以表示被捕捉到的邻近所述被驾驶的交通工具的交通工具，所述物体叠影表示一交通工具相对于所述被驾驶的交通工具的注意情形。

5.如技术方案4所述的方法，其中，表示注意情形的物体叠加包括围绕交通工具生成物体叠影边界，其代表交通工具在所述被动态地扩展的图像中的尺寸。

6.如技术方案5所述的方法，其中，在被动态地扩展的图像中突显传感到的物体进一步包括在有可能与所述被驾驶的交通工具碰撞的交通工具上叠加警报符号，所述警报符号对驾驶员提供冗余警告。

7.如技术方案6所述的方法，进一步包括以下步骤：

确定与被突显物体相关的碰撞时间警告；以及

在所述显示装置上显示所述碰撞时间警告。

8.如技术方案7所述的方法，其中，确定碰撞时间进一步包括以下步骤：

在第一时刻和第二时刻检测物体；

确定所述物体在第一时刻和第二时刻的尺寸；

根据所述物体在第一时刻和第二时刻所确定的尺寸确定从所述被驾驶的交通工具到所述物体的距离的变化；

根据距离随时间推移的变化确定所述物体的速度；以及

根据物体与所述被驾驶的交通工具之间的估算距离以及所述物体的所确定速度计算碰撞时间。

9.如技术方案8所述的方法，其中，确定物体的尺寸进一步包括以下步骤：将物体尺寸定义为物体检测窗口，其中在时间t的所述物体检测窗口由下式表示：

${\mathrm{win}}_t^{\det }:(u{W}_t,v{H}_t,v{B}_t):$

其中，uW_t是检测窗口宽度；vH_t是检测窗口高度；并且vB_t是检测窗口底部。

10.如技术方案9所述的方法，其中，观测到的物体尺寸以及物体到被驾驶的交通工具的距离由下式表示：

$x_t=(w_t^o,h_t^o,d_t^o)$

其中，是在时间t处观测到的物体宽度，是在时间t处观测到的物体高度，而是在时间t处观测到的物体距离。

11.如技术方案10所述的方法，其中，基于摄像头校准的观测到的物体尺寸和距离采用交通工具内的窗口尺寸和位置来确定，并由以下公式表示：

${\mathrm{win}}_t^{\det }:(u{W}_t,v{W}_t,v{B}_t)\stackrel{\mathrm{CamCalib}}{\→}{X}_t:(w_t^o,h_t^o,d_t^o).$

12.如技术方案11所述的方法，进一步包括以下步骤：根据观测到的物体尺寸和距离参数估算物体的输出参数，并由下式表示：

$\mathrm{def}:Y_t=(w_t^e,h_t^e,d_t^e,v_t)$

其中，是所述物体在时间t处的估算物体尺寸，是所述物体在时间t处的估算距离，是所述物体在时间t处的估算距离，而v_t是所述物体在时间t处的相对速度。

13.如技术方案12所述的方法，其中，所述物体在时间t处的估算物体尺寸由下式确定：

估算物体尺寸： $w_t^e=\frac{{\mathrm{\Σ}}_{i=0}^n{w}_{t-i}^o}{n+1},h_t^e=\frac{{\mathrm{\Σ}}_{i=0}^n{h}_{t-i}^o}{n+1}.$

14.如技术方案13所述的方法，其中，所述物体在时间t处的估算物体距离由下式确定：

估算物体距离：

15.如技术方案14所述的方法，其中，相对于交通工具的估算物体速度由下式表示：

估算物体相对速度： $v_t=\mathrm{\Δd}/\mathrm{\Δt}=(d_t^e-d_{t-1}^e)/\mathrm{\Δt}.$

16.如技术方案15所述的方法，其中，所述物体的碰撞时间由下式表示：

$\mathrm{TTC}:{\mathrm{TTC}}_t=d_t^e/v_t.$

17.如技术方案6所述的方法，其中，确定碰撞时间进一步包括以下步骤：

在第一时刻和第二时刻检测物体；

确定所述物体在第一时刻和第二时刻的尺寸；

确定物体尺寸在所述第一时刻和第二时刻之间的变化；

确定所述物体在所述第一时刻和第二时刻在捕捉图像中的占有率；以及

根据所述物体在所述第一时刻和第二时刻的占有率与捕捉图像之间的物体尺寸的所确定变化来计算碰撞时间。

18.如技术方案17所述的方法，其中，确定物体尺寸的变化包括以下步骤：

识别物体叠影边界，其包括识别所述物体叠影边界的高度边界、宽度边界和角点；以及

确定所述物体叠影边界的高度、宽度和角点的变化。

19.如技术方案19所述的方法，其中，确定所述物体叠影边界的高度、宽度和角点的变化由以下公式表示：

Δw_t＝w_t-w_t-1，

Δh_t＝hw_t-h_t-1，

$\mathrm{\Δx}=\left(p_t^i\right)=x\left(p_t^i\right)-x\left(p_{t-1}^i\right),\mathrm{\Δy}\left(p_t^i\right)=y\left(p_t^i\right)-y\left(p_{t-1}^i\right)$

其中，

$w_t=0.5*(x\left(p_t^1\right)-x\left(p_t^2\right))+0.5*(x\left(p_t^3\right)-x\left(p_t^4\right)),$

$h_t=0.5*(y\left(p_t^2\right)-y\left(p_t^4\right))+0.5*(y\left(p_t^3\right)-y\left(p_t^1\right)),$

并且其中w_t是时间t处的物体宽度，h_t是时间处的物体高度，而是时间t处的角点，i＝1、2、3或4。

20.如技术方案19所述的方法，进一步包括以下步骤：估算下一时刻的物体尺寸和位置的变化，其中下一时刻的物体尺寸和位置的变化由下式表示：

Δw_t+1＝f_w(Δw_t，Δw_t-1，Δw_t-2，...)，

Δh_t+1＝f_h(Δh_t，Δh_t-1，Δh_t-2，...)，

Δx_t+1＝f_x(Δx_t，Δx_t-1Δx_t-2，...)，

Δy_t+1＝f_x(Δy_t，Δy_t-1，Δy_t-2，...)。

21.如技术方案20所述的方法，其中，确定碰撞时间由下式确定：

TTC_t+1＝f_TCC(Δw_t+1，Δh_t+1，Δx_t+1，Δy_t+1...)。

22.如技术方案1所述的方法，进一步包括以下步骤：

使用至少一个附加传感装置检测物体；以及

对安装在所述被驾驶的交通工具上的至少一个基于视觉的成像装置和所述附加传感装置所传感到的物体应用传感器融合，以协同地表示用于突显的物体。

23.如技术方案1所述的方法，其中，由至少一个基于视觉的成像装置传感物体。

24.如技术方案23所述的方法，其中，由基于交通工具的传感系统传感物体。

25.如技术方案24所述的方法，其中，多个基于交通工具的传感系统被协同地用于识别交通工具外的物体，其中在显示图像中突显传感到的物体，其中突显传感到的物体包括在显示装置中的物体上生成警告符号叠影。

26.如技术方案24所述的方法，其中，多个基于交通工具的传感系统被协同地用于识别交通工具外的物体，其中在显示图像中突显传感到的物体，其中突显传感到的物体包括在显示装置中的物体上生成边界叠影。

27.如技术方案24所述的方法，其中，多个基于交通工具的传感系统被协同地用于识别交通工具外的物体，其中在显示图像中突显传感到的物体，其中突显传感到的物体包括在显示装置中的物体上生成警告符号和边界叠影。

28.如技术方案1所述的方法，其中，在后视镜显示装置上显示所述被动态地扩展的图像。

附图说明

图1是包括基于环绕视野视觉的成像系统的交通工具的图示。

图2是用于针孔摄像头模型的图示。

图3是非平面针孔摄像头模型的图示。

图4是采用柱状图像表面模型的框式流程图。

图5是采用椭圆图像表面模型的框式流程图。

图6是用于将一点从真实图像映射到虚拟图像的视野合成的流程图。

图7是径向畸变修正模型的图示。

图8是严重径向畸变模型的图示。

图9是应用视野合成基于虚拟图像上的点来确定虚拟入射光线角度的框图。

图10是投射到相应柱状成像表面模型上的入射光线的图示。

图11是应用虚拟平移/倾斜基于虚拟入射光线角度来确定光线入射光线角度的框图。

图12是虚拟入射光线角度与真实入射光线角度之间的平移/倾斜的旋转示意。

图13是用于在后视镜显示装置上显示来自一个或多个图像捕捉装置的捕捉图像的框图。

图14示出了使用单个摄像头的动态后视镜显示器成像系统的框图。

图15示出了用于后视镜装置中的自适应调光和自适应图像叠加的流程图。

图16示出了用于在后视镜显示装置中识别物体的第一实施例的流程图。

图17是执行后交叉交通警告的后视显示装置的图示。

图18是执行后交叉交通警告的动态后视显示装置的图示。

图19示出了用于在后视镜显示装置中识别物体的第二实施例的流程图。

图20是用于图19中描述的实施例的显示在动态后视镜装置上的动态图像的图示。

图21示出了用于在后视镜显示装置中识别物体的第三实施例的流程图。

图22示出了碰撞时间和图像尺寸估算途径的流程图。

图23示出了由物体捕捉装置在第一时刻捕捉到的示例性图像。

图24示出了由图像捕捉装置在第二时刻捕捉到的示例性图像。

图25示出了通过像面中的点运动估算实现的碰撞时间估算途径的流程图。

图26示出了用于在后视镜显示装置上识别物体的第四实施例的流程图。

具体实施方式

在图1中示出了沿着道路行驶的交通工具10。基于视觉的成像系统12捕捉道路的图像。基于视觉的成像系统12基于一个或多个基于视觉的捕捉装置的位置捕捉交通工具周围的图像。在本文描述的实施例中，基于视觉的成像系统捕捉交通工具后方的、交通工具前方的以及交通工具侧方的图像。

基于视觉的成像系统12包括用于捕捉交通工具10前方的视场(FOV)的前视摄像头14、用于捕捉交通工具后方的FOV的后视摄像头16、用于捕捉交通工具左侧的FOV的左视摄像头18和用于捕捉交通工具右侧的FOV的右视摄像头20。摄像头14-20可为适于本文所述目的的任何摄像头，其中的许多在汽车领域是已知的，其能够接收光或其它辐射，并使用例如电荷耦合器件(CCD)将光能转换成像素格式的电信号。摄像头14-20以一定的数据帧速率生成图像数据的帧，其可被存储用于后续处理。摄像头14-20可以安装在作为交通工具10的一部分的任何适当的结构之内或之上，诸如保险杠、仪表板、格栅、侧视镜、门板、风挡后等，正如本领域技术人员将充分理解并领会的。来自摄像头14-20的图像数据被发送至处理器22，其处理图像数据，以生成图像，其可显示在检视镜显示装置24上。应该明白的是：一个摄像头方案被包括(例如，后视)，并且不必如以上描述那样采用4个不同摄像头。

本发明采用来自基于视觉成像的装置12的捕捉场景，来检测捕捉场景的照明条件，其然后用于调节后视镜24的图像显示的调光功能。优选地，广角镜头摄像头被采用来捕捉交通工具外部的场景的超宽FOV，比如由26代表的区域。基于视觉成像的装置12聚焦在所捕捉图像的相应区域上，其优选是包括天空28以及太阳和在晚上来自其它交通工具的远光灯的区域。通过聚焦在天空的照射强度上，可确定捕捉场景的照射强度水平。该目的是构建如采自虚拟摄像头的合成图像，所述虚拟摄像头具有的光轴指向天空，以生成虚拟天空视野。一旦从指向天空的虚拟摄像头生成了天空视野后，可以确定场景的亮度。然后，可以动态地调节通过后视镜24或交通工具内的任何其它显示器显示的图像。另外，图形的图像叠影可以投射到后视镜24的图像显示器上。图像叠影复现交通工具的部件(例如，头枕、后窗口装饰件、c柱)，其包括基于线条的叠影(例如，略图)，其通常将被驾驶员在察看通过具有普通反射性能的后视镜的反射时看到。由图形叠影显示的图像也可以相对于场景的亮度被调节，以维持所需的半透明性，使得图形叠影不与后视镜上再现的场景干涉，并且不被冲淡。

为了基于真实摄像头的捕捉图像生成虚拟天空图像，捕捉图像必须被建模、处理和视野综合，以从真实图像生成虚拟图像。以下描述详述如何实现该过程。本发明对窄FOV和超宽FOV摄像头均使用图像建模和去扭曲处理，其采用简单的两步途径并且提供快速的处理时间和增强的图像质量，而不采用径向畸变修正。畸变是从直线投影的偏差，所述直线投影是场景中的直线在图像中保持为直的投影。径向畸变是镜头未能成直线。

如以上论述的两步途径包括：(1)向捕捉图像应用摄像头模型以将捕捉图像投射到非平面成像表面上；和(2)应用视野合成以将投射到非平面表面上的虚拟图像映射为真实显示图像。对于视野合成，给定以特定摄像头设置和取向从特定点取得的特定对象的一个或多个图像，目标是构建如从具有相同或不同光轴的虚拟摄像头取得的合成图像。

除了用于超宽FOV摄像头的动态视野合成之外，所提出的途径提供具有增强的去扭曲操作的有效环绕视野和动态后视镜功能。如本文中所使用的摄像头校准是指估算多个摄像头参数，包括固有的和非固有的参数。固有的参数包括焦距、图像中心(或主点)、径向畸变参数等，而非固有的参数包括摄像头位置、摄像头取向等。

摄像头模型是本领域中公知的，用于将全局空间中的物体映射至摄像头的图像传感器平面以生成图像。本领域中公知的一个模型被称为针孔摄像头模型(或小孔成像模型)，其有效于对窄FOV摄像头模拟图像。针孔摄像头模型被定义为：

图2是用于针孔摄像头模型的图示30，并且示出了由坐标u、v限定出的二维摄像头像面32，以及由全局坐标x、y和z限定出的三维物体空间34。从焦点C到像面32的距离是摄像头的焦距f，并且由焦距f_u和f_v限定出。从点C到像面32的主点的垂线限定出由平面32的u₀、v₀指定的图像中心。在图示30中，物体空间34中的物点M在点m处映射到像面32，其中像点m的坐标是u_c、v_c。

公式(1)包括被采用来实现将物体空间34中的点M映射到像面32中的点m的参数。特别地，固有的参数包括f_u、f_v、u_c、v_c和γ，而非固有的参数包括用于摄像头旋转的3×3矩阵R和从像面32到物体空间34的3×1平移矢量t。参数γ代表通常是可忽略的并且常常被设置为零的两个图像轴线的偏斜度。

由于针孔摄像头模型遵循直线投影，有限尺寸平面图像表面只能覆盖有限的FOV范围(＜＜180°FOV)，为了使用平面图像表面对超宽(～180°FOV)鱼眼摄像头生成柱面全景图视野，特定的摄像头模型必须被采用来将水平径向畸变纳入考量。一些其它视野可能要求其它特定的摄像头模型，(并且一些特定视野可能不能够被生成)。然而，通过将像面改变为非平面图像表面，可通过仍然使用简单的光线追踪和针孔摄像头模型来轻松地生成特定视野。作为结果，以下描述将描述采用非平面图像表面的优点。

后视镜显示装置24(图1中示出)输出由基于视觉的成像系统12捕捉的图像。图像可以是改变过的图像，其可以被转换以显示捕捉图像的FOV的相应部分的增强视野。例如，可以改变图像以生成全景场景，或者可以生成这样的图像，其增强图像的沿交通工具正转向的方向的区域。如本文描述的所提出途径模拟具有凹状成像表面的宽FOV摄像头，用于更简单的摄像头模型，而没有径向畸变修正。该途径采用虚拟视野合成技术，其具有新颖的摄像头成像表面模型(例如，基于光线的模型)。该技术具有后视摄像头应用的各种应用，其包括动态指引、360环绕视野摄像头系统和动态后视镜特征。该技术通过具有各种摄像头成像表面的简单摄像头针孔模型来模拟各种图像效果。应该明白的是：除摄像头针孔模型外，也可使用其它模型，包括传统模型。

图3示出了用于使用非平面图像表面模拟捕捉场景38的优选技术。使用针孔模型，捕捉场景38被投射到非平面图像49(例如，凹状表面)上。不向投射图像应用径向畸变修正，因为图像正被显示在非平面表面上。

向非平面表面上的投射图像应用视野合成技术，以对图像去扭曲。在图3中，使用凹状图像表面实现图像去扭曲。这类表面可以包括但不限于柱状和椭圆图像表面。也就是说，使用针孔模型将捕捉场景投射到柱状表面上。然后，投射到柱状图像表面上的图像被展示在平坦的交通工具内的图像显示装置上。作为结果，交通工具尝试驻停的驻停空间得到增强，以获得更好的视野来协助驾驶员集中在打算行驶的区域上。

图4示出了用于向捕捉场景应用柱状图像表面模型的框式流程图。捕捉场景在框46处示出。摄像头模型52被应用到捕捉场景46。如先前所描述的，摄像头模型优选是针孔摄像头模型，然而，也可以使用传统的或其它摄像头模型。使用针孔摄像头模型将捕捉图像投射到相应表面上。相应图像表面是柱状图像表面54。通过以下方式执行视野合成42：将柱状表面上的投射图像的光线映射到捕捉到的真实图像的入射光线，以生成去扭曲的图像。结果是增强了可获得的驻停空间的视野，其中驻停空间居中在去扭曲的图像51的最前部。

图5示出了采用针孔模型来向捕捉场景采用椭圆图像表面模型的流程图。椭圆图像模型56向捕捉场景46的中心应用更大的分辨率。因此，如去扭曲的图像57中所示，与图5相比，位于去扭曲的图像的中心最前部处的物体使用椭圆模型被增强更多。

动态视野合成是这样一种技术，通过它特定的视野合成基于交通工具操作的驾驶情形被允许。例如，特殊的合成建模技术可以在交通工具是在停车场中比起在高速路上行驶时被触发，或者可以通过近距传感器传感到交通工具的相应区域的物体而被触发，或者通过交通工具信号(例如，转向信号、转向盘角度或交通工具速度)被触发。特殊的合成建模技术可以为基于所触发的操作向捕捉图像应用相应的定型模型或者应用虚拟的平移(pan)、倾斜(tilt)或定向变焦。

图6示出了用于将一点从真实图像映射到虚拟图像的视野合成的流程图。在框61中，通过坐标u_real和v_real在捕捉图像上确定一真实点，所述坐标确定入射光线在何处接触图像表面。入射光线可由角度代表，其中θ是入射光线与光轴之间的角度，而是x轴与入射光线在x-y平面上的投影之间的角度。为了确定入射光线角度，真实摄像头模型被预定和校准。

在框62中，定义真实摄像头模型，比如鱼眼模型也就是说，由真实鱼眼摄像头视野看到的入射光线可以被表示如下：

其中，x_c1、y_c1和z_c1是摄像头坐标，其中z_c1是指出摄像头的摄像头/镜头光轴，并且其中u_c1代表u_real而v_c1代表v_real。径向畸变修正模型在图7中示出。径向畸变模型，其由以下的公式(3)表示，有时被称为Brown-Conrady模型，其为从物体空间74成像在像面72上的物体提供用于不严重径向畸变的修正。摄像头的焦距f是点76与图像中心之间的距离，所述图像中心是镜头光轴与像面72相交之处。在图示中，如果使用了针孔摄像头模型，则处于线70与像面72的交点处的图像位置r₀代表物点M的虚拟像点m₀。然而，由于摄像头图像具有径向畸变，真实像点m处于位置r_d处，其是线78与像面72的交点。值r₀和r_d不是点，而是从图像中心u₀、v₀到像点m₀和m的径向距离。

$r_d=r_0(1+k_1\·r_0^2+k_2\·r_0^4+k_2\·r_0^6+\·\·\·\·---\left(3\right)$

点r₀使用以上论述的针孔模型得到确定，并且包括已提及的固有的和非固有的参数。公式(3)的模型是偶数阶多项式，其在像面72中将点r₀转换为点r_d，其中k是有必要被确定以提供修正的参数，并且其中参数k的数量定义修正准确性的程度。在实验室环境中对于特定摄像头执行校准处理，其确定参数k。因此，除了用于针孔摄像头模型的固有的和非固有的参数之外，用于公式(3)的模型包括用以确定径向畸变的附加参数k。由公式(3)的模型提供的不严重径向畸变修正通常有效于宽FOV摄像头，比如135°FOV摄像头。然而，对于超宽FOV摄像头，即180°FOV，径向畸变对于公式(3)的模型过于严重而使之无效。换言之，当摄像头的FOV超过一定值例如140°～150°时，值r₀在角度θ接近90°时变成无穷大。对于超宽FOV摄像头，本领域中已经提出了在公式(4)中示出的严重径向畸变修正模型，以提供对于严重径向畸变的修正。

图8示出了鱼眼模型，其显示圆顶以示出FOV。该圆顶代表鱼眼镜头摄像头模型以及FOV，其可由鱼眼模型获得，大到180度或更多。鱼眼镜头是一种超广角镜头，其产生强烈的视觉畸变，旨在生成宽的全景或半球图像。鱼眼镜头通过以下方式实现极宽的视角：放弃产生具有透视直线的图像(直线图像)，代之以特殊的映射(例如：等立体角)，其给予图像特别的凸状非直线外观。该模型代表严重的径向畸变，其在以下的公式(4)中示出，其中公式(4)是奇数阶多项式，并且包括用于在像面79中提供从点r₀到点r_d的径向修正的技术。如上所述，像面由坐标u和v指定，而物体空间由全局坐标x、y、z指定。此外，θ是入射光线与光轴之间的入射角。在图示中，点p′是使用针孔摄像头模型的物点M的虚拟像点，其中其径向距离r₀在θ接近90°时可以变成无穷大。处于径向距离r处的点p是点M的真实图像，其具有可由公式(4)模拟的径向畸变。

公式(4)中的值q是所确定的参数。因此，入射角θ用于基于校准处理期间计算出的参数提供畸变修正。

$r_d=q_1\·{\mathrm{\θ}}_0+q_2\·{\mathrm{\θ}}_0^3+q_3\·{\mathrm{\θ}}_0^5+\·\·\·\·---\left(4\right)$

在本领域中已知各种技术来提供用于公式(3)的模型的参数k或者用于公式(4)的模型的参数q的估算。例如，在一个实施例中，使用棋盘图案，并且以各种视角取得图案的多个图像，其中确定图案中相邻正方形之间的每个角点。标记棋盘图案中的每个点，并且在全局坐标中的物体空间和像面中确定每个点的位置。通过使真实像点与3D物体空间点的再投影之间的误差距离最小化经由参数估算实现摄像头的校准。

在框63中，从真实摄像头模型确定真实入射光线角度(θ_real)和相应的入射光线将由代表。

在框64中，确定虚拟入射光线角度θ_virt和相应的如果不存在虚拟倾斜和/或平移，则将等于如果存在虚拟倾斜和/或平移，则必须进行调节以确定虚拟入射光线。对虚拟入射光线的论述将在后面详细论述。

再次参考图6，在框65中，一旦已知入射光线角度后，则通过采用相应的摄像头模型(例如，针孔模型)和相应的非平面成像表面(例如，柱状成像表面)来应用视野合成。

在框66中，在虚拟图像中确定与非平面表面相交的虚拟入射光线。与如在虚拟图像上示出的虚拟非平面表面相交的虚拟入射光线的坐标表示为(u_virt，v_virt)。作为结果，虚拟图像(u_virt，v_virt)上的像素的映射对应于真实图像(u_real，v_real)上的像素。

应该明白的是：虽然以上流程图表示通过在真实图像中获得像素并找出与虚拟图像的相关性来进行视野合成，但是当采用在交通工具中时也可以执行相反顺序。也就是说，真实图像上的每个点可以由于畸变而不被采用在虚拟图像中，并且只关注相应的突显区域(例如，柱状/椭圆形形状)。因此，如果相对于未被采用的这些点进行处理，则时间会被浪费在处理未被采用的像素中。因此，对于在交通工具中处理图像，执行相反顺序。也就是说，在虚拟图像中确定位置，然后在真实图像中确定对应点。以下描述详述在虚拟图像中确定像素并在真实图像中确定相应的像素。

图9示出了第一步骤的框图，其用于获得虚拟坐标(u_virt，v_virt)，并应用视野合成来确定虚拟入射角图10示出了投射到相应柱状成像表面模型上的入射光线。入射角θ的水平投影由角度α代表。用于确定角度α的公式遵循等距投影，如下：

$\frac{u_{\mathrm{virt}}-u_0}{f_u}=\mathrm{\α}---\left(5\right)$

其中，u_virt是虚拟像点u轴(水平)坐标，f_u是摄像头的u方向(水平)焦距，而u₀是图像中心u轴坐标。

接下来，角度θ的竖直投影由角度β代表。用于确定角度β的公式遵循直线投影，如下：

$\frac{v_{\mathrm{virt}}-v_0}{f_v}=\tan \mathrm{\β}---\left(6\right)$

其中，v_virt是虚拟像点v轴(竖直)坐标，f_v是摄像头的v方向(竖直)焦距，而v₀是图像中心v轴坐标。

然后可由下式确定入射光线角度：

如先前所描述的，如果在真实摄像头和虚拟摄像头的光轴之间不存在平移或倾斜，则虚拟入射光线与真实入射光线相等。如果存在平移和/或倾斜，则必须进行补偿以使真实入射光线和虚拟入射光线的投影相关联。

图11示出了存在虚拟倾斜和/或平移时从虚拟入射光线角度向真实入射光线角度转化的框图。由于虚拟摄像头的光轴将朝天空聚焦而真实摄像头将大致水平于行驶道路，所以这些轴的差值要求倾斜和/或平移旋转操作。

图12示出了这些轴由于虚拟平移和/或倾斜旋转而从虚拟向真实的变化之间的比较。入射光线位置不改变，因此如图所示的相应虚拟入射光线角度和真实入射光线角度与平移和倾斜相关。入射光线可由角度代表，其中θ是入射光线与光轴(由z轴代表)之间的角度，而是x轴与入射光线在x-y平面上的投影之间的角度。

对于每个确定的虚拟入射光线入射光线上的任一点可由以下矩阵代表：

$P_{\mathrm{virt}}=\mathrm{\ρ}\·\left[\begin{array}{c}\sin \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\·\cos \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\\ \sin \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\·\sin \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\\ \cos \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\end{array}\right],---\left(8\right)$

其中，ρ是形成原点的点的距离。

虚拟平移和/或倾斜可由如下的旋转矩阵代表：

$R_{\mathrm{rot}}=R_{\mathrm{tilt}}\·R_{\mathrm{pan}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\β}\right)& \sin \left(\mathrm{\β}\right)\\ 0& -\sin \left(\mathrm{\β}\right)& \cos \left(\mathrm{\β}\right)\end{array}\right]\·\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& 0& -\sin \left(\mathrm{\α}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\α}\right)& 0& \cos \left(\mathrm{\α}\right)\end{array}\right]---\left(9\right)$

其中，α是平移角度，而β是倾斜角度。

在确定了虚拟平移和/或倾斜旋转之后，(对于真实的)相同入射光线上的相同点的坐标将如下：

$P_{\mathrm{real}}=R_{\mathrm{rot}}\·P_{\mathrm{virt}}=\mathrm{\ρ}\·R_{\mathrm{rot}}\left[\begin{array}{c}\sin \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\·\cos \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\\ \sin \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\·\sin \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\\ \cos \left({\mathrm{\θ}}_{\mathrm{virt}}\right)\end{array}\right]=\mathrm{\ρ}\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right],---\left(10\right)$

旋转坐标系中的新入射光线角度将如下：

${\mathrm{\θ}}_{\mathrm{real}}=\arctan \left(\frac{\sqrt{a_1^2+a_2^2}}{a_3}\right),\mathrm{\φ}=\mathrm{real}=\arctan \left(\frac{a_2}{a_1}\right).---\left(11\right)$

作为结果，相对于虚拟摄像头模型，当存在倾斜和/或平移时，在与之间确定了对应性。应该明白的是：与之间的对应性不与入射光线上的处于距离ρ处的任何特定点相关。真实入射光线角度只相关于虚拟入射光线角度以及虚拟平移和/或倾斜角度α和β。

一旦已知真实入射光线角度后，可以轻松地确定真实图像上的相应光线的交点，如先前论述的。结果是虚拟图像上的虚拟点映射到真实图像上的对应点。对于虚拟图像上的每个点执行该过程，以确定真实图像上的对应点并生成所得图像。

图13示出了用于在后视镜显示装置上显示来自一个或多个图像捕捉装置的捕捉图像的整体系统图的框图。多个图像捕捉装置总体上以80示出。多个图像捕捉装置80包括至少一个前摄像头、至少一个侧向摄像头和至少一个后视摄像头。

图像捕捉装置80捕捉的图像被输入摄像头切换器。可以基于交通工具操作条件81，比如交通工具速度、转弯或回到驻停空间中，来开启多个图像捕捉装置80。摄像头切换器82基于通过通信总线比如CAN总线通信到摄像头切换器82的交通工具信息81来开启一个或多个摄像头。也可以由交通工具的驾驶员选择性地开启相应的摄像头。

来自所选图像捕捉装置的捕捉图像被提供至处理单元22。处理单元22采用如本文所描述的相应摄像头模型来处理图像，并应用视野合成来将捕捉图像映射到后视镜装置24的显示器上。

可以由交通工具的驾驶员致动镜模式按钮84，以动态地开启与显示在后视镜装置24上的场景相关联的相应模式。三种不同模式包括但不限于：(1)具有检视摄像头的动态后视镜；(2)具有前视摄像头的动态镜；和(3)具有环视摄像头的动态检视镜。

在选择了镜模式并且处理了相应图像后，将处理过的图像提供至后视图像装置24，在这里捕捉场景的图像经由后视图像显示装置24被再现并显示给交通工具的驾驶员。应该明白的是：相应摄像头中的任一个都可以用于捕捉用于转化为用于场景亮度分析的虚拟图像的图像。

图14示出了使用单个摄像头的动态后视镜显示器成像系统的示例框图。动态后视镜显示器成像系统包括具有广角FOV功能的单个摄像头90。摄像头的广角FOV可以大于、等于或小于180度视角。

如果只使用了单个摄像头，则不需要摄像头切换。捕捉图像被输入处理单元22，在这里捕捉图像被应用于摄像头模型。在本示例中采用的摄像头模型包括椭圆摄像头模型，然而，应该明白的是也可以采用其它摄像头模型。椭圆摄像头模型的投影旨在将场景看作包绕椭圆并从内部观察到的图像。作为结果，处于图像的中心处的像素被看作更靠近，而不是位于捕捉图像的端部处的像素。图像的中心的变焦大于侧边处的。

处理单元22也应用视野合成，以将捕捉图像从椭圆模型的凹状表面映射至后视镜的平面显示屏幕。

镜模式按钮84包括再一功能，其允许驾驶员控制后视镜显示器24的其它视野选项。可以由驾驶员选择的附加视野选项包括：(1)镜显示器关闭；(2)镜显示器打开且带图像叠影；和(3)镜显示器打开但没有图像叠影。

“镜显示器关闭”表示由图像捕捉装置捕捉到的被建模、处理、作为去扭曲图像显示的图像不显示到后视镜显示装置上。相反，后视镜功能等同于只显示由镜的反射性能捕捉到的那些物体的镜。

“镜显示器打开且带图像叠影”表示被图像捕捉装置捕捉到的被建模、处理和作为去扭曲图像投射的图像被显示在图像捕捉装置24上，示出了场景的广角FOV。另外，图像叠影92(图15中示出)被投射到后视镜24的图像显示器上。图像叠影92复现交通工具的部件(例如，头枕、后窗口装饰件、c柱)，其通常将被驾驶员在察看通过具有普通反射性能的后视镜的反射时看到。该图像叠影92协助驾驶员确定交通工具相对于道路和交通工具周围的其它物体的相对定位。图像叠影92优选是半透明的或细的略图线，其代表交通工具的关键元件，以允许驾驶员不受阻碍地观看场景的全部内容。

“镜显示器打开但没有图像叠影”显示如以上描述的相同捕捉图像，但是没有图像叠影。图像叠影的目的是允许驾驶员了解场景的内容相对于交通工具的定位，然而，驾驶员可能发现图像叠影没有必要，从而可以选择在显示器中没有图像叠影。该选择完全取决于交通工具的驾驶员。

基于对镜按钮模式84进行的选择，在框24中适当的图像经由后视镜呈现给驾驶员。应该明白的是：如果采用了多于一个的摄像头，比如多个窄FOV摄像头，其中每个图像必须被集成在一起，则可以使用图像拼接。图像拼接是以图像FOV的重叠区域组合多个图像的过程，以生成无缝的分段式全景视野。也就是说，组合图像被组合成使得对于重叠区域被合并之处不存在可察觉的边界。在执行了图像拼接之后，拼接图像被输入处理单元，以向图像应用摄像头模型和视野合成。

在图像被典型后视镜反射或者获得捕捉图像而其中不采用动态增强的系统比如没有鱼眼的简单摄像头或具有窄FOV的摄像头中，可能具有安全性问题或者可能与交通工具碰撞的物体不被捕捉在图像中。实际上交通工具上的其它传感器可以检测这类物体，但是显示警告以及识别物体中的图像是问题。因此，通过采用捕捉图像并且采用动态显示器，其中通过鱼眼镜头、图像拼接或数字变焦获得宽FOV，物体可被显示在图像上。另外，可以在物体上叠加符号，比如驻停协助符号和用于回避碰撞的物体轮廓等。

图16示出了用于在动态后视镜显示装置上识别物体的第一实施例的流程图。虽然本文所论述的实施例描述的是在后视镜装置上显示图像，但是应该明白的是显示装置并不局限于后视镜而是可以包括交通工具中的任何其它显示装置。框110-116代表各种传感装置，用于传感交通工具外的物体，比如交通工具、行人、自行车以及其它移动的和固定的物体。例如，框110是侧面盲区警报传感器(SBZA)传感系统，用于传感交通工具的盲区中的物体；框112是驻停协助(PA)超声波传感系统，用于传感行人；框44是后交叉交通警告(RTCA)系统，用于检测处于与被驾驶交通工具横交的后交叉路径中的交通工具；而框116是后视摄像头，用于捕捉交通工具外的场景。在图16中，图像被捕捉并显示在后视图像显示装置上。由框110-116中示出的任一系统检测到的任一物体被协同地分析和识别。在框129中，由任一传感系统110-114采用的任一警报符号可以被处理，并且那些符号可以叠加在动态图像上。在框120中，动态图像和叠影符号然后显示在后视显示装置上。

在典型系统中，如图17中所示，如被RCTA系统检测到的正在接近的后交叉物体还未见于由窄FOV成像装置捕捉到的图像上。然而，不能在图像中看到的物体由RCTA符号122表示，以识别由传感系统之一识别到的但是还未处于图像中的物体。

图18示出了采用动态后视显示器的系统。在图18中，交通工具124被捕捉到，其正从捕捉图像的右侧接近。通过成像装置使用宽FOV捕捉图像来捕捉物体，或者可以使用由多于一个的图像捕捉装置捕捉到的多个图像将图像拼接在一起。由于处于图像远端处的图像畸变，加上交通工具124在其沿着横切于被驾驶交通工具的行驶路径的行驶道路行驶时的速度，交通工具124可能不容易被察觉到，或者交通工具的速度可能不容易被驾驶员预测到。协同RCTA系统，为了协助驾驶员识别交通工具124可能处于碰撞路线上(如果两个交通工具运行到交点)，围绕交通工具124叠加警报符号126，其已经被RCTA系统作为潜在威胁感觉到。可以包括其它交通工具信息来作为警报符号的一部分，其包括交通工具速度、碰撞时间、前进路线，可以围绕交通工具124叠加。符号122可能根据需要横跨交通工具124或其它物体叠影，以向驾驶员提供通知。符号不必识别物体的准确位置或尺寸，而仅仅是向驾驶员提供物体在图像中的通知。

图19示出了用于在后视镜显示装置上识别物体的第二实施例的流程图。对于已经介绍的装置和系统，将始终采用相似附图标记。框110-116代表各种传感装置，比如SBZA、PA、RTCA和后视摄像头。在框129中，处理单元向图像上提供物体叠影。物体叠影是表示物体的正确位置和尺寸的叠影，而不是如图18中所示那样仅仅将相同尺寸的符号放置在物体之上。在框120中，后视显示装置显示具有物体叠影符号的动态图像，然后整体图像在框120中显示在后视显示装置上。

图20是显示在动态后视镜装置上的动态图像的图示。物体叠影132-138识别被驾驶交通工具附近的交通工具，其已经被传感系统之一识别到，如果做出了驾驶动作并且被驾驶交通工具的驾驶员未意识到那些物体中任一个的存在，则其可能与被驾驶交通工具的潜在地发生碰撞。如所示，每个物体叠影优选表示为具有四个角部的矩形框。每个角部指定相应的点。每个点被定位成使得当矩形被生成时，整个交通工具恰当地定位在物体叠影的矩形形状内。作为结果，矩形图像叠影的尺寸协助驾驶员不仅识别物体的正确位置，而且还提供关于与被驾驶交通工具的相对距离的注意。也就是说，对于更靠近被驾驶交通工具的物体，比如物体132和134等图像叠影将较大，而对于更远离被驾驶交通工具的物体，比如物体136等图像叠影将显得更小。另外，可与图像叠影一起使用冗余视觉确认，以生成物体的注意情形。例如，注意通知符号，比如符号140和142，可分别与物体叠影132和138协同地显示，以提供冗余警告。在该示例中，符号140和142提供关于为什么物体被突显和标识出(例如，盲区检测)的更多细节。

图像叠影138生成交通工具的交通工具边界。由于虚拟图像被生成少于仅交通工具外的场景和物体中任一个，捕捉的虚拟图像将不捕捉交通工具的任何外部装饰部件。因此，提供图像叠影138，其生成交通工具边界，其关于交通工具的边界将位于何处，如果它们被显示在捕捉图像中的话。

图21示出了通过基于物体叠影的位置扩张和帧间物体尺寸估算碰撞时间来识别后视镜显示装置上的物体的第三实施例的流程图，并且示出了动态后视显示装置上的警告。在框116中，通过图像捕捉装置捕捉图像。

在框144中，各种系统被用于识别被捕捉在捕捉图像中的物体。这类物体包括但不限于来自本文描述的装置的交通工具、基于车道对中系统的道路的车道、来自行人注意系统的行人、和来自各种传感系统/装置的电线杆或障碍物。交通工具检测系统在这里估算碰撞时间。碰撞时间和物体尺寸估算可以使用基于图像的途径来确定，或者可以使用像面中的点运动估算来确定，其将在后面详细描述。

在框146中，生成具有物体叠影的物体以及对于每个物体的碰撞时间。

在框120中，结果被显示在动态后视显示镜上。

图22是如在图21的框144中描述的碰撞时间和图像尺寸估算途径的流程图。在框150中，在时间t-1处生成图像并且检测物体。在156处在图23中示出捕捉图像和图像叠影。在框151中，在时间t处生成图像并且检测物体。在框158处在图24中示出捕捉图像和图像叠影。

在框152中，记录物体尺寸、距离和交通工具坐标。这通过定义用于检测到的物体的窗口叠影(例如，由矩形框定义的物体的边界)来执行。矩形边界应该包含能在捕捉图像中识别的交通工具的每个元件。因此，边界应该接近交通工具的那些最外侧外部，而不在交通工具的最外侧外部部件与边界自身之间生成大间隙。

为了确定物体尺寸，定义物体检测窗口。这可通过估算以下参数来确定：

时间t处的位置(图像上)和物体检测窗口尺寸

其中，uW_t：检测-窗口宽度；vH_t：检测-窗口高度；vB_t：检测-窗口底部。接下来，通过以下参数估算被表示为交通工具坐标的距离和物体尺寸：

是交通工具坐标中(观测到的)物体尺寸和距离

其中，是(观测到的)物体宽度，是(观测到的)物体高度，而是(观测到的)物体距离，为时间t处的。

基于摄像头校准，可从交通工具内的检测窗口尺寸和位置确定(观测到的)物体尺寸和距离，如由以下公式表示的：

${\mathrm{win}}_t^{\det }:(u{W}_t,v{W}_t,v{B}_t)\stackrel{\mathrm{CamCalib}}{\→}{X}_t:(w_t^o,h_t^o,d_t^o).$

在框153中，作为Y_t中的分量计算物体距离和物体的相对速度。在该步骤中，确定输出Y_t，其代表时间t处的估算物体参数(尺寸、距离、速度)。这由以下定义表示：

$\mathrm{def}:Y_t=(w_t^e,h_t^e,d_t^e,v_t)$

其中，是时间t处的估算物体尺寸和距离，而v_t是时间t处的物体相对速度。

接下来，模型被使用来估算物体参数和碰撞时间(TTC)，并且由以下公式表示：

Y_t＝f(X₁，X_t-1，X_t-2，...，X_t-n)

以上函数的更简化的示例可表示如下：

物体尺寸： $w_t^e=\frac{{\mathrm{\Σ}}_{i=0}^n{w}_{t-i}^o}{n+1},h_t^e=\frac{{\mathrm{\Σ}}_{i=0}^n{h}_{t-i}^o}{n+1}$

物体距离：

物体相对速度： $v_t=\mathrm{\Δd}/\mathrm{\Δt}=(d_t^e-d_{t-1}^e)/\mathrm{\Δt}$

在框154中，使用以上公式来推导碰撞时间，其由下式表示：

$\mathrm{TTC}:{\mathrm{TTC}}_t=d_t^e/v_t$

图25是通过如在图21中描述的像面中的点运动估算的碰撞时间估算途径的流程图。在框160中，在时间t-1处生成图像并检测物体尺寸和点位置。在图23中通过156总体上示出捕捉图像和图像叠影。在框161中，在时间t处生成图像并检测物体尺寸和点位置。在图24中通过158总体上示出捕捉图像和图像叠影。

在框162中，确定物体尺寸和物点位置的变化。通过比较第一图像中的识别点相对于发生了临时位移的另一捕捉图像中的同一点在何处，使用物体尺寸的位置的相对变化可用于确定碰撞时间。

在框163中，基于目标在屏幕高度的绝大部分中的占有率来确定碰撞时间。

为了确定物体叠影边界的角点以及高度和宽度的变化，采用以下技术。定义以下参数：

w_t是时间t处的物体宽度，

h_t是时间t处的物体高度，

是时间t处的角点，i＝1、2、3或4。

基于时间推移的参数变化由以下公式表示：

Δw_t＝w_t-w_t-1

Δh_t＝hw_t-h_t-1

$\mathrm{\Δx}=\left(p_t^i\right)=x\left(p_t^i\right)-x\left(p_{t-1}^i\right),\mathrm{\Δy}\left(p_t^i\right)=y\left(p_t^i\right)-y\left(p_{t-1}^i\right)$

其中

$w_t=0.5*(x\left(p_t^1\right)-x\left(p_t^2\right))+0.5*(x\left(p_t^3\right)-x\left(p_t^4\right)),$

$h_t=0.5*(y\left(p_t^2\right)-y\left(p_t^4\right))+0.5*(y\left(p_t^3\right)-y\left(p_t^1\right)).$

通过f_w、f_h、f_x、f_y定义以下估算：

Δw_t+1＝f_w(Δw_t，Δw_t-1，Δw_t-2，...)，

Δh_t+1＝f_h(Δh_t，Δh_t-1，Δh_t-2，...)，

Δx_t+1＝f_x(Δx_t，Δx_t-1，Δx_t-2)，

Δy_t+1＝f_y(Δy_t，Δy_t-1，Δy_t-2)，

可使用以上变量Δw_t+1、Δh_t+1、Δx_t+1和Δy_t+1以函数f_TTC来确定TTC，其由下式表示：

TTC_t+1＝f_TCC(Δw_t+1，Δh_t+1，Δx_t+1，Δy_t+1...)。

图26示出了用于在后视镜显示装置上识别物体的第四实施例的流程图。对于已经介绍的装置和系统，将始终采用相似附图标记。框110-116代表各种传感装置，比如SBZA、PA、RTCA和后视摄像头。

在框164中，向每个传感器的结果应用传感器融合技术，以使由图像捕捉装置检测到的图像的物体与在其它传感系统中检测到的物体融合。传感器融合允许从至少两个障碍物传感装置的输出以传感器水平执行。这提供更丰富的信息内容。组合从两传感装置对所识别障碍物的检测和跟踪两者。与首先从每个相应装置对数据执行检测和跟踪然后融合检测和跟踪数据形成对比，通过以传感器水平融合信息而在相应位置处识别障碍物的准确度得到增加。应该明白的是：该技术仅是可使用的许多传感器融合技术之一，并且可应用其它传感器融合技术而不背离本发明的范围。

在框166中，来自传感器融合技术的物体检测结果被表示在图像中并以物体图像叠影得到突显(例如，Kalaman滤波、冷凝滤波)。

在框120中，被突显的物体图像叠影显示在动态后视镜显示装置上。

虽然本发明的某些实施例已经被详细描述，但是对本发明所属领域熟悉的技术人员将意识到用于实施由后附权利要求书限定出的发明的各种替代设计和实施例。

Claims (10)

1.一种在被驾驶的交通工具的显示装置上显示捕捉图像的方法，包括以下步骤：

通过安装在所述被驾驶的交通工具上的至少一个基于视觉的成像装置捕捉所述被驾驶的交通工具外的场景；

传感处于所述被驾驶的交通工具附近的物体；

通过处理器生成所捕捉场景的图像，所述图像被动态地扩展以在所述图像中包括传感到的物体；

在被动态地扩展的图像中突显传感到的物体，被突显的物体表示邻近所述被驾驶的交通工具的物体，其可能碰撞所述被驾驶的交通工具；以及

在显示装置中显示具有被突显物体的所述被动态地扩展的图像。

2.如权利要求1所述的方法，进一步包括以下步骤：

生成内部部件的图像叠影，所述内部部件的图像叠影包括所述被驾驶的交通工具的内部部件的再现，如通过后视镜观看反射图像的驾驶员将看到的；

在所述显示装置上显示所述内部部件的图像叠影。

3.如权利要求1所述的方法，其中，在被动态地扩展的图像中突显传感到的物体包括在所述被动态地扩展的图像中的物体上叠加警报符号，所述警报符号表示所述物体有可能会碰撞所述被驾驶的交通工具。

4.如权利要求1所述的方法，其中，在被动态地扩展的图像中突显传感到的物体包括在物体上叠加物体叠影以表示被捕捉到的邻近所述被驾驶的交通工具的交通工具，所述物体叠影表示一交通工具相对于所述被驾驶的交通工具的注意情形。

5.如权利要求4所述的方法，其中，表示注意情形的物体叠加包括围绕交通工具生成物体叠影边界，其代表交通工具在所述被动态地扩展的图像中的尺寸。

6.如权利要求5所述的方法，其中，在被动态地扩展的图像中突显传感到的物体进一步包括在有可能与所述被驾驶的交通工具碰撞的交通工具上叠加警报符号，所述警报符号对驾驶员提供冗余警告。

7.如权利要求6所述的方法，进一步包括以下步骤：

确定与被突显物体相关的碰撞时间警告；以及

在所述显示装置上显示所述碰撞时间警告。

8.如权利要求7所述的方法，其中，确定碰撞时间进一步包括以下步骤：

在第一时刻和第二时刻检测物体；

确定所述物体在第一时刻和第二时刻的尺寸；

根据所述物体在第一时刻和第二时刻所确定的尺寸确定从所述被驾驶的交通工具到所述物体的距离的变化；

根据距离随时间推移的变化确定所述物体的速度；以及

根据物体与所述被驾驶的交通工具之间的估算距离以及所述物体的所确定速度计算碰撞时间。

9.如权利要求8所述的方法，其中，确定物体的尺寸进一步包括以下步骤：将物体尺寸定义为物体检测窗口，其中在时间t的所述物体检测窗口由下式表示：

${\mathrm{win}}_i^{\det }:({\mathrm{uW}}_i,v{H}_i,{\mathrm{vB}}_i):$

其中，uW_t是检测窗口宽度；vH_t是检测窗口高度；并且vB_t是检测窗口底部。

10.如权利要求9所述的方法，其中，观测到的物体尺寸以及物体到被驾驶的交通工具的距离由下式表示：

$x_i=(x_i^o,h_i^o,d_i^o)$

其中，是在时间t处观测到的物体宽度，是在时间t处观测到的物体高度，而是在时间t处观测到的物体距离。