CN102458923B - 用于扩展可视区域的方法和设备 - Google Patents

Abstract

为了扩展安装在车辆上的摄像机的可视区域，本发明的方法包括产生基本虚像(I_2V)的步骤(108)，其中所述基本虚像的一组像素与所述摄像机拍摄的实像(I_1R)的一组像素相关，其中所述实像是在考虑到所述实像的一组像素再现现实世界的平面表面时由所述摄像机拍摄的，以及构建累积虚像(I_3V)的步骤(115)，其中当使所述基本虚像(I_2V)的感兴趣点与所述累积虚像(I_3V)的感兴趣点重合时，所述基本虚像(I_2V)的至少一部分重叠在所述累积虚像(I_3V)的至少一部分上。

Description

用于扩展可视区域的方法和设备

本发明涉及一种扩展利用安装在车辆，尤其是机动车上的摄像机获得的可视区域的方法。

具体而言，技术领域包括利用一个或多个摄像机的视觉倒车辅助（VRA）系统。这种系统的目的是在低速操纵期间辅助驾驶员，为他显示车辆周围近处环境的直观视觉表达。

文献EP1094337公开了一种系统，用于在停车操纵期间辅助驾驶员，警告他存在着利用单个图像采集装置探测到的三维物体。公开的系统目的是从两次相继图像采集确定物体距车辆的距离，将其用于根据从传感器计算的车辆位移生成立体视图。

这种实施例需要非常高精确度的传感器。此外，在低速运动时，在操纵期间一般是这种情况，两次图像采集之间车辆覆盖的小距离为三维图像重构提出了难题，因为这相当于具有非常短基数的立体系统。跳过图像，直到获得充分覆盖的距离提出了环境动态的问题。不能重构场景中运动中的物体。充分精确地重构障碍需要成本高昂的计算能力。最后要提到的缺点是，仅能够重构两次相继图像采集之间处于摄像机区域中的物体。

为了补救现有技术的已知缺点，本发明的目的是一种用于扩展利用车辆上安装的摄像机获得的可视区域的方法，包括：

-产生基本虚像的步骤，其中所述基本虚像的一组像素与所述摄像机拍摄的实像的一组像素相关，其中，所述实像是在考虑到所述实像的一组像素再现现实世界的平面表面时由所述摄像机拍摄的；

-表征所述基本虚像的步骤，其中产生所述基本虚像的一组感兴趣点；

-构建累积虚像的步骤，其中当使所述基本虚像的感兴趣点与所述累积虚像的感兴趣点重合时，所述基本虚像的至少一部分重叠在所述累积虚像的至少一部分上；及

针对在感兴趣点之间的距离方面与先前的基本虚像充分不同的每幅新基本虚像重复所述构建步骤。

具体而言，该方法包括区分步骤，其中在所述新基本虚像的每个像素和所述先前的基本虚像的对应像素之间在颜色分量方面进行区分，且其中将作为差异的函数的透明度归因于所述新基本虚像的所述像素。

同样有利地，在所述产生步骤中，由对应表将所述基本虚像的所述一组像素与所述实像的所述一组像素相关。

同样有利地，该方法包括显示步骤，其中作为从所述产生步骤产生的结果的所述基本虚像实时重叠在所述累积虚像上，以产生瞬时显示图像。

具体而言，在所述显示步骤中，在所述累积虚像上叠加合成图像。

更具体而言，所述合成图像是车轮的图像。

同样更具体而言，针对在感兴趣点之间的距离方面与先前的基本虚像相当的每幅新基本虚像，在表征基本虚像的步骤之后直接激活显示步骤。

优选地，所述平面表面是所述地面的表面。

更确切地说，所使用的摄像机包括相对于现实世界的所述平面表面倾斜的视网膜平面。

本发明的目的还是一种包括车辆上安装的摄像机的设备，其特征在于布置成实施根据本发明的方法。

从下文参考附图通过象征而非限制给出的描述，本发明的其他特征和优点将变得更加清晰，附图中：

-图1是转向阶段中车辆的透视图；

-图2是图1的车辆的顶视图；

-图3示出了根据本发明的方法步骤；

-图4是所用物理性质的解释图；

-图5是根据本发明的设备示意图。

图1示出了处于接近车辆60的操纵阶段中的车辆50。

图2示出了尾部装备了摄像机的车辆50。

现在参考图3解释的方法开始于起始步骤100，其中，在启动系统时，系统处于备用状态，而车辆的速度V大于阈值速度V_S。实际上，利用根据本发明提供的方法和系统辅助驾驶员操纵，在车辆行驶于路上时让它们工作未必是有用的。

从步骤100开始，探测到速度V低于阈值速度V_S确认了激活步骤102的转换101。

步骤102由拍摄车辆50后部的摄像机10视场覆盖的空间的实像I_1R构成，以便通过投影生成摄像机视场中位于车辆后方的地面的顶视图。

在图4中，示出了光学系统11，以及在其上形成地面3的实像I_1R的实际摄像机10的视网膜平面1。垂直于视网膜平面1的轴Δ通过光学系统11的光学中心。有关视网膜平面1的标记o₁x₁y₁z₁的轴z₁平行于朝向地面3取向的轴Δ，其原点o₁在地面上方高度恒定值A₁，这是因为在车辆50上安装摄像机10造成的。有关车辆的标记OXYZ的原点O处在地面高度到原点O₁的垂线上，其轴X平行于水平轴x₁，其水平轴Y垂直于轴X。轴Δ与地平面形成角度α。

标记o₁x₁y₁z₁到z₁=0的投影平面中的齐次坐标w₁u₁，w₁v₁，w₁通过比例系数w₁关联于视网膜平面上实像的点的坐标u₁，v₁。通过应用到摄像机10，通过已知类型的变换给出针孔模型，与标记OXYZ中坐标X，Y，0的地面高度的点对应的图像中每个点的齐次坐标w₁u₁，w₁v₁，w₁:

$\left(\begin{array}{c}{w}_1{u}_1\\ w_1{v}_1\\ w_1\end{array}\right)=\left[\begin{array}{ccc}{\mathrm{\Γ}}_{1u}& {\mathrm{\σ}}_{\mathrm{uv}}& c_{1u}\\ 0& {\mathrm{\Γ}}_{1v}& c_{1v}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{f}_1& 0& 0& 0\\ 0& f_1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\α}& -\cos \mathrm{\α}& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}& -A_1\\ 0& 0& 0& 1\end{array}\right]\left(\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right)$

在这种变换中，系数Γ_lu和Γ_lv是图像的放大因数。在构成摄像机传感器的感光电子单元的线和列正交时，零值可以归因于系数σ_uv。图像平面上摄像机光学中心投影的坐标c_1u和c_1v是轴Δ与视网膜平面1相交的坐标。系数f₁代表摄像机10的焦距。摄像机固定在车辆上，朝向地面具有恒定的视角，以便为变换系数给出恒定值。

通过上述三个矩阵相乘，可以将变换写成：

$\left(\begin{array}{c}{w}_1{u}_1\\ w_1{v}_1\\ w_1\end{array}\right)=\left[\begin{array}{cccc}{m}_{1\mathrm{uX}}& m_{1\mathrm{uY}}& m_{1\mathrm{uZ}}& m_{1u}\\ m_{1\mathrm{vX}}& m_{1\mathrm{vY}}& m_{1\mathrm{vZ}}& m_{1v}\\ m_{1\mathrm{wX}}& m_{1\mathrm{wY}}& m_{1\mathrm{wZ}}& m_{1w}\end{array}\right]\left(\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right)$

通过展开计算，由如下公式给出比例系数w₁的值：

w₁＝Ycosα－A_１

因此，在实像I_1R中的坐标u1，v1的每个点，坐标X，Y的单个点在地平面中对应。

在图4中，还示出了光学系统21以及虚拟摄像机20的视网膜平面2，在视网膜平面2上形成地面3的虚像I_2V。垂直于视网膜平面2和地平面3的垂直轴通过光学系统21的光学中心。有关视网膜平面2的标记o₂x_2y2z₂的平面z₂=0平行于地平面3，其原点o₂处于地面上方高度恒定值A₂处，以便与摄像机10包围相同的地面面积。

就像实际摄像机10那样，标记o₂x_2y2z₂到z₂=0的投影平面中的齐次坐标w₂u₂，w₂v₂，w₂通过比例系数w₂关联到视网膜平面上的虚像的点的坐标u₂，v₂。还是通过应用到摄像机20，通过类似于前文解释的变换给出针孔模型，与标记OXYZ中坐标X，Y，0的地面高度的点对应的图像中每个点的齐次坐标w₂u₂，w₂v₂，w₂。

$\left(\begin{array}{c}{w}_2{u}_2\\ w_2{v}_2\\ w_2\end{array}\right)=\left[\begin{array}{cccc}{m}_{2\mathrm{uX}}& m_{2\mathrm{uY}}& m_{2\mathrm{uZ}}& m_{2u}\\ m_{2\mathrm{vX}}& m_{2\mathrm{vY}}& m_{2\mathrm{vZ}}& m_{2v}\\ m_{2\mathrm{wX}}& m_{2\mathrm{wY}}& m_{2\mathrm{wZ}}& m_{2w}\end{array}\right]\left(\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right)$

通过展开计算，由如下公式给出比例系数w₁的值：

w₂＝－A_２

因此，在地平面中坐标X，Y的每个点，虚像I₂V中的坐标u₂，v₂的单个点对应。

通过双向单射的传递性，在实像I_1R中的坐标u₁，v₁的每个点，因此，在虚像I₂V中坐标u₂，v₂的单个点是对应的，反之亦然。

于是，由虚像I_2V中的平面坐标u₂，v₂的点构成的基本区域dS₂的颜色的每个分量都等于由实像I₁R中平面坐标u₁，v₁的对应点构成的基本区域dS₁的颜色的相同分量。

在计算资源允许时，从前面解释的变换计算平面坐标u₁，v₁的对应点，包括这些点的基本区域dS₁上合成的颜色的每种分量被归于由虚像I_2V中的平面坐标u₂，v₂的点构成的基本区域dS₂。

将要指出，在摄像机的参数固定的情况下，虚像I_2V和实像I_1R的点之间的对应是恒定的。

通过有利的方式，本发明在虚像I_2V的像素的线性坐标k₂表示的输入处提供了对应表。将要回忆的是，在虚像I_2V包括H₂条线，每条线L₂个像素的情况下，由线性坐标k₂表示索引为i的线上索引为j的像素，使得：

k₂=iL₂+j

在由k₂索引的每个输入处，都与包括平面坐标u₁，v₁的点的实像I_1R的像素的线性坐标k₁关联，该点对应于线性坐标k₂的像素居于中心的平面坐标u₂，v₂的点。

这种对应表能够在物质资源和执行方面实现节约。对于物质资源，可以将对应表容纳在存储位置中，存储位置简单地包括针对线性坐标k₂的L*H个存储段和针对关联的线性坐标k₁的L*H个存储段。在执行资源方面，简单扫描足以参考实像的对应像素界定虚像像素的对应表的输入相当快。

从图3中所示的步骤102开始，获得虚像I_2V确认了激活步骤104的转换103。

步骤104由确定表征虚像I_2V的感兴趣点构成。可以使用不同的方法确定感兴趣的点。例如，已知Harris型的感兴趣点，其与诸如路缘侧的图像的奇异点有关。Harris和Stephen算法具有简单迅速的优点。其他更复杂的算法通过提供对噪声、照明变化和整理位置的陡峭变化更好的免疫性而具有更加鲁棒的优点。

作为纯粹例示性而非限制性的范例，可以提到液滴探测方法，其分布于微分法和局部极值法中。考虑针对坐标u₂，v₂的像素具有值F（u₂，v₂）的颜色分量，以及由如下类型的公式给出的值G（u₂，v₂，σ）的高斯滤波器：

$G(u2,v2,\mathrm{\σ})=\frac{1}{2\mathrm{\π\σ}}{e}^{-\frac{u2+v2}{2\mathrm{\σ}}}$

其中σ是标度因子，该系统产生由卷积给出的两个空间维度和一个标度维度L（u₂，v₂，σ）的三维表达：

L(u₂,v₂,σ):=G(u₂,v₂,σ)*F(u₂,v₂)

该系统然后存储每个像素的坐标u₂，v₂和对应于L的拉普拉斯算符Δ（L）的局部极值的标度因子σ：

$\mathrm{\ΔL}(u2,v2,\mathrm{\σ}):=\frac{{\∂}_{2}L(u2,v2,,\mathrm{\σ})}{{\∂u}_2^2}+\frac{{\∂}_{2}L(u2,v2,\mathrm{\σ})}{{\∂v}_2^2}$

步骤104于是产生包括坐标为u₂，v₂的像素的虚像的感兴趣点列表，标度因子对应于拉普拉斯算符的极值，即最大值或最小值，实际是一个方向上的最大值和另一个方向上的最小值。

在接下来的步骤105中，在存储器中生成虚像I_3V。虚像I_3V意图表达走出瞬态虚像I_2V覆盖的区域的车辆的环境顶视图。在开始时，虚拟I_3V简单地包括刚刚计算的第一瞬态虚像I_2V。根据本发明，将在车辆运动时累进地在以下步骤中构建虚像I_3V。

在车辆速度V低于阈值速度V_S的范围内并且确实在激活方法的范围内，在转换107的控制下实时执行以下步骤108到112。例如，通过取出点火钥匙来停用该方法。

探测到大于阈值速度的速度V确认了重新激活步骤100的转换106，从而使系统返回备用状态。

探测到小于或等于阈值速度的速度V确认了激活步骤108的转换107。

在每次执行步骤108时，利用摄像机10拍摄新的实像I_1R。如上文结合步骤102所述，从实像I_1R产生顶视图中地面的新虚像I_2V。

从图3中所示的步骤108开始，获得虚像I_2V确认了激活步骤110的转换109。

步骤110由确定表征新虚像I_2V的感兴趣点构成，如上文参考步骤104所述。将新的虚像I_2V与先前的虚像I_2V比较。先前的虚像I_2V是在执行步骤105时或在前次执行下文所述的步骤115时合成到虚像I_3V中的上一虚像I_2V。在先前虚像I_2V的每个感兴趣点和新虚像I_2V中与其对应的感兴趣点之间的距离低于预定阈值的程度内，新的虚像I_2V被认为相当于先前的虚像I_2V。该距离可能涉及图像平面中像素状况上的欧几里得距离。该距离还可以涉及先前虚像I_2V的感兴趣点的颜色分量和新虚像I_2V中与其对应的感兴趣点同样分量之间的程度的差异。一旦先前虚像I_2V的一个或多个感兴趣点和新虚像I_2V中与其对应的感兴趣点之间的距离大于预定阈值，就认为新的虚像I_2V与先前虚像I_2V不同。

在新图像I_2V相当于先前图像I_2V时确认的转换111激活步骤112。在车辆移动很少或未移动的范围内，虚像是等同的。然后不应该考虑新虚像，因为对上游的小小修改就会有通过累积相续误差导致偏移的风险。

在新图像I_2V不同于先前图像I_2V时确认的转换113激活步骤114。典型地，在车辆已充分前进、倒车或转向时，虚像明显不同。

步骤114由评估新虚像I_2V和先前虚像I_2V之间的差异构成，以便在先前虚像I_2V的对应感兴趣点上重叠尽可能大数量的新虚像I_2V的感兴趣点。例如，虚像中的感兴趣点沿着具有公共值的公共方向的位移表示车辆在沿相反方向平移到新虚像中感兴趣点的运动。同样，例如，虚像中的感兴趣点沿着具有不同值的不同方向的位移表示车辆在沿相反方向转动或曲线弧上运动到新虚像中感兴趣点。

为了计算导致从先前虚像I_2V通过到达新虚像I_2V的仿射变换，认为感兴趣点属于刚性的平面场景。换言之，属于重叠在先前虚像I_2V上的新虚像I_2V一部分的感兴趣点具有在先前虚像I_2V中组合的感兴趣点，两个感兴趣点位于场景的同一要素上。不过，由于噪声、未证实平面场景或其他现象假设的感兴趣点的原因，虚像的感兴趣点不能有在其他虚像中组合的对应于地面要素或同一要素的感兴趣点。这样的感兴趣点被视为非正常值，在重叠两个虚像时不考虑在内。

当在先前虚像上重叠新虚像以使感兴趣点重合之后，区分新虚像中背离先前虚像框架的第一部分和新虚像中部分覆盖先前虚像的第二部分。这种部分覆盖是因为车辆的位移。第一部分将用于扩展累积虚像I_3V的范围。第一部分的像素不对应于先前虚像I_2V的任何像素，因此将能够被合成，恰好像它们在累积虚像I_3V中那样。

新虚像I_2V的第二部分的每个像素都重叠在先前虚像I_2V的像素上，理想地，具有颜色RGB或色调和相同值亮度的分量。

不过，由于几种原因，可以从理想状况去除真实性。第一个原因是假设车辆后部构建虚像I_2V所依据的完美平面地面的假设并非总被证实。突出到地面之外或贯穿到地面中的障碍不会证实具有单一解的变换，这是因为Z零的原因。这一障碍的同一点带着与两个虚像不一致的坐标出现。反之，即使在偏离虚像中的地平面时也对应于认为在平面中的点的像素对应于另一虚像中的另一点。

为了考虑到这种不均匀性，可能的解决方案是评估在颜色、色调或亮度方面分开两个像素的距离。可以在一维灰度水平空间或三维RGB（红绿蓝）、TSB（色调、饱和度、亮度值）或其他颜色空间中测量两个重叠像素之间的距离。

第二个原因是，即使对于地平面中点的代表像素，这些像素也会导致离散化，这意味着同一个点的两个代表像素仅在两次采集视图之间车辆位移对应于整数个像素时才完美地彼此重叠，这种情况是非常少的。为了对这第二个原因做出响应并且因此对上述第一个原因做出响应，本发明有利地实现了：测量以先前虚像中像素为中心的第一窗口和以能够在第二虚像中重叠的像素为中心的第二窗口之间的相关性。那么，相关性是在其环境中像素的代表。

为了获得处理时间，由多解方式计算基于两个窗口之间的相关系数的差异，也称为锥形。具有锥形的类比对于每个虚像如下。在锥形的基部，利用其原始解定位虚像。在每个更高层次，减少图像的分辨率。通常，图像长度上将像素数量除以二，在图像宽度上将像素数量除以二。

这样在两个像素之间计算的距离为数值，其最大值和最小值是固定的。然后通过上限值的缩放和阈值化使这些最小值和这些最大值定义的值范围接近没有差异的0和总差异255之间包括的值范围。将这样计算的值用作每个像素的透明度值，考虑以马赛克形式将其加到累进虚像I_3V上。在本方法中定义它的意义上讲，像素的特征在于其在图像中的位置、其颜色及其透明度，默认值为零，将其用于不透明像素。透明度的编码纯粹是常规方式，不会影响其处理。在这里描述的本发明的范例实施方式中，透明度值为最大值255的像素是完全透明的，在将其重叠在另一像素上时不会显现，透明度值为最小值0的像素是完全不透明的，会掩蔽它重叠的像素。惯例可能是不同的，甚至是相反的，在“α混合”方法中就是这种情况。

接着步骤114，步骤115由如下操作构成：在累积虚像或马赛克I_3V的对应部分上叠加新虚像I_2V的可重叠部分。分配到新虚像I_2V的每个像素的透明度允许在其不透明程度的高度存储像素。每个像素的透明度允许由于噪声或对应于障碍将实像拍摄的两个时刻之间的像素衰减探测为不同的。于是阶段115通过仅在马赛克中累积存储来执行自然时间过滤，从它们属于地平面的角度讲，马赛克由虚像I_3V的最可靠像素构成。

于是，在车辆在前进挡中缓慢前进以准备转弯时，在车辆后部累进生成拼接型的地平面视图。该系统能够省却车辆速度或方向盘旋转的传感器，因为所产生的感兴趣点允许探测车辆在地平面中平移和转动时的位移。该系统在感兴趣点保持固定时自然地探测到车辆停止，并根据感兴趣点的位移方向探测到车辆改变位移方向。在车辆倒车时，它在相反方向上覆盖先前扫描的地平面。累积虚像I_3V中先前在车辆后部的部分逐渐通过车辆下方和两侧，直到再次在车辆前方找到为止，从而再现出围绕车辆的环境的顶视图。在倒档中时，车辆好像虚拟地并逐渐穿透到虚像中，然后在其转向或在前进挡中再次启动时在那里继续。

在步骤115之后激活步骤112，以从刚刚以拼接形式构建的累积虚像I_3V生成显示视图I_5V。不存储显示视图I_5V。通过在虚像I_3V上以叠加方式增加图像I₄生成显示视图I_5V。

图像I₄具体包括没有透明系数的新虚像I_2V的标本，以便允许车辆驾驶员直接视觉监测场景，尤其是如果在实际摄像机10的视场中有生物通过车辆后方时。

由转换111直接地，或由转换113间接地激活步骤112，通过步骤115，再次以来自倒车摄像机的视图实时更新了人机接口（MMI）的视图。这是对驾驶员能够持久视觉监测其转向的担保。

车辆过小的位移不能利用算法精确地加以近似。由于这种小位移的原因，在先前的马赛克上放置上一虚像I_2V，假设车辆未移动。另一方面，不更新马赛克，因为非常小的累积位移可能导致偏移。因此，必须要等待当前图像呈现出相对于先前图像充分大的差异，以充分精确度估计位移并正确地将上一图像与马赛克放在一起。换言之，如果车辆未运动或运动过慢，无法通过算法以充分大精确度估计其运动，用户继续拥有重新现实化的视图，其考虑了在实际摄像机的视场中通过的行人或任何运动障碍的存在，但马赛克保持不变。一旦车辆的运动可以由用户察觉，因而由算法察觉到，就更新并重置马赛克。

通过在将其安装在车辆上时在系统中以参数形式输入车辆的数据，例如其尺寸、其形状及其颜色，能够显示地平面车辆的示意图。

图像I₄任选地包括地平面之外的物体的3D合成图像，其可能构成转向的障碍。可以从彼此充分远离的两个相继实像I_1R通过时间体视法构建合成图像。

使用超声波传感器作为系统的补充允许在每个传感器覆盖的区域中表示出障碍的接近程度。传感器在车辆周边，例如在前后保险杆的水平高度上分布，能够重构出车辆周围任何障碍的接近程度的大致制图。

超声波传感器提供的信息可以由系统以不同方式使用：

-通过被动方式，以图形方式将关联到每个超声波传感器的区域重叠在地面图像的上方。因此用户同时具有车辆周围地面的视觉信息和超声波传感器返回的存在障碍的视觉信息可以使用。

-通过主动的方式，可以将从透明度推断的障碍存在与超声波传感器返回的障碍制图比较。然后可以将这种信息合并以获得更大精确度。

-以组合的主动和被动方式，在被动视觉指示的框架内，将超声波传感器提供的障碍制图的显示重叠在地面图像上。此外，超声波传感器探测到的邻近障碍的存在用于调节显示的视图，以便在该区域上重新将其定位在中心，从而实现主动自适应拉变。

置于操纵人机接口（MMI），提供了几种变体，其中提到了使用触摸屏、使用刻度盘式指示器（布置成从一组预定义选择中选择主动视图）、使用外部输入数据，例如根据超声波探测的障碍自适应地拉变。

在车辆充分倒转之后，该方法允许知道车辆下方以及车辆两侧的地平面。然后能够容易地在垂直于周围地平面的平面中再现车轮的三维合成图像。在有相关信息时，例如，相关信息来自车辆的消息发送或来自车辆绕垂直于基本虚像I_2V上的特征点位移获得的平面的轴旋转的计算，可以连带其转向角表示出前轮。

图5图解示出了用于实施刚刚解释的方法的系统。

安装在车辆后部的摄像机10包括视网膜平面，其相对于地平面倾斜，如参考图4在上面所见。视网膜平面能够向上垂直于地平面，但那么车辆附近地面的可视化区域就小了。与鸟瞰图不同，在鸟瞰图中摄像机放在飞行器下方，由于飞行器飞经地面上方的海拔高度原因，允许具有地平面的结果视图，放在车辆下方或车辆后部，具有平行于地表面的视网膜平面的摄像机将仅覆盖较为受限的空间。摄像机不平行于地平面的视网膜平面允许要覆盖的区域具有相当大扩展，进一步到达车辆后部和两侧。

将摄像机10拍摄的每幅视频图像以实时刷新率发送到模块51。布置模块51以校正由摄像机的光学系统导致的失真，尤其是在存在短焦距透镜的情况下，也称为广角透镜，其允许以可察觉方式向车辆后部和两侧具有扩展的基础视野。

将模块51处理的实像发送到模块52，模块52如上所述计算顶视图。实质上布置模块52以执行方法的步骤102和108。将要指出，特别经济的资源，简单的单次输入对应表允许将模块51和52容易地集成到摄像机10中。任选地，规定向模块56和/或模块58发送由模块51处理的实像。

布置模块56以在三维空间中构建物体，将经由显示模块54将其合成在屏幕55上显示的图像中。可以从接收于模块51的图像和分割算法或从数据库发出的几何和比色数据构建物体，几何和比色数据例如描述车辆主体或车轮的安装。

也布置模块58以在三维空间中构建物体，将经由显示模块54将其合成在屏幕55上显示的图像中。在这里可以从接收于超声波传感器57的信号，如果适用的话，从接收于模块51的图像构建物体。

将模块52产生的基本虚像发送到模块53，将模块53实质上布置成执行方法的步骤104、105、110和115，以便构建累积虚像，累积虚像将地面的可视性扩展到车轮下方和周围。

将模块52中构建的虚像发送到实质布置成执行步骤112的显示模块54。

Claims (10)

1.一种用于扩展利用车辆上安装的摄像机获得的可视区域的方法，包括：

-产生基本虚像(I_2V)的步骤(108)，其中所述基本虚像的一组像素与实像(I_1R)的一组像素相关，其中，所述实像是在考虑到所述实像的该组像素再现现实世界的平面表面时由所述摄像机拍摄的，

-表征所述基本虚像(I_2V)的步骤(110)，其中产生所述基本虚像(I_2V)的一组感兴趣点；

-构建累积虚像(I_3V)的步骤(115)，其中当使所述基本虚像(I_2V)的感兴趣点与所述累积虚像(I_3V)的感兴趣点重合时，所述基本虚像(I_2V)的至少一部分重叠在所述累积虚像(I_3V)的至少一部分上；及

针对在感兴趣点之间的距离方面与先前的基本虚像(I_2V)充分不同的每幅新基本虚像(I_2V)重复所述构建步骤(115)。

2.根据权利要求1所述的方法，其特征在于其包括区分步骤(114)，其中在所述新基本虚像(I_2V)的每个像素和所述先前的基本虚像(I_2V)的对应像素之间在颜色分量方面进行差异区分，并且其中将作为所述差异的函数的透明度归因于所述新基本虚像(I_2V)的所述像素。

3.根据前述权利要求之一所述的方法，其特征在于在所述产生步骤(108)中，由对应表将所述基本虚像的该组像素与所述实像的该组像素相关。

4.根据权利要求1或2所述的方法，其特征在于其包括显示步骤(112)，其中作为所述产生步骤(108)产生的结果的所述基本虚像实时重叠在所述累积虚像(I_3V)上，以产生瞬时显示图像(I_5V)。

5.根据权利要求4所述的方法，其特征在于在所述显示步骤(112)中，在所述累积虚像(I_3V)上叠加合成图像。

6.根据权利要求5所述的方法，其特征在于所述合成图像是车轮的图像。

7.根据权利要求4所述的方法，其特征在于针对在感兴趣点之间的距离方面与先前的基本虚像(I_2V)相当的每幅新基本虚像(I_2V)，在表征所述基本虚像(I_2V)的步骤(110)之后直接激活所述显示步骤(112)。

8.根据权利要求1或2所述的方法，其特征在于所述平面表面是所述地面的表面。

9.根据权利要求1或2所述的方法，其特征在于所使用的摄像机包括相对于现实世界的所述平面表面倾斜的视网膜平面。

10.一种包括车辆上安装的摄像机的设备，其特征在于其布置成实施根据前述权利要求的任一项所述的方法。