CN107438538B - 用于显示车辆的车辆周围环境的方法 - Google Patents

Abstract

本发明涉及一种用于显示车辆(1)的车辆周围环境的方法，其包括：借助多个摄像机(3a，3b，3c，3d)检测摄像机图像中的车辆周围环境；将所述摄像机图像投影到虚拟空间中的几何投影面；为虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点至虚拟空间中的虚拟摄像机的距离；计算所述虚拟摄像机的图像(10)，所述图像描绘所述虚拟空间中的几何投影面；基于所述深度地图求取所述虚拟摄像机的图像的确定的区域，在所述确定的区域中，所述几何投影面处于相对于所述虚拟摄像机的确定的距离范围中；在描绘所述确定的区域(12)的区域中对所述虚拟摄像机的图像(10)进行模糊处理。

Description

用于显示车辆的车辆周围环境的方法

技术领域

本发明涉及一种用于显示车辆的车辆周围环境的方法。

背景技术

驾驶辅助系统的目的在于：在引导车辆时支持驾驶员。对驾驶员的这种支持例如可以通过以下功能进行：

-显示车辆的近距离中的周围环境，以便避免与不在驾驶员的直接视野中的障碍物的碰撞，

-接管驾驶员的任务，以便提高驾驶员的驾驶舒适性，

-监控驾驶员的活动并且在危险情况下进行干预，和/或

-在驾驶员的不必须在场的情况下自动化行驶。

本发明尤其涉及一种用于借助合成的视图显示车辆周围环境的方法，如这尤其在所谓的环绕视图系统(Surround-View-System)中进行的那样。在这种环绕视图系统中，多个摄像机典型地如此布置在车辆上，使得进行车辆周围环境的360°审视。在此，典型地将布置在车辆上的摄像机、典型地四个摄像机的摄像机图像投影到典型地具有密码(Schlüssel)形式的几何投影面上。这借助基于内在的和外在的摄像机校准的像点分配(Bildpunktzuweisung)(Image-Mapping)进行。

DE102011121473A1公开了一种用于通过借助机动车的摄像机检测机动车的周围环境区域的摄像机图像来将图像显示在机动车的显示装置上的方法。

US2014/0139676A1公开了一种用于车辆的可视系统(Sichtsystem)，该可视系统包括至少一个图像传感器、控制装置和显示装置。

发明内容

根据本发明的用于显示车辆的车辆周围环境的方法包括：借助多个摄像机检测摄像机图像中的车辆周围环境；将摄像机图像投影到虚拟空间中的几何投影面；为虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点相对于虚拟空间中的虚拟摄像机的距离；计算虚拟摄像机的图像，所述图像描绘所述虚拟空间中的几何投影面；基于深度地图求取虚拟摄像机的图像的确定的区域，在所述确定的区域中，几何投影面处于相对于虚拟摄像机的确定的距离范围中，并且在描绘确定的区域的区域中对虚拟摄像机的图像进行模糊处理(Weichzeichnen)。

以这种方式在观察计算出的图像时引导驾驶员的视线。尤其也对虚拟摄像机的图像与通过虚拟摄像机描绘的车辆周围环境——所述车辆周围环境处于几何投影面的确定的区域中——之间的意外的(unbeabsichtigt)差异进行模糊处理并且因此隐藏。这种意外的差异有时由以下情况得出：虚拟空间中的几何投影面以其形式不准确重现车辆周围环境。

优选实施方式示出本发明的优选扩展方案。

有利的是，基于车辆周围环境对几何投影面进行建模。因此，使虚拟摄像机的图像与通过虚拟摄像机描绘的车辆周围环境之间的意外的差异最小化。

也有利的是，确定的距离范围是在相对于虚拟摄像机的最小距离外延伸的范围。因此实现深度效果，并且虚拟摄像机的图像显得特别生动形象。

还有利的是，在虚拟空间中布置有车辆的虚拟模型，并且如此创建深度地图，使得在虚拟空间中布置有车辆的虚拟模型，并且如此创建深度地图，使得所述深度地图对于虚拟摄像机的图像的区域——在所述区域中检测车辆1的虚拟模型14——描述车辆1的虚拟模型14的在所述深度地图中描绘的点相对于虚拟摄像机的距离。车辆的虚拟模型向用户给定在虚拟摄像机的图像中的参考点。通过在创建深度地图时考虑车辆的虚拟模型，所述虚拟模型适应虚拟摄像机的图像并且因此不被察觉为车辆周围环境中的异物。

也有利的是，该方法包括使虚拟摄像机对准虚拟空间中的确定的感兴趣的点。以这种方式，使用户的注意力集中在确定的点上。

此外，有利的是，确定的感兴趣的点是如下点：在所述点处，车辆接近对象。因此，向用户指出该接近并且可以防止碰撞。

设置用于实施根据本发明的方法的设备同样是有利的并且具有根据本发明的方法的优点。

附图说明

以下参考附图详细描述本发明的实施例。在附图中，

图1示出第一实施方式中的根据本发明的方法的流程图；

图2示出具有用于实施第一实施方式中的方法的设备的车辆；

图3示出虚拟摄像机的图像，其中，未对摄像机图像的预确定的区域进行模糊处理；

图4示出虚拟摄像机的图像，所述虚拟摄像机的图像借助第一实施方式中的根据本发明的方法已产生；

图5示出虚拟摄像机的图像，所述虚拟摄像机的图像借助第二实施方式中的根据本发明的方法已产生。

具体实施方式

图1示出第一实施方式中的用于显示车辆1的车辆周围环境的根据本发明的方法的流程图。通过用于显示车辆1的车辆周围环境的设备2来实施该方法。车辆1在图2中示例性示出。

第一摄像机3a、第二摄像机3b、第三摄像机3c和第四摄像机3d布置在车辆1上。摄像机3a、3b、3c、3d中的每个分别配备有鱼眼镜头，以便分别检测车辆1的车辆周围环境的尽可能大的片断(Ausschnitt)。第一摄像机3a布置在车辆的右侧外后视镜处。在此，第一摄像机3a的光学轴沿着车辆1的横轴远离(wegrichten)车辆1。第二摄像机3b布置在车辆1的车辆前部。在此，第二摄像机3b的光学轴沿着车辆1的纵轴远离车辆。第三摄像机3c布置在车辆1的左侧外后视镜处。在此，第三摄像机3c的光学轴沿着车辆1的横轴远离车辆。第四摄像机3d布置在车辆1的车辆的后部处。在此，第四摄像机3d的光学轴沿着车辆1的纵轴远离车辆1。摄像机3a、3b、3c、3d中的每个分别通过信号线路与用于显示车辆1的车辆周围环境的设备2耦合。在此，用于显示车辆1的车辆周围环境的设备2是数字计算单元。

只要用于显示车辆1的车辆周围环境的设备2运行，则开始根据本发明的方法。在开始该方法之后实施步骤S1。

在第一步骤S1中，借助摄像机3a、3b、3c、3d在摄像机图像中检测车辆1的车辆周围环境。在此，由摄像机3a、3b、3c、3d中的每个检测图像并且将该图像传输给设备2。相邻布置在车辆1上的摄像机3a、3b、3c、3d的摄像机图像彼此重叠并且因此在一个片断中描绘车辆周围环境的相同区域。

在第一步骤S1之后实施第二步骤S2。

在第二步骤S2中，将摄像机图像投影到虚拟空间中的几何投影面上。在此，虚拟空间是通过设备2计算地产生的数学空间。虚拟空间是围绕车辆1的实际空间的数学表示。车辆1的虚拟模型14布置在虚拟空间中。几何投影面在虚拟空间中包围车辆1的虚拟模型14。

基于车辆周围环境对几何投影面进行建模。为此，借助车辆传感装置对车辆周围环境进行扫描。车辆传感装置是用于车辆1的周围环境检测的例如基于超声传感器、立体摄像机或激光雷达系统的系统。检测如下距离值：所述距离值描述布置在车辆周围环境中的对象相对于车辆1的距离。将所述距离值传递到虚拟空间中并且相应于距离值来匹配几何投影面相对于车辆1的虚拟模型14的距离。

在将摄像机图像投影到几何投影面上时，将摄像机3a、3b、3c、3d的摄像机图像作为纹理(Textur)布置到几何投影面上。在此，如此矫正摄像机图像，使得在摄像机图像中显示的在车辆周围环境中的实际的对象出现在几何投影面的如下位置处：所述位置相对于车辆1的虚拟模型14的态势(Lage)相应于实际的对象相对于车辆1的态势。

在第二步骤S2之后实施第三步骤S3。

在第三步骤S3中，计算虚拟摄像机的图像10，该图像描绘虚拟空间中的几何投影面。

为此，首先确定虚拟空间中的虚拟摄像机的位置和定向。在此，虚拟摄像机的位置例如是在车辆1的模型14的右后方。因此，摄像机布置在虚拟空间中的车辆1的模型14的后部的区域中。虚拟摄像机的定向示例性地选择沿着车辆1的模型14的右侧在车辆1的模型14的前部的方向上。

虚拟摄像机10的图像由像点的矩阵构成。基于虚拟摄像机的位置和定向，对于每个像点推算：在像点中显示几何投影面的哪个部分或点。相应于布置在投影面的相应的部分或点上的纹理选择虚拟摄像机的图像的像点的颜色值和/或亮度值。

图3示出虚拟摄像机的图像，其中，还未进行模糊处理。在虚拟摄像机的图像10的左边区域中布置有车辆1的虚拟模型14。在车辆1的虚拟模型14周围的区域中，可以看见具有其上存储为纹理的摄像机图像的几何投影面。在虚拟摄像机的图像10的处于车辆1的虚拟模型14的前面右边的区域11中，在虚拟摄像机的图像与通过虚拟摄像机描绘的车辆周围环境之间存在意外的差异。显而易见的是，单个的车辆15两次显示。

单个的车辆15两次显示，因为一方面在第一摄像机3a的摄像机图像中并且另一方面在第二摄像机3b的摄像机图像中描绘该车辆。在将摄像机图像投影到几何投影面上时，单个的车辆15未布置在几何投影面的同一点处，因为几何投影面的形式不完全相应于车辆周围环境中的形式。

在第三步骤S3之后，实施第四步骤S4。

在第四步骤S4中，对于虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点相对于虚拟空间中的虚拟摄像机的距离。虚拟摄像机的可视区域相应于在虚拟摄像机的图像中显示的区域。

对于虚拟摄像机的图像10的每个像点计算：在几何投影面的在所述像点中描绘的点相对于虚拟摄像机的位置具有什么样的距离。在深度地图中将该距离存储为距离值。在该实施方式中，深度地图即同样具有多个距离值，如虚拟摄像机的图像10具有像点那样。深度地图的每个距离值分配有虚拟摄像机的图像10的像点。

在此，如此创建深度地图，使得深度地图对于虚拟摄像机的图像的区域——在所述区域中检测车辆1的虚拟模型14——描述车辆1的虚拟模型14的在所述区域中描绘的点相对于虚拟空间中的虚拟摄像机的距离。因此，当对于所属的像点的几何投影面由车辆的虚拟模型14遮挡时，将描述与车辆1的虚拟模型14之间的距离的距离值记录(eintragen)到深度地图中。

在第四步骤S4之后实施第五步骤S5。

在第五步骤S5中，基于深度地图求取虚拟摄像机的图像的确定的区域12，在所述确定的区域中，几何投影面处于相对于虚拟摄像机的确定的距离范围中。

在第一实施方式中，确定的距离范围是在相对于虚拟摄像机的最小距离外延伸的范围。最小距离是在虚拟空间中的距离。在此，最小距离通过阈值限定。将深度地图的距离值中的每个与阈值进行比较。如果距离值高于阈值，则虚拟摄像机的图像10的属于该距离值的像点属于确定的区域12。如果距离值低于阈值或等于阈值，则虚拟摄像机的属于该距离值的像点不属于确定的区域12。

在第五步骤S5之后实施第六步骤S6。

在第六步骤S6中，在如下区域中对虚拟摄像机的图像进行模糊处理：在所述区域中描绘确定的区域12。为此，在虚拟摄像机的图像10的确定区域12上例如应用高斯模糊处理或能够进行模糊处理的任意其他图形滤波器。

图4示出虚拟摄像机的图像10，该图像已根据本发明的第一实施方式产生。在虚拟摄像机的图像的左侧区域中布置有车辆1的虚拟模型14。在围绕车辆1的虚拟模型14的区域中，可见具有在其上存储为纹理的摄像机图像的几何投影面。在虚拟摄像机的图像10的上部区域中，描绘确定的区域12，该确定的区域被模糊处理并且描绘真实世界的处于车辆1前面的区域。几何投影面在该确定的区域中具有根据深度地图大于阈值的相对于虚拟摄像机的距离。在此可见的是，也已对区域11进行模糊处理，在该区域中存在意外的差异。

在实施第六步骤S6之后，方法返回第一步骤S1。因此，在循环中实施该方法。当设备2不运行时，结束该方法。

因此，根据本发明，根据虚拟摄像机的位置产生深度地图。此外，产生车辆周围环境的部分经模糊处理的画面。在此，可以相应于实际摄像机的聚焦区域来匹配图像深度。可以动态地匹配该效果，以便对人类眼睛的特性进行仿真。这尤其可以通过如下方式进行：改变在第五步骤S5中使用的阈值。

本发明的第二实施方式相应于本发明的第一实施方式。然而，在此，根据本发明的方法附加地包括另一步骤，在所述另一步骤中，使虚拟摄像机对准虚拟空间中的确定的感兴趣的点。在此，确定的感兴趣的点是如下点：在所述点处车辆接近对象。

为此，借助车辆1的距离传感装置求取：车辆1是否接近对象。感兴趣的点在此是车辆周围环境的区域的中心，在所述中心中，车辆1接近对象。虚拟摄像机的位置如此选择，使得虚拟摄像机在虚拟空间中直接处于感兴趣的点16上方，并且虚拟摄像机的定向如此选择，使得虚拟摄像机俯视感兴趣的点16。

图5示出虚拟摄像机的图像10，该图像已根据本发明的第二实施方式计算。在虚拟摄像机的图5中示出的图像中，可见车辆1的虚拟模型14的后部。在处于车辆1的虚拟模型14右后方的聚焦区域13中，车辆1接近对象。将感兴趣的点置于所述聚焦区域13的中心。

在虚拟摄像机的所选择的位置和定向的情况下，在该区域中平的且相应于行车道表面布置的几何投影面相对于虚拟摄像机的距离随着相对于感兴趣的点16的距离增大而增大。在此，第一实施方式的阈值在第二实施方式中如此选择，使得几何投影面的处于聚焦区域13中的这种点分别具有相对于虚拟摄像机的处于阈值以下的距离。因此，聚焦区域13相应于处于根据本发明的确定的区域12外的区域。

因此，对不处于聚焦区域13中的虚拟摄像机的图像10的区域进行模糊处理。因此，仅仅清晰地显示虚拟摄像机的图像中的聚焦区域13。因此，使驾驶员的注意力转向到该区域。

应当指出的是，可以在根据本发明的方法中由模糊处理排除几何投影面的预定义的区域。

除了上述书面公开之外，还明确地指出图1至5的公开。

Claims (7)

1.一种用于显示车辆(1)的车辆周围环境的方法，该方法包括：

借助多个摄像机(3a，3b，3c，3d)在摄像机图像中检测所述车辆周围环境；

将所述摄像机图像投影到虚拟空间中的几何投影面上；

对于虚拟摄像机的可视区域创建深度地图，所述深度地图描述几何投影面的多个点相对于所述虚拟空间中的虚拟摄像机的距离；

计算所述虚拟摄像机的图像(10)，所述图像描绘所述虚拟空间中的几何投影面；

基于所述深度地图求取所述虚拟摄像机的图像的确定的区域，在所述确定的区域中，所述几何投影面处于相对于所述虚拟摄像机的确定的距离范围中；

在如下区域中对所述虚拟摄像机的图像(10)进行模糊处理：在所述区域中描绘所述确定的区域(12)。

2.根据权利要求1所述的方法，其特征在于，基于所述车辆周围环境对所述几何投影面进行建模。

3.根据权利要求1或2所述的方法，其特征在于，所述确定的距离范围是在相对所述虚拟摄像机的最小距离外延伸的范围。

4.根据权利要求1或2所述的方法，其特征在于，

在所述虚拟空间中布置有所述车辆(1)的虚拟模型(14)；

如此创建所述深度地图，使得对于所述虚拟摄像机的图像的、检测到所述车辆(1)的虚拟模型(14)的那些区域来说，所述深度地图描述所述车辆(1)的虚拟模型(14)的在所述图像的这些区域中描绘的点相对于所述虚拟摄像机的距离。

5.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

使所述虚拟摄像机对准所述虚拟空间中的确定的感兴趣的点。

6.根据权利要求5所述的方法，其特征在于，所述确定的感兴趣的点是如下点：在所述点处，所述车辆(1)接近对象。

7.一种设备(2)，所述设备设置用于实施根据上述权利要求中任一项所述的方法。

Images