CN102729911B - 车辆环景显示系统 - Google Patents

Abstract

本发明涉及车辆环景显示系统，包括：设置在车辆不同位置处的多个图像传感器，这些图像传感器生成覆盖车辆的全部周围景物的车辆周围景物图像数据；处理该多个图像传感器的图像数据的图像处理单元，图像处理单元配置成，基于不同图像传感器的图像数据生成车辆的环景视像，其中，用于生成环景视像的图像处理单元将图像数据逆向地投影到包围该车辆的碗状物上，该碗状物具有基本成矩形的平坦底部，该碗状物在底部上方以水平切面延续，该碗状物的顶部切面在形状上基本成椭圆形；显示由图像处理单元生成的环景视像的显示器；改变显示所生成的环景视像所采用的观察位置和角度的操纵器。

Description

车辆环景显示系统

技术领域

本发明涉及车辆环景显示系统(vehicle surround view system)，并涉及用于生成车辆环景视像(surround view)的方法。

背景技术

近几年来，在车辆中图像传感器的应用大量增长。通常这些摄像机用在驾驶员辅助系统中，其中，图像传感器跟踪车辆的环境、识别物体，并警告驾驶员有可能发生危险的驾驶状况，或者甚至可能通过激励刹车等来主动控制驾驶。而且，图像传感器被用作后视摄像机，帮助驾驶员停车。更先进的系统在车辆中使用了若干图像传感器，以生成车辆周围景物(surrounding)的不同视像。此外，使用了超声波传感器，帮助确定与物体相距的距离，这些传感器主要设置在车辆的后部，以在停放车辆的情况中提供辅助。但是，这些超声波传感器在下雪的情况下可能提供错误的结果。而且，许多事故由于盲点的问题而发生，即，在驾驶员意图变换车道，但没有看到位于侧视镜盲区中的另一辆车的状况下。

此外，已观察到，由于车辆后部的图像传感器提供的视像暗示驾驶员具有比现实中更多的空间，导致装备有后视系统的车辆造成多起近距离的事故。

发明内容

据此，存在对提供覆盖车辆的全部周围景物(surrounding)的车辆环景视像(surround view)的需求，其向使用者提供了对该周围景物视像的真实印象。

通过独立权利要求中的特征满足了这种需求。在从属权利要求中，描述了本发明的优选实施例。

依据本发明的第一方面，提供了一种车辆环景显示系统，其包括在车辆的不同位置处设置的多个图像传感器，这些图像传感器生成，覆盖了该车辆的全部周围景物的车辆周围景物图像数据。而且，提供了图像处理单元，其处理多个图像传感器的图像数据，该图像处理单元配置成，基于不同图像传感器的图像数据，生成车辆的环景视像。该图像处理单元将图像数据逆向地投影在包围该车辆的碗状物上。该碗状物具有基本成矩形形状的平坦底部，该碗状物在底部上方以水平切面的方式延续，并且该碗状物的顶部切面在形状上基本成椭圆。而且，提供了显示器，以显示通过图像处理单元生成的环景视像。而且，提供了操纵器，其改变显示所生成的环景视像时采用的观察位置和角度。该环景视像帮助驾驶员获得该车辆周围景物的总视像。使用该操纵器，驾驶员或任意其它使用者可自由选择显示该车辆周围景物所采用的观察位置和角度。位于附近的任何障碍物都可很容易地被检测到。该环景视像可尤其在辅助驾驶员停放车辆时被使用。而且，该车辆环景显示系统可有助于避开在盲点中的障碍物。碗状物的特殊形式有助于生成逼真的环景视像。驾驶员无需回头就可获得该车辆周围景物的总体视像。

一种可能的图像传感器的实现是鱼眼摄像机(fish-eye camera)，其具有大于170度，优选为175度或更大的水平开度角。优选地，使用位于车辆的四个侧表面上的四个鱼眼摄像机，一个摄像机在该车辆的左侧、另一个在右侧、第三个摄像机在车辆的后部，且第四个摄像机在该车辆前部。图像处理单元合并由不同的摄像机生成的图像数据，并且生成覆盖了车辆的全部周围景物的环景视像。对于全部周围景物，应理解为，这些摄像机不能检测在车辆正上方或车辆正下方的空间，但是这些图像传感器覆盖了车辆的全部的侧面周围景物。

基本为矩形形状的碗状物的平坦底部可被成形为，使得该矩形形状的长边与短边之比是与车辆长度与车辆宽度之比成正比的。当该长边与该短边之比是与车辆长度与车辆宽度之比成正比时，可获得对该图像数据的逼真表达。在这种背景下，进一步有可能的是，基本为椭圆形状的长轴与短轴之比也是与车辆长度与车辆宽度之比成正比的。

优选地，这种碗状物的形状从该碗状物的顶部到底部由椭圆形切面逐渐变成矩形切面，该矩形形状具有弧形的拐角。该弧形拐角可被设计成，使得该矩形切面的拐角被替换成椭圆形。

依据另一个实施例，椭圆形的切面的切口从该碗状物的底部到顶部线性增大。因此，当从该碗状物的顶部向该碗状物的底部移动时，这些切面中成椭圆形形状的部分线性增加，同时这些切面中成矩形形状的部分减少相同的量。该碗状物的底部被定义成平坦并接触地面的碗状物部分。

至于碗状物的垂直截面，该垂直截面也可具有椭圆形状，除底部以外，这是由于底部是平坦的。优选地，至于涉及该碗状物的垂直截面，该垂直截面可在该碗状物底部上成直线，继之以椭圆形形状的垂直截面。在该直线与椭圆形垂直截面的连接处的导数应该相等，以便在该直线和椭圆形垂直截面之间的连接点处获得平滑连接。导数也可在该点处均具有零值。

在一个实施例中，该碗状物被成形为，使得在碗状物接触碗状物底部情况下的切面中，具有椭圆形状的线段与所述切面总长度之比在0.6至0.8之间，优选地在0.65至0.75之间，并且更优选地为大概0.7。在地面本身上，该碗状物的底部，该比率可在此被线性减少，使得具有椭圆形状的线段与该切面的总长度减少到大约1％。该弯曲的矩形可已经具有比车辆体积稍小的表面。

该碗状物的形状可被改变，例如，图像处理单元可改变该碗状物底部的尺寸，并且对该底部的这种改变，可利用由车辆环景显示系统的使用者操作环景显示系统中的操纵器来实现。

尤其在泊车的应用中，增大该碗状物底部的尺寸可能是有益的。在泊车的情况下，在正确的位置处几乎无失真地显示位于地面上的所有物体可能是有帮助的。当物体位于地面上，且该碗状物具有平坦底部时，可对这些物体正确地进行可视化。因此，对于位于地面上的物体可获得良好的视觉感。

该车辆环景显示系统可进一步包括接口，经由该接口可接收位于该车辆周围景物中的物体的距离信息。然后图像处理单元可使用所接收的信息，校正在该车辆环景视像中示出的物体位置。例如，该车辆环景显示系统可从3D传感器(诸如PMD传感器，其提供了位于该PMD传感器的图像平面中的这些物体的距离信息)中接收距离信息。然后该图像处理单元可将该物体正确地放置在该环景视像图像数据中。

在另一个实施例中，图像处理单元可确定在环景视像中所示出的物体的距离，而无需由其它传感器提供该距离信息。例如，当该车辆正在移动时，在环景视像中示出的物体的距离，可基于在该车辆的环景视像中该物体的移动来确定。当该车辆正在移动时，环景视像和物体也在移动中，这生成物体的光流。物体距该车辆的距离越大，在环景视像中该移动的物体的速率越小。基于正在移动的物体的速率，可通过例如将该物体速率与包含预定义物体速率集合和该物体相应距离的表格进行对比，估计出距离。

本发明进一步涉及用于生成环景视像的方法，其中，如以上所提及的那样处理多个传感器的图像数据，并向使用者显示，然后使用者可改变依据使用者的输入显示所生成的环景视像所采用的观察位置和角度。用户可因此无需转头就能具有全部的车辆周围景物的总体视图。

附图说明

参考附图进一步详细地描述本发明，其中，

图1示出了被结合到车辆中的车辆环景显示系统的示意性视像；

图2示出了具有四个摄像机的车辆，以及与包围该车辆的碗状物的关系的示意性视像；

图3示出了在图2中示出的碗状物的两个不同的切面；

图4示出了通过图1中示出的系统生成的该车辆周围景物的鸟瞰图；以及

图5示出了由图1中示出的系统生成的另一个环景视像，其采用了另一个视角。

具体实施方式

在图1中示出了车辆10，在其中结合有四个鱼眼摄像机11。这些图像传感器或摄像机为鱼眼摄像机，它们以以下这样的方式对称地放置在车辆的周边上，使得它们覆盖了完整的环绕范围。例如，侧摄像机可设置在左右门镜上。前后摄像机可取决于车辆的类型，被放置在不同的位置上。该车辆环景显示系统还包括图像处理单元20，其接收由不同摄像机生成的图像数据，并且对这些图像数据进行融合，使得生成环景视像。更特定地，这些摄像机可具有鱼眼透镜，这些鱼眼透镜为广角透镜。正如已知的，这些鱼眼透镜生成失真的周围景物图像。图像处理单元合并不同图像，使得生成了可在显示器30上显示的环景视像图像。而且，可提供操纵器40，利用该操纵器40可改变观察的位置和角度。使用该环景显示系统，可生成车辆周围景物的视像，其与正处于该车辆周围景物中的某处的虚拟使用者相对应。例如，该虚拟使用者的一个可能的位置是在车辆的上方，生成鸟瞰视像，在该视像中，该车辆周围景物是从该车辆的上方所看到的。处理单元可包含第一接口21，经由第一接口21可接收来自操纵器的信号，并且利用该第一接口21，处理单元接收指示了应该从哪个观察的位置和角度生成环景视像的详细信息。该处理单元20可进一步包括第二接口22，经由第二接口22可接收来自其它传感器的信号，例如，来自测量离车辆周围景物中的物体的距离的传感器的信号，例如，PMD传感器、超声波传感器、雷达传感器，等。

结合图2，更加详细地解释了环景视像的生成。由不同摄像机11生成的图像数据被融合，并且被逆向地投影到围绕该车辆10的碗状物100上。车辆位于碗状物的底部或底层上。在所生成的环景视像中，对于所显示的环景视像，碗状物的形状是很重要的。因为车辆具有矩形的形式且并不是正方形的，碗状物的形状沿车辆的轴被拉伸成可从图2中看到的那样。碗状物包括不同横切面。这些横切面具有椭圆形状，并且长轴与短轴之比是与车辆长宽比成正比的。顶部切面可具有如图3左边部分所示出的纯椭圆形状，在图3左边部分，示意性示出了该碗状物的顶部切面110，其具有长轴a和短轴b。切面的形状由椭圆形逐渐变成在图3的右边部分所示出的弯曲的矩形(curved rectangle)，在图3的右边部分，示出了碗状物的底部，其具有最小周长。在碗状物上位于两个切面之间的点，是利用位于两个相邻切面上点的位置被插入的。这个表面可比车辆表面稍小的最小切面可被设计成，使得该最小切面的线段c和d代表了整个周长的99％，在线段c和d处的切面具有矩形形状。仅切面的边120可以是弯曲的，并且在形状上可以是椭圆形的。该碗状物的底部具有额外增大的切面，并且在最后的切面上接触底部。总长度的具有椭圆形状的部分可以在大约70％左右。以下参数A是横切面的主要参数，并被定义如下：

椭圆形部分是切面带弧度部分的长度，矩形部分是该切面的直线部分。A可以是碗状物顶部切面中的一个，这表示形状为纯椭圆形。当逐渐向下地观察这些平行的横切面时，参数A可线性减小，直至碗状物接触地面，在此情况下，A可在0.7左右，正如以上所提及的。在该地面上，该比率可进一步线性减少到约为0.01的最小值。参考图3，这表示线段e将仅构成切面120总长度的1％。正如可从以上推导出的，该具有平坦表面的碗状物的底部在表面方面比该车辆的表面大。

该碗状物的竖直切面同样提供了椭圆形状，除了在地面上是直线以外。在与该直线的连接处的椭圆形的导数是0°，并因此对应于该点处直线的导数。这使得在该椭圆侧表面和地面之间能够具有平滑的连接。这种平滑的连接有助于，针对被投影到碗状物接触地面的部分上的物体，生成良好的视觉感。

车辆周围景物中正好位于图2中示出的碗状物上的点，在由图像处理单元生成的环景视像中，被正确地形成图像。对位于该碗状物外面或里面的点的显示具有失真，然而，该碗状物的特殊形状向使用者提供了一种完美的视觉感。在该碗状物的底部上的点被投影在地面上。这具有位于地面上的所有点(例如道路标记)都将被正确地映射的效果。而且，成弯曲的矩形的碗状物的底部与同样为矩形的车辆的形式相匹配。整个碗状物具有被拉伸的球形形式。这种球形是最为自然的形式，并且当由于在车辆周围景物空间中某处的虚拟使用者变换位置而改变观察位置或角度时，可获得该车辆环景视像的平滑变化。而且，该垂直截面的椭圆形状保证了碗状物与底部的平滑接合，这再次改善了使用者的视觉感知。

在图4中，示出了作为环景视像的示例的鸟瞰图。正如可看到的，位于地面上的点被正确地定位在环景视像图像的地面上。而且，在使用期间，使用者可动态地改变投射碗的形状。这将使得驾驶员能够在需要环景视像时，对不同示例做出灵活反映。例如，可以使得该碗状物的底部更大，这表示环景视像的更多图像像素被投影到图像平面上，并且在车辆周围的底层的更大的部分将是可见的。

环景视像还可以在驾驶期间被应用，例如，在高速公路上。驾驶员可观察车道标记和相邻的物体，而无需转动头部，并且无需查看侧镜。该环景视像可因此被用于保持预定义的车道，以在超车过程中或在进入或离开高速公路时变换车道。在所有这些应用中，对相邻物体的良好的总体视像有助于避免漏看物体。

此外，可将该车辆环景显示系统与其它传感器合并。如果不执行进一步的图像处理，所显示的物体的真实距离是未知的。因此，只有真正位于碗状物上的点被正确地投影。如果到其它物体的距离是已知的，则可在用于将所显示的物体映射在碗状物上的映射功能中执行校正，并且视觉感知将可得到改善。作为测量离物体的距离的传感器，雷达传感器、PMD传感器或超声波传感器可被使用。

当车辆正在移动，且同时显示环景视像时，生成光流(optical flow)。该光流可被用于估计与物体的距离。因此，在该实施例中，可以仅使用由图像处理单元生成的环景视像来确定物体距离或物体位置，而无需额外的传感器。在车辆正在移动的情况下对距离的确定，可进一步改善所显示的环景视像。

Claims (16)

1.一种车辆环景显示系统，包括：

多个图像传感器(11)，设置在该车辆(10)的不同位置处，所述图像传感器(11)生成所述车辆周围景物的图像数据，其覆盖所述车辆的全部周围景物；

图像处理单元(20)，其处理所述多个图像传感器(11)的所述图像数据，所述图像处理单元(20)配置成，基于所述不同图像传感器(11)的所述图像数据，生成所述车辆的环景视像，其中，用于生成所述环景视像的所述图像处理单元(20)将所述图像数据逆向地投影在包围所述车辆的碗状物(100)上，所述碗状物具有基本成矩形形状的平坦底部，所述碗状物在所述底部上方以水平切面延续；所述碗状物的顶部切面在形状上基本成椭圆形；

显示器，显示由所述图像处理单元生成的所述环景视像；

操纵器(40)，改变观察位置和角度，所生成的所述环景视像以该观察位置和角度被显示，

其中，所述碗状物(100)的形状从所述碗状物的顶部到底部由所述椭圆形切面逐渐变为具有弧形拐角的矩形切面。

2.如权利要求1所述的车辆环景显示系统，其中，所述矩形形状的长边与短边之比，是与所述车辆的长度与所述车辆的宽度之比成正比的。

3.如权利要求1或2所述的车辆环景显示系统，其中，所述基本成椭圆形状的长轴与短轴之比，是与所述车辆的长度与所述车辆的宽度之比成正比的。

4.如权利要求1所述的车辆环景显示系统，其中，所述碗状物(100)的形状从所述顶部到所述底部由椭圆形状切面逐渐变为矩形切面，该矩形切面的拐角被替换成椭圆形状。

5.如权利要求1所述的车辆环景显示系统，其中，具有椭圆形状的所述切面的截口从所述碗状物(100)的底部到顶部线性增加。

6.如权利要求1所述的车辆环景显示系统，其中，除所述底部以外，所述碗状物的垂直截面在形状上为椭圆形。

7.如权利要求6所述的车辆环景显示系统，其中，所述碗状物(100)的所述垂直截面包括，在所述碗状物的底部上的直线，继之以成椭圆形的垂直截面，在该直线与所述成椭圆形的垂直截面的连接点处的倾斜度，在80°至100°之间。

8.如权利要求7所述的车辆环景显示系统，其中，所述直线与所述成椭圆形的垂直截面的连接点处的倾斜度在90°左右。

9.如权利要求1所述的车辆环景显示系统，其中，在所述碗状物接触该碗状物的底部的切面中，具有椭圆形状的线段与所述切面的总长度之比在0.6至0.8之间。

10.如权利要求9所述的车辆环景显示系统，其中，具有椭圆形状的线段与所述切面的总长度之比在0.65至0.75之间。

11.如权利要求9所述的车辆环景显示系统，其中，具有椭圆形状的线段与所述切面的总长度之比为0.7。

12.如权利要求1所述的车辆环景显示系统，其中，所述图像处理单元(20)配置成改变所述碗状物的底部的尺寸。

13.如权利要求1所述的车辆环景显示系统，进一步包括接口(22)，经由该接口(22)，接收位于所述车辆周围景物中的物体的距离信息，所述图像处理器单元(20)使用所接收的所述距离信息，校正在所述车辆的所述环景视像中示出的物体的位置。

14.如权利要求1所述的车辆环景显示系统，其中，所述图像处理单元(20)配置成，当所述车辆正在移动时，基于在所述车辆的所述环景视像中物体的移动，确定在所述车辆的所述环景视像中示出的所述物体相对于该车辆的距离。

15.如权利要求1所述的车辆环景显示系统，其中，所述图像传感器(11)为具有大于170°水平开度角的鱼眼摄像机。

16.一种使用设置在车辆的不同位置处的多个图像传感器，生成该车辆的环景视像的方法，所述图像传感器生成覆盖所述车辆的全部周围景物的车辆周围景物图像数据，该方法的步骤包括

处理所述多个图像传感器的图像数据，以基于不同图像传感器的图像数据，生成所述车辆的环景视像，其中，所述图像数据被逆向地投影到包围所述车辆的碗状物上，所述碗状物具有基本成矩形形状的平坦底部，所述碗状物在所述底部上方以水平切面延续，所述碗状物的顶部切面在形状上基本成椭圆形；

显示由所述图像处理单元生成的所述环景视像；

改变观察位置和角度，所生成的所述环景视像是依据使用者的输入采用该观察位置和角度显示的，

其中，所述碗状物的形状从所述碗状物的顶部到底部由所述椭圆形切面逐渐变为具有弧形拐角的矩形切面。