CN102473239B - 用于监控车辆的周围环境的方法 - Google Patents

Abstract

本发明涉及一种用于监控车辆(F)的周围环境(U)的方法，其中借助于至少第一图像探测单元(1)和第二图像探测单元(2)探测周围环境(U)和存在于周围环境中的对象(O1、O2)，第一图像探测单元的和第二图像探测单元的探测范围至少部分地重叠且形成重叠区域，其中从借助于图像探测单元(1、2)探测到的单个图像利用图像处理单元产生一整体图像(G)，整体图像(G)以鸟瞰图的形式示出车辆(F)和车辆周围环境(U)。在此，依据对象(O1、O2)在整体图像(G)中在第一单个图像区域(EB1)与第二单个图像区域(EB2)之间被确定的位置，将至少一个从起始点朝向整体图像(G)的图像边缘处延伸的分界线(L1至L3)的延伸走向给定成，使得分界线(L1至L3)以离开对象(O1、O2)的方式延伸。

Description

用于监控车辆的周围环境的方法

技术领域

本发明涉及一种用于监控车辆的周围环境的方法，其中借助于至少第一图像探测单元和第二图像探测单元来探测周围环境和存在于周围环境中的对象，第一图像探测单元的和第二图像探测单元的探测范围至少部分地重叠并且形成重叠区域，其中从借助于图像探测单元探测到的单个图像利用图像处理单元形成一整体图像，该整体图像以鸟瞰图的形式示出车辆和车辆的周围环境。

背景技术

用于运输货物或人员的车辆通常具有车辆尺寸大和/视野(Uebersichtlichkeit)窄的特征。由此得出，尤其对于驾驶员来说调度/驾驶这种车辆是非常困难的。因此，有利的是在一屏幕上以鸟瞰图的形式显示出车辆和车辆的周围环境、尤其是车辆后方的或旁边的环境，从而驾驶员可以看到车辆和车辆的整个周围环境。

由现有技术已知了用于如此监控和显示车辆的周围环境的不同的方法和装置，其中尤其以鸟瞰图的形式向车辆的驾驶员发送车辆和车辆周围环境的图像。由此为驾驶员提供了更好的全视野/环绕视野(Rundumsicht)，该全视野对于驾驶员来说在行驶操纵期间、例如在调度车辆时使用作为辅助功能和帮助。此外，可以避免通常由于差的全视野——尤其是在大的和(视野)难于一目了然的车辆中——而引起的事故。在此，通常以鸟瞰图的形式从多个相互邻接的或重叠的图像摄取确定出一显示车辆和车辆周围环境的整体图像。

从WO 2008/150153A1已知了一种用于形成道路边缘的全景或全视野的方法。在此，利用激光扫描仪抽样式地探测出激光扫描数据，其中激光扫描仪布置在车辆上并且每次抽样都包括位置数据和位置确定数据。此外，借助于也布置在车辆上的摄像机探测出至少一个图像序列，其中图像序列的每个图像也包括位置数据和位置确定数据。从激光扫描数据确定出一表面，其中依据包括在该激光扫描数据中的位置数据和位置测定数据确定出所述表面的位置。对于所述表面，从至少一个图像序列依据该图像序列的位置以及依据包括在该每一个图像中的位置数据和位置确定数据确定出全景或全视野。

此外，US 2006/0192660A1公开了一种用于示出车辆的周围环境的装置。该装置包括第一探测单元，该第一探测单元布置在车辆的一侧上并且设计用于探测第一图像。此外，设置有用于探测第二图像的第二探测单元，其中该第二探测单元相对于第一探测单元在该第一检测单元之前被布置。此外，为了示出被探测出的图像和示出车辆的周围环境，设置有一示出单元。借助于一图像处理单元在由第一图像和第二图像形成的整体图像中将第一、第二图像之间的分界线定义成，使得该分界线是一直线，该直线将第一摄像机的位置和第二摄像机的位置彼此连接。

发明内容

本发明的目的在于，给出一种相对于现有技术被改进的、用于监控车辆的周围环境的方法。

根据本发明，该目的通过一具有权利要求1所述的特征的方法而实现。

从属权利要求的主题是本发明的有利的设计方案。

在该用于监控车辆的周围环境的方法中，借助于至少第一图像探测单元和第二图像探测单元探测周围环境和存在于周围环境中的对象，该第一图像探测单元的和第二图像探测单元的探测范围至少部分地重叠并且形成重叠区域，其中从借助于图像探测单元探测到的单个图像利用一图像处理单元形成一整体图像，所述整体图像以鸟瞰图的形式示出车辆和车辆的周围环境。

为了尤其甚至在车辆长度大的车辆中将位于重叠区域中的对象、例如高于基面的对象——如人、障碍或其他物体可靠、完整以及以其真实的形状示出在整体图像上，根据本发明，依据对象在整体图像中在第一单个图像区域和第二单个图像区域之间被确定的位置，将从起始点延伸至整体图像的图像边缘处的分界线的延伸走向可变地给定成，使得该分界线以离开对象的方式延伸。

在此，特别有利地，当相互邻接的单个图像区域以鸟瞰图的形式组成整体图像时，在图像探测单元的重叠区域中出现的不连续性——尤其是可导致对象的中断和不完全地显示的变形和/或跳跃不连续性——没有对对象在整体图像中的显示产生负面影响。尤其避免了对象在整体图像上的不完全和不连续的显示，因为由于可变地给定了具有这种不接触对象的延伸走向的分界线，从而实现了对象在整体图像上的光学上地优化显示、即完全和连续地显示。

附图说明

下面根据附图更详细阐明本发明的实施例。

在此示出：

图1示意性示出根据现有技术的整体图像的局部，该整体图像以一鸟瞰图的形式示出车辆、车辆的周围环境和对象；

图2示意性示出整体图像的局部，该整体图像具有在第一单个图像区域与第二单个图像区域之间的能可变地给定的分界线；

图3示意性示出整体图像被分成多个单个图像区域；

图4示意性示出在整体图像的第一单个图像区域与第二单个图像区域之间的分界线的矩形的延伸走向；以及

图5示意性示出在整体图像的第一单个图像区域与第二单个图像区域之间的分界线的曲线形的延伸走向。

具体实施方式

全部附图中彼此对应的部分具有相同的附图标记。

图1示意性示出根据现有技术的整体图像G的局部，该整体图像以鸟瞰图的形式示出车辆F、车辆的周围环境U和对象O1。

在车辆F的前端端部上布置有第一图像探测单元1，而在车辆F的右侧上布置有第二图像探测单元2，借助于所述第一图像探测单元和第二图像探测单元可探测车辆F和车辆周围环境U。同时，图像探测单元1和2的探测范围至少部分地重叠。

图像探测单元1和2优选是各自具有大的探测范围的摄像机。在此，除了传统的摄像机外，尤其还可以是全向摄像机。例如可以是基于图像拼接(mosaikbasiert)的摄像机、旋转摄像机、具有特殊的广角镜头——所谓的鱼眼镜头——的摄像机或基于折反射光系统的摄像机。

图像探测单元1和2探测车辆F的、车辆周围环境U的和对象O1的单个图像，其中这些单个图像借助未详细描述的图像处理单元转化成整体图像G。该整体图像G从一观察点以鸟瞰图的形式示出车辆F、车辆的周围环境U和对象O1，其中所述对象除了人之外还可以是障碍物或其他物体。利用图像处理单元根据单个图像在虚拟的参考平面上的投影来对这些单个图像进行转化。

该虚拟的参考平面尤其为一布置在车辆F的行车道的高度上的、即表示为基面的地面上的平面。

由于高于基面的、即从基面突出的对象O1由图像探测单元1和2从不同的视角探测到，所以当对象O1位于分界线L的范围内或直接位于该分界线上时，会产生对象O1在整体图像G中的光学上中断(gebrochenen)的和/或至少部分地不完全的显示，其中分界线L将借助于第一图像探测单元1投影到参考平面上的第一单个图像区域EB1与借助于第二图像探测单元2投影到该参考平面上的第二单个图像区域EB2分隔开。

为了避免对象O1在整体图像G中的光学上中断的和/或至少部分地不完全的显示，依据对象O1在整体图像G中被确定的位置给定分界线L1的延伸走向，使得该分界线以离开对象O1的方式延伸。

图2中示出分界线L1的这种离开对象O1的延伸走向，其中分界线L1始终延伸成，使得分界线L1不与对象O1相交或接触。

为了给定分界线L1的这种延伸走向，首先确定对象O1在车辆F的周围环境中的位置，其中这借助于图像探测单元1和2以及图像处理单元来进行。然后从对象O1在车辆F的周围环境中的位置和图像探测单元1、2的已知取向确定出在整体图像G中该对象O1显示在哪个位置中。

依据在整体图像G中对象O1的该位置，在产生单个图像区域EB1和EB2时借助于图像处理单元计算单个图像区域EB1和EB2，使得分界线以离开对象O1的方式进行延伸。通过以下方式实现分界线L1的这种可变的延伸：图像探测单元1、2取向成，使得在探测范围之间产生重叠区域，从而在重叠区域中由两个图像探测单元1、2探测出周围环境U和位于周围环境中的对象O1。

在示出的实施例中，分界线L1设计为直线，该直线围绕其在车辆F的前角中的起始点摆动成，使得该直线不接触对象O1。

此外，在分界线L1和对象O1之间形成有容限范围T1。因此，尤其即使在车辆F和对象O运动时，也始终确保在整体图像G上车辆F、车辆的周围环境U和对象O1的优化显示。

图3示出具有车辆F、车辆的周围环境U和两个对象O1、O2的整体图像G，其中该整体图像G被多次划分。为了在整体图像G上正确地显示两个对象O1、O2，第一单个图像区域EB1在整体图像G上通过第二单个图像区域EB2被中断地显示成，使得在第二单个图像区域EB2中显示对象O2，但是在边缘处由第一单个图像区域EB1包围。

此外，第二单个图像区域EB2也通过第一单个图像区域EB1被中断地显示成，使得在第一单个图像区域E1中显示第一对象O1，但是在边缘处由第二单个图像区域EB2包围。

换句话说：在整体图像G的表面上多次交替地设置单个图像区域EB1和EB2。

在此，单个图像区域EB1和EB2相应地通过分界线L1至L3彼此分开，其中分界线L1至L3同样延伸成，使得这些分界线不接触对象O1、O2并且在分界线L1至L3与对象O1、O2之间形成有容限范围T1至T4。分界线L1至L3的延伸走向使得对象O1、O2被优化显示，因为这些对象显示在各个图像探测单元1、2的其中能清楚、准确和完全地探测出所述对象的视角中。

图4示出在车辆F的前角处的起始点与整体图像G的图像边缘之间分界线L1的另一延伸走向。在此，分界线L1延伸成，使得该分界线表示为矩形的一段，其中对象O1在整体图像G中位于分界线L1上方，并且容限范围T1形成在对象O1与分界线L1之间。

在未详细示出的一些改进方案中，作为替代，分界线也可以多边形的形式围绕一个或多个对象延伸，从而始终能够利用整体图像G来优化和完整地显示对象。

图5中示出一整体图像G，该整体图像G示出了车辆F、车辆的周围环境U和对象O1、O2，其中分界线L1以曲线的形状延伸成，使得在整体图像G中第一对象O1在第一单个图像区域EB1中位于分界线L1上方而第二对象O2位于分界线L1下方。此外，分界线L1的起始点从车辆F的前角朝向第一图像探测单元1的方向移动至该车辆的前端，从而在整体图像G上产生了变化的虚拟的观察点。由此，实现了对象O1、O2显示的进一步改进。

附图标记列表

1        图像探测单元

2        图像探测单元

EB1，EB2 单个图像区域

F        车辆

G        整体图像

L1至L3   分界线

O1、O2   对象

T1至T4   容限范围

U        周围环境

Claims (3)

1.一种用于监控车辆（F）的周围环境（U）的方法，其中借助于至少第一图像探测单元（1）和第二图像探测单元（2）探测所述周围环境（U）和存在于所述周围环境中的对象（O1、O2），所述第一图像探测单元的和第二图像探测单元的探测范围至少部分地重叠且形成重叠区域，其中从借助于所述图像探测单元（1、2）探测到的单个图像利用图像处理单元产生一整体图像（G），所述整体图像（G）以鸟瞰图的形式示出所述车辆（F）和所述车辆的周围环境（U），其特征在于，依据所述对象（O1、O2）在所述整体图像（G）中在第一单个图像区域（EB1）与第二单个图像区域（EB2）之间被确定的位置将至少一个从起始点朝向所述整体图像（G）的图像边缘处延伸的分界线（L1至L3）的延伸走向给定成，使得所述分界线（L1至L3）以离开所述对象（O1、O2）的方式延伸，所述起始点在图像中在车辆的前角处或在该前角旁；所述第一图像探测单元（1）和第二图像探测单元（2）设置在车辆的不同位置处，将所述分界线（L1至L3）给定成，使得在所述分界线（L1至L3）与所述相应的对象（O1、O2）之间形成容限范围（T1至T3）。

2.根据权利要求1所述的方法，其特征在于，依据所述对象（O1、O2）的位置将一虚拟的观察点可变地给定在所述整体图像（G）上。

3.根据权利要求1或2所述的方法，其特征在于，依据所述对象（O1、O2）的位置对所述整体图像（G）进行划分，从而使得所述图像探测单元（1、2）中的一个的单个图像区域（EB1、EB2）以被所述图像探测单元（1、2）中相应的另一个的至少一个单个图像区域（EB1、EB2）中断的方式显示出。