CN103328261A - 用于产生车辆周围环境的图像的方法以及成像装置 - Google Patents

Abstract

本发明能够在驾驶员驾驶其车辆（1、80）时给驾驶员提供更好的视觉辅助。出于该目的，提出了一种用于通过摄像头（11）产生车辆的周围环境的图像（7）的方法，该方法通过在摄像头的第一位置中或从摄像头的方向记录第一局部图像，以及在摄像头的至少一个第二位置中或从摄像头的取向记录至少一个第二局部图像实现，其中，每一个局部图像对应于摄像头的整个覆盖区域。第一局部图像和第二局部图像被结合，以形成车辆周围环境的图像，以使所述图像显示出比每一个局部图像更大的区域。

Description

用于产生车辆周围环境的图像的方法以及成像装置

技术领域

本发明涉及用于产生车辆的车辆周围环境的图像的方法，使用至少一个摄像头，通过在摄像头的第一位置或定向记录第一局部图像以及在摄像头的至少第二位置或定向记录第二局部图像，每一个局部图像对应于摄像头的整个覆盖区域。此外，本发明涉及用于使用适当的摄像头产生车辆的车辆周围环境的图像的成像装置。

背景技术

车辆具有很多驾驶员辅助系统，用于在驾驶员操作车辆时支持驾驶员。这样的辅助系统包括例如停车辅助系统、ACC系统、车道保持系统、车道变更系统、主光束辅助装置等。

这些辅助系统中，一些采用安装在车辆中的摄像头来给驾驶员提供关于车辆周围环境的信息。在该情况下，来自一个摄像头的一幅当前图像或来自多个摄像头的多幅当前图像单独或结合显示，或各个图像被处理以从鸟瞰视角产生虚拟图像。同样已知采用不同传感器（主要基于超声）来扫描车辆周围环境并且计算自己的车辆和障碍物之间距离的系统，所述距离用于警告驾驶员。同样已知计算进入检测到的停车位中的轨迹并且可同时通过驱动转向机构将车辆操纵到停车位中的系统。当这样的系统被分立地操作时，驾驶员可能很难从摄像头确定警告或正在发生什么。而且，从图像中不能总是看到哪个障碍物是关键的，哪个不是。

印刷出版物DE102006000245A1公开了一种停车支持方法和相应的装置。导航装置将通过图像数据获取单元获取的图像数据与图像数据被记录坐在的位置相关联，并且将数据作为早期图像数据存储在图像存储器中。控制单元进一步确定车辆是否已经进入至少一个指定停车区域中。如果确定车辆已经进入指定停车区域中，则基于从指定停车区域记录的早期图像数据将早期图像放置到方向显示器上，并且基于在车辆当前位置处获得的图像数据将当前图像放置到方向显示器上。

此外，印刷出版物US7,212,653B2公开了一种用于车辆的图像处理系统，通过该图像处理系统，图像被从车辆的周围环境记录。图像被存储，并且将经处理的图像（其通过处理在到达即时位置之前记录的早期图像获得）覆盖在当前图像的不能由摄像头检测到的一部分上。

此外，印刷出版物EP1094337B1描述了一种用于辅助停车的系统。车辆周围的图像被记录，并且通知驾驶员位于那里的3D物体。该系统具有图像记录部分，用于使用单个摄像头在车辆从第一位置到第二位置的转换期间在车辆周围在第一和第二位置处以及在第一和第二时间记录第一和第二图像。而且，该系统具有物体距离计算部分，用于通过使用在第一和第二图像中的每一幅中的3D物体的位置以及车辆的转换数据计算从车辆到3D物体的距离。最后，提供一种图像产生装置，用于根据所述图像和记录数据产生第三图像。

因此已知从通过摄像头系统在不同的车辆位置处顺次记录的多个图像来产生车辆周围环境的图像。顺次记录的图像被用于确定到摄像头图像中的障碍物的距离，或被用于使用来自过去的图像的适当部分填充由障碍物覆盖的图像区域。

发明内容

本发明的目的是获得车辆周围环境的具有更多信息的图像，并且用它们来支持驾驶员，特别用于停车辅助。

根据本发明，该目的通过根据权利要求1所述的方法和根据权利要求10所述的成像装置实现。本发明的有利的开发由从属权利要求形成。

因而，根据本发明，提供了一种用于通过摄像头产生车辆的车辆周围环境的图像，该方法通过以下实现：

-在摄像头的第一位置或定向中记录第一局部图像，和

-在摄像头的至少第二位置或定向中记录至少第二局部图像，

-每一个局部图像对应于摄像头的整个覆盖区域，

以及

第一局部图像和第二局部图像被组合，以形成车辆周围环境的图像，以使所述图像显示出比每一个局部图像更大的区域。

此外，提出了一种成像装置，用于产生车辆的车辆周围环境的图像，具有

-摄像头，用于在摄像头的第一位置或定向中记录第一局部图像，和用于在摄像头的至少第二位置或定向中记录至少第二局部图像，

-每一个局部图像对应于摄像头的整个覆盖区域，

并且进一步包括

-图像合成装置，通过该图像合成装置，第一局部图像和第二局部图像能够被组合，以形成车辆周围环境的图像，以使所述图像显示出比每一个局部图像更大的区域。

因此有利的是，可以使用多个局部图像来获得车辆周围环境的更大的总图像，其对于驾驶员来说信息更多。特别地，驾驶员由此能够更好地估计车辆周围环境中的情形。

在特定实施例中，产生的图像可具有车辆上方的虚拟视角。因此可为图像提供鸟瞰视图。这样的图像进一步有助于驾驶员估计当前情形。

特别的优点是可以从来自摄像头的多个局部图像形成更大的图像，以在停车过程中支持驾驶员。在该情况下，图像显示了记录在至少一个局部图像中的停车位。因此可以不仅在图像中显示出停车位或甚至仅停车位的一部分，而且显示出周围环境的更大的部分或至少整个停车位。

在有利的改进中，驾驶员被以正常模式示以一个或多个局部图像，并且当停车位被检测为空闲时，驾驶员被以扩展模式示以整个组合图像。因此，所显示的内容取决于情形，并且特别地，当要进行停车操作时，通过更大的图像进行。

停车位可通过超声传感器测量。这样的传感器是结实可靠的。它们可足够准确地检测停车位的界限，用于测量或光学显示。

在又一实施例中，图像中被插入表示停车位的测量、障碍物或经计算的停车轨迹的人工图像元素。特别地，还可以显示位于摄像头系统的可视范围外的障碍物。车辆驾驶员能够通过该信息更安全地驾驶其车辆。

此外，图像中可被插入表示自动提出的停车位置的图像元素，并且该停车位置可通过手动移动图像元素来改变。驾驶员可因此通过以期望的方式简单地输入到输入期间中来改变自动提出的停车位置。

在又一实施例中，在该图像被显示时，车辆的停车操作半自动或全自动地进行。驾驶员可因此更好地估计或遵循停车操作。

进一步地，该图像可显示车辆周围环境中的多个停车位，并且驾驶员可选择这些停车位中的一个用于停车。因此，图像不仅用于可视化至规定停车位中的停车操作，而且用于容易地从多个停车位中选择一个。

本发明的成像装置可具有多个摄像头。通过摄像头并行记录的图像可然后与由摄像头早期记录的图像一起使用来产生总图像。在该情况下，单独的摄像头中的每一个可分别具有对应于小于5m的半径的覆盖区域就足够了。通常，这对于记录车辆的重要的周围环境，特别是用于停车操作的，足够了。

如已经说明的，特别有利的是将成像装置集成在驾驶员辅助系统中，且特别地，集成在停车辅助系统中。配备有这样的驾驶员辅助系统的车辆可由驾驶员非常舒适地驾驶。

附图说明

现在，在附图的辅助下更详细地说明本发明，附图中：

图1显示了具有相对于马路平行的停车位的停车情形的鸟瞰视图；

图2显示了控制单元的线路和相连的车辆部件的框图；

图3显示了图2的控制单元的线路的原理的框图；

图4显示了根据本发明产生的实时视图；

图5以示意性图示显示了周围环境的地图；和

图6显示了地图视图，例如可由本发明的成像装置产生的。

具体实施方式

下面更详细说明的示例性实施例构成了本发明的优选实施例。

与已知的用于产生车辆周围环境的图像的系统相对照，根据本发明，在不同的车辆位置或定向和/或摄像头的位置顺次获得的图像被彼此并置，以可以显示具有比单个摄像头的覆盖区域更大的区域的车辆周围环境的图像。该成像装置或摄像头系统可特别被用于在停车位的测量过程中来记录多个相继的图像，存储所述图像，且然后使用记录的图像和通过路径传感器（车辆上的车轮传感器，如果适当，转向角传感器）确定的行驶路径来产生覆盖停车位和界定停车位的障碍物的周围环境的扩展图像。由此可部分重叠的图像可被结合来形成新的图像，该新图像结合来自各个图像的信息并且生成更大的图像。

大致的方法包括结合显示和环境获取的功能。从其产生的HMI输出特别易于驾驶员理解。在该情况下，车辆的周围环境通过适当的感测装备扫描，并且周围环境的图像被存储在周围环境地图中（对照图6）。存储在周围环境地图中的信息被进一步处理，以使得可以检测单独的障碍物并且将其分类。作为选择，可同样确定碰撞的风险，并且如果需要，计算即将碰撞距离的值和即将碰撞时间的值。已经通过周围环境地图获得的信息被用于产生HMI图像。在该情况下，检测到的障碍物被直接插入图像中在恰当点处（障碍物突出显示）。危险的障碍物被通过以特定方式显示来突出显示。另外，还可以将距离显示为条或数值。而且，还可插入预测的或计划的轨迹，例如车辆的半自动停车操作的轨迹。该类型的展示可被用于从自然视角（实时视图）产生的图像和产生为虚拟的鸟瞰视图（鸟视图）的图像两者。

作为鸟视图的变形形式，同样可以产生比瞬时可视区域更大的区域上的虚拟周围环境图像（对照图1）。在该情况下，各个鸟视图像被通过测程法（odometry）结合，并且如果适当，使用进一步的传感器信息补充，以生成连续放大的虚拟图像。其优点是，例如，直接在某人自己的汽车1驾驶经过检测到的停车位2之后，可以看到整个停车位区域。同时，可显示所有检测到的障碍物3、4、5，停车位2中的目标位置6和即时计划轨迹（图1中未示出）。这样的显示也可被驾驶员用来交互校正，例如，目标位置的交互校正。于是适当的输入装置被设置在车辆中，以移动图像元素，其在总图像中显示为覆盖元素（目标位置6）。系统从其计算实际的新的停车位置，并且确定适当的新的轨迹。

如果适用，车辆1的一个或多个摄像头记录多个局部图像，从所述多个局部图像产生当前图像7（图1中的鸟瞰视图或放大的实时视图图像）。图像7因此为在不同时间处部分记录的图像结合的结果，这些图像每一个单独地仅覆盖图像7的仅一部分，可以是通过重叠。产生的总图像可使用摄像头还没有看到但是已经例如通过超声检测到的虚拟物体来扩展。根据图1的示例，在汽车1已经经过平行于马路的停车位2之后，可获得从多个局部图像组合的达该停车位2一半的摄像头图像7。可以使用超声来检测路缘石4或墙壁。在呈现给驾驶员的图像中，除了摄像头图像7之外，检测到的停车位2与路缘石4一起可以被已经显示。如果适当，甚至在停放的车辆3和5后面的路缘石4已经由其他类型的感测装备记录或通过计算体现时，所述路缘石4也被显示在图像中。所有这些方面有助于将摄像头图像与现实情况更好地联系。

摄像头图像7达到摄像头系统的覆盖区域的边界。但是，在图像7的示例中，摄像头图像7的范围没有达到路缘石4。为了驾驶员更好取向，摄像头图像7的边界和路缘石4之间的区域可被以彩色显示。在图1的示例中，例如，将可以以绿色标识停车位2或目标位置6，并且这告诉驾驶员该停车位足够大。在停车位太短的情况下，从摄像头系统的覆盖边界直到路缘石的边缘的区域可例如以灰色显示。特别地，其可使用例如属于马路或停车位的可光学获取的分区的颜色显示。

通过超声传感器，关于位置和尺寸，检测在摄像头系统的覆盖区域外的路缘石4。这些测得的变量被用于在显示给驾驶员的扩展图像中以比例准确的方式计算虚拟物体及其位置。该扩展图像因而由摄像头图像（可以以多个局部图像的形式）和虚拟物体组合而成，位于其之间的区域在一些情况下方便地涂有颜色。在鸟瞰视图的情况下，“摄像头图像”可从一个或多个实时视图图像计算。

另外，对于实时视图的变体，可以插入来自周围环境地图（对照图6）的信息，以使在图像中其他障碍物的由真实障碍物覆盖的那些部分实际保持“隐藏”。这意味着在考虑虚拟显示被真实摄像头图像中的障碍物覆盖的同时进行图像中障碍物的虚拟显示。该结果是增强现实图像。因而，作为例子，在停车位和路缘石的显示中，路缘石的端部（其由停车位端部处的障碍物覆盖）没有显示在障碍物上，而是被适当地屏蔽掉。该屏蔽总是被动态地用于当前图像显示或车辆的当前位置。为了能够进行该屏蔽，摄像头图像被处理，从而物体可在其中被检测。在该情况下，使用来自周围环境地图的信息来计算感兴趣的区域和算法设置。

又一个显示选择涉及在考虑驾驶员相对于相应显示单元的视角的同时将关于周围环境的信息插入驾驶员使用的显示单元中。这样的显示单元包括镜子（侧镜、后视镜）和在前和后挡风玻璃处的平视显示器，或将检测到的静态或动态物体移入驾驶员的视觉领域中的全息显示单元。当驾驶员沿警告所针对的障碍物的方向移动时，驾驶员能够检测到警告所针对的该物体或障碍物为真实且被标记的，并且驾驶员在停车操作或驾驶移动过程中理解该警告。

特别有利的是与基于电子摄像头的镜子结合的显示，在该情况下，图像纯粹地以电子方式产生，并且出现了镜像。在该情况下，地图信息可被顺利地插入所有镜像中，因此，无论驾驶员在什么情况下看，他总是可获知障碍物、轨迹等上的系统视图。

图2现在显示了控制单元10，其与多个外围设备11到16形成网络。该控制单元10能够根据本发明产生图像。为此，它从一个摄像头11或多个摄像头接收适当的图像信息或局部图像。如在接口处由双箭头所示，控制单元10可驱动摄像头11来记录图像。如果适当，还可以经由控制单元10改变摄像头11的定向。

此外，控制单元10具有超声传感器12，作为输入信息的进一步的供应者。作为例子，所述传感器供应来自车辆的周围环境的距离信息。如果适当，超声传感器12和控制单元10之间数据链接也是双向的。

而且，EPS（电动辅助转向装置）经由CAN-BUS连接到控制单元10。其将当前转向角供应给控制单元10，并且这对于组合局部图像来形成总图像是有帮助或必要的。另外，ESP14（电稳定程序）经由CAN-BUS连接到控制单元。该ESP14将运动数据供应给控制单元10。作为例子，所述数据包括车轮速度、滚动方向、侧倾角速度、加速度等。

这里，控制单元10被连接到车头单元（head unit）15，以输出图像数据。作为对车头单元15的替代，可以利用任何其他光学输出单元（例如显示屏）。多个光学显示单元也可由控制单元10驱动。

此外，一个扬声器16或多个扬声器用作用于控制单元10的声音输出单元。因此，根据图2，存在从控制单元10到扬声器16的单向连接。可以以常用方式经由扬声器16给驾驶员警告。

现在在图3的帮助下说明实现本发明方案的系统的结构和数据流。摄像头11嵌在视频处理单元20中。其将原始视频数据21供应至视频控制单元22。如由视频控制单元22的框的右手边缘中的矩形所标示的，视频控制单元22在处理循环中执行视频信号处理23。与此并行，提供有超声处理单元30。其包括超声传感器12。超声传感器12供应原始数据31至信号过滤器32。经过滤的传感器数据33被馈送至障碍物检测单元34。障碍物检测单元34在处理循环中连续实施数据分析，以便检测障碍物。

位置检测单元40（例如测程装置、ESP、EPS等）持续地将当前位置数据41供给存储单元42。视频控制单元22和障碍物检测单元34分别通过适当的检索24和36从该存储单元42获得车辆的当前位置。同样，在对存储单元44进行检索43时可得到当前位置，车辆的接近的周围环境的局部地图（对照图6）存储在该存储单元44中。接近的周围环境例如与车辆周围30m的圆相关。来自障碍物检测单元34的障碍物信息37也存储在存储单元44中。在存储单元44中持续地实施物体跟踪45。作为例子，在该情况下，计算物体相对于车辆沿哪个方向运动，从而在该物体位于摄像头11或超声传感器12的检测区域外时还可显示该物体。

基于请求51时，功能逻辑单元50从存储单元44接收地图数据或障碍物信息。特别地，请求51产生于超声停车辅助装置53，该装置还接收期望的信息52。在连续处理循环中，距离的检查和计算54在其中持续运行。例如，其经由扬声器输出适当警告55给驾驶员。而且，超声停车辅助装置53的段数据56存储在功能逻辑单元50的存储单元57中。这些数据例如涉及必须插入图像中的条。

功能逻辑单元50的显示控制单元58从视频控制单元22接收经处理的视频数据25。此外，基于请求59，显示控制单元58从存储单元44接收地图数据或障碍物信息46。进一步地，显示控制单元58通过适当的读取请求60从存储单元57读取超声段数据。覆盖元素的采用和产生过程61在显示控制单元58中连续运行。

显示控制单元58致动输出62，例如，到显示屏或车头单元的输出，显示屏或车头单元分别形成对驾驶员的光学接口。在驾驶员和显示控制单元58之间发生交互63。作为例子，在该情况下，驾驶员能够改变显示或，例如，移动图像中的元素（例如移动停车位置标识）。

现在在图4到6的辅助下，使用上面展示的背景信息可更好地理解特定示例。图4图示了实时视图显示，其如果适当，该实时视图显示由多个局部图像组合。可看到马路70，停车位71位于其右手侧。分别位于两个停车位71上的是检测到的障碍物72、73。虽然障碍物73没有位于在摄像头的覆盖区域中，但是其仍被显示为虚拟物体，因为其已经在早期图像中或经由另一传感器检测到。其已被带到当前显示。而且，该系统已经检测到作为障碍物的墙壁74。位于两个车辆之间的，也就是说障碍物72和73以及墙壁74之间，是停车位75，系统检测到该停车位75，并且以透视精密性在实时视图图像中插入矩形覆盖元素。在停车位75中，系统计算目标位置76，该目标位置76同样在实时视图图像中以矩形覆盖元素标示。如果适当，进一步将轨迹插入图像中用于停车操作。

图4中所示的图像可由已经在不同车辆位置中顺次获得的多个局部图像组合。例如，该图像也可在右手边缘处放大或扩展，于是使得还可以看到障碍物73，从而有助于驾驶员取向。

现在图5和6将用于展示本发明的系统的应用，也就是说在鸟瞰视图显示情况下车辆停车系统的成像装置。首先，图5以示意显示方式示出了实时情形。车辆80正根据轨迹81停泊在两个车辆82和83之间。位于停车场上的是多个其他障碍物，例如墙壁84、摩托车85、其他车辆86和垃圾箱87。在停车场上行驶期间，车辆80的成像装置记录这些障碍物，并且从其准备了地图，例如图6中所示的。每一个障碍物由框82’到87’标记，也就是说虚拟物体。例如，摩托车85由框85’标记。呈现给驾驶员的图像（图6）显示了与他相关的所有物体或障碍物（这里以框表示），以及停车轨迹81和他自己的车80的俯视图。驾驶员可因此更好地使其自己在停车场上取向，以进行停车操作。如果适当，图像中提供多个停车位，驾驶员可从多个停车位交互地选择一个。

通常的摄像头系统包括至少一个倒车摄像头和侧部摄像头（例如在外部镜中或保险杠的拐角区域中）。所述摄像头系统具有在车辆周围约2m到4m范围的覆盖区域。所述覆盖区域通常不足以沿驾驶路径在停车位的整个长度上显示停车位。因此在本示例中，摄像头图像被结合，以形成从车辆上方的虚拟视角的总图像（鸟视图）。如这里所示，可将相继记录的图像特别地用于测量停车位。为此，记录的图像被存储，并且在借助路径传感器（车辆上的车轮传感器，如果适当，转向角传感器）确定的驾驶路径的辅助下，从记录的图像形成扩展的周围环境图像。所述图像再现停车位和界定停车位的障碍物，例如根据图6。

本发明的摄像头系统特别地具有正常模式（具有2m到4m覆盖区域的当前摄像头图像的显示）和扩展模式（使用来自过去的图像）。特别地，在停车位的测量之后，当向驾驶员显示停车位为空闲时，扩展模式被致动。于是停车操作可被半自动地（仅转向）或全自动地（转向和制动）进行。

Claims (13)

1.一种用于通过至少一个摄像头（11）产生车辆（1、80）的车辆周围环境的图像（7）的方法，该方法通过以下实现：

-在摄像头（11）的第一位置或定向中记录第一局部图像，和

-在摄像头（11）的至少第二位置或定向中记录至少第二局部图像，

-每一个局部图像对应于摄像头（11）的整个覆盖区域，

其特征在于

-第一局部图像和第二局部图像被组合，以形成车辆周围环境的图像（7），以使该图像显示出比每一个局部图像更大的区域。

2.根据权利要求1所述的方法，

其特征在于

所述图像（7）具有在车辆（1、80）上方的虚拟视角。

3.一种用于在停车过程中支持驾驶员的方法，通过根据前述权利要求中任一项所述的方法产生图像，其中，所述图像（7）显示了记录在局部图像中的至少一个中的停车位（2、75）。

4.根据权利要求3所述的方法，

其特征在于

驾驶员被以正常模式示以一个或多个局部图像，并且当停车位（2、75）被检测为空闲时，驾驶员被以扩展模式示以整个组合图像（7）。

5.根据权利要求3或4所述的方法，

其特征在于

停车位（2、75）被通过至少一个超声传感器（12）测量。

6.根据权利要求3至5中任一项所述的方法，

其特征在于

所述图像（7）中被插入表示停车位（2、75）的测量、障碍物（3、5、72、73）或经计算的停车轨迹的人工图像元素。

7.根据权利要求3至6中任一项所述的方法，

其特征在于

所述图像（7）中被插入表示自动提出的停车位置（6、76）的图像元素，并且该停车位置通过手动移动该图像元素来改变。

8.根据权利要求3至7中任一项所述的方法，

其特征在于

在所述图像（7）被显示时，车辆的停车操作被半自动或全自动地实施。

9.根据权利要求3至8中任一项所述的方法，

其特征在于

所述图像（7）显示了车辆周围环境中的多个停车位（2、75），并且驾驶员选择这些停车位中的一个用于停车。

10.一种用于产生车辆的车辆周围环境的图像（7）的成像装置，具有

-摄像头（11），用于在摄像头（11）的第一位置或定向中记录第一局部图像，以及用于在摄像头（11）的至少第二位置或定向中记录至少第二局部图像

-每一个局部图像对应于摄像头（11）的整个覆盖区域，

其特征在于

-图像合成装置（10、44），第一局部图像和第二局部图像能够通过所述图像合成装置组合，以形成车辆周围环境的所述图像（7），以使所述图像（7）显示比每一个局部图像更大的区域。

11.根据权利要求10所述的成像装置，

其特征在于

其具有多个摄像头（11），所述摄像头（11）在所有情况下具有对应于小于5m半径的覆盖区域。

12.一种驾驶员辅助系统，具有根据权利要求10或11所述的成像装置。

13.一种车辆，具有根据权利要求10或11所述的成像装置，或具有根据权利要求12所述的驾驶员辅助系统。

Images