CN112585959A - 生成车辆的环境表示的方法和装置及具有这种装置的车辆 - Google Patents

生成车辆的环境表示的方法和装置及具有这种装置的车辆 Download PDF

Info

Publication number
CN112585959A
CN112585959A CN201980056355.3A CN201980056355A CN112585959A CN 112585959 A CN112585959 A CN 112585959A CN 201980056355 A CN201980056355 A CN 201980056355A CN 112585959 A CN112585959 A CN 112585959A
Authority
CN
China
Prior art keywords
vehicle
environment
representation
projection screen
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980056355.3A
Other languages
English (en)
Inventor
A·乌尔班
G·迈尔
S·齐巴尔特
F·施维特斯
G·赛茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Automotive Co ltd
Audi AG
Original Assignee
Volkswagen Automotive Co ltd
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Automotive Co ltd, Audi AG filed Critical Volkswagen Automotive Co ltd
Publication of CN112585959A publication Critical patent/CN112585959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于生成车辆(100)的环境表示的方法,包括:‑确定车辆环境的高度剖面;‑检测所述车辆环境的图像信息;‑将所述图像信息投影到投影屏幕(22)的至少一部分上以生成所述环境表示,其中如果所确定的高度剖面显示出所述车辆环境的相应地突起的结构(16),则以至少局部地突起的方式生成所述投影屏幕(22);并且‑基于所述环境表示来生成所述车辆(100)的环境地图,其中利用所述环境地图能够成像所述车辆(100)的比用于确定所述高度剖面和/或所述图像信息的传感器的检测区域更大的环境区域。此外本发明还涉及一种用于生成车辆(100)的环境表示的装置(10),以及一种包括这种装置(10)的车辆(100)。

Description

生成车辆的环境表示的方法和装置及具有这种装置的车辆
技术领域
本发明涉及用于生成车辆的环境表示的方法和装置,以及涉及包括这种装置的车辆。
背景技术
已知在车辆中使用环境表示。这些环境表示通常用于向驾驶员告知车辆的当前运行状况,并且特别是用于向驾驶员提供当前车辆环境的图示。这可以例如借助于车辆内部空间中的显示装置来进行,在所述显示装置上显示所述环境表示。
现有技术中存在用于借助于安装在车辆上的相机创建环境表示的方案。在此可以以所谓的俯视图或鸟瞰图的方式来创建和显示所述环境表示,在所述俯视图或鸟瞰图中出于定向的目的经常叠加显示车辆本身的模型图示(例如,在图像中心)。换句话说,已知其中以俯视图示出了车辆的模型并且示出了车辆环境的环境表示,其中基于所检测的相机图像来成像(abbilden)所述车辆环境。本申请人以“全景摄像(Area View)”的名称提供了这种解决方案。
典型地,由多个安装在车辆上的相机装置所检测的图像合并成所述环境表示。为此已知如下方案,在所述方案中生成(虚拟的)投影屏幕并且将这些图像投影到该投影屏幕中,其中多个相机的图像在相对应地同时投影的情况下组合成所述环境表示。在此例如根据这些相机装置的已知的安装位置和/或视角进行所述投影。
就此而论,DE 10 2010 051 206 A1公开了:将多个局部图像合并为一个超过这些局部图像的更大区域,其中还可以叠加显示附加的符号(所谓的人造图像元素)。其他技术背景以DE 10 2015 002 438 A1、DE 10 2013 019 374 A1、DE 10 2016 013 696 A1和DE603 18 339 T2的形式存在。
如所描述的,可以为了基于相机图像来创建所述环境表示而定义(虚拟)投影屏幕。典型地,将所述投影屏幕定义为水平的空间平面和/或车辆地基面(Fahrzeuguntergrund)。这基于以下思想:相机例如通过选择对应的视角而至少按份额地同样对准所述车辆地基面,并且因此使得所检测的图像也可能被再次投射回到所述车辆地基面上。这代表了一种用于创建环境表示的比较简单的解决方案,在该解决方案中,特别是在车辆的紧邻区域中可以获得令人满意的结果。但是,在特定的状况下,该方案可能会导致失真,这降低了表示质量。因此,替代地已知将所述投影屏幕构造为拱曲的,这也称为投影“碗”。然而,在这两种情况下,所述投影屏幕就其本身而言均被构造为平坦的,并且作为二维的平面的结构或拱曲的结构围绕车辆或围绕被叠加显示的车辆模型而延伸。已经表明,对拱曲的投影屏幕的使用也并非总是造成逼真的和可直观理解的环境表示。另外,迄今为止只能将比较小的环境区域成像为环境表示,这减少了信息内容并由此同样降低了质量。
发明内容
因此,提出的任务是改善车辆的环境表示的质量。
该任务通过根据所附权利要求1的方法、根据所附的权利要求9的装置和根据权利要求10的车辆来解决。应当理解,只要是没有另外说明或显而易见的话,在开头所讨论的变型方案和特征也可以在本发明中设置。
本发明的基本思想在于使所述投影屏幕与车辆环境相适配。与现有技术不同,在此应当实现:使得所述投影屏幕不再仅仅构型为平面的或均匀拱曲的。特别地,所述投影屏幕在车辆环境内的具有突起结构的区域内同样应当构造得(局部)突起。已经证明的是,借此,与到目前为止使用的投影屏幕相比,例如与到目前为止的将相机图像中检测的真实突起结构投影到平面或拱曲投影屏幕上的情况相比,可以减少环境表示内的失真。
此外,本发明规定,不仅在车辆的紧邻区域中生成环境表示,而且还基于此生成(虚拟的)环境地图(Umfeldkarte),所述环境地图覆盖的区域大于被用于确定所述环境表示的传感器的检测区域(即大于传感器相关的检测区域或车辆静止时的检测区域)。所述环境表示可以用于在车辆行驶期间连续地对环境地图纹理化、生成和/或补充环境地图。因此,所述环境地图原则上可以具有可变大小,或者通常能够作为可变大小的数据集合被生成。例如,可以根据所收集的或所生成的环境表示来连续地补充所述环境地图,并且例如可以一直放大到可选的最大大小。特别地,可以沿着车辆的例如至少5m、至少10m或至少20m长的行驶路段生成和补充所述环境地图。以环形存储器或所谓的先进先出原理(First inFirst Out)的方式,可以删除所述环境地图的优选与当前行驶方向相反的或关于当前行驶方向而言在车辆后面的区域,并且可以补充所述环境地图的新区域,优选位于行驶方向上的新区域。这可以通过对应地删除和补充这些区域的信息来进行。因此,所述环境地图(或被所述环境地图覆盖的环境区域)可以说与所述车辆共同地相对于环境移动。
此外,所述车辆能够以不同方式定位在所述环境地图内,和/或所述环境地图不能固定于车辆或不能纯粹以所述车辆为中心地生成。
详细地,提出了一种用于生成车辆的环境表示的方法,该方法包括:
-确定车辆环境的高度剖面;
-检测所述车辆环境的图像信息;
-将所述图像信息投影到投影屏幕上以生成所述环境表示;
其中如果所确定的高度剖面显示出所述车辆环境的相应地突起的结构,则以至少局部地突起的方式生成所述投影屏幕;以及
-基于所述环境表示来生成所述车辆的环境地图,其中利用所述环境地图能够成像(和/或成像)所述车辆的以下环境区域,所述环境区域大于用于确定所述高度剖面和/或所述图像信息的传感器的检测区域。
例如,由所述环境地图成像的环境区域可以包括所述传感器检测区域的至少一倍半、至少两倍、至少三倍或至少四倍,其中相应区域优选被视为面(例如在水平的空间平面内或沿着车辆地基面)。
应理解,通常利用单个传感器仅仅要么检测所述高度剖面要么检测所述图像信息。此外,传感器的检测区域可以理解为如下区域,在该区域内能够检测到可评估信号和/或满足预先确定的质量标准(例如信噪比至少为0.5或至少为0.7)的信号。
所述环境表示可以是虚拟和/或数字的环境表示。特别地,它可以是以图像和/或视频文件的形式或基于图像和/或视频文件生成的表示。所述环境表示能够显示在显示装置上,特别是在车辆内部空间中。所述环境表示的能显示的片段可以对应于传感器的检测区域。所述环境地图通常可以成像与在所述显示装置上能显示的环境区域相比更大的环境区域。
通常,可以例如借助于下面阐述的(环境)传感器装置来检测所述车辆环境的完整的三维轮廓。但是,至少应当检测所述车辆环境的高度剖面,也就是车辆环境结构在垂直空间方向上的延伸,其中所述垂直空间方向优选与车辆地基面正交地伸展。应理解,例如可以通过所使用的传感器装置及其检测区域来限制能检测的高度剖面的尺寸(或者还可以限制所述车辆环境的完整三维轮廓的尺寸)。
(优选三维的)高度剖面可以作为文件存在和/或是数字信息集合,该数字信息集合例如以(测量)点集合和/或网格模型的形式成像环境。因此,本发明通常规定:根据所述高度剖面生成所述投影屏幕(即,与所述高度剖面类似地(优选三维地)形成所述投影屏幕)。然后,可以利用所述图像信息来对所述投影屏幕以及因此间接地对环境地图纹理化。换句话说,所述环境表示也可以表示为用图像信息纹理化的高度剖面,和/或可以基于成像不同环境区域的环境表示来生成或组合所述环境地图。
所检测的图像信息可以是视频信息和/或视频图像数据流。对应地,可以例如通过连续地馈入新的(即,当前检测的)图像信息来连续地更新和/或生成所述环境表示。为了生成所述环境表示,在使用利用不同的相机装置检测的图像信息时,优选同时投影在相同的检测时间点所检测或记录的图像信息。
如所描述的,所述投影可以包括将所述图像信息布置在所述投影屏幕中或所述投影屏幕上,这通常能够以计算机支持的方式进行。在此可以使用关于系统结构的信息并且特别是使用用于图像检测的相机装置的位置和/或取向。
所述投影屏幕的突起构造可以理解为:至少局部地在非水平方向上和/或在相对于(虚拟)车辆地基面成角度伸展的方向上延伸。例如,所述投影屏幕可以至少局部地垂直伸展。一般而言,所述投影屏幕的突起构造可以导致所述投影屏幕的三维构造,其中突起区域从例如所述投影屏幕的起始平面突出,或者可以与所述起始平面成角度地延伸。突起区域例如可以隆起状地成型或成型为突出区域,例如关于所述投影屏幕的上述起始平面或基础平面而言的突出区域。通过设置突起区域,所述投影屏幕可以至少局部地具有边缘、弯折和/或角度。由于所述突起区域,所述投影屏幕可以具有在不同的高度水平上彼此成角度伸展的区域和/或彼此平行伸展的区域(并且特别是平面)。
该方法可以可选地包括:在所述高度剖面中确定突起区域;以及使所述投影屏幕至少针对这些区域其中所选择的区域而言局部地从最初的或按照标准为平面的(或水平的)延伸进行变化,特别是以如下形式,即:使得所述投影屏幕在那里类似于所述高度剖面的或所述环境地图的突起区域地延伸(例如垂直地)。
此外,通常也可以在所述环境地图内确定车辆的位置。为此,可以通过本身已知的方式使用里程信息,所述里程信息例如检测或成像车轮运动。此外,可以检测并考虑转向角和/或车辆倾斜度。同样可以使用来自导航系统的信息(特别是定位信息),其中例如可以基于GPS信号生成这种信息。然而,优选的是并没有借助于这种信息以及特别是GPS信号的变型方案,以便例如并不依赖于针对这种信号的当前接收条件。
这也可以以如下方式被充分利用:可以给所检测的图像信息同样分配相对应的定位信息。在此有利的是,用于检测所述图像信息的传感器(例如相机装置)相同方式地定位在所述车辆内并且保持在所述车辆内(即,在保持相同的位置处定位在其中和/或保持相同地取向并且因此具有恒定的视角)。基于此,例如可以将车辆位置转换为所述相机装置的位置和/或可以将对应的位置信息分配给所检测的图像信息。
以类似的方式,也可以将对应的位置信息分配给所述环境地图和/或所述高度剖面的区域,其中例如可以使用用于生成所述环境地图的传感器装置(例如距离传感器)的位置并且可以将所确定的车辆位置转换为所述传感器装置的位置。由此检测的信息(特别是由此检测的所述环境地图和/或所述高度剖面的区域)于是同样可以配备有位置信息。
因此,通常所述环境地图和/或所述高度剖面的区域以及所检测的图像信息都可以配备有位置信息,从而还可以确定哪些图像信息涉及到所述环境地图和/或所述高度剖面的哪些区域。
应理解,这种定位信息也可以用作针对所述环境表示的位置信息。特别地,可以例如基于所使用的(一个或多个)图像信息,向所述环境表示的成像特定环境区域的区域分配与该环境区域有关的位置信息。为了生成所述环境地图,可以根据位置信息来合并所述环境表示的多个这种区域。
优选地用至少一个安装在车辆上的相机装置检测所述图像信息,所述相机装置代表一种用于生成环境表示的传感器。根据一种变型,可以设置至少三个或至少四个相机装置,这些相机装置可以例如分布在所述车辆的周围,使得优选地在车辆的每一侧(即在前侧和后侧以及在包括车门的两个外侧上)设置相机。因此,所述环境表示可以对应于所谓的“环绕”或360°视图。如上所述,可以以视频数据的形式和/或作为图像数据流提供所述图像信息,并且对应地可以将所述相机装置构造为摄像机。
所述高度剖面(或所述环境地图)可以至少部分地基于利用以至少一个安装在车辆上的(环境)传感器装置形式的传感器所检测的信息来生成,其中安装在车辆上的传感器装置优选是与所述相机装置不同的传感器装置。特别地,可以将所述传感器装置设立成:并非像是在相机装置的情况下常见的那样基于所测量的环境光强度来检测所述车辆环境。例如,所述传感器装置可以是下列之一:测距装置,雷达装置,激光雷达装置,超声装置,光学测距装置(例如基于激光辐射)。
根据一种优选实施方式,所述图像信息用于生成所述投影屏幕的至少局部的纹理。因此换句话说,可以基于或借助于所述图像信息对所述投影屏幕的至少一个区域纹理化。这可以通过投影所述图像信息来进行,其中可以在所述图像信息击中所述投影屏幕上的区域处进行对应的纹理化,或者换句话说,可以所述图像信息到该区域上的成像可以作为对应的纹理来进行。
在另一变型中,可以借助于预先确定的填充信息而不是所述图像信息在所述投影屏幕的至少选定的(特别是突起的)区域中进行纹理化。在本公开的范畴内通常可以规定,首先将所有图像信息投影到所述投影屏幕上(例如参照预给定的时间点),并且然后事后适配所述投影屏幕的内容(例如通过局部遮没或改写投影到所述投影屏幕上的图像信息)。替代地可以规定,一开始先确定所述投影屏幕的以下区域,所述图像信息不应被投影到这些区域上或者在这些区域中应当示出除图像信息之外的信息。
因此在所述方法的范畴内还可以规定,借助于预先确定的填充信息而不是所述图像信息来确定用于纹理化的所述投影屏幕的区域。这可以根据所确定的高度剖面来进行。例如,基于所述高度剖面可以确定以下区域,在这些区域处图像信息的投影预计会导致质量降低并且应当代替地使用预先确定的填充信息。这些区域可以是突起区域,或者可以是(从车辆的角度来看)被突起区域遮盖的区域。
在一种扩展方案中,在所述投影屏幕的如下至少一个区域中借助于预先确定的填充信息而不是所述图像信息进行纹理化,其中所述至少一个区域从车辆角度来看位于所述投影屏幕的突起区域的后面(即被该突起区域遮盖)。这是基于如下思想:对于该区域不能确定有说服力的图像信息,因为从相机的角度来看,该区域被所述突起区域(或该区域所基于的高度剖面的突起结构)遮盖。为了提高所述环境表示的说服力,可以使用预先确定的填充信息,所述填充信息例如也仅用于使驾驶员注意到针对对应的区域不存在有说服力的图像信息。
就此而论,所述填充信息可以包括下列至少之一:
-预给定的颜色(例如黑色或白色);
-预给定的图案;
-针对在至少一个区域中识别的对象的纹理规定。
在后一种情况下,可以基于已知的图像评估算法并且例如基于先前存储的对象类(例如,包括交通标志、车辆类型、建筑构件、诸如路边石或人行道),对所述区域中存在的对象进行识别和分类。然后可以通过其他填充信息(或纹理规定)而不是实际的图像信息来对其进行示出。从驾驶员的角度来看,这可以提高所述环境表示的说服力,因为始终以相同的方式基于所述纹理规定来将经常重复出现的特征显示给驾驶员,并且因此使得所述环境表示的内容是能快速且直观地理解的。
本发明还涉及一种用于生成车辆的环境表示的装置,所述装置具有:
-至少一个传感器装置,用于检测用于生成车辆环境的高度剖面的信息;
-至少一个相机装置,用于检测所述车辆环境的图像信息;和
-环境表示生成装置,所述环境表示生成装置被设立为执行以下步骤:
•确定所述车辆环境的高度剖面;
•基于所述高度剖面生成用于所述环境表示的投影屏幕;
•将所述图像信息投影到所述投影屏幕的至少一部分上以生成所述环境表示,
其中,如果所确定的高度剖面显示出所述车辆环境的相应地突起的结构,则能够以至少局部地突起的方式生成所述投影屏幕,并且其中所述环境表示生成装置还被设立为,基于所述环境表示来生成所述车辆的环境地图,其中利用所述环境地图能够成像所述车辆的比所述传感器装置和所述相机装置的检测区域更大的环境区域。
在上文和下文结合所述方法所阐述的所有特征和扩展方案同样可以设置在所述装置中。特别地,所述装置可以被设立为,执行根据上文和下文的变型其中每个变型的方法。
本发明还涉及一种包括上述类型的装置的车辆。
附图说明
下面基于所附示意图来阐述本发明的实施例。其中:
图1A示出了包括根据本发明的实施例的装置的车辆的示意图,其中所述装置检测车辆环境;
图1B示出了基于图1A中的检测生成的投影屏幕的示意图;以及
图2示出了根据本发明的方法的流程图。
具体实施方式
图1A中示出了包括根据本发明的装置10的车辆100,该装置10执行根据本发明的方法。车辆100以正视图被示意性地示出,从而使视轴对应于对准车辆前侧或车辆正面的视线。可以看出,车辆100在侧面区域中(例如在未单独示出的侧视镜上并且因此不直接在面对观看者的前侧上)包括相机装置12和以测距装置形式的其他传感器装置14(例如超声传感器装置,所述超声传感器装置也可以布置在挡泥板的区域中)。
相机装置12具有由虚线示出并且圆锥形加宽的检测区域,但是由于分辨率随着距离的增加而降低,不能以期望的质量检测离得任意远的区域。传感器装置14以本身已知的方式通过超声检测到与环境中的结构的距离,这在图1A中通过单个虚线示出。因此,相机装置12以及传感器装置14分别具有限定的检测区域(即,环境的检测区域),该检测区域的大小特别是受到对所检测信息的质量要求的限制(例如,限制为小于4m或小于3m)。
尽管也没有对应地示出,车辆100在每一侧上都具有至少一个相机装置12和其他传感器装置14,从而所述车辆环境在360°检测的意义上不仅以图释的方式而且也借助传感器装置14是能够完全检测的。
在图1A中,在车辆100的侧面作为突起(也即偏离纯水平空间平面)的结构示出路边石16。该路边石不仅由连续生成所述环境的视频图像的相机装置12检测也由同样连续进行环境检测的传感器装置14检测。相机装置12和传感器装置14将所检测的并且可选地还已经评估的信息发送给环境表示生成装置18,该环境表示生成装置例如可以被集成到车辆100的控制设备中或者作为控制设备被提供。
基于由传感器装置14检测的信息,环境表示生成装置18创建环境的高度剖面。在此,该高度剖面优选地合并各个车辆侧面上的多个或所有相对应的传感器装置14的信息,其中在图1A中未单独示出相对应的多个传感器装置14。此外,为了创建所述高度剖面还可以评估所检测的相机图像,以便例如对传感器装置14的测量信号进行合理性检查和/或对由此检测的突起区域的边界进行检查或更精确地定义所述边界(例如,以便通过图像识别来验证或确定图1A中在紧邻的车辆地基面20之上的路边石16的垂直高度)。
基于所述高度剖面,环境表示生成装置18还生成虚拟的投影屏幕22(参见图1B),然后该环境表示生成装置18以本身已知的方式将所有相机装置12同时检测的图像信息投影到投影屏幕中以生成所述环境表示。
在图1B中,示意性地示出了由环境表示生成装置18生成的(虚拟)投影屏幕22的片段。该投影屏幕可以例如被定义为数据集,该数据集定义投影屏幕22例如围绕虚拟车辆中心点M(或所谓的虚拟相机)的空间延伸。投影屏幕22没有向驾驶员单独示出,而是仅用于生成所述环境表示。不同于图1B中的图示,投影屏幕22在此被定义为三维构造,并且例如也延伸到图1B的图像平面中并且以同等的方式也延伸到车辆中心点M的左侧。
可以看出,投影屏幕22不具有纯平面的形状(即,在单个平坦或拱曲的二维平面中延伸)。替代于此,投影屏幕22在路边石16的区域中同样具有突起区域24。因此,投影屏幕22类似于所述车辆环境的检测到的高度剖面延伸或对应于所述高度剖面地成形。这在图1B中以投影屏幕22的阶梯状的垂直升高来表现,该垂直升高相应于检测到的高度剖面(即,反映了由于路边石16引起的不平坦的高度剖面)。
环境表示生成装置18使用该投影屏幕22,以便将借助于相机装置12检测的图像信息投影到所述投影屏幕上。这根据现有技术中已知的方案进行,这些方案部分地在开始描述的出版物中被阐述,或者已经在本申请人提供的“全景摄像”解决方案中使用。
在所述投影的范畴内,将起初未单独纹理化的投影屏幕22(或与所述高度剖面相对应的环境地图)纹理化。这意味着所述图像信息通过投影布置或分布在投影屏幕22内,或者换句话说填充在投影屏幕22内。
由于投影屏幕22根据检测到的高度剖面同样可以构造得突起,因此可以减少在迄今为止投影到纯水平面中的情况下出现的失真(例如,投影到与图1A的车辆地基面20相对应的平面中)。因此,本发明实现了所述环境表示的更高质量,这是因为所述环境表示是逼真的且对于驾驶员而言更容易理解。
通过这种方式获得的环境表示可以在车辆内部空间中的显示装置中被显示给驾驶员。优选地,这作为所谓的鸟瞰图或车辆俯视图来进行,其中,所述车辆作为符号被叠加显示。可以例如在上述DE 10 2015 002 438 A1的图4和图5中的区域29a和29d中找到同类图示的示例。
然而,根据本发明还规定,将这种环境表示用于生成所述车辆的比较大的环境地图。更确切地说,环境表示生成装置18被设立用于,例如基于上文阐述的位置信息来组合所生成的环境表示(或环境表示的不同区域),以生成(虚拟或数字的)环境地图,以便成像所述车辆的大于传感器12、14的检测区域并且例如在至少一个维度上包括几米(例如至少5m或至少10m)的环境区域。因此,总体上可以生成逼真的且比较大的环境地图(或换句话说,生成大面积的经组合的环境表示),借助于该环境地图能够实现:关于环境方面的通常全面的信息集合以及更精确的图示。该环境地图可以被用于:在车辆内部空间中的显示装置上向驾驶员显示与迄今为止的解决方案相比而言更大、更逼真和/或在行驶期间以及特别是在操纵过程中不断更新并且还能快速调用的环境地图区段。
下面基于图1B阐述根据本发明的解决方案的另一优选构型方案。在图1B中标记了区域26,从车辆100(或车辆中心点M)的角度来看,该区域26定位于突起区域24的后面,即定位于投影屏幕22的对应于路边石16的区域的后面。
可能出现这样的情况,即对于这种区域26而言不能借助于相机装置14检测图像信息,因为它们被突起结构(在这种情况下是路边石16)遮盖。可以在单独的方法步骤中确定是否存在这种潜在被遮盖的区域26。为此可以使用所述高度剖面的信息,例如使用局部检测的高度H,如图1B中针对突起区域24中的投影屏幕22所示出的高度H。如果该高度超过最小阈值,则可以假定:从车辆的角度来看位于后面的区域预计是被遮盖的并且对此不能确定有说服力的图像信息。
原则上,所示出的高度H也可以选择得显著更大,例如作为一种投影屏幕22的垂直分界面。针对这种情况,可以投影到所述垂直定界表面,而并非强制性地需要确定被遮盖的区域或设置单独的填充信息。
然而,在所示的变型中,期望确定并单独地示出被遮盖的区域26。如果(例如,由环境表示生成装置18并且例如在考虑上面讨论的信息的情况下)已经确定了对应的(潜在)被遮盖的区域26,则可以针对投影屏幕22的该区域26规定:所述环境表示同样在该区域26中不是基于所检测的图像信息生成的。相反,在那里可以使用预先确定的(或同义地:预给定的)填充信息,例如预给定的颜色或图案,所述填充信息可以以信号通知驾驶员图像信息的缺少。替代地,也可以将哑色或直接将黑色区域预给定作为填充信息,以便使驾驶员的注意力集中在所述环境表示内实际存在的图像信息,而不是在视觉上单独突出强调图像信息的缺少。也通过这种方式提高了所述环境表示的说服力,因为所述环境表示内图像信息的不恰当布置和/或不自然的失真是不大可能的。
可以在车辆100的行驶期间连续地执行对应的过程,例如沿着至少5m或至少10m的行驶路段。该路段超出传感器12、14的检测区域多倍,特别是当车辆100静止时。然后,基于此,可以如上文阐述的那样持续地补充或组合环境地图,并且因此创建一种关于所述车辆环境的数字的且能虚拟成像的信息集合。
图2中示出了上面基于图1A、图1B描述的方法的流程图,但是其中省去了对可能被遮盖的区域26的考虑。
如所描述的,在步骤S1中通过(一个或多个)相机装置12和通过(一个或多个)传感器装置14来检测所述车辆环境。这些信息被传送到环境表示生成装置18以进行评估。环境表示生成装置18在步骤S2中确定所述车辆环境的优选360°的高度剖面。基于此,在步骤S3中,特别是通过根据所述高度剖面中相应地突起的结构设置投影屏幕22的突起区域24,生成(虚拟的)投影屏幕22。然后在步骤S4中,将由相机装置12检测的图像信息投影到投影屏幕22上。在步骤S5中,可以将结果显示在车辆内部空间中的显示装置上。
应理解,可以重复执行步骤S1至S5,以便持久地更新所生成的环境表示。这通过从S5到S1的对应的箭头表示。同样,这些步骤也可以部分并行地执行。例如,在执行步骤S3时就已经可以再次开始在步骤S1意义上重新进行环境检测,或者该环境检测通常可以连续地并且不间断地进行。
没有单独示出的是,通过这种方式在行驶期间也可以由分别生成的(并且必要时所显示的)环境表示连续地组合成相比较而言更大面积的环境地图。
附图标记列表
10 装置
12 相机装置
14 传感器装置
16 路边石
18 环境表示生成装置
20 车辆地基面
22 投影屏幕
24 突起结构
26 被遮盖的区域
100 车辆
M 车辆中心点
H 高度

Claims (10)

1.用于生成车辆(100)的环境表示的方法,所述方法包括:
-确定车辆环境的高度剖面;
-检测所述车辆环境的图像信息;
-将所述图像信息投影到投影屏幕(22)的至少一部分上以生成所述环境表示;
其中如果所确定的高度剖面显示出所述车辆环境的相应地突起的结构(16),则以至少局部地突起的方式生成所述投影屏幕(22);以及
-基于所述环境表示来生成所述车辆(100)的环境地图,利用所述环境地图能够成像所述车辆(100)的以下环境区域,所述环境区域大于用于确定所述高度剖面和/或所述图像信息的传感器的检测区域。
2.根据权利要求1所述的方法,其中,利用以至少一个安装在车辆上的相机装置(12)形式的传感器检测所述图像信息。
3.根据前述权利要求中任一项所述的方法,其中,所述高度剖面至少部分地基于利用以至少一个安装在车辆上的传感器装置(14)形式的传感器所检测的信息来生成。
4.根据权利要求3所述的方法,其中,所述传感器装置(14)是下列之一:测距装置,雷达装置,激光雷达装置,超声装置,光学测距装置。
5.根据前述权利要求中任一项所述的方法,其中,所述图像信息用于生成所述投影屏幕的至少局部的纹理。
6.根据前述权利要求中任一项所述的方法,其中,借助于预先确定的填充信息而不是所述图像信息在所述投影屏幕(22)的至少一个区域中进行纹理化。
7.根据前述权利要求中任一项所述的方法,其中,在所述投影屏幕(22)的如下至少一个区域(24)中借助于预先确定的填充信息而不是所述图像信息进行纹理化,其中所述至少一个区域从车辆角度来看位于所述投影屏幕(22)的突起区域(24)的后面。
8.根据权利要求6或7所述的方法,其中,所述填充信息包括下列至少之一:
-预给定的颜色;
-预给定的图案;
-针对在至少一个区域中识别的对象的纹理规定。
9.用于生成车辆(100)的环境表示的装置(10),所述装置(10)具有:
至少一个传感器装置(14),用于检测用于生成车辆环境的高度剖面的信息;
至少一个相机装置(12),用于检测所述车辆环境的图像信息;和
环境表示生成装置(18),所述环境表示生成装置被设立为执行以下步骤:
•确定所述车辆环境的高度剖面;
•基于所述高度剖面生成用于所述环境表示的投影屏幕(22);
•将所述图像信息投影到所述投影屏幕(22)的至少一部分上以生成所述环境表示,
其中,如果所确定的高度剖面显示出所述车辆环境的相应地突起的结构(16),则能够以至少局部地突起的方式生成所述投影屏幕(22),并且
其中,所述环境表示生成装置(18)还被设立为,基于所述环境表示来生成所述车辆(100)的环境地图,利用所述环境地图能够成像所述车辆(100)的比所述传感器装置(14)和所述相机装置(12)的检测区域更大的环境区域。
10.车辆(100),所述车辆包括根据权利要求9所述的装置(10)。
CN201980056355.3A 2018-08-31 2019-08-09 生成车辆的环境表示的方法和装置及具有这种装置的车辆 Pending CN112585959A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018214875.9 2018-08-31
DE102018214875.9A DE102018214875A1 (de) 2018-08-31 2018-08-31 Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
PCT/EP2019/071391 WO2020043461A1 (de) 2018-08-31 2019-08-09 Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung

Publications (1)

Publication Number Publication Date
CN112585959A true CN112585959A (zh) 2021-03-30

Family

ID=67704494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056355.3A Pending CN112585959A (zh) 2018-08-31 2019-08-09 生成车辆的环境表示的方法和装置及具有这种装置的车辆

Country Status (5)

Country Link
US (1) US20210323471A1 (zh)
EP (1) EP3844947A1 (zh)
CN (1) CN112585959A (zh)
DE (1) DE102018214875A1 (zh)
WO (1) WO2020043461A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148914A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 表示制御装置、車両及び表示制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101910866A (zh) * 2008-01-09 2010-12-08 罗伯特·博世有限公司 用于显示车辆环境的方法和装置
US20140375812A1 (en) * 2011-10-14 2014-12-25 Robert Bosch Gmbh Method for representing a vehicle's surrounding environment
US20150084755A1 (en) * 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
DE102015217258A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges
US20170203692A1 (en) * 2014-05-08 2017-07-20 Continental Automotive Gmbh Method and device for the distortion-free display of an area surrounding a vehicle

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
JP3692082B2 (ja) 2002-01-23 2005-09-07 トヨタ自動車株式会社 駐車支援装置
US7483549B2 (en) * 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP2006160193A (ja) * 2004-12-10 2006-06-22 Alpine Electronics Inc 車両運転支援装置
JP4456086B2 (ja) * 2006-03-09 2010-04-28 本田技研工業株式会社 車両周辺監視装置
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
DE102010051206A1 (de) 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
EP2750382B1 (en) * 2011-08-26 2017-06-28 Panasonic Intellectual Property Management Co., Ltd. Driving assistance apparatus
KR101459835B1 (ko) * 2012-10-11 2014-11-07 현대자동차주식회사 입체물 표시 제어 장치 및 방법
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
DE102013019374B4 (de) 2013-11-19 2022-09-08 Audi Ag Verfahren zum Betrieb eines zur vollständig automatisierten Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugsystems und Kraftfahrzeug
US9767366B1 (en) * 2014-08-06 2017-09-19 Waymo Llc Using obstacle clearance to measure precise lateral
DE102014114999A1 (de) * 2014-10-15 2016-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
DE102015002438A1 (de) 2015-02-26 2016-09-01 Daimler Ag Verfahren zum Betreiben eines Kraftfahrzeugs für ein Durchführen eines automatischen Parkvorgangs und Kraftfahrzeug mit einem Parksystem
DE102015104940A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Höheninformationen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015213694A1 (de) * 2015-07-21 2017-01-26 Robert Bosch Gmbh Sensorsystem zum Erkennen überstehender oder freiliegender Objekte in der Umgebung eines Fahrzeugs
DE102016013696A1 (de) 2016-11-17 2017-05-24 Daimler Ag Verfahren und Vorrichtung zur Parkplatzerkennung
EP4155128A1 (en) * 2016-12-09 2023-03-29 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle
JP7039879B2 (ja) * 2017-08-03 2022-03-23 株式会社アイシン 表示制御装置
DE102018210812A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
EP3693244B1 (en) * 2019-02-06 2022-08-17 Continental Autonomous Mobility Germany GmbH Vehicle and method for autonomously operating a vehicle
US20220172490A1 (en) * 2019-03-26 2022-06-02 Sony Semiconductor Solutions Corporation Image processing apparatus, vehicle control apparatus, method, and program
EP4191274A1 (en) * 2021-12-03 2023-06-07 Aptiv Technologies Limited Radar-based estimation of the height of an object
US11645775B1 (en) * 2022-06-23 2023-05-09 Plusai, Inc. Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101910866A (zh) * 2008-01-09 2010-12-08 罗伯特·博世有限公司 用于显示车辆环境的方法和装置
US20140375812A1 (en) * 2011-10-14 2014-12-25 Robert Bosch Gmbh Method for representing a vehicle's surrounding environment
US20150084755A1 (en) * 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
US20170203692A1 (en) * 2014-05-08 2017-07-20 Continental Automotive Gmbh Method and device for the distortion-free display of an area surrounding a vehicle
DE102015217258A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges

Also Published As

Publication number Publication date
DE102018214875A1 (de) 2020-03-05
WO2020043461A1 (de) 2020-03-05
US20210323471A1 (en) 2021-10-21
EP3844947A1 (de) 2021-07-07

Similar Documents

Publication Publication Date Title
US11572017B2 (en) Vehicular vision system
CN107878301B (zh) 用于通过机动车辆的投影系统投射图像的方法和投影系统
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
US10293745B2 (en) Projection of a pre-definable light pattern
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
JP5811804B2 (ja) 車両用周辺監視装置
EP2285109B1 (en) Vehicle image processor, and vehicle image processing system
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
CN107878300B (zh) 通过机动车辆的投影系统投射图像的方法和投影系统
US20080151054A1 (en) Driving support method and driving support apparatus
EP1961613B1 (en) Driving support method and driving support device
JP4796676B2 (ja) 車両上方視点画像表示装置
CN109076163A (zh) 成像控制装置、成像控制方法以及成像装置
CN102149574A (zh) 图像照射系统及图像照射方法
EP3330117A1 (en) Vehicle display device
CN107249934B (zh) 无失真显示车辆周边环境的方法和装置
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN107264402A (zh) 环视提供设备和包括其的车辆
CN104185009A (zh) 前方路缘观察系统中的增强的俯瞰视图生成
US10930070B2 (en) Periphery monitoring device
GB2573792A (en) Surround monitoring system for vehicle
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
US11562576B2 (en) Dynamic adjustment of augmented reality image
CN112334947A (zh) 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210330

WD01 Invention patent application deemed withdrawn after publication