CN112585958A - 用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆 - Google Patents

用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆 Download PDF

Info

Publication number
CN112585958A
CN112585958A CN201980056354.9A CN201980056354A CN112585958A CN 112585958 A CN112585958 A CN 112585958A CN 201980056354 A CN201980056354 A CN 201980056354A CN 112585958 A CN112585958 A CN 112585958A
Authority
CN
China
Prior art keywords
image information
surroundings
vehicle
map
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980056354.9A
Other languages
English (en)
Other versions
CN112585958B (zh
Inventor
A·乌尔班
G·迈尔
S·齐巴特
F·施威特斯
G·塞兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Volkswagen AG
Original Assignee
Audi AG
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Volkswagen AG filed Critical Audi AG
Publication of CN112585958A publication Critical patent/CN112585958A/zh
Application granted granted Critical
Publication of CN112585958B publication Critical patent/CN112585958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种用于产生车辆(100)的以图像信息来纹理化的周围环境地图的方法,该方法具有如下步骤:利用至少一个车载摄像机装置(16)来检测车辆周围环境的至少第一图像信息和第二图像信息;产生车辆(100)的周围环境地图;确定周围环境地图的对其来说不仅存在第一图像信息而且存在第二图像信息的至少一个区域;并且根据如下标准中的至少一个标准来选择第一图像信息或者第二图像信息用于周围环境地图的该区域的纹理化:‑选择分辨率更高的那些图像信息;‑选择最新的图像信息。本发明还涉及一种用于产生车辆(100)的以图像信息来纹理化的周围环境地图的装置(1)和一种具有这种装置(1)的车辆(100)。

Description

用于产生车辆的以图像信息来纹理化的周围环境地图的方法 和装置以及包括这种装置的车辆
技术领域
本发明涉及一种用于尤其是结合停车过程来产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及一种包括这种装置的车辆。
背景技术
在车辆中使用图像信息来产生周围环境表示是公知的。周围环境表示通常被用于将车辆的当前运行情况通知驾驶员并且尤其是向驾驶员提供当前的车辆周围环境的图示。这例如可以借助于在车辆内部空间中的显示装置来实现,在该显示装置上显示周围环境表示。
在现有技术中存在借助于车载摄像机来创建周围环境表示的方案。在此,周围环境表示可以以所谓的俯视或鸟瞰视角的方式来被创建和显示,在该周围环境表示中,出于定向目的常常使车辆本身的模型图示淡入(例如在图像中间)。换言之,公知如下周围环境表示,在所述周围环境表示的情况下,车辆的模型以俯视图被呈现以及车辆周围环境被呈现,其中车辆周围环境依据所检测到的摄像机图像来被描绘。这种解决方案由申请人以“区域视图(Area View)”的名称来提供。
周围环境表示通常由被多个车载摄像机装置所检测到的图像组成。为此公知如下方案,其中产生(虚拟)投影屏幕并且将图像投影到该投影屏幕中,其中多个摄像机的图像在相对应地同时投影的情况下组合成周围环境表示。在此,例如根据这些摄像机装置的公知的安装位置和/或视角来进行该投影。
在该上下文中,DE 10 2010 051 206 A1公开了将多张部分图像组合成超出这些部分图像的更大的区域,其中附加的符号(所谓的人造图像元素)也可以被淡入。其它技术背景以DE 10 2015 002 438 A1、DE 10 2013 019 374 A1、DE 10 2016 013 696 A1和DE603 18 339 T2的形式存在。
还公知的是:为车辆创建所谓的周围环境地图,在这些周围环境地图中寄存而且尤其是位置相关地寄存关于车辆周围环境的信息(也就是说涉及在周围环境地图之内的具体位置)。这些信息可以由车辆的传感装置、例如所谓的周围环境传感器来检测。这些传感装置通常可以被设立为以光学方式、以声学方式、通过超声和/或借助于雷达来检测周围环境。这样的传感装置的示例是(光学)测距装置、雷达传感器、激光雷达传感器或超声传感器。周围环境地图可以作为文件和/或数字信息收集例如被寄存在车辆的控制装置中并被持续更新。原则上,这种周围环境地图也可能会被用于向车辆的驾驶员显示周围环境表示。
但是已经表明:利用公知的方案,并不能总是实现周围环境表示的所希望的质量(也就是说接近现实)。
发明内容
因此,提出了如下任务:改善车辆的周围环境表示的质量。
该任务利用按照随附的权利要求1的方法、按照随附的权利要求9的装置和按照权利要求10的车辆来被解决。易于理解的是:开头讨论过的变型方案和特征也可以单独或以任意组合在本发明中被提供,除非另有说明或显而易见。
本发明的基本思想在于:例如借助于上文阐述的传感装置来创建周围环境地图并且利用由至少一个摄像机装置所检测到的图像信息来对该周围环境地图进行纹理化,其中经纹理化的周围环境地图可以被用作周围环境表示并且被向驾驶员显示。尤其是当周围环境地图包含和/或描绘关于周围环境的三维造型的信息和/或周围环境的高度轮廓时,关于此可以产生接近现实的周围环境表示。
本发明的基本思想进一步在于:根据需要或符合情况地选择适合于周围环境地图的纹理化的图像信息。例如已经认识到;在行驶(也就是说朝任意方向以不是0 km/h的速度且优选地在产生牵引力的情况下的车辆移动)期间并且尤其是在停车机动的情况下,周围环境区域可能不一样地被放在车辆的摄像机装置的检测区域内或可能在检测区域内移动。由于摄像机装置的检测区域通常能分成高分辨率区域和低分辨率区域,在所述高分辨率区域和低分辨率区域能相对应地产生质量较好或较差的图像信息,所以对于同一周围环境区域来说可能在行驶期间不仅存在高质量的图像信息而且存在较低质量的图像信息。因此,按照一个替选方案,本发明提出:在对周围环境地图的纹理化方面考虑涉及同一周围环境区域的图像信息的不同质量等级并且尤其是优选对于该纹理化来说高质量的图像信息。
但是,同样已经认识到:在某些运行情况下,可以优选使用当前的图像信息。例如当周围环境中的变化被查明且因此为了对周围环境的接近现实的描绘而必须更新周围环境表示时,情况如此。
按照本发明,还可以规定:考虑上文提到的选择标准中的两个选择标准,但是按照标准优选其中的一个选择标准。例如,按照标准可以优选并选择高质量的图像信息用于纹理化,除非对于相对应的所要纹理化的区域来说存在最新的图像信息。
详细地,提出了一种用于产生车辆的以图像信息来纹理化的周围环境地图的方法,该方法具有如下步骤:利用至少一个车载摄像机装置来检测车辆周围环境的至少第一图像信息和第二图像信息;(例如基于由随后阐述的(周围环境)传感装置所检测到的信息)产生车辆的(虚拟)周围环境地图;确定周围环境地图的对其来说不仅存在第一图像信息而且存在第二图像信息的至少一个区域;并且根据如下标准中的至少一个标准来选择第一图像信息或者第二图像信息用于周围环境地图的该区域的纹理化:
- 选择分辨率更高的那些图像信息;
- 选择最新的图像信息。
通常,经纹理化的周围环境地图可以是周围环境表示或者被用作这种周围环境表示。尤其可以是以图像文件和/或视频文件为形式或者基于图像文件和/或视频文件产生的周围环境表示。该周围环境表示可以在显示装置上能显示,尤其是在车辆内部空间中能显示。
如上所述,周围环境地图可以描绘周围环境的特性以及尤其是该周围环境的结构和/或造型。按照一个变型方案,周围环境地图包括周围环境的高度轮廓,其中可涉及车辆周围环境的完整的三维轮廓。但是,至少车辆周围环境的结构的沿垂直空间方向的延伸尺寸应该被检测或在周围环境地图中被寄存和/或描绘,其中垂直空间方向优选地垂直于车辆地面地走向。易于理解的是:可检测到的高度轮廓(或者还有车辆周围环境的完整的三维轮廓)的外形尺寸例如可能受到所使用的传感装置及其检测区域的限制。
通常,周围环境地图可以作为文件存在和/或可以是数字信息收集,该数字信息收集例如以(测量)点收集和/或网格模型的形式来描绘周围环境。纹理化可以被理解为(例如通过虚拟或计算机辅助投影)将图像信息映射到周围环境地图上和/或用图像信息来填充周围环境地图的区域或表面。因此,周围环境地图可以就开头阐述的投影屏幕而言发挥作用。
所检测到的图像信息可以是视频信息和/或视频图像数据流。相对应地,周围环境地图的纹理化可以持续被更新和/或被产生,例如通过持续馈入新的(也就是说当前所检测到的)图像信息来被更新和/或被产生。为了产生纹理化,在使用以不同的摄像机装置所检测到的图像信息的情况下优选地使用在相同的检测时间点所检测到的或所记录的图像信息。优选地,利用至少一个车载摄像机装置来检测图像信息。按照一个变型方案,可以设置至少三个或至少四个摄像机装置,这些摄像机装置例如可以围绕着车辆分布,使得优选地在每个车辆侧面(也就是说在正面和背面以及在包括车门的两个外侧)都设置有摄像机。因此,周围环境地图可以以所谓的“环绕式(surround)”视图或者还叫做360°视图的方式被显示给驾驶员。如所提及的那样,图像信息可以以视频数据的形式和/或作为图像数据流被提供并且摄像机装置可以相对应地构造为视频摄像机。
周围环境地图可以至少部分地基于利用至少一个车载传感装置所检测到的信息来被产生,其中车载传感装置优选地是与这些摄像机装置不同的传感装置。传感装置尤其可以被设立为:不是像在摄像机装置方面常见的那样基于所测量到的周围环境光强度来检测车辆周围环境。传感装置例如可以是如下装置之一:测距装置、雷达装置、激光雷达装置、超声装置、光学测距装置(例如基于激光辐射)。
周围环境地图通常可以在行驶期间被产生并且例如覆盖至少5 m、至少10 m、至少15 m或至少20 m的行驶路程(也就是说周围环境地图可以沿着这种行驶路程延伸)。接着,根据环形存储器的方式或者也根据所谓的FIFO原理(先进先出(First in First Out)),可以将周围环境地图的优选地与当前的行驶方向相反或相对于当前的行驶方向处在车辆后方的区域删除,并且可以补充周围环境地图的新的优选地沿行驶方向的区域。这可以通过对这些区域的信息的相对应的删除和补充来实现。
此外,通常也可以确定车辆在周围环境地图之内的位置。为此,可以以本身公知的方式动用里程表信息,所述里程表信息例如检测或描绘车轮移动。还可以检测并考虑转向角和/或车辆倾斜度。同样可以动用导航系统的信息(尤其是定位信息),其中这样的信息例如可以基于GPS信号被产生。然而,优选的是不借助这样的信息以及尤其是GPS信号的变型方案,例如以便与针对这样的信号的当前的接收条件无关。
这也可以以如下方式来实现:可给由摄像机装置所检测到的图像信息同样分配相对应的位置信息。在这种情况下有利的是:摄像机装置同样位于并保持在车辆之内(也就是说在其中放置于保持不变的位置和/或恒定地取向并且因此具有恒定的视角)。基于此,例如可以将车辆位置换算成摄像机装置的位置和/或可以给所检测到的图像信息分配相对应的位置信息。
类似地,也可以给周围环境地图的区域分配相对应的位置信息,其中例如可以动用用于产生周围环境地图的传感装置(例如距离传感器)的位置并且可以将所确定的车辆位置换算成该传感装置的位置。接着,同样可以给由该传感装置所检测到的信息配备位置信息。
因此,通常不仅可以给周围环境地图的区域配备位置信息而且可以给所检测到的图像信息配备位置信息,使得也可以确定哪些图像信息涉及周围环境地图的哪些区域。
通常,本文中所介绍的解决方案可涉及停车过程或用于停车过程。因此,如果驾驶员例如激活与停车过程相关联的停车位搜索过程或其它辅助功能或者一般来说进行可推断出停车愿望的输入,则可以选择性地激活或者实施该解决方案。最迟在这种情况下,周围环境地图也可以以本文中所描绘的方式被产生和/或被纹理化。尤其是最迟在这种情况下,可以在周围环境地图之内进行车辆定位。
如果设置多个摄像机装置,则可以规定:考虑并优选地存储由这些摄像机装置总共检测到的图像信息而且接着据此按照不同标准来做出关于周围环境地图的纹理化的选择。因此,在这种情况下,哪些摄像机装置提供哪些图像信息可以被视为无关紧要,而是可以仅仅考虑图像信息的检测时间点(更新标准)或者图像信息的分辨率(分辨率标准)。
开头所描绘的内容也可以在所提到的标准中被考虑,但是以分级形式被考虑。换言之,一个标准只要不发生特定运行情况和/或满足其它条件而且接着根据相对应的另一标准对图像信息进行选择的话就可以优先。例如,按照标准可以考虑分辨率标准,除非查明有其中优选考虑最新的图像信息的运行情况。这例如可能涉及到有对象(例如行人或载客车(PKW))进入车辆的至少一个摄像机装置的检测区域,这可以借助于本身公知的图像分析算法来被识别。
更准确地说,一个扩展方案规定:(最迟)当在该区域之内识别出车辆周围环境的变化和/或在车辆周围环境中有预定对象时,使用最新的图像信息。
附加地或替选地,(最迟)当车辆距周围环境地图的至少一个区域小于预先给定的距离阈值时,可以使用最新的图像信息。在这种情况下,距离阈值尤其可以在行驶方向上被考虑。该变型方案所基于的思想在于:车载摄像机装置通常在靠近车辆处具有高分辨率的检测区域而随着距车辆的距离增加而只能检测到低分辨率的图像信息。因此,如果小于距离阈值,则可以概率高地且例如通过对距离阈值的相对应的选择来假定:相对应的区域进入了高分辨率的检测区域。因此,在某种程度上说可以自动保证:具有与已经用于该纹理化的图像信息相比更高的分辨率的图像信息例如在不需要对所提到的图像信息的分辨率的明确比较的情况下就被使用。
如果该距离阈值优选地在行驶方向上被考虑,则还可以保证:只有周围环境地图的之前离车辆还远且因此可能只以低分辨率被检测到的那些区域才被新的图像信息覆盖。尤其可以规定:仅仅在行驶方向上考虑距离阈值或者也包括一般的距离相关性并且尤其不与行驶方向相反地考虑距离阈值或者也包括一般的距离相关性。即在后者的情况下可能发生相反的情况:首先靠近车辆且因此高分辨地检测到的区域离车辆越来越远。因此可以防止:由于相对应的区域接着可能距车辆的距离增加且也处在摄像机装置的低分辨率的检测区域内,所以周围环境地图被稍后检测到的低分辨率的图像信息所覆盖。
优选地,在周围环境地图的以具有超过阈值的分辨率的图像信息来被纹理化的区域,关于所要使用的图像信息没有进行其它选择,或者只有当在该区域内识别出车辆周围环境的变化时才进行其它选择。该阈值例如可以是比较高的分辨率而且尤其是最大分辨率要不然可以是最大分辨率的至少50%、至少75%或者至少90%。该变型方案可以帮助减少计算花费,因为不必针对全部区域都搜索也许更高分辨率的图像信息,而是一次性地检测具有所希望的最低质量的图像信息就可以被视为足够。但是,如果在该区域之内识别出车辆周围环境的变化,则作为替代也可以使用最新的图像信息以及尤其是当前存在的图像信息。在这种情况下,也可以接受更低的分辨率要不然不进行对分辨率的检查,因为作为替代该纹理化的更新处在前景中。
在一个扩展方案中,周围环境地图至少局部地以第一图像信息和第二图像信息来被纹理化并且紧接着确定如下区域,在所述区域中:
- 相应其它图像信息具有更高的分辨率;和/或
- 相应其它图像信息是最新的。
经此可以保证:首先向驾驶员提供尽可能或者也包括完整的经纹理化的周围环境地图,该周围环境地图接着可以根据需要在局部被更新或被覆盖。
按照另一实施方式,可存在多个摄像机装置,并且可以由不同的摄像机装置来检测第一图像信息和第二图像信息。在该上下文中,这些摄像机装置的相应的检测区域可以小于50%地一致或小于50%地空间重合。这些摄像机装置尤其可以放置在车辆的不同的且尤其是相反的侧面上。然而,按照本发明能够实现:例如当同一周围环境区域由于在停车过程中的调车机动而被不同的摄像机装置检测到时,为此所存在的图像信息可以组合地被查看或可以根据上述标准从整体存在的信息中得出。
还可以规定:周围环境地图大于(经纹理化的)周围环境地图的能在显示装置上显示的片段。换言之,周围环境地图因此可以作为数字模型和/或所存储的图像优选地持续被更新,但是在显示装置上只以片段被呈现。这具有如下优点:周围环境地图也已经能在所呈现的片段之外的区域被分析或者这些区域的信息能以其它方式被利用。
本发明还涉及一种用于产生车辆的以图像信息来纹理化的周围环境地图的装置,该装置具有:
- 检测装置,用于检测车辆周围环境的至少第一图像信息和第二图像信息;和
- 周围环境地图产生装置,该周围环境地图产生装置被设立为:(例如基于借助上文提到的传感装置所检测到的信息)产生车辆的周围环境地图,并且为了周围环境地图的纹理化针对周围环境地图的对其来说不仅存在第一图像信息而且存在第二图像信息的至少一个区域根据如下标准中的至少一个标准来选择第一图像信息或者第二图像信息:
- 选择分辨率更高的那些图像信息;
- 选择最新的图像信息。
上文和下文结合该方法所阐述的全部特征和扩展方案都同样可以在该装置中规定。该装置尤其可以被设立为:实施按照上文和下文的变型方案中的任一变型方案的方法。
本发明还涉及一种车辆,该车辆包括上文的类型的装置。
最后,应指出的是:除非另有说明或显而易见,对周围环境地图的产生就也可以被理解为对已经存在的周围环境地图的更新(即在一定程度上对当前的周围环境地图的产生)。
附图说明
在下文,依据随附的示意图来阐述本发明的实施例。其中:
图1示出了车辆的示意图,该车辆包括按照本发明的实施例的装置,其中该装置实施按照本发明的方法。
具体实施方式
在图1中示意性地勾画出车辆100,该车辆包括按照本发明的装置1。车辆100的正面或车头指向区域B的方向而背面指向区域A的方向。在车辆100的包括车门的侧面示意性地勾画出侧视镜102。
车辆100在全部侧面都包括(周围环境)传感装置14,其中在图1中仅针对正面示出了相对应的传感装置14。车辆100在全部侧面还包括摄像机装置16,尤其是也在两个侧视镜102中包括摄像机装置16。因此,就360°检测而言,车辆周围环境不仅能以图像方式被检测而且能借助于传感装置14完整地被检测。摄像机装置16以及还有传感装置14还布置为使得它们的检测区域只是部分地重合而且尤其是这些检测区域小于50%地且尤其是小于20%地空间一致。
传感装置14被设立为:检测用于创建周围环境地图的周围环境信息。在所示出的情况下,传感装置是超声传感器,其中在车辆100之内也可以使用开头提到的类型的任何其它传感器类型以及还有这些传感器类型的组合。周围环境地图作为包含数字信息的文件持续被更新并且被存放在车辆100的存储装置18中。在所示出的情况下,周围环境地图描述了车辆周围环境的三维结构。
摄像机装置16分别构造为视频摄像机并且持续检测车辆周围环境。每个摄像机装置16的视频或图像数据流以及由传感装置14所检测到的信息都被传输给周围环境地图产生装置20。除了产生周围环境地图之外,周围环境地图产生装置20也可以提供其它上文以及下文所阐述的功能并且为此例如包括相对应的程序指令和/或与车辆的单元的关联。
在图1中示出了在如下状态下的车辆,在该状态下,该车辆从区域A出发行驶到区域B。这两个区域彼此间隔开大约15 m。在该行驶期间,周围环境地图会持续被更新并且图像信息持续被检测。
尤其是在当前情况下假设:区域A被选择作为用于产生周围环境地图的起点,例如因为车辆在那里被开动或被激活(例如通过点火或者其它电激活)和/或因为在该区域识别出驾驶员的停车愿望或者用信号通知用户输入,然后按照当前的变型方案来激活对周围环境地图的产生。
在区域A,将车辆位置设置到零并且也首次或重新创建针对停车过程所产生的周围环境地图。紧接着,例如基于里程表信息来检测车辆100的移动,并且例如确定相对于区域A的距离以及优选地还有取向,该区域用作一种零点。因此,对于每个时间点来说也存在车辆100的位置信息。
相对应地,也可以给传感装置的所检测到的图像信息和/或周围环境信息以及因此周围环境地图的基于此所创建的区域配备位置信息。全部这些信息都可以被存放在存储装置18中,该存储装置也可以是周围环境地图产生装置20的组成部分。
结果,周围环境地图产生装置20因此可动用周围环境地图的图像信息和区域,这些图像信息和区域可以依据位置信息来被彼此分配或者换言之可以依据位置信息来查明这些图像信息和区域之间的对应关系。因此,形象地说可以确定:哪些图像信息可靠地涉及周围环境地图的哪些区域或对这些区域进行描绘。
由于摄像机装置16持续产生图像信息,所以对于每个摄像机装置16来说也存在涉及不同时间点的图像信息。如果车辆100正在移动,则这些图像信息如所预期的那样描绘周围环境以及因此周围环境地图的不同区域。但是,如下文所阐述的那样,也可能发生如下情况,其中图像信息至少部分地描绘周围环境和周围环境地图的一致的区域,使得可以在这些区域之间做出选择用于周围环境地图的纹理化。
如上文一般性地描绘的那样,纹理化可以被理解为将图像信息映射或投影到周围环境地图上。在此,图像信息可仅仅部分地(也就是说仅仅单个图像的片段)被使用,而且通常也可以使全部摄像机装置14的图像信息彼此组合。在此,全部图像信息都优选地涉及一致的检测时间点。
优选地,周围环境地图完整地被纹理化,其中然而被纹理化的周围环境地图的仅仅只有一个示意性勾画出的片段30能在车辆内部空间中的显示装置上显示。该片段30类似于车辆移动地在周围环境地图之内变动并且优选地始终在中间或中心包含车辆100。至少所显示的该片段30优选地以本文中所描绘的方式被纹理化。片段30可以以本身公知的方式作为所谓的鸟瞰视角或者也可以作为车辆俯视图被显示,其中车辆作为符号被淡入。类似图示的示例在上文提到的DE 10 2015 002 438 A1的图4和5中的区域29a和29d中找到。
在图1中,针对摄像机装置16中的每个摄像机装置,用实线来标记高分辨率的检测区域。这些摄像机装置16分别是广角摄像机装置,这些广角摄像机装置的视角能够至少部分地实现对车辆地面的检测(也就是说对准车辆地面)。附加地,每个摄像机装置16都具有低分辨率的检测区域,该低分辨率的检测区域至少部分地针对图1中左侧的摄像机装置16用虚线勾画出。可以看出:不是在片段30之内的所有区域都可以以高分辨率被检测到而且因此(至少在从区域A首次行驶到区域C时)并不是针对周围环境地图的每个区域都提供高分辨率的图像信息。
为了仍然提高周围环境地图或基于此所产生并显示的周围环境表示的说服力,提供在下文所阐述的选项,这些选项可以分别单独地或者以任意的组合来被实现。
在从A向B行驶时,区域B由在车辆100正面的摄像机装置16也已经在起点A处检测,但是只是以非常低的分辨率来检测。因此,对于区域B来说,首先只存在低分辨率的图像信息。因此,只能基于相对应地低分辨率的图像信息来实现在区域B的周围环境地图的纹理化。
但是,如果车辆100靠近区域B并且尤其是使得该区域处在摄像机装置16的高分辨率的检测区域之内,则对于区域B来说存在高分辨率的图像信息。这些高分辨率的图像信息可以替代低分辨率的图像信息被用于对周围环境地图的纹理化。尤其是,一旦对于该区域B来说存在高分辨率的图像信息,周围环境地图或其纹理化就可以在局部被覆盖(也就是说在区域B被覆盖)。
例如可以通过对总共存在的图像信息的分辨率的比较来确定这种情况,这些图像信息应(诸如基于这些图像信息的位置信息能识别出地)被分配给区域B。然而,可以优选地查明:区域B与车辆100的距离小于距离阈值。在此,距离阈值被选择为使得该距离阈值对应于前置摄像机装置16的高分辨率的检测区域的外部极限。如果情况如此,则优选地在对不同分辨率没有进一步的确定或比较的情况下就可以自动使用当前所检测到的图像信息,以便对周围环境地图进行纹理化,接着可以假定这些图像信息以高分辨率来被检测。
另一方面发生如下情况:当车辆离开区域A前进时,该区域首先进入后置摄像机装置16的高分辨率的检测区域并且在朝着区域B的方向继续行驶时从该高分辨率的检测区域中移动出来并且因此只还能以低分辨率来被检测。相对应地,也可以规定:只在行驶方向上考虑距离考虑因素或上文提到的距离阈值,其中但是也可能涉及倒车行驶方向。
附加地可以规定:当对于周围环境地图的区域来说存在高分辨率的图像信息(以及尤其是具有高于预定阈值的分辨率的图像信息)时,这些高分辨率的图像信息被用于纹理化并且不被在其它时间点所检测到的图像信息所覆盖。即,如果对于区域来说存在高分辨率的图像信息,则可以阻止对也许甚至更高分辨率的图像信息的确定。
例外可能在于:不仅依据所检测到的图像信息而且依据由传感装置14检测到的(周围环境)信息都可识别出车辆周围环境中的变化。在两种情况下,例如都可以通过相应所确定的信息的变化来识别对象移动。如果情况如此,则可以与优选的高分辨率无关地针对相对应的区域选择当前的图像信息用于周围环境地图的纹理化,以便可以向驾驶员显示尽可能接近现实的周围环境表示。此外,对移动对象的识别以及还有呈现与安全相关而且当驾驶员例如在停车过程期间借助周围环境表示来辨别方向时提高了驾驶安全性。
如所描绘的那样,也可能的是:仅考虑这些标准之一,即对于当前被用于周围环境地图的纹理化的同一区域来说是否存在更高分辨率的图像信息,要不然是否存在比当前用于该纹理化的图像信息更加新的图像信息。
在下文,还依据图1来描绘选择图像信息用于周围环境地图的纹理化的另一示例。在图1中还示出了区域C。该区域对应于驾驶员例如在倒车到未单独示出的在图1中水平走向的停车位中的停车过程的框架内可以从所示出的位置出发使车辆100移动到的区域。
还示出了静止对象,诸如柱子32。该柱子首先位于图1中左侧的摄像机装置16的低分辨率的检测区域内并且也放置为使得在从区域A出发行驶时仍不曾为此检测到高分辨率的图像信息。因此,周围环境地图在包含柱子32的区域首先基于低分辨率的图像信息来被纹理化。
如果现在车辆100按照虚线箭头向后移动到区域C中,则柱子32会进入左侧的摄像机装置16的高分辨率的检测区域中。周围环境地图产生装置20会通过对于该区域来说总共存在的图像信息的比较来识别出这一点,要不然会通过上文描绘的相对于包含柱子32的区域小于距离阈值来识别出这一点。即,周围环境地图在包含柱子32的区域的当前的纹理化可以在局部用高分辨率的图像信息来被覆盖。这在停车过程中当驾驶员想要借助被显示给他的周围环境表示来辨别方向时对该驾驶员进行辅助。
附图标记列表
1 装置
14 摄像机装置
16 路边石
18 存储装置
20 周围环境地图产生装置
30 片段
32 柱子
100 车辆
102 侧视镜
A、B、C 区域。

Claims (10)

1.一种用于产生车辆(100)的以图像信息来纹理化的周围环境地图的方法,所述方法具有如下步骤:
利用至少一个车载摄像机装置(16)来检测车辆周围环境的至少第一图像信息和第二图像信息;
产生所述车辆(100)的周围环境地图;
确定所述周围环境地图的对其来说不仅存在所述第一图像信息而且存在所述第二图像信息的至少一个区域;并且
根据如下标准中的至少一个标准来选择所述第一图像信息或者所述第二图像信息用于所述周围环境地图的该区域的纹理化:
- 选择分辨率更高的那些图像信息;
- 选择最新的图像信息。
2.根据权利要求1所述的方法,
其中当在该区域之内识别出所述车辆周围环境的变化和/或在所述车辆周围环境中有预定对象时,使用所述最新的图像信息。
3.根据上述权利要求中任一项所述的方法,
其中当所述车辆(100)距该区域小于预先给定的距离阈值时,使用所述最新的图像信息。
4.根据权利要求3所述的方法,
其中所述距离阈值在行驶方向上被考虑。
5.根据上述权利要求中任一项所述的方法,
其中在所述周围环境地图的以具有超过阈值的分辨率的图像信息来被纹理化的区域,关于所要使用的图像信息没有进行其它选择,或者只有当在该区域内识别出所述车辆周围环境的变化时才进行其它选择。
6.根据上述权利要求中任一项所述的方法,
其中所述周围环境地图至少局部地以所述第一图像信息和所述第二图像信息来被纹理化并且紧接着确定如下区域,在所述区域中:
- 相应其它图像信息具有更高的分辨率;和/或
- 相应其它图像信息是最新的。
7.根据上述权利要求中任一项所述的方法,
其中在所述车辆(100)的行驶期间产生所述周围环境地图。
8.根据上述权利要求中任一项所述的方法,
其中所述周围环境地图大于所述周围环境地图的能在显示装置上显示的片段。
9.一种用于产生车辆(100)的以图像信息来纹理化的周围环境地图的装置(1),所述装置具有:
摄像机装置(16),用于检测车辆周围环境的至少第一图像信息和第二图像信息;和
周围环境地图产生装置(20),所述周围环境地图产生装置被设立为:产生所述车辆(100)的周围环境地图,并且为了所述周围环境地图的纹理化针对所述周围环境地图的至少一个区域根据如下标准中的至少一个标准来选择所述第一图像信息或者所述第二图像信息:
- 选择分辨率更高的那些图像信息;
- 选择最新的图像信息。
10.一种车辆(100),
所述车辆包括根据权利要求9所述的装置(1)。
CN201980056354.9A 2018-08-31 2019-08-12 用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆 Active CN112585958B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018214874.0 2018-08-31
DE102018214874.0A DE102018214874B3 (de) 2018-08-31 2018-08-31 Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
PCT/EP2019/071631 WO2020043475A1 (de) 2018-08-31 2019-08-12 Verfahren und anordnung zum erzeugen einer mit bildinformationen texturierten umfeldkarte eines fahrzeugs und fahrzeug umfassend eine solche anordnung

Publications (2)

Publication Number Publication Date
CN112585958A true CN112585958A (zh) 2021-03-30
CN112585958B CN112585958B (zh) 2023-07-14

Family

ID=67660079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056354.9A Active CN112585958B (zh) 2018-08-31 2019-08-12 用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆

Country Status (5)

Country Link
US (1) US20210327113A1 (zh)
EP (1) EP3844946A1 (zh)
CN (1) CN112585958B (zh)
DE (1) DE102018214874B3 (zh)
WO (1) WO2020043475A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114516338A (zh) * 2020-11-17 2022-05-20 佳骏科技股份有限公司 行车监控系统
DE102022204313A1 (de) 2022-05-02 2023-11-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002425A (ja) * 2000-06-15 2002-01-09 Mazda Motor Corp 車両用表示装置
US20070165910A1 (en) * 2006-01-17 2007-07-19 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, method, and program
JP2010238147A (ja) * 2009-03-31 2010-10-21 Aisin Aw Co Ltd 運転支援システム、運転支援方法、及び運転支援プログラム
CN102054164A (zh) * 2009-10-27 2011-05-11 索尼公司 图像处理设备、图像处理方法和程序
CN102442311A (zh) * 2010-10-06 2012-05-09 罗伯特·博世有限公司 确定与车辆周边环境有关的编辑的图像数据的方法和设备
CN103038771A (zh) * 2010-02-22 2013-04-10 耐克国际有限公司 增强现实设计系统
CN103108796A (zh) * 2010-08-12 2013-05-15 法雷奥开关和传感器有限责任公司 辅助车辆停车操作的方法、驾驶员辅助系统和机动车辆
CN103140377A (zh) * 2010-08-12 2013-06-05 法雷奥开关和传感器有限责任公司 用于在显示装置上显示图像的方法和驾驶员辅助系统
DE102013214369A1 (de) * 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
EP3349201A1 (en) * 2017-01-12 2018-07-18 Alpine Electronics, Inc. Parking assist method and vehicle parking assist system
CN108369746A (zh) * 2015-12-21 2018-08-03 罗伯特·博世有限公司 用于多相机交通工具系统的动态图像融合

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3692082B2 (ja) 2002-01-23 2005-09-07 トヨタ自動車株式会社 駐車支援装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP2005333565A (ja) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 監視装置
JP4321543B2 (ja) 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
DE102013207904A1 (de) * 2013-04-30 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer effizienten Umfeldkarte für ein Fahrzeug
DE102013019374B4 (de) 2013-11-19 2022-09-08 Audi Ag Verfahren zum Betrieb eines zur vollständig automatisierten Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugsystems und Kraftfahrzeug
DE102015203261A1 (de) 2014-03-03 2015-09-03 Apple Inc. Kartenanwendung mit verbesserten Navigationswerkzeugen
KR101619634B1 (ko) 2014-11-06 2016-05-10 현대자동차주식회사 배터리 모델 파라미터를 이용한 배터리 성능상태 추정 시스템 및 그 방법
DE102014223941A1 (de) 2014-11-25 2016-05-25 Robert Bosch Gmbh Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
DE102015002438A1 (de) 2015-02-26 2016-09-01 Daimler Ag Verfahren zum Betreiben eines Kraftfahrzeugs für ein Durchführen eines automatischen Parkvorgangs und Kraftfahrzeug mit einem Parksystem
DE102016013696A1 (de) 2016-11-17 2017-05-24 Daimler Ag Verfahren und Vorrichtung zur Parkplatzerkennung

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002425A (ja) * 2000-06-15 2002-01-09 Mazda Motor Corp 車両用表示装置
US20070165910A1 (en) * 2006-01-17 2007-07-19 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, method, and program
JP2010238147A (ja) * 2009-03-31 2010-10-21 Aisin Aw Co Ltd 運転支援システム、運転支援方法、及び運転支援プログラム
CN102054164A (zh) * 2009-10-27 2011-05-11 索尼公司 图像处理设备、图像处理方法和程序
CN103038771A (zh) * 2010-02-22 2013-04-10 耐克国际有限公司 增强现实设计系统
CN103108796A (zh) * 2010-08-12 2013-05-15 法雷奥开关和传感器有限责任公司 辅助车辆停车操作的方法、驾驶员辅助系统和机动车辆
CN103140377A (zh) * 2010-08-12 2013-06-05 法雷奥开关和传感器有限责任公司 用于在显示装置上显示图像的方法和驾驶员辅助系统
CN102442311A (zh) * 2010-10-06 2012-05-09 罗伯特·博世有限公司 确定与车辆周边环境有关的编辑的图像数据的方法和设备
DE102013214369A1 (de) * 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
CN108369746A (zh) * 2015-12-21 2018-08-03 罗伯特·博世有限公司 用于多相机交通工具系统的动态图像融合
EP3349201A1 (en) * 2017-01-12 2018-07-18 Alpine Electronics, Inc. Parking assist method and vehicle parking assist system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李政;赵汉青;刘大学;贺汉根;: "基于主动视觉的车辆实时检测", 计算机仿真 *

Also Published As

Publication number Publication date
CN112585958B (zh) 2023-07-14
EP3844946A1 (de) 2021-07-07
WO2020043475A1 (de) 2020-03-05
DE102018214874B3 (de) 2019-12-19
US20210327113A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US10293748B2 (en) Information presentation system
US10915100B2 (en) Control system for vehicle
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
KR102024494B1 (ko) 주차 지원 방법 및 주차 지원 장치
KR102276096B1 (ko) 디스플레이 유닛 상에 디스플레이하기 위한 부가 정보의 삽입을 계산하기 위한 방법, 상기 방법을 수행하기 위한 장치 그리고 자동차 및 컴퓨터 프로그램
KR102042371B1 (ko) 주차 스페이스 검출 방법 및 장치
US9507345B2 (en) Vehicle control system and method
US9747800B2 (en) Vehicle recognition notification apparatus and vehicle recognition notification system
US7605773B2 (en) Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
US10099692B2 (en) Control system for vehicle
KR20200016958A (ko) 주차 지원 방법 및 주차 지원 장치
JP7047824B2 (ja) 車両制御装置
CN110914882B (zh) 显示系统和显示方法
KR102494865B1 (ko) 차량 및 그 제어 방법
JP5898539B2 (ja) 車両走行支援システム
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
JP7006235B2 (ja) 表示制御装置、表示制御方法および車両
JP2019091255A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
CN113784861A (zh) 显示控制方法及显示控制装置
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
US10248132B2 (en) Method and apparatus for visualization of an environment of a motor vehicle
CN112585958B (zh) 用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆
JP6625480B2 (ja) 表示システム
WO2019188209A1 (ja) 車両、表示制御装置、および記録媒体
CN113044028A (zh) 自动驾驶车辆用信息提示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant