CN114765972A - 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆 - Google Patents

用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆 Download PDF

Info

Publication number
CN114765972A
CN114765972A CN202080084680.3A CN202080084680A CN114765972A CN 114765972 A CN114765972 A CN 114765972A CN 202080084680 A CN202080084680 A CN 202080084680A CN 114765972 A CN114765972 A CN 114765972A
Authority
CN
China
Prior art keywords
vehicle
surroundings
model
camera image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080084680.3A
Other languages
English (en)
Inventor
A·宾德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114765972A publication Critical patent/CN114765972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于示出车辆(100)的周围环境模型(200)的显示方法,该显示方法包括以下步骤:借助至少一个摄像机(110)检测该车辆的周围环境(150)的至少一个部分区域的至少一个摄像机图像序列;检测车辆(100)的位置(121);存储车辆(100)的周围环境(150)的至少一个摄像机图像(230),其中,给每个存储的摄像机图像(230)分别配属该车辆(100)的在该所存储的摄像机图像(230)的检测时间点的所检测到的位置(121);检测该车辆(100)与在该车辆(100)的周围环境(150)中的对象(160)之间的距离;产生至少一个近景投影面(210),该近景投影面代表该车辆周围的近景,其中,使该近景投影面(210)根据所检测到的距离三维变形;和,根据所产生的近景投影面(210)、至少一个当前的摄像机图像(220)、所存储的摄像机图像(230)和当前的车辆位置示出周围环境模型(200)。

Description

用于示出车辆的周围环境模型的显示方法、计算机程序、控制 器和车辆
技术领域
本发明涉及一种用于示出车辆的周围环境模型的显示方法。本发明此外还涉及一种计算机程序和一种控制器,所述计算机程序和控制器分别设置为用于执行根据本发明的方法。本发明此外还涉及一种具有根据本发明的控制器的车辆。
背景技术
文献DE 10 2008 034 594 A1公开了一种用于示出车辆环境的方法,在该方法中,至少两个图像被映射到透视式再现的虚拟行车道平面上。此外,所示出的图像可以借助来自摄像机和用于环境识别设备的图像的合成来组成。例如能够对行车道轮廓和/或行车道上的对象的高度进行检测并通过相应于图像区域的曲率来示出。例如,使用用于环境识别的设备检测路缘石而虚拟行车道平面在相应位置处发生变形。
文献EP 2 511 137 A1公开了一种对车辆的周围环境模型的显示。
发明内容
本发明的任务是改善已知的对车辆的周围环境模型的示出。
上述任务根据本发明地根据独立权利要求1、13、14和15来解决。
本发明涉及一种用于示出车辆的周围环境模型的显示方法。在该方法中,在一个步骤中,借助至少一个摄像机检测车辆的周围环境的至少一个部分区域的至少一个摄像机图像序列。对摄像机图像序列的检测尤其是连续地执行。所述摄像机布置在车辆上,其中,所述摄像机优选具有广角光学器件。在车辆上有利地设置有至少四个摄像机,其中,具有朝向前方的第一视向的第一摄像机、具有朝向后方的第二视向的第二摄像机、具有朝向右侧的第三视向的第三摄像机、具有朝向左侧的第四视向的第四摄像机分别检测车辆的周围环境的不同的部分区域。所检测到的部分区域可能部分地重叠。换言之,有利地借助车辆上的至少四个摄像机来检测围绕车辆的周围环境,其中,这些摄像机彼此具有不同的视向。在另一方法步骤中进行对车辆位置的检测。对车辆位置的检测尤其是连续进行的,由此已知车辆的当前位置和车辆的过去位置。借助至少一个位置传感器,优选借助全球导航卫星系统的位置传感器对位置进行检测。可选地可以附加地根据所检测到的与周围环境中的对象的距离和/或根据地图数据和/或根据车辆的测距数据进行位置检测。随后,尤其是至少在预给定时间段内,将车辆的周围环境的至少一个所检测到的摄像机图像存储在电子存储器中。给这些所存储的摄像机图像中每个摄像机图像分别配属在检测所存储的该摄像机图像时的所检测到的车辆位置。在另一步骤中,检测在车辆与在该车辆的周围环境中的对象之间的距离。例如借助至少一个超声波传感器、立体摄像机、雷达传感器和/或激光雷达传感器和/或基于至少一个摄像机的运动恢复结构(structure-from-motion)分析,优选三维地检测所述距离。然后产生周围环境模型的至少一个近景投影面,其中,使近景投影面的至少一个部分区域根据所检测到的距离在空间上或三维上发生变形。可选地可以有利地设置,以远景投影面来扩展近景投影面,其中,远景投影面不根据所检测到的距离发生变形,并且近景投影面和远景投影面例如布置为无缝地或者说直接地邻接或者彼此分开。近景投影面根据所检测到的距离进行的三维变形有利地从作为近景投影面的至少部分平坦的栅格网出发来进行。该栅格网在此可以包括任意网目形状,该栅格网例如具有三角形的或矩形的网目。近景投影面例如根据所检测到的距离和/或根据在摄像机图像中所识别到的对象发生弯曲,使得该近景投影面有利地代表包围地面和在车辆附近的周围环境中的对象的包络面。该近景投影面或者说包络面优选如上文中所提及的那样是栅格网。最后,根据所产生的近景投影面、至少一个当前的摄像机图像和所存储的摄像机图像以及当前的车辆位置对周围环境模型进行显示或者说示出。在进行所述显示或示出时,优选根据车辆的当前位置将当前的摄像机图像并根据车辆的当前位置和在检测时间点所配属的车辆位置将所存储的摄像机图像作为纹理投影到所产生的近景投影面和/或远景投影面上。有利地在进行示出时将来自多个摄像机的多个当前摄像机图像以及多个所存储的摄像机图像投影到近景投影面和/或远景投影面上。在此,优选针对每个栅格网网目单独地或针对各个图像的部分区域对当前的和/或所存储的摄像机图像在近景投影面和/或远景投影面上进行投影,其中,有利地对每个所配属的网目根据网目形状和所检测到的各个所属的栅格网点到车辆的距离对所检测到的摄像机图像的部分区域执行图像坐标转换。通过该方法导致如下优点:在周围环境模型中还为用户示出该周围环境模型的具有实际的或所存储的纹理的区域,所述区域因为例如被其他对象——如驶过的车辆——至少短暂地遮挡而在当前不再能够借助车辆上的摄像机被看到。该方法具有如下优点:在泊车期间为用户提供周围环境的更完整、更实际的视图。
有利地可以设置,基于所存储的摄像机图像或基于非当前的摄像机图像对周围环境模型的纹理区域进行标记,例如可以颜色失真地或以灰度替代颜色来示出所述纹理区域。用户由此能够在任意时候识别到所示出的周围环境模型的哪些区域是当前所检测到的而哪些区域是基于所存储的摄像机图像的。
有利地设置,在近景投影面旁边布置至少一个远景投影面,远景投影面尤其至少部分地限定周围环境模型的边缘。该远景投影面例如是基本上垂直于该近景投影面地布置的柱形周面的内表面。在该远景投影面上优选将具有较远的周围环境视图的摄像机图像示出为纹理。换言之,有利地将车辆的周围环境的近景作为纹理在三维变形后的近景投影面上示出,尤其作为包络面,而将周围环境的远景在至少一个远景投影面上示出,其中,该远景投影面优选布置为基本上垂直于该近景投影面并且未发生三维变形。该近景投影面和所述至少一个远程投影面可选地可以在边界处相互接触,从而导致连续的投影面的印象。通过该扩展方案能够使用相对较低计算能力来产生实际的周围环境视图作为周围环境模型。
在本发明的一种优选实施方式中可以设置,仅在从当前时间点开始的预给定时间段内对一个或多个摄像机图像进行存储。换言之,在该实施方式中,将旧的摄像机图像去掉或从电子存储器中删除或在电子存储器中进行覆盖。此外还可以替代或附加地根据预给定时间间隔和/或根据预给定的车辆位置距离来对摄像机图像进行存储。换言之,例如,以每5秒作为预给定时间间隔和/或在车辆行驶过作为预给定位置距离的例如2米的路段后,分别存储新的摄像机图像。由此分别导致优点:限制用于存储摄像机图像的内存空间,并能够使用较低的计算能力来示出周围环境模型。
在另一实施方案中,附加地给每个所存储的摄像机图像配属对应的摄像机在该检测时间点的视角。此外,在所示出的周围环境模型中将所存储的摄像机图像根据所配属的视角作为纹理投影到所产生的近景投影面和/或远景投影面上。通过本发明的该构型导致对周围环境模型进行示出的更低的计算量。
在一种实施方案中,在对周围环境模型进行示出之前,根据所检测到的摄像机图像识别在车辆的周围环境中的至少一个对象。有利地还识别到对象可动性。在可选的对对象可动性的识别中,例如求取:该对象原则上是可动的还是静止的。随后求取所识别到的对象的高度和/或宽度。在该实施方案中,在产生近景投影面时,使该近景投影面附加地根据所识别到的对象的所求取到的高度和/或所求取到的宽度发生三维变形。通过该实施方案导致为用户提供实际的周围环境模型。可选地,附加地根据所识别到的对象可动性对近景投影面进行适配或者说变形或者说产生近景投影面。为了对运动对象的更好的可感知性,可以根据所识别到的对象可动性以尤其易于识别的方式在周围环境模型中示出运动对象,例如通过使该对象比所检测到的高度更高和/或比所检测到的对象宽度更宽和/或通过以颜色对该对象进行标识。例如在近景投影面上以双倍高度和/或双倍宽度显示运动对象。由此使得运动对象能够尤其容易地被识别到。
在另一实施方案中,还根据所检测到的摄像机图像识别在车辆的周围环境中的至少一个对象。随后从数据库中加载针对所识别到的对象的标准模型,其中,该数据库尤其包含大量的所存储的对象。在该另外的实施方案中,在产生近景投影面时附加地根据所加载的标准模型发生空间变形。换言之,将所识别到的对象——例如正在泊车的车辆和/或房屋——作为所存储的标准模型从数据库中加载,并根据这些所加载的标准模型使近景投影面在空间上或三维上变形。通过该实施方案使得所示出的周围环境模型对于观察者来说表现得更加实际,因为例如也能够对不能借助车辆上的传感器所检测到的、布置在该车辆的对象后侧的维度和视图实际地进行示出。在该实施方案中例如能够通过根据树的标准模型使投影面发生变形来更实际地在周围环境模型中示出作为在车辆的周围环境中的所识别到的对象的树。
可以设置,在所示出的周围环境模型中在近景投影面上至少部分地透明地示出至少一个纹理区域。有利地至少部分地透明地示出如下纹理区域:针对所述纹理区域,近景投影面相对于作为近景投影面的平坦的栅格网平面根据所检测到的距离数据和/或所加载的标准模型而在空间上或三维上发生了变形。对于纹理区域到近景投影面的变形区域的示出有利地半透明地进行。通过本发明的该构型,观察者能够通过在周围环境模型中所示出的对象或周围环境模型的变形来观察,而因此例如能够独立于周围环境模型的透视角度地更好地评估在车辆的周围环境中的停车位。此外,在该构型中有利地为用户创造对周围环境模型如下效果:显著扩展用户自身对周围环境的可感知性。
在本发明的一种尤其优选的扩展实施方案中,接收关于近景投影面和/或远景投影面的至少一个未知区域的纹理信息,对于所述至少一个未知区域,在车辆的电子存储器中既没有当前的摄像机图像也没有所存储的摄像机图像,其中,从服务器装置和/或从其他车辆根据当前的车辆位置进行该接收。这尤其是借助与服务器装置和/或其他车辆的无线电连接来进行。换言之,所接收到的纹理信息包括较近和/或较远的周围环境的未知区域的纹理,该未知区域至目前不能被车辆摄像机看到。在该扩展方案中,对周围环境模型的示出附加地包括所接收到的纹理信息的至少一部分在所产生的近景投影面和/或远景投影面的未知区域上的投影。替代地可以设置,在所产生的近景投影面和/或远景投影面的未知区域上投影或者说放置估计纹理,其中,该估计纹理例如包括在近景投影面和/或远景投影面上相邻的纹理的平均或副本。估计纹理可选地也可以被配属给基于所识别到的对象而加载的标准模型。通过该扩展方案,在示出周围环境模型时有利地完全地以实际的纹理覆盖近景投影面和/或远景投影面,即使投影面的相应部分区域至今不能借助车辆上的摄像机可看到的和/或是当前不能被看到的。
在上述扩展实施方案的扩展方案中,在示出周围环境模型期间将所接收到的纹理信息或估计纹理抽象地投影到近景投影面和/或远景投影面上。由此导致如下优点:对于用户来说易于识别近景投影面和/或远景投影面的哪些区域是由车辆的摄像机所检测到的而哪些周围环境区域是基于所接收到的纹理信息或借助估计纹理来示出的。例如可以通过强调边沿和/或在颜色上改变纹理信息和/或估计纹理来进行抽象。此外,周围环境模型示出中的不准确性,例如在当前的摄像机图像与所接收到的纹理信息和/或估计纹理之间的颜色偏差,在该扩展方案中有利地得到避免而使用户不注意到,因为对所接收到的纹理信息和/或估计纹理所进行的抽象有利地给用户提供关于纹理的实时性的附加信息。
在另一实施方案中,在示出周围环境模型时,将所接收到的纹理信息和/或估计纹理和/或当前的摄像机图像和/或所存储的摄像机图像之间的边界线在近景投影面和/或远景投影面上突显出来或替代地进行平滑。例如以彩色示出边界线。由此为用户尤其明显地突显出相应的图像源,而用户因此能够良好地估计图像源的实时性。
在另一实施方案中,从服务器装置和/或从其他车辆根据当前的车辆位置接收危险信息,其中,所述危险信息尤其是配属有危险位置信息。在该实施方案中,对周围环境模型的示出附加地包括所接收到的危险信息,其中,所接收到的危险信息尤其根据所配属的危险位置信息在近景投影面和/或远景投影面上作为纹理和/或符号示出。通过该实施方案有利地使用户注意在车辆的周围环境中的危险,即使该危险位于对象后方。危险信息例如包括在学校或幼儿园或儿童游乐场或玩耍的儿童附近的道路区域或具有高事故危险程度的交叉路口。由此使得用户有利地注意到在周围环境中可能存在的危险或对于这种危险敏感。因此有利地降低用户发生事故的危险程度。
可以设置,针对所接收到的危险信息根据配属给所接收到的危险信息的危险位置信息对在周围环境模型的危险区域中的纹理以颜色进行标识。尤其在相对于所配属的危险位置信息的预给定距离内和/或根据危险信息对危险区域进行着色。例如将建筑工地不同于周围环境模型的区域地着色以便提供有儿童玩耍的危险信息。通过该构型,用户能够易于划分或识别危险区域。
还优选的是,检测到通过用户所进行的用于激活该方法的输入。尤其可以通过借助按钮激活泊车辅助功能对进行输入检测。尤其优选的是,该输入代表用户所期望的导航路线或者说行驶的目标位置或者说行驶目标。换言之,该方法有利地在到达行驶目标区域时自动化地启动。
本发明还涉及一种计算机程序,其中,该计算机程序设置为用于执行根据本发明的显示方法。
本发明还涉及一种控制器,其中,该控制器设置为用于执行根据本发明的显示方法。
本发明还涉及一种车辆,其中,该车辆包括根据本发明的控制器。
附图说明
其他优点参考附图从以下对实施例的描述中得出。
图1:车辆
图2:周围环境模型的示意图
图3:作为方框图示出的该方法的流程图。
具体实施方式
图1垂直地从上方或从俯视视角或鸟瞰角度示意性地示出具有四个摄像机110的车辆100。所述四个摄像机110中每个摄像机具有广角光学器件。每个摄像机110检测车辆100的周围环境150的一个对应的检测区域或周围环境区域151的摄像机图像序列。车辆100此外还包括位置传感器120,该位置传感器设置为用于求取该车辆的当前位置121。位置传感器120优选是至少一个全球导航卫星系统——如GPS、Galileo、Glonass和/或北斗——的传感器。车辆100此外还包括电子存储器130,该存储器设置为用于存储所检测到的摄像机图像230,其中,给所存储的摄像机图像230分别配属车辆100的在该检测时间点的位置121、122、123或124,优选还配属检测到所存储的该摄像机图像的对应摄像机110的视角。车辆100此外还包括设置为用于执行根据本发明的显示方法的控制器140。在该车辆上此外还布置有超声波传感器170、激光雷达传感器180和立体摄像机190作为距离传感器。超声波传感器170布置在车辆的前部、后部和左右车辆侧。在本实施例中,用于在不同天气条件下检测距离的激光雷达传感器180和立体摄像机190具有朝车辆100的行驶方向或者说朝向前方的检测区域。
在图2中示意性地示出用于示出车辆100的周围环境150的周围环境模型200。该周围环境模型200包括近景投影面210以及布置在该近景投影面210的中心处的车辆模型250。车辆模型250有利地从电子存储器130加载并相应于车辆100的至少一种车辆类型。近景投影面210代表车辆100的周围环境150的近景并优选地包括尤其是相对于车辆模型250的大小来说网目紧密的栅格网。该周围环境模型此外还包括远景投影面290。在本实施例中,远景投影面290基本上垂直于近景投影面210地布置。替代于在图2中所示出的实施例,近景投影面210和远景投影面290还可以包括盆状面的不同的部分区域,从而近景投影面210和远景投影面290例如可以直接邻接地布置并可以部分地具有曲率。远景投影面290代表车辆100的周围环境150的远景。在本实施例中,远景投影面290一件式地构型为柱形周面的内表面。远景投影面290替代地也可以实施为周面的一部分,例如实施为半壳并朝向行驶方向布置,或者可以设置多个例如围绕近景投影面210直角布置的远景投影面290。换言之,在周围环境模型中在近景投影面210上示出纹理或摄像机图像220、230,这些纹理或摄像机图像描绘或代表车辆100的周围环境150的近景。相反地,在远景投影面290上示出纹理或摄像机图像220、230,这些纹理或摄像机图像描述或代表周围环境150的远景或者说距离更远的周围环境区域。近景投影面210根据所检测到的与对象240、241和242的距离和/或根据针对所识别到的对象240、241和/或242所加载的标准模型而在空间上或三维上发生。近景投影面210因此有利地形成围绕车辆100近景中的对象240、241和242和周围环境150的地面的包络曲线。在本实施例中,车辆100例如处于行驶中。换言之,周围环境模型持续发生变化,因为例如近景投影面210和远景投影面290上的纹理相应于当前的车辆位置移动或者例如新的对象出现在近景投影面210中或者所识别到的对象240、241和/或242从近景投影面210中消失。例如,在当前时间点之前的预给定时间段内,车辆已从第一车辆位置124经过倒数第二个车辆位置123并经过最后的车辆位置122运动到当前的车辆位置121。在从第一车辆位置124到当前的车辆位置121的运动期间,借助车辆上的每个摄像机110连续检测摄像机图像220的序列并存储各个摄像机图像230,其中,给每个所存储的摄像机图像230配属车辆100在对应摄像机图像230的检测时间点的对应车辆位置124、123、122或121。存储摄像机图像的频率或所存储的摄像机图像230的数量和/或用于存储摄像机图像230的预给定时间段可以分别根据车辆速度和/或车辆位置来求取或设定。用于存储摄像机图像230的时间段和存储摄像机图像230的频率优选分别如此进行设定,使得能够为所有在车辆100运动期间能借助摄像机110看到的周围环境区域将纹理投影到周围环境模型200的近景投影面210上和/或远景投影面290上。换言之,将针对在当前的车辆位置121处不再能被看到的旧视线范围270所存储的摄像机图像230存储或保存在电子存储器120中,从而能够比仅借助当前的摄像机图像220作为纹理的那样更实际地示出周围环境模型。因而根据当前的摄像机图像220和所存储的摄像机图像230对周围环境模型200进行示出,从而对于从当前的车辆位置不能够借助摄像机110可看到的周围环境区域或者说对于旧视线范围270也能够在周围环境模型200中示出实际的纹理。对于用户产生如下印象:对周围环境模型200的示出显著扩展了用户的可能感知。在近景投影面210上和/或在远景投影面290上此外还可能存在未知区域280,281,所述未知区域在车辆100行驶期间是不能通过车辆100的摄像机110可看到并且也是当前不能被看到的,例如因为这些未知区域280、281被较大对象240、241、242遮挡。这些未知区域280、281的纹理信息优选被从服务器设备和/或其他车辆接收。替代或附加地,对各个未知区域280、281的纹理进行估计。对未知区域280、281的纹理的估计可以根据在该区域280、281中的所识别到的对象240、241或242和/或通过周围环境模型中的相邻投影的纹理的副本来进行。例如从服务器装置上接收针对未知区域280的纹理信息并投影到区域280上。周围环境模型200中的与未知区域281相邻的纹理的模糊副本或抽象示出的副本可以被投影或示出到远景投影面290的不能被看到的或未知的区域281上。
图3是作为方框图示出的该显示方法的流程图。在可选的第一步310中,检测通过用户进行的用于激活该方法的输入。在步骤310中的输入例如可以通过借助按钮激活泊车辅助功能来进行。替代地由用户进行对目标位置或行驶目标的输入,其中,在到达该行驶目标周围的区域中时自动化地执行激活310。在该方法的步骤320中,借助至少一个摄像机110检测车辆100的周围环境150。在另一步骤330中,对车辆100的位置121进行检测。随后在步骤340中,将该车辆的周围环境150的至少一个摄像机图像230存储在电子存储器130中,给每个所存储的摄像机图像230分别配属在该摄像机图像230的检测时间点所检测到的车辆位置121。优选附加地给每个所存储的摄像机图像配属该对应摄像机110在该检测时间点的视角。此外,对摄像机图像230的存储340有利地根据预给定时间段、根据预给定时间间隔和/或根据预给定的车辆位置距离来执行。在该方法的另一步骤350中,检测在车辆100与在车辆100的周围环境150中的对象240、241、242之间的距离,其中,对所述距离的检测优选三维地进行。在可选步骤360中,根据所检测到的和/或所存储的摄像机图像220、230对在车辆100的周围环境150中的至少一个对象240、241、242进行对象识别。在另外的可选步骤361中可以设置,求取所识别到的对象240、241、242的高度和/或宽度。在另一可选步骤362中可以设置,从电子存储器中加载针对所识别到的对象240、241、242的标准模型。随后在方法步骤370中产生至少一个近景投影面210。该近景投影面210代表车辆100周围环境150的近景。在步骤370中根据所检测到的距离三维变形地产生近景投影面210。在步骤370中可选地设置,使近景投影面210附加地根据所识别到的对象240、241、242的所求取到的高度和/或所求取到的宽度和/或根据所加载的针对所识别到的对象240、241、242的标准模型而在空间上或三维上变形。在步骤370中此外还可以设置,近景投影面210附加地根据所求取到的对象可动性而三维变形。在可选步骤380中可以设置,接收关于近景投影面210和/或远景投影面290的至少一个未知区域280的纹理信息,对于所述至少一个未知区域,在车辆100的电子存储器130中既没有当前的摄像机图像220也没有所存储的摄像机图像230。尤其从服务器装置和/或从其他车辆根据当前的车辆位置121并且有利地在根据当前的车辆位置121或未知区域280的位态或位置发送针对纹理信息的请求之后进行接收。在可选步骤386中可以设置,从服务器装置和/或从其他车辆根据当前的车辆位置接收危险信息,其中,该危险信息尤其配属有位置信息。在步骤390中,根据所产生的近景投影面210、至少一个当前的摄像机图像220、所存储的摄像机图像230和当前的车辆位置121对周围环境模型200进行显示或示出。对周围环境模型200的示出390可选地附加地包括将所接收到的纹理信息的至少一部分投影到近景投影面210和/或远景投影面290的未知区域280上。可选地,在方法步骤390中,将周围环境模型中的所接收到的纹理信息或估计纹理抽象地投影到近景投影面210和/或远景投影面290上。此外,在对周围环境模型200进行示出390时可选地可以在近景投影面210和/或远景投影面290上将所接收到的纹理信息或估计纹理和当前的摄像机图像220或所存储的摄像机图像230之间的边界线突显出来。对周围环境模型200的示出390可选地可以附加地包括所接收到的危险信息,其中,所接收到的危险信息尤其根据所配属的位置信息在近景投影面和/或远景投影面上来示出。在对周围环境模型200针对所接收到的危险信息进行示出390时,可以根据配属给所接收到的危险信息的位置信息对在周围环境模型200的危险区域中的纹理以颜色进行标识。例如在相对于危险信息的位置信息的预给定距离内和/或根据危险信息来对危险区域进行着色。在步骤290中附加地可以设置,通过经训练的神经网络或通过自动化的经训练的识别方法对近景投影面的代表反射性周围环境区域的部分区域进行识别。反射性周围环境区域例如是在车辆的周围环境中的其他车辆的窗玻璃或外部反射镜或者是在车辆的周围环境中的建筑物的反射镜立面或玻璃立面。对周围环境模型200的示出390可选地可以包括当前的摄像机图像220的至少一部分、所存储的摄像机图像230的一部分、所接收到的纹理信息的一部分或估计纹理的一部分在所识别到的如下部分区域上的至少一个投影:该部分区域代表所识别到的反射性周围环境区域。

Claims (15)

1.一种用于示出车辆(100)的周围环境模型(200)的显示方法,所述显示方法包括以下步骤:
·借助至少一个布置在所述车辆(100)上的摄像机(110)检测(320)所述车辆的周围环境(150)的至少一个部分区域的至少一个摄像机图像序列;
·检测(330)所述车辆(100)的位置(121);
·将所述车辆(100)的周围环境(150)的至少一个摄像机图像(230)存储(340)在电子存储器(130)中,其中,给每个存储的摄像机图像(230)分别配属所述车辆(100)的在所存储的该摄像机图像(230)的检测时间点所检测到的位置(121);
·检测(350)所述车辆(100)与在所述车辆(100)的周围环境(150)中的对象(240,241,242)之间的距离;
·产生(370)至少一个近景投影面(210),所述近景投影面代表所述车辆(100)周围的周围环境(150)的近景,其中,使所述近景投影面(210)根据所检测到的距离三维变形;和
·根据所产生的近景投影面(210)、至少一个当前的摄像机图像(220)、所存储的摄像机图像(230)和当前的车辆位置示出(390)所述周围环境模型(200)。
2.根据权利要求1所述的方法,其中,根据预给定时间段、根据预给定时间间隔和/或根据所述车辆的预给定位置距离执行对所述摄像机图像(230)的所述存储。
3.根据权利要求1或2所述的方法,其中,附加地给每个所存储的摄像机图像配属对应的摄像机(110)在所述检测时间点的视角,并且在对所述周围环境模型(200)进行所述示出(390)时,附加地根据所配属的视角将所存储的该摄像机图像(230)作为纹理投影到所产生的近景投影面(210)和/或远景投影面(290)上。
4.根据上述权利要求中任一项所述的方法,其中,在对所述周围环境模型(200)进行所述示出(390)之前执行以下步骤:
·根据所检测到的摄像机图像(220,230)识别(360)在所述车辆(100)的周围环境(150)中的至少一个对象(240,241,242);
·求取(361)所识别到的对象(240,241,242)的高度和/或宽度,和
·附加地根据所识别到的对象(240,241,242)的所求取到的高度和/或所求取到的宽度产生(370)所述近景投影面(210)。
5.根据上述权利要求中任一项所述的方法,其中,在对所述周围环境模型(200)进行所述示出(390)之前执行以下步骤;
·根据所检测到的摄像机图像(220,230)识别(360)在所述在车辆的周围环境中的至少一个对象(240,241,242);
·加载(362)针对所识别到的对象(240,241,242)的标准模型;和
·附加地根据所加载的针对所识别到的对象(240,241,242)的标准模型产生(370)所述近景投影面(210)。
6.根据权利要求5所述的方法,其中,在所述周围环境模型中在所述近景投影面上至少部分地透明地示出至少一个纹理区域。
7.根据上述权利要求中任一项所述的方法,其中,执行以下步骤:
·接收(380)关于所述近景投影面(210)和/或所述远景投影面(290)的至少一个未知区域(280)的纹理信息,对于所述至少一个未知区域,在所述车辆(100)的电子存储器(120)中既没有当前的摄像机图像(220)也没有所存储的摄像机图像(230),其中,从服务器装置和/或从其他车辆根据所述当前的车辆位置(121)进行所述接收;和
·示出(390)所述周围环境模型(200),其中,所述周围环境模型(200)附加地包括所接收到的纹理信息的至少一部分在所述近景投影面(210)和/或所述远景投影面(290)上的所述未知区域(280)上的投影。
8.根据上述权利要求中任一项所述的方法,其中,在对所述周围环境模型进行所述示出(390)时,将所接收到的纹理信息或估计纹理抽象地投影到所述近景投影面(210)和/或所述远景投影面(290)上。
9.根据权利要求7或8所述的方法,其中,对所述周围环境模型(200)进行所述示出(390)时,在所述近景投影面(210)和/或所述远景投影面(290)上将所接收到的纹理信息和/或估计纹理和/或当前的摄像机图像(220)和/或所存储的摄像机图像(230)之间的边界线突显出来。
10.根据上述权利要求中任一项所述的方法,其中,执行以下步骤:
·从服务器装置和/或从其他车辆根据当前的车辆位置接收(386)危险信息,其中,所述危险信息尤其配属有位置信息;和
·示出(390)所述周围环境模型(200),其中,所述周围环境模型(200)附加地包括所接收到的危险信息,其中,所接收到的危险信息尤其根据所配属的位置信息在所述近景投影面和/或所述远景投影面上示出。
11.根据权利要求10所述的方法,其中,在针对所接收到的危险信息对所述周围环境模型(200)进行示出(390)时,根据配属给所接收到的危险信息的位置信息对在所述周围环境模型(200)的危险区域中的纹理以颜色进行标识,尤其在相对于所配属的位置信息的预给定距离内和/或根据危险信息对危险区域进行着色。
12.根据上述权利要求中任一项所述的方法,其中,在对所述周围环境模型(200)进行所述示出(390)之前执行以下步骤:
-检测(310)通过用户进行的用于激活所述方法的输入,其中,所述输入尤其代表关于用户的所期望的行驶的目标位置。
13.一种计算机程序,其中,所述计算机程序设置为用于执行根据权利要求1至12中任一项所述的方法。
14.一种控制器(140),其中,所述控制器(140)设置为用于执行根据权利要求1至13中任一项所述的方法。
15.一种车辆,所述车辆包括根据权利要求14所述的控制器(140)。
CN202080084680.3A 2019-12-05 2020-11-18 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆 Pending CN114765972A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019219017.0A DE102019219017A1 (de) 2019-12-05 2019-12-05 Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
DE102019219017.0 2019-12-05
PCT/EP2020/082482 WO2021110412A1 (de) 2019-12-05 2020-11-18 Anzeigeverfahren zur darstellung eines umgebungsmodells eines fahrzeugs, computerprogramm, steuergerät und fahrzeug

Publications (1)

Publication Number Publication Date
CN114765972A true CN114765972A (zh) 2022-07-19

Family

ID=73497743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080084680.3A Pending CN114765972A (zh) 2019-12-05 2020-11-18 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆

Country Status (4)

Country Link
US (1) US20230025209A1 (zh)
CN (1) CN114765972A (zh)
DE (1) DE102019219017A1 (zh)
WO (1) WO2021110412A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214840A1 (de) 2021-12-21 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ausparken eines Fahrzeugs, Computerprogramm, Steuergerät, System und Fahrzeug
DE102021214952A1 (de) 2021-12-22 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
DE102022207197A1 (de) 2022-07-14 2024-01-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer Fahrbahnfreifläche und Vorrichtung

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP4309920B2 (ja) * 2007-01-29 2009-08-05 株式会社東芝 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
DE102010010906A1 (de) * 2010-03-10 2011-01-05 Daimler Ag Verfahren zur Erzeugung einer Darstellung eines Fahrzeuges und einer aktuellen Fahrzeugumgebung des Fahrzeuges
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US20140267282A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh System And Method For Context Dependent Level Of Detail Adjustment For Navigation Maps And Systems
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
WO2015099696A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Road hazard communication
DE102014208310A1 (de) * 2014-05-05 2015-11-05 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zur Darstellung einer erweiterten Realität
TW201605247A (zh) * 2014-07-30 2016-02-01 國立臺灣大學 影像處理系統及方法
US9757985B2 (en) * 2015-09-25 2017-09-12 Honda Motor Co., Ltd. System and method for providing a gear selection indication for a vehicle
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP6737288B2 (ja) * 2016-01-13 2020-08-05 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
EP3229172A1 (en) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
WO2018057987A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Augmented reality display
CN110249204B (zh) * 2016-12-06 2021-11-09 日产北美公司 用于自主车辆的解决方案路径叠加界面
US10360709B2 (en) * 2017-04-05 2019-07-23 Microsoft Technology Licensing, Llc Rendering images on map using orientations
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术(北京)有限公司 地图创建以及运动实体定位的方法和装置
US20200349367A1 (en) * 2018-01-19 2020-11-05 Sony Corporation Image processing device, image processing method, and program
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
US11422265B2 (en) * 2019-03-04 2022-08-23 Ouster, Inc. Driver visualization and semantic monitoring of a vehicle using LiDAR data

Also Published As

Publication number Publication date
DE102019219017A1 (de) 2021-06-10
WO2021110412A1 (de) 2021-06-10
US20230025209A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
JP7297017B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
CN111448591B (zh) 不良光照条件下用于定位车辆的系统和方法
EP2973420B1 (en) System and method for distortion correction in three-dimensional environment visualization
CN111918053A (zh) 车辆图像验证
JP5901779B2 (ja) 画像データベース地図サービスからアシストシステム内にデータを移す方法
CN110060297B (zh) 信息处理装置、系统、信息处理方法和存储介质
CN114765972A (zh) 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
CN110032180A (zh) 激光雷达定位
WO2018029318A1 (en) Visual odometry for low illumination conditions using fixed light sources
EP3942794B1 (en) Depth-guided video inpainting for autonomous driving
CN113673282A (zh) 目标检测方法和装置
CN109946703B (zh) 一种传感器姿态调整方法及装置
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
CN112074875A (zh) 构造3d特征图的组优化深度信息方法和系统
CN112824997B (zh) 用于局部行进车道感知的方法和系统
CN116420096A (zh) 用于标记lidar点云数据的方法和系统
CN111881245B (zh) 能见度动态地图的产生方法、装置、设备及存储介质
CN113177429A (zh) 车辆神经网络训练
CN114248778A (zh) 移动设备的定位方法和定位装置
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
CN112334947A (zh) 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
WO2020118619A1 (en) Method for detecting and modeling of object on surface of road
CN115718304A (zh) 目标对象检测方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination