CN110248845B - 用于显示车辆的周围环境的方法和设备 - Google Patents

用于显示车辆的周围环境的方法和设备 Download PDF

Info

Publication number
CN110248845B
CN110248845B CN201780084329.2A CN201780084329A CN110248845B CN 110248845 B CN110248845 B CN 110248845B CN 201780084329 A CN201780084329 A CN 201780084329A CN 110248845 B CN110248845 B CN 110248845B
Authority
CN
China
Prior art keywords
virtual
camera
vehicle
surroundings
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780084329.2A
Other languages
English (en)
Other versions
CN110248845A (zh
Inventor
D·利佩尔特
R·卡诺
J·D·埃斯帕扎加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110248845A publication Critical patent/CN110248845A/zh
Application granted granted Critical
Publication of CN110248845B publication Critical patent/CN110248845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种用于显示车辆(1)的周围环境(2)的方法，该方法包括：在虚拟空间(20)中展开虚拟投影面(21)，该虚拟空间表示车辆(1)的周围环境(2)；通过摄像机图像将虚拟投影面(21)纹理化，该摄像机图像已经由布置在所述车辆(1)上的摄像机(3，4，5，6)检测到；确定虚拟空间(20)中的目标位置(22)，该目标位置相应于车辆(1)的周围环境(2)中的如下对象位置(7)：在该对象位置上，应将虚拟对象(23)成像在所述车辆(1)的周围环境(2)的呈现中；在虚拟投影面(21)上产生对象纹理，该对象纹理以失真的呈现显示虚拟对象(23)，该虚拟对象(23)在所述失真的呈现中具有如下相应的失真：当在所述虚拟对象面(21)上成像的对象处于所述对象位置(7)上时，所成像的对象具有这种相应的失真；并且从第一虚拟摄像机(24)的视角将所述虚拟投影面(21)成像在虚拟摄像机图像(30)中，第一虚拟摄像机布置在虚拟空间(20)中。本发明还涉及一种用于显示车辆(1)的周围环境(2)的所属设备。

Description

用于显示车辆的周围环境的方法和设备
技术领域
本发明涉及用于显示车辆的周围环境的一种方法和一种设备。
背景技术
在车辆中，通常向车辆的驾驶员提供车辆的周围环境的呈现(Darstellung)。在此可能需要向驾驶员提供附加的信息。例如，向驾驶员提供关于可供使用的停车位的信息。在车辆中存在适用于识别空闲停车位的不同系统。所述系统例如包括超声系统、摄像机系统、雷达系统和激光雷达系统。
这种附加信息(例如空闲停车位的标记)通常以周围环境的虚拟呈现或示意性呈现来显示。在此，通常难以将周围环境呈现中的点(例如所识别出的停车位的位置)分配给车辆的实际周围环境。
发明内容
根据本发明的用于显示车辆的周围环境的方法包括：在代表车辆的周围环境的虚拟空间中展开虚拟投影面；通过摄像机图像将虚拟投影面纹理化，该摄像机图像已经由布置在车辆上的摄像机检测到；确定虚拟空间中的目标位置，该目标位置相应于车辆的周围环境中的如下对象位置：在该对象位置上，应将虚拟对象成像在车辆的周围环境的呈现中；在虚拟投影面上产生对象纹理，该对象纹理以失真的呈现来显示虚拟对象，虚拟对象在该失真的呈现中具有如下相应的失真：当在虚拟投影面上成像的对象处于对象位置上时，所成像的对象具有这种相应的失真；从第一虚拟摄像机的视角将虚拟投影面成像在虚拟摄像机图像中，该第一虚拟摄像机布置在虚拟空间中。
根据本发明的用于显示车辆的周围环境的设备包括摄像机接口、输出接口和计算单元，该摄像机接口用于接收布置在车辆上的摄像机的摄像机图像，该输出接口用于将车辆的周围环境的呈现提供给显示设备。该计算单元设置用于：在代表车辆的周围环境的虚拟空间中展开虚拟投影面；通过已经通过摄像机接口接收到的摄像机图像将虚拟投影面纹理化；确定虚拟空间中的目标位置，该目标位置相应于车辆的周围环境中的如下对象位置：在该对象位置上，应将虚拟对象成像在车辆的周围环境的呈现中；在虚拟投影面上产生对象纹理，该对象纹理以失真的呈现显示虚拟对象，虚拟对象在该失真的呈现中具有如下相应的失真：当在虚拟投影面上成像的对象处于对象位置上时，所成像的对象具有这种相应的失真；从第一虚拟摄像机的视角将虚拟投影面成像在虚拟摄像机图像中并且将虚拟摄像机图像提供给输出接口，其中，该虚拟摄像机布置在虚拟空间中。
虚拟投影面是在虚拟空间中尤其环绕如下点的面：该点相应于现实世界中的车辆位置。在此，虚拟投影面优选具有碗的形状，其中，相应于现实世界中的车辆的实际位置的点位于该碗内。因此，车辆例如被显示为虚拟空间中的模型。在此，该模型处于碗状虚拟投影面的底部并且被碗壁所环绕。
已经由布置在车辆上的摄像机检测到的摄像机图像在摄像机图像中检测车辆的周围环境的至少一个部分区域。在将虚拟投影面纹理化时，将摄像机图像置于虚拟投影面上。在此，使摄像机图像如此失真，使得将成像在摄像机图像中的对象如此成像到虚拟投影面上，从而相应于从车辆视角观察的所属实际对象的位置，从车辆在虚拟空间中的所属位置的视角来显示这些对象。
虚拟空间中的目标位置相应于车辆的周围环境中的对象位置。在此，对象位置尤其相应于车辆的周围环境中的应被标记的点。因此，对象位置例如是空闲停车场的位置。因此，虚拟对象尤其适用于在周围环境的呈现中标记周围环境(即现实世界)中的点。
对象纹理是置于虚拟投影面上的纹理。在此，对象纹理与已经由摄像机图像提供的虚拟投影面的纹理重叠。因此，通过对象纹理以如下失真将虚拟对象成像在虚拟投影面上：当在虚拟投影面上成像的对象处于对象位置上时，所成像的对象具有这种失真。换句话说，这意味着虚拟对象被显示成就好像其作为实际对象位于车辆的周围环境中并且已经由摄像机在摄像机图像中检测到，以便作为纹理被置于虚拟投影面上。
虚拟摄像机不是实际的摄像机，而仅仅是虚拟空间中的点，该点被用作用于计算虚拟空间的视图的计算基础。虚拟空间不是实际空间，而仅是数学结构。
取决于布置在车辆上的可用摄像机的数量，通过布置在车辆上的多个摄像机的摄像机图像来对虚拟投影面进行纹理化。
因此，创建一种现代视图，该现代视图使用尤其由GPU(英语Graphic ProcessingUnit：图形处理单元)提供的美学可能性。因此，以直观的方式显示车辆驾驶员的附加信息。为了有利的显示，该方法尤其可以集成到传统的3D环视系统中。尤其在应基于虚拟对象来选择车辆的周围环境中的点(例如选择可用停车场)的系统中，能够实现将车辆的周围环境中的实际位置改善地分配给虚拟空间中的位置。因此，虚拟对象特别良好地适应于第一虚拟摄像机的虚拟摄像机图像以及在该虚拟图像中所显示的实际对象。
根据本发明的设备具有根据本发明的方法的所有优点。
从属权利要求示出本发明的优选扩展方案。
优选地，根据本发明的方法还包括检查：从第一虚拟摄像机的视角观察，目标位置在虚拟空间中处于虚拟投影面前方还是后方，其中，如果从第一虚拟摄像机的视角观察，目标位置在虚拟空间中处于虚拟投影面后方，则在虚拟投影面上产生对象纹理。由此实现：即使当虚拟对象作为独立对象在虚拟空间中展开时，该虚拟对象实际上从第一虚拟摄像机的视角观察被虚拟投影面遮住，该虚拟对象也能够作为对象纹理而在第一虚拟摄像机的虚拟摄像机图像中可见。
在此有利的是：当从第一虚拟摄像机的视角观察，目标位置在虚拟空间中处于虚拟投影面前方时，则将虚拟对象作为独立对象在虚拟空间中展开，其中，将该独立对象成像在虚拟摄像机图像中。因此确保：如果从第一虚拟摄像机的视角观察，虚拟对象处于虚拟投影面前方，则可以特别生动地显示虚拟对象。在这两种情况中——即从第一虚拟摄像机的视角观察，无论目标位置在虚拟空间中处于虚拟投影面前方还是后方，都可以如此显示处于目标位置上的虚拟对象，使得该虚拟对象具有与直接相邻的对象类似的失真。因此，避免虚拟摄像机图像中的相邻对象显示出的不同的几何失真。因此，可以避免引起观察者的突兀感觉(Irritation)。
还有利的是如下情况：在任何时刻都将虚拟对象作为独立对象在虚拟空间中展开。在这种情况下，由第一虚拟摄像机将作为独立对象展开的虚拟对象的仅如下区段显示在第一虚拟摄像机图像中：从第一虚拟摄像机的视角观察，所述区段处于虚拟投影面前方。因此，当目标位置在虚拟空间中运动时，虚拟对象从虚拟投影面缓慢地出现并且进而转变成对象纹理。
此外有利的是：当目标位置在虚拟空间中运动时，识别目标位置处于虚拟投影面上的时刻，并且在该时刻显示如下过渡动画：在该过渡动画中，虚拟投影面上的对象纹理转变成独立对象。目标位置在虚拟空间中例如可能通过如下方式而发生变化：车辆在周围环境中运动。与此同时，待标记的对象位置在车辆的周围环境中保持不变。由此可能导致对象位置相对于车辆位置的相对运动。因此，目标位置也在虚拟空间中运动。在此可能发生的是：目标位置并且(随之)虚拟对象从一个位置(从第一虚拟摄像机的视角观察，该位置处于虚拟投影面后方)运动至虚拟空间中的(从第一虚拟摄像机的视角观察处于虚拟投影面前方的)另一位置。因此，目标位置并且因此虚拟对象运动穿过投影面。在此，虚拟对象的显示方式发生变化，因为该虚拟对象首先通过对象纹理显示，然后该虚拟对象作为成像的独立对象显示在虚拟摄像机图像中。为了使虚拟对象不会突然改变其显示方式，有利的是显示如下动画(在此称为过渡动画)：在该动画中，虚拟对象的呈现从对象纹理形式的第一呈现流畅地转变成独立对象形式的第二呈现。因此，避免车辆周围环境的呈现突然发生变化并且从而引起观察者的突兀感觉。
此外，如下情况是有利的：在虚拟投影面上产生对象纹理时，在虚拟空间中在目标位置上展开虚拟对象，并且借助第二虚拟摄像机来检测该虚拟对象，以便产生对象纹理，其中，第二虚拟摄像机处于虚拟空间中的如下位置上：该位置相应于布置在车辆上的摄像机的位置。在此，也可以在相应于所述虚拟空间的另一虚拟空间中在目标位置上展开虚拟对象，其中，在该另一虚拟空间中未布置有虚拟投影面。因为虚拟空间仅仅是数学结构，所以是不重要的，只要能够将从第二虚拟摄像机的视角建立的图像转换到虚拟空间中。因此，对反映如下状态的情况进行模拟：在该状态中，虚拟对象作为实际对象处于车辆的周围环境中，并且在该状态中，虚拟对象由布置在车辆上的摄像机检测到。如果以这种方式产生对象纹理，则可以以与通过摄像机检测到的摄像机图像相同的方式来处理由第二虚拟摄像机检测到的图像(例如使其失真)。因此，可以以简单的方式精确地求取虚拟对象的呈现所需的失真。
此外，有利的是：使投影面的虚拟形状匹配于车辆的周围环境中的对象的位置。为此，优选通过车辆传感装置来检测车辆的周围环境，该车辆传感装置适用于求取关于车辆的周围环境中的对象的位置的信息。因此，尤其使虚拟投影面如此变形，使得当将该虚拟投影面转换到虚拟空间中时，该投影面处于所检测的障碍物上方。
如下情况也是有利的：虚拟对象在对象纹理中以与当该虚拟对象作为独立对象展开时相比不同的颜色、图案和/或不透明度来显示。因此，可以在虚拟对象的显示方式之间进行区分，并且可以当虚拟对象作为独立对象从虚拟投影面出现时避免突兀效果。
此外，计算单元优选设置用于检查：从第一虚拟摄像机的视角观察，目标位置在虚拟空间中处于虚拟投影面前方还是后方，其中，如果从第一虚拟摄像机的视角观察，目标位置在虚拟空间中处于虚拟投影面后方，则在虚拟投影面上产生对象纹理。
在任何情况下都有利的是：运算单元设置用于控制和/或实施根据本发明的方法。
附图说明
以下参照附图详细地描述本发明的实施例。附图示出：
图1根据本发明的第一实施方式示出用于显示车辆的周围环境的根据本发明的方法的流程图；
图2示出虚拟空间的呈现，在该虚拟空间中布置有虚拟投影面；
图3示出示例性周围环境中的车辆的呈现，该车辆包括根据本发明的用于显示车辆的周围环境的设备；
图4示出虚拟空间的呈现，纹理化的虚拟投影面处于该虚拟空间中；
图5示出两个示例性的虚拟摄像机图像，所述虚拟摄像机图像通过根据本发明的第一实施方式的用于显示车辆的周围环境的方法所产生。
具体实施方式
图1根据本发明的第一实施方式示出用于显示车辆1的周围环境2的根据本发明的方法的流程图。该方法由用于显示车辆1的周围环境2的根据本发明的设备来实施。
该方法通过使设备开始运行来发起、尤其通过用户请求车辆1的周围环境的呈现来发起。
首先，实施第一方法步骤100。在第一方法步骤100中，在虚拟空间20中展开虚拟投影面21，该虚拟空间代表车辆1的周围环境2。这借助布置在车辆1中的计算单元10来实现。在此，虚拟空间20是数学结构。在此，虚拟空间20中的每个点分配有车辆1的周围环境2中的一个实际点。
在图3中示例性地示出虚拟空间20。在虚拟空间2的中心布置有车辆1的模型25。在此，模型25布置在虚拟空间20中的如下位置上：该位置相应于实际车辆1在实际世界中的位置。在此，模型25的位置是虚拟空间的参考点。实际周围环境中的所有点都基于相对于车辆1的相对位置来描述，并且相应地基于相对于车辆模型25的相对位置，实际周围环境中的所有点都分配有虚拟空间中的点。虚拟投影面21具有碗的形状。在此，碗状的虚拟投影面21的底部相应于车辆1所处的行车道表面。碗的壁部环绕模型25。
在第一方法步骤100中已经提供虚拟投影面21之后，实施第二方法步骤101。在第二方法步骤101中，通过摄像机图像将虚拟投影面21纹理化，该摄像机图像已经由布置在车辆上的摄像机3、4、5、6检测到。
在图3中示出具有用于显示车辆1的周围环境2的设备的车辆1。在此，车辆1在示例性的周围环境2中示出。在车辆1上布置有第一摄像机3、第二摄像机4、第三摄像机5和第四摄像机6。在此，第一摄像机3布置在车辆1的右侧，第二摄像机4布置在车辆1的后部，第三摄像机5布置在车辆1的左侧，而第四摄像机6布置在车辆1的前部。第一至第四摄像机3、4、5、6分别配备有广角镜头并且共同地检测车辆1的周围环境2的360°全方位视野。因此，车辆1的周围环境2完全由第一至第四摄像机3、4、5、6所检测。第一至第四摄像机3、4、5、6通过摄像机接口1与计算单元10连接。
摄像机3、4、5、6连续地检测摄像机图像并且将所述摄像机图像传输给计算单元10。由计算单元10将摄像机图像作为纹理置于虚拟投影面21上。在此，使摄像机图像如此失真并且布置在虚拟投影面21上，使得车辆1的周围环境2中的在摄像机图像中成像的对象如此出现在虚拟投影面21上，使得从车辆的模型25的视角观察，该对象相应于其在车辆1的周围环境2中的实际位置地成像在虚拟投影面21上。
在第二方法步骤101之后实施第三方法步骤102。在第三方法步骤102中确定虚拟空间20中的目标位置22，该目标位置相应于车辆1的周围环境的如下对象位置7：在该对象位置上，应将虚拟对象23成像在车辆1的周围环境2的呈现中。因此，在本发明的这种示例性实施方式中，应该通过虚拟对象23来在车辆1的周围环境2的呈现中标记停车位(即适用于车辆1的停车场)。因此，在确定目标位置22时，首先求取现实世界中的停车位相对于车辆1的位置。该位置称为对象位置7。
在图3中，对象位置7示例性地被选择在车辆1的左侧。在此，对象位置7处于第一泊车车辆8与第二泊车车辆9之间，并且该对象位置标记处于泊车车辆8、9之间的停车位。优选地，借助车辆传感装置求取对象位置7(即例如停车位的位置)。因此，通过超声传感器来扫描车辆1的周围环境2，以便识别在车辆1的周围环境2中是否存在可供使用的停车位。替代地或附加地，车辆传感装置包括另外的传感器——例如雷达传感器、激光雷达传感器或摄像机(例如布置在车辆上的摄像机3、4、5、6)。因为虚拟空间20中的每个点都分配有车辆1的周围环境2中的点，所以对象位置7也分配有虚拟空间10中的点。该位置称为目标位置22。
在第三方法步骤102之后实施第四方法步骤103。在第四方法步骤103中检查：从第一虚拟摄像机24的视角观察，目标位置22在虚拟空间20中处于虚拟投影面21前方还是后方。虚拟摄像机24不是实际的摄像机，而是虚拟空间20中的如下点：该点是计算虚拟空间20中的视图的基础。如果请求从鸟瞰视角来显示车辆1的周围环境2，则虚拟摄像机24在车辆1模型25的上方运动，并且第一虚拟摄像机24的视向朝下。以这种方式，也可以从处于车辆1外部的多个观察点来显示车辆1的周围环境2。在本发明的这种示例性实施方式中，虚拟摄像机24处于碗状虚拟投影面21内——即车辆1的模型25的周围环境内。
“检查：从第一虚拟摄像机24的视角观察，目标位置22在虚拟空间20中处于虚拟投影面21前方还是后方”例如通过如下方式来实现：将目标位置22与第一虚拟摄像机24的位置通过直线连接。如果目标位置22与第一虚拟摄像机24的位置之间的直线与虚拟投影面21相交，则目标位置22从第一虚拟摄像机24的视角观察处于虚拟投影面21后方。如果不是这种情况，则目标位置22从第一虚拟摄像机24的视角观察处于虚拟投影面21前方。取决于目标位置22从第一虚拟摄像机24的视角观察在虚拟空间20中处于虚拟投影面21的前方还是后方，以不同的方式来在虚拟空间20中呈现虚拟对象23。
在此，虚拟对象23示例性地是字母P的三维模型，应通过该模型来标记可供使用的停车位。虚拟对象23应如此出现在车辆1的周围环境2中，使得该虚拟对象在车辆1的周围环境2中处于空闲的停车位上。显然，可以选择任意的三维模型，并且可以将模型匹配于车辆的周围环境的呈现中的待标记或表示的内容。
首先假设目标位置22从第一虚拟摄像机24的视角观察在虚拟空间20中处于虚拟投影面21后方。在这种情况下实施第五方法步骤104。
在第五方法步骤104中，在虚拟投影面21上产生对象纹理，该对象纹理以失真的呈现来显示虚拟对象23，虚拟对象在该失真的呈现中具有如下相应的失真：当在虚拟投影面21上成像的对象处于对象位置7上时，所成像的对象具有这种相应的失真。
在图4中示出由于目标位置22布置在虚拟投影面21后方所引起的问题。图4示出经纹理化的虚拟投影面21在虚拟空间20中的成像。在图4中，虚拟摄像机24布置在虚拟投影面21的右侧。目标位置22处于碗状的虚拟投影面21以外。因此，虚拟对象23也将布置在虚拟投影面21以外，并且因此从第一虚拟摄像机24的视角观察，该虚拟对象将会被虚拟投影面21遮住。在图4中可以看出，虚拟投影面21借助布置在车辆1上的摄像机3、4、5、6纹理化。例如，第一泊车车辆8成像在虚拟投影面21上的第一部分区域26中，该第一泊车车辆已经由第三摄像机5在摄像机图像中检测到。此外，第二泊车车辆9成像在虚拟投影面21上的第二部分区域27中，该第二泊车车辆同样已经由第三摄像机5在摄像机图像中检测到。停车位处于泊车车辆8、9之间，其中，虚拟空间20中的这一区域部分地处于虚拟投影面21以外。如果虚拟对象23在虚拟空间20居中地定位在相应于停车位的位置上，则该虚拟对象从第一虚拟摄像机24的视角观察将会被虚拟投影面21遮住并且在车辆1的周围环境2的呈现中不可见。但是在第四方法步骤103中已经看出存在这种问题。
因此，将虚拟对象23转换成对象纹理。为了产生对象纹理，首先将虚拟投影面21隐没(ausblenden)。使第二虚拟摄像机28运动到虚拟空间20中的相应于车辆1上的第三摄像机5的位置上，通过该位置也已经检测到停车位并且因此已经检测到摄像机图像中的对象位置7。因此，将第二虚拟摄像机28布置在车辆1的模型25的左侧。第二虚拟摄像机28相应于如下方向定向：该方向也相应于布置在车辆1上的第三摄像机5的视向。从第二虚拟摄像机28的视角检测在虚拟空间20中显示为三维对象的虚拟对象23。因此，只有虚拟对象23被成像在由第二虚拟摄像机28所检测的图像中，其中，该虚拟对象从确定的视角被成像。将由第二虚拟摄像机28所检测的图像作为纹理置于虚拟投影面21上——这例如已经借助由第三摄像机5所检测到的摄像机图像所执行，其中，使第二虚拟摄像机28的图像如此失真并且布置在虚拟投影面21上。在此，第二虚拟摄像机28的图像的区域(虚拟对象23成像在该区域中)与虚拟投影面21的由摄像机图像提供的纹理重叠。如果摄像机图像例如经历过坐标变换(以便将摄像机图像匹配用于对虚拟投影面进行纹理化)，则也将该坐标变换应用于第二虚拟摄像机28的图像。对于进一步的过程，重新显示(einblenden)虚拟投影面21。
可以看出，虚拟投影面21的显示和隐没是可选的，并且也可以在替代的虚拟空间20中计算第二虚拟摄像机28的图像，并且无须强制性地在展开虚拟投影面21的同一虚拟空间20中进行计算。
因此，通过第二虚拟摄像机28的图像提供对象纹理。因此，在虚拟投影面21上产生对象纹理时，在虚拟空间20中的目标位置22上展开虚拟对象23，并且借助第二虚拟摄像机28检测虚拟对象23来产生对象纹理，其中，第二虚拟摄像机28布置在虚拟空间20中的如下位置上：该位置相应于布置在车辆1上的第三摄像机5的位置。虚拟对象23或该虚拟对象的成像具有如下相应的失真：当在虚拟投影面21上成像的对象处于对象位置7上时，所成像的对象具有这种相应的失真，其方式是：为了将第二虚拟摄像机28的图像置于虚拟投影面21上，在此从与检测实际对象(该实际对象布置在车辆1的周围环境2中的对象位置上)相同的视角来检测虚拟对象23，以及，以与第三摄像机5的图像相同的方式来处理第二虚拟摄像机28的图像。
如果在第四方法步骤103中已经求取到：从第一虚拟摄像机24的视角观察，目标位置22在虚拟空间20中处于虚拟投影面21前方，则实施第六步骤105。因此，要么实施第五方法步骤104，要么实施第六方法步骤105。
在第六方法步骤105中，将虚拟对象23作为独立对象在虚拟空间20中展开。因此，除了车辆1的模型25以外，在虚拟空间中布置有另一三维对象。因此，虚拟对象23是处于碗状的虚拟投影面21内的独立对象。虚拟对象23不通过虚拟投影面21上的对象纹理来显示。
在第五方法步骤104和第六方法步骤105之后，在这两种情况下实施第七方法步骤106。在第七方法步骤106中，从布置在虚拟空间20中的第一虚拟摄像机24的视角对虚拟投影面21进行成像。由第一虚拟摄像机24提供的摄像机图像称为虚拟摄像机图像30。因此，从第一虚拟摄像机24的视角，对具有处于其上的纹理的虚拟投影面21以及对车辆1的模型25进行成像。“虚拟对象23能够可见地作为独立对象展开并且由第一虚拟摄像机24检测到，还是虚拟对象由虚拟投影面21上的对象纹理来显示”取决于在第四方法步骤103中实施的检查导致怎样的结果。
在图5中在左侧示出第一虚拟摄像机24的第一虚拟摄像机图像30，该第一虚拟摄像机图像示例性地在如下情况下产生：已经实施第五步骤104，即目标位置22从第一虚拟摄像机24的视角观察在虚拟空间20中处于虚拟投影面21后方，并且已经在虚拟投影面21上产生对象纹理。可以看出，虚拟对象23具有失真。因此，显示虚拟对象23的“P”的竖直杆是弯曲的，其中，该竖直杆以大致相应于泊车车辆8、9的成像中的失真的曲率的程度弯曲。因为虚拟对象23未作为独立对象展开，所以第一虚拟摄像机24仅形成经纹理化的虚拟投影面21和车辆1的模型25，其中，虚拟对象23作为虚拟投影面上的纹理而出现。
在替代实施方式中，虚拟对象23在任何时刻都作为独立对象在虚拟空间20中展开。这导致：如果作为独立对象展开的虚拟对象23如此布置在虚拟空间20中，使得导致与虚拟投影面相交，则作为独立对象展开的虚拟对象在一些情况中被部分地显示。如果目标位置发生改变，则虚拟对象23区段式地在碗状虚拟投影面21内出现。
在图5中在右侧示例性地示出第二虚拟摄像机图像30，该第二虚拟摄像机图像在如下情况下产生：在检查中，在第四方法步骤103中已经求取到：目标位置22从第一虚拟摄像机24的视角观察在虚拟空间20中处于虚拟投影面21前方。在这种情况下，虚拟对象23是独立的三维对象，即虚拟对象作为独立对象在虚拟空间中展开并且因此由第一虚拟摄像机24在虚拟摄像机图像30中检测到。因此，“P”不会失真并且例如具有直杆。因此，第一虚拟摄像机24形成：展开的虚拟对象23、经纹理化的虚拟投影面21以及车辆1的模型25。
可选地，虚拟对象23在对象纹理中以与当该虚拟对象作为独立对象展开时相比不同的颜色、图案和/或不透明度来显示。因此，当虚拟对象23例如显示为对象纹理而不是显示为独立对象时，例如可以以更浅的色调来显示该虚拟对象。
提供虚拟摄像机图像30以供用户、尤其车辆1的驾驶员观看。为此，将虚拟摄像机图像30通过输出接口12从计算单元10传输给显示设备13。显示设备13是车辆1内部的显示器。在该显示器上显示虚拟摄像机图像30。
在实施第七方法步骤106之后，该方法分支回到第一方法步骤100并且此后在循环中实施。尤其当车辆1处于运动中时，则可能发生：虚拟空间20中的目标位置22同样在运动，因为对象位置7和目标位置22都是相对于车辆1的位置所求取的位置。如果车辆1接近对象位置1，则目标位置22在虚拟空间20中也向车辆1的模型25移动。因此存在如下时刻：在该时刻，在检查“从第一虚拟摄像机24的视角观察目标位置22在虚拟空间20中处于投影面21的前方还是后方(这在第四方法步骤103中实现)”时，发生如下变换：在该变换中，不再分支到第五方法步骤104，而是分支到第六方法步骤105。因此，车辆1的周围环境2的呈现中的虚拟对象23的呈现将会突然发生变化。为了避免虚拟对象23的呈现从虚拟投影面21跳出，对所述时刻进行识别并且显示如下过渡动画：在该过渡动画中，对象纹理从虚拟投影面21转变成独立对象。这在图5中通过箭头说明。
在该方法的一种替代的附加方法步骤中，使虚拟投影面21的形状匹配于车辆1的周围环境中的对象的位置。因此，例如访问之前描述的车辆传感装置，以便识别出车辆1的周围环境中的障碍物的位置。对虚拟投影面21的形状例如如此进行匹配，使得投影面21处于转换到虚拟空间20中的障碍物的上方。因此，可能导致置于虚拟投影面21上的纹理中出现附加的失真。但是由于在虚拟投影面21上产生对象纹理所基于的是与通过摄像机图像对虚拟投影面21进行纹理化相同的算法，所以虚拟对象23在第五方法步骤104中还是会具有如下相应的失真：当在虚拟投影面21上成像的对象处于对象位置7上时，所成像的对象具有这种失真。
总之，当前的3D环视系统基于如下几何形状：在该几何形状中，形成碗的面和壁拼接成虚拟投影面21。因为车辆1上的摄像机3、4、5的位置是已知的(例如通过外部摄像机校准检测到)，所以只要合成的或其他人工的对象布置在虚拟投影面21的碗内，则这些对象就可以以简单的方式在三维场景中显示。然而，如果虚拟对象23布置在投影面21以外并且因此处于能够由环视系统观察到的世界以外，则可能出现问题。即使虚拟对象23与虚拟投影面21相交，这也可能导致问题。例如虚拟对象23可能只是部分可见的。
显示为虚拟对象23的替代对象例如是针对兴趣点(POI)的GPS方向说明、标记等。每个任意对象都可以作为虚拟对象23插入到环视系统的视图中。通过如下方式确保基于相同的投影模型来显示车辆1的周围环境2和虚拟对象23：对象纹理具有失真的呈现，虚拟对象23在该失真的呈现中具有如下相应的失真：当在虚拟投影面21上成像的对象处于对象位置7上时，则所成像的对象也具有这种相应的失真。如果将虚拟对象23简单地置于虚拟投影面21上而不使该虚拟对象失真，则不是这种情况。在这种情况下，投影模型将不会彼此匹配并且图像将会看起来不自然。
因此，根据本发明，首先检测布置在车辆1上的摄像机3、4、5、6的摄像机图像中的车辆1的周围环境2的真实图像。此外，确定对象位置7和目标位置22。在计算第一虚拟摄像机24的虚拟摄像机图像30之前，计算对象纹理，该对象纹理是重叠并且应显示在正确的3D位置上。从第二虚拟摄像机28的视角对虚拟对象23进行渲染，该第二虚拟摄像机布置在虚拟空间20中的如下位置上：该位置相应于车辆1上的真实摄像机的位置。将结果存储为纹理，该纹理用于实际渲染虚拟摄像机图像30中的第一虚拟摄像机24的视图。尤其可以完全显示虚拟对象23的进入虚拟投影面21的碗状中的可见部分。例如可以虚线或以阴影显示虚拟对象23的还处于虚拟投影面21以外的部分。
因此，在借助摄像机图像对虚拟投影面21进行纹理化时，将当前纹理的坐标与对象纹理的坐标进行比较。如果坐标相同，则尤其显示这两个纹理。如果这两个纹理不相同，则仅显示基于摄像机图像的纹理。
除了以上的公开内容以外，明确地参照图1至图5的公开内容。

Claims (7)

1.一种用于显示车辆(1)的周围环境(2)的方法，所述方法包括：
在虚拟空间(20)中展开虚拟投影面(21)，所述虚拟空间代表所述车辆(1)的周围环境(2)；
通过摄像机图像将所述虚拟投影面(21)纹理化，所述摄像机图像已经由布置在所述车辆(1)上的摄像机(3，4，5，6)检测到；
确定所述虚拟空间(20)中的目标位置(22)，所述目标位置相应于所述车辆(1)的周围环境(2)中的如下对象位置(7)：在所述对象位置上，应将虚拟对象(23)成像在所述车辆(1)的周围环境(2)的呈现中；
在所述虚拟投影面(21)上产生对象纹理，所述对象纹理以失真的呈现显示所述虚拟对象(23)，所述虚拟对象(23)在所述失真的呈现中具有如下相应的失真：当在所述虚拟投影面(21)上成像的对象处于所述对象位置(7)上时，所成像的对象具有这种相应的失真；
检查：从第一虚拟摄像机(24)的视角观察，所述目标位置(22)在所述虚拟空间(20)中处于所述虚拟投影面(21)前方还是后方；
从第一虚拟摄像机(24)的视角将所述虚拟投影面(21)成像在虚拟的摄像机图像(30)中，其中，所述第一虚拟摄像机布置在所述虚拟空间(20)中，其中，如果从所述第一虚拟摄像机(24)的视角观察，所述目标位置(22)在所述虚拟空间(20)中处于所述虚拟投影面(21)前方，则将所述虚拟对象(23)作为独立对象在所述虚拟空间(20)中展开，其中，将所述独立对象成像在所述虚拟摄像机图像(30)中，
其特征在于，
当所述目标位置(22)在所述虚拟空间(20)中运动时，识别所述目标位置(22)处于所述虚拟投影面(21)上的时刻，并且在所述时刻显示如下过渡动画：在所述过渡动画中，所述虚拟投影面(21)上的对象纹理转变成所述独立对象。
2.根据权利要求1所述的方法，其特征在于，在任何时刻都将所述虚拟对象(23)作为独立对象在所述虚拟空间(20)中展开。
3.根据权利要求1或2所述的方法，其特征在于，在所述虚拟投影面(21)上产生所述对象纹理时，在所述虚拟空间(20)中在所述目标位置(22)上展开所述虚拟对象(23)，并且借助第二虚拟摄像机(28)检测所述虚拟对象，以便产生所述对象纹理，其中，所述第二虚拟摄像机(28)处于所述虚拟空间(20)中的如下位置上：所述位置相应于布置在所述车辆(1)上的摄像机(3，4，5，6)的位置。
4.根据权利要求1或2所述的方法，其特征在于，使所述虚拟投影面(21)的形状匹配于所述车辆(1)的周围环境中的对象的位置。
5.根据权利要求1或2所述的方法，其特征在于，所述虚拟对象(23)在所述对象纹理中以与当所述虚拟对象作为独立对象展开时相比不同的颜色、图案和/或不透明度来显示。
6.一种用于显示车辆(1)的周围环境(2)的设备，所述设备包括：
摄像机接口(11)，所述摄像机接口用于接收布置在所述车辆(1)上的摄像机(3，4，5，6)的摄像机图像；
输出接口(12)，所述输出接口用于将所述车辆(1)的周围环境(2)的呈现提供给显示设备(13)；
计算单元(10)，所述计算单元设置用于实施如下步骤：
·在虚拟空间(20)中展开虚拟投影面(21)，所述虚拟空间代表所述车辆(1)的周围环境(2)；
·通过摄像机图像将所述虚拟投影面(21)纹理化，所述摄像机图像已经通过所述摄像机接口(11)接收到；
·确定所述虚拟空间(20)中的目标位置(22)，所述目标位置相应于所述车辆(1)的周围环境(2)中的如下对象位置(7)：在所述对象位置上，应将虚拟对象(23)成像在所述车辆(1)的周围环境(2)的呈现中；
·在所述虚拟投影面(21)上产生对象纹理，所述对象纹理以失真的呈现来显示所述虚拟对象(23)，所述虚拟对象(23)在所述失真的呈现中具有如下相应的失真：当在所述虚拟投影面上(21)成像的对象处于所述对象位置(7)上时，所成像的对象具有这种相应的失真；
·检查：从第一虚拟摄像机(24)的视角观察，所述目标位置(22)在所述虚拟空间(20)中处于所述虚拟投影面(21)前方还是后方；
·从第一虚拟摄像机(24)的视角将所述虚拟投影面(21)成像在虚拟摄像机图像(30)中，并且将所述虚拟摄像机图像(30)提供给所述输出接口(12)，其中，所述第一虚拟摄像机(24)布置在所述虚拟空间(20)中，其中，如果从所述第一虚拟摄像机(24)的视角观察，所述目标位置(22)在所述虚拟空间(20)中处于所述虚拟投影面(21)前方，则将所述虚拟对象(23)作为独立对象在所述虚拟空间(20)中展开，其中，将所述独立对象成像在所述虚拟摄像机图像(30)中，
其特征在于，
当所述目标位置(22)在所述虚拟空间(20)中运动时，识别所述目标位置(22)处于所述虚拟投影面(21)上的时刻，并且在所述时刻显示如下过渡动画：在所述过渡动画中，所述虚拟投影面(21)上的对象纹理转变成所述独立对象。
7.根据权利要求6所述的设备，其特征在于，所述计算单元(10)还设置用于检查：从所述第一虚拟摄像机(24)的视角观察，所述目标位置(22)在所述虚拟空间(20)中处于所述虚拟投影面(21)前方还是后方；
其中，如果从所述第一虚拟摄像机(24)的视角观察，所述目标位置(22)在所述虚拟空间(20)中处于所述虚拟投影面(21)后方，则在所述虚拟投影面(21)上产生所述对象纹理。
CN201780084329.2A 2017-01-23 2017-12-11 用于显示车辆的周围环境的方法和设备 Active CN110248845B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017201002.9 2017-01-23
DE102017201002.9A DE102017201002A1 (de) 2017-01-23 2017-01-23 Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
PCT/EP2017/082255 WO2018133997A1 (de) 2017-01-23 2017-12-11 Verfahren und vorrichtung zum darstellen einer umgebung eines fahrzeuges

Publications (2)

Publication Number Publication Date
CN110248845A CN110248845A (zh) 2019-09-17
CN110248845B true CN110248845B (zh) 2023-04-04

Family

ID=60788574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084329.2A Active CN110248845B (zh) 2017-01-23 2017-12-11 用于显示车辆的周围环境的方法和设备

Country Status (4)

Country Link
EP (1) EP3571091B1 (zh)
CN (1) CN110248845B (zh)
DE (1) DE102017201002A1 (zh)
WO (1) WO2018133997A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175753A1 (ja) * 2012-05-22 2013-11-28 三菱電機株式会社 画像処理装置
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
CN106464847B (zh) * 2014-06-20 2019-06-25 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
DE102015205479A1 (de) * 2015-03-26 2016-09-29 Robert Bosch Gmbh Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges

Also Published As

Publication number Publication date
EP3571091A1 (de) 2019-11-27
EP3571091B1 (de) 2021-07-14
DE102017201002A1 (de) 2018-07-26
WO2018133997A1 (de) 2018-07-26
CN110248845A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
KR101427193B1 (ko) 차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
US10029700B2 (en) Infotainment system with head-up display for symbol projection
US8502860B2 (en) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
EP2973420B1 (en) System and method for distortion correction in three-dimensional environment visualization
US9479740B2 (en) Image generating apparatus
US8773534B2 (en) Image processing apparatus, medium recording image processing program, and image processing method
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
WO2009119110A1 (ja) 死角表示装置
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
EP2631696B1 (en) Image generator
CN107465890B (zh) 车辆的图像处理装置
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
US9019347B2 (en) Image generator
CN109789831A (zh) 用于提供车辆的车辆周围环境的后视镜视图的方法
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
CN112703527A (zh) 平视显示器（hud）内容控制系统和方法
CN114765972A (zh) 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备
Gao et al. A calibration method for automotive augmented reality head-up displays based on a consumer-grade mono-camera
JP7261121B2 (ja) 情報端末装置及びプログラム
JP2022013827A (ja) 支援システムのユーザを支援する方法、支援システム、およびそのようなシステムを備えた車両
CN111108530A (zh) 信息显示装置和方法以及程序和记录介质
JP2021534646A (ja) 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant