CN113840755A - 生成车辆周围环境图像的方法及生成车辆周围环境图像的装置 - Google Patents

生成车辆周围环境图像的方法及生成车辆周围环境图像的装置 Download PDF

Info

Publication number
CN113840755A
CN113840755A CN202080037166.4A CN202080037166A CN113840755A CN 113840755 A CN113840755 A CN 113840755A CN 202080037166 A CN202080037166 A CN 202080037166A CN 113840755 A CN113840755 A CN 113840755A
Authority
CN
China
Prior art keywords
vehicle
camera
image
virtual
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080037166.4A
Other languages
English (en)
Inventor
T·库切拉
J·维斯特
M·弗里贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN113840755A publication Critical patent/CN113840755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于生成车辆周围环境的图像的方法，该方法包括以下步骤：‑通过尤其设置在车辆车身上的多台车载摄像机(12、14、16、18)检测车辆周围环境(S1)，‑通过多台车载摄像机(12、14、16、18)生成摄像机图像，其中，相邻车载摄像机(12、14、16、18)的摄像机图像具有重叠图像区域(40、42、44、46)(S2)，‑在虚拟三维立体空间(60)中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间(60)中的虚拟投影面(62)上(S3)，‑在虚拟空间(60)中提供非固定的虚拟摄像机(48)，并确定虚拟摄像机位置和/或虚拟摄像机方向(S4)，‑根据虚拟摄像机(48)的视场区域(50)将虚拟投影面(62)上的第一选择区域(56)置放在第一重叠图像区域(40)中(S5)，‑计算第一选择区域(56)中第一车载摄像机(12)的至少一个图像参数(S6)，‑调整第二车载摄像机(14)的至少一个图像参数，使其在第一选择区域(56)中与第一车载摄像机(12)的至少一个图像参数相匹配(S7)。本发明还涉及一种装置(38)。

Description

生成车辆周围环境图像的方法及生成车辆周围环境图像的 装置
本发明涉及一种用于生成车辆周围环境图像的方法和装置。
越来越多的车辆配备有在执行驾驶操作时为驾驶员提供支持的驾驶员辅助系统。部分驾驶员辅助系统包含可向车辆驾驶员显示车辆周围环境的全景环视摄像系统。这类全景环视摄像系统包括多台车载摄像机，它们提供车辆周围环境的真实图像，这些图像尤其通过全景环视摄像系统的数据处理单元合成车辆周围环境的周围环境图像。然后在显示单元上以有益的方式向驾驶员显示车辆周围环境图像。以此方式，可在例如车辆倒车驾驶或在泊车操控期间等车辆操纵时为驾驶员提供支持。
由相邻车载摄像机提供的摄像机图像在重叠区域重叠。如果车载摄像机处于车辆不同面，对不同车载摄像机可能会出现不同的光照度。例如，阳光可从一侧照射到车辆周围环境。此外，行驶区段可导致不同车载摄像机的光照度不同。例如，当车辆驶入车辆隧道时，前置车载摄像机的周围环境突然变暗，而与此同时后置车载摄像机的周围环境依然被日光良好照明。因此，传统的全景环视系统会在合成的整体图像或全景环视图像中出现图像伪影，尤其是亮度跳跃，这是由不同车载摄像机的不同光照条件引起的。
由此，本发明现在的任务是，提供一种能消除基于相邻车载摄像机间亮度差异的现有问题的方法或装置。
所述任务通过具有独立权利要求1特征的方法解决。一种装置是并列独立权利要求的主题。优选实施方式是从属权利要求的主题。
根据第一方面，本发明涉及一种用于生成车辆周围环境的图像的方法，该方法包括以下步骤：
-通过尤其设置在车辆车身上的多台车载摄像机检测车辆周围环境，
-通过多台车载摄像机生成摄像机图像，其中，相邻车载摄像机的摄像机图像具有重叠的图像区域，
-在虚拟三维立体空间中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间中的虚拟投影面上，
-在虚拟空间中提供非固定的虚拟摄像机，并确定虚拟摄像机位置和/或虚拟摄像机方向，
-根据虚拟摄像机的视场区域将虚拟投影面上的第一选择区域置放在第一重叠图像区域中，
-计算第一选择区域中第一车载摄像机的至少一个图像参数，
-调整第二车载摄像机的至少一个图像参数，使其在第一选择区域中与第一车载摄像机的至少一个图像参数相匹配。
根据本发明所述的方法尤其致力于，能在可见区域全景环视视图的三维立体虚拟显示中改进图像质量。此外，可通过根据本发明所述的方法消除相邻摄像机之间的亮度差异。
所述方法步骤尤其以给定的顺序实施。
由于相邻车载摄像机至少部分地检测相同区域，因此相邻车载摄像机的摄像机图像或相邻摄像机图像具有重叠的图像区域。换句话说，由于相邻车载摄像机的视场区域至少部分重叠，因此相邻车载摄像机具有重叠区域。
虚拟三维立体空间中周围环境的虚拟表示优选通过计算单元生成。在此，虚拟表示尤其是或包括周围环境的一种三维立体表示。
在一优选设计方案中，虚拟投影面可包括或被设计成拱起/拱曲的虚拟投影面。所述投影面可在某些区域拱起或完全拱起。有益的方式是将虚拟投影面设计成碗状。设计成碗状的虚拟投影面尤其具有基本平坦的底面。基本平坦的底面优选过渡到拱起的侧壁。
在本发明的意义中，选择区域可以是单一像素。然而，它也可以是区域或多个像素。有益的是将范围选得尽可能小。由此，可建立尽可能好的视觉质量。如果在所述区域内或在更小区域内选择多个检测点，则可进一步提高质量。
车载摄像机优选是全景环视系统的摄像机。在此尤其是理想情况下设置在车辆不同面上的四台摄像机。一台车载摄像机优选设置在车辆前面，一台车载摄像机设置在车辆后面，一台车载摄像机设在车辆左侧以及一台车载摄像机设置在车辆右侧。车载摄像机可设计成鱼眼摄像机。有益的是将多台车载摄像机设计成具有相同结构。
在本发明一优选设计方案中，根据虚拟摄像机的视场区域在虚拟投影面上将第二选择区域置放在第二重叠图像区域内。在另一步骤中，在第二选择区域计算其摄像机图像具有第二重叠图像区域的另一车辆摄像机的至少一个图像参数。该另一车载摄像机优选是第三车载摄像机。但该车载摄像机也可以是第二车载摄像机。在下一步骤中，对其摄像机图像同样具有第二重叠图像区域的又一车载摄像机的至少一个图像参数加以调整，使其在第二选择区域中适配所述另一车载摄像机的所述至少一个图像参数。该又一车载摄像机优选是第二车载摄像机。该又一车载摄像机也可以是第三车载摄像机。
选择区域，尤其是第一或第二选择区域，优选独立于其他区域的位置。第一和第二选择区域尤其处于不同的轴和/或不同的高度。选择区域尤其不处于同一坐标轴上。如果观察虚拟三维立体空间，则两个选择区域在虚拟三维立体空间中尤其处于不同的层面或高度。
具有第一和第二重叠图像区域的车载摄像机的图像和/或图像参数以有益的方式借助(局部)插值或借助插值函数在第一和第二选择区域之间进行调整适配。此外，尤其在选择区域中对所测定的图像参数加以考虑。车载摄像机优选是第二车载摄像机。通过插值，尤其可在选择区域之间建立特别平滑的视觉过渡。
在一设计方案中，可使用线性插值，其中，其公式如下：(1-α)*a+α*b。α(alpha)可在0和1之间的范围内，并描述选择区域a和选择区域b之间的距离，其中，可通过三维立体矢量对所述距离加以描述。
在本发明一设计方案中，在插值时对单个或多个选择区域的位置加以了考虑。优选对单个或多个选择区域的三维立体位置加以考虑。作为附加措施或替代选择，可对尤其处于第一和第二选择区域之间的当前渲染点(gerenderten)的X轴、Y轴和Z轴坐标值加以考虑。如果选择区域不设置在相同坐标轴上和/或沿相同坐标轴设置，则优选对多个坐标值加以考虑。尤其是，不仅要考虑X轴坐标值，还要考虑Y轴和/或Z轴坐标值。由此，尤其可实现更灵活和适应性更强的协调值应用。在已知方法中，亮度差之间的插值仅沿一轴使用，例如沿x轴使用；不考虑例如y轴和z轴值等其他数值。
在一优选设计方案中，进行选择区域、尤其是第一选择区域和/或第二选择区域的置放，由此，在第一步骤中，选择区域被置放在重叠图像区域内的标准位置。所述图像区域既可以是第一重叠图像区域，也可以是第二重叠图像区域。在另一随后的步骤中检查，虚拟摄像机是否能在标准位置处看得见选择区域。例如，如果选择区域处于虚拟摄像机的视场区域之外，尤其是在视场之外，则选择区域对于虚拟摄像机来说是看不见的。另一原因可能是，被虚拟投影面包围的虚拟车辆模型被合并/结合到虚拟三维立体空间中。此时，所述车辆模型尤其是基本处于虚拟摄像机位置和选择区域之间。
如果选择区域是虚拟摄像机看得见的，则选择区域优选保持在标准位置。如果选择区域是虚拟摄像机看不见的，则可在重叠图像区域内的虚拟投影面上移动该选择区域。尤其是对所述选择区域一直进行移动，直至虚拟摄像机能看见它。
所述标准位置可存储在存储器中。有益的做法是，在执行根据本发明所述的方法时先将选择区域置放在标准位置上。
如果检查时发现，在重叠图像区域内没有虚拟摄像机看得见的选择区域，则可将选择区域置放在或重新置放回标准位置。由此，标准位置尤其还可用作回避位置或回退位置。
在本发明一优选设计方案中，提供车辆模型的参数，其中，优选将参数合并到虚拟三维立体空间中。所述参数可以有利地至少是车辆的高度和/或长度和/或宽度。但也可想象的是，所述参数是虚拟车辆模型。所述参数优选存储在模型存储器中。
所述虚拟投影面优选围绕虚拟空间中的车辆模型参数。如果虚拟投影面被设计成碗状，并具有基本平坦的碗底，则车辆模型参数或虚拟车辆模型优选设置在底面上。车辆模型参数或虚拟车辆模型尤其优选基本设置在底面上的中心。
图像参数优选是图像亮度、图像对比度、图像颜色、图像清晰度、颜色饱和度和/或纹理频率。
在一有益的设计方案中，第一车载摄像机是前置车载摄像机。第一车载摄像机基本上具有检测车辆前方区域的视场区域。如果第一车载摄像机是前置车载摄像机，则第三摄像机优选是后置车载摄像机。后置车载摄像机基本上具有检测车辆后方区域的视场区域。前置车载摄像机和后置车辆摄像机优选具有相反的方向和/或优选具有相同的光轴。但也可想象的是，第一车载摄像机是后置车载摄像机和/或第三车载摄像机是前置车载摄像机。
在本发明一优选设计方案中，第二车载摄像机是置于侧面的车载摄像机。所述车载摄像机基本上具有检测车辆旁边区域的视场区域。第二车载摄像机尤其优选是置于左侧或右侧的车载摄像机。第二车载摄像机可设置在车外后视镜上。
在本方法一特别有益的设计方案中，对左侧车载摄像机和/或右侧车载摄像机的图像参数、尤其是左侧车载摄像机和/或右侧摄像机图像的亮度进行调整，使其与前置车载摄像机和/或后置车载摄像机的图像参数、尤其是前置车载摄像机和/或后置车载摄像机图像的亮度相匹配。由此，左侧车载摄像机和/或右侧车载摄像机的图像参数尤其在连接点对应于前置车载摄像机和/或后置车载摄像机的图像参数。根据本发明所述，这可通过下列方式实现：即第一车载摄像机是前置车载摄像机，另一车载摄像机是后置车载摄像机，并且第二车载摄像机和又一车载摄像机是同一车载摄像机，并与一侧面的车载摄像机相对应。此外，这可通过下列方式实现：即第一车载摄像机是后置车载摄像机，另一车载摄像机是前置车载摄像机，并且第二车载摄像机和又一车载摄像机为同一车载摄像机，并与一侧面的车载摄像机相对应。
根据第二方面，本发明涉及一种用于生成车辆周围环境的图像的装置，该装置包括：
-用于检测车辆周围环境并生成摄像机图像的多台车载摄像机，其中，相邻车载摄像机的摄像机图像具有重叠的图像区域，其中，车载摄像机尤其设置在车辆的车身上，
-计算单元，它设计用于在虚拟三维立体空间中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间中的虚拟投影面上，以及
-非固定的虚拟摄像机；
其特征在于，计算单元还设计用于，根据虚拟摄像机的视场区域将虚拟投影面上的第一选择区域置放在第一重叠图像区域中，并计算第一选择区域中第一车载摄像机的至少一个图像参数，以及对第一选择区域中第二车载摄像机的至少一个图像参数进行调整，使其与第一车载摄像机的至少一个图像参数相匹配。
所述装置尤其适用于实施根据本发明所述的方法。
所述虚拟摄像机可在虚拟三维立体空间中自由运动或是可自由运动的。虚拟摄像机方向也可自由运动。由此，尤其可对车辆周围环境中通过车载摄像机检测的每个区域进行观测。
在根据本发明所述装置的优选设计方案中，计算装置设计用于，根据虚拟摄像机的视场区域将虚拟投影面上的第二选择区域置放在第二重叠图像区域内，在第二选择区域中对其摄像机图像具有第二重叠图像区域的另一车载摄像机的至少一个图像参数进行计算，以及对其摄像机图像同样具有第二重叠图像区域的又一车载摄像机的至少一个图像参数进行调整，使其在第二选择区域中与所述另一车载摄像机的所述至少一个图像参数相匹配。此外，计算单元还可设计用于，借助插值在第一和第二选择区域之间对具有第一和第二重叠图像区域或第一和第二选择区域的车载摄像机的图像参数进行调整适配。
其他有益的设计方案从附图中得出。其中：
图1：这是在一设计方案中根据本发明所述方法的流程示意图；
图2：这是在一设计方案中根据本发明所述装置的示意图；
图3：这是车辆周围环境的虚拟表示俯视示意图；
图4：这是虚拟摄像机的示意图。
图1展示根据本发明所述、用于在一设计方案中生成车辆周围环境图像的方法的流程示意图。
在第一方法步骤S1中，车辆周围环境通过多台车载摄像机12、14、16、18检测。车载摄像机12、14、16、18尤其设置在车辆的车身上。在步骤S2中，通过多台车载摄像机12、14、16、18生成摄像机图像，其中，相邻车载摄像机12、14、16、18的摄像机图像具有重叠的图像区域40、42、44、46。
然后，在第三步骤S3中，在虚拟三维立体空间60中生成周围环境的虚拟表示。在此，摄像机图像也被投影到虚拟投影面62上。在第四步骤S4中，在虚拟空间60中提供非固定的虚拟摄像机48。此外，还计算虚拟摄像机位置和/或虚拟摄像机方向。
此外，根据优选设计方案，还可提供这类车辆模型的参数或这类车辆模型，其中，优选将所述参数或车辆模型合并到虚拟三维立体空间中。
在第五步骤S5中，根据虚拟摄像机48的视场区域50在第一重叠图像区域40中确定虚拟投影面62上的第一选择区域56。第一选择区域56的确定方法尤其是在第一步骤中，选择区域56'被置放在重叠图像区域内的标准位置。然后在随后的步骤中检查虚拟摄像机48在标准位置上是否看得见选择区域56'。如果虚拟摄像机48看得见所述选择区域，则该选择区域优选保持在标准位置。如果虚拟摄像机48看不见选择区域56'，则在虚拟投影面62上重叠图像区域40内移动所述选择区域。
如果已确定了第一选择区域56，则在第六步骤S6中，在第一选择区域56中确定第一车载摄像机12的至少一个图像参数。然后，在随后的第七步骤S7中，对第二车载摄像机14的至少一个图像参数进行调整，使其在第一选择区域56中与第一车载摄像机12的至少一个图像参数相匹配。
如图1所示，除了确定第一选择区域外，还可确定其他的选择区域。为此，尤其在第八步骤S8中，根据虚拟摄像机48的视场区域50在虚拟投影面62上的第二重叠图像区域42内确定第二选择区域58。可类似于第一选择区域56的确定进行第二选择区域58的确定。如果置放了第二选择区域58，则优选在步骤S9中在第二选择区域58中计算摄像机图像具有第二重叠图像区域42的另一车辆摄像机16的至少一个图像参数。然后，在步骤S10中，优选对摄像机图像同样具有第二重叠图像区域42的另一车载摄像机14的至少一个图像参数进行调整，使其在第二选择区域58中与其他车载摄像机16的至少一个图像参数相匹配。然后，在步骤S11中，可借助插值计算第一选择区域56和第二选择区域58之间既有第一重叠图像区域40又有第二重叠图像区域42的车载摄像机14的图像参数。
图2展示一设计方案中根据本发明所述装置38的示意图。所述装置38具有用于检测车辆周围环境并生成摄像机图像的多台车载摄像机12、14、16、18。相邻车载摄像机12、14、16、18的视场区域20、22、24、26至少部分重叠。因此，相邻车载摄像机12、14、16、18具有重叠区域28、30、32、34。此外，相邻车载摄像机12、14、16、18的摄像机图像由此可具有重叠的图像区域40、42、44、46。
如图2中可见，装置38还可具有非固定的虚拟摄像机48。此外，装置38还包括计算单元36。所述计算单元36设计用于，在虚拟三维立体空间60中生成周围环境的虚拟表示，其中，生成时在虚拟投影面62上，三维虚拟空间空间60中，进行摄像机图像的投影。此外，计算单元36设计用于，根据虚拟摄像机48的视场区域50将虚拟投影面62上的第一选择区域56置放在第一重叠图像区域56中，并计算第一选择区域中第一车载摄像机12的至少一个图像参数，并对第二车载摄像机14的至少一个图像参数进行调整，使其与第一选择区域56中第一车载摄像机12的至少一个图像参数相匹配。有益的方式是，车载摄像机12、14、16、18为全景环视系统的摄像机，其中，总共具有四台摄像机，并且一台车载摄像机12置于车辆前面，一台车载摄像机16置于车辆后方，一台车载摄像机14置于车辆左侧，一台车载摄像机18置于车辆右侧。
图3展示车辆周围环境的虚拟表示的俯视示意图。摄像机图像的图像区域由点划线表示，其中，相邻摄像机图像具有重叠的图像区域40、42、44、46。车辆模型54被合并到虚拟表示中。此外，图3中还展示虚拟摄像机48。虚拟摄像机48设置在车辆模型54的右侧，具有主要从右下方指向左上方的视场区域50，并包括车辆模型54(由虚线表示)，其中，车辆模型54针对虚拟摄像机48隐藏/遮蔽了虚拟表示的区域52。
第一选择区域56'设置在第一车载摄像机和第二车载摄像机的重叠图像区域40中。根据本发明所述，在第一步骤中，选择区域56'优选设置在标准位置，然后检查虚拟摄像机48是否能看见选择区域56'。如果所述虚拟摄像机看不见选择区域，则优选在重叠图像区域40内移动指定选择区域。如图3所示，选择区域56'位于覆盖/隐藏区域52内，并由此使虚拟摄像机48看不见该选择区域。因此，第一选择区域56'被移动，并由此获得例如选择区域56”。
图4展示虚拟摄像机的示意图。车辆模型54被合并到虚拟三维立体空间60中。车辆模型54被虚拟投影面62围绕，其中，虚拟投影面62基本上设计成碗状，并具有基本平坦的底面，车辆模型54优选设置在底面上。
虚拟摄像机设置在车辆模型54后面的右侧，并指向左前方重叠图像区域40的方向。
选择区域56设置在重叠图像区域40中。所述选择区域56设置在投影面62的壁面区域。选择区域56尤其不处于底面上或选择区域56设置在x轴和y轴上方。如果选择区域56处于重叠图像区域40的x轴上，如根据现有技术基本上所做的那样，则在此所述选择区域是虚拟摄像机48看不见的。此外，图4展示设置在第二车载摄像机和第三车载摄像机的重叠图像区域42中的第二选择区域58。选择区域58设置在虚拟投影面62的底面上，由此它尤其具有为0的z轴坐标值。因此，选择区域56和58不设置在同一坐标轴上，并在所有3个坐标轴上优选具有不同的值。在选择区域56和58中，计算具有相应重叠图像区域的车载摄像机的至少一个图像参数，然后使也具有相应重叠图像区域的车载摄像机的至少一个图像参数与之适配。优选对一侧面车载摄像机的至少一个图像参数进行调整，使其与前置车载摄像机和/或后置车载摄像机的至少一个图像参数相匹配。参考图4，这意味着在选择区域56中计算前置车载摄像机20的图像参数，然后调整适配左侧车载摄像机22的图像参数。在选择区域58中，计算后置车载摄像机24的图像参数，然后调整适配左侧车载摄像机22的图像参数。在包括两个选择区域56和58的车载摄像机中，选择区域56和58之间图像参数的适配优选借助插值进行。这在图4中通过将选择区域56和58彼此连接的线或曲线展示。与现有技术已知的不同，该线不仅仅沿单一轴线走向。插值时，尤其考虑的是选择区域56和58的位置以及当前渲染点的X轴、Y轴和/或Z轴的坐标值。
上面已根据实施例对本发明进行了描述。要指出的是，在不脱离权利要求所限定的保护范围的情况下，可进行多项更改和修改。也可实施不同实施例的组合。
参考标记列表
12 第一车载摄像机
14 第二车载摄像机
16 第三车载摄像机
18 第四车载摄像机
20 第一车载摄像机的视场区域
22 第二车载摄像机的视场区域
24 第三车载摄像机的视场区域
26 第四车载摄像机的视场区域
28 第一/第二车载摄像机的重叠区域
30 第二/第三车载摄像机的重叠区域
32 第三/第四车载摄像机的重叠区域
34 第四/第一车载摄像机的重叠区域
36 计算单元
38 装置
40 第一/第二车载摄像机的重叠图像区域
42 第二/第三车载摄像机的重叠图像区域
44 第三/第四车载摄像机的重叠图像区域
46 第四/第一车载摄像机的重叠图像区域
48 虚拟摄像机
50 虚拟摄像机的视场区域
52 针对虚拟摄像机的被覆盖区域
54 车辆模型
56(')/(”) 第一选择区域
58 第二选择区域
60 虚拟三维立体空间
62 虚拟投影面
S1-S11 方法步骤。

Claims (12)

1.用于生成车辆周围环境的图像的方法，包括下列步骤：
-通过尤其设置在车辆车身上的多台车载摄像机(12、14、16、18)检测车辆周围环境(S1)，
-通过多台车载摄像机(12、14、16、18)生成摄像机图像，其中，相邻车载摄像机(12、14、16、18)的摄像机图像具有重叠图像区域(40、42、44、46)(S2)，
-在虚拟三维立体空间(60)中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间(60)中的虚拟投影面(62)上(S3)，
-在虚拟空间(60)中提供非固定的虚拟摄像机(48)，并确定虚拟摄像机位置和/或虚拟摄像机方向(S4)，
-根据虚拟摄像机(48)的视场区域(50)将虚拟投影面(62)上的第一选择区域(56)置放在第一重叠图像区域(40)中(S5)，
-计算第一选择区域(56)中第一车载摄像机(12)的至少一个图像参数(S6)，
-调整第二车载摄像机(14)的至少一个图像参数，使其在第一选择区域(56)中与第一车载摄像机(12)的至少一个图像参数相匹配(S7)。
2.根据权利要求1所述的方法，其特征在于下列步骤：
-根据虚拟摄像机(48)的视场区域(50)将虚拟投影面(62)上的第二选择区域(58)置放在第二重叠图像区域(42)中(S8)，
-在第二选择区域(58)中，计算另一车辆摄像机(16)的至少一个图像参数(S9)，该另一车辆摄像机的摄像机图像具有第二重叠图像区域(42)，
-对摄像机图像同样具有第二重叠图像区域(42)的又一车载摄像机(14)的至少一个图像参数进行调整，使其与第二选择区域(58)中的所述另一车载摄像机(16)的所述至少一个图像参数相匹配(S10)。
3.根据权利要求2所述的方法，其特征在于，借助插值，在第一选择区域(56)和第二选择区域(58)之间进行具有第一重叠图像区域(40)和第二重叠图像区域(42)的车载摄像机(14)的图像参数的适配(S11)。
4.根据权利要求3所述的方法，其特征在于，插值时，要对单一选择区域(56或58)的位置或若干选择区域(56和58)的位置和/或当前渲染点的X轴、Y轴和Z轴坐标值加以考虑。
5.根据上述权利要求中任一权利要求所述的方法，其特征在于，选择区域(56、58)的置放包括以下步骤：
-将选择区域(56')置放在重叠图像区域(40、42、44、46)之一(40)内的标准位置，以及
-检查虚拟摄像机(48)在标准位置是否看得见选择区域(56')，其中，如果虚拟摄像机(48)看不见选择区域(56')，则在虚拟投影面(62)上在重叠图像区域(40)内移动选择区域(56')。
6.根据权利要求5所述的方法，其特征在于，如果确定虚拟摄像机(48)没有能看见的选择区域，则标准位置用作回避位置。
7.根据上述权利要求中任一权利要求所述的方法，其特征在于，提供车辆模型(54)的参数，其中，参数被合并到虚拟三维立体空间(60)中。
8.根据上述权利要求中任一权利要求所述的方法，其特征在于，图像参数是指图像亮度、图像对比度、图像颜色、图像清晰度、颜色饱和度和/或纹理频率。
9.根据上述权利要求中任一权利要求所述的方法，其特征在于，第一车载摄像机(12)是前置车载摄像机和/或第三车载摄像机(16)是后置车载摄像机，或第一车载摄像机是后置车载摄像机和/或第三车载摄像机是前置车载摄像机。
10.根据上述权利要求中任一权利要求所述的方法，其特征在于，第二车载摄像机(14)是侧面的车载摄像机，尤其是左侧车载摄像机或右侧车载摄像机。
11.用于生成车辆周围环境的图像的装置(38)，包括
-用于检测车辆周围环境并生成摄像机图像的多台车载摄像机(12、14、16、18)，其中，相邻车载摄像机(12、14、16、18)的摄像机图像具有重叠图像区域(40、42、44、46)，其中，车载摄像机(12、14、16、18)尤其置于车辆的车身上，
-计算单元(36)，它设计用于在虚拟三维立体空间(60)中生成周围环境的虚拟表示，其中，在生成时将摄像机图像投影到三维立体虚拟空间(60)中的虚拟投影面(62)上，以及
-非固定的虚拟摄像机(48)，
其特征在于，计算单元(36)还设计用于，根据虚拟摄像机(48)的视场区域(50)将虚拟投影面(62)上的第一选择区域(56)置放在第一重叠图像区域(56)中，并计算第一选择区域中第一车载摄像机(12)的至少一个图像参数，以及对第二车载摄像机(14)的至少一个图像参数进行调整，使其在第一选择区域(56)中与第一车载摄像机(12)的至少一个图像参数相匹配。
12.根据权利要求11所述的装置(38)，其特征在于，计算单元(36)还设计用于，根据虚拟摄像机(48)的视场区域(50)将虚拟投影面(62)上的第二选择区域(58)置放在第二重叠图像区域(42)中，并在第二选择区域(58)中计算摄像机图像具有第二重叠图像区域(42)的另一车载摄像机(16)的至少一个图像参数，并对摄像机图像同样具有第二重叠图像区域(42)的又一车载摄像机(14)的至少一个图像参数进行调整，使其在第二选择区域(58)中与所述另一车载摄像机(16)的所述至少一个图像参数相匹配。
CN202080037166.4A 2019-05-21 2020-05-12 生成车辆周围环境图像的方法及生成车辆周围环境图像的装置 Pending CN113840755A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019207415.4 2019-05-21
DE102019207415.4A DE102019207415A1 (de) 2019-05-21 2019-05-21 Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
PCT/DE2020/200034 WO2020233755A1 (de) 2019-05-21 2020-05-12 Verfahren zur erzeugung eines bildes einer fahrzeugumgebung und vorrichtung zur erzeugung eines bildes einer fahrzeugumgebung

Publications (1)

Publication Number Publication Date
CN113840755A true CN113840755A (zh) 2021-12-24

Family

ID=70918166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080037166.4A Pending CN113840755A (zh) 2019-05-21 2020-05-12 生成车辆周围环境图像的方法及生成车辆周围环境图像的装置

Country Status (6)

Country Link
US (1) US20220222947A1 (zh)
EP (1) EP3973511A1 (zh)
JP (1) JP7332716B2 (zh)
CN (1) CN113840755A (zh)
DE (1) DE102019207415A1 (zh)
WO (1) WO2020233755A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023002809A1 (de) 2023-07-10 2023-09-07 Mercedes-Benz Group AG Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103802725A (zh) * 2012-11-06 2014-05-21 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
DE102013211650A1 (de) * 2013-06-20 2014-12-24 Continental Automotive Gmbh Verfahren und Vorrichtung zum Anpassen eines Bildparameters
DE102014210323A1 (de) * 2014-06-02 2015-12-03 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur adaptiven Bildkorrektur von mindestens einem Bildparameter
CN106575432A (zh) * 2014-09-17 2017-04-19 英特尔公司 碗形成像系统中的对象可视化
DE102016226299A1 (de) * 2016-12-29 2018-07-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI578268B (zh) * 2012-02-22 2017-04-11 能晶科技股份有限公司 鳥瞰影像系統及其補償方法
JP5959264B2 (ja) * 2012-03-29 2016-08-02 三菱電機株式会社 画像処理装置及び方法、並びにコンピュータプログラム
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
DE102014207897A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Verfahren zum Erzeugen eines Anzeigebildes
DE102016124989A1 (de) * 2016-12-20 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
DE102016124978A1 (de) * 2016-12-20 2018-06-21 Connaught Electronics Ltd. Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
DE102017123452A1 (de) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
CN111194549B (zh) * 2017-10-13 2022-01-28 三菱电机株式会社 图像合成装置和图像合成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN103802725A (zh) * 2012-11-06 2014-05-21 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
DE102013211650A1 (de) * 2013-06-20 2014-12-24 Continental Automotive Gmbh Verfahren und Vorrichtung zum Anpassen eines Bildparameters
DE102014210323A1 (de) * 2014-06-02 2015-12-03 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur adaptiven Bildkorrektur von mindestens einem Bildparameter
CN106575432A (zh) * 2014-09-17 2017-04-19 英特尔公司 碗形成像系统中的对象可视化
DE102016226299A1 (de) * 2016-12-29 2018-07-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Also Published As

Publication number Publication date
WO2020233755A1 (de) 2020-11-26
US20220222947A1 (en) 2022-07-14
JP7332716B2 (ja) 2023-08-23
JP2022532867A (ja) 2022-07-20
DE102019207415A1 (de) 2020-11-26
EP3973511A1 (de) 2022-03-30

Similar Documents

Publication Publication Date Title
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US9100554B2 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
EP2523163B1 (en) Method and program for calibrating a multicamera system
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
KR102490272B1 (ko) 차량의 주변 영역을 표시하기 위한 방법
CN112224132B (zh) 一种车用全景环视障碍物预警方法
US20170282813A1 (en) Image display control device and image display system
WO2012169355A1 (ja) 画像生成装置
JP2018531530A5 (zh)
WO2012096058A1 (ja) 画像生成装置
US20100259372A1 (en) System for displaying views of vehicle and its surroundings
US11410430B2 (en) Surround view system having an adapted projection surface
JP5633376B2 (ja) 駐車支援システム
JP5516998B2 (ja) 画像生成装置
EP3274958B1 (en) Surround view system for a vehicle
JP2010018102A (ja) 運転支援装置
JP6413477B2 (ja) 画像表示制御装置および画像表示システム
EP3326146B1 (en) Rear cross traffic - quick looks
CN112703527A (zh) 平视显示器（hud）内容控制系统和方法
CN113840755A (zh) 生成车辆周围环境图像的方法及生成车辆周围环境图像的装置
JP7314518B2 (ja) 周辺監視装置
EP3809377A1 (en) Method and device for providing a visualization of a vehicle
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240412

Address after: Ingolstadt, Germany

Applicant after: Continental Zhixing Germany Co.,Ltd.

Country or region after: Germany

Address before: Nuremberg, Germany

Applicant before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany

TA01 Transfer of patent application right