CN107249934A - 无失真显示车辆周边环境的方法和装置 - Google Patents

无失真显示车辆周边环境的方法和装置 Download PDF

Info

Publication number
CN107249934A
CN107249934A CN201680010084.4A CN201680010084A CN107249934A CN 107249934 A CN107249934 A CN 107249934A CN 201680010084 A CN201680010084 A CN 201680010084A CN 107249934 A CN107249934 A CN 107249934A
Authority
CN
China
Prior art keywords
vehicle
data
reprojection
panoramic looking
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680010084.4A
Other languages
English (en)
Other versions
CN107249934B (zh
Inventor
M·弗里贝
F·勒尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN107249934A publication Critical patent/CN107249934A/zh
Application granted granted Critical
Publication of CN107249934B publication Critical patent/CN107249934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于车辆的全景环视摄像系统，该全景环视摄像系统至少配备一台车载摄像机，用以提供摄像机图象，所提供图象由数据处理单元处理以生成周边环境的环境图象，该环境图象显示在显示单元上，其中，数据处理单元将车载摄像机抓取到的纹理再投影到自适应的、近似于车辆周边环境的、基于由车载传感器提供的传感器数据计算得出的再投影平面上，其中，所述数据处理单元根据虚拟摄像机的位置和/或方向调整匹配所述再投影平面。

Description

无失真显示车辆周边环境的方法和装置
技术领域
本发明涉及一种无失真显示车辆周边环境的方法和装置，尤其针对配备全景环视摄像系统的公路车辆。
背景技术
配备了驾驶员辅助系统的车辆日益增加，这类系统为驾驶员实现行驶机动性提供支持。其中部分驾驶员辅助系统配有全景环视摄像系统，可为汽车驾驶员显示汽车周边环境。这类全景环视摄像系统包含一个或多个车载摄像机，用以拍摄并提供摄像机图象，并由全景环视摄像系统的一个数据处理单元将其合成为车辆周边的环境图象。在此，车辆周边的图象显示在一个显示单元上。传统的基于摄像机的驾驶员辅助系统将摄像系统的纹理信息投影到一个静态的投影平面上，例如一个静态的二维平面或一个静态三维立体碗形面上。
但是，这类系统有一个严重的缺点，即因为纹理二次投影平面是静态的，所以其所显示的车辆周边目标严重失真，因而无法相应地再现出摄像机系统真实的或近似真实的环境图象。反而会显示出由干扰伪影形成的严重失真的目标图象。
发明内容
因此，本发明的任务是提供一种无失真显示车辆周边环境的装置和方法，从而避免各类失真的伪影显示，以便能尽好地观察到车辆周围的障碍并使这些障碍能被无失真地反映出来。
本发明通过具备专利权利要求1中所述特征的全景环视摄像系统来完成该任务。
据此并从第一方面而言，本发明提供了一种用于车辆的全景环视摄像系统，该系统至少配备一部车载摄像机，用以拍摄并提供摄像机图象，随后由数据处理单元进行处理以便生成全景环视图象或周边环境图象，该图象在显示单元上显示，其中数据处理单元将车载摄像机抓取到的纹理再投影到自适应的、近似于汽车周边环境的、基于汽车传感器提供的传感器数据计算得出的再投影平面上，其中，所述数据处理单元根据一虚拟摄像机的位置和/或方向调整匹配所述再投影平面。
在根据本发明所提供全景环视摄像系统一个可能的实施方式中，由汽车传感器提供的传感器数据准确反映车辆的周边环境。
在根据本发明所提供全景环视摄像系统另一个可能的实施方式中，传感器数据包含泊车间隔距离数据、雷达数据、激光雷达数据、摄像机数据、激光扫描数据和/或运动数据。
在根据本发明所提供全景环视摄像系统另一个可能的实施方式中，自适应的再投影平面具备能够动态改变的栅格。
在根据本发明所提供全景环视摄像系统另一个可能的实施方式中，再投影平面的栅格可根据所提供的传感器数据动态改变。
在根据本发明所提供全景环视摄像系统另一个可能的实施方式中，再投影平面的栅格为三维立体栅格。
在根据本发明所提供全景环视摄像系统的一种实施例中，显示单元是触控式屏幕，虚拟摄像机的位置和/或方向能够由用户通过所述触控式屏幕调整设置。
此外，本发明还提供了一种具有专利权利要求7中所述特征的驾驶员辅助系统。
据此并从第二方面讲，本发明提供了一种内置集成了全景环视摄像系统的驾驶员辅助系统，其中该全景环视摄像系统至少配备一部车载摄像机，用以拍摄并提供摄像机图象，摄像机图象随后由数据处理单元进行处理以用于生成全景环视图象，该图象在显示单元上显示，其中数据处理单元将车辆的车载摄像机抓取到的纹理再投影到自适应的、近似于车辆周边环境的、基于汽车传感器提供的传感器数据计算得出的再投影平面上。
此外，本发明还提供一种具有专利权利要求8中所述特征的、用于无失真显示车辆周边环境的方法。
本发明据此提供了一种无失真显示车辆周边环境的方法，该方法包括如下步骤：
由车辆的车载摄像机拍摄生成车辆周边环境的摄像机图象，
处理所生成摄像机图象并生成车辆周边环境的环境图象，
将车载摄像机抓取到的纹理再投影到自适应的、近似于车辆周边环境的、基于由车载传感器提供的传感器数据计算得出的再投影平面上，和根据提供车辆鸟瞰摄影图的虚拟摄像机的位置和/或方向进行再投影平面的调整匹配。
本发明所涉及方法的另外可能的实施方式在从属权利要求中给出。
附图说明
下面结合附图对本发明所涉及的、用于无失真显示车辆周边环境的装置和方法的可行的实施方式做进一步的说明。
其中：
图1一方框电路图，用以描绘本发明所涉及的一种全景环视摄像系统的一个实施例；
图2一流程图，用以描绘本发明所涉及的、无失真显示车辆周边环境方法的一个实施例；
图3一示意图，用以解释根据本发明所提供方法以及根据本发明所提供全景环视摄像系统的工作原理。
具体实施方式
如图1中所示，在所示案例中，全景环视摄像系统1配备了多个部件。在所示实施案例中，全景环视摄像系统1至少配备一部车载摄像机2，用以拍摄和提供摄像机图象，该摄像机图象由全景环视摄像系统1的数据处理单元3处理并生成车辆全景环视图象或周边环境图象。由数据处理单元3生成的全景环视图象或车辆周边环境图象显示在显示单元4上。数据处理单元3基于汽车的车载传感器5所提供的传感器数据，计算得出自适应的再投影平面。由全景环视摄像系统1的车载摄像机2抓取的纹理被再投影到该计算得出的、自适应的、近似于车辆周边环境的再投影平面上，并由此减少或消除失真或失真伪影。
例如，图1中所示的传感器5为泊车间隔距离控制或调节传感器。此外，它还可是车辆传感器中的雷达传感器和激光雷达传感器。另一种可能的实施方式是，由其他车载摄像机2，尤其是由立体摄像机或单声道摄像机提供用于计算自适应二次投影平面的传感器数据。又一种可能的实施方式是，由车辆激光扫描系统提供传感器数据。还有一种可能的实施方式是，由数据处理单元3提供运动数据或结构数据，用以计算二次投影平面。由车载传感器5提供的传感器数据高精度地再现了车辆周边环境或车辆周边环境中的目标。这些目标可能是例如其他直接位于本车周边环境中的，例如在距本车最大五米范围内的车辆。另外还可能是最大五米范围内紧邻本车辆的过路行人。目标也可能是例如界定停车场的栏杆等其他障碍。
由数据处理单元3基于传感器数据计算得出的再投影平面优选具备一个能够动态改变的栅格或网格。在一种可能的实施方式中，根据所提供的传感器数据动态改变该再投影平面的栅格。再投影平面的栅格优选为三维立体栅格。由数据处理单元3计算得出的再投影平面不是静态而是动态的，且可根据车载传感器5传送的传感器数据自适应调整。一种可能的实施方式是，该车载传感器5可包括单声道前置摄像机或立体摄像机。此外，传感器单元5还可配备提供数据的激光雷达系统，或配备将周边环境雷达数据传输到数据处理单元3的雷达系统。数据处理单元3可包含一个或多个微处理器，用以处理传感器数据并从中即时计算出再投影平面。由车载摄像机2抓取的纹理被投影或再投影到该计算得出的、近似于车辆周边环境的再投影平面上。车载摄像机2的显示具有不同的变化形式。一种可能的实施方式是，在车辆四个不同侧面上配备四个车载摄像机2。所指车辆优选为公路车辆，尤其是载重货车或轿车。为减少或消除前文所述的伪影，可通过本发明所涉及的全景环视摄像系统1，将摄像机系统中摄像机2所抓取的周边环境的纹理通过自适应的再投影平面再投影。通过本发明所涉及的全景环视摄像系统1可大幅提高所示车辆周边环境的图象质量。相对于使用静态再投影表面的系统，本系统对车辆周边环境中的目标，例如停在附近的其他车辆或处于附近的人员，显示时的失真度较低。
数据处理单元3控制一台如图3中所示的虚拟摄像机6。从图3中可发现，由数据处理单元3控制的虚拟摄像机6从鸟瞰角度提供车辆F上方的摄影图象。在一基本设置中，虚拟摄像机6竖直地以呈90度角、超过车辆F车身H的高度虚拟设置。虚拟摄像机6的摄影及图象可从规定配置在车辆F上的全景环视摄像机的摄影及图象中通过数据处理单元3计算获得。虚拟摄像机6拥有相对车辆F的摄像机相对方向以及相对车辆F的相对位置。全景环视摄像系统1的数据处理单元3根据虚拟摄像机6的位置和方向调整匹配再投影平面。优选虚拟摄像机6的位置和方向可被调整。如图3所示，虚拟摄像机6例如可从其在车身上方呈90度角的竖直位置出发倾斜，其中虚拟摄像机的倾斜角度α例如可选为45度。车载摄像机6的相对于车辆F的距离或高度如图3举例所示保持恒定。除了相对位置外，车载摄像机6的方向也可附加进行调整匹配。在一可能的实施形式中，数据处理单元3从虚拟摄像机6的参数储存器中读取虚拟摄像机6相对于车辆F的当前位置和方向。随后，根据所读取的虚拟摄像机6的参数，由数据处理单元3对自适应的再投影平面进行设置或调整匹配，使得在显示单元4上无失真地显示尽可能多的纹理和摄像机信息，同时使车辆F的驾驶员能方便地识别紧邻车辆F的周边环境中所存在的障碍。在一可能的实施方式中，显示单元4中涉及的是一种触控式屏幕。在一可能的实施方式中，车辆F的驾驶员或用户可接触触控式屏幕，同时调整或校准虚拟摄像机6的位置和/或方向，以尽可能清晰地识别在紧邻车辆的周围环境中的障碍，例如用于标记限定停车面的栏杆等。在另一可能的实施方式中，用户可对虚拟摄像机6在所观察的车辆F上的间距和高度加以调整，以便尽可能清晰、详尽地识别车辆周围所存在的障碍。这里所说的障碍可以是在车道表面上阻止车辆F四处行驶的任意目标物体，例如一堆雪或限定停车面的栏杆等。
图2所示流程图描绘了本发明所涉及的、用于无失真显示车辆周边环境的方法一种实施例。
在第一步骤S1中，由车辆F的车载摄像机2拍摄生成车辆周边环境的摄像机图象。例如，由安装在车辆不同侧面的多台车载摄像机2拍摄生成摄像机图象。
随后，在步骤S2中处理这些所生成的摄像机图象，以生成车辆周边环境的环境图象。一种可能的实施方式是，如图1所示，由数据处理单元3完成对所生成的摄像机图象的处理工作。摄像机图象优选被即时处理，以生成相应的环境图象。
在进一步的步骤S3中，首先基于所提供的传感器数据计算出再投影平面，然后将车载摄像机抓取到的纹理再投影到该自适应的、计算得出的再投影平面上。该自适应的再投影平面具有能够动态改变的栅格，该栅格根据所提供的传感器数据被动态改变。该栅格优选为三维立体栅格。
在一步骤S4中，通过数据处理单元3，根据车辆F鸟瞰摄影图从上方提供的虚拟摄像机6的位置和/或方向调整匹配所述再投影平面。
在一种可能的实施方式中，图2中所示的方法可由计算机程序来执行，该计算机程序含有可由微处理器执行的计算机指令。一种可能的实施方式是，该程序存储在数据载体上或程序存储器中。

Claims (15)

1.一种用于车辆(F)的全景环视摄像系统(1)，该全景环视摄像系统至少配备了一台车载摄像机(2)，用以拍摄和提供摄像机图象，摄像机图象由数据处理单元(3)处理以用于生成车辆周边环境图象，该车辆周边环境图象显示在显示单元(4)上，其中数据处理单元(3)将车载摄像机(2)所抓取到的纹理再投影到自适应的、近似于车辆周边环境的、基于由车载传感器(5)提供的传感器数据计算得出的再投影平面上，其中，数据处理单元(3)根据虚拟摄像机(6)的位置和方向对所述再投影平面进行调整匹配。
2.根据权利要求1所述的全景环视摄像系统，
其中，由车载传感器(5)提供的传感器数据反映了车辆(F)的周边环境。
3.根据权利要求2所述的全景环视摄像系统，
其中，传感器数据包括泊车间隔距离数据、雷达数据、激光雷达数据、摄像机数据、激光扫描数据以及运动数据。
4.根据上述权利要求1至3中任一权利要求所述的全景环视摄像系统，
其中，计算得出的、自适应的再投影平面具有能够动态改变的栅格。
5.根据权利要求4所述的全景环视摄像系统，
其中，再投影平面的栅格是三维立体栅格，该栅格能够根据所提供的传感器数据动态改变。
6.根据上述权利要求1至5中任一权利要求所述的全景环视摄像系统，
其中，显示单元(4)是触控式屏幕，虚拟摄像机(6)的位置和方向能够由用户调整设置。
7.一种用于车辆的驾驶员辅助系统，该驾驶员辅助系统配有根据上述权利要求1至6中任一权利要求所述的全景环视摄像系统(1)。
8.一种用于无失真显示车辆(F)的车辆周边环境的方法，该方法包括如下步骤：
(a)由车辆的车载摄像机(2)拍摄生成(S1)车辆周边环境的摄像机图象；
(b)处理(S2)所生成摄像机图象，用于生成车辆周边环境的环境图象；以及
(c)将车载摄像机(2)抓取到的纹理再投影(S3)到自适应的、近似于车辆周边环境的、基于由车载传感器(5)提供的传感器数据计算得出的再投影平面上，
(d)根据提供车辆(F)鸟瞰摄影图的虚拟摄像机(6)的位置和/或方向调整匹配(S4)所述再投影平面。
9.根据权利要求8所述的方法，
其中，由车载传感器(5)提供的传感器数据反映了车辆(F)的周边环境。
10.根据权利要求9所述的方法，其中，传感器数据包括泊车间隔距离数据、雷达数据、激光雷达数据、摄像机数据、激光扫描数据以及运动数据。
11.根据上述权利要求8至10中任一权利要求所述的方法，
其中，自适应的再投影平面具有能够动态改变的栅格。
12.根据权利要求11所述的方法，
其中，再投影平面的栅格是三维立体栅格，该栅格根据所提供的传感器数据被动态改变。
13.根据权利要求12所述的方法，
其中，虚拟摄像机(6)的位置和方向由用户通过用户界面来调整设置。
14.一种计算机程序，该计算机程序包括根据上述权利要求8至13中任一权利要求所述方法实施的指令。
15.一种车辆，尤其是公路车辆，该车辆配备有根据权利要求7所述的驾驶员辅助系统。
CN201680010084.4A 2015-02-17 2016-02-04 无失真显示车辆周边环境的方法和装置 Active CN107249934B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015202863.1 2015-02-17
DE102015202863.1A DE102015202863A1 (de) 2015-02-17 2015-02-17 Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
PCT/DE2016/200074 WO2016131452A1 (de) 2015-02-17 2016-02-04 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges

Publications (2)

Publication Number Publication Date
CN107249934A true CN107249934A (zh) 2017-10-13
CN107249934B CN107249934B (zh) 2021-01-12

Family

ID=55661011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010084.4A Active CN107249934B (zh) 2015-02-17 2016-02-04 无失真显示车辆周边环境的方法和装置

Country Status (7)

Country Link
US (1) US20170341582A1 (zh)
EP (1) EP3259907A1 (zh)
JP (1) JP2018509799A (zh)
KR (1) KR20170118077A (zh)
CN (1) CN107249934B (zh)
DE (2) DE102015202863A1 (zh)
WO (1) WO2016131452A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
CN111169382A (zh) * 2018-11-13 2020-05-19 丰田自动车株式会社 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113544742A (zh) * 2019-04-02 2021-10-22 康蒂-特米克微电子有限公司 泊车辅助系统
CN113607203A (zh) * 2021-07-30 2021-11-05 武汉路特斯汽车有限公司 一种车辆传感器的控制方法及系统、一种车辆
CN113607203B (zh) * 2021-07-30 2024-05-28 宁波路特斯机器人有限公司 一种车辆传感器的控制方法及系统、一种车辆

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102017216822A1 (de) * 2017-09-22 2019-03-28 Continental Automotive Gmbh Vorrichtung und Verfahren zum Anpassen einer Bildverarbeitung basierend auf einer Form einer Anzeigeneinrichtung für ein Kraftfahrzeug

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05638A (ja) * 1991-06-24 1993-01-08 Sony Corp 車載用監視装置
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
EP1462762B1 (en) * 2003-03-25 2010-11-03 Aisin Seiki Kabushiki Kaisha Circumstance monitoring device of a vehicle
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
EP2661073A2 (en) * 2012-05-03 2013-11-06 Harman International Industries, Incorporated System and method of interactively controlling a virtual camera
DE102012018326A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP2014060646A (ja) * 2012-09-19 2014-04-03 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、画像処理システム
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
JP2014197818A (ja) * 2013-03-29 2014-10-16 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP2015015527A (ja) * 2013-07-03 2015-01-22 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158344A1 (ja) * 2010-06-16 2011-12-22 コニカミノルタオプト株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
JP5861871B2 (ja) * 2011-12-28 2016-02-16 スズキ株式会社 俯瞰画像提示装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05638A (ja) * 1991-06-24 1993-01-08 Sony Corp 車載用監視装置
EP1462762B1 (en) * 2003-03-25 2010-11-03 Aisin Seiki Kabushiki Kaisha Circumstance monitoring device of a vehicle
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
EP2661073A2 (en) * 2012-05-03 2013-11-06 Harman International Industries, Incorporated System and method of interactively controlling a virtual camera
DE102012018326A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP2014060646A (ja) * 2012-09-19 2014-04-03 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、画像処理システム
JP2014197818A (ja) * 2013-03-29 2014-10-16 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP2015015527A (ja) * 2013-07-03 2015-01-22 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
CN111169382A (zh) * 2018-11-13 2020-05-19 丰田自动车株式会社 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
CN111169382B (zh) * 2018-11-13 2024-01-09 丰田自动车株式会社 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
CN113544742A (zh) * 2019-04-02 2021-10-22 康蒂-特米克微电子有限公司 泊车辅助系统
CN113544742B (zh) * 2019-04-02 2024-03-26 康蒂-特米克微电子有限公司 泊车辅助系统
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113607203A (zh) * 2021-07-30 2021-11-05 武汉路特斯汽车有限公司 一种车辆传感器的控制方法及系统、一种车辆
CN113607203B (zh) * 2021-07-30 2024-05-28 宁波路特斯机器人有限公司 一种车辆传感器的控制方法及系统、一种车辆

Also Published As

Publication number Publication date
WO2016131452A1 (de) 2016-08-25
DE112016000188A5 (de) 2017-08-31
US20170341582A1 (en) 2017-11-30
KR20170118077A (ko) 2017-10-24
JP2018509799A (ja) 2018-04-05
DE102015202863A1 (de) 2016-08-18
EP3259907A1 (de) 2017-12-27
CN107249934B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN107249934A (zh) 无失真显示车辆周边环境的方法和装置
CN106462996A (zh) 无失真显示车辆周边环境的方法和装置
CN104442567B (zh) 交通工具图像显示系统中的物体突显和传感
JP3868876B2 (ja) 障害物検出装置及び方法
CN103778649B (zh) 用于相机建模和虚拟视图合成的成像表面建模
KR100937750B1 (ko) 운전 지원 장치
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN106908046B (zh) 测量子系统和测量系统
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN106799993A (zh) 街景采集方法和系统、车辆
CN106464847A (zh) 影像合成系统和用于其的影像合成装置与影像合成方法
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
CN105828028A (zh) 一种对车辆底部进行安全检测的方法及装置
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
EP4028288A1 (en) Sensor fusion based perceptually enhanced surround view
JP2014165810A (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
JP2021085855A (ja) 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
JP2019202584A (ja) 画像処理装置および画像処理方法
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
CN106961585B (zh) 行车辅助方法及装置
JPWO2020022373A1 (ja) 運転支援装置および運転支援方法、プログラム
CN114708334A (zh) 一种基于域控制器平台的环视系统混合标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240412

Address after: Ingolstadt, Germany

Patentee after: Continental Zhixing Germany Co.,Ltd.

Country or region after: Germany

Address before: Nuremberg, Germany

Patentee before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany

TR01 Transfer of patent right