CN104204847B - 用于可视化车辆的周围环境的方法和装置 - Google Patents

用于可视化车辆的周围环境的方法和装置 Download PDF

Info

Publication number
CN104204847B
CN104204847B CN201280067596.6A CN201280067596A CN104204847B CN 104204847 B CN104204847 B CN 104204847B CN 201280067596 A CN201280067596 A CN 201280067596A CN 104204847 B CN104204847 B CN 104204847B
Authority
CN
China
Prior art keywords
vehicle
surrounding environment
video
virtual view
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280067596.6A
Other languages
English (en)
Other versions
CN104204847A (zh
Inventor
J·黑克尔
C·马贝格尔
H·米伦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN104204847A publication Critical patent/CN104204847A/zh
Application granted granted Critical
Publication of CN104204847B publication Critical patent/CN104204847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B60K35/28—
    • B60K35/85—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B60K2360/176—
    • B60K2360/592—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

本发明涉及一种用于可视化车辆(1)的周围环境的方法，包括以下步骤：借助至少一个传感器确定并且存储车辆(1)与在所述车辆的周围环境中存在的障碍物(6，60，61，62，63，64，65，66)之间的当前的间距；确定并且存储所述车辆的当前的位置；由所存储的数据计算至少二维的周围环境模型；由所选择的虚拟的观察者位置(3)计算所述周围环境模型的虚拟视图(30)；借助至少一个视频摄像机(2)拍摄所述周围环境的至少一部分的视频显示并且将所述视频显示(20)集成到所述虚拟视图(30)中；并且将具有集成的视频显示的虚拟视图输出给所述车辆(1)的驾驶员。

Description

用于可视化车辆的周围环境的方法和装置
背景技术
本发明涉及车辆的周围环境的扩展的显示。在扩增实境(Augmented-Reality)描述的所述方案中，将位置相关的附加信息插入到由观察者察觉的实境中在车辆中大多通过以下实现以上所述：摄像机产生车辆周围环境的通过相应的输出装置向驾驶员显示的实时视频图像。然后，在该图像中示出用于支持驾驶员的附加信息。所述附加信息例如可以是当前的转向偏转时的预计的行驶路径的可视化或者是障碍物的突出。尤其在狭窄部位时或者泊车过程中，这种系统非常有用。
然而，由于摄像机的有限的张角(通常小于50°)存在仅仅能够可视化车辆的周围环境的有限的区域的问题。主要是，借助所述系统通常不能检测车辆的近区域。然而，车辆在近区域中的精确的周围环境模型是值得做的，以便在此也能将信息通知驾驶员。
由现有技术已知DE 10 2008 036 009 A1，其描述了一种用于测量机动车的周围环境的方法。借助多个没有进一步详细描述的传感器检测车辆的近区域并且由所获取的数据生成周围环境地图，在所述周围环境地图中车辆虚拟地运动。将所生成的空间的例如以俯视视角的显示建议为可视化。此外，在其中可以可视化重要的信息、例如即将发生的碰撞或者行驶通道的显示。然而，没有实现车辆的周围环境的远区域的可视化。
文献DE 10 2009 005 566 A1描述了一种将来自视频摄像机的信号与近区域传感器(例如超声传感器)的信号相结合的方法。对此，借助视频摄像机探测车辆的周围环境中的对象，所述对象可以借助近区域传感器测量到。因此，可以将对象记录到车辆的三维的周围环境地图中。所述地图随后可以用于不同的应用、例如泊车时的驾驶员的支持的应用。然而，在该文献中没有进一步描述可视化。
DE 10 2009 005 505 A1描述了一种用于产生由虚拟的摄像机位置的车辆的周围环境图像的方法，其中将摄像机视角的成像换算成虚拟的摄像机位置。对此，借助多个摄像机检测车辆的近区域，随后与3D模型组合，以便因此平滑摄像机的透视失真(perspektivische Verzerrungen)。同样借助所描述的摄像机通过运用立体运动原理(Stereo-from-Motion-Prinzip)得到3D模型。因此，可以向驾驶员显示例如由俯视视角的其车辆的整个近区域的视频图像。
然而，所描述的现有技术具有以下不利：仅仅可视化车辆的近区域，而没有注意远区域。此外，如前两种情形中那样，没有向驾驶员示出周围环境的视频图像。然而，这是所期望的，因为所述视频图像包含许多信息并且对于驾驶员而言比合成的模型直观的更加易于理解。第三模型然而公开了多个摄像机的使用，这增加生产耗费和车辆的成本。所引用的文献也没有讨论有利地使用人为呈现的周围环境模型和光学的周围环境传感器的图像数据之间的透视连续的过渡的可能性。
发明内容
根据本发明的用于可视化车辆周围环境的方法通过独立权利要求1的特征的组合克服现有技术的不利。为了直接并且清晰地向车辆的驾驶员显示内容丰富的周围环境信息，生成由合成产生的周围环境模型和实时视频图像的分成两部分的显示。为了产生周围环境模型，首先检测车辆与周围环境中的障碍物之间的当前的间距。同时确定车辆的当前的位置，所述当前的位置与间距信息一同被缓存。现在可以由存储的多个位置数据和间距数据计算出车辆的周围环境的模型，这根据所使用的间距传感器的类型可以是二维模型或者三维模型。所述周围环境模型的优点是，可以从不同的虚拟位置观察所述周围环境模型。如果确定某个虚拟的观察者位置(例如由驾驶员)，则计算周围环境模型的由观察者位置的虚拟视图。通过这种方式例如能够实现产生周围环境的俯视图。除周围环境模型以外，借助至少一个视频摄像机、优选借助恰好一个视频摄像机检测周围环境的一部分。将如此产生的视频显示在适合的位置处集成到虚拟视图中，以便可以向驾驶员示出其车辆的周围环境的全面的图像：在视频摄像机的检测区域中驾驶员可见周围环境的实时视频图像，而在视频摄像机的检测区域的外部驾驶员可见合成产生的周围环境模型。借此，除周围环境的视频显示以外，关于恰好没有位于视频摄像机的检测区域中的障碍物的信息也可供驾驶员使用。
总而言之，借助根据本发明的方法可以显示周围环境的比由视频摄像机检测的更大的区段(Ausschnitt)，因此可能的是，也使用具有小的张角的视频传感器。此外有利的是，将所创建的三维的周围环境模型用于平滑透视失真。
虚拟视图尤其包括分成两部分的显示，因此人为的水平线位于发动机舱/乘客舱之间的过渡的高度上，所述人为的水平线能够实现划分成不同的视图。因此，人为的水平线例如可以将前视摄像机的图像与合成产生的俯视划分开。
从属权利要求示出本发明的优选扩展方案。
以有利的方式，借助光学传感器确定车辆与障碍物之间的间距。在此，所述传感器或者可以是无源的传感器(单目视频和立体视频)或者是有源的传感器系统(激光扫描仪、激光成像器、PMD(光子混合器件(Photonic Mixing Device)、根据飞行时间法的光学传感器、闪光激光雷达(Flush-Lidar))。
此外，当从视频摄像机的信号获得与车辆的周围环境中的障碍物的间距数据时是有利的。这意味着，视频摄像机必须完成两个任务。其一方面用作间距传感器(例如根据从运动恢复结构法(Structure-from-Motion Verfahren)或者通过视频摄像机是立体摄像机的方式)，另一方面用作对于待显示的视频信号的提供方。因此，除视频摄像机以外，不需要其它的传感机构来确定周围环境模型。
优选地，测量车辆的位置作为绝对位置或者作为与已存储的位置相对的位置。里程表适于确定相对位置，这使位置确定过程非常简单。如果要测量绝对位置，则要注意位置确定方法的足够的准确度。在此例如可以使用差分GPS。
在另一种优选实施方式中，由车辆的驾驶员确定周围环境模型的虚拟的观察者位置。因此，所述驾驶员可以通过观察方式的变化和车辆的周围环境中的视角的变化单独构型障碍物的可视化。替代地，虚拟的观察者位置可以由计算单元自动确定并且在显示装置中显示。最后，根据所选择的虚拟的观察者位置计算周围环境模型的虚拟视图，以及相应匹配视频显示，以使所述视频显示无缝地插入到虚拟视图中。
此外，当当前的行驶参数集成到虚拟视图中时是有利的。这例如可以是到停车场的路径或者面临的碰撞对象，其中当前是否由视频摄像机检测到所述对象或者所述路径是不重要的。合成的周围环境模型的可视化也能够实现对视频摄像机的检测区域以外的对象的警告。因为周围环境模型的可视化和视频显示具有共同的坐标系，所以所述附加信息也可以无缝地施加在两个区域上。通过这种方式，例如也可以在泊车过程期间“监视”识别到的支柱，即使当所述支柱已经离开摄像机的可视范围时。
附加地，本发明涉及具有权利要求7的特征的用于可视化车辆周围环境的装置。所述装置包括至少一个用于确定车辆与障碍物的间距的传感器以及至少一个用于确定车辆的当前位置的传感器。还存在存储装置，在所述存储装置中存储位置数据和间距数据。此外使用视频摄像机，所述视频摄像机检测周围环境的至少一部分并且将这些数据转交给计算装置。计算装置基于所存储的车辆的位置数据和障碍物的间距数据以及视频摄像机的信号生成周围环境的可视化，在显示装置上向驾驶员示出所述可视化。为此，计算装置由所存储的位置数据和间距数据计算周围环境模型。如果选择一个虚拟的观察者位置，则计算装置继续由所选择的虚拟的观察者位置确定所述周围环境模型的虚拟视图。最后，计算装置将视频摄像机的信号集成到虚拟视图中。因此，可以借助根据本发明的装置理想地实施根据本发明的方法。
以有利的方式，至少一个用于确定车辆与障碍物之间的间距的传感器或者涉及无源的光学传感器(单目视频和立体视频)或者涉及有源的光学传感器系统(激光扫描仪、激光成像器、PMD、闪光激光雷达)。
用于确定车辆与障碍物的间距的传感器优选包括视频摄像机，因此所述视频摄像机必须完成两个任务。一方面，所述视频摄像提供与车辆的周围环境中的障碍物的间距信息(例如根据从运动恢复结构法或者立体视频法)，而另一方面，所述视频摄像机提供待显示的视频信号。因此，不需要分离的间距传感机构，这明显简化根据本发明的装置的结构。
此外公开一种车辆，所述车辆包括根据本发明的装置，或者如此设置，使得实施根据本发明的方法。
此外，当处理由摄像机拍摄的视频显示以进行显示器显示时是有利的。通过这种方式可以适配以下视角：显示器显示由所述视角示出虚拟的周围环境，从而不出现透视障碍(perspektivische)。
附图说明
以下参考附图详细描述本发明的实施例。附图示出：
图1：车辆的周围环境的根据现有技术的可视化的视图；
图2：车辆的周围环境的根据本发明的第一实施方式的第一可视化变型方案的示图；
图3：车辆的周围环境的根据本发明的第一实施方式的第二可视化变型方案的示图；
图4：驶过狭窄通道时的车辆周围环境在第一时刻时的根据本发明的第二实施方式的可视化；以及
图5：驶过狭窄通道时的车辆周围环境在第二时刻时的根据本发明的第二实施方式的可视化。
具体实施方式
图1示出通过摄像机2检测的周围环境的具有有限的视角的通常的透视的视频显示20。
图2和3说明本发明的第一实施方式。观察到装配有摄像机2的车辆1。根据本发明，摄像机完成两个功能：一方面仅仅可以示出周围环境的视频显示20，另一方面可以借助立体运动法(Stereo-from-Motion-Verfahren)确定与车辆的周围环境中的障碍物6的间距。因此，摄像机也用作间距传感器，以便可以计算车辆的三维的周围环境模型。所述周围环境模型又能够实现确定虚拟的观察者位置3(参考图2和3)，应当从所述观察者位置观察周围环境。因此例如能够实现产生显示器显示30，所述显示器显示示出从俯视视角(从上方垂直视图)到驾驶员视角的连续过渡(见图2)。另一种可能性是，近区域和远区域以俯视视角的中央视角显示(见图3)。在此，显示器显示的第一部分40基于周围环境模型的重建。这相应于周围环境的由摄像机2不可见的区域4。显示器显示的第二部分50基于视频摄像机的信号。这相应于周围环境的由摄像机可见的区域5。在所描述的两种视角中相应变换周围环境的视频显示20，以使所述视频显示可以无缝地并且没有透视失真地附加到由周围环境模型计算出的视图上。
图4和5示出驶过狭窄的通道的车辆1。所述通道通过左侧的三个车辆60、62和64并且通过右侧的三个车辆61、63和65以及通过其他一些集装箱66构成。在车辆1的驶过期间，依照根据本发明的方法根据第二实施方式可视化周围环境。借助三个图像——第一图像21、第二图像22和第三图像23示例性阐述整个过程，所述三个图像由摄像机2在不同的时刻拍摄。在此，也将向驾驶员显示的显示器显示30分成两部分。在上方区域31中显示与驾驶员看到的透视图一样的透视图。在此，集成摄像机2的视频显示，所述视频显示为此不必进行进一步变换。下方区域32示出以俯视视角的周围环境。因此，上方区域31相应于车辆1的远区域的可视化，而下方区域32相应于车辆的近区域的可视化。
在图4中，车辆位于摄像机2拍摄第二图像22的位置处。在此处不再可见通道的左后方的车辆60和右后方的车辆61。然而根据本发明，在充分利用立体运动原理的情况下摄像机2也可以用于确定周围环境模型，或者在使用立体视频摄像机的情况下运行摄像机2，以便已知两个车辆60和61相对于自身车辆1的位置。因此，能够没有问题地实现，两个车辆60和61相对于自身车辆的位置由周围环境模型求取并且在显示器显示30中在下方区域32中示出(俯视视角)。同样的情况类似适于位于车辆后方的集装箱66。尽管车辆1已经从旁驶过相同的集装箱，但是总是示出所述集装箱。根据本发明还能够实现，警告驾驶员注意所述集装箱66，因为其相对于车辆的位置是已知的，尽管自较长的时间起不再由视频摄像机2检测到。
摄像机2的视频显示在上方区域31(驾驶员视角)中集成到显示器显示30中。所述显示器显示无缝地插入到其余的显示中并且可以扩展来自周围环境模型的附加的周围环境信息。因此，车辆1例如已经如此近的靠近通道的左侧中间的车辆62，使得所述车辆不再能够完全由摄像机2检测到。然而，由周围环境模型不仅已知左侧中间的车辆62相对于自身车辆1的位置，而且也已知其尺寸。因此，可以扩展在显示器显示30的上方区域31中示出的视频图像，其方式是，左侧中间的车辆62的由周围环境模型重建的轮廓使视频显示完整。
在图3中示出通道驶过的第二时间步骤，在所述时间步骤时摄像机2拍摄第三图像23。现在不再显示不再重要的目标、如以上所描述的集装箱66。此外，借助右侧中间的车辆63阐明能够如何将对象从显示器显示30的上方区域31变换到下方区域32中。所述变换相应于从远区域(驾驶员视角或者上方区域31)到近区域(俯视视角或者下方区域32)中的过渡并且在车辆1从相应对象旁驶过的时刻发生。显示中的连续过渡最终影响其车辆的周围环境的对于车辆的驾驶员而言直接可理解的可视化。

Claims (10)

1.一种用于可视化车辆(1)的周围环境的方法，所述方法包括以下步骤：
借助至少一个传感器确定并且存储车辆(1)与在所述车辆的周围环境中存在的障碍物(6，60，61，62，63，64，65，66)之间的当前的间距；
确定并且存储所述车辆的当前的位置；
由所存储的数据计算至少二维的周围环境模型；
由所选择的虚拟的观察者位置(3)计算所述周围环境模型的虚拟视图(30)，
借助至少一个视频摄像机(2)拍摄所述周围环境的至少一部分的视频显示并且将所述视频显示(20)集成到所述虚拟视图(30)中；并且
将具有集成的视频显示的虚拟视图输出给所述车辆(1)的驾驶员，其中，
所述虚拟视图包括分成两部分的显示，在所述虚拟视图中人为的水平线能够实现划分成不同的视图，所述人为的水平线尤其位于所述车辆的发动机舱和乘客舱之间的过渡的高度上，
其特征在于，
使所显示的视频图像扩展来自所述周围环境模型的附加的周围环境信息。
2.根据权利要求1所述的方法，其特征在于，借助无源的光学传感器和/或有源的传感器系统确定车辆(1)与存在的障碍物(6，60，61，62，63，64，65，66)之间的间距。
3.根据以上权利要求中任一项所述的方法，其特征在于，通过所述视频摄像机(2)的数据的计算来确定车辆(1)与存在的障碍物(6，60，61，62，63，64，65，66)之间的间距。
4.根据以上权利要求中任一项所述的方法，其特征在于，所述车辆的当前的位置是绝对位置或者是与已存储的位置相对的位置。
5.根据以上权利要求中任一项所述的方法，其特征在于，由所述车辆(1)的驾驶员和/或由计算单元自动确定所述虚拟的观察者位置(3)。
6.根据以上权利要求中任一项所述的方法，其特征在于，将当前的行驶参数集成到所述虚拟视图中。
7.一种用于可视化车辆的周围环境的装置，其包括
至少一个用于确定所述车辆与所述车辆(1)的周围环境中的障碍物(6，60，61，62，63，64，65，66)的间距的传感器；
至少一个用于确定所述车辆的当前的位置的传感器；
用于存储传感器信号的存储装置；
拍摄所述周围环境的至少一部分的视频摄像机(2)；以及
计算装置，其设计用于，
由所述存储装置的传感器信号计算至少二维的周围环境模型；
由所选择的虚拟的观察者位置(3)计算所述周围环境模型的虚拟视图(30)；以及
将借助所述视频摄像机(2)拍摄的周围环境的视频显示(20)集成到所述虚拟视图(30)中；以及
用于可视化具有集成的视频显示的虚拟视图的输出装置，其中，
所述虚拟视图包括分成两部分的显示，在所述虚拟视图中人为的水平线能够实现划分成不同的视图，所述人为的水平线尤其位于所述车辆的发动机舱和乘客舱之间的过渡的高度上，
其特征在于，
使所显示的视频图像扩展来自所述周围环境模型的附加的周围环境信息。
8.根据权利要求7所述的装置，其特征在于，所述至少一个用于确定车辆(1)与存在的障碍物(6，60，61，62，63，64，65，66)的间距的传感器包括无源的光学传感器或者有源的传感器系统。
9.根据权利要求7至8中任一项所述的装置，其特征在于，所述至少一个用于确定所述车辆(1)与障碍物(6，60，61，62，63，64，65，66)的间距的传感器包括所述视频摄像机(2)。
10.一种车辆，其包括权利要求7至9中任一项所述的装置，所述车辆设计用于实施权利要求1至6中任一项所述的方法。
CN201280067596.6A 2012-01-19 2012-11-28 用于可视化车辆的周围环境的方法和装置 Active CN104204847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012200731.8 2012-01-19
DE102012200731A DE102012200731A1 (de) 2012-01-19 2012-01-19 Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
PCT/EP2012/073835 WO2013107548A1 (de) 2012-01-19 2012-11-28 Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs

Publications (2)

Publication Number Publication Date
CN104204847A CN104204847A (zh) 2014-12-10
CN104204847B true CN104204847B (zh) 2017-12-08

Family

ID=47429749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067596.6A Active CN104204847B (zh) 2012-01-19 2012-11-28 用于可视化车辆的周围环境的方法和装置

Country Status (7)

Country Link
US (1) US9862316B2 (zh)
EP (1) EP2805183B1 (zh)
KR (1) KR102034189B1 (zh)
CN (1) CN104204847B (zh)
DE (1) DE102012200731A1 (zh)
IN (1) IN2014DN05777A (zh)
WO (1) WO2013107548A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
DE102016202594A1 (de) * 2016-02-19 2017-08-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
CN106080390A (zh) * 2016-06-07 2016-11-09 深圳市灵动飞扬科技有限公司 车辆行进全景系统及其方法
CN106781262A (zh) * 2017-01-16 2017-05-31 上海应用技术大学 一种适合马路低头族的安全出行装置及其避障方法
US11035491B2 (en) 2017-07-03 2021-06-15 Continental Automotive Systems, Inc. Fuel pump solenoid having hydraulic damping
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
DE102017218074A1 (de) 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
US20180095475A1 (en) * 2017-11-22 2018-04-05 GM Global Technology Operations LLC Systems and methods for visual position estimation in autonomous vehicles
CN108187340B (zh) * 2017-12-22 2021-08-13 深圳华侨城卡乐技术有限公司 一种基于儿童滑车设备的虚拟现实游戏平台及其控制方法
US11073597B2 (en) * 2018-05-11 2021-07-27 Continental Automotive Systems, Inc. Three-dimensional point cloud generated by high-resolution flash LIDAR
CN110641477B (zh) * 2019-09-19 2020-12-22 广州小鹏汽车科技有限公司 车辆内部环境的虚拟显示方法、装置和车辆
WO2021186853A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム
CN111767844B (zh) * 2020-06-29 2023-12-29 阿波罗智能技术(北京)有限公司 用于三维建模的方法和装置
CN112140997A (zh) * 2020-09-29 2020-12-29 的卢技术有限公司 一种支持操控的可视化驾驶系统控制方法、系统、汽车及存储介质
DE102021119266A1 (de) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Kamerasystem für ein Fahrzeug
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness
DE102022121225A1 (de) 2022-08-23 2024-02-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Unterstützungssystem

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10037129A1 (de) * 1999-09-13 2001-04-26 Volkswagen Ag Einpark- und/oder Rangierhilfeeinrichtung
EP1291668A2 (en) * 2001-09-07 2003-03-12 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
CN1902670A (zh) * 2004-07-26 2007-01-24 松下电器产业株式会社 用于显示车辆外部图像的设备
DE102009005505A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP3680658B2 (ja) 1999-09-30 2005-08-10 松下電器産業株式会社 画像認識方法及び画像認識装置
DE19947766A1 (de) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP3606853B2 (ja) * 2001-09-07 2005-01-05 松下電器産業株式会社 車両周囲状況表示装置
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP4569285B2 (ja) * 2004-12-13 2010-10-27 日産自動車株式会社 画像処理装置
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
DE102008036009B4 (de) 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
JP5412979B2 (ja) * 2009-06-19 2014-02-12 コニカミノルタ株式会社 周辺表示装置
WO2011030698A1 (ja) * 2009-09-11 2011-03-17 アイシン精機株式会社 車両周辺監視装置
US20110115913A1 (en) * 2009-11-17 2011-05-19 Werner Lang Automated vehicle surrounding area monitor and display system
KR20110088995A (ko) * 2010-01-29 2011-08-04 주식회사 울프슨랩 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
US9205780B2 (en) * 2010-02-04 2015-12-08 Magna Mirrors Of America, Inc. Electro-optic rearview mirror assembly for vehicle
CN102933428B (zh) * 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10037129A1 (de) * 1999-09-13 2001-04-26 Volkswagen Ag Einpark- und/oder Rangierhilfeeinrichtung
EP1291668A2 (en) * 2001-09-07 2003-03-12 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
CN1902670A (zh) * 2004-07-26 2007-01-24 松下电器产业株式会社 用于显示车辆外部图像的设备
DE102009005505A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D VISION SYSTEM FOR VEHICLES;K.Fintzel et al.;《Intelligent Vehicles Symposium,2003.Proceedings.IEEE》;20030609;第174-179页 *

Also Published As

Publication number Publication date
US9862316B2 (en) 2018-01-09
EP2805183B1 (de) 2019-03-06
KR20140114373A (ko) 2014-09-26
KR102034189B1 (ko) 2019-10-18
WO2013107548A1 (de) 2013-07-25
EP2805183A1 (de) 2014-11-26
US20150077562A1 (en) 2015-03-19
DE102012200731A1 (de) 2013-07-25
IN2014DN05777A (zh) 2015-04-10
CN104204847A (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
US9544549B2 (en) Method for generating an image of the surroundings of a vehicle and imaging device
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
CN105324267B (zh) 驾驶支援装置
KR20190028667A (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
CN108136906B (zh) 车辆用显示装置以及车辆用显示方法
US7423553B2 (en) Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
US20160297362A1 (en) Vehicle exterior side-camera systems and methods
JP5077307B2 (ja) 車両周囲画像表示制御装置
EP2631696B1 (en) Image generator
JP6007848B2 (ja) 目視確認評価装置、方法及びプログラム
US20070003162A1 (en) Image generation device, image generation method, and image generation program
JP2016506572A (ja) インフォテイメントシステム
JP2004297808A (ja) 移動体周辺監視装置
US9019347B2 (en) Image generator
JP6952899B2 (ja) ヘッドアップディスプレイ
JP2019526105A5 (zh)
CN115088028B (zh) 绘制系统、显示系统、移动体、绘制方法以及程序
JP5691339B2 (ja) 運転支援装置
CN106327465A (zh) 物体位置确定方法及装置
CN111942288B (zh) 车辆影像系统及使用车辆影像的车辆定位方法
JP6634947B2 (ja) 表示方法及び運転支援装置
CN102729911B (zh) 车辆环景显示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant