DE102011115739A1 - Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen - Google Patents

Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen Download PDF

Info

Publication number
DE102011115739A1
DE102011115739A1 DE102011115739A DE102011115739A DE102011115739A1 DE 102011115739 A1 DE102011115739 A1 DE 102011115739A1 DE 102011115739 A DE102011115739 A DE 102011115739A DE 102011115739 A DE102011115739 A DE 102011115739A DE 102011115739 A1 DE102011115739 A1 DE 102011115739A1
Authority
DE
Germany
Prior art keywords
virtual
digital image
information
object space
defined real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102011115739A
Other languages
English (en)
Inventor
Christian Grünler
Jens Ruh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102011115739A priority Critical patent/DE102011115739A1/de
Priority to US14/350,755 priority patent/US20140285523A1/en
Priority to CN201280049961.0A priority patent/CN104303211A/zh
Priority to PCT/EP2012/004071 priority patent/WO2013053438A2/de
Priority to EP12769931.2A priority patent/EP2766879A2/de
Publication of DE102011115739A1 publication Critical patent/DE102011115739A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Abstract

Es wird ein Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen 3D-Objektraumes bereitgestellt, bei dem in einem 1. Schritt durch Gewinnen von Perspektiveninformation aus dem digitalen Bild des definierten realen 3D-Objektraumes ein virtueller Straßenverlauf erzeugt (10) wird und in einem 2. Schritt ein vorbestimmtes virtuelles 3D-Objekt generiert (20) wird, wobei in einem 3. Schritt das virtuelle 3D-Objekt in Abhängigkeit von dem virtuellen Straßenverlauf des definierten realen 3D-Objektraumes perspektivisch und ortgenau angepasst (30) wird und in einem 4. Schritt das angepasste virtuelle 3D-Objekt in den virtuellen Straßenverlauf des definierten realen 3D-Objektraumes integriert (40) wird. Des Weiteren wird eine Vorrichtung (100) zur Durchführung des obigen Verfahrens bereitgestellt. Damit können Bilder einer Umgebung mit perspektivisch korrekt integrierten virtuellen 3D-Objekten – beispielsweise Zusatzinformationen – ergänzt werden.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur perspektivischen Darstellung eines künstlich bzw. virtuell erzeugten 3D-Objektes auf einer 2D-Anzeigevorrichtung.
  • Die Darstellung von dreidimensionalen Geometrien oder von dreidimensionalen Objekten oder Szenen mithilfe von Computersystemen spielt heute in zahlreichen Anwendungen eine bedeutende Rolle. Mithilfe der dreidimensionalen Darstellung lassen sich reale Situationen simulieren, beispielsweise bei Flugsimulatoren. Ein weiteres Anwendungsbeispiel dreidimensionaler Darstellungen ist in der Architektur üblich, wobei hier – mittels Simulation dreidimensionaler Räume – ein Begehen der Örtlichkeiten in einem virtuellen Gebäude ermöglicht wird.
  • Aus der Gebrauchsmusterschrift DE 203 05 278 U1 ist eine Vorrichtung zur Darstellung von 3D-Objekten auf einer 2D-Anzeigevorrichtung bekannt, wobei die 3D-Objekte unter Berücksichtigung einer gegenüber der 2D-Anzeigevorrichtung veränderbaren Betrachterposition darstellbar sind. Die Betrachterposition ist mittels einer Positionserkennungseinrichtung bestimmbar. Zur Positionserkennung des Betrachters bzw. des betrachteten Objektes werden mehrere Kameras eingesetzt. Dadurch wird einer tatsächlichen 2D-Darstellung ein realistischer räumlicher Eindruck verliehen.
  • Computerunterstützte Erweiterung der Realitätswahrnehmung, wobei Bilder oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung ergänzt werden, wird unter dem Begriff „Augmented Reality” zusammengefasst.
  • Weiterhin ist es nun möglich, 2D-Bilder mit perspektivisch korrekt integrierten virtuellen Objekten zu erweitern, die Zusatzinformationen liefern. Diese Neuentwicklung wird auch im Zusammenhang mit der Augmented Reality umgesetzt. Erste Forschungsprototypen sowie im Handel erhältliche, auf Smartphones integrierte Lösungen, implementieren solche Entwicklungen ansatzweise. Bei diesen existierenden Lösungen werden, abhängig von einer räumlichen Position und Lage einer Kamera, in ein Videobild Zusatzinformationen eingeblendet.
  • Allerdings ist eine nahtlose und überdeckungsrichtige Integration virtueller Objekte durch eine ausschließlich auf 2D-Informationen basierende Bildsynthese nicht möglich. Zum einen stimmt die Perspektive der Einblendungen oft nicht mit der Perspektive des Kamerabildes überein, und zum anderen überdecken eingeblendete virtuelle Objekte permanent die Darstellung des Hintergrundes von den Kamerabildern, selbst dann, wenn reale Objekte näher als die Einblendungen liegen. Mit anderen Worten überlagern sich reale und virtuelle Objekte nicht korrekt auf dem widergegebenen Bild einer Anzeigevorrichtung.
  • Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, mit denen virtuelle 3D-Objekte realistisch in ein 2D-Objekt integriert werden.
  • Diese Aufgabe wird durch ein Verfahren gelöst, welches die Merkmale des Patentanspruchs 1 aufweist, sowie eine Vorrichtung, welches die Merkmale des Patentanspruchs 10 aufweist.
  • Wie bereits erwähnt, ist eine nahtlose und überdeckungsrichtige Integration virtueller 3D-Objekte durch eine rein auf 2D-Informationen basierende Bildsynthese nicht möglich. Eine korrekte Synthese realer und virtueller 3D-Objekte, wobei virtuelle und reale 3D-Objekte einander überdeckungsrichtig dargestellt werden, kann nur durch eine Verschmelzung der Objekte im dreidimensionalen Raum erfolgen.
  • Zur Darstellung virtueller 3D-Objekte – beispielsweise in Fahrzeuganzeigen – bedient sich das erfindungsgemäße Verfahren eines aufgezeichneten digitalen Bildes von einem definierten realen 3D-Objektraum, sowie der zum aufgenommenen digitalen Bild gehörige Tiefeninformation für jedes einzelne Pixel.
  • Die Tiefeninformation beinhaltet eine dreidimensionale Beschreibung der Fahrzeugumgebung. Sie ermöglicht bei dem erfindungsgemäßen Verfahren in einem ersten Schritt eine Gewinnung von Perspektivinformationen aus dem digitalen Bild des definierten realen 3D-Objektraumes. Dies geschieht z. B. indem Objekte wie z. B. der Straßenverlauf erkannt werden und ein virtueller Straßenverlauf erzeugt wird.
  • Zur Anreicherung der Szenerie mit Zusatzinformationen wird in einem zweiten Schritt des Verfahrens mindestens ein vorbestimmtes virtuelles 3D-Objekte generiert. Dies kann beispielsweise ein Richtungspfeil, ein Straßenschild oder eine Stauinformation, usw. sein. Das generierte virtuelle 3D-Objekt wird anschließend in einem dritten Schritt des Verfahrens im definierten realen 3D-Objektraum, perspektivisch und ortgenau in der Szenerie platziert. Dies kann zum Beispiel in Abhängigkeit von erkannten Objekten z. B. dem virtuellen Straßenverlauf erfolgen. Zusätzlich zur räumlichen Orientierung des virtuellen 3D-Objekts erfolgt eine perspektivische und maßstabgerechte Anpassung des virtuellen 3D-Objekts.
  • Vorteilhafterweise dient in einer bevorzugten Ausführungsform der virtuelle Straßenverlauf bei der Generierung des virtuellen 3D-Objekts als Orientierung bzw. Bezugssystem für eine Bestimmung einer räumlichen Lage des einzublendenden virtuellen 3D-Objekts.
  • In diesem Schritt werden den einzelnen Pixeln, die das erzeugte virtuelle 3D-Objekt darstellen, Ortskoordinaten für eine folgende Überlagerung/Darstellung auf einem Anzeigegerät zugeordnet. Weiterhin werden den einzelnen Pixeln, die das erzeugte virtuelle 3D-Objekt darstellen, Tiefenwerte zugeordnet.
  • Danach wird in einem vierten Schritt des Verfahrens das angepasste virtuelle 3D-Objekt in die aufgenommene Abbildung des realen 3D-Objektraumes integriert.
  • Mittels der beiden fahrzeugeigenen Kameras lässt sich eine relative Position des Fahrzeugs zu Objekten in dessen Umfeld besonders leicht erfassen. Beispielsweise können dadurch in einer vorteilhaften Ausführungsform Richtungspfeile für eine Navigation perspektivisch korrekt generiert und auf einer Fahrbahn eingezeichnet werden, indem sie als flache Objekte in eine zur Straße parallelen Ebene vor das Fahrzeug eingeblendet werden, z. B. ein „roter Teppich”. Des Weiteren kann in einer besonders vorteilhaften Ausführungsform die augenblicklich zu benutzende Fahrspur farblich hervorgehoben werden, indem sie als dreidimensionales flaches Band Ober das Modell der erkannten Straße und deren Spuren gelegt wird.
  • In einer besonders bevorzugten Ausführungsform der Erfindung wird in einem weiteren Schritt des Verfahrens ein virtuelles Umgebungsmodell des definierten realen 3D-Objektraumes mit dem virtuellen Straßenverlauf aus dem ersten Schritt des Verfahrens abgeglichen. Ein herkömmliches Beispiel eines virtuellen Umgebungsmodells des definierten realen 3D-Objektraumes sind Informationen zur Straßentopologie und Geometrie, die in einem Navigationsgerät eines Fahrzeugs vorliegen. Unter Berücksichtigung der jeweiligen Fahrzeug-Kameraposition und der Grobgeometrie des vor dem Fahrzeug liegenden Straßenabschnitts, die beispielsweise aus Navigationsdaten errechnet wird, kann die Gewinnung der Perspektivinformationen sowie die Erzeugung des virtuellen Straßenverlaufs überprüft und abgeglichen werden. Dadurch kann gewährleistet werden, dass der virtuelle Straßenverlauf korrekt erzeugt wird. Somit lässt sich auch unter schlechten Sichtverhaltnissen bzw. Aufnahmebedingungen für die fahrzeugeigenen Kameras ein virtueller Straßenverlauf zuverlässig erzeugen; beispielsweise bei Nebelverhältnissen, starkem Regen oder Schneefall.
  • In einer besonders vorteilhaften Ausführungsform der Erfindung erfolgt die Anzeige des aufgezeichneten digitalen Bildes zusammen mit dem in das virtuelle Straßenmodell integrierte virtuelle 3D-Objekt derart, dass die Bildinhalte auf einem herkömmlichen Anzeigegerät – LCD/TFT-Display, Monitor, usw. – überdeckungsrichtig überlagert werden. Bei der Überlagerung des aufgezeichneten digitalen Bildes mit dem angepassten und integrierten virtuellen 3D-Objekt aus dem vierten Schritt des Verfahrens wird die jeweilige Tiefeninformation der Pixel des aufgezeichneten digitalen Bildes sowie des integrierten virtuellen 3D-Objektes ausgewertet. Dabei wird für jede Pixelposition die Tiefeninformation des Pixels des digitalen Bildes mit dem zu überlagernden dazugehörigen Pixel des virtuellen 3D-Objekts verglichen, wobei lediglich das Pixel auf dem Anzeigegerät dargestellt wird, das aus der Sicht eines Betrachters, diesem/ihm näher liegt. Dadurch ergibt sich die überdeckungsrichtige Überlagerung der Bildinhalte, die auf dem Anzeigegerät dargestellt wird.
  • In einer weiteren bevorzugten Ausführungsform wird statt eines herkömmlichen Anzeigegeräts eine Frontsichtanzeige verwendet. In diesem Fall muss auf einem Anzeigefeld einer teildurchsichtigen Frontsichtanzeige nur die virtuelle Zusatzinformation des angepassten – und in den virtuellen Straßenverlauf integrierten – virtuellen 3D-Objekts mit dem im Sichtfenster der Frontsichtanzeige erscheinenden realen Bild überlagert werden. Auch in diesem Fall wird für jedes Pixel des angezeigten Bildes anhand eines Tiefenpuffers des aufgezeichneten digitalen Bildes sowie des virtuellen 3D-Objekts entschieden, ob an der gemeinsamen Pixelposition des „realen Bildes” bzw. virtuellen 3D-Objekts das Bildpixel näher am Betrachter liegt oder nicht.
  • In einem speziellen Fall werden in einer besonders vorteilhaften Ausführungsform lediglich die Pixel des angepassten virtuellen 3D-Objekts angezeigt, da auch nur diese Pixel auf einem Anzeigefeld einer Frontsichtanzeige überlagert/eingeblendet werden. Zur Berechnung der korrekten Position, Perspektive und anschließenden Integration in den virtuellen Straßenverlauf wird auch hier der dritte und vierte Schritt des Verfahrens ausgeführt. Allerdings wird lediglich das virtuelle 3D-Objekt auf der Frontsichtanzeige angezeigt. Der besondere Vorteil liegt darin, dass keine überflüssige Information/Grafik, hier des virtuellen Straßenverlaufs, die Sicht eines Fahrers mit Artefakten überfrachtet.
  • Damit die Anzeige des angepassten virtuellen 3D-Objekts auf der Frontsichtanzeige ermöglicht wird, muss ein Anzeigeinhalt auf dem Anzeigefeld der Frontsichtanzeige dem Anzeigeinhalt des aufgezeichneten digitalen Bildes des definierten realen 3D-Objektraumes entsprechen. Nur auf diese Art und Weise lässt sich das virtuelle 3D-Objekt perspektivisch und ortskorrekt auf dem Anzeigefeld der Frontsichtanzeige überdeckungsrichtig ausgeben.
  • Vorzugsweise wird zur Gewinnung von Perspektiveninformationen des digitalen Bildes jeweils ein Tiefenwert eines Pixels des digitalen Bildes verwendet. Solche Tiefenwerte werden in einem Datenspeicher, einem so genannten Z-Puffer, gespeichert. Mit einer Auswertung der Tiefeninformationen aus dem Z-Puffer kann das erfindungsgemäße Verfahren besonders einfach und sicher feststellen, welche Objekte/Pixel an welcher Stelle einer Szene gezeichnet werden und welche überdeckt bzw. ausgeblendet werden.
  • Der virtuelle Straßenverlauf ist ein Ergebnis des Gewinnens von Perspektivinformationen aus dem digitalen Bild des definierten realen 3D-Objektraumes. Es entspricht einem genäherten dreidimensionalen Modell für den Verlauf der Straße und einer Fahrspur vor dem Fahrzeug, z. B. in Form eines Polygonzuges. In einer besonders bevorzugten Ausführungsform, können alternativ oder zusätzlich zu dem Schritt des Gewinnens von Perspektivinformationen auch Informationen über Kameraposition und/oder Fahrzeugumgebung und/oder Kartendaten verwendet werden. Der Abgleich mit den zusätzlichen Informationen steigert die Robustheit gegen Fehler des Verfahrens.
  • In einer besonders bevorzugten Ausführungsform kann eine weitere Verbesserung der Zuverlässigkeit beim Erzeugen des virtuellen Straßenverlaufs dadurch erreicht werden, dass ein zusätzlicher Abgleich des virtuellen Umgebungsmodells des definierten realen 3D-Objektsraums mit Navigationsdaten des Fahrzeugs erfolgt und/oder eine weitere Kantenerkennung durchgeführt wird. Durch Kombination von erkannten Kanteninformationen mit im Bereich der erkannten Kanten gemessenen Tiefeninformationen kann der Straßenverlauf inklusive Krümmungen, Erhebungen und Senken erzeugt werden. Ein besonderer Vorteil liegt darin, dass das erfindungsgemäße Verfahren ein Modell des Straßenverlaufs bereitstellt, das ohne weitere Extraktion oder Rückberechnung von Kameraposition und Ausrichtung erzeugt werden kann. Auch eine weitergehende Perspektivenerkennung mit ihren potentiellen Fehlern kann dadurch entfallen.
  • In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens können weitere virtuelle 3D-Objekte bereitgestellt werden. Die Bereitstellung erfolgt in Abhängigkeit weiterer Informationsquellen von dem Fahrzeug oder von anderen Systemen, beispielsweise einem Bordcomputer des Fahrzeugs, umgebungsrelevanten Daten eines Navigationssystems, Verkehrsleitsystemen, Straßenschildern usw. Jedes der zusätzlich erzeugten virtuellen 3D-Objekte wird in einer vorteilhaften erfindungsgemäßen Ausführungsform perspektivisch und ortskorrekt an einen virtuellen Straßenverlauf angepasst und in diesen integriert, sowie überdeckungsrichtig ausgegeben – im Verhältnis zum virtuellen Straßenverlauf und den einzelnen virtuellen 3D-Objekten zueinander.
  • Besonders vorteilhaft lässt sich das erfindungsgemäße Verfahren in einer fahrzeugeigenen Vorrichtung integrieren. Eine solche Vorrichtung setzt zumindest zwei Kameras zur Aufzeichnung eines digitalen Bildes eines definierten realen 3D-Objektraumes voraus. Des Weiteren weist die erfindungsgemäße Vorrichtung Mittel zur grafischen Verarbeitung von derartigen Informationen auf, die auf zumindest einem Anzeigegerät darstellbar sind. Je nach Ausführungsform kommen dabei Monitore, LCD-Displays oder aber Frontsichtanzeigen zum Einsatz.
  • Anhand eines Ausführungsbeispiels wird die Erfindung im Folgenden näher erläutert.
  • 1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens gemäß der Erfindung.
  • 1 stellt ein Ablaufdiagramm gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens dar, wie sie beispielsweise auf einem Augmented-Reality-System 100 angewendet wird, das auf einer erfindungsgemäßen Vorrichtung (nicht gezeigt) zur Ausgabe eines digitalen Bildes eines 3D-Objektraums abläuft. Eine solche Vorrichtung kann beispielsweise bei einem Fahrerassistenzsystem vorgesehen werden.
  • Ein digitales Bild eines definierten 3D-Objektraumes wird von zwei fahrzeugeigenen Kameras, einem Stereokamerasystem 1 aufgezeichnet. Dabei entspricht der reale 3D-Objektraum einem Sichtkegel im Blickfeld eines Fahrers. Damit liefert das Stereokamerasystem 1 die für das Augmented Reality System 100 notwendigen Ausgangsdaten. Die Ausgangsdaten umfassen ein digitales zweidimensionales Bild – monokulares Bild – der Umgebung wobei jedem Pixel des Bildes eine Tiefeninformation zugeordnet ist. Mittels der Tiefeninformation ist eine dreidimensionale Beschreibung der aufgezeichneten Fahrzeugumgebung möglich.
  • In einem ersten Schritt des Verfahrens wird ein virtueller Straßenverlauf 10 erzeugt. Zur Gewinnung von Perspektiveninformationen aus dem digitalen monokularen Bild, wird auf einen Tiefenpuffer – auch Z-Puffer genannt – zurückgegriffen, der die Tiefeninformation jedes einzelnen Pixels enthält. Das Ergebnis der Gewinnung von Perspektiveninformation ist ein genährtes dreidimensionales Modell für den Verlauf der Straße und Fahrspur vor dem Fahrzeug, beispielsweise in Form eines Polygonzuges. Ein solches Modell des Straßenverlaufs lässt sich ist ohne weitere Rückberechnung von Kameraposition und Kameraausrichtung bestimmen.
  • Anhand einer Kantenerkennung – über die Rand- und Mittenmarkierung der Straße im monokularen Bild – kann eine Begrenzung des Straßenverlaufs errechnet werden. Dieser zusätzliche Verfahrensschritt wird aufgrund seiner hohen Verlässlichkeit dazu verwendet, den ermittelten Straßenverlauf anzupassen und ihn zusätzlich zu verbessern.
  • Eine weitere Erhöhung der Genauigkeit bei der Gewinnung des Straßenverlaufs kann dadurch erreicht werden, dass in einer weiteren bevorzugten Ausführungsform ein Umgebungsmodell 15 der Straße herangezogen wird. Dabei kann die Straßentopologie und – Geometrie Navigationsdaten entnommen werden oder bestimmten kartographischen Daten des Umgebungsmodells 15, die in einem Speicher des Fahrzeugs vorliegen.
  • In einer besonders bevorzugten Ausführungsform werden Informationen, die aus der Gewinnung des Straßenverlaufs 10 stammen, mit Daten des Umgebungsmodells 15 kombiniert. Damit wird ein sehr genaues Modell eines virtuellen Straßenverlaufs erzeugt, auf dem Krümmungen, Erhebungen und Senkungen erkannt werden können. In weiteren bevorzugten Ausführungsformen können solche Verfahrensschritte einzeln oder in unterschiedlicher Kombination implementiert werden, um einen virtuellen Straßenverlauf 10 hoher Genauigkeit zu erzeugen.
  • Um die Realitätswahrnehmung im Rahmen des Augmented Reality Systems 100 mit weiteren Informationen oder virtuellen Objekten zu erweitern, ist eine Generierung virtueller 3D-Objekte notwendig. Die virtuellen 3D-Objekte können beispielsweise Symbole wie Pfeile oder Straßenschilder sein, oder Text der eingeblendet werden soll. Die Informationsquellen können Navigationsdaten sein, Kartendaten eines Umgebungsmodells 15 oder Informationen von Verkehrs- beziehungsweise Parkleitsystemen. Auch Nachrichten, die über den Verkehrsfunk empfangen werden oder Nachrichten eines Kommunikationsgerätes, beispielsweise eines Smartphones können die Generierung von 3D-Objekten auslösen oder steuern, Des Weiteren können Informationen eines Fahrerassistenzsystemen die Grundlage für einzublendende Objekte sein, wie beispielsweise ein Sicherheitsabstand zum vorausfahrenden Fahrzeug, die Einhaltung der Fahrspur usw.
  • Zur besseren Darstellung bei der Ausgabe der generierten Informationen – des virtuellen Straßenverlaufs 10 und der generierten virtuellen 3D-Objekte 20 – müssen die virtuellen 3D-Objekte 20 in einem weiteren Schritt des erfindungsgemäßen Verfahrens perspektivisch und ortskorrekt angepasst werden. Bei der Generierung eines virtuellen 3D-Modells 30, werden beispielsweise Richtungspfeile, an eine Orientierung des virtuellen Straßenverlaufs angepasst und einem bestimmten Straßenabschnitt zugeordnet. Ein weiteres generiertes virtuelles 3D-Objekt, beispielsweise ein Straßenschild, würde demnach einem bestimmtem Ort am Rand des virtuellen Straßenverlaufs zugeordnet und zusätzlich perspektivisch an diesen angepasst.
  • Anschließend werden bei einer Bildsynthese 40 die angepassten virtuellen 3D-Objekte 30 in den virtuellen Straßenverlauf 10 des definierten realen 3D-Objektraumes integriert. Bei diesem Schritt werden den jeweiligen 3D-Objekten entsprechenden Pixeln Tiefeninformationen zugeordnet. Das nun entstandene virtuelle Bild 40 entspricht beispielsweise einem virtuellen Straßenverlauf – einem Polygonzug – in dem ein oder mehrere virtuellen 3D-Objekte angeordnet sind.
  • Bei dem Schritt der Bildsynthese 40 kann zusätzlich eine maßstabsgetreue Anpassung der generierten virtuellen 3D-Objekte 20 an den virtuellen Straßenverlauf 10 vorgenommen werden. Die Maßstabsanpassung kann des Weiteren in Abhängigkeit einer Informationspriorität in unterschiedlicher Größe erfolgen. In einer bevorzugten Ausführungsform können die 3D-Objekte auch in einer bestimmten Farbe oder farblichen Abstufung davon dargestellt werden, um bestimmte Informationsinhalte besonders hervorzuheben.
  • In einem letzten Verfahrensschritt wird das synthetisierte virtuelle Bild 40 oder Teile davon auf einem Anzeigegerät 50 ausgegebenen, wo eine Zusammenführung von dem digitalen Bild des definierten realen 3D-Objektraumes (realen Bild) und dem synthetisierten virtuellen Bild 40 erfolgt. Dabei wird unterschieden, ob die Zusammenführung von dem realen und dem synthetisierten virtuellen Bild 40 auf einem herkömmlichen Anzeigegerät 50, beispielsweise einem LCD/TFT-Display oder auf einem Monitor erfolgt, oder aber nur ein Teil des virtuellen Bildes 40 auf einem Anzeigefeld – vorzugsweise auf einer Frontsichtanzeige – ausgegeben wird.
  • Um eine überdeckungsrichtige Darstellung beim Anzeigen 50 auf dem herkömmlichen Anzeigegerät zu ermöglichen, muss anhand der Tiefenwerte des digitalen Bildes des definierten realen 3D-Objektraumes und des synthetisierten virtuellen Bildes 40 entschieden werden, ob an einer Pixelposition das Pixel des realen oder virtuellen Bildes näher am Betrachter hegt. Das aus Sicht des Betrachters ihm jeweils näher gelegene Pixel wird auf dem Anzeigegerät dargestellt. Dadurch ergibt sich eine überdeckungsrichtige Überlagerung der Bildinhalte.
  • In einer weiteren Ausführungsform können zur Erzeugung des Abbildes des virtuellen 3D-Objekts alternativ oder zusätzlich weitere bekannte Verfahren eingesetzt werden, beispielsweise das Rendern von Bildern, Raytracing, usw.
  • Bei einer Anzeige 50 auf einem teildurchsichtigen Anzeigefeld einer Frontsichtanzeige muss nur der Teil des generierten virtuellen 3D-Objektes überblendet werden, der bereits für eine Integration in den virtuellen Straßenverlauf perspektivisch und ortskorrekt angepasst wurde, da im Anzeigefeld der Frontsichtanzeige bereits das reale Bild – im Sichtfeld des Fahrers – vorliegt. Somit entfällt in diesem Fall die Darstellung der Bildinhalte, die nicht durch den Teil des generierten virtuellen 3D-Objektes des synthetisierten virtuellen Bildes 40 verdeckt werden.
  • Auch in diesem Fall muss bei der Bildsynthese für jedes Pixel des angezeigten Bildes anhand des Tiefenpuffers entschieden werden, ob an der jeweiligen Pixelposition das reale oder das virtuelle Pixel näher am Betrachter liegt. Nur die Pixel des virtuellen Bildes werden angezeigt, die näher am Betrachter liegen. Liegt ein der Position auf dem Anzeigefeld der Frontsichtanzeige entsprechendes „reales” Pixel dem Betrachter näher, so bleibt das Pixel aus, das dieser Position auf dem Anzeigefeld der Frontsichtanzeige entspricht.
  • In Analogie zu dem zuvor beschriebenen können statt eines Stereokamerasystemes zur dreidimensionalen Aufnahme der Umgebung alternativ auch andere Systeme genutzt werden. Beispielsweise kann auch ein Kamerasystem mit nur einer Kamera verwendet werden bei dem das dreidimensionale Abbild der Umgebung durch zu unterschiedlicher Zeit und Kameraposition aufgenommene Bilder ermittelt wird. Ebenso können Systeme verwendet werden die klassische Kameras mit ToF (time-of-flight) basierten Messtechniken, Laser-Range Scannern oder vergleichbaren Systemen kombinieren.
  • Alternativ zur Ausgabe auf einem klassischen zweidimensionalen Display kann die Anzeige der Augmented Reality Szenerie auch auf einer stereoskopischen Anzeige erfolgen, indem für jedes Auge bzw. jede Augenposition separat ein synthetisches Bild generiert und die Bildsynthese durchgeführt wird.
  • Bezugszeichenliste
    • 1
    Stereokamerasystem
    2
    Informationen
    3
    Navigationsdaten
    10
    Schritt 1
    20
    Schritt 2
    30
    Schritt 3
    40
    Schritt 4
    50
    Anzeigegerät
    100
    Vorrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 20305278 U1 [0003]

Claims (10)

  1. Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen 3D-Objektraumes, wobei in einem 1. Schritt durch Gewinnen von Perspektiveninformation aus dem digitalen Bild des definierten realen 3D-Objektraumes ein virtueller Straßenverlauf erzeugt (10) wird und in einem 2. Schritt ein vorbestimmtes virtuelles 3D-Objekt generiert (20) wird, dadurch gekennzeichnet, dass in einem 3. Schritt das virtuelle 3D-Objekt (20) an der von dem virtuellen Straßenverlauf (10) des definierten realen 3D-Objektraumes perspektivisch und ortgenau angepasst (30) wird und in einem 4. Schritt das angepasste virtuelle 3D-Objekt in den virtuellen Straßenverlauf (10) des definierten realen 3D-Objektraumes integriert (40) wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem weiteren Schritt des Verfahrens ein virtuelles Umgebungsmodell (15) des definierten realen 3D-Objektraumes mit dem virtuellen Straßenverlauf (10) aus dem 1. Schritt abgeglichen wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das aufgezeichnete digitale Bild zusammen mit dem in den virtuellen Straßenverlauf (10) integrierten virtuellen 3D-Objekt (40) aus dem 4. Schritt des Verfahrens auf einem Anzeigegerät (50) überdeckungsrichtig ausgegeben wird.
  4. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass das in dem 4. Schritt des Verfahrens integrierte virtuelle 3D-Objekt auf einem Anzeigefeld einer Frontsichtanzeige angezeigt wird.
  5. Verfahren nach Anspruch 4 dadurch gekennzeichnet, dass ein Anzeigeinhalt auf dem Anzeigefeld der Frontsichtanzeige dem aufgezeichneten digitalen Bild entspricht.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass Zur Gewinnung der Perspektiveninformation (10) des digitalen Bildes jeweils ein Tiefenwert eines Pixels des digitalen Bildes verwendet wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zum Erzeugen des virtuellen Straßenverlaufs (10) im 1. Schritt alternativ oder zusätzlich weitere Informationen (2) über Kameraposition und/oder Fahrzeugumgebung und/oder Kartendaten einfließen.
  8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass ein Abgleichen des virtuellen Umgebungsmodells (15) des definierten realen 3D-Objektraums mit Navigationsdaten (3) des Fahrzeugs und/oder eine Kantenerkennung (3) erfolgt.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass im 2. Schritt des Verfahrens mindestens ein weiteres vorbestimmtes virtuelles 3D-Objekt auf Grundlage von weiteren Informationen generiert (20) wird.
  10. Vorrichtung (100) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9, welches umfasst: mindestens eine Kamera zur Aufnahme eines digitalen Bildes eines definierten realen 3D-Objektraumes, Mittel zur grafischen Verarbeitung von Informationen, und zumindest ein Anzeigegerät (50) für die Ausgabe der verarbeiteten Informationen.
DE102011115739A 2011-10-11 2011-10-11 Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen Withdrawn DE102011115739A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102011115739A DE102011115739A1 (de) 2011-10-11 2011-10-11 Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
US14/350,755 US20140285523A1 (en) 2011-10-11 2012-09-28 Method for Integrating Virtual Object into Vehicle Displays
CN201280049961.0A CN104303211A (zh) 2011-10-11 2012-09-28 用于在车辆显示器上整合虚拟对象的方法
PCT/EP2012/004071 WO2013053438A2 (de) 2011-10-11 2012-09-28 Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen
EP12769931.2A EP2766879A2 (de) 2011-10-11 2012-09-28 Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011115739A DE102011115739A1 (de) 2011-10-11 2011-10-11 Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Publications (1)

Publication Number Publication Date
DE102011115739A1 true DE102011115739A1 (de) 2013-04-11

Family

ID=47010487

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011115739A Withdrawn DE102011115739A1 (de) 2011-10-11 2011-10-11 Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Country Status (5)

Country Link
US (1) US20140285523A1 (de)
EP (1) EP2766879A2 (de)
CN (1) CN104303211A (de)
DE (1) DE102011115739A1 (de)
WO (1) WO2013053438A2 (de)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013019770A1 (de) 2013-11-23 2014-06-18 Daimler Ag Verfahren zur Darstellung einer Umgebung eines Kraftfahrzeuges und ein Kraftfahrzeug
DE102013016248A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindestens einer Zusatzinformation
DE102013016245A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung
DE102013016251A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013206435A1 (de) * 2013-04-11 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung
DE102013010010A1 (de) * 2013-06-14 2014-12-31 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken
DE102013016241A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016246A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016244A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013019114A1 (de) 2013-11-15 2015-05-21 Audi Ag Verfahren und System zum Betreiben einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Anzeigeeinrichtung
DE102014203323A1 (de) * 2014-02-25 2015-08-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung für die Bildsynthese
WO2015135621A1 (de) * 2014-03-12 2015-09-17 Daimler Ag Verfahren und vorrichtung zur unterstützung eines fahrers beim führen eines fahrzeugs
DE102014018419A1 (de) 2014-12-11 2016-06-16 Daimler Ag Verfahren zur Erzeugung eines Tiefenbildes
DE102015007131A1 (de) 2015-06-05 2016-12-08 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
WO2018091046A1 (de) * 2016-11-18 2018-05-24 Conti Temic Microelectronic Gmbh Dreidimensionales rundumsichtsystem für ein fahrzeug
WO2019154673A1 (de) * 2018-02-06 2019-08-15 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201406405D0 (en) 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
KR102299487B1 (ko) * 2014-07-17 2021-09-08 현대자동차주식회사 증강 현실 알림 제공 시스템 및 방법
TW201605247A (zh) * 2014-07-30 2016-02-01 國立臺灣大學 影像處理系統及方法
EP2996088B1 (de) 2014-09-10 2018-08-29 My Virtual Reality Software AS Verfahren zur gleichzeitigen Visualisierung von Oberfächendaten und Panoramabilder-Daten der gleichen Umgebung
US20160148421A1 (en) * 2014-11-24 2016-05-26 Caterpillar Inc. Integrated Bird's Eye View with Situational Awareness
US9625270B2 (en) * 2014-12-01 2017-04-18 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
KR102406491B1 (ko) * 2014-12-01 2022-06-10 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN105069842A (zh) * 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
US20190080179A1 (en) * 2016-03-29 2019-03-14 Hitachi Kokusai Electric Inc. Monitoring system and terminal device
TWI603287B (zh) 2016-11-11 2017-10-21 財團法人工業技術研究院 虛擬物件之影像合成方法與裝置
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
CN108528339B (zh) * 2017-03-01 2020-06-26 京东方科技集团股份有限公司 一种显示系统及其显示方法和车辆
KR20170061640A (ko) * 2017-04-26 2017-06-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
CN107215276B (zh) * 2017-06-26 2019-08-27 上汽依维柯红岩商用车有限公司 车辆辅助驾驶系统及其控制方法
DE102018124798A1 (de) * 2017-10-09 2019-04-11 GM Global Technology Operations LLC Verfahren und vorrichtung zum erzeugen und anzeigen von führungslinien
DE102017218214A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Virtual-Reality-Brille in einem Kraftfahrzeug
CN109935107B (zh) * 2017-12-18 2023-07-14 姜鹏飞 一种提升交通通视范围的方法及装置
CN108492374B (zh) * 2018-01-30 2022-05-27 青岛中兴智能交通有限公司 一种ar在交通指挥上的应用方法和装置
CN109087237B (zh) * 2018-06-29 2023-02-03 海口经济学院 一种虚拟头盔
DE102018214210A1 (de) * 2018-08-22 2020-02-27 Siemens Mobility GmbH Visualisierungseinrichtung und Verfahren zum Visualisieren des Inneren oder Äußeren eines Fahrzeugs
DE102019202581B4 (de) 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202588A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
US11238292B2 (en) 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
KR102560887B1 (ko) * 2019-12-03 2023-07-28 엘지전자 주식회사 Ar 네비게이션의 화면 표시 방법 및 ar 네비게이션 시스템
CN113298909B (zh) * 2021-04-13 2023-07-25 网易（杭州）网络有限公司 虚拟道路的生成方法、装置、存储介质和处理器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19940723A1 (de) * 1999-08-27 2001-03-08 Daimler Chrysler Ag Verfahren zur Anzeige eines perspektivischen Bildes und Anzeigevorrichtung für mindestens einen Insassen eines Fahrzeugs
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
DE20305278U1 (de) 2003-04-02 2003-06-12 Daimler Chrysler Ag Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf 2D-Anzeigevorrichtungen
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
DE102004048347A1 (de) * 2004-10-01 2006-04-20 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
DE102005062151A1 (de) * 2005-12-22 2007-07-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
DE102008028374A1 (de) * 2008-06-13 2009-12-17 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer Lokalinformation, sowie Kraftfahrzeug hierfür
DE102009020300A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3883033B2 (ja) * 2000-08-03 2007-02-21 マツダ株式会社 車両用表示装置
JP5118152B2 (ja) * 2007-01-31 2013-01-16 ミクロマンタイス インコーポレイテッド プロファイリングシステムのためのヘッドマウントディスプレイ装置
US8231225B2 (en) * 2008-08-08 2012-07-31 Disney Enterprises, Inc. High dynamic range scenographic image projection
RU2011119211A (ru) * 2008-11-13 2012-12-20 Асер Рич Лимитед. Система и способ повышения безопасности транспортного средства путем улучшения знания ситуации водителем транспортного средства
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
CN101976460B (zh) * 2010-10-18 2012-02-22 无锡维森智能传感技术有限公司 车载多目摄像机环视系统的虚拟视点图像生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19940723A1 (de) * 1999-08-27 2001-03-08 Daimler Chrysler Ag Verfahren zur Anzeige eines perspektivischen Bildes und Anzeigevorrichtung für mindestens einen Insassen eines Fahrzeugs
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
DE20305278U1 (de) 2003-04-02 2003-06-12 Daimler Chrysler Ag Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf 2D-Anzeigevorrichtungen
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
DE102004048347A1 (de) * 2004-10-01 2006-04-20 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
DE102005062151A1 (de) * 2005-12-22 2007-07-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
DE102008028374A1 (de) * 2008-06-13 2009-12-17 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer Lokalinformation, sowie Kraftfahrzeug hierfür
DE102009020300A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HU, Z. [et al.]: On-board Camera Pose Estimation in Augmented Reality Space for Direct Visual Navigation, Proc. of SPIE-IS&t Electronic Imaging, SPIE Vol. 5006 (2003), S. 508-518. *
HU. Z. [et al.]: Fusion of Realities for Vehicle Navigation, URL: http://navi.cs.kumamoto-u.ac.jp/english/publications/pdf/int_thesis/2004-04.pdf,[recherchiert am 5.12.2011]. *
PLAVSIC, M. [et al.]: Ergonomic Design and Evaluation of Augmented Reality Based Cautionary Warnings for Driving Assistance in Urban Environments, Proc. of 17th World Congress on Ergonomics of the International Ergonomics Association (IEA), Peking, 2009;URL: http://ar.in.tum.de/pub/plavsic2009iea/plavsic2009iea.pdf,[recherchiert am 5.12.2011]. *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206435A1 (de) * 2013-04-11 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung
DE102013010010A1 (de) * 2013-06-14 2014-12-31 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken
DE102013010010B4 (de) 2013-06-14 2022-02-10 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken
US10497174B2 (en) 2013-10-01 2019-12-03 Daimler Ag Method and device for augmented depiction
DE102013016248A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindestens einer Zusatzinformation
DE102013016245A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung
DE102013016251A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016241A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016246A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016244A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
WO2015049029A1 (de) 2013-10-01 2015-04-09 Daimler Ag Verfahren und vorrichtung zur augmentierten darstellung
DE102013019114A1 (de) 2013-11-15 2015-05-21 Audi Ag Verfahren und System zum Betreiben einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Anzeigeeinrichtung
DE102013019770A1 (de) 2013-11-23 2014-06-18 Daimler Ag Verfahren zur Darstellung einer Umgebung eines Kraftfahrzeuges und ein Kraftfahrzeug
DE102014203323A1 (de) * 2014-02-25 2015-08-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung für die Bildsynthese
WO2015135621A1 (de) * 2014-03-12 2015-09-17 Daimler Ag Verfahren und vorrichtung zur unterstützung eines fahrers beim führen eines fahrzeugs
US9779622B2 (en) 2014-03-12 2017-10-03 Daimler Ag Method and device for assisting a driver when driving a vehicle
DE102014018419A1 (de) 2014-12-11 2016-06-16 Daimler Ag Verfahren zur Erzeugung eines Tiefenbildes
DE102015007131A1 (de) 2015-06-05 2016-12-08 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
DE102015007131B4 (de) 2015-06-05 2018-09-06 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
WO2018091046A1 (de) * 2016-11-18 2018-05-24 Conti Temic Microelectronic Gmbh Dreidimensionales rundumsichtsystem für ein fahrzeug
DE102016222746A1 (de) * 2016-11-18 2018-05-24 Conti Temic Microelectronic Gmbh Dreidimensionales Rundumsichtsystem für ein Fahrzeug
WO2019154673A1 (de) * 2018-02-06 2019-08-15 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug

Also Published As

Publication number Publication date
WO2013053438A2 (de) 2013-04-18
US20140285523A1 (en) 2014-09-25
CN104303211A (zh) 2015-01-21
WO2013053438A3 (de) 2014-10-23
EP2766879A2 (de) 2014-08-20

Similar Documents

Publication Publication Date Title
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
EP3055650B1 (de) Verfahren und vorrichtung zur augmentierten darstellung
DE112017001545T5 (de) Virtuelles überlagerungssystem und verfahren für verdeckte objekte
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE102014200407A1 (de) Verfahren und Vorrichtung zum Betreiben eines Sichtfeldanzeigegeräts
DE102014119317A1 (de) Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
WO2008074561A1 (de) Verfahren zum darstellen eines kartenausschnittes in einem navigationssystem und navigationssystem
DE102007053305A1 (de) Verfahren und Vorrichtung zur Ausgabe von optischen Fahrempfehlungen in einem Fahrzeug
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102014208310A1 (de) Fahrerassistenzsystem zur Darstellung einer erweiterten Realität
DE102010003851A1 (de) Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug
EP3955046A1 (de) Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug
EP1628262A2 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102013016241A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016249A1 (de) Verfahren und Vorrichtung zur Darstellung von Navigationshinweisen
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102014018419A1 (de) Verfahren zur Erzeugung eines Tiefenbildes
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016215704A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE112020002353T5 (de) Anzeigevorrichtung
WO2017182021A1 (de) Verfahren und system zur darstellung einer simulationsumgebung
DE102022119063A1 (de) Verfahren und System zur Darstellung des Fahrzeugumfelds auf einer Datenbrille
DE102015005363A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung sowie Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee