DE102013016247A1 - Verfahren und Vorrichtung zur augmentierten Darstellung - Google Patents

Verfahren und Vorrichtung zur augmentierten Darstellung Download PDF

Info

Publication number
DE102013016247A1
DE102013016247A1 DE201310016247 DE102013016247A DE102013016247A1 DE 102013016247 A1 DE102013016247 A1 DE 102013016247A1 DE 201310016247 DE201310016247 DE 201310016247 DE 102013016247 A DE102013016247 A DE 102013016247A DE 102013016247 A1 DE102013016247 A1 DE 102013016247A1
Authority
DE
Germany
Prior art keywords
additional information
image
output image
virtual
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310016247
Other languages
English (en)
Inventor
Christian Grünler
Wilhelm Wilke
Tobias Tropper
Adam Schatton
Markus Hammori
Qing Rao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE201310016247 priority Critical patent/DE102013016247A1/de
Publication of DE102013016247A1 publication Critical patent/DE102013016247A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer virtuellen Zusatzinformation (Z1 bis Zx) in mindestens einem aufgenommenen digitalen Bild (B) einer Umgebung (U), insbesondere einer Fahrzeugumgebung, wobei das aufgenommene Bild (B) als Ausgabebild (A) einen Hintergrund bildend auf einer Anzeige (2) ausgegeben wird, wobei die Zusatzinformation (Z1 bis Zx) im Ausgabebild (A) dieses überlagernd an einer Zielposition (Pz) ausgegeben wird, wobei mittels eines ersten Positionierungsverfahrens (V1) eine Vorposition der Zusatzinformation (Z1 bis Zx) und mittels eines zweiten Positionierungsverfahrens (V2) die Vorposition angepasst und die Zielposition (Pz) der Zusatzinformation (Z1 bis Zx) im Ausgabebild (A) ermittelt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem aufgenommenen digitalen Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
  • Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUD-Anzeigeeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, wie zum Beispiel ein herkömmlicher Bildschirm.
  • Eine solche Vorrichtung zur augmentierten Darstellung und zum Tracking von Objekten ist beispielsweise aus der DE 10 2009 049 849 A1 oder DE 10 2008 015 398 A1 bekannt.
  • Die augmentierte Darstellung wird im Allgemeinen auch als „Augmented Reality” (kurz AR genannt) bezeichnet, welche die Erweiterung der Realitätswahrnehmung durch virtuelle computergenerierte Zusatzinformationen in Form von virtuellen Bildobjekten und/oder virtuellen Bildtexten in Anzeigen beschreibt. Es sind verschiedene Applikationen zur augmentierten Darstellung in einem mobilen Gerät, wie einem Smartphone, oder im Videospielbereich bekannt:
    • – GPS-basierte augmentierte Darstellung: Dabei wird ein virtuelles Objekt zusätzlich durch die GPS-Position und Orientierung charakterisiert. Die richtige Einblendung der virtuellen Objekte in ein Videobild erfolgt durch die Berechnung der relativen Position zwischen dem virtuellen Objekt und der Kamera, die mit einem GPS-Sensor gekoppelt ist.
    • – Marker-basierte augmentierte Darstellung: Unter „Marker” versteht man ein Musterbild, das von einem sogenannten Computer Vision System erkannt werden kann. Bei Marker-basierter augmentierter Darstellung werden zuerst die relative Position und Orientierung des Markers zu der Kamera durch Mustererkennung ermittelt. Danach wird das computergenerierte virtuelle Objekt auf dem entsprechenden Marker gesetzt.
    • – Markerless augmentierte Darstellung: Dabei werden statt vordefinierter Marker sogenannte „Feature Punkte” (= Bildpunkte im realen aufgenommenen Bild) für die Positionierung der virtuellen Objekte verwendet. Feature Punkte sind auffällige Punkte auf einem Videobild, die mittels eines Bildverarbeitungsverfahrens, insbesondere verschiedener Computer-Vision-Algorithmen, chronologisch verfolgt werden können. Während der Verfolgung werden die Feature Punkte in einer globalen Karte registriert, wobei gleichzeitig eine Kamerapose in dem globalen Koordinatensystem durch eine sogenannte „Simultaneous Localisation and Mapping” (SLAM) Technik geschätzt wird. Virtuelle Objekte werden dann entsprechend ihren relativen Positionen zu der Kamera bezüglich des globalen Koordinatensystems eingeblendet.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.
  • Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 5.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer virtuellen Zusatzinformation in mindestens einem aufgenommenen digitalen Bild einer Umgebung, insbesondere einer Fahrzeugumgebung, wird das aufgenommene Bild als Ausgabebild einen Hintergrund bildend auf einer Anzeige ausgegeben, wobei die Zusatzinformation im Ausgabebild dieses überlagernd an einer Zielposition ausgegeben, insbesondere fest positioniert/verankert, wird, wobei mittels eines ersten, insbesondere groben Positionierungsverfahrens eine Vorposition der Zusatzinformation ermittelt wird und mittels eines zweiten, insbesondere feinen Positionierungsverfahrens die Vorposition angepasst und die Zielposition der Zusatzinformation im Ausgabebild ermittelt wird.
  • Die Erfindung geht dabei von der Überlegung aus, dass eine positions- und orientierungsrichtige Einblendung der virtuellen Zusatzinformationen in das Ausgabebild, insbesondere in ein Videobild, von großer Bedeutung ist.
  • Bei einer Anwendung im Fahrzeug zur bildgestützten Überwachung einer vorausliegenden Verkehrsumgehung kann es bei den aus dem Stand der Technik bekannten Verfahren zur augmentierten Darstellung zu Nachteilen kommen. So ist das GPS-basierte Verfahren hinsichtlich der Positionsbestimmung mit einer Abweichung von ca. 3 bis 5 m ungenau. Die virtuellen Objekte im Ausgabebild werden zum Beispiel deutlich zur Seite schweben, wenn das Fahrzeug in einer scharfen Kurve schnell abbiegt. Bei dem Marker-basierten augmentierten Darstellungsverfahren kann es zu einer teilweisen oder vollständigen Verdeckung der Marker kommen. Das Markerless-Verfahren findet im Allgemeinen nur Anwendung, wenn die Umgebung der einzublendenden Objekte stabil ist. Anderenfalls muss die Feature-Punkte-Karte mehrmals reinitialisiert werden, was einen hohen Rechenaufwand erfordert.
  • Mittels der Kombination von mindestens zwei der bekannten Positionierungsverfahren derart, dass eines eine Vorpositionierung der virtuellen Zusatzinformation und ein anderes eine Feinpositionierung der virtuellen Zusatzinformation vornimmt, ist eine „Verankerung” der dargestellten virtuellen Zusatzinformation auf dem Ausgabebild ermöglicht, welche durch einen Betrachter als stabil empfunden wird. Hierzu umfasst die Vorrichtung zumindest eine Datenbank zur Speicherung von virtuellen Zusatzinformationen, in Form von Zusatzobjekten und/oder Zusatztexten, ein Navigationssystem, insbesondere ein satellitengestütztes Navigationssystem, z. B. einen GPS-Sensor, und mindestens eine Aufnahmeeinheit, insbesondere ein Stereo-Vision-Kamerasystem, zur 30-/2D-Umgebungserfassung mit einem gegebenen Kamerakoordinatensystem. Dabei werden die richtigen Posen (Positionen und Orientierungen) der einzublendenden virtuellen Zusatzinformationen in dem Kamerakoordinatensystem ermittelt, so dass die Projektionen der virtuellen Zusatzinformationen auf dem Videobild und damit dem Ausgabebild von dem Betrachter als stabil empfunden werden können.
  • Mit anderen Worten: Anhand des erfindungsgemäßen Hybridverfahrens von zwei kombinierten Positionierungsverfahrens zur Vor- und Zielpositionierung der virtuellen Zusatzinformation werden stabile Einblendungen dieser in Anzeigen, insbesondere in Fahrzeuganzeigen mit hohen dynamischen Eigenbewegungen, möglich. Die virtuellen Einblendungen der Zusatzinformationen folgen damit auch kleinen Eigenbewegungen des Bezugspunktes, bei Anwendung im Fahrzeug der Bewegung des Fahrzeugs, ohne dass diese erst messtechnisch erfasst und in einem Fahrzeugbewegungsmodell integriert werden.
  • In einer möglichen Ausführungsform wird als erstes Positionierungsverfahren ein satellitenbasiertes Navigationsverfahren zum Bestimmen von Positionen für das eigene Fahrzeug und/oder von darzustellenden Objekten in der aufgenommenen Umgebung verwendet. Mittels des satellitenbasierten Navigationsverfahrens wird eine grobe Vorpositionierung der virtuellen Zusatzinformation im Ausgabebild vorgenommen. Als zweites Positionierungsverfahren wird ein Feature basiertes Positionierungsverfahren zur Feinpositionierung und Bestimmung der Zielposition verwendet.
  • Erfindungsgemäß wird bei einem alternativen Verfahren zur augmentierten Darstellung der mindestens einen virtuellen Zusatzinformation deren Zielposition im Ausgabebild anhand von Fahrzeugdynamikinformationen und anhand von aus mehreren chronologisch aufgenommenen Bildern abgeleiteten Bewegungsdaten ermittelt. Dieses alternative Verfahren weist einen wesentlich geringeren Rechenaufwand auf.
  • Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme eines digitalen Bildes einer Umgebung, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung des aufgenommenen Bildes und Transformation des Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in dem Ausgabebild und mindestens eine Ausgabeeinheit zur Ausgabe des Ausgabebildes zusammen mit der Zusatzinformation.
  • Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in der Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUD-Anzeigeeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Ausgabebild,
  • 2 schematisch ein Ausführungsbeispiel für ein Ablaufdiagramm eines augmentierten Darstellungsverfahrens, umfassend mindestens ein erstes und ein zweites Positionierungsverfahren zur Vor- und Zielpositionierung der darzustellenden virtuellen 2D- und 3D-Zusatzinformationen im Ausgabebild, und
  • 3 schematisch ein alternatives Ausführungsbeispiel für ein Ablaufdiagramm eines augmentierten Darstellungsverfahrens anhand von Fahrzeugdynamikdaten zur Zielpositionierung der darzustellenden virtuellen 2D- und 3D-Zusatzinformationen im Ausgabebild.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer, insbesondere virtuellen Zusatzinformation Z in einem Ausgabebild A auf einer Ausgabeeinheit 2.
  • Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche ein digitales Bild B einer Umgebung U aufnimmt. Das Bild B wird einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A und der Zusatzinformation Z im Ausgabebild A zugeführt.
  • Die Vorrichtung 1 ist beispielsweise in einem nicht näher dargestellten Fahrzeug integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung. Das Fahrzeug umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera, die insbesondere im Frontbereich angeordnet ist. Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale Bilder B mit oder ohne Tiefeninformation aufnimmt und derart verarbeitet, dass die Bilder B als Monobilder und die Tiefeninformation als Tiefenbilder T der Verarbeitungseinheit 4 zugeführt werden.
  • Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann.
  • Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
  • Des Weiteren umfasst die Vorrichtung 1 ein satellitengestütztes Navigationssystem 5, welches der Verarbeitungseinheit 4 die momentane Position P des Fahrzeugs zuführt.
  • Mittels mindestens einer weiteren Sensoreinheit 6 werden der Verarbeitungseinheit 4 Bewegungsdaten F, insbesondere bei einem Fahrzeug Fahrdynamikdaten, wie Eigengeschwindigkeit, Giermoment, Längs- und/oder Querbeschleunigung, zugeführt.
  • Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4, ist derart ausgebildet, dass das aufgenommene Bild B der Umgebung U in ein Ausgabebild A der Anzeige 2 als Hintergrund transformiert wird, wobei die Zusatzinformation Z ortsbezogen im Ausgabebild A dieses überlagernd an einer Zielposition Pz ausgegeben, insbesondere fest positioniert/verankert, wird. Für eine derartige positionsfeste und stabile Einblendung der Zusatzinformation Z in eine dynamische Szene der Ausgangsbilder A wird mittels eines ersten, insbesondere groben Positionierungsverfahrens V1 eine Vorposition der Zusatzinformation Z1 bis Zx und mittels eines zweiten, insbesondere feinen Positionierungsverfahrens die Vorposition angepasst und die Zielposition Pz der Zusatzinformation Z1 bis Zx im Ausgabebild A ermittelt.
  • 2 zeigt ein mögliches Ausführungsbeispiel für den Ablauf des augmentierten Darstellungsverfahrens zur stabilen Positionierung der Zusatzinformation Z1 bis Zx an der Zielposition Pz anhand der Kombination mindestens zweier Positionierungsverfahrens V1 und V2 oder V1 und V3 (in 2 dargestellt).
  • Wie in 2 dargestellt, kann die Vorrichtung 1 zusätzlich einen Speicher 7 zur Speicherung von vordefinierten virtuellen Zusatzinformationen Z1 bis Zx in Form von Zusatzobjekten, z. B. Symbole, Pfeile, Balken, Abbildungen realer Objekte, und/oder Zusatztexten, z. B. Beschriftungen, Texte, beinhalten.
  • Im Ausführungsbeispiel basiert das erste Positionierungsverfahren V1 auf einem satellitengestütztes Navigationsverfahren eines Navigationssystems 5, das der Verarbeitungseinheit 4 Daten der eigenen Position P zuführt. Das zweite Positionierungsverfahren V2 ist ein sogenanntes Markerless-Verfahren, basierend auf sogenannte „Feature Punkte” (= Bildpunkte im realen aufgenommenen Bild) FP für die Positionierung der virtuellen Zusatzinformationen Z1 bis Zx. Das dritte Positionierungsverfahren V3 ist ein Bewegungskompensationsverfahren, bei welchem die aufgenommenen Bilder B reduziert werden, indem Bewegungen in kleinen Bildbereichen zwischen chronologisch benachbarten Bildern B anhand von Bewegungsvektoren geschätzt und kompensiert werden.
  • Für jede virtuelle Zusatzinformation Z1 bis Zx wird im ersten Positionierungsverfahren V1 (= Vorpositionierung/Grobpositionierung) anhand der eigenen Positionsdaten P und der Tiefenbilder T der realen Umgebung U ein interessanter Positionierungsbereich ROI (= Initial ROI mit ROI = Region of Interest) im Ausgabebild A ermittelt. Die Ermittlung des Positionierungsbereichs ROI erfolgt beispielsweise durch Vergleich zwischen der gegenwärtigen eigenen Position P (z. B. GPS-Position des eigenen Fahrzeugs) und der definierten Vorposition der virtuellen Zusatzinformation Z1 bis Zx (z. B. GPS-Position der virtuellen Zusatzinformation Z1 bis Zx in Bezug auf das korrespondierende darzustellende Objekt O1 bis Oz in der realen Umgebung U). Zusätzlich können Tiefeninformationen aus Tiefenbildern T der Aufnahmeeinheit 3, einem Stereo-Vision-System, verwendet werden, um sicherzustellen, dass die einzublendende virtuelle Zusatzinformation Z1 bis Zx zum Zeitpunkt der Initialisierung nicht von anderen darzustellenden Objekten O1 bis Oz verdeckt wird.
  • Der ermittelte Positionierungsbereich ROI bestimmt einen groben Bereich auf dem Ausgabebild A, in welchem die virtuelle Zusatzinformation Z1 bis Zx positioniert werden sollte. Innerhalb dieses Positionierungsbereichs ROI werden mittels eines zweiten Positionierungsverfahrens V2 Feature Punkte FP extrahiert und deren Bewegungen in der Videosequenz und somit der Sequenzfolge mehrerer Ausgabebilder An verfolgt, um im letzten Projektionsschritt SP beim Projizieren der virtuellen Zusatzinformationen Z1 bis Zx im jeweiligen Ausgabebild A eine kontinuierliche Aktualisierung der Zielposition Pz der virtuellen Zusatzinformation Z1 bis Zx in den Ausgabebildern A der chronologisch ausgegebenen Sequenz von Ausgabebildern An zu ermöglichen.
  • Für die Verfolgung der Feature Punkte FP gibt es folgende Varianten:
    • – Verfolgung der Feature Punkte FP (3D) in einem dreidimensionalen Koordinatensystem: Dabei wird eine Feature-Punkte-Karte verwendet, um eine feine Aktualisierung einer Kamerapose und somit der eigenen Position P zu schätzen. Dabei wird die Feature-Punkte-Karte nur lokal in einer Nachbarschaft bezüglich des Positionierungsbereiches ROI der virtuellen Zusatzinformation Z1 bis Zx generiert. Dies reduziert den Rechenaufwand und ermöglicht somit einfach und schnell die Ermittlung der Zielposition Pz.
    • – Verfolgung der Feature Punkte FP(2D) in einem zweidimensionalen Bildkoordinatensystem: Dabei wird die zweidimensionale Bewegung durch einfachere Algorithmen, wie zum Beispiel optischen Fluss, berechnet.
  • Um Rechenaufwand zu reduzieren, wird in einer alternativen Variante des Verfahrens zur Bestimmung der Bewegung der virtuellen Zusatzinformation Z1 bis Zx zuerst der interessante Positionierungsbereich ROI anhand von Bewegungsdaten F, wie Verfolgung der eigenen Bewegung anhand von Fahrzeugdynamikdaten, wie Fahrzeuggeschwindigkeit, Lenkradwinkel, Giermoment, etc. ermittelt und fortlaufend aktualisiert. In anderen Worten: Die Aktualisierung der eigenen Position P und somit der Kamerapose wird zuerst durch Fahrzeuggeschwindigkeit, Lenkradwinkel und andere Fahrzeugdaten grob mittels des dritten Positionierungsverfahrens V3 geschätzt.
  • Anschließend erfolgt die feine Aktualisierung der Zielposition Pz durch eine der oben genannten Positionierungsverfahrens V1 und V2 und gegebenenfalls nochmals mittels des dritten Positionierungsverfahrens V3.
  • Eine stabile Einblendung der virtuellen Zusatzinformation Z1 bis Zx ist möglich, sobald die Feature Punkte FP erfolgreich verfolgt werden können. So kann mit der bekannten 2D-Position P des darzustellenden Objektes O1 bis Oz und einer Tiefenkarte T die 3D-Position P des zu platzierenden virtuellen Objektes – der Zusatzinformation Z1 bis Zx – relativ zur eigenen Position P oder der Position der Kamera ermittelt werden.
  • In einer weiteren Variante des Verfahrens wird die Tiefe über die ermittelte GPS-Distanz zum darzustellenden Objekt O1 bis Oz ermittelt.
  • Die ermittelte feine und somit positionsgenaue relative 3D-/2D-Zielposition Pz der virtuellen Zusatzinformation Z1 bis Zx kann darüber hinaus durch herkömmliche Methoden der Bildverarbeitung gerendert und in der Anzeige 2 im Ausgabebild A ausgegeben werden.
  • 3 zeigt ein alternatives Verfahren unter Weglassen des zweiten, insbesondere aufwendigen Positionierungsverfahrens V2.
  • Bewegungskompensation ist ein übliches Verfahren im Bereich Videokompression, um die gesamte zu kodierende Datenmenge zu reduzieren. Dabei werden die zweidimensionalen Bewegungen von kleinen Bildbereichen oder -blöcken (üblicherweise 8×8 Pixel) zwischen benachbarten Ausgabebildern An (= Videobildern) geschätzt und kompensiert.
  • Die Bewegung von einem Bildbereich wird als „Bewegungsvektor” genannt. In einer relativ stabilen Verkehrssituation werden die Bewegungsvektoren in einer Nachbarschaft von einer virtuellen Zusatzinformation Z1 bis Zx ähnlich sein. Daher kann der Bewegungsvektor der virtuellen Zusatzinformation Z1 bis Zx geschätzt werden. Für die Aktualisierung der Zielposition Pz wird die virtuelle Zusatzinformation Z1 bis Zx direkt dem zweidimensionalen Bewegungsvektor entsprechend verschoben.
  • Mithilfe der GPS-basierten Fahrzeugdynamikinformationen, wie der Bewegung der eigenen Position P, wird zuerst eine grobe Schätzung von Bewegungsvektoren von Bildbereichen oder -blöcken durchgeführt. Die feine Berechnung erfolgt durch Vergleichungen mit Nachbarbildbereichen oder -blöcken in einer Auflösung bis hin zu Sub-Pixeln. Übliche Indikatoren für Bildblockvergleiche sind z. B. Kreuzkorrelation, SSD (Surf of Squared Differences) oder andere.
  • Wie bei der zuerst beschriebenen Variante mit Feature-Punkten FP kann anhand der zweidimensionalen Bewegungen der Bildblöcke und Tiefeninformation der Tiefenbilder T und der GPS-Abstandsinformation und/oder der GPS-Position P die 3D-Zielposition Pz der einzublendenden Zusatzinformation Z1 bis Zx relativ zum Bezugspunkt, der eigenen Position P und somit der Kamera ermittelt werden.
  • Wie beim ersten Verfahren bereits beschrieben, kann mit der genauen relativen 3D-Zielposition Pz der virtuellen Zusatzinformation Z1 bis Zx das zugehörige darzustellende Objekt O1 bis Oz durch klassische Methoden der Bildverarbeitung in der Anzeige 2 im Ausgabebild A gerendert angezeigt werden.
  • Die Erfindung beschreibt ein einfaches Hybridverfahren zur Anzeige und zum Verankern von virtuellen Objekten – den Zusatzinformationen Z1 bis Zx – in Anzeigen eines Fahrzeugs für Augmented-Reality-Anwendungen. Das beschriebene Hybridverfahren kombiniert ein GPS-basiertes Grobpositionierungsverfahren und ein Markerless-Verfahren für die Feinpositionierung der virtuellen Zusatzinformationen Z1 bis Zx im Raum. Dabei werden Instabilitäten, wie sie beispielsweise beim GPS-basierten Verfahren in dynamischen Szenen auftreten können, durch Verfolgung der Feature-Punkte FD in einer Nachbarschaft der virtuellen Zusatzinformation Z1 bis Zx im zweiten und somit Feinpositionierungsverfahren kompensiert. Der inhärent hohe Rechenaufwand des Feinpositionierungsverfahrens (dem Markerless Verfahren) kann durch Fusionierung mit Fahrzeugdynamikinformationen wesentlich reduziert werden.
  • Anhand des Hybridverfahrens werden stabile Einblendungen von virtuellen Objekten in Fahrzeuganzeigen möglich, auch in dynamischen Szenerien. Objekteinblendungen folgen damit auch kleinen und aufwendig zu messenden Eigenbewegungen des Fahrzeuges, ohne dass diese dazu erst messtechnisch erfasst und in ein Fahrzeugbewegungsmodell integriert werden müssen.
  • Bezugszeichenliste
  • 1
    Vorrichtung
    2
    Ausgabeeinheit (Anzeige)
    3
    Aufnahmeeinheit
    4
    Verarbeitungseinheit
    5
    Navigationssystem
    6
    Sensoreinheit
    7
    Speicher
    A
    Ausgabebild
    An
    Sequenz von Ausgabebildern
    B
    Bild
    F
    Bewegungsdaten
    FP
    Feature Punkt
    FP(2D)
    Feature Punkt im zweidimensionalen Koordinatensystem
    FP(3D)
    Feature Punkt im dreidimensionalen Koordinatensystem
    O1 bis Oz
    Objekt
    P
    eigene Position (GPS-Position)
    Pz
    Zielposition
    ROI
    Positionierungsbereich
    SP
    Projektionsschritt
    T
    Tiefenbild
    U
    Umgebung
    V1 bis V3
    Positionierungsverfahren
    Z1 bis Zx
    Zusatzinformation
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009049849 A1 [0003]
    • DE 102008015398 A1 [0003]

Claims (5)

  1. Verfahren zur augmentierten Darstellung mindestens einer virtuellen Zusatzinformation (Z1 bis Zx) in mindestens einem aufgenommenen digitalen Bild (B) einer Umgebung (U), insbesondere einer Fahrzeugumgebung, dadurch gekennzeichnet, dass das aufgenommene Bild (B) als Ausgabebild (A) einen Hintergrund bildend auf einer Anzeige (2) ausgegeben wird, wobei die Zusatzinformation (Z1 bis Zx) im Ausgabebild (A) dieses überlagernd an einer Zielposition (Pz) ausgegeben wird, wobei mittels eines ersten Positionierungsverfahrens (V1) eine Vorposition der Zusatzinformation (Z1 bis Zx) und mittels eines zweiten Positionierungsverfahrens (V2) die Vorposition angepasst und die Zielposition (Pz) der Zusatzinformation (Z1 bis Zx) im Ausgabebild (A) ermittelt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als erstes Positionierungsverfahren (V1) ein auf Satelliten basierendes Navigationsverfahren zum Bestimmen von Positionen (P) für das eigene Fahrzeug und/oder von darzustellenden Objekten (O1 bis Oz) in der aufgenommenen Umgebung (U) verwendet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als zweites Positionierungsverfahren (V2) ein Feature basiertes Positionierungsverfahren verwendet wird.
  4. Verfahren zur augmentierten Darstellung mindestens einer virtuellen Zusatzinformation (Z1 bis Zx) in mindestens einem aufgenommenen digitalen Bild (B) einer Umgebung (U), insbesondere einer Fahrzeugumgebung, dadurch gekennzeichnet, dass das aufgenommene Bild (B) als Ausgabebild (A) einen Hintergrund bildend auf einer Anzeige (2) ausgegeben wird, wobei die Zusatzinformation (Z1 bis Zx) im Ausgabebild (A) dieses überlagernd an einer Zielposition (Pz) ausgegeben wird, wobei anhand von erfassten Bewegungsdaten (F), insbesondere Fahrzeugdynamikinformationen, und anhand von aus mehreren chronologisch aufgenommenen Bildern (B) abgeleiteten Bewegungsdaten (F) die Zielposition (Pz) der Zusatzinformation (Z1 bis Zx) im Ausgabebild (A) ermittelt wird.
  5. Vorrichtung (1) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 4, umfassend: – mindestens eine Aufnahmeeinheit (3) zur Aufnahme eines digitalen Bildes (B) einer Umgebung (U), – mindestens eine Verarbeitungseinheit (4) zur grafischen Verarbeitung des aufgenommenen Bildes (B) und Transformation des Bildes (B) in ein Ausgabebild (A) sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation (Z1 bis Zx) in dem Ausgabebild (A) und – mindestens eine Ausgabeeinheit (2) zur Ausgabe des Ausgabebildes (A) zusammen mit der Zusatzinformation (Z1 bis Zx) an einer ermittelten Zielposition (Pz).
DE201310016247 2013-10-01 2013-10-01 Verfahren und Vorrichtung zur augmentierten Darstellung Withdrawn DE102013016247A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310016247 DE102013016247A1 (de) 2013-10-01 2013-10-01 Verfahren und Vorrichtung zur augmentierten Darstellung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310016247 DE102013016247A1 (de) 2013-10-01 2013-10-01 Verfahren und Vorrichtung zur augmentierten Darstellung

Publications (1)

Publication Number Publication Date
DE102013016247A1 true DE102013016247A1 (de) 2014-06-26

Family

ID=50878767

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310016247 Withdrawn DE102013016247A1 (de) 2013-10-01 2013-10-01 Verfahren und Vorrichtung zur augmentierten Darstellung

Country Status (1)

Country Link
DE (1) DE102013016247A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020254075A1 (de) 2019-06-20 2020-12-24 Volkswagen Aktiengesellschaft Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008015398A1 (de) 2008-03-20 2009-12-17 Deutsche Telekom Ag Verfahren zur Bedienung einer mobilen Vorrichtung
DE102009049849A1 (de) 2009-10-19 2011-04-21 Metaio Gmbh Verfahren zur Bestimmung der Pose einer Kamera und zur Erkennung eines Objekts einer realen Umgebung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008015398A1 (de) 2008-03-20 2009-12-17 Deutsche Telekom Ag Verfahren zur Bedienung einer mobilen Vorrichtung
DE102009049849A1 (de) 2009-10-19 2011-04-21 Metaio Gmbh Verfahren zur Bestimmung der Pose einer Kamera und zur Erkennung eines Objekts einer realen Umgebung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020254075A1 (de) 2019-06-20 2020-12-24 Volkswagen Aktiengesellschaft Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
DE102019209016A1 (de) * 2019-06-20 2020-12-24 Volkswagen Aktiengesellschaft Verfahren zur Erzeugung einer lagerichtigen Einblendung einer Zusatzinformation auf einer Anzeigeeinheit für ein Fahrzeug, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug

Similar Documents

Publication Publication Date Title
EP2899506B1 (de) Verfahren und Vorrichtung zum Betreiben eines Sichtfeldanzeigegeräts
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102018215344A1 (de) System und verfahren für fahrzeugkonvois
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE102014008152A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
DE102011055795A1 (de) Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
DE102010034140A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
DE102017112188A1 (de) Bildverarbeitungseinrichtung für ein Fahrzeug
DE102010003850A1 (de) Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
DE102013206435A1 (de) Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
WO2015049028A1 (de) Verfahren und vorrichtung zur darstellung von navigationshinweisen eines navigationssystems auf einer anzeige
WO2019057452A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102021110477A1 (de) Dynamische anpassung eines bildes mit erweiterter realität
DE102013016249A1 (de) Verfahren und Vorrichtung zur Darstellung von Navigationshinweisen
DE102013016247A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung
DE102016009506A1 (de) Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges
DE102016215704A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019002664A1 (de) Verfahren zur Anzeige einer fahrzeugdynamischen virtuellen Realität in einem Fahrzeug
DE102014202639A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee