DE102013213492A1 - Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen - Google Patents

Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen Download PDF

Info

Publication number
DE102013213492A1
DE102013213492A1 DE201310213492 DE102013213492A DE102013213492A1 DE 102013213492 A1 DE102013213492 A1 DE 102013213492A1 DE 201310213492 DE201310213492 DE 201310213492 DE 102013213492 A DE102013213492 A DE 102013213492A DE 102013213492 A1 DE102013213492 A1 DE 102013213492A1
Authority
DE
Germany
Prior art keywords
image
data glasses
basic image
time
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201310213492
Other languages
English (en)
Inventor
Michael Graef
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE201310213492 priority Critical patent/DE102013213492A1/de
Publication of DE102013213492A1 publication Critical patent/DE102013213492A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Offenbart wird ein Verfahren zur Anpassung des von einer Datenbrille anzuzeigenden Bildes, wobei die Datenbrille eine Anzeige umfasst, die zur Anzeige von Bildern mit einer ersten Bildgröße eingerichtet ist, wobei die Datenbrille eine Kamera umfasst, wobei das Verfahren umfasst: Empfangen einer ersten Aufnahme der Kamera zu einem ersten Zeitpunkt; Empfangen eines Grundbildes, wobei das Grundbild eine zweite Bildgröße aufweist, die zumindest in einer Richtung größer ist, als die erste Bildgröße, wobei das Grundbild insbesondere von einer von der Datenbrille separaten Recheneinheit empfangen wird; Empfangen einer zweiten Aufnahme der Kamera zu einem zweiten Zeitpunkt; Bestimmen eines Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der Ausschnitt abhängig von einem Unterschied der ersten zur zweiten Aufnahme bestimmt wird; Anzeigen des Ausschnitts auf der Datenbrille.

Description

  • Die Erfindung betrifft ein Verfahren zur Anpassung des von einer Datenbrille angezeigten Bildes sowie eine Datenbrille und ein Computerprogramm zu demselben Zweck.
  • Heutzutage sind Datenbrillen, manchmal auch Head-mounted Displays genannt, bekannt, die eine Anzeige umfassen. Eine Datenbrille wird durch einen Benutzer ähnlich einer gewöhnlichen Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Die Anzeige der Datenbrille befindet sich dabei im Sichtfeld des Trägers. Manche Datenbrillen umfassen eine Anzeige nur für ein Auge, andere Datenbrillen umfassen zwei Teilanzeigen, wobei jedem Auge eine Teilanzeige zugeordnet ist.
  • Weiterhin ist es bekannt, dass Datenbrillen eine halbtransparente Anzeige umfassen können. Eine solche Anzeige ermöglicht es dem Träger sowohl angezeigte Informationen, also Bilder, als auch das Umfeld hinter der Anzeige zu erkennen. Diese Art an Anzeige ist besonders gut zur kontaktanalogen Darstellung von Informationen geeignet. Bei der kontaktanalogen Darstellung ist der anzuzeigenden Information ein Ort im Umfeld des Trägers zugeordnet und die Information wird diesem Ort zugeordnet angezeigt, manchmal auch als ortsrichtige Anzeige bezeichnet. Dies kann durch eine für den Träger scheinbare Überlagerung der Information über den zugeordneten Ort geschehen oder eine Darstellung der Information in räumlicher Nähe zu dem zugeordneten Ort, ggf. mit einem Symbol wie einer Linie, um auf den zugeordneten Ort zu deuten. Die Information selbst kann ebenfalls ein Symbol, ein Bild, Text oder ähnliches sein. Die kontaktanaloge Darstellung wird manchmal auch augmented reality genannt.
  • Darüber hinaus sind auch Datenbrillen bekannt, die eine nicht-transparente Anzeige umfassen. Auch bei diesen ist eine kontaktanaloge Darstellung möglich, wofür ein Videobild oder zumindest ein Kamerabild der Umgebung gemacht wird, in das dann die kontaktanaloge Darstellung eingearbeitet wird, also meist dem aufgenommenen Bild überlagert wird.
  • Die Darstellung eines Bildes auf einer Datenbrille erfolgt typischerweise wie mit Bezug auf 1 und 2 dargestellt. Der Benutzer trägt eine Datenbrille 1, die eine halbtransparente Anzeige 2 umfasst mit zwei Teilanzeigen, eine für das rechte Auge und eine für das linke Auge (in 1 gestrichelt dargestellt). In der Datenbrille 1 mit umfasst sind zwei Rahmenpuffer (auch Frame Buffer genannt), wiederum einen für die rechte (Rahmenpuffer 3) und einen für die linke (in 1 gestrichelt dargestellt) Teilanzeige. Die Rahmenpuffer speichern das Bild, das auf der Anzeige 2 anzuzeigen ist, wobei das Bild für die rechte Teilanzeige im ersten Rahmenpuffer 3 und das Bild für die linke Teilanzeige im zweiten Rahmenpuffer (in 2 gestrichelt dargestellt) gespeichert ist. Der Träger der Datenbrille 1 wird von einem Kopfverfolgungssystem 5 (auch Head Tracking Unit genannt) aufgenommen und aus der Aufnahme die Kopfpose des Trägers der Datenbrille 1 extrahiert. Das Kopfverfolgungssystem 5 ist typischerweise eine separate Vorrichtung, die den Benutzer aufnimmt. Die Kopfpose umfasst die Position des Kopfes (meist in drei linearen Koordinaten angegeben) und die Ausrichtung des Kopfes (meist in drei rotatorischen Koordinaten angegeben) zu einem definierten Bezugssystem. Manchmal wird die Ausrichtung des Kopfes über die Blickrichtung beschrieben, in die der Benutzer blickt, wenn seine Augen in der Zentralstellung sind. Systeme zum Bestimmen der Kopfpose sind im Stand der Technik bekannt. Die ermittelte Kopfpose wird einem Computer 6 mitgeteilt. Der Computer 6 empfängt ebenso von einer Umfelderkennung (nicht dargestellt) die Position und Gestalt von Objekten, die im Umfeld erkannt wurden, also eine 3D Szene. Mithilfe dieser Informationen errechnet der Computer 6 eine kontaktanaloge Darstellung. Wenn diese dem Benutzer auf der Datenbrille 1 angezeigt wird, sieht der Benutzer durch die halbtransparenten Anzeige 2 weiterhin das Umfeld und eine an der Position von Objekten im Umfeld orientierte Darstellung auf der Anzeige 2. Insbesondere kann die Darstellung auf der Anzeige 2 für den Träger in räumlicher Nähe zu Objekten im Umfeld oder Objekte überlagernd angezeigt werden. 2 zeigt beispielhaft das Prinzip von derartigen augmented reality Darstellungen. 2 zeigt schematisch die Sicht, wie sie sich dem Träger der Datenbrille 1 bietet, wobei mit dem Bezugszeichen 2 die halbtransparente Anzeige und deren Begrenzung angegeben ist. Der Träger schaut durch die halbtransparente Anzeige 2 auf einen Baum 7 in seinem Umfeld. Durch die Umfelderkennung wird die Position und Gestalt des Baumes 7 erkannt. Unter Berücksichtigung der Kopfpose des Trägers der Datenbrille 1 wird die Position und Ausrichtung eines Sterns errechnet, der dem Träger der Datenbrille an der Spitze des Baumes 7 erscheinen soll. Das anzuzeigende Bild 8 wird den Rahmenpuffern mitgeteilt (wobei das anzuzeigende Bild für die linke und rechte Teilanzeige leicht abweichen kann). In dem Bild 8 ist der Stern (eine augmented reality Darstellung) derart positioniert, dass er dem Betrachter wie in der Gesamtansicht 9 gezeigt, erscheint.
  • Der Computer 6 ist typischerweise entfernt von der Datenbrille angeordnet und in Kommunikation mit dieser. Auch die Umfelderfassung und Klassifizierung von Objekten ist typischerweise entfernt von der Datenbrille angeordnet und erfolgt unabhängig von der Verarbeitung in der Datenbrille.
  • Typischerweise wird dem Benutzer eine augmented reality Darstellung (beispielsweise ein Symbol) über einen Zeitraum hinweg angezeigt. Gleichzeitig kann der Benutzer in diesem Zeitraum allerdings seine Kopfpose ändern. Eine einmal errechnete Darstellung muss also fortwährend an die Kopfpose des Benutzers angepasst werden. Wie für Anzeigen allgemein üblich, wird auch zu einer Datenbrille in vielen Fällen ein Strom an Bildern, z. B. 60 Bilder pro Sekunde, in Form von Videobildern (bzw. Videoframes) übertragen. Für jedes dieser Videobilder muss die augmented reality Darstellung vom Computer gegebenenfalls angepasst werden. Dazu kann zum Beispiel eine Darstellung lateral in zwei Dimensionen verschoben werden, um die Sichtachse des Benutzers gedreht werden, in der Größe verändert werden oder um ihre eigene Achse gedreht werden müssen.
  • Die Anpassung der augmented reality Darstellung unterliegt dabei einer Latenzzeit, die sich aus den Verarbeitungs- und Übertragungszeiten der einzelnen Elemente des Systems ergibt. So braucht die Ermittlung der Kopfpose durch das Kopfverfolgungssystem, die Übertragung der ermittelten Kopfpose, die Errechnung des anzuzeigenden Bildes basierend auf der Kopfpose und der 3D Szene, die Übertragung der Bildinformation an die Rahmenpuffer und schließlich die tatsächliche Darstellung auf der Anzeige der Datenbrille jeweils eine gewisse Zeit. Dies bedeutet, dass die Anpassung der Darstellung auf der Anzeige der Änderung der Kopfpose „hinterherhinkt”. Ändert der Benutzer seine Kopfpose, kann es so dazu kommen, dass die Kontaktanalogie der augmented reality Darstellung durchbrochen wird, und die räumliche Beziehung zwischen der Darstellung und dem Objekt des Umfeldes aufgehoben wird. Dies gilt insbesondere für Kopfdrehungen und damit verbundene Neuausrichtungen des Kopfes. Ein Beispiel hierfür wird in 3 gezeigt. 3 zeigt die Ansicht 9, wie sie sich einem Benutzer bietet, der seine Kopfausrichtung nach links oben gedreht hat, bevor alle Verarbeitungsschritte zur Anpassung der Darstellung vollzogen sind, mithin also innerhalb der Latenzzeit. Die Anzeige 2 hat sich mit der Kopfausrichtung mit bewegt, nicht jedoch der Baum 7, so dass der Stern jetzt nicht mehr auf der Spitze des Baumes erscheint. Der Pfeil deutet die Änderung der Position des Baumes 7 im Sichtfeld des Benutzers schematisch an.
  • Ändert der Benutzer seine Kopfpose fortlaufend, so kann die augmented reality Darstellung fortlaufend fehlerhaft sein. Selbst bei einer nur einmaligen Änderung der Kopfpose kann die Zeit, bis die augmented reality Darstellung angepasst wird, beträchtlich sein, wie mit Bezug auf 4 nun erläutert wird. Angenommen der Benutzer ändert seine Kopfpose zum Zeitpunkt tA kurz nach dem Zeitpunkt t1, zu dem die Kopfpose vom Kopfverfolgungssystem 5 erfasst wird, und dann nicht mehr. Die Kopfpose wird jeweils zu den Zeitpunkten tn erfasst. Dann ist die augmented reality Darstellung für den Benutzer für die Zeitdauer tError fehlerhaft, weil die fehlerhafte Darstellung vom Zeitpunkt tA bis zum Zeitpunkt t2 + Latenz sichtbar ist. Die minimale Fehlerzeit tError ist bei einer einmaligen Kopfposenänderung die Latenzzeit und die maximale Fehlerzeit ist t2 – t1 + Latenz.
  • Insgesamt ist die Korrektheit der augmented reality Darstellung von der Latenzzeit, der Frequenz der Videobilder (Wiederholfrequenz), der Geschwindigkeit mit der die Kopfpose geändert wird, und die zeitliche Variabilität der Änderung der Kopfpose abhängig.
  • Die Aufgabe, die der Erfindung zugrunde liegt, ist es, die Änderung der Kopfpose des Trägers einer Datenbrille mit möglichst geringer Latenz bei der Anzeige von augmented reality Darstellungen zu berücksichtigen.
  • Die Aufgabe wird durch ein Verfahren, eine Vorrichtung und ein Computerprogramm gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
  • In einem Aspekt umfasst ein Verfahren zur Anpassung des von einer Datenbrille anzuzeigenden Bildes, wobei die Datenbrille eine Anzeige umfasst, die zur Anzeige von Bildern mit einer ersten Bildgröße eingerichtet ist, wobei die Datenbrille eine Kamera umfasst, wobei das Verfahren umfasst: Empfangen einer ersten Aufnahme der Kamera zu einem ersten Zeitpunkt; Empfangen eines Grundbildes, wobei das Grundbild eine zweite Bildgröße aufweist, die zumindest in einer Richtung höher ist, als die erste Bildgröße; Empfangen einer zweiten Aufnahme der Kamera zu einem zweiten Zeitpunkt; Bestimmen eines Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der Ausschnitt abhängig von einem Unterschied der ersten zur zweiten Aufnahme bestimmt wird; Anzeigen des Ausschnitts auf der Datenbrille. Die Kamera ist vorteilhafterweise an der Datenbrille montiert und führt dieselbe Bewegung aus wie die Datenbrille. Der Unterschied bezieht sich typischerweise auf die Verschiebung des Inhaltes der Aufnahme von der ersten zur zweiten Aufnahme.
  • Es wird also vorgeschlagen einen Ausschnitt eines Grundbildes zur Anzeige zu wählen, abhängig von dem Inhalt zweier zeitversetzter Aufnahmen. Der Ausschnitt wird dabei abhängig von einem Unterschied in zwei Kameraaufnahmen gewählt. Der Unterschied der zwei Kameraaufnahmen kann die Änderung der Pose der Datenbrille (und damit der Änderung der Kopfpose) entsprechen. Die Pose betrifft dabei die Position (drei lineare Koordinaten) und Ausrichtung (drei rotatorische Koordinaten) der Datenbrille. Der Ausschnitt kann auch abhängig nur von Teilen der vollständigen Pose bestimmt werden, zum Beispiel unter Beachtung von nur zwei rotatorischen Koordinaten. In diesem Fall werden als Unterschied nur die relevanten Teile der Pose extrahiert oder sogar nur Näherungen der Änderungen der Teile der Pose bestimmt.
  • Die Bestimmung des Unterschiedes in den zwei Aufnahmen kann mithilfe von recheneffizienten Algorithmen durchgeführt werden. Die Latenz zur Berücksichtigung der Änderung der Kopfpose durch die Wahl des Ausschnitts kann so geringer sein, als die Latenz zur Bestimmung eines neuen Bildes über das nach dem Stand der Technik bekannte Verfahren (Ermittlung der Kopfpose durch das Kopfverfolgungssystem, die Übertragung der ermittelten Kopfpose, die Errechnung des anzuzeigenden Bildes basierend auf der Kopfpose und der 3D Szene, die Übertragung der Bildinformation an die Rahmenpuffer und schließlich die tatsächliche Darstellung auf der Anzeige der Datenbrille).
  • Die Latenz zur Bestimmung des Ausschnitts kann ferner dadurch gesenkt werden, dass die Recheneinheit zur Bestimmung des Unterschiedes ebenfalls von der Datenbrille umfasst ist, und insbesondere in diese integriert ist. Auf diese Weise können kurze verdrahtete Kommunikationsverbindungen genutzt werden, deren Verzögerung gering ist. Die Gesamtlatenz für die Ausschnittsbestimmung wird somit verringert.
  • Im Gegensatz zum Stand der Technik wird somit die augmented reality Darstellung lediglich in einer Ebene des Grundbildes geändert. Dabei wird typischerweise keine Änderung des Umfeldes (ein erkanntes und mithilfe der augmented reality Darstellung markiertes Objekt könnte sich bewegen), wie sie durch die Umfelderkennung erkannt wird, berücksichtigt, noch eine Änderung der augmented reality Darstellung selbst, also beispielsweise eine Drehung um eine Achse der Darstellung oder eine Größenänderung. Zu beachten ist jedoch, dass gemäß dem erfindungsgemäßen Verfahren, gegenüber einer reinen Verschiebung der augmented reality Darstellung auch neue, bisher nicht angezeigte augmented reality Darstellungen in den zweiten Ausschnitt rücken können, die bisher nur in einem Teil des Grundbildes vorhanden waren, der nicht im ersten Ausschnitt lag.
  • Die Kamera kann eine Kamera sein, die Aufnahmen im Bereich des sichtbaren Lichts macht und/oder im Bereich des Infrarotlichts. Des Weiteren kann die Kamera ein Beleuchtungssystem umfassen, im Fall einer Infrarotkamera insbesondere Infrarotlichtquellen. Eine Bildgröße wird als Menge von Pixeln, also Bildelementen, und deren Anordnung, also einem Format, angegeben, insbesondere im Rechteckformat, also beispielsweise 400×600 Pixel oder 1200×1600 Pixel. Das Grundbild mit der zweiten Bildgröße weist typischerweise eine Pixelmenge und ein Format auf, so dass der Ausschnitt mit der ersten Bildgröße vollständig in dem Grundbild umfasst ist. Die erste Bildgröße ist also ein Teil der zweiten Bildgröße, beispielsweise ist die erste Bildgröße 200×300 Pixel und die zweite Bildgröße 400×600 Pixel. Aufgrund der größeren Bildgröße umfasst das Grundbild Bereiche, die bei einer kontaktanalogen Darstellung nicht auf der Anzeige darzustellen sind. Ansonsten würde die Kontaktanalogie durchbrochen.
  • Der zweite Zeitpunkt liegt später als der erste Zeitpunkt, insbesondere liegt der zweite Zeitpunkt kurz nach oder im Wesentlichen zum Zeitpunkt des Empfangs des Grundbildes. Weiterhin liegt der erste Zeitpunkt typischerweise zur Zeit einer Messung der Kopfpose des Trägers der Datenbrille durch ein Kopfverfolgungssystem, auf dessen Grundlage das Grundbild erzeugt wird. Diese Messung wird also von dem aus dem Stand der Technik bekannten System durchgeführt und verwendet um das Grundbild auch basierend auf der 3D Szene zu errechnen. Dieses Kopfverfolgungssystem ist nicht in der Datenbrille umfasst. Auf diese Weise wird die Änderung der Kopfpose (oder zumindest von Komponenten davon oder näherungsweise) während der Latenzzeit, die ab der Messung der Kopfpose durch das Kopfverfolgungssystem, die Errechnung des Bildes durch den Computer unter Berücksichtigung der 3D Szene und die Übertragung zum Rahmenpuffer der Datenbrille sowie möglicherweise weiteren Übertragungen entsteht, durch eine entsprechende Bestimmung eines Ausschnitts des Grundbildes ausgeglichen.
  • In einer vorteilhaften Implementierung werden für das empfangene Grundbild zwei oder mehr Ausschnitte nacheinander bestimmt und angezeigt (jeweils bezeichnet mit der Laufvariablen n). Es werden also Zwischenbilder während einer Zeitspanne angezeigt, in der ansonsten nur das empfangene Bild angezeigt würde.
  • In einer Implementierung umfasst das Verfahren ferner: Empfangen weiterer Aufnahmen der Kamera zu weiteren Zeitpunkten; Für jede weitere Aufnahme: Bestimmen eines weiteren Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der weitere Ausschnitt abhängig von einem Unterschied der jeweiligen weiteren zur ersten Aufnahme oder einer der vorhergehenden Aufnahmen bestimmt wird; Anzeigen des weiteren Ausschnitts auf der Datenbrille. Durch die mehrfache Bestimmung von Ausschnitten wird die Zeitspanne, für die ein nicht an die Kopfpose angepasster Ausschnitt angezeigt wird, verringert. Werden für jedes empfangene Grundbild beispielsweise vier Ausschnitte zeitlich nacheinander bestimmt, so viertelt sich die Zeit, bis zur Berücksichtigung einer neuen Kopfpose. Die Darstellung von augmented reality Inhalten verbessert sich somit.
  • In einer weiterbildenden Implementierung wird die Gesamtheit der Schritte des Verfahrens wiederholt ausgeführt, wobei dabei für jedes empfangene Grundbild zwei oder mehr Ausschnitte nacheinander bestimmt und angezeigt werden (jeweils bezeichnet mit der Laufvariablen n).
  • In einer Weiterbildung umfasst die Bestimmung des Ausschnitts eine zur Veränderung der Position und/oder Rotation proportionale Veränderung der Position und/oder Rotation eines vorbestimmten Ausschnitts des Grundbildes, wobei der vorbestimmte Ausschnitt ebenfalls die erste Bildgröße aufweist.
  • In einer Weiterbildung sind die Aufnahmen der Kamera Aufnahmen der Umgebung der Datenbrille; wobei der Unterschied anhand der Veränderung der Position und/oder Rotation um die Sichtachse der Kamera einer in der ersten und zweiten Aufnahme erkannten Struktur und/oder eines in der ersten und zweiten Aufnahme erkannten Objektes in der ersten zur zweiten Aufnahme bestimmt wird; oder Wobei der Unterschied anhand einer Korrelation, insbesondere basierend auf den Pixeln der ersten und zweiten Aufnahmen, bezüglich einer Veränderung der Position und/oder Rotation um die Sichtachse der Kamera bestimmt wird.
  • Dazu wird typischerweise eine Muster- oder Objekterkennung eingesetzt, die Muster bzw. Objekte in der ersten und der zweiten Aufnahme erkennt. Dann kann durch die Bestimmung der Veränderung desselben Musters/Objektes von der ersten Aufnahme zur zweiten Aufnahme der Unterschied zwischen der ersten Aufnahme und der zweiten Aufnahme bestimmt werden. Zur Bestimmung des Unterschiedes können auch die Veränderungen der Position (also einer Verschiebung) und/oder Rotation mehrerer Muster/Objekte von der ersten zur zweiten Aufnahme berücksichtigt werden, beispielsweise durch einen Mittelwert der Veränderungen der Muster/Objekte. Ebenfalls ist es denkbar, dass die Datenbrille Angaben zu erkannten Mustern/Objekten in dem empfangenen Grundbild empfängt. Mit diesen Zusatzinformationen können die Strukturen bzw. Objekte in der ersten Aufnahme leichter erkannt werden und in der zweiten Aufnahme leichter nachverfolgt bzw. wiedererkannt werden.
  • In einer Weiterbildung umfasst die Bestimmung des Ausschnitts eine zur Veränderung der Position und/oder Rotation proportionale Veränderung der Position und/oder Rotation eines vorbestimmten Ausschnitts des Grundbildes, wobei der vorbestimmte Ausschnitt ebenfalls die erste Bildgröße aufweist. Wird also als Unterschied die Veränderung der Position und/oder Rotation von Mustern/Objekten verwendet, so kann der Ausschnitt die zur Veränderung der Muster/Objekte proportionale Veränderung eines vorbestimmten (beispielsweise zentrierten) Ausschnittes der ersten Bildgröße im Grundbild darstellen. Diese lineare Abhängigkeit ermöglicht eine Bestimmung des Ausschnitts mit geringer Latenz. Die proportionale Veränderung bedeutet somit eine Änderung der Position und/oder Rotation des vorbestimmten Ausschnitts um die Sichtachse der Kamera (und damit im Wesentlichen auch der Sichtachse des Benutzers) jeweils in der Grundbildebene, also in der x-/y-Ebene.
  • Als Alternative zur Muster-/Objekterkennung kann auch eine Korrelation der ersten und zweiten Aufnahme verwendet werden, um die Veränderung der Position und/oder Rotation herauszufinden. Dabei können die Pixel der ersten Aufnahme mit den Pixeln der zweiten Aufnahme oder eine Untermenge der jeweiligen Pixel verglichen, also korreliert, werden. Typischerweise ist diese Korrelation zweidimensional in der x- und y-Ebene des Grundbildes (erfasst also nur Verschiebungen), kann aber auch für eine Rotation vorgenommen werden. Ebenso wie bei der Objekterkennung kann die erkannte Verschiebung und/oder Rotation proportional in eine Verschiebung und/oder Rotation des vorbestimmten Ausschnittes zur Bestimmung des Ausschnittes umgesetzt werden.
  • In einer Weiterbildung wird bei der Bestimmung des Grundbildes die absolute Ausrichtung der Datenbrille oder des Kopfes des Trägers der Datenbrille im Raum berücksichtigt, insbesondere durch eine Beschreibung der Ausrichtung anhand von drei linearen und drei rotatorischen Koordinaten. Somit ist eine Anpassung der augmented reality Darstellung bezüglich aller anzupassenden Parameter möglich, insbesondere auch die Rotation der augmented reality Darstellung um die eigene Achse und Größenveränderungen der augmented reality Darstellung.
  • Es entstehen somit zwei Anpassungsschleifen für die augmented reality Darstellung. Einmal eine Schleife über das Kameraverfolgungssystem und den Computer, der ebenfalls das Umfeldmodell (also eine 3D Szene) empfängt, und zum Anderen eine Schleife über die Kamera der Datenbrille und entsprechende Bildverarbeitung. In der erstgenannten (großen) Schleife ist eine vollständige Anpassung der augmented reality Darstellung möglich, in der letztgenannten (kleineren) Schleife sind dagegen Veränderungen und Rotationen in der Bildebene vorgesehen, also keine vollständige Anpassung der augmented reality Darstellung, aber eine mit geringerer Latenz als die Schleife zur vollständigen Anpassung.
  • In einer vorteilhaften Weiterbildung wird bei der Bestimmung des Grundbildes ferner die Position eines Objektes im Umfeld der Datenbrille derart berücksichtigt, dass dem Träger der Datenbrille eine Informationsdarstellung in vorbestimmter räumlicher Beziehung zum Objekt erscheint, insbesondere eine kontaktanaloge Darstellung der Informationsdarstellung erreicht wird.
  • In einer bevorzugten Weiterbildung ist der vorbestimmte Ausschnitt derart im Grundbild angeordnet, dass kein Rand des vorbestimmten Ausschnitts einen Rand des Grundbilds berührt, und weiter insbesondere derart angeordnet, dass der vorbestimmte Ausschnitt zentriert im Grundbild angeordnet ist. Es kann also vorgesehen sein, dass das Grundbild bereits derart bereitgestellt wird, dass der vorbestimmte Ausschnitt in einer vordefinierten Anordnung (Position und Ausrichtung/Rotation) im Grundbild liegt. Von dieser Anordnung ausgehend wird dann die Anordnung des Ausschnitts bestimmt. Das Grundbild und die Anordnung des vorbestimmten Ausschnitts werden vorteilhafterweise derart gewählt, dass zu allen Seiten des vorbestimmten Ausschnitts gleichviel Platz ist, der vorbestimmte Ausschnitt also zentriert angeordnet wird, insbesondere bei einem rechteckigen Ausschnitt und rechteckigen Grundbild. Auf diese Weise kann der Ausschnitt, der aus einer Veränderung der Position und Rotation des vorbestimmten Ausschnitts hervorgehen kann, Änderungen der Kopfpose in möglichst jeder Rotationsrichtung oder jeder Positionsänderung der Kopfpose zumindest näherungsweise berücksichtigen. Zumindest können so Verschiebungen und Rotationen von erkannten Mustern/Objekten in den Aufnahmen der Kamera in jeder Richtung proportional durch Veränderungen des Ausschnittes im Grundbild ausgehend vom vorbestimmten Ausschnitt (bis zu Schwellwerten) nachvollzogen werden. Dies ist insbesondere deshalb vorteilhaft, da zum Zeitpunkt der Bestimmung des Grundbildes noch nicht bekannt ist, wie sich die Kopfpose ändern wird.
  • In einem andern Aspekt umfasst eine Datenbrille: eine Anzeige, die zur Darstellung von Bildern mit der ersten Bildgröße eingerichtet ist; Eine Kamera; Elektronische Rechenmittel; Wobei die Datenbrille zur Ausführung eines der oben dargestellten Verfahren eingerichtet ist. Die Rechenmittel können ein programmierbarer Computer oder Schaltkreise mit dedizierter Logik beispielsweise FPGAs oder ASICs sein. Die Rechenmittel können speziell zur Bestimmung des Unterschiedes zwischen der ersten und der zweiten Aufnahme, insbesondere zur Korrelation, eingerichtet sein, sowie zur Funktion des Bestimmens des Ausschnittes.
  • In wieder einem anderen Aspekt umfasst ein Computerprogramm Anweisungen zum Ausführen eines der oben dargestellten Verfahren.
  • In wieder einem anderen Aspekt umfasst ein Verfahren zur Anpassung des von einer Datenbrille anzuzeigenden Bildes, wobei die Datenbrille eine Anzeige umfasst, die zur Anzeige von Bildern mit einer ersten Bildgröße eingerichtet ist, wobei die Datenbrille ein Inertialmesssystem umfasst, wobei das Inertialmesssystem dazu ausgelegt ist, die Rotation und/oder Positionsänderung der Datenbrille zu erfassen, wobei das Verfahren umfasst: Empfangen einer ersten Ausgabe des Inertialmesssystems zu einem ersten Zeitpunkt; Empfangen eines darzustellenden Grundbildes, wobei das Grundbild eine zweite Bildgröße aufweist, die zumindest in einer Richtung größer ist, als die erste Bildgröße; Empfangen einer zweiten Ausgabe des Inertialmesssystems zu einem zweiten Zeitpunkt; Bestimmen eines Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der Ausschnitt abhängig von einem Unterschied der ersten zur zweiten Ausgabe bestimmt wird; Anzeigen des Ausschnitts auf der Datenbrille. Dieses Verfahren verwendet also anstatt einer Kamera ein Inertialmesssystem um Anpassungen des Ausschnitts vorzunehmen. Derartige Inertialmesssysteme sind im Stand der Technik bekannt, beispielsweise als Drehratensensor. Das Verfahren weist die gleichen Vorteile wie oben beschrieben auf und kann ebenfalls für augmented reality Darstellungen und wiederholt ausgeführt werden, wobei auch mehr als eine Bestimmung eines neuen Ausschnitts vorgesehen sein kann.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt schematisch ein System zur Anzeige von augmented reality Darstellungen auf einer Datenbrille gemäß dem Stand der Technik.
  • 2 zeigt schematisch die Sicht, wie sie sich dem Träger der Datenbrille bietet gemäß dem Stand der Technik.
  • 3 zeigt schematisch die Sicht, wie sie sich dem Träger der Datenbrille kurzzeitig bei einer Änderung der Kopfpose bietet gemäß dem Stand der Technik.
  • 4 verdeutlicht die bei einer kontaktanalogen Darstellung auftretenden Latenzzeiten gemäß dem Stand der Technik.
  • 5 zeigt schematisch ein System zur Anzeige von augmented reality Darstellungen auf einer Datenbrille gemäß einem Ausführungsbeispiel.
  • 6a und 6b zeigen schematisch die Verhältnisse von Grundbild und Ausschnitt sowie die sich dem Benutzer bietenden Ansichten vor einer Änderung der Kopfpose (6a) und nach einer Änderung der Kopfpose (6b) gemäß einem Ausführungsbeispiel.
  • 7 und 8 zeigt in einem schematischen Ablaufdiagramm (7) und dazugehörigen Zeitdiagram (8) die Verarbeitung von Bilddaten gemäß einem Ausführungsbeispiel.
  • Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
  • DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
  • 5 zeigt schematisch ein System zur Anzeige von augmented reality Darstellungen auf einer Datenbrille 1 gemäß einem Ausführungsbeispiel. Das System umfasst einen Computer 6 und ein Kopfverfolgungssystem 5. Der Träger der Datenbrille 1 wird von dem Kopfverfolgungssystem 5 (auch Head Tracking Unit genannt) aufgenommen und aus der Aufnahme wird die Kopfpose des Trägers der Datenbrille 1 extrahiert. Das Kopfverfolgungssystem 5 ist typischerweise eine separate Vorrichtung, die den Benutzer aufnimmt. Die Kopfpose umfasst die Position des Kopfes (meist in drei linearen Koordinaten angegeben) und die Ausrichtung des Kopfes (meist in drei rotatorischen Koordinaten angegeben) zu einem definierten Bezugssystem. Manchmal wird die Ausrichtung des Kopfes über die Blickrichtung beschrieben, in die der Benutzer blickt, wenn seine Augen in der Zentralstellung sind. Systeme zum Bestimmen der Kopfpose sind im Stand der Technik bekannt. Die ermittelte Kopfpose wird einem Computer 6 (einer zentralen Recheneinheit beispielsweise in einem Fahrzeug) mitgeteilt. Der Computer 6 empfängt ebenso von einer Umfelderkennung (nicht dargestellt) die Position und Gestalt von Objekten, die im Umfeld erkannt wurden, also eine 3D Szene. Mithilfe dieser Informationen errechnet der Computer 6 das Grundbild 13 (siehe 6a und 6b), das augmented reality Darstellungen umfasst und eine zweite Bildgröße, beispielsweise 1200×1600 Pixel aufweist. Gegenüber dem vordefinierten Ausschnitt (beispielswiese von der Bildgröße 300×400 Pixel) überlappt das Grundbild 13 an allen vier Seiten den vordefinierten Ausschnitt des Grundbildes. Es versteht sich, dass bei einer Datenbrille 1 mit zwei Teilanzeigen für jede Teilanzeige ein Grundbild empfangen wird und im jeweiligen Rahmenpuffer abgelegt wird.
  • Der Benutzer (nicht dargestellt) trägt die Datenbrille 1, die eine halbtransparente Anzeige 2 umfasst mit zwei Teilanzeigen, eine für das rechte Auge und eine für das linke Auge (in 1 gestrichelt dargestellt). In der Datenbrille 1 mit umfasst sind zwei Rahmenpuffer (auch Frame Buffer genannt), von denen nur der Rahmenpuffer 3 für die Teilanzeige für das rechte Auge 3 in 3 dargestellt ist. Der Rahmenpuffer 3 empfängt und speichert das Grundbild 13 für die Teilanzeige des rechten Auges, das auf der Teilanzeige anzuzeigen ist. Das Grundbild 13 kann jedoch ebensogut von der Recheneinheit 11 empfangen werden und in dem Rahmenpuffer 3 gespeichert werden. Der Empfang des Grundbildes 13 ist vorzugsweise drahtlos, z. B. nach einem WiFi oder Bluetooth-Standard, kann aber auch drahtgebunden ausgestaltet sein.
  • Die Datenbrille 1 umfasst ferner eine Ausschnittsfunktion 12. Diese kann in Hardware ausgeführt sein aber auch rein in Software ausgeführt sein und einen Programmabschnitt darstellen sowie eine Mischform darstellen. Die Ausschnittsfunktion 12 wählt aus dem Grundbild 13 einen Ausschnitt aus, der an die Anzeige 2 zur Anzeige weitergeleitet wird und dort angezeigt wird. Anweisungen, welcher Ausschnitt des Grundbildes 13 weitergeleitet werden soll, erhält die Ausschnittsfunktion 12 von der Recheneinheit 11, die ebenfalls von der Datenbrille 1 umfasst ist.
  • Das Grundbild 13 (6a) wird für den Zeitpunkt der Messung der Kopfpose durch das Kopfverfolgungssystem erstellt. Dabei wird die augmented reality Darstellung derart erzeugt, dass die Anzeige eines vordefinierten zentrierten Ausschnittes 14a (6a) auf der Datenbrille beim Benutzer den Eindruck einer korrekten Kontaktanalogie erzeugen würde. Dem Benutzer würde sich beispielsweise die Gesamtansicht 9a nach 6a darstellen. Die augmented reality Darstellung des Sterns erscheint dem Baum 7 räumlich zugeordnet, nämlich an der Spitze des Baumes 7.
  • Die Datenbrille 1 umfasst ferner eine Kamera 10, die ortsfest auf der Datenbrille 1 montiert ist. In diesem Beispiel ist die Sichtachse der Kamera 10 parallel zur Blickrichtung des Trägers der Datenbrille ausgerichtet. Die Kamera 10 macht Aufnahmen der Umgebung. Die Aufnahmen der Umgebung werden an die Recheneinheit 11 weitergeleitet.
  • Eine erste Aufnahme wird zu einem Zeitpunkt der Messung der Kopfpose durch das Kopfverfolgungssystem empfangen, auf dessen Basis das Grundbild 13 in dem Rahmenpuffer 3 empfangen wird (erster Zeitpunkt). Weiterhin empfängt die Recheneinheit 11 eine zweite Aufnahme von der Kamera 10 zum im Wesentlichen selben Zeitpunkt wie das Grundbild von der Datenbrille im Rahmenpuffer 3 empfangen wird.
  • Für das Beispiel der 6b soll angenommen werden, dass der Benutzer seine Kopfpose in der Zeit zwischen der Messung durch das Kopfverfolgungssystem und dem Empfang des Grundbildes bzw. der zweiten Aufnahme geändert hat.
  • Die Recheneinheit 11 führt eine pixelweise Korrelation zwischen der ersten und der zweiten Aufnahme durch, vergleicht also die Verschiebung zwischen den beiden Bildern in x- und y-Richtung. Das Ergebnis der Korrelation ist ein Versatzvektor, der den Versatz des Inhalts der ersten und zweiten Aufnahme angibt, insbesondere in Pixeln in x- und y-Richtung. Dieser Versatz wird proportional umgerechnet in einen Verschiebungsvektor 15b (siehe 6b), der an der ersten Bildgröße orientiert ist. Der Verschiebungsvektor 15b ist ein Vielfaches/ein Bruchteil des Versatzvektors und hat die umgekehrte Richtung (abhängig von der ersten Bildgröße und der Bildgröße der ersten und zweiten Aufnahmen). Da die Kamera 10 Aufnahmen in Richtung der Blickrichtung macht, nimmt sie auch den Baum 7 auf, den der Benutzer durch die halbtransparente Anzeige 2 wahrnimmt. Der Verschiebungsvektor 15a ist die Umkehrung des Verschiebungsvektor 15b und ist zur Illustration in 6b eingezeichnet.
  • Die Recheneinheit 11 berechnet mithilfe des Verschiebungsvektors 15b den anzuzeigenden Ausschnitt 14b des Grundbildes 13. Die Angabe des Ausschnitts 14b wird an die Ausschnittsfunktion 12 weitergeleitet, die den entsprechenden Ausschnitt an die Anzeige 2 weiterleitet. Die Anzeige 2 zeigt den Ausschnitt an, so dass sich dem Träger der Datenbrille die Gesamtansicht 9b wie in 6b gezeigt bietet. Aufgrund der Verschiebung des Ausschnitts konnte die Kontaktanalogie besser erhalten werden als über die „große Schleife” des Systems außerhalb der Datenbrille. Allerdings ist auch im erfindungsgemäßen System eine Latenz bis zur geänderten Anzeige vorhanden, die durch die Übertragung von und zur Recheneinheit 11 und die Verarbeitungszeit der Ausschnittsfunktion 12, sowie weitere Übertragungs- und Auslesezeiten bedingt ist.
  • Die Errechnung der Korrelation kann recheneffektiv ausgeführt werden und benötigt weniger Rechenzeit als die Erstellung des Grundbildes. Gleichzeitig ist die Recheneinheit 11 in der Datenbrille umfasst und über kurze Verbindungsleitungen mit hoher Übertragungskapazität mit der Ausschnittsfunktion 12 und der Kamera 10 verbunden. Auf diese Weise weist die Anpassung des angezeigten Bildes an eine Änderung der Kopfpose (zumindest für einige Freiheitsgrade oder in Annäherung) eine geringere Latenz auf (kleiner Kreis in 5) als die Anpassung des angezeigten Bildes gemäß dem Stand der Technik (großer Kreis in 5).
  • In dem System ist ferner vorgesehen, auch das Grundbild über das Kopfverfolgungssystem 5 und den Computer 6 unter Berücksichtigung der 3D Szene regelmäßig mit einem Verfahren gemäß dem Stand der Technik anzupassen wie oben dargelegt. Zwischen diesen Anpassungen (Updates des Grundbildes) finden eine oder mehrere Anpassungen des Ausschnitts statt (Update des Ausschnittes).
  • 7 und 8 zeigt in einem schematischen Ablaufdiagramm (7) und dazugehörigen Zeitdiagram (8) die Verarbeitung von Bilddaten gemäß einem Ausführungsbeispiel. In diesem Beispiel werden für den Zeitraum zwischen zwei Grundbildern insgesamt vier Ausschnitte angezeigt, also noch drei Zwischenbilder dargestellt. Zum Zeitpunkt t1 die Kopfpose durch das Kopfverfolgungssystem gemessen. Aufbauend darauf errechnet der Computer unter Beachtung der 3D-Szene ein Grundbild, das wie gezeigt zum Zeitpunkt t1 + L empfangen wird, wobei L die Latenz für die „große Schleife” angibt, wie oben erläutert. In diesem Beispiel soll angenommen werden, dass gleichzeitig mit dem Empfang des Grundbildes eine Aufnahme der Kamera der Datenbrille gemacht wird. Die Kamera der Datenbrille liefert in regelmäßigen Zeitabständen T Aufnahmen. Basierend auf dem Unterschied der Aufnahme zum Zeitpunkt der letzten Messung der Kopfpose und der Aufnahme zu einem späteren Zeitpunkt wird, wie oben erläutert, ein Ausschnitt aus dem Grundbild zur Anzeige auf der Datenbrille bestimmt. Dabei wird, wie oben dargelegt und in 7 durch die Verwendungspfeile angedeutet, die Korrelation zwischen der Aufnahme zum Zeitpunkt der letzten Messung der Kopfpose und der Aufnahme zum späteren Zeitpunkt gebildet. Basierend auf dieser wird ein Versatzvektor und ein Verschiebungsvektor bestimmt und ein vorbestimmter Ausschnitt verschoben und der resultierende Ausschnitt des Grundbildes zur Anzeige gebracht. Die Verarbeitung der beiden Aufnahmen, die Bestimmung des Ausschnittes und die Übertragungszeigen sowie weitere Verzögerungen bedingen eine Latenz L2, so dass der Ausschnitt um eine Latenzzeit L2 nach der Aufnahme der Kamera zur Anzeige gebracht wird. Wie bereits ausgeführt ist das erfindungsgemäße System derart gestaltet, dass eine Latenzzeit L2 ermöglicht wird, die geringer ist als die Latenzzeit L1.
  • Eine Änderung der Kopfpose zum Zeitpunkt tA, in Analogie zum Beispiel in Bezug auf 4, führt gemäß dem erfindungsgemäßen System zu einer Fehlerzeit tError, die geringer ist als die Fehlerzeit in einem System gemäß dem Stand der Technik.

Claims (13)

  1. Verfahren zur Anpassung des von einer Datenbrille anzuzeigenden Bildes, wobei die Datenbrille eine Anzeige umfasst, die zur Anzeige von Bildern mit einer ersten Bildgröße eingerichtet ist, wobei die Datenbrille eine Kamera umfasst, wobei das Verfahren umfasst: Empfangen einer ersten Aufnahme der Kamera zu einem ersten Zeitpunkt; Empfangen eines Grundbildes, wobei das Grundbild eine zweite Bildgröße aufweist, die zumindest in einer Richtung größer ist, als die erste Bildgröße, wobei das Grundbild insbesondere von einer von der Datenbrille separaten Recheneinheit empfangen wird; Empfangen einer zweiten Aufnahme der Kamera zu einem zweiten Zeitpunkt; Bestimmen eines Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der Ausschnitt abhängig von einem Unterschied der ersten zur zweiten Aufnahme bestimmt wird; Anzeigen des Ausschnitts auf der Datenbrille.
  2. Verfahren nach Anspruch 1, wobei der zweite Zeitpunkt später liegt als der erste Zeitpunkt, wobei der erste Zeitpunkt insbesondere ungefähr zum Zeitpunkt einer Messung der Kopfpose des Trägers der Datenbrille durch ein Kopfverfolgungssystem liegt, auf dessen Grundlage das Grundbild erzeugt wird; wobei der zweite Zeitpunkt insbesondere ungefähr dem Zeitpunkt des Empfangs des Grundbildes entspricht.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gesamtheit der Schritte des Verfahrens wiederholt ausgeführt wird, wobei dabei für jedes empfangene Grundbild zwei oder mehr Ausschnitte nacheinander bestimmt und angezeigt werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Empfangen weiterer Aufnahmen der Kamera je zu weiteren Zeitpunkten; Für jede weitere Aufnahme: – Bestimmen eines weiteren Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der weitere Ausschnitt abhängig von einem Unterschied der jeweiligen weiteren zur ersten Aufnahme oder einer der vorhergehenden Aufnahmen bestimmt wird; – Anzeigen des weiteren Ausschnitts auf der Datenbrille.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Aufnahmen der Kamera Aufnahmen der Umgebung der Datenbrille sind; wobei der Unterschied anhand der Veränderung der Position und/oder Rotation um die Sichtachse der Kamera einer in der ersten und zweiten Aufnahme erkannten Struktur und/oder eines in der ersten und zweiten Aufnahme erkannten Objektes in der ersten zur zweiten Aufnahme bestimmt wird; oder Wobei der Unterschied anhand einer Korrelation, insbesondere basierend auf den Pixeln der ersten und zweiten Aufnahmen, bezüglich einer Veränderung der Position und/oder Rotation um die Sichtachse der Kamera bestimmt wird.
  6. Verfahren nach Anspruch 5, wobei die Bestimmung des Ausschnitts eine zur Veränderung der Position und/oder Rotation proportionale Veränderung der Position und/oder Rotation eines vorbestimmten Ausschnitts des Grundbildes umfasst, wobei der vorbestimmte Ausschnitt ebenfalls die erste Bildgröße aufweist.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Bestimmung des Grundbildes die absolute Ausrichtung der Datenbrille oder des Kopfes des Trägers der Datenbrille im Raum berücksichtigt, insbesondere durch eine Beschreibung der Ausrichtung anhand von drei linearen und drei rotatorischen Koordinaten.
  8. Verfahren nach Anspruch 7, wobei bei der Bestimmung des Grundbildes ferner die Position eines Objektes im Umfeld der Datenbrille derart berücksichtigt wird, dass dem Träger der Datenbrille eine Informationsdarstellung in vorbestimmter räumlicher Beziehung zum Objekt erscheint, insbesondere eine kontaktanaloge Darstellung der Informationsdarstellung erreicht wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei der vorbestimmte Ausschnitt derart im Grundbild angeordnet ist, dass kein Rand des vorbestimmten Ausschnitts einen Rand des Grundbilds berührt, und weiter insbesondere derart angeordnet ist, dass der vorbestimmte Ausschnitt zentriert im Grundbild angeordnet ist.
  10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Datenbrille ferner eine Recheneinheit umfasst, die dazu eingerichtet ist, den Unterschied der ersten zur zweiten Aufnahme zu bestimmen.
  11. Vorrichtung, insbesondere Datenbrille, umfassend: eine Anzeige, die zur Darstellung von Bildern mit der ersten Bildgröße eingerichtet ist; Eine Kamera; Elektronische Rechenmittel; Wobei die Vorrichtung zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
  12. Computerprogramm, umfassend Anweisungen zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 10.
  13. Verfahren zur Anpassung des von einer Datenbrille anzuzeigenden Bildes, wobei die Datenbrille eine Anzeige umfasst, die zur Anzeige von Bildern mit einer ersten Bildgröße eingerichtet ist, wobei die Datenbrille ein Inertialmesssystem umfasst, wobei das Inertialmesssystem dazu ausgelegt ist, die Rotation und/oder Positionsänderung der Datenbrille zu erfassen, wobei das Verfahren umfasst: Empfangen einer ersten Ausgabe des Inertialmesssystems zu einem ersten Zeitpunkt; Empfangen eines darzustellenden Grundbildes, wobei das Grundbild eine zweite Bildgröße aufweist, die zumindest in einer Richtung größer ist, als die erste Bildgröße; Empfangen einer zweiten Ausgabe des Inertialmesssystems zu einem zweiten Zeitpunkt; Bestimmen eines Ausschnitts des Grundbildes, der auf der Datenbrille anzuzeigen ist, wobei der Ausschnitt die erste Bildgröße aufweist, wobei der Ausschnitt abhängig von einem Unterschied der ersten zur zweiten Ausgabe bestimmt wird; Anzeigen des Ausschnitts auf der Datenbrille.
DE201310213492 2013-07-10 2013-07-10 Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen Pending DE102013213492A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310213492 DE102013213492A1 (de) 2013-07-10 2013-07-10 Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310213492 DE102013213492A1 (de) 2013-07-10 2013-07-10 Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen

Publications (1)

Publication Number Publication Date
DE102013213492A1 true DE102013213492A1 (de) 2015-01-15

Family

ID=52107278

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310213492 Pending DE102013213492A1 (de) 2013-07-10 2013-07-10 Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen

Country Status (1)

Country Link
DE (1) DE102013213492A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014217963A1 (de) * 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Posenbestimmung einer Datenbrille mithilfe von passiven IR-Markern
DE102014217962A1 (de) * 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Positionierung eines HMD im Fahrzeug
DE102014218406A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
DE102015015695A1 (de) 2015-12-04 2017-06-08 Audi Ag Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US20040051680A1 (en) * 2002-09-25 2004-03-18 Azuma Ronald T. Optical see-through augmented reality modified-scale display
US20080297437A1 (en) * 2007-05-31 2008-12-04 Canon Kabushiki Kaisha Head mounted display and control method therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US20040051680A1 (en) * 2002-09-25 2004-03-18 Azuma Ronald T. Optical see-through augmented reality modified-scale display
US20080297437A1 (en) * 2007-05-31 2008-12-04 Canon Kabushiki Kaisha Head mounted display and control method therefor
US20120268494A1 (en) * 2007-05-31 2012-10-25 Canon Kabushiki Kaisha Head mounted display and control method therefor

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
AZUMA, R. T.: A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, Vol. 6, 1997, S. 355-385. *
JERALD, J. [et al.]: Latency Compensation by Horizontal Scanline Selection for Head-mounted Displays. Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 6490, 2007, S. 64901Q-1 bis S. 64901Q-11. *
JERALD, J.: Latency Compensation for Head-Mounted Virtual Reality. Technical Report 04-015, Department of Computer Science, University of North Carolina at Chapel Hill, 2004, S. 1-16, [recherchiert am 8.8.2013 unter der URL: www.cs.unc.edu/techreports/04-015.pdf].
JERALD, J.: Latency Compensation for Head-Mounted Virtual Reality. Technical Report 04-015, Department of Computer Science, University of North Carolina at Chapel Hill, 2004, S. 1-16, [recherchiert am 8.8.2013 unter der URL: www.cs.unc.edu/techreports/04-015.pdf]. *
KIJIMA, R. [et al.]: Reflex HMD to Compensate Lag and Correction of Derivative Deformation. IEEE Proceedings of Virtual Reality, 2002, S. 172-179. *
MARK, W. R. [et al.]: Post-rendering 3D warping. Proceedings of the 1997 Symposium on Interactive 3D graphics, ACM, New York, S. 7-16. *
NEUMANN, U. [et al.]: A Self-Tracking Augmented Reality System. Proceedings of the 1996 ACM Workshop on Virtual Reality Software and Technology, Vol. 96, 1996, S. 109-115,im Internat verfügbar am 13.7.2012 unter der URL: http://web.archive.org/web/*/http://www.graphics.usc.edu/cgit/publications/papers/STAR-ACM-VRST96.pdf, [recherchiert am 8.8.2013]. *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014217963A1 (de) * 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Posenbestimmung einer Datenbrille mithilfe von passiven IR-Markern
DE102014217962A1 (de) * 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Positionierung eines HMD im Fahrzeug
DE102014217962B4 (de) 2014-09-09 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Positionierung einer Datenbrille im Fahrzeug
DE102014218406A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
DE102014218406B4 (de) 2014-09-15 2024-06-20 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
DE102015015695A1 (de) 2015-12-04 2017-06-08 Audi Ag Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102015015695B4 (de) 2015-12-04 2024-10-24 Audi Ag Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems

Similar Documents

Publication Publication Date Title
DE112012001022T5 (de) Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität
DE112020003794T5 (de) Tiefenbewusste Fotobearbeitung
DE69221346T2 (de) Vorrichtung und Verfahren zur Erstellung stereoskopischer Bilder
DE112016004114T5 (de) Stereorenderingsystem
DE112016005343T5 (de) Elektronische Anzeigestabilisierung unter Verwendung von Pixelgeschwindigkeiten
DE102007023506A1 (de) Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
DE112016004731T5 (de) Erweitern von Mehrfachansicht-Bilddaten mit synthetischen Objekten unter Verwendung von IMU und Bilddaten
DE102014006732B4 (de) Bildüberlagerung von virtuellen Objekten in ein Kamerabild
US20140055580A1 (en) Depth Of Field Maintaining Apparatus, 3D Display System And Display Method
DE102016208056A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
DE102012212577A1 (de) System und verfahren für ein video mit verbesserter tiefenwahrnehmung
DE102020116144A1 (de) Virtuelle inhalte, positioniert basierend auf detektiertem objekt
DE112017006836T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
DE102007057208A1 (de) Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
DE102013213492A1 (de) Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen
DE112018007360T5 (de) Bildverarbeitungsvorrichtung, Bildanzeigesystem und Bildverarbeitungsverfahren
DE102021117453B3 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug während einer Fahrt, entsprechend betreibbare Datenbrille, Prozessorschaltung sowie Kraftfahrzeug
DE102015217226A1 (de) Vorrichtung und verfahren zur erzeugung eines modells von einem objekt mit überlagerungsbilddaten in einer virtuellen umgebung
DE102016006242B4 (de) Anzeigevorrichtung des kopfgetragenen Typs, Steuerverfahren für Anzeigevorrichtung des kopfgetragenen Typs, Bildverarbeitungssystem und Speichermedium
DE102013100569A1 (de) Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung
DE112020002727T5 (de) Videoverteilsystem, videoverteilverfahren und display-terminal
DE102018209377A1 (de) Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
DE102020104415A1 (de) Bewegung in einer umgebung
DE102017112190A1 (de) Anzeigesystem und Verfahren zum Erzeugen eines scheinbar dreidimensionalen Bilds eines Objekts
DE102014012710A1 (de) Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication