DE102013210588A1 - Anzeigensystem mit Datenbrille - Google Patents

Anzeigensystem mit Datenbrille Download PDF

Info

Publication number
DE102013210588A1
DE102013210588A1 DE102013210588.6A DE102013210588A DE102013210588A1 DE 102013210588 A1 DE102013210588 A1 DE 102013210588A1 DE 102013210588 A DE102013210588 A DE 102013210588A DE 102013210588 A1 DE102013210588 A1 DE 102013210588A1
Authority
DE
Germany
Prior art keywords
wearer
criterion
display
representation
data glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102013210588.6A
Other languages
English (en)
Inventor
Michael Graef
Felix Lauber
Albrecht Neff
Wolfgang Spießl
Christoph Pietruska
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102013210588.6A priority Critical patent/DE102013210588A1/de
Publication of DE102013210588A1 publication Critical patent/DE102013210588A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

Offenbart wird ein Anzeigensystem, umfassend: Eine Datenbrille, umfassend eine Anzeige; Eine Aufnahmeeinheit, insbesondere mindestens eine Kamera, die dazu eingerichtet ist, eine Aufnahme eines Auges des Trägers der Datenbrille bereitzustellen; Eine Verarbeitungseinheit, die zu Folgendem eingerichtet ist: Empfangen einer auf der Anzeige darzustellenden Initialdarstellung; Empfangen der Aufnahme; Erkennen des oberen und unteren Augenlides in der Aufnahme; Prüfen, ob das obere und untere Augenlid ein Kriterium erfüllt; wobei das Kriterium eine oder mehrere Bedingungen umfasst, die erfüllt sein müssen, damit das Kriterium erfüllt ist, wobei eine umfasste Bedingung ist: die Positionen des oberen und unteren Augenlides deuten darauf hin, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können; Bestimmen der Darstellung auf der Anzeige der Datenbrille basierend auf der Initialdarstellung und abhängig davon, ob das Kriterium erfüllt ist.

Description

  • Die Erfindung betrifft ein Anzeigensystem mit Datenbrille, ein entsprechendes Verfahren und ein entsprechendes Computerprogramm.
  • Heutzutage sind Anzeigevorrichtungen in der Form von Datenbrillen, manchmal auch Head-mounted Displays (HMD) genannt, bekannt. Diese Datenbrillen werden ähnlich einer gewöhnlichen Brille zur Korrektur von Sehschwächen getragen und verfügen über eine Anzeige, die sich beim bestimmungsgemäßen Tragen im Sichtfeld des Trägers befindet. Diese Anzeige kann zur Betrachtung durch nur ein Auge ausgelegt sein, oder zur Betrachtung durch beide Augen ausgelegt sein und dabei insbesondere zwei Teilanzeigen umfassen, eine für jedes Auge. Die Anzeige kann halbtransparente oder nicht-transparente Anzeigen umfassen, wobei der Träger der Datenbrille bei halbtransparenten Anzeigen sowohl die Darstellung auf der Anzeige als auch die dahinterliegende Realität wahrnehmen kann. Bei einer nicht-transparenten Anzeige sieht der Benutzer nur die Darstellung auf der Anzeige.
  • Generell lassen sich Datenbrillen auch beim Führen von Kraftfahrzeugen verwenden. Besonders Datenbrillen mit halb-transparenten Anzeigen eignen sich hierzu, da der Fahrer bei diesen Datenbrillen die Umgebung durch die Anzeige hindurch direkt wahrnehmen kann. Die für die Fahraufgabe nötige Wahrnehmung der Verkehrssituation um das Fahrzeug herum ist somit möglich. Häufig benötigt jedoch die Bedienung der Funktionen, die durch die Anzeigen von Datenbrillen angezeigt werden, eine Eingabe, für die wiederum die Hand oder Finger benötigt werden. Eingaben dieser Art erhöhen das Unfallrisiko, da gegebenenfalls der Blick von der Straße abgewandt werden muss, um die Hand oder Finger zu führen, und weil die Hand gegebenenfalls während der Eingabe nicht mehr zur Führung des Lenkrads zur Verfügung steht.
  • Beispielsweise kann es bei der Anzeige von Darstellungen auf der Anzeige der Datenbrille dazu kommen, dass diese Darstellungen nicht in einer vorteilhaften Vergrößerung oder in einem vorteilhaften Ausschnitt angezeigt werden. Dies kann beispielsweise der Fall sein, wenn eine Übersichtskarte mit Routeninformationen angezeigt wird, ohne dass die eigentlich interessierenden Details erkennbar sind. In einem solchen Fall muss häufig über eine mechanische Bedieneinheit eine vorteilhaftere Vergrößerung gewählt werden. Beim Führen eines Kraftfahrzeugs stellt diese mechanische Eingabe eine Aktion dar, die das Risiko eines Unfalls erhöht.
  • Es sind derzeit Systeme bekannt geworden, mit denen die Augen einer Person mithilfe einer Kamera aufgenommen werden und deren Blickrichtung bestimmt wird. Solche Systeme werden beispielsweise von der Firma Tobii Technology aus Schweden hergestellt.
  • Weiterhin sind aus der Druckschrift WO 2013/066634 A1 eine Datenbrille mit Kamera bekannt, um die Bewegung der Pupille des Trägers der Datenbrille zu bestimmen.
  • Die der Erfindung zugrundeliegende Aufgabe ist es, dem Fahrer eines Fahrzeugs und Träger einer Datenbrille Bedienmöglichkeiten für Funktionen, die eine Ausgabe der Anzeige der Datenbrille bereitstellen, anzubieten, die ihn seine Fahraufgabe sicher bewältigen lassen.
  • Die Aufgabe wir durch ein Anzeigensystem nach Anspruch 1 sowie die Gegenstände der Ansprüche 10 und 11 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
  • In einem Aspekt umfasst ein Anzeigensystem: Eine Datenbrille, umfassend eine Anzeige; Eine Aufnahmeeinheit, insbesondere mindestens eine Kamera, die dazu eingerichtet ist, eine Aufnahme eines Auges des Trägers der Datenbrille bereitzustellen; Eine Verarbeitungseinheit, die zu Folgendem eingerichtet ist: Empfangen einer auf der Anzeige darzustellenden Initialdarstellung; Empfangen der Aufnahme; Erkennen des oberen und unteren Augenlides in der Aufnahme; Prüfen, ob das obere und untere Augenlid ein Kriterium erfüllt; wobei das Kriterium eine oder mehrere Bedingungen umfasst, die erfüllt sein müssen, damit das Kriterium erfüllt ist, wobei eine umfasste Bedingung ist: die Positionen des oberen und unteren Augenlides deuten darauf hin, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können; Bestimmen der Darstellung auf der Anzeige der Datenbrille basierend auf der Initialdarstellung und abhängig davon, ob das Kriterium erfüllt ist. Eine Datenbrille umfasst ein Brillengestell und eine Anzeige, wobei die Anzeige derart am Brillengestell montiert ist, dass sie sich im Sichtfeld des Trägers des Brillengestells befindet. Die Anzeige ist derart am Brillengestell montiert, dass der Träger des Brillengestells Darstellungen auf der Anzeige sehen kann. Die Verarbeitungseinheit kann auf mehrere einzelne räumlich getrennte Recheneinheiten verteilt sein.
  • Auf diese Weise wird dem Fahrer eines Fahrzeugs und Träger einer Datenbrille ermöglicht, die Ausgabe von Darstellungen durch Funktionen auf der Anzeige einer Datenbrille ohne Verwendung der Hände zu steuern. Dazu steht dem Träger der Datenbrille die intuitive Augengeste zur Verfügung, die typischerweise dazu verwendet wird, Gegenstände der Umwelt besser zu betrachten. Im Allgemeinen kann diese Augengeste damit umschrieben werden, dass die Augen zusammengekniffen werden, um schärfer zu sehen. Diese Augengeste ist weithin bekannt und wird oft intuitiv ausgeführt. Im Anzeigensystem kann vorgesehen sein, dass diese Augengeste seiner ursprünglichen Wirkung (schärfer sehen) entsprechende Bedieneingaben auslöst, beispielsweise ein Vergrößern von Darstellungen oder das Erhöhen eines Kontrastes oder Schärfen von Umrissen der Darstellung auf der Anzeige.
  • Die Initialdarstellung kann auch darin bestehen, dass nichts angezeigt wird. Verfahren zum Erkennen des oberen und unteren Augenlides aus Aufnahmen sind im Stand der Technik bekannt. Um die Genauigkeit der Erkennung der Augengeste zu erhöhen, kann ferner ein Sensor vorgesehen sein, der Blendungen identifiziert. Die Sensorausgaben können bei der Bestimmung der Darstellung berücksichtigt werden, insbesondere insoweit, als dass die Darstellung nicht angepasst wird, wenn eine Blendung erkannt wurde. Der Sensor kann auch durch eine entsprechende Verarbeitung der Aufnahme der Kamera zum Erkennen einer Blendung ersetzt werden.
  • Das Kriterium kann weiter die folgende Bedingung umfassen, die genauer spezifiziert, wann die Positionen des oberen und unteren Augenlides darauf hindeuten, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können: das obere Augenlid des Auges nimmt eine erste Position ein, die im Vergleich mit einer für das obere Augenlid vordefinierten oberen Referenzposition derart ist, dass das obere Augenlid in der ersten Position einen größeren Teil des Auges als in der oberen Referenzposition bedeckt; und das untere Augenlid des Auges nimmt eine zweite Position ein, die im Vergleich mit einer für das untere Augenlid vordefinierten unteren Referenzposition derart ist, dass das untere Augenlid in der zweiten Position einen größeren Teil des Auges als in der unteren Referenzposition bedeckt; und in den Positionen des oberen und unteren Augenlides wird ein zur Wahrnehmung der Umwelt ausreichender Teil des Auges nicht bedeckt. Diese Bedingung beschreibt die Augengeste des Zusammenkneifens des Auges, um schärfer zu sehen: Die Augenlider wandern aufeinander zu und lassen dabei einen Spalt frei, durch den Licht durch die Pupille auf die Netzhaut dringen kann. Die obere und untere Referenzposition entspricht der jeweiligen Position, die das obere bzw. untere Augenlid beim normalen Betrachten einnimmt. Diese Positionen können voreingestellt sein, oder während einer Konfigurationssequenz des Anzeigensystems abgefragt und gespeichert werden. Dazu kann der Träger aufgefordert werden, seine Augenlider in die Referenzpositionen zu bringen, beispielsweise durch das entspannte Blicken in die Ferne ohne Blendeinwirkung. Die Aufnahmeeinheit tätigt dann eine Aufnahme, in der durch die Verarbeitungseinheit die Positionen des oberen und unteren Augenlides erkannt und gespeichert werden. Die untere und obere Referenzposition kann sich jedoch auch dadurch ergeben, dass sich die Augenlider in einer vergangenen Zeitspanne am längsten in der jeweiligen Position befunden haben. Diese Positionen werden dann als obere bzw. untere Referenzposition erkannt und gespeichert. Diese letzte Bestimmung der Referenzpositionen hat den Vorteil, dass Schwankungen der Helligkeit der Umgebung und dementsprechende mögliche Schwankungen der Referenzpositionen berücksichtigt werden.
  • Ein Augenlid hat typischerweise eine Kante im Bereich von ca. 1 cm bis 3 cm Länge. Die Position des Augenlids kann auch durch den Verlauf der Kante des Augenlids angegeben sein (also nicht nur durch einen Punkt). Beispielsweise kann auch dann ein größerer Bereich des Auges abgedeckt werden, wenn der der Nase nähere Teil der Kante des unteren Augenlids nach unten wandert, während der zur Nase entferntere Teil des Augenlids nach oben wandert.
  • Zur Erfüllung des Kriteriums kann vorgesehen sein, dass seine Bedingungen mindestens für eine vorbestimmte Zeitspanne erfüllt sein müssen, was insbesondere anhand mehrerer zeitlich aufeinanderfolgender Aufnahmen des Auges festgestellt wird. Auf diese Weise kann verhindert werden, dass beispielsweise kurzfristige Zuckungen des Auges fälschlicherweise als Augengeste interpretiert werden oder Fehlerkennungen der Augenlider als Augengeste interpretiert werden.
  • In einer bevorzugten Weiterbildung umfasst das Bestimmen der Darstellung auf der Anzeige Folgendes: Falls das Kriterium erfüllt ist: Bestimmen, dass zumindest ein Teil der Initialdarstellung vergrößert darzustellen ist; Falls das Kriterium nicht erfüllt ist: Bestimmen, dass die Initialdarstellung darzustellen ist. Auf das Zusammenkneifen der Augen hin wird somit ein Teil der Darstellung vergrößert, ähnlich einem Lupeneffekt. Dies entspricht dem intuitiven Zweck des Zusammenkneifens der Augen, nämlich Gegenstände schärfer wahrnehmen zu können, was hier durch eine Vergrößerung der Darstellung erreicht wird. Bei einer Darstellung, die dem Träger der Datenbrille derart angezeigt wird, dass sie ihm in einer bestimmten Entfernung zu sein scheint (ein 3D Effekt), kann ebenfalls vorgesehen sein, die scheinbare Entfernung der Darstellung zu verringern. Bei dieser Verringerung wird sich die Darstellung ebenfalls vergrößern.
  • In einer vorteilhaften Implementierung umfasst das Anzeigensystem ferner eine zweite Aufnahmeeinheit, die dazu eingerichtet ist, eine Umfeld-Aufnahme in Richtung der zentralen Blickrichtung des Trägers der Datenbrille bereitzustellen; Wobei die zweite Aufnahmeeinheit insbesondere in der Datenbrille umfasst ist; Wobei das Bestimmen der Darstellung ferner umfasst: Falls das Kriterium erfüllt ist: Bestimmen, dass eine Vergrößerung eines Teils der Umfeld-Aufnahme angezeigt wird, und zwar von einem Bereich um die zentrale Blickrichtung des Trägers der Datenbrille herum; Falls das Kriterium nicht erfüllt ist: Bestimmen, dass die Initialdarstellung darzustellen ist. Die zweite Aufnahmeeinheit ist typischerweise eine weitere Kamera. Diese ist derart in der Datenbrille umfasst, dass sie Aufnahmen in der Richtung macht, in die der Träger der Datenbrille blickt. Die Kamera bildet also das ab, was der Träger der Datenbrille sieht. Die zentrale Blickrichtung ist die Richtung, in die der Träger der Datenbrille blickt, wenn er geradeaus schaut. Ein Bereich um die zentrale Blickrichtung herum kann durch die Menge aller Richtungen definiert werden, die ausgehend von dem Träger der Datenbrille als Aufsetzpunkt um nicht mehr als einen vorbestimmten Winkel von der zentralen Blickrichtung abweichen. Es entsteht sozusagen ein Kegel. Der Bereich um die zentrale Blickrichtung herum kann auch auf der Basis eines Rechtecks oder einer beliebigen anderen geometrischen Gestalt und deren Verhältnis zur zentralen Blickrichtung definiert werden. Auf diese Weise wird eine Vergrößerung der Umwelt des Trägers dem Träger angezeigt. Dies ist insbesondere dann sinnvoll, wenn weit entfernte Gegenstände vom Träger noch nicht scharf wahrgenommen werden können. Durch die Augengeste wird dem Träger dieser Gegenstand vergrößert angezeigt, was der Funktion eines Fernglases entspricht. Gerade bei Autobahnfahrten können so bereits weit entfernte Hinweisschilder gelesen werden und der Fahrer daraus Fahrmanöver ableiten.
  • Im vorgestellten Anzeigensystem kann vorgesehen, sein, die Anzeigeneinheit fortlaufend Aufnahmen bereitstellt und die Verarbeitungseinheit fortlaufend die definierten Schritte ausführt (beides beispielsweise alle 0,2 s; 0,5 s; 1 s, etc). Die Darstellung auf der Anzeige der Datenbrille kann dann nur solange geändert werden, wie das Kriterium erfüllt ist, also der Träger die Augengeste ausführt. Führt der Träger der Datenbrille die Augengeste nicht mehr aus, wird wieder die Initialdarstellung angezeigt. Dies hat insbesondere beim Führen von Fahrzeugen den Vorteil, dass der Träger der Datenbrille in Gefahrensituationen, oder wenn plötzliche Veränderungen der Verkehrssituation beobachtet werden müssen, automatisch die Augengeste beendet und zu der in diesem Moment wahrscheinlich gewünschten Darstellung zurückkehrt. Diese Augengeste kann als „Haltegeste” betrachtet werden: Nur solange sie ausgeführt wird, wird die Darstellung verändert. Die Fahrsicherheit steigt durch die „automatische” Rückkehr zur Initialdarstellung, insbesondere wenn die Initialdarstellung für die Fahraufgabe angepasst ist (beispielsweise nur in Randbereichen des Sichtfeldes des Trägers Darstellungen vorsieht) oder gar keine Darstellungen vorsieht.
  • Ebenso kann das Anzeigensystem mit zweiter Aufnahmeeinheit ferner eingerichtet sein zum: Erkennen mindestens eines Objektes in der Umfeld-Aufnahme; wobei das Bestimmen der Darstellung ferner umfasst: Bestimmen, dass Informationen zu dem mindestens einen erkannten Objekt angezeigt werden, insbesondere zu einem erkannten Objekt in einem Bereich um die zentrale Blickrichtung des Trägers der Datenbrille herum. Dem Träger der Datenbrille wird somit ermöglicht durch die Augengeste Zusatzinformationen zu Objekten der realen Welt anzufordern. Wobei das Bestimmen, dass Informationen zu dem mindestens einen erkannten Objekt angezeigt werden, umfasst, dass bestimmt wird, dass ein erkanntes Objekt in der Darstellung zu markieren ist, insbesondere durch eine Umrandung und/oder farbliche Ausfüllung des Umrisses. Diese Markierung wird somit kontaktanalog vorgenommen, was dem Träger der Datenbrille eine leichte Zuordnung von verfügbarer Information zu Gegenständen der Umwelt ermöglicht.
  • Die zweite Aufnahmeeinheit kann bei entsprechender Verarbeitung der Aufnahmen auch als Sensor zum Feststellen einer Blendung des Trägers verwendet werden.
  • Die Datenbrille kann die Aufnahmeeinheit umfassen und die Aufnahmeeinheit eine Kamera, wobei die Kamera derart an der Datenbrille angeordnet und ausgerichtet ist, dass ihre Aufnahmen das Auge des Trägers abbilden.
  • Die Verarbeitungsvorrichtung kann ein programmmäßig einrichtbarer Computer sein, also eine elektronische Rechenvorrichtung, gegebenenfalls mit mehreren separaten und räumlich getrennten Untereinheiten.
  • In einem anderen Aspekt umfasst ein Verfahren zum Bestimmen einer Darstellung auf einer Anzeige einer Datenbrille: Empfangen einer auf der Anzeige darzustellenden Initialdarstellung; Empfangen einer Aufnahme von einer Aufnahmeeinheit, insbesondere mindestens einer Kamera, wobei die Aufnahme ein Auge des Trägers der Datenbrille abbildet; Erkennen des oberen und unteren Augenlides in der Aufnahme; Prüfen, ob das obere und untere Augenlid ein Kriterium erfüllt; wobei das Kriterium eine oder mehrere Bedingungen umfasst, die erfüllt sein müssen, damit das Kriterium erfüllt ist, wobei eine umfasste Bedingung ist: die Positionen und/oder Haltungen der Augenlider deuten darauf hin, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können; Bestimmen der Darstellung auf der Anzeige der Datenbrille abhängig von der Initialdarstellung und davon, ob das Kriterium erfüllt ist. Das Verfahren wird insbesondere von der Verarbeitungseinheit des oben dargestellten Anzeigensystems im Betrieb ausgeführt. Das Verfahren kann gemäß den obigen Erläuterungen zum Anzeigensystem weitergebildet werden. In wieder einem anderen Aspekt veranlasst ein Computerprogramm einen Computer, insbesondere die oben darstellte Verarbeitungseinheit, zur Ausführung des oben dargestellten Verfahrens.
  • Offenbart wird ebenfalls ein Anzeigensystem, umfassend: Eine Datenbrille, umfassend eine Anzeige; Eine Aufnahmeeinheit, insbesondere mindestens eine Kamera, die dazu eingerichtet ist, zeitlich versetzt aufgenommene Aufnahme eines Auges des Trägers der Datenbrille bereitzustellen; Eine Verarbeitungseinheit, die zu Folgendem eingerichtet ist: Empfangen der Aufnahmen; Prüfen, ob ein Kriterium erfüllt ist anhand der Aufnahmen, wobei das Kriterium ist, dass das obere und untere Augenlid des Auges ihre jeweilige Position für eine vorübergehende Zeitspanne größer einem Zeitschwellwert derart ändern, dass in den geänderten Positionen ein größerer Teil des Auges als vor der Änderung der Positionen von den Augenlidern bedeckt wird, und dass in den geänderten Positionen ein zur Wahrnehmung der Umwelt ausreichender Teil des Auges nicht bedeckt wird; Bestimmen der Darstellung auf der Anzeige der Datenbrille abhängig davon, ob das Kriterium erfüllt ist.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • 1 zeigt schematisch ein Anzeigensystem 1 gemäß einem Ausführungsbeispiel.
  • 2a und 2b zeigen schematisch die Anpassung der Darstellung in einem Anzeigensystem gemäß einem Ausführungsbeispiel.
  • Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
  • DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
  • 1 zeigt schematisch ein Anzeigensystem 1 gemäß einem Ausführungsbeispiel. Das Anzeigensystem umfasst eine Datenbrille, die zwei halbtransparente Anzeigen 2 und 3 umfasst, jeweils für das linke bzw. rechte Auge. Weiterhin umfasst das Anzeigensystem 1 zwei Kameras 4 und 5, jeweils für das linke und rechte Auge, sowie eine Verarbeitungseinheit 6, die über eine Signalleitung 7 mit den beiden Anzeigen 2 und 3 sowie den Kameras 4 und 5 verbunden ist. Die Kamera 4 nimmt im Betrieb fortlaufend das linke Auge und die Kamera 5 nimmt im Betrieb fortlaufend das rechte Auge des Trägers des Anzeigensystems auf. Beide Kameras 4 und 5 übertagen ihre Aufnahmen an die Verarbeitungseinheit 6. In manchen Implementierungen ist die Verarbeitungseinheit 6 separat von der Datenbrille und die Übertragung findet über eine längere Signalleitung oder drahtlos statt. Die Datenbrille umfasst ferner die Kamera 20, die in Richtung der zentralen Blickrichtung Aufnahmen bereitstellt, wenn der Träger der Datenbrille bestimmungsgemäß trägt. Auch die Kamera 20 ist mit der Verarbeitungseinheit 6 verbunden. Die Kamera 20 ist entsprechend der Symmetrieachse der Datenbrille ausgerichtet. Die Verarbeitungseinheit 6 empfängt im Betrieb fortlaufend die Aufnahmen der Kameras 4, 5 und 20. Als Initialdarstellung ist die Angabe einer Fahrzeuggeschwindigkeit sowie der Uhrzeit im rechten oberen Bereich des Sichtfeldes des Trägers der Datenbrille vorgesehen, außerhalb der zentralen Wahrnehmung des Trägers der Datenbrille. Die Verarbeitungseinheit erkennt im Betrieb in den Aufnahmen fortlaufend die Position der unteren und oberen Augenlider von beiden Augen und prüft, ob diese jeweils dem vorbestimmten Kriterium entsprechen, also die Augengeste ausführen. Nur wenn beide Augen dem Kriterium entsprechen, wird dies als Augengeste erkannt, das Kriterium gilt also als erfüllt. Abhängig von dem Resultat der Prüfung wird die anzuzeigende Darstellung bestimmt. Wenn erkannt wird, dass die Augengeste nicht ausgeführt wird (bzw. auch dann wenn nicht erkannt wird, dass die Augengeste ausgeführt wird), wird die Initialdarstellung angezeigt. Wenn erkannt wird, dass die Augengeste ausgeführt wird, wird zusätzlich zur Initialdarstellung noch eine Vergrößerung eines Teils der Aufnahme der Kamera 20 angezeigt. Es wird der zentrale kreisförmige Teil der Aufnahme der Kamera 20 dargestellt, der einen Bereich um die zentrale Blickrichtung des Trägers der Datenbrille abdeckt. Dieser vergrößerte Teil wird für den Träger um seine zentrale Blickrichtung herum angezeigt. Generell kann auch eine Anzeige in einem anderen Teil der Anzeigen 2 und 3 vorgesehen sein. Solange der Träger die Augengeste ausführt, wird die Initialdarstellung wie beschrieben angepasst, ansonsten wird die Initialdarstellung angezeigt.
  • Ein Beispiel für die Anpassung der Darstellung in Abhängigkeit der Ausführung der Augengeste wird in 2a und 2b gezeigt. 2a zeigt die Aufnahme des linken Auges 8 des Trägers der Datenbrille durch die Kamera 4 gemäß 1, wenn der Träger mit dem linken Auge 8 die Augengeste nicht ausführt. In der Aufnahme wird die Position, nämlich die Kante 9, des oberen Augenlides und die Position, nämlich die Kante 10, des unteren Augenlindes erkannt. Diese Positionen sind die obere und untere Referenzposition. Weiterhin ist in 2a in der Aufnahme die Iris 11 mit Pupille gezeigt. Die Umrandung 12 stellt beispielhaft die Ansicht dar, die sich dem Träger der Datenbrille bietet beim Betrachten des Umfeldes durch die halbtransparenten Anzeigen 2 und 3. In dem Umfeld befindet sich eine gleichmäßige Reihe gleichgroßer Kästen 13 in stets gleicher Entfernung. In den Anzeigen 2 und 3 wird dem Benutzer die Geschwindigkeit eines Fahrzeugs und Uhrzeit angezeigt, was mit Bezugsziffer 16 bezeichnet ist. Die zentrale Blickrichtung 14 ist mit einem Punkt angedeutet. Mit einem Kreis ist ein Bereich 15 um die zentrale Blickrichtung 14 angedeutet.
  • 2 zeigt schematisch die Aufnahme des linken Auges 8 des Trägers, wenn der Träger die Augengeste zum schärferen Sehen ausführt (also das Kriterium erfüllt ist). Oberes 9 und unteres 10 Augenlid haben sich ausgehend von den Referenzpositionen aufeinander zubewegt und bedecken nun jeweils mehr des Auges 8. Gleichzeitig bleibt jedoch ein ausreichender Bereich des Auges 8 frei, so dass das Umfeld noch gesehen werden kann. Die Augengeste kann so weit ausgeführt werden, dass tatsächlich der Effekt eintritt, dass der Träger schärfer sieht. Ebenso kann es ausreichend sein, dass der Träger die Augengeste nur insoweit ausführt, als dass das Anzeigensystem die Augengeste erkennen kann. Auf das Erkennen der Augengeste hin wird die Darstellung auf den Anzeigen 2 und 3 angepasst. Die Aufnahme der Kamera 20 im Bereich 15 um die zentrale Blickrichtung 14 herum wird um 25% vergrößert auf den Anzeigen 2 und 3 angezeigt. Wie ersichtlich ist, sind die Kästen 13 innerhalb des Bereiches 15 vergrößert dargestellt. Die Geschwindigkeit und Uhrzeit 16 bleibt weiterhin angezeigt. Gleichzeitig kann es sein, dass der Träger auch das Umfeld im Bereich 15 sieht, was die Erkennbarkeit der Darstellung im Bereich 15 verringert. Im vorliegenden Beispiel jedoch ist vorgesehen, die Bereiche der Anzeigen 2 und 3, die den vergrößerten Bereich 15 anzeigen, von einem Halbtransparent-Modus auf einen Nicht-durchsichtigen Modus umzuschalten, beispielswiese durch eine zusätzliche elektrochromatische Schicht auf den Anzeigen 2 und 3. Diese elektrochromatische Schicht könnte einen transparenten und einen matten Modus aufweisen, der ortsabhängig ausgewählt werden kann. Die elektrochromatische Schicht würde in diesem Fall im Bereich 15 aktiviert (matter Modus) und dort das Umgebungslicht streuen und zusätzlich für die Hinterleuchtung des Bereichs 15 der halbtransparenten Anzeige 2 und 3 sorgen. Auf diese Weise ist im Bereich 15 nur die Vergrößerung sichtbar. Beendet der Benutzer seine Augengeste wird wieder die Darstellung wie in 2a gezeigt angezeigt.
  • Somit wird dem Träger der Datenbrille einerseits eine Vergrößerungsmöglichkeit der Ansicht seines Umfeldes geboten. Dazu muss keine mechanische Eingabe mit den Händen vorgenommen werden, die somit kontinuierlich für die Fahraufgabe zur Verfügung stehen. Gleichzeitig ist die Augengeste und die damit hervorgerufene Funktion (Vergrößerung) intuitiv und damit leicht erlernbar. Darüber hinaus bietet das Anzeigensystem die Sicherungsfunktion, zur „normalen” Ansicht automatisch zurückzuschalten, sobald die Augengeste beendet wird. In einer Verkehrssituation die plötzlich die Aufmerksamkeit des Fahrers (und Trägers der Datenbrille) verlangt, wird dieser intuitiv die Augengeste beenden und folglich auch nicht mehr durch die veränderte Ansicht des Umfeldes gestört werden. Gleiches gilt auch für die elektrochromatische Schicht. Die Fahraufgabe kann somit sicher bewältigt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2013/066634 A1 [0006]

Claims (11)

  1. Anzeigensystem, umfassend: Eine Datenbrille, umfassend eine Anzeige; Eine Aufnahmeeinheit, insbesondere mindestens eine Kamera, die dazu eingerichtet ist, eine Aufnahme eines Auges des Trägers der Datenbrille bereitzustellen; Eine Verarbeitungseinheit, die zu Folgendem eingerichtet ist: Empfangen einer auf der Anzeige darzustellenden Initialdarstellung; Empfangen der Aufnahme; Erkennen des oberen und unteren Augenlides in der Aufnahme; Prüfen, ob das obere und untere Augenlid ein Kriterium erfüllt; wobei das Kriterium eine oder mehrere Bedingungen umfasst, die erfüllt sein müssen, damit das Kriterium erfüllt ist, wobei eine umfasste Bedingung ist: die Positionen des oberen und unteren Augenlides deuten darauf hin, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können; Bestimmen der Darstellung auf der Anzeige der Datenbrille basierend auf der Initialdarstellung und abhängig davon, ob das Kriterium erfüllt ist.
  2. Anzeigensystem nach Anspruch 1, wobei das Kriterium weiter folgende Bedingung umfasst, die genauer spezifiziert, wann die Positionen des oberen und unteren Augenlides darauf hindeuten, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können: das obere Augenlid des Auges nimmt eine erste Position ein, die im Vergleich mit einer für das obere Augenlid vordefinierten oberen Referenzposition derart ist, dass das obere Augenlid in der ersten Position einen größeren Teil des Auges als in der oberen Referenzposition bedeckt; und das untere Augenlid des Auges nimmt eine zweite Position ein, die im Vergleich mit einer für das untere Augenlid vordefinierten unteren Referenzposition derart ist, dass das untere Augenlid in der zweiten Position einen größeren Teil des Auges als in der unteren Referenzposition bedeckt; und in den Positionen des oberen und unteren Augenlides wird ein zur Wahrnehmung der Umwelt ausreichender Teil des Auges nicht bedeckt.
  3. Anzeigensystem nach einem der vorhergehenden Ansprüche, wobei zur Erfüllung des Kriteriums seine Bedingungen mindestens für eine vorbestimmte Zeitspanne erfüllt sein müssen, was insbesondere anhand mehrerer zeitlich aufeinanderfolgender Aufnahmen des Auges festgestellt wird.
  4. Anzeigensystem nach einem der vorhergehenden Ansprüche, wobei das Bestimmen der Darstellung auf der Anzeige folgendes umfasst: Falls das Kriterium erfüllt ist: Bestimmen, dass zumindest ein Teil der Initialdarstellung verändert, insbesondere vergrößert, darzustellen ist; Falls das Kriterium nicht erfüllt ist: Bestimmen, dass die Initialdarstellung darzustellen ist.
  5. Anzeigensystem nach einem der vorhergehenden Ansprüche, wobei das Anzeigensystem ferner eine zweite Aufnahmeeinheit umfasst, die dazu eingerichtet ist, eine Umfeld-Aufnahme in Richtung der zentralen Blickrichtung des Trägers der Datenbrille bereitzustellen; Wobei die zweite Aufnahmeeinheit insbesondere in der Datenbrille umfasst ist; Wobei das Bestimmen der Darstellung ferner umfasst: Falls das Kriterium erfüllt ist: Bestimmen, dass eine Vergrößerung eines Teils der Umfeld-Aufnahme angezeigt wird, und zwar von einem Bereich um die zentrale Blickrichtung des Trägers der Datenbrille herum; Falls das Kriterium nicht erfüllt ist: Bestimmen, dass die Initialdarstellung darzustellen ist.
  6. Anzeigensystem nach einem der Ansprüche 1 bis 4, wobei das Anzeigensystem ferner eine zweite Aufnahmeeinheit umfasst, die dazu eingerichtet ist, eine Umfeld-Aufnahme in Richtung der zentralen Blickrichtung des Trägers der Datenbrille bereitzustellen, wobei die Verarbeitungsvorrichtung ferner eingerichtet ist zum: Erkennen mindestens eines Objektes in der Umfeld-Aufnahme; wobei das Bestimmen der Darstellung ferner umfasst: Bestimmen, dass Informationen zu dem mindestens einen erkannten Objekt angezeigt werden, insbesondere zu einem erkannten Objekt in einem Bereich um die zentrale Blickrichtung des Trägers der Datenbrille herum.
  7. Anzeigensystem nach Anspruch 6, wobei das Bestimmen, dass Informationen zu dem mindestens einen erkannten Objekt angezeigt werden, umfasst, dass bestimmt wird, dass ein erkanntes Objekt in der Darstellung zu markieren ist, insbesondere durch eine Umrandung und/oder farbliche Ausfüllung des Umrisses.
  8. Anzeigensystem nach einem der vorhergehenden Ansprüche, wobei die Datenbrille die Aufnahmeeinheit umfasst.
  9. Anzeigensystem nach Anspruch 8, wobei die Aufnahmeeinheit eine Kamera umfasst und die Kamera derart an der Datenbrille angeordnet und ausgerichtet ist, dass ihre Aufnahmen das Auge des Trägers abbilden.
  10. Verfahren zum Bestimmen einer Darstellung auf einer Anzeige einer Datenbrille, umfassend: Empfangen einer auf der Anzeige darzustellenden Initialdarstellung; Empfangen einer Aufnahme von einer Aufnahmeeinheit, insbesondere mindestens einer Kamera, wobei die Aufnahme ein Auge des Trägers der Datenbrille abbildet; Erkennen des oberen und unteren Augenlides in der Aufnahme; Prüfen, ob das obere und untere Augenlid ein Kriterium erfüllt; wobei das Kriterium eine oder mehrere Bedingungen umfasst, die erfüllt sein müssen, damit das Kriterium erfüllt ist, wobei eine umfasste Bedingung ist: die Positionen und/oder Haltungen der Augenlider deuten darauf hin, dass der Träger der Datenbrille versucht einen Gegenstand im Umfeld des Trägers oder eine Darstellung in der Anzeige besser, insbesondere schärfer, betrachten zu können; Bestimmen der Darstellung auf der Anzeige der Datenbrille abhängig von der Initialdarstellung und davon, ob das Kriterium erfüllt ist.
  11. Computerprogramm, das bei seiner Ausführung einen Computer zur Ausführung des Verfahrens nach Anspruch 10 veranlasst.
DE102013210588.6A 2013-06-07 2013-06-07 Anzeigensystem mit Datenbrille Ceased DE102013210588A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013210588.6A DE102013210588A1 (de) 2013-06-07 2013-06-07 Anzeigensystem mit Datenbrille

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013210588.6A DE102013210588A1 (de) 2013-06-07 2013-06-07 Anzeigensystem mit Datenbrille

Publications (1)

Publication Number Publication Date
DE102013210588A1 true DE102013210588A1 (de) 2014-12-11

Family

ID=52009068

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013210588.6A Ceased DE102013210588A1 (de) 2013-06-07 2013-06-07 Anzeigensystem mit Datenbrille

Country Status (1)

Country Link
DE (1) DE102013210588A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558906A (zh) * 2020-12-11 2021-03-26 上海影创信息科技有限公司 具有成像距离的显示控制方法和系统、存储介质及其vr设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
US20060204042A1 (en) * 2005-03-10 2006-09-14 Hammoud Riad I System and method for determining eye closure state
US20070273611A1 (en) * 2004-04-01 2007-11-29 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20080252745A1 (en) * 2007-04-13 2008-10-16 Fujifilm Corporation Apparatus for detecting blinking state of eye
US20120229248A1 (en) * 2011-03-12 2012-09-13 Uday Parshionikar Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display
WO2013066634A1 (en) 2011-11-02 2013-05-10 Google Inc. Eye gaze detection to determine speed of image movement

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
US20070273611A1 (en) * 2004-04-01 2007-11-29 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20060204042A1 (en) * 2005-03-10 2006-09-14 Hammoud Riad I System and method for determining eye closure state
US20080252745A1 (en) * 2007-04-13 2008-10-16 Fujifilm Corporation Apparatus for detecting blinking state of eye
US20120229248A1 (en) * 2011-03-12 2012-09-13 Uday Parshionikar Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display
WO2013066634A1 (en) 2011-11-02 2013-05-10 Google Inc. Eye gaze detection to determine speed of image movement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE, J.-Y. [et al.]: Design and Implementation of an Augmented Reality System Using Gaze Interaction. In: Proc. of the 2011 International Conference on Information Science and Applications, 2011, S. 1-8. *
OMATA, M. [et al.]: An Immersive View Control Method Using EMG Signals of Users' Eyelid Movements. Im Internet verfügbar am 6.2.2012 unter der URL: http://web.archive.org/web/20120206035628/http://icmi11.forge.nicta.com.au/papers/,[abgerufen am 24.7.2013]. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558906A (zh) * 2020-12-11 2021-03-26 上海影创信息科技有限公司 具有成像距离的显示控制方法和系统、存储介质及其vr设备

Similar Documents

Publication Publication Date Title
EP3298474B1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
EP2987057B1 (de) Verfahren zum auswählen einer informationsquelle aus einer mehrzahl von informationsquellen zur anzeige auf einer anzeige einer datenbrille
WO2008151346A1 (de) Verfahren zur wahrnehmungsmessung
EP2986225A1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
DE102018203927A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Display-Vorrichtung für ein Kraftfahrzeug
DE102017216774A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
DE102014211803A1 (de) Augmented-Reality-System für ein Kraftfahrzeug
DE102018201768B4 (de) Verfahren zum Anzeigen von Informationen in einem Head-Up-Display eines Fahrzeugs, Anzeigesystem für ein Fahrzeug und Fahrzeug mit einem Anzeigesystem
DE102014206202A1 (de) Sonnenblende mit einer elektronischen Bildanzeigevorrichtung sowie Verfahren zu deren Betrieb
DE102014213285A1 (de) Kopfrichtungsabhängige Anzeige von Inhalten auf einer Datenbrille
EP3765941A1 (de) Verfahren und vorrichtung zum bereitstellen von informationen durch ein augmented-reality-gerät, verfahren und vorrichtung zum bereitstellen von informationen zur steuerung einer anzeige eines augmented-reality-gerätes, verfahren und vorrichtung zur steuerung einer anzeige eines augmented-reality-gerätes, computerlesbares speichermedium mit instruktionen zur durchführung der verfahren
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102013210587A1 (de) Anzeigensystem mit Datenbrille
DE102016221123A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
WO2016184972A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
DE102013210354A1 (de) Blickgesteuerte Interaktion für Datenbrillen
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102013210588A1 (de) Anzeigensystem mit Datenbrille
DE102016225262A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225265A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102018222788B3 (de) Kontaktlinsenanordnung mit erweiterter-Realität-Fähigkeit für einen Fahrzeugfahrer und Verfahren zum Betreiben einer solchen Kontaktlinsenanordnung
DE102014206625A1 (de) Positionierung eines HMD im Fahrzeug
DE102017209908A1 (de) Kamerabasiertes Fahrerassistenzsystem sowie Verfahren zur Ansteuerung eines solchen
DE102018218746B4 (de) Verfahren zur Vermeidung einer Sichtfeldstörung für eine Bedienperson eines Objektes, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug und Computerprogramm
DE102019119532A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final