-
Stand der Technik
-
Der Ansatz geht von einem Verfahren und einer Vorrichtung zum Erkennen einer Blickrichtung und/oder eines Zustands eines Auges unter Verwendung einer Laservorrichtung sowie von einer Laservorrichtung nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Systeme und Verfahren zur Erfassung der Blickrichtung in VR and AR Anwendungen sind in diversen Ausführungen beschrieben und Stand der Technik. Beispielhaft zu erwähnen sind Kamera basierte Videookulographiesysteme (VOG) sowie Self-Mixing-Laser-Doppler-Interferometrie (SMI) basierte Lösungen.
-
Die
DE102020127593 beschreibt eine Messung der Augengeschwindigkeit und damit einer Augenbewegung mittels SMI sowie die Kombination mit einem VOGbasierten Eye-Tracking System.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein verbessertes Verfahren zum Erkennen einer Blickrichtung und/oder eines Zustands eines Auges unter Verwendung einer Laservorrichtung und eine verbesserte Laservorrichtung, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Durch den hier vorgestellten Ansatz wird eine Möglichkeit geschaffen, um einen Energieverbrauch beispielsweise bei Datenbrillen zu reduzieren. Unter Verwendung des hier vorgestellten Ansatzes kann ebendiese energieeffiziente Möglichkeit automatisiert erkannt und/oder durchgeführt werden.
-
Es wird ein Verfahren zum Erkennen eines Zustands einer Blickrichtung und/oder eines Auges unter Verwendung einer Laservorrichtung vorgestellt, wobei das Verfahren einen Schritt des Einlesens, einen Schritt des Vergleichens, einen Schritt des Bestimmens und einen Schritt des Ermittelns umfasst. Im Schritt des Einlesens wird ein Augenparameter unter Verwendung der Laservorrichtung eingelesen, wobei der Augenparameter eine Bewegung eines Auges repräsentiert. Im Schritt des Vergleichens wird der Augenparameter mit einem ersten Referenzparameter und zusätzlich oder alternativ mit einem sich von dem ersten Referenzparameter unterscheidenden zweiten Referenzparameter verglichen, um ein Vergleichsergebnis zu erhalten. Im Schritt des Bestimmens wird eine Bewegungsart des Auges unter Verwendung des Vergleichsergebnisses bestimmt, wobei die Bewegungsart eine sakkadische Augenbewegung repräsentiert, wenn der Augenparameter einen größeren Wert aufweist als der erste Referenzparameter. Zusätzlich oder alternativ repräsentiert die Bewegungsart eine gleichmäßige Augenbewegung, wenn der Augenparameter einen Wert aufweist, der zumindest bzw. mindestens dem zweiten Referenzparameter und höchstens dem ersten Referenzparameter entspricht oder gleich ist. Im Schritt des Ermittelns wird eine Blickrichtung in Abhängigkeit der bestimmten Bewegungsart ermittelt. Insbesondere wird die Blickrichtung ermittelt, wenn die Bewegungsart die gleichmäßige Augenbewegung repräsentiert. Zusätzlich oder alternativ wird die Blickrichtung nicht ermittelt, wenn die Bewegungsart die sakkadische Augenbewegung repräsentiert. Für diesen Fall wird ein Zustand des Auges erkannt, bei dem keine Information durch das Auge aufgenommen wird.
-
Das Verfahren kann beispielsweise im Zusammenhang mit einer Datenbrille durchgeführt werden. Die Referenzparameter können beispielsweise auch einer Speichereinheit hinterlegt sein. Die Referenzparameter können vorteilhafterweise als Schwellwerte fungieren. Die Bewegungsart kann beispielsweise ein Bewegungsmuster des Auges repräsentieren. Die sakkadische Augenbewegung kann dabei beispielsweise eine sprunghafte Augenbewegung repräsentieren, während die gleichmäßige Augenbewegung beispielsweise einen Lesevorgang und somit eine kontinuierliche Augenbewegung repräsentieren kann.
-
Gemäß einer Ausführungsform kann im Schritt des Einlesens als der Augenparameter ein Wert eingelesen wird, der eine Winkelgeschwindigkeit und zusätzlich oder alternativ eine Beschleunigung des Auges repräsentiert. Die Geschwindigkeit und zusätzlich oder alternativ Bewegung kann beispielsweise primär durch sehr energieeffizientes analoges Fringe-Counting erfasst werden. Zusätzlich kann bei Bedarf nach Erfassen einer Bewegung die deutlich präzisere, aber energieintensivere Geschwindigkeitserfassung durch Analyse des Frequenzspektrums beispielsweise mittels Fourier-Transformation zugeschaltet werden. Die Erfassung der Geschwindigkeit in dem hier vorgestellten Ansatz kann vorteilhaft mittels Fringe-Counting, Fourier-Transformation oder mittels einer Kombination beider Möglichkeiten durchgeführt werden.
-
Im Schritt des Bestimmens kann ferner die Bewegungsart als gleichmäßige Augenbewegung bestimmt werden, wenn die Winkelgeschwindigkeit in einem Bereich zwischen 25°/s und 80°/s liegt, insbesondere zwischen 30°/s und 75°/s. Gemäß einer Ausführungsform kann im Schritt des Bestimmens die Bewegungsart als sakkadische Augenbewegung bestimmt werden, wenn die Winkelgeschwindigkeit in einem Bereich zwischen 180°/s und 520°/s liegt, insbesondere zwischen 200°/s und 500°/s. Die Verwendung derartiger Parameter kann eine schnelle, sichere und eindeutige Bestimmung der Augenbewegung ermöglichen.
-
Weiterhin können die Schritte des Verfahrens in Wiederholungsintervallen wiederholt werden, wobei eine Länge der Wiederholungsintervalle abhängig von dem Augenparameter sein kann, wenn im Schritt des Bestimmens als Bewegungsart die gleichmäßige Augenbewegung bestimmt wurde. Insbesondere kann die Länge der Wiederholungsintervalle bei einem großen Augenparameter kürzer sein als bei einem kleinen Augenparameter. Vorteilhafterweise kann als zu veränderndes Maß für die Wiederholungsintervalle die Zeit angesehen werden, sodass sich beispielsweise zeitliche Abstände zwischen den einzelnen Wiederholungen der Schritte abhängig von der Winkelgeschwindigkeit verkürzen oder verlängern können.
-
Gemäß einer Ausführungsform können die Schritte des Verfahrens in Wiederholungszeitspannen wiederholt werden, wobei eine Länge einer der Wiederholungszeitspannen vergrößert werden kann, wenn der Augenparameter kleiner ist als der zweite Referenzwert. Beispielsweise kann dadurch ein Fixierpunkt ermittelt werden und folglich vorteilhafterweise ein Energiesparmodus der Laservorrichtung aktiviert werden, beispielsweise unter Verwendung eines Pausesignals.
-
Die Schritte des Verfahrens können außerdem in einer Wiederholungsfrequenz wiederholt werden, wenn im Schritt des Bestimmens als Bewegungsart die sakkadische Augenbewegung bestimmt wird. Insbesondere kann die Wiederholungsfrequenz abhängig von dem Augenparameter oder einem vordefinierten Frequenzparameter sein. Vorteilhafterweise kann der vordefinierte Frequenzparameter beispielsweise in einer Speichereinheit hinterlegt sein.
-
Gemäß einer Ausführungsform kann im Schritt des Bestimmens als Bewegungsart ein Fixierzustand des Auges bestimmt werden, wenn der Augenparameter kleiner ist als der zweite Referenzparameter oder Schwellwert. Vorteilhafterweise fixiert das Auge beispielsweise ein Objekt im Fixierzustand und wechselt sich beispielsweise mit einer sakkadischen Bewegung abwechseln. Das bedeutet, dass das Auge beispielsweise auf einem Objekt ruhen kann, bevor es ein neues Objekt anvisiert.
-
Weiterhin kann vor dem Schritt des Einlesens ein Schritt des Generierens des Augenparameters ausgeführt werden, wobei der Augenparameter unter Verwendung einer Self-Mixing-Laser-Doppler-Interferometrie generiert werden kann.
-
Im Schritt des Generierens kann ein Lichtstrahl in Richtung des Auges ausgegeben und ein Reflexionsstrahl empfangen werden, wobei der Lichtstrahl in einem Winkelbereich zwischen 40° und 50° zu mindestens einer der Hauptdrehachsen des Auges ausgegeben werden kann. Zusätzlich oder alternativ kann der Reflexionsstrahl in einem Winkelbereich zwischen 40° und 50° zu mindestens einer der Hauptdrehachsen des Auges empfangen werden, insbesondere wobei der Reflexionsstrahl als ein Teilstrahl des Lichtstrahls ausgeformt sein kann. Die Hauptdrehachsen können beispielsweise vertikal und zusätzlich oder alternativ horizontal in Bezug auf die Kopfhaltung bei einem Nutzer verlaufen. Vorteilhafterweise kann dadurch vermieden werden, dass ein Nutzer beispielsweise von dem Lichtstrahl geblendet wird.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Es wird ferner eine Laservorrichtung zum Erkennen eines Zustands des Auges vorgestellt, welche eine Lasereinheit zum Empfangen eines Reflexionsstrahls und eine Vorrichtung in einer zuvor genannten Variante aufweist.
-
Vorteilhafterweise kann die Laservorrichtung in Verbindung mit Datenbrillen eingesetzt werden. Die Lasereinheit kann dabei beispielsweise eine Lichtquelle der Laservorrichtung aufweisen und kann beispielsweise ausgebildet sein, um einen Lichtstrahl auszugeben und den als Teilstrahl des Lichtstrahls reflektierten Reflexionsstrahl empfangen. Die Vorrichtung kann beispielsweise als eine Steuereinheit ausgeformt sein.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung einer Datenbrille mit einer Laservorrichtung gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung eines Ausführungsbeispiels einer Laservorrichtung;
- 3 eine Diagrammdarstellung eines Bewegungsmusters einer Augenbewegung zur Erläuterung der Vorgehensweise gemäß einem Ausführungsbeispiel;
- 4 ein Geschwindigkeits-Zeit-Diagramm mit einer ballistischen Kurve zur Erläuterung der Vorgehensweise gemäß einem Ausführungsbeispiel; und
- 5 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel zum Erkennen einer Blickrichtung und/oder eines Zustands eines Auges unter Verwendung einer Laservorrichtung.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung einer Datenbrille 100 mit einer Laservorrichtung 105 gemäß einem Ausführungsbeispiel. Die Laservorrichtung 105 ist ausgebildet, um einen Zustand eines Auges zu erkennen und weist dazu eine Lasereinheit 110 zum Empfangen eines Reflexionsstrahls sowie eine Vorrichtung 115 auf. Die Lasereinheit 110 ist gemäß diesem Ausführungsbeispiel ausgebildet, um zudem einen Lichtstrahl auszugeben, bevor sie den Reflexionsstrahl empfängt. Die Vorrichtung 115 ist weiterhin beispielsweise als eine Steuereinheit ausgeformt, die ausgebildet ist, um ein Verfahren zum Erkennen eines Zustands des Auges, wie es in einer der nachfolgenden Figuren näher erläutert wird, anzusteuern und/oder durchzuführen.
-
In anderen Worten ausgedrückt ist die Laservorrichtung 105 ausgebildet, um einen energieeffizienten Betriebsmodus in Systemen zur Erfassung einer Blickrichtung, was auch als Eye-Tracking bezeichnet wird, zur Anwendung in beispielsweise Augmented Reality (AR) und Virtual Reality (VR) Datenbrillen 100 zu ermöglichen.
-
Grundsätzlich wird eine Bewegung der Augen in zwei Bewegungstypen unterteilt: sprunghafte sakkadische Bewegungen und gleichmäßige Verfolgungsbewegungen.
-
Sakkadische Bewegungen sind ausgebildet, um den Umgebungskontext zu erfassen. Das bedeutet, dass sich beide Augen des Betrachters synchron in schnellen sakkadischen Bewegungen mit einer Bewegungsdauer von durchschnittlich 50 ms und Winkelgeschwindigkeiten zwischen 200°/s und 500°/s zwischen so genannten Fixierpunkten bewegen. An den Fixierpunkten befindet sich das Auge, abgesehen von sehr keinen Bewegungen, so genannten Mikro-Sakkakden, weitgehend im Ruhezustand. Die Verweildauer an Fixierpunkten liegt üblicherweise innerhalb eines Bereichs zwischen 100 ms und 500 ms. Die Erfassung von Bildinformationen im Gehirn erfolgt jeweils an den Fixierpunkten, wohingegen beispielsweise während der schnellen sakkadischen Bewegungen keine Erfassung von Bildinformationen stattfindet.
-
Gleichmäßige Verfolgungsbewegungen werden beispielsweise ausgeführt, um einem Objekt zu folgen. Im Gegensatz zu den sakkadischen Bewegungen springt das Auge nicht von Fixierpunkt zu Fixierpunkt, sondern folgt in einer gleichmäßigen langsamen Bewegung mit Winkelgeschwindigkeiten innerhalb eines Bereichs zwischen 30°/s und 75°/s dem zu verfolgenden Objekt. Das Gehirn des Betrachters erfasst während der langsamen Verfolgungsbewegung das Objekt.
-
Ist das Auge beispielsweise geschlossen, erfolgt keine Bildverarbeitung im Gehirn. Die Erfassung der Blickrichtung ist in diesem Zustand nicht möglich und nicht sinnvoll. Der Zustand der geschlossenen Augen ist beispielsweise mittels SMI Sensoren über die Geschwindigkeit des Schließens und Öffnens des Augendeckels, die Distanz zwischen Auge und Sensor sowie eines Signals zu Rauschverhältnissen bestimmbar.
-
2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Laservorrichtung 105. Die dargestellte Laservorrichtung 105 entspricht oder ähnelt beispielsweise der in 1 beschriebenen Laservorrichtung 105. Gemäß diesem Ausführungsbeispiel weist die Laservorrichtung 105 die Lasereinheit 110 sowie die Vorrichtung 115 auf. Zusätzlich weist die Laservorrichtung 105 gemäß diesem Ausführungsbeispiel eine Ermittlungseinheit 200 auf, die ausgebildet ist, um eine Blickrichtung 205 und/oder eine Augenposition zu ermitteln. Die Ermittlungseinheit 200 ist beispielsweise in die Vorrichtung 115 integrierbar ausgeformt und gemäß diesem Ausführungsbeispiel vorrichtungsextern ausgeführt. Auch in der in 2 dargestellten Laservorrichtung 105 ist die Lasereinheit 110 ausgebildet, um einen Reflexionsstrahl 210, der von der Lasereinheit 110 als Lichtstrahl 215 ausgegeben wurde, zu empfangen. Gemäß diesem Ausführungsbeispiel ist die Lasereinheit 110 ausgebildet, um den Lichtstrahl 215 und den Reflexionsstrahl 210 miteinander zu interferieren, beispielsweise mittels Self-Mixing-Laser-Doppler-Interferometrie (SMI).
-
Die Vorrichtung 115 ist ausgebildet, um ein Verfahren zum Erkennen eines Zustands eines Auges 220 für die Laservorrichtung 105 anzusteuern. Dazu weist die Vorrichtung 115 gemäß diesem Ausführungsbeispiel eine Einleseeinheit 225 auf, die ausgebildet ist, um einen Augenparameter 230 einzulesen, der eine Bewegung des Auges 220 repräsentiert. Weiterhin weist die Vorrichtung 115 eine Vergleichseinheit 235 auf, die ausgebildet ist, um den Augenparameter 230 mit einem ersten Referenzparameter und/oder mit einem sich von dem ersten Referenzparameter unterscheidenden zweiten Referenzparameter zu vergleichen, um ein Vergleichsergebnis 240 zu erhalten. Weiterhin weist die Vorrichtung 114 eine Bestimmungseinheit 245 auf, die ausgebildet ist, um eine Bewegungsart 250 des Auges 220 unter Verwendung des Vergleichsergebnisses 240 zu bestimmen. Die Bewegungsart 250 repräsentiert dabei eine sakkadische Augenbewegung, wenn der Augenparameter 230 einen größeren Wert aufweist als der erste Referenzparameter. Zusätzlich oder alternativ repräsentiert die Bewegungsart 250 eine gleichmäßige Augenbewegung, wenn der Augenparameter 230 einen Wert aufweist, der dem zweiten Referenzparameter und höchstens dem ersten Referenzparameter entspricht. Die Ermittlungseinheit 200 ist wie zuvor erwähnt ausgebildet, um die Blickrichtung 205 in Abhängigkeit der bestimmten Bewegungsart 250 zu ermitteln, insbesondere wenn die Bewegungsart die gleichmäßige Augenbewegung repräsentiert. Die Blickrichtung wird dagegen nicht von der Ermittlungseinheit 200 ermittelt, wenn die Bewegungsart 250 die sakkadische Augenbewegung repräsentiert.
-
Anders ausgedrückt ist in 2 eine Systemarchitektur eines Systems zur energieeffizienten Erfassung der Blickrichtung 205 durch dynamische Festlegung der Messzeitpunkte auf Basis von SMI-Augenbewegungsdaten dargestellt.
-
3 zeigt eine Diagrammdarstellung eines Bewegungsmusters 300 einer Augenbewegung zur Erläuterung der Vorgehensweise gemäß einem Ausführungsbeispiel. Die dargestellte Kurve 305 repräsentiert dabei die Bewegungsart des Auges, die beispielsweise unter Verwendung einer Vorrichtung ermittelt wird, wie sie in 2 beschrieben wurde. Die x-Achse 310 des Diagramms repräsentiert die Zeit und die y-Achse 315 repräsentiert gemäß diesem Ausführungsbeispiel eine Winkelgeschwindigkeit des Auges. Gemäß diesem Ausführungsbeispiel ist sowohl die sakkadische Augenbewegung 320 als auch die gleichmäßige Augenbewegung 325 dargestellt. Die sakkadische Augenbewegung ist beispielsweise als eine sprunghafte, schnelle Augenbewegung zu verstehen, die beispielsweise vor einem Fixierpunkt 330 stattfindet. Das bedeutet, dass das Auge mit einer hohen Geschwindigkeit springt, bis es einen Fixierpunkt 330 erreicht hat. Löst es sich von einem solchen Fixierpunkt 330, findet eine weitere sakkadische, sprunghafte Bewegung statt. Eine Unterscheidung der Bewegungsarten ist gemäß diesem Ausführungsbeispiel von einem ersten Referenzparameter 335 und einem zweiten Referenzparameter 340 als Schwellwerte abhängig. Fixiert das Auge beispielsweise ein Objekt, so liegt die Winkelgeschwindigkeit des Auges gemäß diesem Ausführungsbeispiel unterhalb des zweiten Referenzparameters 340 und definiert dadurch den Fixierpunkt 330 als Ruheposition des Auges. Das bedeutet, dass während der sakkadischen Augenbewegung 320 die Winkelgeschwindigkeit des Auges einen Wert aufweist, der über dem ersten Referenzparameter 335 liegt. Die gleichmäßige Augenbewegung 325 dagegen wird als solche erkannt, wenn sich das Auge mit einer Winkelgeschwindigkeit bewegt, deren Wert zwischen dem ersten Referenzparameter 335 und dem zweiten Referenzparameter 340 liegt.
-
Gemäß diesem Ausführungsbeispiel ist ein Messzeitraum dargestellt, in dem die Augenbewegungen 320, 325 erkannt werden. Innerhalb dieses Messzeitraums weicht eine Wiederholungsfrequenz einzelner Messungen ab, da sie abhängig ist von dem Augenparameter oder einem vordefinierten Frequenzparameter, beispielsweise der Winkelgeschwindigkeit. Die Messungen repräsentieren beispielsweise das Verfahren, beziehungsweise Wiederholungen der dazugehörigen Verfahrensschritte. Beispielsweise ist eine Länge von Wiederholungsintervallen abhängig von dem Augenparameter, das bedeutet gemäß diesem Ausführungsbeispiel der Winkelgeschwindigkeit, wenn als Bewegungsart die gleichmäßige Augenbewegung 325 bestimmt wurde. Die Länge der Wiederholungsintervalle ist dabei bei einem großen Augenparameter kürzer als bei einem kleinen Augenparameter. Wurde die sakkadische Augenbewegung 320 bestimmt, vergrößert sich eine Länge der Wiederholungszeitspannen, wenn der Augenparameter kleiner ist als der zweite Referenzparameter 340.
-
In anderen Worten ausgedrückt wird eine energieeffiziente Steuerung eines Systems zur Messung der Blickrichtung durch dynamische Festlegung der Messzeitpunkte auf Basis der Augenbewegung dargestellt. Unter Verwendung von beispielsweise Lasersensoren lässt sich die Geschwindigkeit des Auges und somit die Augenbewegung 320, 325 mittels Self-Mixing-Laser-Doppler-Interferometrie (SMI) sehr energieeffizient und hochfrequent, beispielsweise bis zu 1 kHz, erfassen. Die Bewegungsinformation wird in dem hier vorgestellten Ansatz dazu genutzt, den Bewegungstyp der Augen zu erkennen und das energieintensive System zur Erfassung der Blickrichtung, beispielsweise VOG, möglichst energieeffizient zu steuern. Dabei erfolgt beispielsweise eine Bestimmung der Blickrichtung nicht mit festgelegter Frequenz, sondern dynamisch in Abhängigkeit des Bewegungszustandes der Augen. Während der sakkadischen Augenbewegung 320 erfolgt gemäß diesem Ausführungsbeispiel keine Erfassung der Blickrichtung, da die Bildinformationen von dem Gehirn nicht verarbeitet werden und somit die Blickrichtung für bildgebende System (VR/AR) oder Systeme zur Erfassung des Interesses oder der Aufmerksamkeit des Nutzers nicht relevant sind. Weiter ist beispielsweise bei kamerabasierten VOG Systemen eine korrekte Erfassung der Blickrichtung auf Grund der Bewegungsunschärfe während einer sakkadischen Augenbewegung 320 erschwert. Die Erfassung der Blickrichtung wird beispielsweise an einem zeitlichen Anfang einer Fixierposition 330 getriggert. Obwohl sich die Blickrichtung während der Fixierphase 330 üblicherweise nicht wesentlich verändert, ist eine Bestimmung der Blickrichtung optional in Abhängigkeit der Dauer der Fixierphase 330 wiederholbar.
-
Während der gleichmäßigen Augenbewegung 325 erfolgt beispielsweise die Bestimmung der Blickrichtung in regelmäßigen Abständen in dynamischer Frequenz in Abhängigkeit der Bewegungsgeschwindigkeit des Auges. Anders ausgedrückt wird die Erfassungsfrequenz desto höher gewählt, je höher die Geschwindigkeit ist. Alternativ ist die Erfassungsfrequenz in Abhängigkeit der Integration der Geschwindigkeit über die Zeit als Maß für die Veränderung der Blickrichtung wählbar. Das bedeutet, dass die Blickrichtung beispielsweise bei einem Erreichen eines Schwellwertes der Integration erfasst wird.
-
Die Erkennung des Bewegungstyps erfolgt beispielsweise über eine Diskriminierung von Geschwindigkeitsbereichen der Augenbewegungen 320, 325. Dies ist beispielsweise mittels einer Schwellwerterkennung möglich. In einer weiteren Ausführung ist es möglich, zusätzlich oder ausschließlich Beschleunigungsinformationen zur Erkennung von Geschwindigkeitsänderungen zu nutzen.
-
4 ein Geschwindigkeits-Zeit-Diagramm 400 mit einer ballistischen Kurve 405 zur Erläuterung der Vorgehensweise gemäß einem Ausführungsbeispiel. Gemäß diesem Ausführungsbeispiel repräsentiert das Geschwindigkeits-Zeit-Diagramm 400 lediglich beispielhaft ein Geschwindigkeitsprofil für eine Laservorrichtung, wie sie beispielsweise in einer der 1 bis 2 beschrieben wurde. Unter Ausnutzung von ballistischen Geschwindigkeitsprofilen des Auges ist durch Ermitteln der Maximalgeschwindigkeit der ballistischen Kurve 405 bereits vor Abschluss der Bewegung ein Zeitpunkt des Stillstandes voraussagbar. Dadurch lässt sich beispielsweise ein Erfassungssystem bereits vor Abschluss der Bewegung aus einem energiesparenden Modus aufwecken und in den aufnahmebereiten Zustand versetzten, sodass unmittelbar zum Stillstand des Auges eine Blickrichtung erfasst werden kann. Gemäß diesem Ausführungsbeispiel ist demnach die beispielhafte ballistische Geschwindigkeitskurve 405 dargestellt. Die Geschwindigkeit steigt zu Beginn der Sakkade an, bis eine maximal Geschwindigkeit erreicht ist (t0). Anschließend fällt sie mit einer ähnlichen Kurvencharakteristik ab. Zum Zeitpunkt t1 lässt sich ein Signal an das Erfassungssystem senden, sodass zum Zeitpunkt t2 die Blickrichtung unmittelbar erfassbar ist.
-
5 zeigt ein Ablaufdiagramm eines Verfahrens 500 gemäß einem Ausführungsbeispiel zum Erkennen einer Blickrichtung und/oder eines Zustands eines Auges unter Verwendung einer Laservorrichtung. Dabei kann es sich um ein Verfahren 500 handeln, das von einer der anhand der vorangegangenen 1 bis 2 beschriebenen Vorrichtungen ausführbar ist. Das Verfahren 500 umfasst dazu einen Schritt 505 des Einlesens, einen Schritt 510 des Vergleichens, einen Schritt 515 des Bestimmens und einen Schritt 520 des Ermittelns. Im Schritt 505 des Einlesens wird ein Augenparameter unter Verwendung der Laservorrichtung eingelesen, der eine Bewegung eines Auges, beispielsweise eine Winkelgeschwindigkeit und/oder eine Beschleunigung des Auges, repräsentiert. Im Schritt 510 des Vergleichens wird der Augenparameter mit einem ersten Referenzparameter und/oder mit einem sich von dem ersten Referenzparameter unterscheidenden zweiten Referenzparameter verglichen, um ein Vergleichsergebnis zu erhalten. Im Schritt 515 des Bestimmens wird eine Bewegungsart des Auges unter Verwendung des Vergleichsergebnisses bestimmt. Die Bewegungsart repräsentiert eine sakkadische Augenbewegung, wenn der Augenparameter einen größeren Wert aufweist als der erste Referenzparameter. Die Bewegungsart repräsentiert zusätzlich oder alternativ eine gleichmäßige Augenbewegung, wenn der Augenparameter einen Wert aufweist, der zumindest dem zweiten Referenzparameter und höchstens dem ersten Referenzparameter entspricht oder gleich ist. Im Schritt 520 des Ermittelns wird eine Blickrichtung in Abhängigkeit der bestimmten Bewegungsart ermitteln. Die Blickrichtung wird insbesondere dann ermittelt, wenn die Bewegungsart die gleichmäßige Augenbewegung repräsentiert und/oder wenn die Bewegungsart die sakkadische Augenbewegung repräsentiert.
-
Lediglich optional umfasst das Verfahren 500 einen Schritt 525 des Generierens des Augenparameters vor dem Schritt 505 des Einlesens, wobei der Augenparameter im Schritt 525 des Generierens unter Verwendung einer Self-Mixing-Laser-Doppler-Interferometrie generiert wird. Dabei wird beispielsweise ein Lichtstrahl in Richtung des Auges ausgegeben und ein Reflexionsstrahl empfangen. Der Lichtstrahl wird dabei beispielsweise in einem Winkelbereich zwischen 40° und 50° zu mindestens einer der Hauptdrehachsen des Auges ausgegeben und/oder der Reflexionsstrahl in einem Winkelbereich zwischen 40° und 50° zu mindestens einer der Hauptdrehachsen des Auges empfangen. Der Reflexionsstrahl ist dabei beispielsweise als ein Teilstrahl des Lichtstrahls ausgeformt.
-
Gemäß diesem Ausführungsbeispiel wird die Bewegungsart im Schritt 515 des Bestimmens als gleichmäßige Augenbewegung bestimmt, wenn die Winkelgeschwindigkeit in einem Bereich zwischen 25°/s und 80°/s, insbesondere zwischen 30°/s und 75°/s, liegt. Die Bewegungsart wird beispielsweise zusätzlich oder alternativ im Schritt 515 des Bestimmens als sakkadische Augenbewegung bestimmt, wenn die Winkelgeschwindigkeit in einem Bereich zwischen 180°/s und 520°/s, insbesondere zwischen 200°/s und 500°/s, liegt. Die Schritte 505, 510, 515, 520, 525 des Verfahrens 500 werden ferner in Wiederholungsintervallen wiederholt, wobei eine Länge der Wiederholungsintervalle abhängig von dem Augenparameter ist, wenn im Schritt 515 des Bestimmens als Bewegungsart die gleichmäßige Augenbewegung bestimmt wurde. Insbesondere ist die Länge der Wiederholungsintervalle bei einem großen Augenparameter kürzer als bei einem kleinen Augenparameter. Außerdem werden die Schritte 505, 510, 515, 520, 525 des Verfahrens 500 in Wiederholungszeitspannen wiederholt, wobei eine Länge einer der Wiederholungszeitspannen vergrößert wird, wenn der Augenparameter kleiner ist als der zweite Referenzwert. Beispielsweise führt das dazu, dass beispielsweise ein Energiesparmodus aktiviert wird. Weiterhin werden gemäß diesem Ausführungsbeispiel die Schritte 505, 510, 515, 520, 525 des Verfahrens 500 in einer Wiederholungsfrequenz wiederholt, wenn im Schritt 515 des Bestimmens als Bewegungsart die sakkadische Augenbewegung bestimmt wird, insbesondere wobei die Wiederholungsfrequenz abhängig von dem Augenparameter oder einem vordefinierten Frequenzparameter ist. Lediglich optional wird im Schritt 515 des Bestimmens als Bewegungsart ein Fixierzustand des Auges bestimmt, wenn der Augenparameter kleiner ist als der zweite Referenzparameter.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
