DE102022202000A1

DE102022202000A1 - Verfahren und Vorrichtung zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung für eine Datenbrille und Laservorrichtung

Info

Publication number: DE102022202000A1
Application number: DE102022202000.6A
Authority: DE
Inventors: Johannes Meyer; Patrick Schlachter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-02-28
Filing date: 2022-02-28
Publication date: 2023-08-31
Also published as: US11983895B2; US20230274457A1

Abstract

Der hier vorgestellte Ansatz betrifft ein Verfahren zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung (102) für eine Datenbrille (100). Das Verfahren umfasst einen Schritt des Aussendens von Licht zum Abtasten eines Auges entlang mindestens einer Abtastlinie, einen Schritt des Erfassens einer Mehrzahl an dem Auge entlang der Abtastlinie reflektierten Reflexionsstrahlen des Lichts, um eine Mehrzahl von Lichtintensitätswerten zu erhalten, wobei die Lichtintensitätswerte Intensitäten der Reflexionsstrahlen repräsentieren, einen Schritt des Erzeugens eines des Auges entlang der Abtastlinie unter Verwendung der Lichtintensitätswerte, wobei ein großer Lichtintensitätswert einem an der Retina des Auges reflektierten Reflexionsstrahl und ein im Vergleich zu dem großen Lichtintensitätswert kleiner Lichtintensitätswert einem außerhalb der Retina des Auges reflektierten Reflexionsstrahl zugeordnet oder zuordenbar ist und einen Schritt des Bestimmens der Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes.

Description

Stand der Technik
Der Ansatz geht von einem Verfahren und einer Vorrichtung zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung für eine Datenbrille sowie von einer Laservorrichtung nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
Gerade im Hinblick auf die fortschreitende Digitalisierung wird die Entwicklung von Datenbrillen immer bedeutender. Um einem Nutzer ein bestmögliches und komfortables Erlebnis zu ermöglichen, ist es notwendig, Datenbrillen und die damit verbundene Technik sowie ihre Funktionen weiterzuentwickeln.
Die US 10 394 034 B2 beschreibt eine Augenerfassungsvorrichtung mit einer Infrarotlichtquelle und einem mikroelektromechanischen System, das ein Spiegelelement aufweist.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren und eine Vorrichtung zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung für eine Datenbrille, eine Laservorrichtung sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Durch den hier vorgestellten Ansatz wird eine Möglichkeit geschaffen, um ein für einen Nutzer einer Datenbrille erzeugtes Bild unter Verwendung einer Augenposition scharf zu stellen. Des Weiteren kann durch den vorgestellten Ansatz eine Steuerung der Datenbrille, beispielsweise über eine Mensch-Maschine-Schnittstelle (Human Machine Interaction), sowie einer Bildprojektion basierend auf der Augenposition, beispielsweise ein dynamisches Umschalten von so genannten Eye Boxen oder Foveated Rendering, ermöglicht werden. Eine Eye Box bezeichnet dabei einen Anzeigebereich, in dem das Auge ein Bild wahrnehmen kann, sodass beispielsweise auch die Bildprojektion basierend auf einem Blickvektor gesteuert werden kann.
Es wird ein Verfahren zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung für eine Datenbrille vorgestellt, das einen Schritt des Aussendens, einen Schritt des Erfassens, einen Schritt des Erzeugens und einen Schritt des Bestimmens umfasst. Im Schritt des Aussendens wird Licht zum Abtasten eines Auges entlang mindestens einer Abtastlinie ausgesandt. Im Schritt des Erfassens wird eine Mehrzahl an dem Auge entlang der Abtastlinie reflektierten Reflexionsstrahlen des Lichts erfasst, um eine Mehrzahl von Lichtintensitätswerten zu erhalten, wobei die Lichtintensitätswerte Intensitäten der entlang der Abtastlinie reflektierten Reflexionsstrahlen repräsentieren. Im Schritt des Erzeugens wird ein Bild des Auges entlang der Abtastlinie unter Verwendung der Lichtintensitätswerte erzeugt, wobei ein großer Lichtintensitätswert einem an der Retina des Auges reflektierten Reflexionsstrahl und ein im Vergleich zu dem großen Lichtintensitätswert kleiner Lichtintensitätswert einem außerhalb der Retina des Auges reflektierten Reflexionsstrahl zugeordnet oder zuordenbar ist. Im Schritt des Bestimmens wird die Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt.
Die Laservorrichtung kann beispielsweise als Teil einer Datenbrille realisiert sein, sodass das Verfahren vorteilhafterweise im Betrieb der Datenbrille durchgeführt werden kann. Das Licht kann beispielsweise als entlang einer Zeile oder Spalte geführter Laserstrahl ausgegeben werden. Die Reflexionsstrahlen können dabei von einem Erfassungssensor erfasst werden. Vorteilhafterweise können durch die Lichtintensitätswerte Graustufen erfasst und zusätzlich oder alternativ erkannt werden, die im Rahmen des Verfahrens vorteilhafterweise weiterverarbeitet werden können. Je größer ein Unterschied zwischen den Lichtintensitätswerten ist, desto größer kann auch der Kontrast des Bildes sein. Eine Größe eines Lichtintensitätswertes kann einer gemessenen Amplitude der optischen Leistung des entsprechenden Reflexionsstrahls entsprechen. Eine Unterscheidung zwischen einem der Retina zuordenbaren großen Lichtintensitätswert und einem nicht der Retina zuordenbaren kleinen Lichtintensitätswert kann unter Verwendung eines voreingestellten oder an eine aktuelle Situation angepassten Schwellenwert erfolgen. Die Augenposition kann ein Pupillenzentrum und zusätzlich oder alternativ eine Pupillengröße des Auges als Information repräsentieren oder umfassen, sodass vorteilhafterweise das Bild im Bereich der Augenposition von dem Nutzer als scharf wahrgenommen werden kann. Genauer gesagt kann die Bildschärfe derart verbessert werden, sodass beispielsweise auch eine Kundenzufriedenheit gesteigert werden kann.
Wenn das Bild weiterverarbeitet wird, beispielsweise durch Anwendung einer Transformation, Filterung oder andersartigen Funktion, kann ein entsprechend weiterverarbeitetes Bild an die Stelle des Bilds treten, also in weiteren Verfahrensschritten des Verfahrens verwendet werden. Durch eine einmalige oder gestaffelte geeignete Weiterverarbeitung des Originalbilds lässt sich die Qualität des Verfahrens verbessern.
Gemäß einer Ausführungsform kann im Schritt des Ausgebens das Licht zum Abtasten des Auges entlang der Abtastlinie ausgegeben werden, die eine Zeile des im Schritt des Erzeugens erzeugten Bildes repräsentiert. Anders ausgedrückt bedeutet das, dass das Licht zeilenartig ausgegeben werden kann. Dies kann vorteilhafterweise unter Verwendung eines Laserscanners durchgeführt werden.
Das Verfahren kann einen Schritt des Transformierens des Bildes unter Verwendung einer Funktion umfassen, um ein transformiertes Bild mit transformierten Lichtintensitätswerten zu erhalten. Folglich kann im Schritt des Bestimmens die Augenposition unter Verwendung von Amplituden der transformierten Lichtintensitätswerte bestimmt werden. Das transformierte Bild kann somit anstelle des zuvor genannten Bildes in weiteren Verfahrensschritten verwendet werden. Die Transformation des Bildes kann vorteilhafterweise ein Herausfiltern von Graustufen repräsentieren, sodass Bildkontraste erhöht und somit die Augenposition besser bestimmt werden kann. Die Amplituden können beispielsweise die Lichtintensitätswerte repräsentieren, die oberhalb eines ersten Schwellwerts und zusätzlich oder alternativ unterhalb eines zweiten Schwellwerts liegen. Dadurch können die Bildkontraste vorteilhafterweise verbessert werden.
Gemäß einer Ausführungsform kann der Schritt des Transformierens unter Verwendung einer Gaußfunktion, Stufenfunktion oder einer Rechteckfunktion durchgeführt werden. Vorteilhafterweise wird die Gaußfunktion im Schritt des Transformierens angewandt, da sie ein Herausfiltern der Graustufen unter Berücksichtigung statischer Eigenschaften der Reflexionsstrahlen begünstigen kann. Durch den Schritt des Transformierens kann vorteilhafterweise eine koordinatengetreue Abbildung des Bildes und eines Pupillensignals erreicht werden. Weiterhin kann eine geringe Leistungsaufnahme durch eine geringe Rechenkomplexität des Algorithmus erreicht werden.
Weiterhin kann im Schritt des Aussendens das Licht entlang einer Mehrzahl von Abtastlinien ausgesandt werden. Im Schritt des Erfassens kann die Mehrzahl an dem Auge entlang der Mehrzahl von Abtastlinien reflektierten Reflexionsstrahlen des Lichts erfasst werden, um die Mehrzahl von Lichtintensitätswerten zu erhalten, wobei die Lichtintensitätswerte Intensitäten der entlang der Mehrzahl von Abtastlinien reflektierten Reflexionsstrahlen repräsentieren. Weiterhin kann im Schritt des Erzeugens das Bild als ein zweidimensionales Abbild des Auges entlang der Mehrzahl von Abtastlinien unter Verwendung der Lichtintensitätswerte erzeugt und im Schritt des Bestimmens die Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt werden. Die einzelnen Abtastlinien aus der Mehrzahl von Abtastlinien können beispielsweise schräg zueinander angeordnet sein, sodass sie zickzackartig angeordnet und somit das Auge zickzackartig abgetastet werden kann. Vorteilhafterweise kann der Schritt des Bestimmens dabei unter Verwendung einer zuvor abgetasteten Abtastlinie durchgeführt werden, während bereits eine nächste der Abtastlinien abgetastet wird. Vorteilhafterweise kann dadurch Rechenzeit eingespart werden.
Gemäß einer Ausführungsform kann im Schritt des Aussendens das Licht entlang einer einzigen Abtastlinie ausgesandt werden. Das Verfahren kann einen Schritt des Vorbestimmens umfassen, in dem ein Augenpositionswert des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt werden kann. Die Schritte des Verfahrens können für weitere Abtastlinien wiederholt ausgeführt werden, um weitere Augenpositionswerte vorzubestimmen. Im Schritt des Bestimmens kann die Augenposition des Auges unter Verwendung der Mehrzahl von Augenpositionswerten bestimmt werden. Das bedeutet, dass vorteilhafterweise das Bild iterativ gefittet werden kann, indem Augenpositionswerte als Ausgangswerte zeilenweise vorbestimmt und schließlich im Schritt des Bestimmens verwendet werden können. Auch dabei kann das Licht vorteilhafterweise zickzackartig über das Auge geführt werden, um das Auge abzutasten.
Weiterhin können im Schritt des Bestimmens einzelne Bildmomente unter Verwendung der Lichtintensitätswerte bestimmt werden, wobei aus den Bildmomenten ein Bildschwerpunkt des Bildes und aus dem Bildschwerpunkt eine Position eines Pupillenzentrums einer Pupille des Auges als die Augenposition bestimmt werden kann. Das bedeutet, dass die Lichtintensitätswerte einzelnen Bildmomenten, wie beispielsweise Pixeln oder Bildpunkten, zugeordnet werden können. Vorteilhafterweise kann dadurch das Bild unter Verwendung mindestens einer mathematischen Formel schärfer gestellt werden, durch die das Pupillenzentrum errechnet werden kann. Weiterhin kann vorteilhafterweise das Pupillenzentrum und beispielsweise ein Pupillendurchmesser aus einem so genannten Speckle-Bild direkt bestimmt werden.
Ferner kann im Schritt des Bestimmens aus den Bildmomenten eine Kovarianzmatrix des Bilds und folglich aus der Kovarianzmatrix eine Pupillengröße der Pupille bestimmt werden. Vorteilhafterweise kann dadurch die Pupillengröße berechnet werden.
Gemäß einer Ausführungsform kann im Schritt des Bestimmens unter Verwendung der Kovarianzmatrix eine Güte der Bestimmung der Augenposition bestimmt werden. Beispielsweise kann eine 1 bei Verwendung der Kovarianzmatrix einer perfekt runden und somit gefitteten Pupille entsprechen, sodass ausgehend davon die Güte bestimmt werden kann je nachdem, inwieweit eine Abweichung davon erkannt wird.
Unter Verwendung der Kovarianzmatrix kann Bewegung der Pupille bestimmt werden. Eine Bewegung der Pupille während der Erzeugung eines Bildes des Auges kann zu einer Verzerrung der Abbildung der Pupille in dem Bild führen. Parameter einer solchen Verzerrung können unter Verwendung der Kovarianzmatrix ermittelt und zur Bestimmung der Bewegung der Pupille verwendet werden. Beispielsweise kann die Pupille als eine Ellipse abgebildet werden. Hauptachsen der Ellipse können aus der Kovarianzmatrix ermittelt und zur Bestimmung der Bewegung der Pupille verwendet werden. Auf diese Weise kann eine Richtung und zusätzlich oder alternativ eine betragsmäßige Größe einer Geschwindigkeit der Bewegung bestimmt werden.
Des Weiteren kann im Schritt des Erzeugens das Bild als ein Subbild entlang eines Abschnitts der Abtastlinie erzeugt werden, wobei der Abschnitt unter Verwendung einer vorhergehend bestimmten Augenposition definiert wird. Das bedeutet, dass das Subbild beispielsweise als ein Bildabschnitt und somit als ein Teilbild des Bildes erzeugt werden kann, beispielsweise zeilenweise. Durch diese Art des Erzeugens des Bildes kann vorteilhafterweise auf eine nachträgliche Verarbeitung oder Veränderung des Bildes verzichtet werden. Dadurch lässt sich der Rechenaufwand reduzieren. Neben einer drastischen Reduzierung der Daten, die aufgenommen werden, kann auch die Abtastung einer Fotodiode im Laser sowie der Laser für die Bereiche abgeschaltet werden, indem kein Bild aufgenommen werden soll. Ein weiterer Vorteil ist die Minimierung einer Infrarotexposition auf das nötige Minimum.
Im Schritt des Erfassens können die reflektierten Reflexionsstrahlen des Lichts unter Verwendung eines Sensors erfasst werden, der in der Achse des im Schritt des Aussendens ausgesendeten Lichts liegt oder in die Achse eingefaltet ist.
Beispielsweise kann ein Strahlteiler verwendet werden, um den Sensor in den Pfad des Lichts einfalten.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ferner wird eine Laservorrichtung für eine Datenbrille vorgestellt, wobei die Laservorrichtung eine Lichtquelle zum Aussenden von Licht zum Abtasten eines Auges entlang mindestens einer Abtastlinie und einen Sensor zum Erfassen einer Mehrzahl an dem Auge entlang der Abtastlinie reflektierten Reflexionsstrahlen des Lichts aufweist, um eine Mehrzahl von Lichtintensitätswerten zu erhalten. Die Lichtintensitätswerte repräsentieren dabei Intensitäten der entlang der Abtastlinie reflektierten Reflexionsstrahlen, um ein Bild des Auges entlang der Abtastlinie unter Verwendung der Lichtintensitätswerte zu erzeugen. Dabei ist ein großer Lichtintensitätswert einem an der Retina des Auges reflektierten Reflexionsstrahl und ein im Vergleich zu dem großen Lichtintensitätswert kleiner Lichtintensitätswert einem außerhalb der Retina des Auges reflektierten Reflexionsstrahl zugeordnet oder zuordenbar. Weiterhin wird eine Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt. Die Laservorrichtung weist weiterhin eine Vorrichtung in einer zuvor genannten Variante auf.
Die Laservorrichtung kann vorteilhafterweise als Teil einer Datenbrille realisiert sein. Die Vorrichtung kann beispielsweise als ein Steuergerät realisiert sein oder als ein solches fungieren. Unter Verwendung der Laservorrichtung kann vorteilhafterweise eine Bildprojektion basierend auf einem Blickvektor, wie beispielsweise einer Vergenzkorrektur gesteuert werden, sodass beispielsweise eine Darstellung von virtuellen Objekten im Raum basierend auf Blicktiefe erfolgen kann. Der Sensor kann als ein Laser-Feedback-Interferometriesensor realisiert sein, sodass eine Störlichtrobustheit verbessert werden kann. Des Weiteren kann durch Verwendung der Laservorrichtung das Licht unsichtbar für einen Nutzer oder Träger der Datenbrille sein. Vorteilhafterweise ist eine Integrierbarkeit in einen RGB-Laserscanner möglich.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung einer Datenbrille mit einer Laservorrichtung gemäß einem Ausführungsbeispiel;
2 eine schematische Schnittdarstellung eines Auges mit einem Strahlenverlauf von Licht;
3 eine schematische Darstellung eines vergrößerten Augenabschnitts gemäß einem Ausführungsbeispiel;
4 eine schematische Darstellung einer Mehrzahl von Abtastlinien gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung eines Ausführungsbeispiels eines Bildes;
6 eine schematische Diagrammdarstellung eines Ausführungsbeispiels eines Histogramms;
7 eine schematische Darstellung eines Ausführungsbeispiels eines transformierten Bildes;
8 eine schematische Darstellung eines Ausführungsbeispiels eines Bildes;
9 eine schematische Darstellung eines Ausführungsbeispiels einer digitalen Logik;
10 eine schematische Darstellung eines Ausführungsbeispiels eines erzeugten Bildes;
11 eine schematische Darstellung eines Ausführungsbeispiels eines Bildes;
12 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung; und
13 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung einer Datenbrille 100 mit einer Laservorrichtung 102 gemäß einem Ausführungsbeispiel. Die Laservorrichtung 102 weist beispielsweise eine Lichtquelle 104 zum Aussenden von Licht zum Abtasten eines Auges entlang mindestens einer Abtastlinie und einen Sensor 106 zum Erfassen einer Mehrzahl an dem Auge entlang der Abtastlinie reflektierten Reflexionsstrahlen des Lichts auf, um eine Mehrzahl von Lichtintensitätswerten zu erhalten. Die Lichtintensitätswerte repräsentieren dabei Intensitäten der entlang der Abtastlinie reflektierten Reflexionsstrahlen, um ein Bild des Auges entlang der Abtastlinie unter Verwendung der Lichtintensitätswerte zu erzeugen und um eine Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes zu bestimmen. Weiterhin ist ein großer Lichtintensitätswert einem an der Retina des Auges reflektierten Reflexionsstrahl und ein im Vergleich zu dem großen Lichtintensitätswert kleiner Lichtintensitätswert einem außerhalb der Retina des Auges reflektierten Reflexionsstrahl zugeordnet oder zuordenbar. Die Laservorrichtung 102 weist zudem eine Vorrichtung 108 auf, die ausgebildet ist, um ein Verfahren zum Bestimmen der Augenposition anzusteuern oder durchzuführen.
Beispielsweise ist die Lichtquelle 104 ausgebildet, um das Licht zum Abtasten eines Auges nacheinander entlang benachbarter geradliniger Abtastlinien auszugeben. Auf diese Weise kann das gesamte Auge oder ein relevanter Abschnitt des Auges abgetastet werden. Das entsprechende Verfahren wird anhand der nachfolgenden Figuren näher beschrieben.
Gemäß einem Ausführungsbeispiel ist die Laservorrichtung 102 ausgebildet, um die Augenposition und somit beispielsweise einen Blickvektor in einer kopfgetragenen Datenbrille 100 durch Verwendung des Verfahrens zu bestimmen.
Damit das Messverfahren funktioniert, liegt der als Erfassungssensor dienende Sensor 106 gemäß einem Ausführungsbeispiel in der Achse des von der Lichtquelle 104 ausgesendeten Lichtstrahls, typischerweise eines Laserstrahls. Dies lässt sich insbesondere durch die Verwendung eines Laser Feedback Interferometers (LFI Sensors) mit einer in einen Rückreflektor des Lasers integrierten Fotodiode realisieren wobei der Laser selbst für die Beleuchtung, also als Lichtquelle 104, und die Fotodiode im Rückreflektor für den Empfang, also als Sensor 106, verwendet werden. Alternativ lässt sich über einen Strahlteiler, einem sogenannten Beamsplitter, ebenfalls ein Fotodetektor in den Laserpfad einfalten was eine alternative Ausführungsform ist.
2 zeigt eine schematische Schnittdarstellung eines Auges 200 mit einem Strahlenverlauf von Licht 202. Das Licht 200 dringt dabei durch die Hornhaut 204 des Auges 200, die auch als Cornea bezeichnet wird, und trifft gemäß diesem Ausführungsbeispiel auf die Linse 206 des Auges 200, die in der Regel das auf sie einfallende Licht 202 auf einen Punkt in einem hinteren Augenabschnitt 208 des Auges 200 fokussiert. Der Augenabschnitt 208 ist in 3 vergrößert dargestellt und wird dort näher beschrieben. Im Augenabschnitt 208 ist weiterhin die Retina 210 des Auges 200 angeordnet, auf welche die Linse 204 das Licht 202 fokussiert. An der Retina 210 wird insgesamt das Licht 202 besser reflektiert als an anderen Bereichen des Auges 200.
Vor diesem Hintergrund wird mittels der Laservorrichtung, die beispielsweise einen Laser-Feedback-Interferometrie-Sensor (LFI) aufweist, das Auge 200 gescannt und ein Interferenzsignal beobachtet, um die Position der Pupille zu bestimmen. Das bedeutet anders ausgedrückt, dass an dem Auge 200 reflektiertes Licht mittels mindestens eines Reflexionsstrahls von dem Sensor erfasst und verwendet wird, um eine Augenposition zu bestimmen. Das Licht 202 wird dabei lediglich optional unter Verwendung eines MEMS Mikrospiegels über das Auge 200 gescannt. Dabei wird vorzugsweise ein sinusodialer Scanweg verwendet, der eine Mehrzahl von zeilenweisen Abtastlinien repräsentiert, wie sie beispielsweise in 4 beschrieben ist. Während des Scanvorgangs wird eine optische Leistung einer Lichtquelle, beispielsweise eines Lasers, kontinuierlich durch eine in einen Rückreflektor einer Halbleiterkomponente integrierte Fotodiode gesampelt. Fällt das Licht 202 beispielsweise auf die Retina 210, führt dies zu einer starken Rückstreuung, da die Reflektivität der Retina 210 stärker ist als die der anderen Komponenten des Auges 200, wie beispielsweise der Iris oder der Sclera, sodass ein roter Augeneffekt ausgenutzt wird. Dies führt zu einer Amplitudenmodulation der optischen Leistung für den Augenabschnitt 208, indem das Licht 202 durch die Pupille hindurch auf der Retina 210 abgebildet wird.
3 zeigt eine schematische Darstellung eines vergrößerten Augenabschnitts 208 gemäß einem Ausführungsbeispiel. Der Augenabschnitt 208 entspricht beispielsweise dem in 2 beschriebenen Augenabschnitt 208. Beispielsweise ist hier die in 2 erwähnte Amplitudenmodulation schematisch abgebildet, bei der die Amplitude, beziehungsweise eine Lichtintensität, mindestens eines Reflexionsstrahls 300, genauer gesagt einer Mehrzahl 302 von Reflexionsstrahlen 300 des zurückgestreuten Lichts, durch Speckling moduliert. Dabei wird eine optische Rauheit der Retina 210 ausgenutzt. Die Rauheit der Retina 210 hängt dabei mit der Anatomie des Auges zusammen und verhält sich für alle Menschen ähnlich. Gemäß diesem Ausführungsbeispiel ist dargestellt, wie sich das Licht 202 verhält, wenn es auf die Retina 210 trifft.
Wie auch in 2 beschrieben, durchdringt das Licht 202 die Cornea und wird zunächst von der Linse auf die Retina 210 fokussiert. Dort trifft das Licht 202 mit seiner kohärenten Wellenfront auf die Oberfläche der Retina 210. Ein Teil der einlaufenden Wellenfront wird direkt von der Oberfläche der Retina 210 reflektiert, wobei dabei eine Wellenfront 304 der Reflexionsstrahlen 300 durch die Signallaufzeiten durch die raue Oberfläche der Retina 210 verzerrt wird. Ein weiterer Anteil des Lichts 202 tritt in die oberen Gewebeschichten der Retina 210 ein und wird von dort reflektiert. Die weiteren Reflexionsstrahlen 306 des weiteren Anteils sind demnach ebenfalls verzerrt und führen zu einer verzerrten weiteren Wellenfront. Durch diese beiden Effekte kommt es zu einer konstruktiven oder destruktiven Interferenz im LFI-Sensor, sodass sich eine Licht- oder Lasergranulation, die auch als „bright“ und „dark speckle“ bezeichnet werden, normalverteilt im Bereich der Retina 210 und somit der Pupille in einem erzeugten Bild ausbilden. Diese Effekte werden ausgenutzt, um einen besonders effizienten Algorithmus zur Bestimmung der Position der Pupille aus dem gescannten Bild zu ermitteln.
4 zeigt eine schematische Darstellung einer Mehrzahl 400 von Abtastlinien 402 gemäß einem Ausführungsbeispiel. Die Mehrzahl 400 von Abtastlinien 402 weist dabei mindestens die Abtastlinie 402 und eine weitere Abtastlinie 404 auf, die schräg zueinander angeordnet sind. Die Abtastlinien 402, 404 sind gemäß diesem Ausführungsbeispiel zickzackartig zueinander angeordnet und repräsentieren einen Abtastweg des Lichts. Das bedeutet, dass das Licht ebenfalls zickzackartig ausgegeben wird, sodass es den Abtastlinien 402, 404 folgt, um das Auge abzutasten oder zu scannen, um beispielsweise ein Bild zu erzeugen. Beispielsweise ist das Bild zweidimensional realisierbar. Weiterhin ist es möglich, zeilenweise Subbilder zu erstellen, die zusammengesetzt das Bild als Abbild des Auges ergeben.
5 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Bildes 500. Das Bild 500 entspricht einem Abbild des Auges, wie es beispielsweise unter Verwendung der in 3 beschriebenen Reflexionsstrahlen erzeugt wurde. Das Bild 500 ist beispielsweise mittels einer Laservorrichtung einer Datenbrille erzeugt worden, wie sie in 1 beschrieben wurde.
Gemäß diesem Ausführungsbeispiel weist das Bild 500 einen Bereich 502 auf, der sich von seiner Umgebung 504 in seiner Helligkeit abhebt. Da das Bild 500 unter Verwendung von unterschiedlichen Lichtintensitätswerten der Reflexionsstrahlen erzeugt wurde und die Rückstrahlung im Bereich der Retina des Auges besser ist als an anderen Komponenten des Auges, ist davon auszugehen, dass die eine Position der Retina dem Bereich 502 entspricht. Gemäß diesem Ausführungsbeispiel entspricht das Bild 500 einem unverarbeiteten Rohbild, das lediglich optional weiterverarbeitet wird, um beispielsweise Kontraste hervorzuheben und so die Augenposition genauer zu bestimmen. Um einen Signalbeitrag der Pupille im Gesamtsignal zu isolieren, wird also beispielsweise zunächst ein Teilbereich eines Histogramms aus dem Bild 500 selektiert.
Gemäß diesem Ausführungsbeispiel ist das Bild 500 als Rohsignal des Amplitudensignals des Sensors für einen zweidimensionalen Scan über das Auge dargestellt. Der Bereich 502 stellt dabei die Position der Pupille dar. Durch die höhere Reflektivität (Rote Augen Effekt) der Retina setzt sich die gemessene Amplitude der optischen Leistung vom Rest des Bildes, was der Umgebung 504 entspricht, in der Amplitude, das bedeutet beispielsweise eine Höhe von Pixelwerten, ab. Somit wird beispielsweise und lediglich optional über eine Histogrammtransformation der entsprechende Signalbeitrag vom Restsignal separiert.
6 zeigt eine schematische Diagrammdarstellung eines Ausführungsbeispiels eines Histogramms 600. Das Histogramm ähnelt beispielsweise dem in 5 erwähnten Histogramm 600. Gemäß diesem Ausführungsbeispiel ist zusätzlich beispielsweise eine Gaußkurve 602 dargestellt. Für die Separation im Histogramm 600 ist beispielsweise die Gaußkurve 602 sinnvoll anzuwenden, da das Separieren der Signale unter Berücksichtigung ihrer statistischen Eigenschaften, wie beispielsweise eine Normalverteilung von Speckle Amplituden, vereinfacht wird.
Die Kurve lässt sich dabei über ihren Peak 604, ihren linken Nullpunkt 606 sowie über ihren rechten Nullpunkt 608 beschreiben. Diese Gaußfunktion wird beispielsweise im Rahmen einer Kalibrierung einmalig gefittet. Dazu wird die Kurve 602 mit einer Breite b mit einer Schrittbreite von mindestens 1 über das Histogramm 600 geschoben und ein Schwerpunkt (cx, cy) der Pixel berechnet.
Sobald die Änderung des Schwerpunktes unter einen definierten Threshold fällt, beispielsweise 10 Pixel, ist eine Histogrammtransformationsfunktion für den User kalibriert. Neben einer Gaußfunktion sind auch beliebige andere Funktionen, wie beispielsweise eine Stufenfunktion oder eine Rechteckfunktion verwendbar. Weiterhin optional ist auch die Breite b der Histogrammtransformationsfunktion kalibrierbar, wobei zunächst von einem großen b zu einem kleineren Wert für b iteriert wird. In 7 ist beispielhaft das Bild nach der Transformation dargestellt.
7 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines transformierten Bildes 700. Das transformierte Bild 700 ähnelt beispielsweise dem in 5 beschriebenen Bild mit Ausnahme dessen, dass Graustufen herausgefiltert wurden. Das bedeutet, dass die Transformation, wie sie beispielsweise in 6 anhand des Histogramms beschrieben wurde, einen größeren Kontrast zwischen dem Bereich 502 und der Umgebung 504 im Bild 700 bewirkt. Anders ausgedrückt ist das Speckle Pattern, welches von der Retina über die Pupille abgebildet wird, vom Rest des Bildes 700 weitestgehend isoliert. Um das Pupillenzentrum und die Pupillengröße zu bestimmen, wird eine mathematische Funktion auf das Bild 700 gefittet, beispielsweise eine multivariate Gaußverteilung. Die multivariate Gaußverteilung beschreibt die Form der Pupille (Ellipse / Kreis) ausreichend und berücksichtigt dabei das unterliegende physikalische Wirkprinzip, ein sogenanntes normalverteiltes Speckling. Weitere Funktionen, die verwendet werden, sind Kreise und Ellipsen oder Rechteckfunktionen. Für das Fitting der Gaußfunktion werden zunächst Bildmomente erster und zweiter Ordnung bestimmt. Die Bildmomente lassen sich allgemein durch $M_{i j} = \sum_{x} \sum_{y} x^{i} y^{i} I (x, y)$
bestimmen. Aus den Momenten M10, M01 und M00 wird anschließend der Bildschwerpunkt, ${\bar{x}, \bar{y}} = {\frac{M_{10}}{M_{00}}, \frac{M_{01}}{M_{00}}}$
der Mittelpunkt der Gaußverteilung und somit das Pupillenzentrum bestimmt. Anschließend wird aus den Momenten zweiter Ordnung M20, M02, M11 und M00 die Kovarianzmatrix des Bildes 700 bestimmt. $μ'_{20} = μ_{20} / μ_{00} = M_{20} / M_{00} - {\bar{x}}^{2}$
$μ'_{02} = μ_{02} / μ_{00} = M_{02} / M_{00} - {\bar{y}}^{2}$
$μ'_{11} = μ_{11} / μ_{00} = M_{11} / M_{00} - \bar{x} \bar{y}$
und $c o v [I (x, y)] = [\begin{matrix} μ'_{20} & μ'_{11} \\ μ'_{11} & μ'_{02} \end{matrix}]$
Die Hauptkomponenten der Kovarianzmatrix µ'20 und µ'02 entsprechen dabei der Varianz und somit der Länge der Hauptachsen der Gaußfunktion. Die Länge der Hauptachsen entspricht weiterhin dem Durchmesser der Pupille. Da die Pupille kreisrund ist, ist somit aus dem Quotienten µ'20 und µ'02 ein Ausdruck für die Güte der Pupillendetektion bestimmbar, wobei 1 einer perfekt runden und $f x (x_{1}, \dots x_{k}) = \frac{exp {(- \frac{1}{2} (x - μ)}^{T} \sum^{- 1} (x - μ))}{\sqrt{{(2 π)}^{k} | \sum |}}$
somit perfekt gefitteten Pupille entspricht. Basierend auf dieser Güte lassen sich somit die Steuerung der Bildprojektion der Datenbrille beeinflussen. Für das Fitting der Gaußfunktion wird die allgemeine Beschreibung der multivarianten Gaußverteilung
als Optimierungsfunktion verwendet. Für den Fittingvorgang wird beispielsweise ein Ansatz der kleinsten Fehlerquadrate verwendet.
8 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Bildes 500. Das hier dargestellte Bild 500 ähnelt beispielsweise dem in einer der 5 oder 7 beschriebenen Bild. Gemäß diesem Ausführungsbeispiel ist eine gefittete 2-dimensionale Gaußfunktion über das histogrammkorrigierte Bild, wie es in 7 als transformiertes Bild beschrieben wurde, als Konturplot dargestellt. Gemäß diesem Ausführungsbeispiel sind demnach Ringe 802 über den Bereich 502 gelegt, die dies verdeutlichen. Durch die Verwendung der Gaußfunktion wird die Robustheit verbessert, wenn nur ein Teil der Pupille zu sehen ist, wenn beispielsweise das Auge den Abtastbereich mindestens teilweise verlässt, da die Gaußfunktion auch aus wenigen Stützstellen bestimmbar ist.
Neben dem so genannten iterativen Fitten der Funktion lässt sich zur Reduktion der Rechenleistung die Multivariate Gaußfunktion auch direkt aus den Rohdaten berechnen, die beispielsweise dem in 5 beschriebenen Bild entsprechen. Ebenfalls lassen sich die Bildmomente parallel berechnen. Zum Reduzieren des Speicherbedarfs ist ebenfalls die iterative zeilenweise Berechnung der benötigten Bildmomente oder Pixel möglich. Gemäß diesem Ausführungsbeispiel ist also eine beispielhafte Realisierung der Berechnung der Pupillenmittelpunkte sowie der Pupillendurchmesser in digitaler Logik dargestellt, beispielsweise einer im Feld programmierbaren Gatter-Anordnung (FPGA) oder einer anwendungsspezifischen integrierten Schaltung (ASIC).
9 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer digitalen Logik 900, wie sie beispielsweise in 8 erwähnt wurde. Bei einer zeilenweisen Abtastung des Auges wird beispielsweise bereits während der Bildaufnahme die Position der Pupille px, py sowie die Ausdehnung der Pupille in x- und y- Richtung wx, wy bestimmt. Dazu werden die abgetasteten Zeilen des Bildes 500 abwechselnd nach geraden und ungeraden Zeilen in Buffer 904, 906 geschrieben und anschließend in umgekehrter Reinfolge die entsprechenden Bildmomente M00 bis M21 nach der in 7 genannten Gleichung summiert und multipliziert. Dabei wird immer das Ergebnis der vorangegangenen Zeile mitgeführt. Ist die letzte Zeile der Bildaufnahme erreicht, werden die akkumulierten Momente des Bildes 500 anschließend über einen Multiplexer 908 zur Berechnung der Pupillenposition und der Momente weitergeleitet. Für ein MxN Bild reduziert sich dadurch der benötigte Speicherbedarf für den Bildspeicher auf Mx2.
Da selbst nach der Bildvorverarbeitung noch Ausreißer enthalten sind kann es zu einem Offset zwischen dem wahren Pupillenmittelpunkt und dem aus den Daten geschätzten Pupillenmittelunkt kommen. Dieser ist im Wesentlichen auf Ausreißer im 2D-Bild zurückzuführen, die beispielsweise durch Verunreinigungen des Brillenglases oder des MEMS-Spiegels hervorgerufen werden. Weiterhin sind starke Reflexe durch die Benetzung des Auges mit Tränenflüssigkeit denkbar, die ebenfalls zu einer starken Reflexion des Lichtes und somit zu hohen Amplituden in der optischen Leistung des Lasers führen. Da diese nicht mit der Position der Pupille korrelieren und nicht der Gaußverteilung entsprechen, müssen sie entsprechend unterdrückt werden, um Genauigkeiten des Funktionsfittings zu steigern.
Für diese Unterdrückung wird beispielsweise ein morphologischer Filter verwendet, der einzelne Pixel unterdrückt. Weiterhin ist über die Distanz zum geschätzten Zentrum der Pupille die Zugehörigkeit zur Pupille ermittelbar. Dabei nimmt die Wahrscheinlichkeit mit der euklidischen Distanz zum geschätzten Zentrum quadratisch ab (1/r^2) und Pixel die weiter weg sind werden mit diesem quadratischen Strafterm multipliziert und somit unterdrückt.
Um die Leistungsaufnahme weiter zu reduzieren, kann weiteres Modellwissen zur Optimierung der Pupillendetektion hinzugezogen werden, wie er beispielsweise in der nachfolgenden 10 beschrieben wird.
10 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines erzeugten Bildes 500. Das Bild 500 ähnelt beispielsweise dem in einer der 5, 7, 8, 9 beschriebenen Bild. Gemäß diesem Ausführungsbeispiel ist lediglich die Verwendung des Modellwissens über die Pupille und den Aufbau des Bildes 500 während des Scanvorgangs dargestellt. Dabei wird zur Einschränkung des Suchraums im Bild 500 und der damit verbundenen Anzahl an Additionen und Multiplikationen zur Bestimmung der Pupillenparameter ein Subbild 1002 basierend auf der letzten Pupillenposition px, py und dem letzten Pupillendurchmesser ermittelt.
Das Subbild 1002 wird dabei so gewählt, dass das Zentrum der zuletzt detektierten Pupille im Zentrum des Subbildes 1002 liegt und die Ausdehnung der Pupille sowie einen zusätzlichen Offset, beispielsweise zur Berücksichtigung eines Toleranzbereichs, umfasst. Der zusätzliche Offset dient dazu, dass die komplette Pupille vom Subbild 1002 erfasst wird, auch wenn sich die Pupille zwischen den Bildern bewegt hat. Das Nachführen dieses Subbildes 1002 lässt sich basierend auf der Geschwindigkeit des Auges realisieren, wie es in 11 beschrieben wird.
11 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Bildes 500. Das Bild 500 ähnelt beispielsweise dem in 10 beschriebenen Bild 500, wobei gemäß diesem Ausführungsbeispiel das Bild 500 ein Abbild des Auges zeigt, genauer gesagt einer Pupille 1102, die sich von einer initialen Augenposition 1104 zu einer finalen Augenposition 1106 bewegt hat. Gemäß diesem Ausführungsbeispiel ist also ein Effekt einer elliptischen Verzerrung der Pupille 1102 dargestellt, die während der zeilenweisen Bildaufnahme durch die Augenbewegung entstanden ist. Dies führt weiterhin zu einer Verformung der Hauptachsen der Gaußfunktion, die zur Beschreibung der Pupillenfunktion vorzugsweise verwendet wird.
Anders ausgedrückt bewegt sich die Pupille 1102 von der initialen Position 1104 zu der finalen Position 1106, die erreicht wird, wenn die Bildaufnahme abgeschlossen ist, während das zweidimensionale Bild 500 aufgenommen wird. Daraus resultiert eine Verzerrung der Pupille 1102 in einem finalen Bild. Um eine Geschwindigkeit aus den Pupillenverzerrungen zu bestimmen, werden zunächst aus einer Kovarianzmatrix die Hauptachsen 1108, 1110 einer resultierenden Ellipse bestimmt. Weiterhin wird gemäß einem Ausführungsbeispiel ein Winkel 1112 zwischen den Bildnormalen 1114 und den Hauptachsen 1108, 1110 der Verteilung bestimmt. Daraus lässt sich eine Richtung und Geschwindigkeit der Bewegung der Pupille 1102 bestimmen. Gemäß einem Ausführungsbeispiel wird aus dem Verhältnis der Amplituden und des Winkels 1112 die Geschwindigkeitsrichtung sowie die Amplitude der Geschwindigkeit bestimmt. Mit dieser zusätzlichen Information lässt sich zum einen eine geschwindigkeitsbasierte Wahl eines Subbildes realisieren und weiterhin ist darüber eine Systemlatenz zum Beispiel für die Bildprojektion reduzierbar.
12 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 1200 zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung. Das Verfahren 1200 wird dabei für eine angewandt, wie sie beispielsweise in 1 beschrieben wurde. Das Verfahren 1200 umfasst dazu einen Schritt 1202 des Aussendens, einen Schritt 1204 des Erfassens, einen Schritt 1206 des Erzeugens und einen Schritt 1208 des Bestimmens. Im Schritt 1202 des Aussendens wird dabei Licht zum Abtasten eines Auges entlang mindestens einer Abtastlinie ausgesandt. Im Schritt 1204 des Erfassens wird daraufhin eine Mehrzahl an dem Auge entlang der Abtastlinie reflektierten Reflexionsstrahlen des Lichts erfasst, um eine Mehrzahl von Lichtintensitätswerten zu erhalten, wobei die Lichtintensitätswerte Intensitäten der entlang der Abtastlinie reflektierten Reflexionsstrahlen repräsentieren. Im Schritt 1206 des Erzeugens wird ein Bild des Auges entlang der Abtastlinie unter Verwendung der Lichtintensitätswerte erzeugt, wobei ein großer Lichtintensitätswert einem an der Retina des Auges reflektierten Reflexionsstrahl und ein im Vergleich zu dem großen Lichtintensitätswert kleiner Lichtintensitätswert einem außerhalb der Retina des Auges reflektierten Reflexionsstrahl zugeordnet oder zuordenbar ist. Im Schritt 1208 des Bestimmens wird die Augenposition des Auges, das bedeutet beispielsweise ein Pupillenzentrum und/oder eine Pupillengröße, unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt.
Lediglich optional umfasst das Verfahren 1200 einen Schritt 1210 des Transformierens des Bildes unter Verwendung einer Funktion, um ein transformiertes Bild mit transformierten Lichtintensitätswerten zu erhalten. Die Augenposition wird daraufhin unter Verwendung von Amplituden der transformierten Lichtintensitätswerte bestimmt. Weiterhin optional wird dazu eine Gaußfunktion, Stufenfunktion oder eine Rechteckfunktion durchgeführt.
Gemäß diesem Ausführungsbeispiel wird im Schritt 1202 des Ausgebens das Licht zum Abtasten des Auges entlang der Abtastlinie ausgegeben, die eine Zeile des im Schritt 1206 des Erzeugens erzeugten Bildes repräsentiert. Vereinfacht ausgedrückt wird das Licht zeilenweise ausgegeben. Ebenfalls optional wird das Licht entlang einer Mehrzahl von Abtastlinien ausgesandt, sodass im Schritt 1204 des Erfassens die Mehrzahl an dem Auge entlang der Mehrzahl von Abtastlinien reflektierten Reflexionsstrahlen des Lichts erfasst wird, um die Mehrzahl von Lichtintensitätswerten zu erhalten. Die Lichtintensitätswerte repräsentieren dabei Intensitäten der entlang der Mehrzahl von Abtastlinien reflektierten Reflexionsstrahlen. Das bedeutet, dass folglich im Schritt 1206 des Erzeugens das Bild als ein zweidimensionales Abbild des Auges entlang der Mehrzahl von Abtastlinien unter Verwendung der Lichtintensitätswerte erzeugt wird, und dass im Schritt 1208 des Bestimmens die Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt wird, sodass für einen Rezipienten der Eindruck einer gleichzeitigen Erfassung und Berechnung entsteht.
Alternativ wird im Schritt 1202 des Aussendens das Licht entlang einer einzigen Abtastlinie ausgesandt, sodass in einem optionalen Schritt 1212 des Vorbestimmens ein Augenpositionswert des Auges unter Verwendung von Amplituden der Lichtintensitätswerte innerhalb des Bildes bestimmt wird. Die Schritte 1202, 1204, 1206, 1208, 1210, 1212 des Verfahrens 1200 werden für weitere Abtastlinien wiederholt ausgeführt, um weitere Augenpositionswerte, beispielsweise zeilenweise, vorzubestimmen. Im Schritt 1208 des Bestimmens wird die Augenposition des Auges unter Verwendung der Mehrzahl von Augenpositionswerten bestimmt, was beispielsweise als iteratives Fitten bezeichnet wird. Weiterhin optional wird im Schritt 1206 des Erzeugens das Bild als ein Subbild entlang eines Abschnitts der Abtastlinie erzeugt, wobei der Abschnitt unter Verwendung einer vorhergehend bestimmten Augenposition definiert wird. Das bedeutet, dass die Schritte 1202, 1204, 1206, 1208, 1210, 1212 des Verfahrens 1200 beispielsweise wiederholt durchführbar sind oder durchgeführt werden.
Im Schritt 1208 des Bestimmens werden gemäß diesem Ausführungsbeispiel einzelne Bildmomente unter Verwendung der Lichtintensitätswerte bestimmt, aus den Bildmomenten ein Bildschwerpunkt des Bildes, und aus dem Bildschwerpunkt wird eine Position eines Pupillenzentrums einer Pupille des Auges als die Augenposition bestimmt. Ferner wird optional im Schritt 1208 des Bestimmens aus den Bildmomenten eine Kovarianzmatrix des Bilds und aus der Kovarianzmatrix eine Pupillengröße der Pupille bestimmt, beispielsweise berechnet. Daraufhin ist es lediglich optional möglich, ebenfalls im Schritt 1208 des Bestimmens unter Verwendung der Kovarianzmatrix eine Güte der Bestimmung der Augenposition zu bestimmen.
Insgesamt kann es sich hier um ein Verfahren 1200 handeln, das von einer der anhand der vorangegangenen Figuren beschriebenen Vorrichtungen ausführbar ist oder durch welches Bilder erzeugt oder verändert werden, wie sie in den vorangegangenen Figuren detailliert beschrieben wurden.
13 zeigt ein Blockschaltbild einer Vorrichtung 108 gemäß einem Ausführungsbeispiel. Die hier beschriebene Vorrichtung 108 entspricht beispielsweise der in 1 beschriebenen Vorrichtung 108 und ist demnach als Teil einer Laservorrichtung, wie sie als Teil einer Datenbrille in 1 beschrieben wurde, realisiert oder realisierbar. Die Vorrichtung 108 umfasst lediglich optional zum Durchführen des Verfahrens, wie es beispielsweise in 12 beschrieben wurde, eine digitale Logik, wie sie in 9 beispielhaft dargestellt und beschrieben wurde.
Die Vorrichtung 108 weist jedoch mindestens eine Aussendeeinheit 1300, eine Erfassungseinheit 1302, eine Erzeugungseinheit 1304 und eine Bestimmeinheit 1306 auf. Die Aussendeeinheit 1300 ist dabei ausgebildet, um ein Aussenden von Licht zum Abtasten eines Auges entlang mindestens einer Abtastlinie zu bewirken. Die Erfassungseinheit 1302 ist ausgebildet, um eine Mehrzahl von Lichtintensitätswerten 1308 von an dem Auge entlang der Abtastlinie reflektierten und erfassten Reflexionsstrahlen des Lichts zu erhalten, wobei die Lichtintensitätswerte 1308 Intensitäten der entlang der Abtastlinie reflektierten Reflexionsstrahlen repräsentieren. Die Erzeugungseinheit 1304 ist ausgebildet, um ein Bild des Auges entlang der Abtastlinie unter Verwendung der Lichtintensitätswerte 1308 zu erzeugen, wobei ein großer Lichtintensitätswert 1310 einem an der Retina des Auges reflektierten Reflexionsstrahl und ein im Vergleich zu dem großen Lichtintensitätswert 1310 kleiner Lichtintensitätswert 1312 einem außerhalb der Retina des Auges reflektierten Reflexionsstrahl zugeordnet oder zuordenbar ist. Die Bestimmeinheit 1306 ist ausgebildet, um die Augenposition des Auges unter Verwendung von Amplituden der Lichtintensitätswerte 1308, 1310, 1312 innerhalb des Bildes zu bestimmen.
Der in 12 beschriebene optionale Schritt des Vorbestimmens ist beispielsweise in der Erzeugungseinheit 1304 durchführbar. Alternativ ist es denkbar, dass die Vorrichtung 108 eine eigene Vorbestimmeinheit 1314 für genau diesen Zweck aufweist. Ebenso verhält es sich mit dem in 12 beschriebenen Schritt des Transformierens, der beispielsweise in der Bestimmeinheit 1306 vor dem Bestimmen der Augenposition durchführbar ist. Alternativ und lediglich optional weist die Vorrichtung 108 eine eigens dafür bestimmte Transformationseinheit 1316 auf.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 10394034 B2 [0003]

Claims

Verfahren (1200) zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung (102) für eine Datenbrille (100), wobei das Verfahren (1200) die folgenden Schritte umfasst: Aussenden (1202) von Licht (202) zum Abtasten eines Auges (200) entlang mindestens einer Abtastlinie (402); Erfassen (1204) einer Mehrzahl (302) an dem Auge (200) entlang der Abtastlinie (402) reflektierten Reflexionsstrahlen (300, 306) des Lichts (202), um eine Mehrzahl von Lichtintensitätswerten (1308, 1310, 1312) zu erhalten, wobei die Lichtintensitätswerte (1308, 1310, 1312) Intensitäten der entlang der Abtastlinie (402) reflektierten Reflexionsstrahlen (300, 306) repräsentieren; Erzeugen (1206) eines Bildes (500; 500; 500; 500; 500) des Auges (200) entlang der Abtastlinie (402) unter Verwendung der Lichtintensitätswerte (1308, 1310, 1312), wobei ein großer Lichtintensitätswert (1310) einem an der Retina (210) des Auges (200) reflektierten Reflexionsstrahl (300, 306) und ein im Vergleich zu dem großen Lichtintensitätswert (1310) kleiner Lichtintensitätswert (1312) einem außerhalb der Retina (210) des Auges (200) reflektierten Reflexionsstrahl (300, 306) zugeordnet oder zuordenbar ist; und Bestimmen (1208) der Augenposition des Auges (200) unter Verwendung von Amplituden der Lichtintensitätswerte (1308, 1310, 1312) innerhalb des Bildes (500).
Verfahren (1200) gemäß Anspruch 1, wobei im Schritt (1202) des Ausgebens das Licht (202) zum Abtasten des Auges (200) entlang der Abtastlinie (402) ausgegeben wird, die eine Zeile des im Schritt (1206) des Erzeugens erzeugten Bildes (500) repräsentiert.
Verfahren (1200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (1210) des Transformierens des Bildes (500) unter Verwendung einer Funktion, um ein transformiertes Bild (700) mit transformierten Lichtintensitätswerten zu erhalten, wobei im Schritt (1208) des Bestimmens die Augenposition unter Verwendung von Amplituden der transformierten Lichtintensitätswerte bestimmt wird.
Verfahren (1200) gemäß Anspruch 3, wobei der Schritt (1210) des Transformierens unter Verwendung einer Gaußfunktion, Stufenfunktion oder einer Rechteckfunktion durchgeführt wird.
Verfahren (1200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (1202) des Aussendens das Licht (202) entlang einer Mehrzahl (400) von Abtastlinien (402, 404) ausgesandt wird, wobei im Schritt (1204) des Erfassens die Mehrzahl (302) an dem Auge entlang der Mehrzahl (400) von Abtastlinien (402, 404) reflektierten Reflexionsstrahlen (300, 306) des Lichts (202) erfasst wird, um die Mehrzahl (1308) von Lichtintensitätswerten (1310, 1312) zu erhalten, wobei die Lichtintensitätswerte (1308, 1310, 1312) Intensitäten der entlang der Mehrzahl (400) von Abtastlinien (402, 404) reflektierten Reflexionsstrahlen (302, 300, 306) repräsentieren, wobei im Schritt (1206) des Erzeugens das Bild (500) als ein zweidimensionales Abbild des Auges (200) entlang der Mehrzahl (400) von Abtastlinien (402, 404) unter Verwendung der Lichtintensitätswerte (1308, 1310, 1312) erzeugt wird, und wobei im Schritt (1208) des Bestimmens die Augenposition des Auges (200) unter Verwendung von Amplituden der Lichtintensitätswerte (1308, 1310, 1312) innerhalb des Bildes (500) bestimmt wird.
Verfahren (1200) gemäß einem der Ansprüche 1 bis 4, wobei im Schritt (1202) des Aussendens das Licht (202) entlang einer einzigen Abtastlinie (402) ausgesandt wird, wobei in einem Schritt (1212) des Vorbestimmens ein Augenpositionswert des Auges (200) unter Verwendung von Amplituden der Lichtintensitätswerte (1308, 1310, 1312) innerhalb des Bildes (500) bestimmt wird, wobei die Schritte (1202, 1204, 1206, 1208, 1210, 1212) des Verfahrens (1200) für weitere Abtastlinien (400, 402, 404) wiederholt ausgeführt werden, um weitere Augenpositionswerte vorzubestimmen, und wobei im Schritt (1208) des Bestimmens die Augenposition des Auges (200) unter Verwendung der Mehrzahl von Augenpositionswerten bestimmt wird.
Verfahren (1200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (1208) des Bestimmens einzelne Bildmomente unter Verwendung der Lichtintensitätswerte (1308, 1310, 1312) bestimmt werden, wobei aus den Bildmomenten ein Bildschwerpunkt des Bildes (500) bestimmt wird, und aus dem Bildschwerpunkt eine Position eines Pupillenzentrums einer Pupille (1102) des Auges (200) als die Augenposition bestimmt wird.
Verfahren (1200) gemäß Anspruch 7, wobei im Schritt (1208) des Bestimmens aus den Bildmomenten eine Kovarianzmatrix des Bilds (500) bestimmt wird, und aus der Kovarianzmatrix eine Pupillengröße der Pupille (1102) bestimmt wird.
Verfahren (1200) gemäß Anspruch 8, wobei im Schritt (1208) des Bestimmens unter Verwendung der Kovarianzmatrix eine Güte der Bestimmung der Augenposition bestimmt wird.
Verfahren (1200) gemäß Anspruch 8 oder 9, wobei im Schritt (1208) des Bestimmens unter Verwendung der Kovarianzmatrix eine Bewegung der Pupille (1102) bestimmt wird.
Verfahren (1200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (1206) des Erzeugens das Bild (500) als ein Subbild (1002) entlang eines Abschnitts der Abtastlinie (402, 404) erzeugt wird, wobei der Abschnitt unter Verwendung einer vorhergehend bestimmten Augenposition definiert wird.
Verfahren (1200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (1204) des Erfassens die reflektierten Reflexionsstrahlen (300, 306) des Lichts (202) unter Verwendung eines Sensors (106) erfasst werden, der in der Achse des im Schritt des Aussendens (1202) ausgesendeten Lichts (202) liegt oder in die Achse eingefaltet ist.
Vorrichtung (108), die eingerichtet ist, um die Schritte (1202, 1204, 1206, 1208, 1210, 1212) des Verfahrens (1200) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (1300, 1302, 1304, 1306, 1314, 1316) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte des Verfahrens gemäß einem der Ansprüche 1 bis 12 auszuführen und/oder anzusteuern.
Laservorrichtung (102) für eine Datenbrille (100), wobei die Laservorrichtung (102) die folgenden Merkmale aufweist: eine Lichtquelle (104) zum Aussenden von Licht (202) zum Abtasten eines Auges (200) entlang mindestens einer Abtastlinie (402, 404); einen Sensor (106) zum Erfassen einer Mehrzahl (302) an dem Auge (200) entlang der Abtastlinie (402, 404) reflektierten Reflexionsstrahlen (300, 306) des Lichts (202), um eine Mehrzahl (1308) von Lichtintensitätswerten (1310, 1312) zu erhalten, wobei die Lichtintensitätswerte (1310, 1312) Intensitäten der entlang der Abtastlinie (402, 404) reflektierten Reflexionsstrahlen (300, 306) repräsentieren, um ein Bild (500) des Auges (202) entlang der Abtastlinie (402, 404) unter Verwendung der Lichtintensitätswerte (1310, 1312) zu erzeugen, wobei ein großer Lichtintensitätswert (1310) einem an der Retina (210) des Auges (200) reflektierten Reflexionsstrahl (300, 306) und ein im Vergleich zu dem großen Lichtintensitätswert (1310) kleiner Lichtintensitätswert (1312) einem außerhalb der Retina (210) des Auges (200) reflektierten Reflexionsstrahl (300, 306) zugeordnet oder zuordenbar ist, und um eine Augenposition des Auges (200) unter Verwendung von Amplituden der Lichtintensitätswerte (1310, 1312) innerhalb des Bildes (500) zu bestimmen; und eine Vorrichtung (108) gemäß Anspruch 13.