DE102022208691A1

DE102022208691A1 - Vorrichtung zu einer Überwachung einer Augenposition eines Nutzer-Auges in einer virtuellen Netzhautanzeige, Datenbrille und Verfahren

Info

Publication number: DE102022208691A1
Application number: DE102022208691.0A
Authority: DE
Inventors: Thomas Alexander Schlebusch; Johannes Fischer; Johannes Meyer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-08-23
Filing date: 2022-08-23
Publication date: 2024-02-29
Also published as: US20240069333A1

Abstract

Die Erfindung geht aus von einer Vorrichtung (64a-b) zu einer Überwachung einer Augenposition eines Nutzer-Auges (10a-b) in einer virtuellen Netzhautanzeige (Retinal Scan Display, 12a-b), mit zumindest einer Laserprojektoreinheit (16a-b) zumindest zu einer Erzeugung eines kollimierten gescannten Infrarot-Laserstrahls (18a-b) und mit zumindest einem optischen System (20a-b) zu einer optischen Führung des gescannten Infrarot-Laserstrahls (18a-b) zu dem Nutzer-Auge (10a-b).Es wird vorgeschlagen, dass das optische System (20a-b) ein optisches Element (22a-b) umfasst, welches dazu eingerichtet ist, von dem gescannten Infrarot-Laserstrahl (18a-b) passiert zu werden oder welches dazu eingerichtet ist, den gescannten Infrarot-Laserstrahl (18a-b) umzulenken, wobei das optische Element (22a-b) einen ersten, insbesondere räumlichen oder zeitlichen, Bereich (24a-b) ausbildet, in welchem bei einer Interaktion mit dem Infrarot-Laserstrahl (18a-b) die Kollimation des Infrarot-Laserstrahls (18a-b) aufrechterhalten wird, insbesondere zur Erzeugung eines Bright-Pupil-Effekts und/oder eines Retina-Speckle-Musters (62a-b), und wobei das optische Element (22a-b) einen zweiten, insbesondere räumlichen oder zeitlichen, Bereich (24a-b) ausbildet, in welchem bei der Interaktion mit dem Infrarot-Laserstrahl (18a-b) der Infrarot-Laserstrahl (18ab) fokussiert wird, insbesondere auf eine Iris (42a-b) des Nutzer-Auges (10a-b), auf ein Zentrum (44a-b) des Nutzer-Auges (10a-b) oder bevorzugt auf eine Kornea (28a-b) des Nutzer-Auges (10a-b) zur Erzeugung eines Glints (30a-b) fokussiert wird.

Description

Stand der Technik
In der WO 2021/050329 A1 ist bereits eine Vorrichtung zu einer Überwachung einer Augenposition eines Nutzer-Auges in einer virtuellen Netzhautanzeige (Retinal Scan Display) mit zumindest einer Laserprojektoreinheit zumindest zu einer Erzeugung eines kollimierten gescannten Infrarot-Laserstrahls und mit zumindest einem optischen System zu einer optischen Führung des gescannten Infrarot-Laserstrahls zu dem Nutzer-Auge vorgeschlagen worden.
Offenbarung der Erfindung
Die Erfindung geht aus von einer Vorrichtung zu einer Überwachung einer, insbesondere relativ zu einem Bezugspunkt, z.B. einer Datenbrille, gemessenen, Augenposition eines Nutzer-Auges in einer virtuellen Netzhautanzeige (Retinal Scan Display), beispielsweise der Datenbrille, mit zumindest einer Laserprojektoreinheit zumindest zu einer Erzeugung eines kollimierten gescannten Infrarot-Laserstrahls und mit zumindest einem optischen System zu einer optischen Führung des gescannten Infrarot-Laserstrahls zu dem Nutzer-Auge.
Es wird vorgeschlagen, dass das optische System ein optisches Element umfasst, welches dazu eingerichtet ist, von dem gescannten Infrarot-Laserstrahl passiert zu werden oder welches dazu eingerichtet ist, den gescannten Infrarot-Laserstrahl umzulenken, wobei das optische Element einen ersten, insbesondere räumlichen oder zeitlichen, Bereich ausbildet, in welchem bei einer Interaktion mit dem Infrarot-Laserstrahl die Kollimation des Infrarot-Laserstrahls aufrechterhalten wird, insbesondere zur Erzeugung eines Bright-Pupil-Effekts und/oder eines Retina-Speckle-Musters, vorzugsweise in dem Nutzer-Auge, und wobei das optische Element einen zweiten, insbesondere räumlichen oder zeitlichen, Bereich ausbildet, in welchem bei der Interaktion mit dem Infrarot-Laserstrahl der Infrarot-Laserstrahl fokussiert wird, insbesondere auf eine Iris des Nutzer-Auges, auf ein Zentrum des Nutzer-Auges oder bevorzugt auf eine Kornea des Nutzer-Auges zur Erzeugung eines Glints fokussiert wird. Dadurch kann vorteilhaft eine kompakte, zuverlässige und/oder kostengünstige Augenpositionsüberwachung ermöglicht werden. Vorteilhaft kann eine zuverlässige und/oder genaue Bestimmung von Augenpositionen über Laser Feedback Interferometrie (LFI) ermöglicht werden. Dadurch kann in der Folge vorteilhaft eine hohe Störlichtrobustheit der Augenpositionsbestimmung erreicht werden. Vorteilhaft kann eine slippagerobuste Bestimmung eines Gazevektors eines Nutzers der virtuellen Netzhautanzeige ermöglicht werden. Vorteilhaft kann durch eine Ermittlung der Bright-Pupil und des Glints über einen gemeinsamen Infrarot-Laserstrahl und vorzugsweise über einen gemeinsamen (LFI-)Sensor einer Laserprojektoreinheit eine Rechenkomplexität eines Auswertesystems und damit ein Energieverbrauch des Auswertesystems gering gehalten werden.
Unter einer „Datenbrille“ soll insbesondere ein Wearable (Head-Mounted Display) verstanden werden, mittels welchem Informationen zum Sichtfeld eines Nutzers hinzugefügt werden können. Vorzugsweise ermöglichen Datenbrillen Augmented-Reality- und/oder Mixed-Reality-Anwendungen. Datenbrillen werden landläufig auch als Smartglasses bezeichnet. Insbesondere weist die Datenbrille eine, insbesondere dem Fachmann geläufige, virtuelle Netzhautanzeige (auch Retinal Scan Display oder Lichtfelddisplay genannt) auf. Die virtuelle Netzhautanzeige ist insbesondere dazu eingerichtet, einen Bildinhalt sequentiell durch Ablenkung zumindest eines Lichtstrahls, insbesondere eines Laserstrahls, zumindest einer zeitlich modulierten Lichtquelle, wie z.B. einer oder mehrerer Laserdioden eines Laserprojektors, abgerastert und durch optische Elemente direkt auf die Netzhaut (Retina) des Nutzer-Auges abzubilden. Die Bildquelle ist insbesondere als eine elektronische Bildquelle, beispielsweise als eine Grafikausgabe, insbesondere eine (integrierte) Grafikkarte, eines Computers oder Prozessors oder dergleichen, ausgebildet. Die Bilddaten sind insbesondere als Farbbilddaten, z.B. RGB-Bilddaten, ausgebildet. Insbesondere können die Bilddaten als unbewegte oder als bewegte Bilder, z.B. Videos, ausgebildet sein. insbesondere ist die Laserprojektoreinheit dazu vorgesehen, die Bilddaten zu erzeugen und über einen sichtbaren (RGB-)Laserstrahl auszugeben. Insbesondere weist die Laserprojektoreinheit RGB-Laserdioden auf, welche den sichtbaren Laserstrahl erzeugen. Insbesondere weist die Laserprojektoreinheit eine Infrarot-Laserdiode auf, welche den Infrarot-Laserstrahl erzeugt. Vorzugsweise sind die sichtbaren Laserstrahlen und der Infrarot-Laserstrahl zu einem gemeinsamen Laserstrahlbündel vereinigt. Dabei kann die Infrarot-Laserdiode in einem Laserdiodensystem mit den RGB-Laserdioden integriert ausgebildet sein oder der Infrarot-Laserstrahl kann über optische Elemente in den von einem separaten Laserdiodensystem erzeugten sichtbaren Laserstrahl eingekoppelt sein.
Vorzugsweise umfasst die Laserprojektoreinheit den (LFI-)Sensor. Insbesondere detektiert und/oder analysiert der (LFI-)Sensor zurückgestrahlte, insbesondere retroreflektierte, Anteile des von der Laserprojektoreinheit ausgegebenen Laserlichts, insbesondere zumindest des von der Laserprojektoreinheit ausgegebenen Infrarot-Laserstrahls. Ein kollimierter Lichtstrahl, insbesondere Laserstrahl, ist insbesondere ein Lichtstrahl, bei dem jeder Teilstrahl des Lichtstrahls parallel zu jedem anderen Teilstrahl des Lichtstrahls verläuft. Insbesondere wird der Infrarot-Laserstrahl gemeinsam mit dem sichtbaren Laserstrahl von einem optischen Element, z.B. einem MEMS-Spiegel, welches aus dem quasi punktförmigen sichtbaren Laserstrahl das Bild erzeugt, gescannt, insbesondere mitgescannt. Das optische System der Vorrichtung umfasst zumindest ein optisches Element, vorzugsweise eine Mehrzahl an optischen Elementen, wie beispielsweise Linsen, Spiegel, Hologramme, etc. Insbesondere lenkt das optische System mindestens einmal, vorzugsweise mehrfach eine Strahlrichtung des Infrarot-Laserstrahls um oder ab. Unter „vorgesehen“ und/oder unter „eingerichtet“ soll insbesondere speziell programmiert, ausgelegt und/oder ausgestattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vorgesehen ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt.
Der Bright-Pupil-Effekt ist dem Fachmann wohlbekannt. Der Bright-Pupil-Effekt erzeugt vorteilhaft einen starken Iris/Pupillen-Kontrast, und erlaubt somit eine Erkennung der Pupillengrößen, Pupillenpositionen und/oder Pupillenformen bei allen Irispigmentierungen. Der Bright-Pupil-Effekt kommt insbesondere durch das Phänomen zu Stande, dass die Netzhaut einen erhöhten Anteil einfallenden Lichts reflektiert, wenn dessen Wellenlänge im (infraroten) Bereich von etwa 850 nm liegt. Insbesondere wird der Infrarot-Laserstrahl zumindest unter Verwendung eines MEMS-Mikrospiegels und eines optischen Umlenkelements des optischen Systems (z.B. eine diffraktive Optik, wie ein Hologramm, ein Prisma, ein Spiegel, ein Waveguide, etc.) über das Nutzer-Auge gescannt. Vorzugsweise wird während des Scanvorgangs die optische Leistung des Lasers kontinuierlich, insbesondere durch eine in einen Rückreflektor einer Halbleiterkomponente der Laserprojektoreinheit integrierte Fotodiode gesampelt. Fällt der Laserstrahl auf die Netzhaut, führt dies zu einer verstärkten Rückstreuung, da die Reflektivität der Netzhaut stärker ist als die anderer Komponenten des Nutzer-Auges, wie der Iris, Sklera, etc. (Sichtwort Rote-Augen-Effekt). Dies führt vorteilhaft zu einer Amplitudenmodulation der optischen Leistung des Infrarot-Laserstrahls für den Bereich, in dem der Infrarot-Laserstrahl durch eine Pupille des Nutzer-Auges hindurch auf der Netzhaut des Nutzer-Auges abgebildet wird.
Ein Speckle-Muster (auch: Lasergranulation) ist insbesondere ein körnig erscheinendes Interferenzphänomen, welches sich bei hinreichend kohärenter Beleuchtung optisch rauer Objektoberflächen, wie z.B. der Netzhaut (Retina) des Auges (Retina-Speckle-Muster), beobachten lässt. Die Rauheit der Retina hängt insbesondere mit der Anatomie des menschlichen Auges zusammen und verhält sich für alle Menschen optisch ähnlich. Insbesondere wird das zur Auswertung verwendete rückreflektierte Infrarot-Licht von einem Infrarot-Detektor erfasst, welcher on-axis mit der Infrarot-Laserdiode ausgebildet / angeordnet ist. Insbesondere wird zur Auswertung das in Laserrichtung zurückreflektierte Infrarot-Licht/ Retina-Speckle-Muster gemessen und herangezogen. Beispielsweise wird das zurückreflektierte Infrarot-Licht / Retina-Speckle-Muster durch eine Fotodiode in der Laserprojektoreinheit erfasst. Beispielsweise kann zumindest die Infrarot-Laserdiode oder die gesamte Laserprojektoreinheit als ein ViP (VCSEL with integrated photodiode) ausgebildet sein.
Für die Bestimmung des von dem Nutzer-Auge erzeugten Glints wird vorzugsweise der fokussierte Infrarot-Laserstrahl über das Nutzer-Auge gescannt. Die Fokuslage des Laserstrahls liegt dabei vorteilhaft auf einer Ebene der Kornea des Nutzer-Auges. Alternative vorteilhafte Fokusebenen können eine Irisebene des Nutzer-Auges oder das Zentrum des Nutzer-Auges sein. Ein Glint tritt insbesondere dann auf, wenn der Infrarot-Laserstrahl und eine Oberflächennormale der jeweiligen Ebene, insbesondere der Ebene der Kornea oder der Irisebene genau parallel sind, da in diesem Fall das ausgesendete Licht zu der Laserprojektoreinheit zurückgestrahlt wird. Insbesondere da durch die Verwendung eines Scanners, wie dem MEMS-Mikrospiegel, eine Momentanposition des Infrarot-Laserstrahls auf dem Nutzer-Auge bekannt ist, kann eine Position des Glints direkt aus den aktuellen Auslenkwinkeln des Scanners bestimmt werden. Somit lässt sich vorteilhaft eine direkte Beziehung zwischen einem Auftreten eines Glints und einem Scannerwinkel zum Zeitpunkt des Auftretens herstellen. Da der Glint mit einer momentanen Position und mit einer momentanen Drehung der Kornea korreliert, kann dadurch auch der Gazevektor bestimmt werden, insbesondere solange die Position des Auges zum optischen System (optisches Umlenkelement und Scanner) bekannt ist. Verrutscht jedoch das optische System, z.B. die Datenbrille und/oder die virtuelle Netzhautanzeige, ist die Korrelation von Gazevektor und Glint nicht mehr gegeben. Daher muss von der Vorrichtung zur Überwachung der Augenposition zum Erreichen einer guten Slippagerobustheit zusätzlich zu dem Glint auch ein Zentrum der Pupille überwacht und/oder ermittelt werden. Insbesondere bildet die Vorrichtung zur Überwachung der Augenposition eine, insbesondere glintbasiert arbeitende, Eye-Tracking-Vorrichtung aus. Insbesondere ist die Bestimmung des Zentrums der Pupille durch LFI mittels eines fokussierten Laserstrahls nicht möglich. Dieses Defizit wird vorteilhaft durch das vorgeschlagene optische Element behoben. Insbesondere können die Bereiche des optischen Elements zeitlich voneinander getrennt sein, d.h. das optische Element bildet die Bereiche zeitlich nacheinander aus. Insbesondere können die Bereiche räumlich voneinander getrennt sein, d.h. das optische Element bildet die Bereiche räumlich nebeneinander aus.
Ferner wird vorgeschlagen, dass das optische Element als ein flächig zumindest in die beiden räumlichen Bereiche segmentiertes holographisch-optisches Element (HOE) ausgebildet ist. Dadurch können vorteilhaft verschiedene Strahlformen des gleichen Infrarot-Laserstrahls ermöglicht und vorzugsweise nahezu zeitgleich auf das Nutzer-Auge eingestrahlt werden. Vorteilhaft kann ein kostengünstiges, kompaktes und/oder energiesparendes Ermitteln der Augenposition und/oder des Gazevektors mit nur einem einzigen Infrarot-Laserstrahl ermöglicht werden. Vorzugsweise sind Einzelsegmente des flächig segmentierten HOE und/oder der erste und der zweite räumliche Bereich des optischen Elements senkrecht zur Einstrahlrichtung des Infrarot-Laserstrahls auf das HOE gesehen nebeneinander angeordnet. Insbesondere sind die Einzelsegmente des flächig segmentierten HOE und/oder der erste und der zweite räumliche Bereich des optischen Elements in einer gemeinsamen Ebene angeordnet. Insbesondere ist das HOE in ein Umlenkelement des optischen Systems der virtuellen Netzhautanzeige, vorzugsweise in ein Brillenglas der Datenbrille, integriert ausgebildet.
Wenn dabei über eine gesamte Flächenerstreckung des HOE eine Vielzahl an ersten räumlichen Bereichen und eine Vielzahl an zweiten räumlichen Bereichen, insbesondere regelmäßig und/oder abwechselnd, in dem HOE verteilt angeordnet sind, kann vorteilhaft eine hohe Genauigkeit der Augenpositionsüberwachung erreicht werden. Insbesondere umfasst eine Vielzahl an Elementen zumindest zwei Elemente, vorzugsweise zumindest drei Elemente, bevorzugt mehr als drei Elemente.
Wenn dabei außerdem die ersten räumlichen Bereiche und die zweiten räumlichen Bereiche schachbrettartig, streifenförmig, in einem regelmäßigen Polygonmuster, wie z.B. einem Hexagon-Muster, oder in einem weiteren, insbesondere dem Fachmann bekannten, flächenfüllenden wiederkehrenden Muster (mathematisch auch Parkettierung oder Tessellation genannt) über das HOE verteilt angeordnet sind, kann vorteilhaft ein besonders großer Teil des Scanbereichs, insbesondere ein gesamter Scanbereich, über den der Infrarot-Laserstrahl, insbesondere das Laserstrahlbündel, gescannt wird, für die beiden Augenüberwachungsmethoden zur Verfügung stehen. Vorteilhaft kann das optische Element kostengünstig, insbesondere frei von einer elektronischen Ansteuerung oder dergleichen ausgebildet sein. Bei bekanntem Segmentierungsmuster des optischen Elements lassen sich basierend auf der jeweils zugehörigen Auslenkung des Scanners vorteilhaft alle Messpunkte des (LFI-)Sensors in ein (gemeinsames) Glintsignal und in ein (gemeinsames) Retinasignal aufteilen. Aus dem Glintsignal, insbesondere aus einem aus dem Glintsignal erstellten Glintbild lässt sich dann insbesondere die momentane Glintposition bestimmen und aus dem Retinasignal, insbesondere aus einem aus dem Retinasignal erstellten Retinabild, lässt sich dann das momentane Zentrum der Pupille bestimmen. Durch eine Kombination von momentaner Position des Pupillenzentrums und momentaner Glintposition lässt sich dann der Gazevektor vorteilhaft slippagerobust bestimmen. Generell ist alternativ auch denkbar, dass die Anzahl an Musterelementen lediglich einer Anzahl an Bereichen des optischen Elements mit unterschiedlichen optischen Funktionen entspricht. Insbesondere umfasst das Polygonmuster ausschließlich identische Polygone. Alternativ kann das Polygonmuster jedoch auch aus zumindest teilweise nichtidentischen Polygonen (archimedische Parkettierungen, demireguläre Parkettierungen etc.) ausgebildet sein.
Insbesondere sind die ersten räumlichen Bereiche und die zweiten räumlichen Bereiche scharf zueinander abgegrenzt. Alternativ dazu wird jedoch auch vorgeschlagen, dass die ersten räumlichen Bereiche und die zweiten räumlichen Bereiche stetig ineinander übergehend ausgebildet sind. Dadurch können vorteilhaft harte Grenzübergänge zwischen fokussiertem und kollimiertem Infrarot-Laserstrahl vermieden werden.
Zudem wird vorgeschlagen, dass die Vorrichtung eine Sensoreinheit, welche dazu eingerichtet ist, Rückreflexionen des Infrarot-Laserstrahls aus den beiden Bereichen zu erfassen, und eine Rechnereinheit, welche dazu eingerichtet ist, aus den erfassten Rückreflexionen von dem Nutzer-Auge, insbesondere aus einer aus der Rückreflexion des Nutzer-Auges ermittelten Pupillenzentrums-Position des Nutzer-Auges und aus einer aus der Rückreflexion des Nutzer-Auges ermittelten Glintposition des Nutzer-Auges, die Augenposition des Nutzer-Auges, insbesondere zumindest einen Gaze-Vektor des Nutzer-Auges, zu bestimmen, aufweist. Dadurch kann vorteilhaft eine kompakte, zuverlässige und/oder kostengünstige Augenpositionsüberwachung ermöglicht werden. Vorteilhaft kann eine zuverlässige und/oder genaue Bestimmung von Augenpositionen über Laser Feedback Interferometrie (LFI) ermöglicht werden. Insbesondere bildet die Sensoreinheit einen Teil der Laserprojektoreinheit aus. Insbesondere ist die Sensoreinheit in einen Laserprojektor der Laserprojektoreinheit integriert. Insbesondere umfasst die Sensoreinheit den (LFI-)Sensor. Insbesondere ist die Sensoreinheit als ein LFI-Sensor ausgebildet. Insbesondere ist die Sensoreinheit dazu eingerichtet, den Glint zu erfassen. Insbesondere ist die Sensoreinheit dazu eingerichtet, die Bright Pupil zu erfassen. Insbesondere ist die Sensoreinheit dazu eingerichtet, das Retina-Speckle-Muster zu erfassen. Insbesondere ist die Sensoreinheit dazu vorgesehen, die Rückreflexionen zu erfassen, die durch die beiden räumlichen Bereiche des optischen Elements in die Laserprojektoreinheit zurückeingestrahlt werden. Unter einer „Rechnereinheit“ soll insbesondere eine Einheit mit einem Informationseingang, einer Informationsverarbeitung und einer Informationsausgabe verstanden werden. Vorteilhaft weist die Rechnereinheit zumindest einen Prozessor, einen Speicher, Ein- und Ausgabemittel, weitere elektrische Bauteile, ein Betriebsprogramm, Regelroutinen, Steuerroutinen und/oder Berechnungsroutinen auf. Vorzugsweise sind die Bauteile der Rechnereinheit auf einer gemeinsamen Platine angeordnet und/oder vorteilhaft in einem gemeinsamen Gehäuse angeordnet. Insbesondere ist die Vorrichtung, vorzugsweise die Rechnereinheit, dazu eingerichtet, die Glintposition, das Pupillenzentrum und/oder den Gazevektor kontinuierlich erneut zu bestimmen und dadurch insbesondere zu verfolgen.
Außerdem wird vorgeschlagen, dass das optische Element einen dritten, insbesondere räumlichen oder zeitlichen, Bereich ausbildet, in welchem der Infrarot-Laserstrahl fokussiert wird, insbesondere auf die Iris des Nutzer-Auges, auf das Zentrum des Nutzer-Auges oder bevorzugt auf die Kornea des Nutzer-Auges zur Erzeugung eines weiteren Glints fokussiert wird, wobei der zweite räumliche Bereich und der dritte räumliche Bereich voneinander, insbesondere auf der Kornea des Nutzer-Auges, räumlich getrennt liegende Fokuspunkte ausbilden. Dadurch kann vorteilhaft eine Genauigkeit der Erfassung der Augenposition, insbesondere des Gazevektors, erreicht werden. Der dritte räumliche Bereich kann vorteilhaft in das flächige Muster des HOE integriert sein.
Ferner wird vorgeschlagen, dass das optische Element als eine Multifokallinse oder Varifokallinse ausgebildet ist. Dadurch kann ein vorteilhaftes Umschalten zwischen verschiedenen Strahlformen des Infrarot-Laserstrahls ermöglicht werden. Vorteilhaft kann ein kostengünstiges, kompaktes und/oder energiesparendes Ermitteln der Augenposition und/oder des Gazevektors mit nur einem einzigen Infrarot-Laserstrahl ermöglicht werden. Die Multifokallinse oder Varifokallinse bildet insbesondere die zeitlichen Bereiche aus. Die Multifokallinse oder Varifokallinse kann insbesondere in die beiden räumlichen Bereiche segmentiert sein. Bevorzugt überlappen jedoch die räumlichen Bereiche auf der Multifokallinse oder Varifokallinse, vorzugsweise sogar vollständig. Folglich schaltet die Multifokallinse oder Varifokallinse, insbesondere im Betrieb der Vorrichtung, aktiv und wiederholend und kontinuierlich zumindest zwischen den optischen Funktionen des ersten (zeitlichen) Bereichs (Kollimation des Infrarot-Laserstrahls oder Aufrechterhalten der Kollimation des Infrarot-Laserstrahls) und des (zeitlichen) zweiten Bereichs (Fokussierung des Infrarot-Laserstrahls) und ggf. auch des dritten (zeitlichen) Bereichs (Fokussierung des Infrarot-Laserstrahls auf einen weiteren Fokuspunkt) um. Insbesondere ist die Multifokallinse oder Varifokallinse als elektronisch ansteuerbare Linse ausgebildet. Insbesondere ist die Multifokallinse oder Varifokallinse in einem Strahlengang der virtuellen Netzhautanzeige zwischen dem Scanner (MEMS-Mikrospiegel) und dem HOE (Brillenglas der Datenbrille) angeordnet. Beispielsweise könnte die Multifokallinse oder Varifokallinse als eine TLens^®der Firma poLight^® (Skoppum, Norwegen) ausgebildet sein. Alternativ könnten auch eine Alvarez-Linse, eine diffraktive Verzögerungsplatte oder eine andere elektrisch steuerbare oder verschiebbare Linse die Multifokallinse oder Varifokallinse ersetzen.
Wenn dabei die Multifokallinse oder Varifokallinse derart eingestellt und/oder ausgebildet ist, dass der die Multifokallinse oder Varifokallinse passierende gescannte Infrarot-Laserstrahl während eines Scans in eine Scanrichtung, insbesondere in eine Vorwärtsscanrichtung, fokussiert wird und dass der gescannte Infrarot-Laserstrahl während eines Scans in eine zu der Scanrichtung entgegengesetzte weitere Scanrichtung, insbesondere in eine Rückwärtsscanrichtung (Flyback des MEMS-Mikrospiegels), kollimiert bleibt, kann vorteilhaft ein Wechsel zwischen den Bereichen des optischen Elements (den Einstellungen der Multifokallinse oder Varifokallinse) innerhalb üblicher Zeitskalen von, vorteilhaft kostengünstigen, Multifokallinsen oder Varifokallinsen ermöglicht werden. Insbesondere ist die Multifokallinse oder Varifokallinse, während ein Horizontalspiegel des Scanners (MEMS-Mikrospiegels) die durch die virtuelle Netzhautanzeige darzustellenden Bilddaten aufbaut (Vorwärtsscan), so eingestellt, dass der Infrarot-Laserstrahl fokussiert ist (Bestimmung von Glints). Insbesondere ist die Multifokallinse oder Varifokallinse so eingestellt, dass beim Rückwärtsscan (Flyback) des Horizontalspiegels des Scanners (MEMS-Mikrospiegels) der Infrarot-Laserstrahl kollimiert (Bestimmung der Pupilleninformationen, insbesondere der Lage des Pupillenzentrums).
Außerdem wird eine Datenbrille, insbesondere Smartglasses, mit der Vorrichtung, sowie ein Verfahren zu einer Überwachung der Augenposition des Nutzer-Auges in der virtuellen Netzhautanzeige (Retinal Scan Display), vorzugsweise mittels der Vorrichtung, vorgeschlagen, wobei in zumindest einem Verfahrensschritt ein kollimierter gescannter Infrarot-Laserstrahl erzeugt wird, wobei in zumindest einem weiteren Verfahrensschritt der gescannte Laserstrahl über zumindest ein optisches System zu dem Nutzer-Auge geführt wird, wobei das optische System ein optisches Element umfasst, welches von dem gescannten Infrarot-Laserstrahl passiert wird oder durch welches der gescannte Infrarot-Laserstrahl umgelenkt wird, wobei die Kollimation des gescannten Infrarot-Laserstrahls bei dem Passieren oder bei der Umlenkung durch das optische Element in einem ersten, insbesondere räumlichen oder zeitlichen, Bereich des optischen Elements zur Erzeugung eines Bright-Pupil-Effekts und/oder eines Retina-Speckle-Musters aufrechterhalten wird, wobei der gescannte Infrarot-Laserstrahl bei dem Passieren oder bei der Umlenkung durch das optische Element in dem zweiten, insbesondere räumlichen oder zeitlichen, Bereich des optischen Elements zur Erzeugung eines Glints auf eine Iris des Nutzer-Auges, auf ein Zentrum des Nutzer-Auges oder auf eine Kornea des Nutzer-Auges fokussiert wird, und wobei in zumindest einem weiteren Verfahrensschritt ein von dem Nutzer-Auge zurückgeworfenes, einen Glint, sowie ein Bright-Pupil-Muster und/oder das Retina-Speckle-Muster umfassendes Reflexionssignal zur Ermittlung der Augenposition des Nutzer-Auges, insbesondere eines Gaze-Vektors des Nutzer-Auges, ausgewertet wird. Dadurch kann vorteilhaft eine kompakte, zuverlässige und/oder kostengünstige Augenpositionsüberwachung ermöglicht werden. Vorteilhaft kann eine zuverlässige und/oder genaue Bestimmung von Augenpositionen über Laser Feedback Interferometrie (LFI) ermöglicht werden.
Die erfindungsgemäße Vorrichtung, die erfindungsgemäße Datenbrille und das erfindungsgemäße Verfahren sollen hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. Insbesondere kann die erfindungsgemäße Vorrichtung, die erfindungsgemäße Datenbrille und das erfindungsgemäße Verfahren zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen.
Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
Zeichnung
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung sind zwei Ausführungsbeispiele der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
Es zeigen:

1 Eine schematische Darstellung einer Datenbrille mit einer eine virtuelle Netzhautanzeige aufweisenden Vorrichtung,
2a eine schematische Darstellung der virtuellen Netzhautanzeige mit einem, ein optisches Element aufweisenden optischen System,
2b einen Ausschnitt eines Nutzer-Auges eines die Datenbrille nutzenden Nutzers mit einer Netzhaut des Nutzers,
3a eine erste beispielhafte Ausgestaltung des als holographisch-optisches Element ausgebildeten optischen Elements,
3b eine zweite beispielhafte Ausgestaltung des als holographisch-optisches Element ausgebildeten optischen Elements,
3c eine dritte beispielhafte Ausgestaltung des als holographisch-optisches Element ausgebildeten optischen Elements,
4 ein beispielhaftes Bild eines Sensorsignals einer Sensoreinheit der Vorrichtung,
5 ein schematisches Ablaufdiagramm eines Verfahrens zu einer Überwachung einer Augenposition des Nutzer-Auges in der virtuellen Netzhautanzeige der Datenbrille,
6 eine schematische Darstellung einer virtuellen Netzhautanzeige einer alternativen Vorrichtung mit einem, ein optisches Element aufweisenden alternativen optischen System der alternativen Vorrichtung,
7 ein beispielhaftes Scanschema für ein Laserstrahlbündel einer Laserprojektoreinheit der alternativen Vorrichtung,
8a eine schematische Darstellung des als Multifokallinse ausgebildeten optischen Elements des alternativen optischen Systems in einer ersten nichtfokussierenden Stellposition und
8b eine schematische Darstellung des als Multifokallinse ausgebildeten optischen Elements des alternativen optischen Systems in einer zweiten fokussierenden Stellposition.

Beschreibung der Ausführungsbeispiele
Die 1 zeigt eine schematische Darstellung einer Datenbrille 14a. Die Datenbrille 14a weist eine virtuelle Netzhautanzeige (Retinal Scanning Display) 12a auf. Die Datenbrille 14a umfasst ein Brillengestell 68a. Die Datenbrille 14a umfasst Brillengläser 70a. In der 1 ist beispielhaft ein Nutzer-Auge 10a dargestellt. Das Nutzer-Auge 10a weist eine Pupille 72a auf. Das Nutzer-Auge 10a weist eine Iris 42a auf. Das Nutzer-Auge 10a weist ein Zentrum 44a auf. Das Nutzer-Auge 10a weist eine Kornea 28a auf. Das Nutzer-Auge 10a weist eine Sklera 74a auf. Das Nutzer-Auge 10a weist eine Netzhaut 76a auf. Die virtuelle Netzhautanzeige 12a weist eine Laserprojektoreinheit 16a auf. Die Laserprojektoreinheit 16a ist zumindest zu einer Erzeugung eines kollimierten gescannten Infrarot-Laserstrahls 18a eingerichtet. Die Laserprojektoreinheit 16a gibt ein gescanntes Laserstrahlbündel aus. Das gescannte Laserstrahlbündel erzeugt eine Bildanzeige der virtuellen Netzhautanzeige 12a. Das Laserstrahlbündel umfasst einen sichtbaren Laserstrahl und den Infrarot-Laserstrahl 18a. In den 1 und 2 ist jeweils der Übersicht halber lediglich der Infrarot-Laserstrahl 18a dargestellt. Die Laserprojektoreinheit 16a ist zumindest teilweise in das Brillengestell 68a integriert. Das Brillenglas 70a bildet ein Teil der virtuellen Netzhautanzeige 12a aus, indem es einen Teil eines optischen Systems 20a der virtuellen Netzhautanzeige 12a, z.B. ein integriertes holographisch-optisches Element (HOE) 32a umfasst. Die Datenbrille 14a weist eine Vorrichtung 64a zu einer Überwachung einer Augenposition des Nutzer-Auges 10a in der virtuellen Netzhautanzeige 12a auf.
Die Vorrichtung 64a weist die Laserprojektoreinheit 16a auf. Die Vorrichtung 64a weist ein optisches System 20a auf. In der 2 ist das optische System 20a schematisch skizziert. Das optische System 20a ist zumindest zu einer optischen Führung des gescannten Infrarot-Laserstrahls 18a von der Laserprojektoreinheit 16a zu dem Nutzer-Auge 10a vorgesehen. Das optische System 20a umfasst eine Linse 78a. Alternativ kann das optische System 20a auch ohne die Linse 78a oder mit mehreren Linsen ausgebildet sein. Beispielsweise kann die Linse 78a eine Segmentlinse zu einer Vervielfältigung eines von der Laserprojektoreinheit 16a ausgegebenen Bilds ausbilden. Das optische System 20a umfasst das holographisch-optisches Element 32a. Das holographisch optische Element 32a bildet ein Umlenkelement aus, welches dazu vorgesehen ist, das von der Laserprojektoreinheit 16a ausgegebene Laserstrahlbündel zu dem Nutzer-Auge 10a umzuleiten. Das holographisch-optische Element 32a ist in eines der Brillengläser 70a der Datenbrille 14a integriert.
Die Vorrichtung 64a weist eine Sensoreinheit 34a auf. Die Sensoreinheit 34a ist als ein Laser-Feedback-Interferometrie (LFI)-Sensor ausgebildet. Die Sensoreinheit 34a ist in die Laserprojektoreinheit 16a integriert. Die Sensoreinheit 34a ist dazu eingerichtet, Rückreflexionen des Infrarot-Laserstrahls 18a (vgl. 2b) von dem Nutzer-Auge 10a zu erfassen. Die Vorrichtung 64a weist eine Rechnereinheit 36a auf. Die Rechnereinheit 36a ist dazu eingerichtet, die erfassten Rückreflexionen von dem Nutzer-Auge 10a auszuwerten. Die Rechnereinheit 36a ist dazu eingerichtet, aus den erfassten Rückreflexionen von dem Nutzer-Auge 10a eine Augenposition des Nutzer-Auges 10a zu verfolgen und/oder zu überwachen. Die Rechnereinheit 36a ist dazu eingerichtet, aus den erfassten Rückreflexionen von dem Nutzer-Auge 10a einen Gaze-Vektor 38a des Nutzer-Auges 10a (vgl. 4) zu bestimmen.
Das optische System 20a umfasst ein optisches Element 22a. Das optische Element 22a ist dazu eingerichtet, den gescannten Infrarot-Laserstrahl 18a umzulenken. Das optische Element 22a ist in dem in der 2 dargestellten Ausführungsbeispiel durch das HOE 32a gebildet. Das optische Element 22a bildet einen ersten räumlichen Bereich 24a aus. Das optische Element 22a bildet einen zweiten räumlichen Bereich 26a aus. Das optische Element 22a bildet einen dritten räumlichen Bereich 40a aus. Das optische Element 22a ist flächig in die räumlichen Bereiche 24a, 26a, 40a segmentiert ausgebildet. Über eine gesamte Flächenerstreckung des HOE 32a ist eine Vielzahl an ersten räumlichen Bereichen 24a regelmäßig verteilt in dem HOE 32a angeordnet. Über die gesamte Flächenerstreckung des HOE 32a ist eine Vielzahl an zweiten räumlichen Bereichen 26a regelmäßig verteilt in dem HOE 32a angeordnet. Über die gesamte Flächenerstreckung des HOE 32a ist eine Vielzahl an dritten räumlichen Bereichen 40a regelmäßig verteilt in dem HOE 32a angeordnet. Die verschiedenen räumlichen Bereiche 24a, 26a, 40a sind in einem flächenfüllenden wiederkehrenden Muster über das HOE 32a verteilt angeordnet. Die verschiedenen räumlichen Bereiche 24a, 26a, 40a können dabei schachbrettartig (vgl. 3a), streifenförmig (vgl. 3b), in einem regelmäßigen Polygonmuster, wie z.B. einem Hexagon-Muster (vgl. 3c) über das HOE 32a verteilt angeordnet sein. Die räumlichen Bereiche 24a, 26a, 40a können dabei scharf getrennt oder stetig ineinander übergehend ausgebildet sein. Es kann zudem auch mehr oder weniger als drei, mindestens jedoch zwei flächig segmentierte räumliche Bereiche 24a, 26a, 40a geben.
Das optische Element 22a weist in dem ersten räumlichen Bereich 24a eine optische Funktion auf, durch welche bei einer Interaktion mit dem Infrarot-Laserstrahl 18a die Kollimation des Infrarot-Laserstrahls 18a aufrechterhalten wird. Durch das Aufrechterhalten der Kollimation dringt zumindest ein Teil eines von dem ersten räumlichen Bereich 24a des HOE 32a reflektierter Teil des Infrarot-Laserstrahls 18a in das Nutzer-Auge 10a und wird dort von der Netzhaut 76a des Nutzer-Auges 10a reflektiert. Dadurch wird ein Bright-Pupil-Effekt erzeugt. Dadurch wird ein Retina-Speckle-Musters 62a erzeugt (vgl. 4). Der in das Nutzer-Auge 10a eindringende Teil des Infrarot-Laserstrahls 18a durchdringt die Kornea 28a und wird von einer Augenlinse 82a des Nutzer-Auges 10a auf die Netzhaut 76a fokussiert. Dort trifft der eingedrungene Infrarot-Laserstrahl 18a mit seiner kohärenten Wellenfront auf die Oberfläche der Netzhaut 76a. Ein Teil der einlaufenden Wellenfront wird direkt von der Oberfläche der Netzhaut 76a reflektiert. Dabei wird zudem die Wellenfront der reflektierten Wellenfront 84a durch die Signallaufzeiten durch die raue Oberfläche der Netzhaut 76a verzerrt. Ein weiterer Anteil des eingedrungenen Infrarot-Laserstrahls 18a tritt in obere Gewebeschichten der Netzhaut 76a ein und wird erst von dort aus reflektiert. Dabei kommt es ebenfalls zu einer Verzerrung der rückreflektierten Wellenfront 84a. Durch diese beiden Effekte kommt es zu einer konstruktiven und/oder destruktiven Interferenz des Rückreflexionssignals. Dadurch bilden sich im Signal der Sensoreinheit 34a Bright Speckle und Dark Speckle (das Retina-Speckle-Muster 62a) normalverteilt im Bereich der reflektierenden Netzhaut 76a, durch welchen sich die Form und Größe der Pupille 72a abzeichnen.
Diese Effekte werden ausgenutzt, um mittels der Rechnereinheit 36a ein Pupillenzentrum 86a (vgl. 2a) zu ermitteln. Für die Bestimmung des Pupillenzentrums 86a wird zunächst eine mathematische Funktion auf das Bild gefittet. Eine besonders vorteilhafte Funktion ist dabei eine Multivariate Gaußverteilung, da diese besonders gut die Form der Pupille 72a (Ellipse / Kreis) beschreibt und dabei das unterliegende physikalische Wirkprinzip (normalverteiltes Speckling) berücksichtigt. Weitere Funktionen, die verwendet werden können, sind Kreise und Ellipsen oder Rechteckfunktionen. Für das Fitting der Gaußfunktion werden zunächst die Bildmomente erster und zweiter Ordnung bestimmt. Die Bildmomente lassen sich allgemein durch die Formel (1) bestimmen. $M_{i, j} = \sum_{x} \sum_{y} x^{i} y^{i} I (x, y)$
Aus den durch die Formel (1) bestimmbaren Momenten M10, M01 und M00 wird anschließend ein Bildschwerpunkt und somit ein Mittelpunkt der Gaußverteilung und somit das Pupillenzentrum 86a über die Formel (2) bestimmt. ${\bar{x}, \bar{y}} = {\frac{M_{10}}{M_{00}}, \frac{M_{01}}{M_{00}}}$
Neben diesem Verfahren zur Bestimmung des Pupillenzentrums 86a lassen sich auch weitere Methoden wie neuronale Netze (Segmentierungsnetze e.g. UNETS), statistische Regressoren wie ein Bayes-Schätzer oder neuromorphe Operatoren verwenden. Weiterhin sind Methoden aus dem Bereich der Korrelation möglich, wobei eine bekannte Pupillen Funktion mit dem aus dem Signal der Sensoreinheit 34a erstellbaren Bild gefaltet wird und daraus das Zentrum der Pupille 72a ermittelt wird.
Das optische Element 22a weist in dem zweiten räumlichen Bereich 26a eine optische Funktion auf, durch welche bei der Interaktion mit dem Infrarot-Laserstrahl 18a der Infrarot-Laserstrahl 18a in einen ersten Fokuspunkt 48a fokussiert wird. Der erste Fokuspunkt 48a kann auf der Iris 42a des Nutzer-Auges 10a, in dem Zentrum 44a des Nutzer-Auges 10a oder auf der Kornea 28a des Nutzer-Auges 10a liegen. Durch die entsprechende Fokussierung wird der Glint 30a erzeugt, insbesondere im Sensorsignal der Sensoreinheit 34a, das aus dem zweiten räumlichen Bereich 26a zurückerhalten wird. Alle zweiten räumlichen Bereiche 26a mit derselben optischen Funktion fokussieren den Infrarot-Laserstrahl 18a auf dieselbe Stelle des Nutzer-Auges 10a, insbesondere auf den Glint 30a.
Das optische Element 22a weist in dem dritten räumlichen Bereich 40a eine optische Funktion auf, durch welche bei der Interaktion mit dem Infrarot-Laserstrahl 18a der Infrarot-Laserstrahl 18a in einen zweiten Fokuspunkt 50a fokussiert wird. Der zweite Fokuspunkt 48a kann ebenfalls auf der Iris 42a des Nutzer-Auges 10a, in dem Zentrum 44a des Nutzer-Auges 10a oder auf der Kornea 28a des Nutzer-Auges 10a liegen. Durch die entsprechende Fokussierung wird der weitere Glint 46a erzeugt, insbesondere im Sensorsignal der Sensoreinheit 34a, das aus dem dritten räumlichen Bereich 40a zurückerhalten wird. Der weitere Glint 46a ist räumlich getrennt von dem Glint 30a, insbesondere im Sensorsignal der Sensoreinheit 34a und/oder auf dem Nutzer-Auge 10a, angeordnet. Alle dritten räumlichen Bereiche 40a mit derselben optischen Funktion fokussieren den Infrarot-Laserstrahl 18a auf dieselbe Stelle des Nutzer-Auges 10a, insbesondere auf den weiteren Glint 46a. Die Fokuspunkte 48a, 50a liegen voneinander räumlich getrennt auf dem Nutzer-Auge 10a.
Die Sensoreinheit 34a ist dazu eingerichtet, die Rückreflexionen des Infrarot-Laserstrahls 18a aus allen räumlichen Bereichen 24a, 26a, 40a zu erfassen. Die Rechnereinheit 36a ist dazu eingerichtet ist, aus der aus der Rückreflexion des Nutzer-Auges 10a ermittelten Pupillenzentrums-Position des Nutzer-Auges 10a und aus den aus der Rückreflexion des Nutzer-Auges 10a ermittelten Glintpositionen der Glints 30a, 46a auf dem Nutzer-Auge 10a, die Augenposition des Nutzer-Auges 10a und/oder den Gaze-Vektor 38a des Nutzer-Auges 10a zu bestimmen. Die 4 zeigt ein beispielhaftes Bild eines Sensorsignals der Sensoreinheit 34a. In dem Bild sind die Rückreflexionssignale abgebildet, die von der Rückreflexion des Infrarot-Laserstrahls 18a durch das Nutzer-Auge 10a erzeugt wurden und das optische System 20a rückwärts bis zu der Sensoreinheit 34a passiert haben. In dem Bild des Sensorsignals ist das von der Netzhaut 76a erzeugte Retina-Speckle-Muster 62a zu erkennen. In dem Bild des Sensorsignals ist das aus dem Retina-Speckle-Muster 62a durch Fitting ausgelesene Pupillenzentrum 86a zu erkennen. In dem Bild des Sensorsignals ist der Glint 30a zu erkennen. In dem Bild des Sensorsignals ist der aus dem Glint 30a und dem Pupillenzentrum 86a ermittelte Gaze-Vektor 38a zu erkennen.
Die 5 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zu einer Überwachung der Augenposition des Nutzer-Auges 10a in der virtuellen Netzhautanzeige 12a der Datenbrille 14a. In zumindest einem Verfahrensschritt 80a wird die Datenbrille 14a von dem Nutzer aufgesetzt und aktiviert. In zumindest einem weiteren Verfahrensschritt 58a wird der kollimierte gescannte Infrarot-Laserstrahl 18a von der Laserprojektoreinheit 16a erzeugt. In zumindest einem weiteren Verfahrensschritt 60a wird der gescannte Infrarot-Laserstrahl 18a über das optische System 20a mit dem optischen Element 22a zu dem Nutzer-Auge 10a geführt. Der gescannte Infrarot-Laserstrahl 18a, 18b passiert dabei das optische Element 22b (vgl. 6) oder wird dabei von dem optischen Element 22a (vgl. 2) umgelenkt. Dabei wird die Kollimation des gescannten Infrarot-Laserstrahls 18a, 18b bei dem Passieren oder bei der Umlenkung durch das optische Element 22a, 22b in einem ersten räumlichen oder zeitlichen Bereich 24a, 24b des optischen Elements 22a, 22b zur Erzeugung eines Bright-Pupil-Effekts und/oder eines Retina-Speckle-Musters 62a, 62b aufrechterhalten. Dabei wird der gescannte Infrarot-Laserstrahl 18a, 18b bei dem Passieren oder bei der Umlenkung durch das optische Element 22a, 22b in dem zweiten räumlichen oder zeitlichen Bereich 26a, 26b des optischen Elements 22a, 22b zur Erzeugung eines Glints 30a auf eine Iris 42a des Nutzer-Auges 10a, auf ein Zentrum 44a des Nutzer-Auges 10a oder auf eine Kornea 28a des Nutzer-Auges 10a fokussiert.
In zumindest einem weiteren Verfahrensschritt 66a wird ein von dem Nutzer-Auge 10a zurückgeworfenes, den Glint 30a, sowie das Bright-Pupil-Muster und/oder das Retina-Speckle-Muster 62a umfassendes Reflexionssignal zur Ermittlung der Augenposition des Nutzer-Auges 10a ausgewertet. In dem Verfahrensschritt 66a wird das Reflexionssignal zur Ermittlung des Gaze-Vektors 38a des Nutzer-Auges 10a ausgewertet. In zumindest einem weiteren Verfahrensschritt 88a wird die ermittelte Augenposition von der Rechnereinheit 36a zur Steuerung der Laserprojektoreinheit 16a oder eines anderen Teils der Datenbrille 14a herangezogen.
In den 6 bis 8b ist ein weiteres Ausführungsbeispiel der Erfindung gezeigt. Die nachfolgenden Beschreibungen und die Zeichnungen beschränken sich im Wesentlichen auf die Unterschiede zwischen den Ausführungsbeispielen, wobei bezüglich gleich bezeichneter Bauteile, insbesondere in Bezug auf Bauteile mit gleichen Bezugszeichen, grundsätzlich auch auf die Zeichnungen und/oder die Beschreibung der anderen Ausführungsbeispiele, insbesondere der 1 bis 5, verwiesen werden kann. Zur Unterscheidung der Ausführungsbeispiele ist der Buchstabe a den Bezugszeichen des Ausführungsbeispiels in den 1 bis 5 nachgestellt. In den Ausführungsbeispielen der 6 bis 8b ist der Buchstabe a durch den Buchstaben b ersetzt.
In der 6 ist ein alternatives optische System 20b einer alternativen Vorrichtung 64b zu einer Überwachung einer Augenposition eines Nutzer-Auges 10b in einer virtuellen Netzhautanzeige 12b schematisch skizziert. Das optische System 20b ist zumindest zu einer optischen Führung eines gescannten Infrarot-Laserstrahls 18b von einer Laserprojektoreinheit 16b der alternativen Vorrichtung 64b zu dem Nutzer-Auge 10b vorgesehen. Das optische System 20b umfasst eine Linse 78b. Das optische System 20b umfasst ein holographisch-optisches Element (HOE) 32b. Die Linse 78b ist zwischen der Laserprojektoreinheit 16b und dem HOE 32b im Strahlengang des Infrarot-Laserstrahls 18b angeordnet. Das holographisch-optische Element 32b bildet ein Umlenkelement aus, welches dazu vorgesehen ist, das von der Laserprojektoreinheit 16b ausgegebene Laserstrahlbündel zu dem Nutzer-Auge 10b umzuleiten. Das holographisch-optische Element 32b ist in ein Brillenglas 70b einer Datenbrille 14b mit der Vorrichtung 64b integriert.
Das alternative optische System 20b umfasst ein optisches Element 22b. Das optische Element 22b ist dazu eingerichtet, von dem gescannten Infrarot-Laserstrahl 18b passiert zu werden. Das optische Element 22b ist in dem in der 6 dargestellten Ausführungsbeispiel durch die Linse 78b gebildet. Die Linse 78b ist als eine Multifokallinse 52b ausgebildet. Die Multifokallinse 52b ist steuerbar. Durch die Steuerung der Multifokallinse 52b kann ein Fokussierungsgrad der Multifokallinse 52b eingestellt werden. Der Fokussierungsgrad kann von keiner Fokussierung (vgl. 8a) zu einer Fokussierung mit unterschiedlichen Fokuspunkten 48b (vgl. 8b) variabel angepasst werden. Die alternative Vorrichtung 64b weist eine Rechnereinheit 36b auf. Die Rechnereinheit 36b ist zu einer Steuerung der Multifokallinse 52b vorgesehen. Das optische Element 22b bildet einen ersten räumlichen oder zeitlichen Bereich 24b aus. Das optische Element 22b bildet einen zweiten räumlichen oder zeitlichen Bereich 26b aus. Das optische Element 22b bildet einen dritten räumlichen oder zeitlichen Bereich 40b aus. Die räumlichen Bereiche 24b, 26b, 40b des als Multifokallinse 52b ausgebildeten optischen Elements 22b überlappen räumlich. Die zeitlichen Bereiche 24b, 26b, 40b des als Multifokallinse 52b ausgebildeten optischen Elements 22b sind zeitlich überlappungsfrei. Durch die Einstellung der Multifokallinse 52b kann zeitlich oder räumlich variiert werden, welche der den räumlichen oder zeitlichen Bereichen 24b, 26b, 40b zugeordneten optischen Funktionen aktuell aktiv ist. Die Multifokallinse 52b kann zusätzlich auch segmentiert ausgebildet sein.
Die Multifokallinse 52b ist derart eingestellt und/oder ausgebildet ist, dass der die Multifokallinse 52b passierende gescannte Infrarot-Laserstrahl 18b während eines Scans in eine erste Scanrichtung 54b, die eine Vorwärtsscanrichtung darstellt, fokussiert wird. Während dem Scan in die erste Scanrichtung 54b (vgl. 7) wird somit die optische Funktion des ersten räumlichen oder zeitlichen Bereichs 24b von der Multifokallinse 52b ausgebildet. Die Multifokallinse 52b ist zudem derart eingestellt und/oder ausgebildet ist, dass der die Multifokallinse 52b passierende gescannte Infrarot-Laserstrahl 18b während eines Scans in eine zweite Scanrichtung 56b (vgl. 7), die eine Rückwärtsscanrichtung darstellt, unverändert und/oder kollimiert bleibt. Während dem Scan in die zweite Scanrichtung 56b wird somit die optische Funktion des zweiten räumlichen oder zeitlichen Bereichs 26b von der Multifokallinse 52b ausgebildet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2021/050329 A1 [0001]

Claims

Vorrichtung (64a-b) zu einer Überwachung einer Augenposition eines Nutzer-Auges (10a-b) in einer virtuellen Netzhautanzeige (Retinal Scan Display, 12a-b), beispielsweise einer Datenbrille (14a-b), mit zumindest einer Laserprojektoreinheit (16a-b) zumindest zu einer Erzeugung eines kollimierten gescannten Infrarot-Laserstrahls (18a-b) und mit zumindest einem optischen System (20a-b) zu einer optischen Führung des gescannten Infrarot-Laserstrahls (18a-b) zu dem Nutzer-Auge (10a-b), dadurch gekennzeichnet, dass das optische System (20a-b) ein optisches Element (22a-b) umfasst, welches dazu eingerichtet ist, von dem gescannten Infrarot-Laserstrahl (18a-b) passiert zu werden oder welches dazu eingerichtet ist, den gescannten Infrarot-Laserstrahl (18a-b) umzulenken, wobei das optische Element (22a-b) einen ersten, insbesondere räumlichen oder zeitlichen, Bereich (24a-b) ausbildet, in welchem bei einer Interaktion mit dem Infrarot-Laserstrahl (18a-b) die Kollimation des Infrarot-Laserstrahls (18a-b) aufrechterhalten wird, insbesondere zur Erzeugung eines Bright-Pupil-Effekts und/oder eines Retina-Speckle-Musters (62a-b), und wobei das optische Element (22a-b) einen zweiten, insbesondere räumlichen oder zeitlichen, Bereich (24a-b) ausbildet, in welchem bei der Interaktion mit dem Infrarot-Laserstrahl (18a-b) der Infrarot-Laserstrahl (18a-b) fokussiert wird, insbesondere auf eine Iris (42a-b) des Nutzer-Auges (10a-b), auf ein Zentrum (44a-b) des Nutzer-Auges (10a-b) oder bevorzugt auf eine Kornea (28a-b) des Nutzer-Auges (10a-b) zur Erzeugung eines Glints (30a-b) fokussiert wird.
Vorrichtung (64a) nach Anspruch 1, dadurch gekennzeichnet, dass das optische Element (22a) als ein flächig zumindest in die beiden räumlichen Bereiche (24a, 26a) segmentiertes holographisch-optisches Element (HOE, 32a) ausgebildet ist.
Vorrichtung (64a) nach Anspruch 2, dadurch gekennzeichnet, dass über eine gesamte Flächenerstreckung des HOE (32a) eine Vielzahl an ersten räumlichen Bereichen (24a) und eine Vielzahl an zweiten räumlichen Bereichen (26a), insbesondere regelmäßig und/oder abwechselnd, in dem HOE (32a) verteilt angeordnet sind.
Vorrichtung (64a) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die ersten räumlichen Bereiche (24a) und die zweiten räumlichen Bereiche (26a) schachbrettartig, streifenförmig, in einem regelmäßigen Polygonmuster, wie z.B. einem Hexagon-Muster, oder in einem weiteren flächenfüllenden wiederkehrenden Muster über das HOE (32a) verteilt angeordnet sind.
Vorrichtung (64a) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die ersten räumlichen Bereiche (24a) und die zweiten räumlichen Bereiche (26a) stetig ineinander übergehend ausgebildet sind.
Vorrichtung (64a-b) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Sensoreinheit (34a-b), welche dazu eingerichtet ist, Rückreflexionen des Infrarot-Laserstrahls (18a-b) aus den beiden Bereichen (24a-b, 26a-b) zu erfassen, und durch eine Rechnereinheit (36a-b), welche dazu eingerichtet ist, aus den erfassten Rückreflexionen von dem Nutzer-Auge (10a-b), insbesondere aus einer aus der Rückreflexion des Nutzer-Auges (10a-b) ermittelten Pupillenzentrums-Position des Nutzer-Auges (10a-b) und aus einer aus der Rückreflexion des Nutzer-Auges (10a-b) ermittelten Glintposition des Nutzer-Auges (10a-b), die Augenposition des Nutzer-Auges (10a-b), insbesondere zumindest einen Gaze-Vektor (38a-b) des Nutzer-Auges (10a-b), zu bestimmen.
Vorrichtung (64a-b) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das optische Element (22a-b) einen dritten, insbesondere räumlichen oder zeitlichen, Bereich (40a-b) ausbildet, in welchem der Infrarot-Laserstrahl (18a-b) fokussiert wird, insbesondere auf die Iris (42a-b) des Nutzer-Auges (10a-b), auf das Zentrum (44a-b) des Nutzer-Auges (10a-b) oder bevorzugt auf die Kornea (28a-b) des Nutzer-Auges (10ab) zur Erzeugung eines weiteren Glints (46a-b) fokussiert wird, wobei der zweite Bereich (26a-b) und der dritte Bereich (40a-b) voneinander räumlich getrennt liegende Fokuspunkte (48a-b, 50a-b) ausbilden.
Vorrichtung (64b) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das optische Element (22b) als eine Multifokallinse (52b) ausgebildet ist.
Vorrichtung (64b) nach Anspruch 8, dadurch gekennzeichnet, dass die Multifokallinse (52b) derart eingestellt und/oder ausgebildet ist, dass der die Multifokallinse (52b) passierende gescannte Infrarot-Laserstrahl (18b) während eines Scans in eine Scanrichtung (54b), insbesondere in eine Vorwärtsscanrichtung, fokussiert wird und dass der gescannte Infrarot-Laserstrahl (18b) während eines Scans in eine zu der Scanrichtung (54b) entgegengesetzte weitere Scanrichtung (56b), insbesondere in eine Rückwärtsscanrichtung, kollimiert bleibt.
Datenbrille (14a-b), insbesondere Smartglasses, mit einer Vorrichtung (64a-b) nach einem der vorhergehenden Ansprüche.
Verfahren zu einer Überwachung einer Augenposition eines Nutzer-Auges (10a-b) in einer virtuellen Netzhautanzeige (Retinal Scan Display, 12a-b), insbesondere einer Datenbrille (14a-b), vorzugsweise mittels einer Vorrichtung (64a-b) nach einem der Ansprüche 1 bis 9, wobei in zumindest einem Verfahrensschritt (58a-b) ein kollimierter gescannter Infrarot-Laserstrahl (18a-b) erzeugt wird und wobei in zumindest einem weiteren Verfahrensschritt (60a-b) der gescannte Infrarot-Laserstrahl (18a-b) über zumindest ein optisches System (20a-b) zu dem Nutzer-Auge (10a-b) geführt wird, dadurch gekennzeichnet, dass das optische System (20a-b) ein optisches Element (22a-b) umfasst, welches von dem gescannten Infrarot-Laserstrahl (18a-b) passiert wird oder durch welches der gescannte Infrarot-Laserstrahl (18a-b) umgelenkt wird, wobei die Kollimation des gescannten Infrarot-Laserstrahls (18a-b) bei dem Passieren oder bei der Umlenkung durch das optische Element (22a-b) in einem ersten, insbesondere räumlichen oder zeitlichen, Bereich (24a-b) des optischen Elements (22a-b) zur Erzeugung eines Bright-Pupil-Effekts und/oder eines Retina-Speckle-Musters (62a-b) aufrechterhalten wird, wobei der gescannte Infrarot-Laserstrahl (18a-b) bei dem Passieren oder bei der Umlenkung durch das optische Element (22a-b) in dem zweiten, insbesondere räumlichen oder zeitlichen, Bereich (26a-b) des optischen Elements (22a-b) zur Erzeugung eines Glints (30a-b) auf eine Iris (42a-b) des Nutzer-Auges (10a-b), auf ein Zentrum (44a-b) des Nutzer-Auges (10ab) oder auf eine Kornea (28a-b) des Nutzer-Auges (10a-b) fokussiert wird, und wobei in zumindest einem weiteren Verfahrensschritt (66a-b) ein von dem Nutzer-Auge (10a-b) zurückgeworfenes, einen Glint (30a-b), sowie ein Bright-Pupil-Muster und/oder das Retina-Speckle-Muster (62a-b) umfassendes Reflexionssignal zur Ermittlung der Augenposition des Nutzer-Auges (10a-b), insbesondere eines Gaze-Vektors (38a-b) des Nutzer-Auges (10a-b), ausgewertet wird.