DE102018209886B4

DE102018209886B4 - Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen

Info

Publication number: DE102018209886B4
Application number: DE102018209886.7A
Authority: DE
Inventors: Joachim Janes; Ulrich Hofmann
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2018-06-19
Filing date: 2018-06-19
Publication date: 2020-02-27
Anticipated expiration: 2038-06-20
Also published as: WO2019243395A1; DE102018209886A1; US11867916B2; CN112543886A; US20210231963A1

Abstract

Die Erfindung bezieht sich auf eine Einrichtung zur Projektion eines Bildes auf der Netzhaut (17) eines Auges (9) mit einer Laserprojektionsvorrichtung (5, 6, 7), einer Vorrichtung (20) zur Ermittlung der Ausrichtung des Auges und mit einer Nachführeinrichtung (4, 4a) zur Nachführung des Laserstrahls (2) der Laserprojektionsvorrichtung gemäß der ermittelten Ausrichtung. Damit wird eine Projektionsmöglichkeit von Bildern auf die Netzhaut einer Person geschaffen, die auch die momentane Blickrichtung des Auges berücksichtigt.

Description

Die Erfindung bezieht sich auf eine Projektionseinrichtung, die eine Laserprojektion auf der Netzhaut eines Auges ermöglicht. Sie liegt somit auf dem Gebiet der Optik, Lasertechnik und der Datenverarbeitung und ist mit besonderem Vorteil beispielsweise in der Unterhaltungselektronik, als Displayfunktion für Smart-Phones, bei Anzeigen zur Steuerung von Maschinen und Fahrzeugen, oder auch als Displayfunktion eines Navigationsinstruments einsetzbar.
Es sind verschiedene Verfahren für die Bildgebung in ein Auge eines Lebewesens, insbesondere eines Menschen, bekannt. Dabei muss unterschieden werden zwischen realen Bildern, die auf die Retina abgebildet werden und Bildern, die von einem Laserstrahl erzeugt werden, und im Besonderen, wenn dieser Laserstrahl in einem scannenden Verfahren auf die Retina eines menschlichen Auges gelangt. Ein gutes Beispiel hierfür bilden die sogenannten Head-up-Displays (HUD), bei denen mit einem Laserstrahl ein reales Bild erzeugt wird, das anschließend mit Hilfe eines optischen Abbildungssystems auf die Retina projiziert wird. Oft werden solche Bilder mit den realen Bildern, die sich vor dem Auge des Betrachters befinden, überlagert, indem für das Einspiegeln des virtuellen Bildes teilverspiegelte oder teilweise spiegelnde Flächen verwendet werden (beispielsweise eine Windschutzscheibe). Solche bildgebenden Verfahren können somit außer für die Erzeugung einer virtuellen Realität (Virtual Reality) auch für eine sogenannte Augmented Reality verwendet werden. Die hier vorgestellte Einrichtung erzeugt in erster Linie eine Ansammlung von Pixeln, die von einem gescannten Laser auf der Retina beleuchtet werden.
Aus der US 2017/0115483 A1 , der US 2016/0274365 A1 und der US 6639570 B2 sind jeweils Laserprojektionseinrichtungen zur Erzeugung von Bildern auf der Netzhaut eines Auges bekannt. Die US 2017/0115483 A1 offenbart zudem ein Eye-Tracking-Verfahren, aufgrund dessen die Laserprojektion beeinflusst wird. Gemäß der US 2016/0274365 A1 wird aufgrund von Eye-Tracking die dynamische Auflösung des projizierten Bildes gesteuert und gemäß der US 6639750 B2 werden in Abhängigkeit von einem Eye-Tracking jeweils zu projizierende Bildausschnitte gewählt.
Die vorliegende Erfindung hat sich die Aufgabe gestellt, eine Einrichtung zu schaffen, mit der ein Bild mit geringem Aufwand und unabhängig von der Blickrichtung der Person auf der Netzhaut der Person erzeugt werden kann. Die Aufgabe wird mit den Merkmalen der Erfindung gemäß Patentanspruch 1 gelöst. Die Patentansprüche 2 bis 7 stellen Implementierungen der Einrichtung vor. Zudem bezieht sich die Erfindung auf eine Brilleneinrichtung gemäß Anspruch 8. Eine vorteilhafte Implementierung einer solchen Brilleneinrichtung ist im Patentanspruch 9 vorgestellt.
Die Erfindung bezieht sich somit auf eine Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges mit einer Laserprojektionsvorrichtung, einer Vorrichtung zur Ermittlung der Ausrichtung des Auges und mit einer Nachführeinrichtung zur Nachführung des Laserstrahls der Laserprojektionsvorrichtung gemäß der ermittelten Ausrichtung, wobei die Nachführeinrichtung ein Stellelement in Form eines steuerbaren Umlenkspiegels aufweist, dessen Stellwinkel in Abhängigkeit von der ermittelten Ausrichtung des Auges durch eine Steuereinrichtung steuerbar ist und das im Strahlengang des Laserstrahls vor der Laserprojektionsvorrichtung angeordnet ist, wobei die Laserprojektionsvorrichtung eine scannende Umlenkeinrichtung, insbesondere in Form eines zweiten MEMS-Umlenkspiegels, aufweist und einen ersten und einen zweiten Parabolspiegel aufweist, deren optische Achsen parallel zueinander ausgerichtet sind, wobei das Stellelement im Brennpunkt des ersten Parabolspiegels der Laserprojektionsvorrichtung angeordnet ist und die scannende Umlenkeinrichtung im Brennpunkt des zweiten Parabolspiegels der Laserprojektionsvorrichtung angeordnet ist, derart, dass auch bei gleichen Scanamplituden der Laserprojektionsvorrichtung, insbesondere bei einem Scanwinkel von 0° des 2D-MEMS-Scanners, die Richtung des Laserstrahls sich entsprechend der Ausrichtung des Auges ändert.
Entsprechende Laserprojektionsvorrichtungen sind bereits grundsätzlich bekannt. Üblicherweise bedienen sich derartige Vorrichtungen eines oder mehrerer Spiegel zur gesteuerten Ablenkung eines Laserstrahls, um mit diesem einen Bildbereich beispielsweise in Zeilen und Spalten zu scannen. Während des Scanvorgangs wird die Intensität des Laserstrahls so geändert, dass jeder Bildpunkt mit der ihm zugeordneten Helligkeit bestrahlt wird. Dabei kann der Laserstrahl mit einer einzigen Wellenlänge ausgesandt werden, um ein einfarbiges Bild zu erzeugen; es kann jedoch auch gleichzeitig oder nacheinander eine Reihe mehrerer verschiedenfarbiger Laserstrahlen zum Scannen verwendet werden, um durch die Überlagerung verschiedenfarbiger Bilder ein insgesamt farbiges und realitätsgetreues Bild zu erzeugen.
Da die Projektion bzw. das Bild auf der Netzhaut einer Person erzeugt werden soll, muss für die Lenkung des Laserstrahls die abbildende Optik des Auges der Person berücksichtigt werden. Da diese sich durch eine Änderung der Blickrichtung der Person ändert, ist jeweils die Blickrichtung der Person durch ein sogenanntes Eye-Tracking zeitnah zu ermitteln und bei der Lenkung des Laserstrahls zu berücksichtigen. Entsprechende Eye-Tracking-Verfahren, die sich beispielsweise einer Kamera oder eines abtastenden Lasers bedienen, sind grundsätzlich bekannt. Beispielsweise ist ein solches System in dem US-Patentdokument US 2008/0030685 A1 beschrieben. Dabei ist zu bedenken, dass das Eye-Tracking auch für beide Augen einer Person gesondert durchgeführt werden kann, um zwei Einrichtungen zur Projektion zu steuern, um in jedem der beiden Augen der Person ein separates Bild zu erzeugen. Durch Eye-Tracking beider Augen ist beispielsweise auch die Entfernung eines anvisierten Gegenstandes ermittelbar. Dementsprechend sind die beiden Augen einer Person mit ihren Blickachsen üblicherweise nicht parallel zueinander ausgerichtet, sondern die Blickachsen treffen sich bei einem anvisierten Gegenstand. Durch Laserprojektion verschiedener Bilder in die beiden Augen der Person lässt ein stereoskopisches Bild erzeugen.
Die Nachführeinrichtung, die Teil der erfindungsgemäßen Einrichtung zur Projektion eines Bildes ist, berücksichtigt die ermittelte Ausrichtung des Auges oder der Augen und lenkt den Laserstrahl derart, dass die Bilderzeugung durch den scannenden Laserstrahl jeweils in einem passenden Winkel, insbesondere parallel zur Augenachse, erfolgen kann.
Das Stellelement, das beispielsweise als ein erster MEMS-Umlenkspiegel ausgebildet sein kann, muss sehr schnell einstellbar und nachführbar sein, um den schnellen Augenbewegungen, die durch das Eye-Tracking registriert werden, möglichst in Echtzeit folgen zu können. Es kann sich bei dem Stellelement um ein miniaturisiertes Spiegelelement handeln, das um zwei Achsen bezüglich des Winkels gesteuert werden kann und das dazu dient, das zu scannende Bild unter dem richtigen Winkel ins Auge zu projizieren. Die typische Steuer- oder Regelzeit bei der Einstellung des Stellelements liegt im Bereich einer Tausendstelsekunde oder darunter. Beispielsweise kann hierfür ein piezobetriebenes MEMS-Stellelement vorgesehen sein. Jedoch ist auch unabhängig von der Art des Antriebs jeder Vektorscanner, der entsprechend schnell einstellbar ist, einsetzbar.
Auch das Eye-Tracking ist durch die Eye-Tracking-Vorrichtung mit entsprechender Frequenz durchzuführen. Eine Steuereinrichtung für das Stellelement empfängt die Daten des Eye-Trackings und steuert das Stellelement gemäß den Daten.
Entsprechende 2D-MEMS-Scanner sind beispielsweise aus den Patentdokumenten EP 2 803 633 A1 und EP 2 808 720 A1 sowie DE 10 2013 206 788 A1 und DE 10 2004 060 576 A1 bekannt.
Bei einer Anordnung mit zwei Parabolspiegeln ist durch die Positionierung des Stellelements im Brennpunkt des ersten Parabolspiegels erreicht, dass ein Laserstrahl, der von dem Stellelement in die Parabolspiegelanordnung reflektiert wird, durch den ersten Parabolspiegel parallel zu dessen Achse reflektiert wird. Die Parabolspiegelanordnung ist so gestaltet, dass der Laserstrahl vom ersten Parabolspiegel zum zweiten Parabolspiegel reflektiert wird und dass bei einer Ausrichtung der Achsen der beiden Parabolspiegel parallel zueinander der Laserstrahl zwischen den Parabolspiegeln auch parallel zur Achse des zweiten Parabolspiegels ausgerichtet ist. Durch den zweiten Parabolspiegel wird der Laserstrahl dann in jedem Fall und unabhängig von einem Parallelversatz durch den Fokuspunkt des zweiten Parabolspiegels gesendet. Im Fokuspunkt des zweiten Parabolspiegels ist die Umlenkeinrichtung, insbesondere der MEMS-Spiegel der Laserprojektionsvorrichtung, angeordnet, so dass diese in jedem Fall durch den Laserstrahl getroffen wird. Diese Umlenkeinrichtung sorgt durch entsprechende dynamische Ansteuerung dafür, dass der Laserstrahl in dem vorgesehenen Raumwinkel das zu erzeugende Bild projiziert.
Die erfindungsgemäße Einrichtung kann in einer Ausführungsform auch so gestaltet werden, dass im Strahlengang hinter der Laserprojektionsvorrichtung ein Reflexionselement, insbesondere in Form eines Hohlspiegels oder eines holografischen Spiegels, vorgesehen ist. Bei einer derartigen Gestaltung kann die Einrichtung teilweise neben der Schläfe einer Person angeordnet sein, und der Laserstrahl kann von der Laserprojektionsvorrichtung in das Reflexionselement gestrahlt werden, das nach Art eines Brillenglases vor dem Auge der Person angeordnet ist. Das Reflexionselement kann dabei optisch transparent und teilverspiegelt sein, so dass die Person durch das Reflexionselement hindurchschauen und ein reales Bild der Umgebung aufnehmen kann. Dieses reale Bild wird mit dem durch den Laser projizierten Bild überlagert.
Es kann für eine Entzerrung des Laserprojektionsbildes vorgesehen sein, dass das Reflexionselement bezüglich der optischen Achse des Auges asymmetrisch ist. Da das Laserprojektionsbild schräg und in einem Winkel in das Reflexionselement einfällt, der beispielsweise zwischen 45° und 80° von der optischen Achse des Reflexionselements entfernt ist, kann durch eine asymmetrische Gestaltung des Reflexionselements die entsprechende Verzerrung des Bildes ausgeglichen werden.
Die Geometrie des Reflexionselements kann in der Art ermittelt werden, dass bei einer bekannten Positionierung der Laserprojektionsvorrichtung der Strahlengang des Lasers in verschiedenen Scanpositionen simuliert und der Oberflächenwinkel des Reflexionselements in jedem Punkt so festgelegt wird, dass ein unverzerrtes Bild übertragen wird.
Zusätzlich oder anstelle einer optischen Korrektur kann eine mögliche Implementierung der Erfindung auch vorsehen, dass eine Ansteuereinrichtung vorgesehen und derart eingerichtet ist, dass bei der Ansteuerung des ersten und/oder zweiten MEMS-Spiegels aus dem jeweils ermittelten Umlenkwinkel ein korrigierter Umlenkwinkel ermittelt wird, um eine Verzerrung durch das Reflexionselement auszugleichen.
Wie oben bereits angedeutet, kann die erfindungsgemäße Einrichtung einen einfarbigen Laser aufweisen, jedoch auch mehrere Laser mit unterschiedlichen Wellenlängen oder einen durchstimmbaren Laser, wodurch Laserstrahlen mit verschiedenen Farben gleichzeitig oder nacheinander angewendet werden und die Einrichtung durchlaufen können. Damit können auf der Netzhaut der Person farbige Bilder erzeugt werden.
Ein großer Vorteil der erfindungsgemäßen Einrichtung liegt darin, dass im Wesentlichen reflektierende optische Abbildungselemente verwendet werden, so dass keine Dispersionsprobleme bei Laserstrahlen verschiedener Wellenlänge zu erwarten sind. Für die Kollimation und optische Aufbereitung des Laserstrahls vor den Parabolspiegeln und Umlenkeinrichtungen kann jedoch eine Kollimationseinrichtung vorgesehen sein, die auch brechende optische Elemente enthält, welche dann jedoch farbkorrigiert sein sollten.
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen in Figuren einer Zeichnung gezeigt und nachfolgend erläutert. Dabei zeigt

1 eine perspektivische Darstellung der Einrichtung mit einer horizontalen Auslenkung des gescannten Laserstrahls,
2 Die Einrichtung aus 1 bei einer vertikalen Auslenkung des Laserstrahls,
3 eine schematische Darstellung eines sogenannten Gullstrand-Modellauges mit den das Auge definierenden optischen Elementen und Parametern,
4 eine Schnittzeichnung in horizontaler Ebene mit einer Draufsicht auf die Nachführeinheit, wobei die Blickrichtung des Auges geradeaus nach vorne ausgerichtet ist,
5 eine Schnittzeichnung wie in 4, wobei die Blickrichtung des Auges horizontal um 10° von der Geradeausrichtung abweicht,
6 eine Schnittzeichnung in vertikaler Ebene mit einer Draufsicht auf die Nachführeinheit, wobei die Blickrichtung des Auges geradeaus nach vorne gerichtet ist,
7 eine Detailansicht der Nachführeinheit / des Stellelements mit zwei unterschiedlichen Strahlengängen des Laserstrahls entsprechend zwei unterschiedlichen Blickrichtungen des Auges,
8 den Aufbau der erfindungsgemäßen Einrichtung unter Berücksichtigung der Physiognomie einer Person, bei der diese angewendet werden soll,
9 schematisch eine Brilleneinrichtung mit zwei erfindungsgemäßen Einrichtungen sowie
10 eine Darstellung unterschiedlicher Ausleuchtungen der Netzhaut mit verschiedenen Pixeldichten für die Retina und die Fovea.

Die Einrichtung zur direkten Bilderzeugung durch einen gescannten Laserstrahl auf der Retina eines Auges bei gleichzeitiger Nachführung des Projektionsbildes abhängig von der zeitabhängigen Blickrichtung des Auges ist in 1 dargestellt. Ein RGB-Laser 1 der Einrichtung liefert einen RGB-Laserstrahl 2, mit dem die Farbe eines Pixels geregelt werden kann. Der RGB-Laserstrahl kann auch mit einer Lichtleitfaser und einer entsprechenden Faseroptik zur Verfügung gestellt werden. Dieser Laserstrahl 2 durchläuft ein Strahlformungselement 3, beispielsweise eine Kollimationseinrichtung, das aus einer geeigneten Kombination von Linsen besteht, mit deren Hilfe die geometrischen Parameter des RGB-Laserstrahls 2 (RGB = Rot/Grün/Blau) eingestellt werden. Diese sind in erster Linie der Strahldurchmesser, der Rayleigh-Range und die Divergenz. Da es sich bei dem RGB-Laserstrahl 2 um eine Kombination oder eine zeitliche Abfolge von drei Teilstrahlen mit unterschiedlichen Wellenlängen handelt, kann es notwendig sein, die Linsenkombination des Strahlformungselements als Apochromat auszuführen.
Der RGB-Laserstrahl trifft danach auf das Pivot-Element 4 (Stellelement), das in diesem Zusammenhang auch erster MEMS-Umlenkspiegel genannt wird. Der Zweck des Stellelements 4 besteht darin, den RGB-Laserstrahl 2 unter den bestimmten Winkeln α und β auf den 2D-MEMS-Scanner 7 der Laserprojektionsvorrichtung einfallen zu lassen. Die Winkel α und β sind abhängig von der Blickrichtung des Auges. Als Funktion der Blickrichtung des Auges muss das gescannte Bild sowohl unter dem richtigen Winkel als auch am richtigen Ort in das Auge projiziert werden. Das Stellelement 4 steht im Fokuspunkt des Parabolspiegels 5, auf den der RGB-Laserstrahl 2 abgelenkt wird. Die Ausführungsform des Parabolspiegels 5 ist dergestalt, dass sie das Auftreffen des RGB-Laserstrahls 2 auf das Stellelement 4 ermöglicht und nur die notwendigen Winkel, die durch das Stellelement 4 eingestellt werden reflektieren kann. Aus diesem Grund ist in 1 nur der untere Teil des Parabolspiegels gezeichnet. Der Parabolspiegel kann gegebenenfalls auch noch in seiner seitlichen Ausdehnung verkleinert werden. Da sich das Stellelement 4 im Fokuspunkt des Parabolspiegels 5 befindet, wird der RGB-Laserstrahl 2, der auf die verspiegelte Oberfläche des Parabolspiegels 5 abgelenkt wird, von dem Parabolspiegel 5 so reflektiert, dass er nach der Reflexion parallel zu dessen Symmetrieachse verläuft. Ungeachtet der Winkeleinstellungen α und β des Stellelements 4 verlaufen alle an dem Parabolspiegel 5 reflektierten RGB-Laserstrahlen 2 parallel zur Symmetrieachse des Parabolspiegels 5. Die Symmetrieachse des Parabolspiegels 5 kann innerhalb gewisser Grenzen frei ausgerichtet sein. Der Radius des Parabolspiegels richtet sich nach der Bauweise der Vorrichtung, die sich an der Gesichtsgröße der Person orientiert, in deren Auge das Bild projiziert werden soll, und somit bei einigen wenigen Zentimetern liegt.
Nach der Reflexion an dem Parabolspiegel 5 trifft der RGB-Laserstrahl 2 auf einen zweiten Parabolspiegel 6. Die Symmetrieachse des Parabolspiegels 6 ist so ausgerichtet, dass seine Symmetrieachse parallel zur Symmetrieachse des Parabolspiegels 5 ist. Die Ausführungsform des Parabolspiegels ist derart, dass der vom Stellelement 4 abgelenkte und vom Parabolspiegel 5 reflektierte RGB-Laserstrahl 2 für alle sinnvoll auftretenden Winkel α und β des Stellelements 4 auf den Parabolspiegel 6 auftrifft. Aus diesem Grund ist in 1 nur der obere Teil des Parabolspiegels eingezeichnet. Der Radius des Parabolspiegels 6 ist so gewählt, dass der 2D-MEMS-Scanner 7 in einem integrierten Aufbau ohne großen Aufwand getroffen werden kann. Unter Berücksichtigung der Gesichtsgröße liegt der Radius dann bei wenigen Zentimetern. Es ist wichtig, dass die Radien der Parabolspiegel 5 und 6 auch so gewählt werden können, dass ein kleiner Stellwinkel des Stellelements 4 zu großen Einfallswinkeln auf dem 2D-MEMS-Scanner 7 führt.
Im Fokuspunkt des Parabolspiegels 6 befindet sich der zweite MEMS-Umlenkspiegel, der zu dem 2D-MEMS-Scanner 7 der Laserprojektionsvorrichtung gehört. Der 2D-MEMS-Scanner 7 arbeitet in der üblichen Weise zur Erzeugung eines Laserprojektionsbilds. Der 2D-MEMS-Scanner 7 oszilliert um seine zwei Torsionsachsen θ, Φ, so dass der Laserstrahl ein definiertes Raumwinkelelement überstreicht. Innerhalb dieses Raumwinkelelements werden mit den bekannten Methoden für ein RGB-System die Intensitäten der drei Laser derart geregelt, dass ein Bild pixelgenau erzeugt wird. Die Scanwinkel θ, Φ können derart eingestellt werden, dass das projizierte Laserbild die Retina des Auges in wesentlichen Teilen überstreicht.
Die Ausführungsform des 2D-MEMS-Scanners unterliegt für die Verwendung in der Vorrichtung keinen speziellen Einschränkungen. Vorteilhafte Ausführungsformen sind diejenigen 2D-MEMS-Scanner, die eine hohe Pixeldichte und eine hohe Bildwiederholrate erlauben. Die Antriebsart der 2D-MEMS-Scanner spielt für die Vorrichtung keine Rolle, solange nicht geometrische Einschränkungen oder Baugröße dem entgegenstehen. Dies bedeutet, die Antriebsart kann elektrostatisch, magnetisch, piezoelektrisch, mechanisch, oder anders sein, solange die Pixeldichte bzw. die Bildwiederholrate erreicht wird und die erreichbaren Winkelamplituden die weitgehende Ausleuchtung der Retina ermöglichen. Für Anwendungen, bei denen nur ein kleiner Teil der Retina ausgeleuchtet werden soll, genügen dann auch kleinere Winkelamplituden. Für Anwendungen, bei denen kein vollständiges Bild, sondern z. B. lediglich Piktogramme ins Auge projiziert werden sollen, kann auch ein als Vektorscanner arbeitender Mikrospiegel eingesetzt werden. Die Spiegelfläche hat vorzugsweise einen Durchmesser von 1-2 mm. Er soll ausreichend groß sein, um Beugungserscheinungen des Laserlichts weitgehend vernachlässigen zu können.
Die Verwendung eines 2D-MEMS-Scanners hat vor der Verwendung von zwei 1D-MEMS-Scannern den Vorteil, dass die Drehachsen für die verschiedenen Schwenkebenen sich kreuzen, so dass der Drehpunkt für beide Achsen genau im Fokus eines Parabolspiegels angeordnet werden kann.
Vorzugsweise wird als 2D-Scanner ein Lissajous-Scanner verwendet. Eine entscheidende Voraussetzung zum Betrieb dieser Klasse von 2D-Scannern ist, dass die Winkelstellungen des Spiegels θ und Φ mit großer Genauigkeit und in Echtzeit gemessen werden. Erst die Zuordnung einer Winkelstellung θ und Φ zu einem Pixel des zu projizierenden Bildes und die damit verbundene Steuerung des RGB-Lasers (Farbanteile und Intensität) ermöglichen die Wiedergabe eines Bildes. Die Messmethode zur Ermittlung der Winkelstellung θ und Φ stellt keine Einschränkung dar, solange sie genau genug ist. Eine Messmethode mit genügend guter Genauigkeit ist beschrieben in U.Hofmann, J.Janes, H.-J.Quenzer, High-Q MEMS Resonators for Laser Beam Scanning Displays, Micromachines, 3, 509-528 2012. Lissajous-Scanner, wenn sie unter Vakuumbedingungen betrieben werden, können robuster und kompakter hergestellt werden und benötigen deutlich kleinere Antriebsleistungen verglichen mit anderen MEMS Scannern. Zusätzlich haben Lissajous-Scanner den Vorteil, durch Laserprojektion erzeugte Bilder schneller und mit einer größeren Bildwiederholrate aufzubauen als andere MEMS-Scanner.
In 1 ist dargestellt, dass der RGB-Laserstrahl 2 in eine Richtung horizontal in Bezug auf das Auge einer aufrechtstehenden Person ausgelenkt wird. Dargestellt ist der Strahl bei einer Auslenkung des 2D-MEMS-Scanners von 0°, was dem Zentralpixel in horizontaler Richtung entspricht, und den beiden maximalen Auslenkungen entsprechend der Amplitude des 2D-Scanners, was in 1 den Winkeln von +/- 40° entspricht. In der einen Richtung überstreicht der RGB-Laserstrahl während des Scannens den Winkelbereich zwischen den beiden maximalen Auslenkwinkeln, hier zwischen +/- 40°. Die Vorrichtung ist jedoch nicht auf einen Winkelbereich von +/- 40° beschränkt.
Bei jedem Scanwinkel trifft der RGB-Laserstrahl auf das Reflexionselement 8 in Form eines Spiegels mit spezifischer Oberflächenkrümmung oder auch beispielsweise auf einen holografischen Reflektor. Die Verwendung des Spiegels erlaubt die Projektion des Laserstrahls auf die Retina des Auges bei jeder Winkelstellung des 2D-Scanners 7. Um dies verzerrungsfrei zu erreichen, muss die Oberfläche des Spiegels in jedem Punkt hinsichtlich seines Krümmungsradius und seines Oberflächenwinkels definiert werden. Dabei ergibt sich, dass die Spiegeloberfläche nicht rotationssymmetrisch ist und in vertikaler und horizontaler Richtung unterschiedliche Krümmungsradien und Oberflächenrichtungen besitzt. Die Oberfläche ist in Bezug auf die optische Achse des Auges dezentriert, und es ist vorteilhaft, die Oberfläche unter einem horizontalen Winkel von einigen Grad Abweichung von der Augenachse oder Geradeausblickrichtung zu installieren (siehe dazu 8). Mit einer hinreichenden Näherung gelingt es, diese Ziele auch mit einer asphärischen Oberfläche zu erreichen, die dezentriert installiert ist und ebenfalls eine horizontale Schrägstellung aufweist. Diese Situation wird in 7 dargestellt und unten diskutiert. Die Größe des Spiegels 8 orientiert sich an der Größe eines typischen Brillenglases, das so nahe wie möglich am Auge gehalten wird und sich der Physiognomie des Gesichts anpasst. Zusätzlich muss die geometrische Ausführung des Spiegels das Einstrahlen des gescannten Bildes ermöglichen. Die Zentralachse des Spiegels 8 ist relativ zur Position des Auges in horizontaler Richtung verschoben.
Nach der Reflexion des Laserstrahls 2 an dem Reflexionselement/Spiegel 8 trifft der Strahl ins Auge 9. Für die Berechnung der Strahlengänge der hier vorgestellten Vorrichtung wurden die optischen Parameter des sogenannten Gullstrand-Auges verwendet. Das Gullstrand-Auge 9 repräsentiert die Abstände, Krümmungsradien und Brechungsindizes aller notwendigen optischen Elemente des Auges. Diese Parameter sind in 3 ausführlich dargestellt.
2 zeigt den optischen Strahlengang durch die Vorrichtung für die vertikale Bildprojektion. 2 verdeutlicht, dass der vertikal ausgelenkte Laserstrahl 2 nach der Reflexion an dem Reflexionselement 8 vollständig auf die Retina des Auges 9 gelangt.
In 3 ist schematisch ein menschliches Auge dargestellt. Es handelt sich hierbei um das normierte sogenannte Gullstrand-Auge. Für die Berechnung der Strahlwege (1 ff.) wurden die bekannten Abstände, Krümmungsradien und die Brechungsindizes der jeweiligen Materialien zugrunde gelegt.
Der Augapfel 10 definiert den Bereich des Kammerwassers. Der optische Eingang des Auges ist die Cornea 11. Die Iris 12 mit der Pupille 13 stellt die Apertur im optischen Sinn dar. Der Fokusort 14 repräsentiert den Punkt, durch den der Laserstrahl gehen muss, ungeachtet des Winkels, mit dem er ins Auge trifft. Der Linsenkörper 15 besteht aus der Augenlinse und den Linsenkapseln. Die Akkommodation des Auges wurde bei der Berechnung der Strahlengänge nicht berücksichtigt. Der Drehpunkt 16 des Auges stellt den fiktiven Punkt dar, um den sich das Auge bewegt. Der exakte Punkt, um den sich ein individuelles Auge bewegt, spielt nur eine untergeordnete Rolle. Wesentlich entscheidender für die hier vorgestellten optischen Überlegungen ist, dass der Abstand zwischen dem Drehpunkt 16 und dem Fokusort 14 ungefähr 11-12 mm beträgt. Die Retina mit der Fovea ist mit der Abbildungsfläche 17 dargestellt. (Bei der Definition der Erfindung ist als Projektionsfläche die Netzhaut genannt. Damit ist diese Abbildungsfläche gemeint, die die gesamte Retina und Fovea, jedoch auch nur Teilbereiche umfassen kann.)
Es ist eine wesentliche Aufgabenstellung der Vorrichtung, unabhängig von der Blickrichtung des Auges immer die richtigen Pixel des Bildes auf den richtigen Ort auf der Abbildungsfläche 17 zu projizieren. Es ist wichtig, festzustellen, dass bei einem Bilderzeugungsverfahren, bei dem der Strahlengang des Laserstrahls 2 nicht als Funktion der Blickrichtung des Auges (Drehung um den Drehpunkt 16) geometrisch nachgeführt wird, immer ein Teilbereich des Bildes von der Pupille 13 abgeschnitten wird.
In 4 ist eine Schnittzeichnung gezeigt, die sich durch die horizontale Augenebene ergibt, verbunden mit einer Draufsicht auf die Nachführeinheit, bestehend aus dem Stellelement 4 und den beiden Parabolspiegeln 5 und 6. 4 soll in Verbindung mit 5 gesehen werden, bei der sich die Blickrichtung des Auges in horizontaler Ebene um 10° verdreht hat. Das Stellelement 4 hat in 5 einen anderen Stellwinkel als in 4. Daher trifft der Laserstrahl 2 auf einen entsprechenden Ort auf dem Parabolspiegel 5.
Nach der Reflexion am Parabolspiegel 5 verläuft der Laserstrahl 2 wieder parallel zu den beiden Symmetrieachsen der Parabolspiegel 5 und 6. Im Gegensatz zu der Situation in 4 trifft der Laserstrahl 2 auf einen anderen Ort auf der Oberfläche des zweiten Parabolspiegels 6. Daraus folgend wird der Laserstrahl 2 unter einem anderen Winkel von der Oberfläche des Parabolspiegels 6 reflektiert und trifft daher unter einem anderen Winkel auf den 2D-MEMS-Scanner 7 auf. Bei gleicher Scanamplitude des 2D-MEMS-Scanners 7 hat dies zur Folge, dass die Richtung, in der der Laserstrahl 2 bei einem Scanwinkel von 0° den 2D-MEMS-Scanner verlässt, sich entsprechend geändert hat. Nach der Reflexion des Laserstrahls 2 an dem Reflexionselement 8 trifft dieser dann unter dem richtigen, an die Blickrichtung angepassten Winkel in das Auge 9.
In 4 ist zudem zur Vervollständigung die Eye-Tracking-Vorrichtung in Form einer Kamera 20 und der Analyseeinrichtung 20a, die den Ausrichtungswinkel des Auges ermittelt, dargestellt. Die Analyseeinrichtung 20a ist mit der Steuereinrichtung 4a verbunden, die das Stellelement 4 ansteuert.
In 6 wird die Situation für die Auslenkung des Laserstrahls 2 in vertikaler Richtung gezeigt. Es handelt sich hierbei um eine Schnittzeichnung durch die Ebene des Auges 9, verbunden mit einer Draufsicht auf die Nachführeinheit. Im Unterschied zur horizontalen Situation (4 und 5) ist die Positionierung des Reflexionselements 8 hier symmetrisch zur optischen Achse des Auges 9 bei einer Blickrichtung nach vorne (0°).
In 7 ist vergrößert die Funktionsweise der Nachführeinheit mit dem Stellelement dargestellt. Der Laserstrahl 2 trifft auf das Stellelement 4. Das Stellelement 4 befindet sich im Fokuspunkt des Parabolspiegels 5. Das Stellelement 4 ist in zwei Ebenen in den Winkeln α und β einstellbar. In 7 ist der Strahlengang für zwei verschiedene Einstellwinkel gezeigt. Die Einstrahlrichtung des Laserstrahls 2 muss nur die Reflexion des Strahls in Richtung des Parabolspiegels 5 ermöglichen, ansonsten ist sie nicht eingeschränkt.
Die Voreinstellung der Winkel des Stellelements 4 definiert den Punkt auf der Oberfläche des Parabolspiegels 5, an dem der Laserstrahl reflektiert wird. Grundsätzlich gibt es für diesen Punkt keine Einschränkungen. Praktische Erwägungen hingegen zeigen, dass es vorteilhaft ist, den Einstellbereich der Winkel des Stellelements so klein wie möglich zu halten. Aus diesen praktischen Überlegungen heraus und aus der Tatsache, dass die Projektionsvorrichtung in der Nähe des Auges installiert werden soll, ergeben sich geometrische Randbedingungen. Der Abstand des Fokuspunkts des ersten Parabolspiegels 5 zu seinem Scheitelpunkt liegt in dem in 7 gezeigten Beispiel in der Größenordnung von 15 mm, der Radius des ersten Parabolspiegels 5 liegt in der Größenordnung von 30 mm. Soweit es die Aufbaugeometrie erlaubt und die Herstellungsmethoden es möglich machen, können diese Abstände und Radien entsprechend verkleinert werden.
Die Einstellwinkel des Stellelements richten sich nach den Winkeln der Blickrichtung des Auges und dem Vergrößerungsfaktor, der vom Radius des zweiten Parabolspiegels 6 abhängt. Vorzugsweise wird ein Stellelement mit Einstellwinkeln von wenigen Grad in beide Richtungen verwendet. In 7 sind zwei Einstellwinkel des Stellelements 4 gezeigt. Daraus ergeben sich zwei Auftreffpunkte des Laserstrahls auf der Oberfläche des ersten Parabolspiegels 5. Von diesen Reflexionspunkten ausgehend verlaufen die jeweiligen, reflektierten Laserstrahlen parallel zur Symmetrieachse des ersten Parabolspiegels 5.
Der zweite Parabolspiegel 6 ist derart installiert, dass seine Symmetrieachse parallel zur Symmetrieachse des ersten Parabolspiegels 5 ist und dass sich die reflektierenden Oberflächen der beiden Spiegel gegenüberstehen. Damit verläuft der vom Parabolspiegel 5 reflektierte Laserstrahl 2 auch parallel zur Symmetrieachse des Parabolspiegels 6. Wird dieser Laserstrahl an dem zweiten Parabolspiegel 6 reflektiert, verläuft er immer durch den Fokuspunkt des Parabolspiegels 6. Der Abstand des Fokuspunkts des Parabolspiegels 6 zu seinem Scheitelpunkt liegt in 7 in der Größenordnung von 15 mm, und der Radius des zweiten Parabolspiegels 6 liegt in der Größenordnung von 30 mm. Die Wahl des Radius ermöglicht es, dass der Winkelbereich , in dem der Laserstrahl durch den Fokuspunkt verläuft, vergrößert oder verkleinert werden kann. Für die Funktionsfähigkeit der hier beschriebenen Vorrichtung ist eine Vergrößerung vorteilhaft.
Im Fokuspunkt des Parabolspiegels 6 ist der 2D-MEMS-Scanner 7 angebracht. Der Auftreffwinkel des Laserstrahls 2 auf den Spiegel des 2D-MEMS-Scanners ist definiert durch die Winkelstellung des Stellelements 4 und den dadurch festgelegten Strahlengang über die beiden Parabolspiegel 5 und 6. Während die gescannte Bildgröße durch die Winkelamplituden des 2D-MEMS-Scanners 7 definiert ist, wird, ausgehend vom 2D-MEMS-Scanner als Nullpunkt, das Raumwinkelelement, in das das gescannte Bild projiziert wird, von dem Stellelement 4 bzw. vom Auftreffwinkel des Laserstrahls auf den 2D-MEMS-Scanner bestimmt. Mit diesem Teil der Vorrichtung ist es möglich, der momentanen Blickrichtung des Auges zeitnah zu folgen.
In 8 ist eine weiterführende Form der Vorrichtung gezeigt. Zusätzlich zu den 1 ff. ist in 8 ein Gebiet 10 eingezeichnet. Dieser Raum in der horizontalen Ebene auf der Höhe des Auges muss aus Gründen der Physiognomie von Bauelementen frei bleiben. Innerhalb dieses Raums befinden sich unter anderem die Schläfen, die Wimpern und der Nasenrücken der Person, in deren Auge das Bild erzeugt werden soll. Die obere Begrenzung des Gebiets 10 in 8 ist ungefähr die Linie, auf der sich der Bügel einer Brille befindet. Die untere Begrenzung deutet an, wo sich die ideelle Symmetrieebene des Gesichts befindet.
Um zu erreichen, dass die optischen Elemente 1 bis 7 nicht mit der Physiognomie im Widerspruch stehen, gibt es sowohl die Möglichkeit, die optischen Elemente kleiner auszuführen, als auch die vorteilhafte Möglichkeit, das Reflexionselement 8 horizontal (um eine vertikale Achse) zu drehen. In 8 ist diese Situation für einen Drehwinkel von 8° dargestellt. Im Gegensatz zu 4 bis 6 ist hier das Reflexionselement 8 als dünne Variante aus transparentem optischem Material, z. B. Glas, ausgeführt. Die reflektierende Oberfläche ist teilverspiegelt, so dass immer nur ein Teil des Laserstrahls 2 ins Auge 9 gelangt. Der Vorteil dieser Ausführungsform ist, dass das reale Bild der Umwelt auf diese Weise ebenfalls durch das Reflexionselement ins Auge gelangt. Die Überlagerung des realen Bildes mit dem gescannten, projizierten Laserbild gestattet die Ausführung der Vorrichtung für „Augmented Reality“-Anwendungen. In dieser Ausführungsform ist es zusätzlich möglich, das teilverspiegelte Material als Brille auszuführen, um Sehfehler zu korrigieren.
Dabei müssen natürlich die geometrischen Parameter der reflektierenden Oberfläche beibehalten werden.
9 stellt den Aufbau der Vorrichtung als doppelte Projektionsvorrichtung in beide Augen dar. Ein wesentlicher Punkt dieser Darstellung ist, dass erkennbar wird, dass die Reflexionselemente 8 und 8a so ausgeführt werden können, dass sie keinen Überlappungsbereich aufweisen. Die beiden Reflexionselemente 8 und 8a haben entgegengesetzte Drehwinkel in horizontaler Richtung. Um sicherzustellen, dass zu jedem Zeitpunkt die jeweiligen Pixel auf die vorgesehenen Stelle der Retina projiziert werden, ist es notwendig, die Winkelamplituden in beide Richtungen aufeinander abzustimmen (sie müssen gleich groß sein) und zu regeln, so dass sie konstant sind.
Aufgrund der Tatsache, dass der Laserstrahl unter einem schrägen Winkel auf den Spiegel des 2D-MEMS-Scanners auftrifft, ist es notwendig, die Verzerrung des projizierten Bildes zu kompensieren. Die Verzerrung ist abhängig von der momentanen Einstrahlrichtung des Laserstrahls auf den 2D-MEMS-Scanner, d. h. von der Winkelstellung des Stellelements 4 und damit letztendlich von der momentanen Blickrichtung des Auges. Eine mögliche elektronische oder softwaremäßige Entzerrungsroutine muss also an die Winkelstellung des Stellelements gekoppelt sein. Zusätzlich ist festzustellen, dass in horizontaler Scanrichtung des 2D-MEMS-Scanners die Winkelauslenkung relativ zur 0°-Auslenkung asymmetrisch ist. Dies rührt daher, dass das Reflexionselement 8 erstens horizontal verschoben ist (dezentriert) und zweitens einen Drehwinkel um eine vertikale Achse aufweist (in den hier verwendeten Berechnungen sind dies 8°). Daraus folgt, dass die Lage jedes Pixels in horizontaler Richtung als Funktion des Auslenkwinkels des 2D-MEMS-Scanners korrigiert werden muss.
Mit Hilfe der Laserprojektion auf die Netzhaut in beide Augen und der notwendigen elektronischen Bildaufbereitung werden Szenarien hergestellt, die einen perspektivischen visuellen Eindruck vermitteln. Vor allem für visuelle Eindrücke, die ein Bild im Vordergrund erscheinen lassen, stehen die optischen Achsen der beiden Augen unter einem vergleichsweise großen Winkel, verglichen mit einem visuellen Eindruck, der eine große Entfernung vermittelt.
Mit der hier vorgestellten optischen Vorrichtung kann dieses „Bild im Vordergrund“ für einen großen Bereich der Gesamtblickrichtung erreicht werden.
Im Zusammenhang mit Laserprojektion direkt ins Auge und der „Nachführung“ des Projektionsbildes als Funktion der Blickrichtung des Auges ergibt sich eine weitere vorteilhafte Anwendung der Vorrichtung. Zunächst gilt es festzustellen, dass der physiologische Aufbau des Auges nur dann eine scharfe Wahrnehmung eines realen Bildes erlaubt, wenn dieses auf die Fovea als Teil der Retina abgebildet wird. Außerhalb des Bereichs der Fovea wird kein „scharfes“ Bild wahrgenommen.
Diese Tatsache eröffnet die Möglichkeit, das Laserprojektionsbild, wie es in der hier vorgeschlagenen Weise auf der Netzhaut produziert wird, außerhalb der Fovea mit einer geringeren Pixeldichte zu projizieren als in dem Bereich der Fovea. Diese Situation ist in 10 schematisch dargestellt. Die Retina mit einer geringen Auflösung wird repräsentiert durch das Gebiet 11. Die Fläche 12 stellt das Gebiet dar, in dem mit scannender Laserprojektion ein Bild auf der Retina erzeugt wird. Das kleinere Gebiet 13 repräsentiert die Fovea, und die umrandete Fläche 14 deutet das Gebiet an, in dem die Pixeldichte der Laserprojektion höher ist. Die geometrischen Formen der Gebiete 12 bis 14 sind hier willkürlich. Da das vollständige, durch Laserprojektion erzeugte Bild mit der Blickrichtung des Auges synchron nachgeführt wird, werden immer die gleichen Pixel (mit wechselnden Bildern dann mit wechselndem Pixelinhalt) auf die gleichen Koordinaten der Retina projiziert. Es bedarf lediglich einer entsprechenden softwaremäßigen Steuerung, um in den Gebieten 12 und 14 unterschiedliche Pixeldichten zu ermöglichen. Beispielsweise soll die Pixeldichte im Gebiet 14 bei n pro mm² (n = natürliche Zahl) liegen, um ein hochauflösendes gescanntes Bild auf der Fovea 13 zu erzeugen. Für das Gebiet außerhalb der Fovea 12 ist eine geringere Auflösung (beispielsweise um den Faktor 5 oder 10 geringer) erforderlich, die z. B. mit einer Pixeldichte von 0,1 n pro mm² erfüllt ist. Dies bedeutet aber vorteilhaft, dass insgesamt pro Bild weniger Pixel und der dafür notwendige Speicherplatz vorgehalten werden müssen. Weiterhin ergibt sich daraus, dass bei einer festgehaltenen Bildwiederholrate die Datenübertragungsrate verringert werden kann.

Claims

Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut (17) eines Auges (9) mit einer Laserprojektionsvorrichtung (5, 6, 7), einer Vorrichtung (20) zur Ermittlung der Ausrichtung des Auges und mit einer Nachführeinrichtung (4, 4a) zur Nachführung des Laserstrahls (2) der Laserprojektionsvorrichtung gemäß der ermittelten Ausrichtung, wobei die Nachführeinrichtung ein Stellelement (4) in Form eines steuerbaren Umlenkspiegels und einen ersten und einen zweiten Parabolspiegel (5, 6) aufweist, deren optische Achsen (5a, 6a) parallel zueinander ausgerichtet sind, wobei die Einstellwinkel (α, β) des Stellelements (4) in Abhängigkeit von der ermittelten Ausrichtung des Auges durch eine Steuereinrichtung (4a) steuerbar sind, und das Stellelement (4) im Brennpunkt des ersten Parabolspiegels (5) der Nachführeinrichtung (4, 5, 6) vor der Laserprojektionsvorrichtung (5, 6, 7) angeordnet ist, wobei die Laserprojektionsvorrichtung eine scannende Umlenkeinrichtung aufweist, die im Brennpunkt des zweiten Parabolspiegels (6) der Laserprojektionsvorrichtung angeordnet ist, derart, dass ungeachtet der Einstellwinkel (α, β) des Stellelements (4) die an dem ersten Parabolspiegel (5) reflektierten Laserstrahlen parallel zur Symmetrieachse des ersten Parabolspiegels (5) verlaufen und dass unter Berücksichtigung der ermittelten Ausrichtung des Auges die Scanwinkel (θ, Φ) der scannenden Umlenkeinrichtung derart eingestellt werden können, dass das projizierte Laserbild die Retina des Auges vollständig überstreicht.
Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Stellelement (4) als ein erster MEMS-Umlenkspiegel und die scannende Umlenkeinrichtung als ein zweiter MEMS-Umlenkstraße ausgebildet sind.
Einrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass im Strahlengang hinter der Laserprojektionsvorrichtung (5, 6, 7) ein Reflexionselement (8) vorgesehen ist.
Einrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Reflexionselement (8) als Hohlspiegel ausgebildet ist.
Einrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Reflexionselement (8) optisch transparent und teilverspiegelt ist.
Einrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das Reflexionselement (8) asymmetrisch ist.
Einrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Laserstrahl (2) aus mehreren verschiedenfarbigen Teilstrahlen zusammengesetzt ist oder im zeitlichen Wechsel verschiedene Wellenlängen aufweist.
Brilleneinrichtung (21) mit zwei Einrichtungen nach einem der Ansprüche 1 bis 7.