DE102022207774A1

DE102022207774A1 - Verfahren zu einer automatisierten Kalibration einer virtuellen Netzhautanzeige für eine Datenbrille, Kalibriervorrichtung und virtuelle Netzhautanzeige

Info

Publication number: DE102022207774A1
Application number: DE102022207774.1A
Authority: DE
Inventors: Henning Kaestner; Julian Heinzelmann; Christian Nitschke; Jens Weber; Simon Pick; Maximilian Rutz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-07-28
Filing date: 2022-07-28
Publication date: 2024-02-08
Also published as: WO2024022664A1

Abstract

Die Erfindung geht aus von einem Verfahren zu einer zumindest zu einem Großteil automatisierten Kalibration einer virtuellen Netzhautanzeige (Retinal Scan Display, 10) für eine Datenbrille (12), mit mehreren, in einer vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) voneinander, insbesondere überlappungsfrei, beabstandeten Austrittspupillen (Eyeboxen, 16, 18).Es wird vorgeschlagen, dass in zumindest einem Kalibrierschritt (20) eine augenähnliche Kamera (22) in der vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) derart automatisiert translatiert und/oder rotiert wird, so dass zumindest zwei Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10), vorzugsweise alle Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10), sequentiell jeweils aus verschiedenen Positionen und/oder Winkeln der augenähnlichen Kamera (22) erfasst werden.

Description

Stand der Technik
Aus der US 11,073,689 B2 ist bereits ein Verfahren zu einer manuellen Kalibration einer virtuellen Netzhautanzeige für eine Datenbrille, mit mehreren, in einer vorgesehenen Pupillenebene der virtuellen Netzhautanzeige voneinander beabstandeten Austrittspupillen vorgeschlagen worden.
Offenbarung der Erfindung
Die Erfindung geht aus von einem Verfahren zu einer zumindest zu einem Großteil automatisierten Kalibration einer virtuellen Netzhautanzeige (Retinal Scan Display) für eine Datenbrille, mit mehreren, in einer vorgesehenen Pupillenebene der virtuellen Netzhautanzeige voneinander, insbesondere überlappungsfrei, beabstandeten Austrittspupillen (Eyeboxen).
Es wird vorgeschlagen, dass in zumindest einem Kalibrierschritt eine augenähnliche Kamera in der vorgesehenen Pupillenebene der virtuellen Netzhautanzeige derart automatisiert translatiert und/oder rotiert wird, so dass zumindest zwei Austrittspupillen der virtuellen Netzhautanzeige, vorzugsweise alle Austrittspupillen der virtuellen Netzhautanzeige, sequentiell jeweils aus verschiedenen Positionen und/oder Winkeln der augenähnlichen Kamera erfasst werden. Durch das vorgeschlagene Verfahren kann, insbesondere trotz der Komplexität der Aufgabe, eine Kalibration von großen Stückzahlen von virtuellen Netzhautanzeigen in kurzer Zeit ermöglicht werden, insbesondere indem vorteilhaft eine Automatisierung des Kalibrationsverfahrens ermöglicht wird. Vorteilhaft kann durch das erfindungsgemäße Verfahren eine Bestimmung verschiedener Parameter der virtuellen Netzhautanzeige vereinfacht, beschleunigt und/oder automatisiert werden. Dazu gehören unter anderem eine automatisierte Bestimmung von Positionen der Austrittspupillen in der Pupillenebene und/oder eine automatisierte Bestimmung und/oder Korrektur von Helligkeitsprofilen innerhalb von Austrittspupillen und/oder zwischen Austrittspupillen.
Unter einer „Datenbrille“ soll insbesondere ein Wearable (Head-Mounted Display) verstanden werden, mittels welchem Informationen zum Sichtfeld eines Nutzers hinzugefügt werden können. Vorzugsweise ermöglichen Datenbrillen Augmented-Reality- und/oder Mixed-Reality-Anwendungen. Datenbrillen werden landläufig auch als Smartglasses bezeichnet. Insbesondere weist die Datenbrille eine, insbesondere dem Fachmann geläufige, virtuelle Netzhautanzeige (auch Retinal Scan Display oder Lichtfelddisplay genannt) auf. Die virtuelle Netzhautanzeige ist insbesondere dazu eingerichtet einen Bildinhalt sequentiell durch Ablenkung zumindest eines Lichtstrahls, insbesondere eines Laserstrahls, zumindest einer zeitlich modulierten Lichtquelle, wie z.B. einer oder mehrerer Laserdioden eines Laserprojektors, abgerastert und durch optische Elemente direkt auf die Netzhaut (Retina) des Nutzer-Auges abzubilden. Die Bildquelle ist insbesondere als eine elektronische Bildquelle, beispielsweise als eine Grafikausgabe, insbesondere eine (integrierte) Grafikkarte, eines Computers oder Prozessors oder dergleichen, ausgebildet. Die Bilddaten sind insbesondere als Farbbilddaten, z.B. RGB-Bilddaten, ausgebildet. Insbesondere können die Bilddaten als unbewegte oder als bewegte Bilder, z.B. Videos, ausgebildet sein. Insbesondere umfasst die virtuelle Netzhautanzeige den (miniaturisierten) Laserprojektor. Der Laserprojektor oder ein dem Laserprojektor nachgeschaltetes optisches System kann dazu eingerichtet sein, das Bild in mehreren, voneinander zumindest in der Pupillenebene der virtuellen Netzhautanzeige beabstandeten Austrittspupillen auszugeben. Dazu können beispielsweise Beamsplitter, segmentierte holographisch-optische Elemente oder segmentierte Linsen verwendet werden, welche einen ursprünglich gemeinsamen Strahl aufspalten und/oder vervielfältigen. Dabei kann jedes Bild in jeder Austrittspupille individuell modifiziert werden, so dass für eine einheitliche Bildwahrnehmung durch einen Nutzer der virtuellen Netzhautanzeige eine Abstimmung der Austrittspupillen, d.h. insbesondere eine Kalibration der einzelnen Austrittspupillen, notwendig wird. Anhand der Kalibrationsergebnisse des erfindungsgemäßen Verfahrens wird eine Ausgabe des Laserprojektors derart modifiziert, dass die in den einzelnen Austrittspupillen wahrnehmbaren Bilder zumindest im Wesentlichen harmonisiert sind. Basierend auf den Erfassungen aus verschiedenen Positionen und/oder Winkeln der augenähnlichen Kamera wird anschließend eine Korrektur des jeweils zu kalibrierenden Parameters der Ausgabe des Laserprojektors in den einzelnen Austrittspupillen, wie z.B. einer Flächenhelligkeit in den einzelnen Austrittspupillen oder einer geometrischen Verzerrung in den einzelnen Austrittspupillen berechnet und/oder vorgenommen.
Unter einer „augenähnlichen Kamera“ soll insbesondere eine Digitalkamera verstanden werden, welche zumindest dem menschlichen Auge ähnliche Bildwinkel erfasst und/oder welche zumindest eine dem menschlichen Auge ähnliche optische Funktion aufweist. Insbesondere ist die augenähnliche Kamera als eine Kamera ausgebildet, die explizit und bewusst dem menschlichen Auge nachempfunden ist. Insbesondere ist die augenähnliche Kamera als eine Kamera ausgebildet, die explizit und bewusst ein Bild einer Umgebung aufzeichnet, wie es auch von einem menschlichen Auge wahrgenommen werden würde, insbesondere hinsichtlich eines Sichtfelds und/oder Blickwinkels. Insbesondere ist bei einer Positionierung der augenähnlichen Kamera relativ zu der virtuellen Netzhautanzeige an einem Ort, an dem sonst das menschliche Auge vorgesehen wäre, jeweils immer nur maximal genau eine Austrittspupille in dem Sichtfeld der augenähnlichen Kamera angeordnet. Die vorgesehene Pupillenebene ist insbesondere als eine Fläche (Ebene) der virtuellen Netzhautanzeige, vorzugsweise der Datenbrille, ausgebildet, in welcher sich die Pupillen eines Auges des Nutzers der virtuellen Netzhautanzeige bei einer Verwendung der virtuellen Netzhautanzeige durch den Nutzer etwa (idealerweise) befinden. Insbesondere verläuft die vorgesehene Pupillenebene etwa parallel zu einer Oberfläche eines Brillenglases der Datenbrille. Unter einem „sequentiellen“ Erfassen soll insbesondere ein zeitlich nacheinander/ aufeinanderfolgendes Erfassen der einzelnen Austrittspupillen verstanden werden. Die Ausgestaltung der Kamera als augenähnliche Kamera macht ein gleichzeitiges Erfassen von zwei oder mehr Austrittspupillen in der vorgesehenen Pupillenebene der jeweiligen virtuellen Netzhautanzeige unmöglich. Insbesondere wird die augenähnliche Kamera in dem Kalibrierschritt mit Hilfe motorisierter Achsen verfahren (Translationsachse) und/oder rotiert (Rotationsachse). Insbesondere werden mittels der Translationsachse(n) die unterschiedlichen Positionen eingestellt. Insbesondere werden mittels der Rotationsachse(n) die unterschiedlichen Winkel eingestellt. Insbesondere wird mittels der Translations- und/oder Rotationsachsen die augenähnliche Kamera derart bewegt, dass die Bilder jeder Austrittspupille jeweils aus verschiedenen Perspektiven detektiert werden. Insbesondere wird mittels der Translations- und/oder Rotationsachsen die augenähnliche Kamera derart bewegt, dass die Bilder jeder Austrittspupille jeweils aus verschiedenen Winkeln und/oder jeweils aus verschiedenen Positionen detektiert werden.
Unter einer „Austrittspupille“ soll insbesondere ein bildseitiges Bild einer (virtuellen) Aperturblende der die Abbildung des Bildinhalts erzeugenden optischen Komponenten eines optischen Systems der virtuellen Netzhautanzeige verstanden werden. Insbesondere überlappt bei einer bestimmungsgemäßen Verwendung der virtuellen Netzhautanzeige zumindest eine der Austrittspupillen der virtuellen Netzhautanzeige mit einer Eintrittspupille des Nutzer-Auges. Unter „vorgesehen“ und/oder unter „eingerichtet“ soll insbesondere speziell programmiert, ausgelegt und/oder ausgestattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vorgesehen und/oder eingerichtet ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt.
Wenn dabei die augenähnliche Kamera einen Bildwinkel und eine optische Funktion besitzt, die denen des menschlichen Auges gleichen, und somit von der augenähnlichen Kamera während dem Kalibrierschritt immer nur eine einzelne Austrittspupille der virtuellen Netzhautanzeige, insbesondere innerhalb der vorgesehenen Pupillenebene, erfasst wird, kann vorteilhaft eine auf einem realen Seheindruck basierende Kalibration vorgenommen werden. Dadurch kann eine besonders vorteilhafte, insbesondere besonders präzise und/oder zuverlässige Kalibration erreicht werden. Außerdem kann vorteilhaft jede einzelne Austrittspupille separat kalibriert werden. Zudem kann vorteilhaft ermöglicht werden mehrere verschiedene Austrittspupillen aufeinander abzustimmen. Darunter, dass sich ein Parameter der augenähnlichen Kamera mit demselben Parameter eines menschlichen Auges „im Wesentlichen gleicht“ soll insbesondere verstanden werden, dass eine Abweichung der beiden Parameter kleiner ist als 30%, vorzugsweise kleiner ist als 15% und bevorzugt kleiner ist als 5%.
Ferner wird vorgeschlagen, dass in zumindest einem, insbesondere dem Kalibrierschritt zeitlich vorangehenden, Verfahrensschritt die Positionen und/oder die Größen der Austrittspupillen, insbesondere in der vorgesehenen Pupillenebene, der virtuellen Netzhautanzeige ermittelt werden, indem die augenähnliche Kamera, beispielsweise streifenweise, über den gesamten Projektionsbereich der virtuellen Netzhautanzeige verfahren wird und durch sequentielle Aufnahme von Testmustern aus jeder Austrittspupille die Position der jeweiligen Austrittspupille in einem Koordinatensystem der augenähnlichen Kamera bestimmt wird, oder indem von einem weiteren optischen Sensor, beispielsweise einer weiteren Kamera mit einem großem Bildwinkel, einem Beamprofiler oder einer telezentrischen Kamera, der gesamte Projektionsbereich der virtuellen Netzhautanzeige gleichzeitig aufgezeichnet wird. Dadurch kann vorteilhaft eine zuverlässige Kalibration gewährleistet werden, insbesondere indem alle Austrittspupillen der jeweiligen virtuellen Netzhautanzeige zuverlässig erkannt und in der Folge auch kalibriert werden können. Vorteilhaft kann eine zuverlässige Automatisierung des Kalibrierverfahrens ermöglicht werden. Insbesondere projiziert die virtuelle Netzhautanzeige in dem Verfahrensschritt (unabhängig davon welche der beiden Optionen angewandt wird) ein vollflächiges weißes Bild in den gesamten Projektionsbereich aller Austrittspupillen.
Bei einer Verwendung der augenähnlichen Kamera zur Durchführung des Verfahrensschritts, in dem die Positionen und/oder die Größen der Austrittspupillen ermittelt werden, treten bei dem, beispielsweise streifenweisen, Verfahren der augenähnlichen Kamera über den Projektionsbereich die einzelnen Austrittspupillen nacheinander in das Sichtfeld der augenähnlichen Kamera ein und wieder aus. Während dem Verfahren der augenähnlichen Kamera kann in regelmäßigen Abständen ein Bild von der augenähnlichen Kamera aufgezeichnet werden. Aus den Pixelwerten dieser Bilder ergibt sich dann vorzugsweise ein auf die Bewegung der augenähnlichen Kamera mappbares Helligkeitsprofil, insbesondere da die Austrittspupillen während dem Verfahrensschritt vollflächig ausgeleuchtet sind. Durch die Kenntnis der jeweiligen Positionen der augenähnlichen Kamera können daraus dann die Positionen der Austrittspupillen und/oder die Größen der Austrittspupillen ermittelt werden. Bei einer Verwendung des weiteren optischen Sensors zur Durchführung des Verfahrensschritts, in dem die Positionen und/oder die Größen der Austrittspupillen ermittelt werden, wird auf einmal der gesamte Projektionsbereich mit allen Austrittspupillen aufgenommen. Insbesondere wenn der weitere optische Sensor zuvor entsprechend kalibriert wurde kann aus dieser einen Aufnahme die Position und/oder die Größe jeder einzelnen Austrittspupille des gesamten Projektionsbereichs ermittelt werden. Für diese Kalibration müssen die Position des weiteren Sensors, die optischen Eigenschaften des weiteren Sensors sowie die optischen Eigenschaften der augenähnlichen Kamera berücksichtigt werden, vorzugsweise um die Positionen der Austrittspupillen im Bezugssystem der anschließend verwendeten augenähnlichen Kamera zu ermitteln. Der Beamprofiler ist insbesondere als ein Laserstrahlprofiler ausgebildet. Der Beamprofiler ist insbesondere als ein Gerät ausgebildet, welches dazu eingerichtet ist, ein räumliches Intensitätsprofil eines Lichtstrahls, wie z.B. eines Laserstrahls oder eines gescannten Laserstrahls, in einer bestimmten Ebene quer zu einem Strahlausbreitungspfad des Lichtstrahls zu erfassen. Eine telezentrische Kamera ist insbesondere als eine Kamera ausgebildet, die ein Objektiv umfasst, das sich dadurch auszeichnet, dass eine Eintrittspupille des Objektivs und/oder die Austrittspupille des Objektivs im Unendlichen liegt.
Wenn in dem Verfahrensschritt die augenähnliche Kamera, insbesondere um eine zumindest im Wesentlichen senkrecht zu einer Hauptblickrichtung der augenähnlichen Kamera verlaufende Rotationsache, rotiert wird, so dass verschiedene Winkelausrichtungen der augenähnlichen Kamera abgetastet werden, können vorteilhaft hochauflösende augenähnliche Kameras mit noch kleineren Blickwinkeln verwendet werden. Vorteilhaft werden dadurch verschiedene Winkelausrichtungen der augenähnlichen Kamera während dem Verfahren der augenähnlichen Kamera abgetastet.
Des Weiteren wird vorgeschlagen, dass in zumindest einem Teilschritt des Kalibrierschritts geometrische Verzerrungen der einzelnen Austrittspupillen der virtuellen Netzhautanzeige bestimmt werden, indem die augenähnliche Kamera unter ermittelten oder unter, insbesondere mehreren verschiedenen, festgelegten Positionen und Winkeln in der vorgesehenen Pupillenebene der virtuellen Netzhautanzeige positioniert wird und von der derart ausgerichteten augenähnlichen Kamera in die Austrittspupillen projizierte Testmuster aufgezeichnet werden. Dadurch kann vorteilhaft eine geometrische Kalibration mehrerer Austrittspupillen besonders schnell und zuverlässig ermöglicht werden, insbesondere indem eine Automatisierung der geometrischen Kalibrierung mehrerer Austrittspupillen ermöglicht wird. Insbesondere wird basierend auf den erfassten Verzerrungen (aus einer oder mehreren Perspektiven) anschließend eine Korrektur der Projektion in den einzelnen Austrittspupillen berechnet und/oder vorgenommen. Insbesondere weist die Datenbrille und/oder die virtuelle Netzhautanzeige eine Recheneinheit auf, welche zumindest zur Durchführung der in dem Kalibrierschritt und/oder einem Teilschritt des Kalibrierschritts vorgenommenen Korrekturberechnungen vorgesehen ist. Unter einer „Recheneinheit“ soll insbesondere eine Einheit mit einem Informationseingang, einer Informationsverarbeitung und einer Informationsausgabe verstanden werden. Vorteilhaft weist die Recheneinheit zumindest einen Prozessor, einen Speicher, Ein- und Ausgabemittel, weitere elektrische Bauteile, ein Betriebsprogramm, Regelroutinen, Steuerroutinen und/oder Berechnungsroutinen auf. Vorzugsweise sind die Bauteile der Recheneinheit auf einer gemeinsamen Platine angeordnet und/oder vorteilhaft in einem gemeinsamen Gehäuse, beispielsweise innerhalb der Datenbrille, angeordnet. Alternativ ist denkbar, dass die Recheneinheit ausgelagert ist, z.B. in eine Cloud oder in ein Smartphone, etc. und zu einer Kommunikation mit der Datenbrille, insbesondere zumindest mit einer Steuerung des Laserprojektors, vorgesehen ist. Zur Bestimmung und Berechnung der geometrischen Korrekturen (Verzerrungskorrekturen) können bekannte Verfahren, beispielsweise Softwareverfahren, angewendet werden, insbesondere für jede Austrittspupille einzeln. Siehe hierzu beispielsweise die Veröffentlichungen a) Lee, S., & Hua, H. (2013). A robust camera-based method for optical distortion calibration of head-mounted displays. Proceedings - IEEE Virtual Reality, 27-30. b) Gilson, S. J., Fitzgibbon, A. W., & Glennerster, A. (2008). Spatial calibration of an optical see-through head-mounted display. Journal of Neuroscience Methods, 173(1), 140-146. c) Owen, C. B., Zhou, J., Tang, A., & Xiao, F. (2004). Display-Relative Calibration for Optical See-Through Head-Mounted Displays. Proceedings of the Third IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2004) oder d) DE 10 2017 200 101 A1 . Insbesondere werden in dem Teilschritt des Kalibrierschritts Testmuster für jede Farbe (z.B. RGB) in jede Austrittspupille projiziert, um farbspezifische Verzerrungen korrigieren zu können.
Wenn dabei die von der virtuellen Netzhautanzeige in die Austrittspupillen projizierten Testmuster aus einzelnen zeitlich nacheinander von der virtuellen Netzhautanzeige projizierten und zeitlich nacheinander von der augenähnlichen Kamera aufgezeichneten Teilmustern, insbesondere digital, zusammengesetzt werden, kann vorteilhaft eine optische Qualität der Testmuster verbessert und dadurch ein Kalibrationsergebnis wesentlich verbessert werden. Vorteilhaft können durch die vorgeschlagene zeitlich sequentielle Projektion von Teilmustern innerhalb einer Austrittspupille optische Störeffekte, wie z.B. Streulicht, insbesondere aus benachbarten Teilbereichen eines Testmusters vermieden werden. Vorteilhaft kann im Fall eines als Gitter ausgebildeten Testmusters ein störender Einfluss benachbarter Linien auf eine Gitterlinie vermieden werden, was bei einer zeitgleichen Projektion eines gesamten Gitters der Fall sein kann (Bei Gittermustern können sich beispielsweise benachbarte Gitterlinien beeinflussen, da die Intensitätsprofile jeder einzelnen projizierten Gitterlinie des als gesamtes Gitter projizierten Testmusters häufig keine vollkommen scharf begrenzten Rechteckfunktionen sind). Außerdem kann dadurch vorteilhaft für jede Linie des als Gitter ausgebildeten Testmusters eine optimale Belichtungszeit ermittelt werden, beispielsweise durch eine statistische Auswertung der Pixelwerte der Bilder (Erkennen von gesättigten Pixeln) und eine darauf basierende iterative Anpassung der Belichtungszeiten. Die Belichtungszeiten können dann beispielsweise so angepasst werden, dass das als Gitter ausgebildete Testmuster eine homogene Helligkeit aufweist, was bei einer einzelnen Aufnahme eines gesamten Gitters aufgrund von Helligkeitsgradienten nicht immer gegeben sein muss.
Außerdem wird vorgeschlagen, dass in zumindest einem, insbesondere weiteren, Teilschritt des Kalibrierschritts vollflächige, insbesondere homogen einfarbige, Bilder in die Austrittspupillen projiziert werden, woraus Helligkeitsprofile der einzelnen Austrittspupillen der virtuellen Netzhautanzeige bestimmt werden, indem die augenähnliche Kamera unter ermittelten oder unter festgelegten Winkeln in der vorgesehenen Pupillenebene der virtuellen Netzhautanzeige positioniert wird und indem die derart ausgerichtete augenähnliche Kamera die projizierten vollflächigen Bilder in den Austrittspupillen aufzeichnet. Dadurch kann vorteilhaft eine Helligkeitskalibration mehrerer Austrittspupillen besonders schnell und zuverlässig ermöglicht werden, insbesondere indem eine Automatisierung der Helligkeitskalibrierung mehrerer Austrittspupillen ermöglicht wird. Insbesondere wird basierend auf den erfassten Helligkeitsprofilen (aus einer oder mehreren Perspektiven) anschließend eine Korrektur der Projektion berechnet und/oder vorgenommen, beispielsweise mittels der Recheneinheit. Algorithmen zur Softwarekorrektur von Helligkeitsprofilen sind dem Fachmann bekannt. Eine Belichtungszeit für diesen, insbesondere weiteren, Teilschritt kann durch statistische Auswertung der einzelnen Pixelwerte von Bildern einzelner Austrittspupillen optimiert werden.
Weiterhin wird vorgeschlagen, dass in zumindest einem, insbesondere zusätzlichen weiteren, Teilschritt des Kalibrierschritts feste Fokuslängen für eine Linse mit variabler Brechkraft im optischen Pfad der virtuellen Netzhautanzeige für die einzelnen Austrittspupillen der virtuellen Netzhautanzeige bestimmt werden, indem von der virtuellen Netzhautanzeige ein Muster zur Bestimmung der Bildschärfe, insbesondere ein Streifenmuster, bei verschieden eingestellten Fokuslängen der Linse der virtuellen Netzhautanzeige projiziert wird und von der augenähnlichen Kamera in den jeweiligen Austrittspupillen aufgezeichnet wird. Dadurch kann vorteilhaft eine Kalibration von Linsen mit variabler Fokuslänge für mehrere Austrittspupillen besonders schnell und zuverlässig ermöglicht werden, insbesondere indem eine Automatisierung der Kalibration von Linsen mit variabler Fokuslänge für mehrere Austrittspupillen ermöglicht wird. Insbesondere wird in dem, insbesondere zusätzlichen weiteren, Teilschritt des Verfahrensschritts für jede Austrittspupille je eine feste Fokuslänge für eine Linse mit variabler Brechkraft (und damit variabler Fokuslänge) bestimmt. Derartige Linsen können sich im optischen Pfad der virtuellen Netzhautanzeige befinden und sind zu einer Kompensierung von Laufwegunterschieden zwischen den verschiedenen Austrittspupillen der virtuellen Netzhautanzeige vorgesehen. Basierend auf den, insbesondere in dem, insbesondere zusätzlichen weiteren, Teilschritt des Verfahrensschritts erfassten Bildern der Muster zur Bestimmung der Bildschärfe werden Kontrastwerte berechnet, aus denen anschließend die Fokuslänge der Linse bestimmt wird.
Zudem wird vorgeschlagen, dass während, vor und/oder nach zumindest einem Teilschritt des Kalibrierschritts, insbesondere während, vor und/oder nach jedem Teilschritt des Kalibrierschritts, die augenähnliche Kamera derart verfahren wird, dass ein mit der augenähnlichen Kamera bewegungsverbundener weiterer Sensor, beispielsweise ein Lichtleistungsmessgerät, zumindest mit der aktuell aufgezeichneten, unmittelbar danach aufgezeichneten und/oder unmittelbar zuvor aufgezeichneten Austrittspupille der virtuellen Netzhautanzeige überlagert wird. Dadurch kann vorteilhaft eine besonders umfassende und/oder vielseitige und insbesondere besonders schnelle und damit automatisierbare Kalibration von virtuellen Netzhautanzeigen, insbesondere von großen Stückzahlen von virtuellen Netzhautanzeigen erreicht werden. Vorteilhaft kann eine zusätzliche Sicherheitsprüfung in den Kalibrationsvorgang eingebaut werden. Dadurch kann vorteilhaft eine hohe Sicherheit der virtuellen Netzhautanzeige und/oder der Datenbrille mit der virtuellen Netzhautanzeige erreicht werden. Zudem kann vorteilhaft eine Performance-Prüfung des Laserprojektors mit in den Kalibrationsvorgang eingebaut werden. Dadurch kann vorteilhaft eine hohe Zuverlässigkeit der virtuellen Netzhautanzeige und/oder der Datenbrille mit der virtuellen Netzhautanzeige erreicht werden. Insbesondere kann die Lichtleistung für jede Farbe, d.h. insbesondere für jede Laserdiode des Laserprojektors (RGB), separat bestimmt und/oder überprüft werden.
Zusätzlich wird eine Kalibriervorrichtung zu einer zumindest zu einem Großteil automatisierten Kalibration einer virtuellen Netzhautanzeige (Retinal Scan Display) für eine Datenbrille, welche die augenähnliche Kamera und eine motorisierte Verfahreinheit, welche zu einer Translation und/oder zu einer Rotation der augenähnlichen Kamera innerhalb der vorgesehenen Pupillenebene der virtuellen Netzhautanzeige eingerichtet ist, aufweist, vorgeschlagen. Dadurch kann, insbesondere trotz der Komplexität der Aufgabe, eine Kalibration von großen Stückzahlen von virtuellen Netzhautanzeigen in kurzer Zeit ermöglicht werden, insbesondere indem vorteilhaft eine Automatisierung des Kalibrationsverfahrens ermöglicht werden kann. Vorteilhaft kann durch die erfindungsgemäße Kalibriervorrichtung eine Bestimmung verschiedener Parameter der virtuellen Netzhautanzeige vereinfacht, beschleunigt und/oder automatisiert werden.
Wenn ein oder mehrere weitere Sensoren, beispielsweise ein Lichtleistungsmessgerät, mit der augenähnlichen Kamera bewegungsverbunden von der Verfahreinheit gelagert sind, kann vorteilhaft ein weiterer Überprüfungsschritt an der virtuellen Netzhautanzeige, z.B. eine Sicherheitsüberprüfung oder eine Performanceüberprüfung, mit dem Kalibrierschritt vereinigt werden. Dadurch kann vorteilhaft eine Effizienz gesteigert werden.
Wenn außerdem die Kalibriervorrichtung eine Schnellwechselvorrichtung, zu einem einfachen und zügigen Wechsel der in der Kalibriervorrichtung kalibrierten virtuellen Netzhautanzeige umfasst, kann vorteilhaft eine Kalibration der virtuellen Netzhautanzeige vereinfacht, beschleunigt und/oder automatisiert werden.
Ferner wird eine virtuelle Netzhautanzeige, insbesondere in einer Datenbrille, vorgeschlagen, welche zumindest mittels eines der Teilschritte des Kalibrierschritts kalibriert ist. Dadurch kann vorteilhaft eine optimal kalibrierte und/oder kostengünstig kalibrierte virtuelle Netzhautanzeige und/oder Datenbrille erhalten werden.
Das erfindungsgemäße Verfahren, die erfindungsgemäße Kalibriervorrichtung und die erfindungsgemäße virtuelle Netzhautanzeige sollen hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. Insbesondere kann das erfindungsgemäße Verfahren, die erfindungsgemäße Kalibriervorrichtung und die erfindungsgemäße virtuelle Netzhautanzeige zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
Zeichnung
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
Es zeigen:

1 eine schematische Darstellung einer Datenbrille mit einer virtuellen Netzhautanzeige,
2 eine schematische Darstellung eines Teils einer Kalibriervorrichtung zu einer Kalibration der virtuellen Netzhautanzeige,
3 ein schematisches Ablaufdiagramm eines Verfahrens zu der Kalibration der virtuellen Netzhautanzeige,
4 schematisch einen Teil eines Projektionsbereichs der virtuellen Netzhautanzeige mit mehreren Austrittspupillen der virtuellen Netzhautanzeige,
5 schematisch eine Kurve mit einer Anzahl an hellen Pixeln innerhalb eines Blickfelds einer augenähnlichen Kamera beim Überfahren einer der Austrittspupillen
6a schematisch ein digital zusammengesetztes Testmuster, wie es in einem Teilschritt eines Kalibrierschritts des Verfahrens angewandt wird,
6b ein einzelnes Teilmuster des Testmusters,
6c ein weiteres einzelnes Teilmuster des Testmusters,
7 beispielhaft und schematisch ein Helligkeitsprofil, wie es in einem weiteren Teilschritt des Kalibrierschritts des Verfahrens angewandt wird,
8a schematisch ein Muster, wie es in einem zusätzlichen weiteren Teilschritt des Kalibrierschritts angewendet wird, bei einer ersten eingestellten Fokuslänge einer Linse der virtuellen Netzhautanzeige,
8b schematisch das Muster, wie es in einem zusätzlichen weiteren Teilschritt des Kalibrierschritts angewendet wird, bei einer zweiten eingestellten Fokuslänge der Linse der virtuellen Netzhautanzeige und
8c schematisch eine Kurve, mit der ein Kontrastwert über verschiedene eingestellte Fokuslängen der Linse veranschaulicht wird.

Beschreibung des Ausführungsbeispiels
Die 1 zeigt eine schematische Darstellung einer Datenbrille 12. Die Datenbrille 12 weist eine virtuelle Netzhautanzeige (Retinal Scanning Display) 10 auf. Die Datenbrille 12 umfasst ein Brillengestell 56. Die Datenbrille 12 umfasst Brillengläser 58. In der 1 ist beispielhaft ein Nutzer-Auge 60 dargestellt. Das Nutzer-Auge 60 weist eine Pupille 62 auf. Die Pupille 62 befindet sich in der 1 in einer vorgesehenen Pupillenebene 14 der virtuellen Netzhautanzeige 10. Die virtuelle Netzhautanzeige 10 weist einen Laserprojektor 64 auf. Der Laserprojektor 64 ist als ein gescannter Laserprojektor ausgebildet. Der Laserprojektor 64 ist dazu vorgesehen, einen gescannten Laserstrahl 66 zu erzeugen und auszugeben. Der gescannte Laserstrahl 66 erzeugt eine Bildanzeige der virtuellen Netzhautanzeige 10. Der gescannte Laserstrahl 66 kann durch ein optisches System 68 der virtuellen Netzhautanzeige 10 und/oder durch den Laserprojektor 64 vervielfältigt sein und dadurch die Bildanzeige in mehreren voneinander beabstandeten Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10, insbesondere des optischen Systems 68 auf der Pupillenebene 14 ausgeben. Die virtuelle Netzhautanzeige 10 erzeugt mehrere, in der vorgesehenen Pupillenebene 14 der virtuellen Netzhautanzeige 10 voneinander überlappungsfrei beabstandete Austrittspupillen 16, 18. Die Austrittspupillen 16, 18 werden fachspezifisch auch Eyeboxen genannt. Der Laserprojektor 64 ist zumindest teilweise in das Brillengestell 56 integriert. Das Brillenglas 58 kann ein Teil der virtuellen Netzhautanzeige 10 ausbilden, beispielsweise indem es ein holographisch-optisches Element (HOE) umfasst, welches dazu eingerichtet ist, den gescannten Laserstrahl 66 umzuleiten und in die Austrittspupillen 16, 18 in der Pupillenebene 14 zu fokussieren.
Das optische System 68 umfasst zumindest eine Linse 46. Die Linse 46 ist mit variabler Brechkraft ausgestattet. Die Linse 46 ist in einem optischen Pfad der virtuellen Netzhautanzeige 10 angeordnet. Die Linse 46 ist dazu eingerichtet, Laufwegunterschiede zwischen den einzelnen Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 zu kompensieren / auszugleichen. Die virtuelle Netzhautanzeige 10 umfasst eine Recheneinheit 70. Die Recheneinheit 70 ist zu einem Ausführen eines Betriebsprogramms der Datenbrille 12 vorgesehen, über welches vorzugsweise zumindest ein Großteil der Hauptfunktionen der Datenbrille 12 ausführbar sind. Die virtuelle Netzhautanzeige 10 in der Datenbrille 12 ist mittels eines zumindest zu einem Großteil automatisierten Verfahrens kalibriert. Die Recheneinheit 70 ist zu einem Ausführen eines Kalibrierschritts 20 des Verfahrens oder von Teilschritten 34, 40, 42 des Kalibrierschritts 20 vorgesehen (vgl. auch 3).
Die 2 zeigt eine schematische Darstellung eines Teils einer Kalibriervorrichtung 50, welche zu einer zumindest zu einem Großteil automatisierten Kalibration der virtuellen Netzhautanzeige 10 für die Datenbrille 12 vorgesehen ist. Die Kalibriervorrichtung 50 weist eine nur rein schematisch dargestellte Haltevorrichtung 72 für die virtuelle Netzhautanzeige 10, insbesondere für die Datenbrille 12, auf. Die Haltevorrichtung 72 hält die virtuelle Netzhautanzeige 10, insbesondere zumindest den Laserprojektor 64 und das optische System 68 mit dem Brillenglas 58, ortsfest in Position. Die Kalibriervorrichtung 50 weist eine ebenfalls nur schematisch dargestellte Schnellwechselvorrichtung 54 auf. Die Schnellwechselvorrichtung 54 kann beispielsweise eine öffenbare Klemmhalterung oder eine Magnethalterung umfassen. Die Schnellwechselvorrichtung 54 ist zu einem einfachen und zügigen Wechsel der in der Kalibriervorrichtung 50 kalibrierten virtuellen Netzhautanzeige 10 eingerichtet.
Die Kalibriervorrichtung 50 umfasst eine weitere Haltevorrichtung 74. Die weitere Haltevorrichtung 74 ist translatorisch bewegbar. Die weitere Haltevorrichtung 74 ist translatorisch entlang einer Vertikalachse 76 bewegbar. Die weitere Haltevorrichtung 74 ist translatorisch entlang Horizontalachsen 78, 80 bewegbar. Die weitere Haltevorrichtung 74 ist rotatorisch um eine Rotationsachse 32 bewegbar. Die Kalibriervorrichtung 50 weist eine motorisierte Verfahreinheit 52 auf, welche zu der Translation und/oder zu der Rotation der weiteren Haltevorrichtung 74 und insbesondere aller von der weiteren Haltevorrichtung 74 gehalterten Elemente oder Messinstrumente vorgesehen ist.
Die Kalibriervorrichtung 50 umfasst eine augenähnliche Kamera 22. Die augenähnliche Kamera 22 ist zu einer Kalibration der in der Haltevorrichtung 72 gehalterten virtuellen Netzhautanzeige 10 vorgesehen. Die augenähnliche Kamera 22 weist einen Bildwinkel, der dem des menschlichen Auges gleicht, auf. Die augenähnliche Kamera 22 besitzt eine optische Funktion, die dem des menschlichen Auges gleicht. Die augenähnliche Kamera 22 ist zumindest indirekt durch die weitere Haltevorrichtung 74 gehaltert. Die augenähnliche Kamera 22 ist durch die Verfahreinheit 52 translatierbar und/oder rotierbar. Die augenähnliche Kamera 22 ist durch die Verfahreinheit 52 in die vorgesehene Pupillenebene 14 der in der Haltevorrichtung 72 gehalterten virtuellen Netzhautanzeige 10 verbringbar. Die augenähnliche Kamera 22 ist durch die Verfahreinheit 52 innerhalb der vorgesehenen Pupillenebene 14 der in der Haltevorrichtung 72 gehalterten virtuellen Netzhautanzeige 10 translatierbar und/oder rotierbar.
Die Kalibriervorrichtung 50 weist mehrere weitere optische Sensoren 28, 48 auf. Ein erster weiterer Sensor 48 ist als ein Lichtleistungsmessgerät ausgebildet. Ein zweiter weiterer Sensor 28 ist als ein Beamprofiler ausgebildet. Alternativ könnte der zweite weitere Sensor 28 auch als eine telezentrische Kamera ausgebildet sein. Der zweite weitere Sensor 28 ist zu einer Erfassung eines gesamten Projektionsbereichs der virtuellen Netzhautanzeige 10, insbesondere auch in der Pupillenebene 14, vorgesehen. Der zweite weitere Sensor 28 ist zu einer Erfassung aller Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 in der Pupillenebene 14, vorgesehen. Zumindest einer oder alle der weiteren Sensoren 28, 48 sind mit der augenähnlichen Kamera 22 und/oder mit den jeweiligen anderen weiteren Sensoren 28, 48, bewegungsverbunden von der Verfahreinheit 52 gelagert. Die Kalibriervorrichtung 50 weist ein künstliches Auge 82 auf. Das künstliche Auge 82 ist zumindest dazu vorgesehen, eine Reflexion des von der virtuellen Netzhautanzeige 10 eingestrahlten Lichts zu erzeugen, welche zumindest im Wesentlichen dem eines echten menschlichen Auges, insbesondere einer echten menschlichen Retina und/oder einer echten menschlichen Hornhaut gleicht. Das künstliche Auge 82 ist mit der augenähnlichen Kamera 22 und/oder mit den weiteren Sensoren 28, 48, bewegungsverbunden von der Verfahreinheit 52 gelagert. Die Verfahreinheit 52 ist dazu vorgesehen, die augenähnliche Kamera 22, die weiteren Sensoren 28, 48 und das künstliche Auge 82 wahlweise in Überlapp mit zumindest einer einzelnen Austrittspupille 16, 18 der virtuellen Netzhautanzeige 10 zu bringen.
Die 3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zu einer zumindest zu einem Großteil automatisierten Kalibration der virtuellen Netzhautanzeige 10 für Datenbrillen 12. In zumindest einem Verfahrensschritt 84 wird die virtuelle Netzhautanzeige 10 in die Haltevorrichtung 72 eingespannt. Das Einspannen der virtuellen Netzhautanzeige 10 in die Haltevorrichtung 72 kann mittels der Schnellwechselvorrichtung 54 geschehen. In zumindest einem Verfahrensschritt 24 werden die Positionen und die Größen der Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 ermittelt, indem die augenähnliche Kamera 22 mittels der Verfahreinheit 52 über den gesamten Projektionsbereich der virtuellen Netzhautanzeige 10 verfahren wird (vgl. auch 4) und indem durch die sequentielle Aufnahme von Testmustern 26 (vgl. auch 6a bis 6c) aus jeder Austrittspupille 16, 18 die Position der jeweiligen Austrittspupille 16, 18 in einem Koordinatensystem der augenähnlichen Kamera 22 bestimmt wird. In dem Verfahrensschritt 24 kann die augenähnliche Kamera 22 optional um die zumindest im Wesentlichen senkrecht zu einer Hauptblickrichtung 30 der augenähnlichen Kamera 22 verlaufende Rotationsache 32 rotiert werden, so dass verschiedene Winkelausrichtungen der augenähnlichen Kamera 22 abgetastet werden. In einem zu dem Verfahrensschritt 24 alternativen Verfahrensschritt 24', der dasselbe Ziel verfolgt, werden die Positionen und die Größen der Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 ermittelt, indem von dem ersten weiteren optischen Sensor 28 der gesamte Projektionsbereich der virtuellen Netzhautanzeige 10 gleichzeitig aufgezeichnet wird. Die Auswertung der Bilder der augenähnlichen Kamera 22 oder des weiteren Sensors 28 zur Ermittlung der Positionen und Größen der Austrittspupillen 16, 18 kann jeweils durch die Recheneinheit 70 oder durch ein externes mit der virtuellen Netzhautanzeige 10 in Kommunikationsverbindung stehendes System erfolgen.
In zumindest einem auf den Verfahrensschritt 24, 24' folgenden Kalibrierschritt 20 des Verfahrens wird die augenähnliche Kamera 22 in der vorgesehenen Pupillenebene 14 der virtuellen Netzhautanzeige 10 derart automatisiert translatiert und/oder rotiert, so dass alle Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 sequentiell jeweils aus verschiedenen Positionen und Winkeln der augenähnlichen Kamera 22 erfasst werden. Bei dem sequentiellen Erfassen der Austrittspupillen 16, 18 wird von der augenähnlichen Kamera 22 während dem Kalibrierschritt 20 immer nur eine einzelne Austrittspupille 16, 18 der virtuellen Netzhautanzeige 10 erfasst.
In zumindest einem Teilschritt 34 des Kalibrierschritts 20 werden geometrische Verzerrungen der einzelnen Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 bestimmt, indem die augenähnliche Kamera 22 unter ermittelten oder unter festgelegten Positionen und Winkeln in der vorgesehenen Pupillenebene 14 der virtuellen Netzhautanzeige 10 positioniert wird und von der derart ausgerichteten augenähnlichen Kamera 22 in die Austrittspupillen 16, 18 projizierte Testmuster 26 aufgezeichnet werden. Dabei werden die von der virtuellen Netzhautanzeige 10 in die Austrittspupillen 16, 18 projizierten Testmuster 26 optional aus einzelnen zeitlich nacheinander von der virtuellen Netzhautanzeige 10 projizierten und zeitlich nacheinander von der augenähnlichen Kamera 22 aufgezeichneten Teilmustern 36, 38 digital zusammengesetzt. In zumindest einem weiteren Verfahrensschritt 86 werden anhand der aufgezeichneten Testmuster 26 aus den einzelnen Austrittspupillen 16, 18 mittels der Recheneinheit 70 Korrekturen berechnet, welche dazu geeignet sind die geometrischen Verzerrungen zu beheben. Die Korrekturen der geometrischen Verzerrungen werden an die Steuerung des Laserprojektors 64 gesendet. In zumindest einem Korrekturschritt 88 wendet die Steuerung des Laserprojektors 64 die Korrekturen an, um die Ausgabe der virtuellen Netzhautanzeige 10 zu optimieren. Dieser Korrekturschritt 88 kann Teil eines Normalbetriebs der Datenbrille 12 sein.
In zumindest einem weiteren Teilschritt 40 des Kalibrierschritts 20 werden vollflächige und homogen einfarbige Bilder in die Austrittspupillen 16, 18 projiziert. Aus den vollflächigen und homogen einfarbigen Bildern werden Helligkeitsprofile 94 der einzelnen Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 bestimmt, indem die augenähnliche Kamera 22 unter ermittelten oder unter festgelegten Winkeln in der vorgesehenen Pupillenebene 14 der virtuellen Netzhautanzeige 10 positioniert wird und indem die derart ausgerichtete augenähnliche Kamera 22 die projizierten vollflächigen Bilder in den Austrittspupillen 16, 18 aufzeichnet (vgl. 7). In zumindest einem weiteren Verfahrensschritt 90 werden anhand der aufgezeichneten Bilder aus den einzelnen Austrittspupillen 16, 18 mittels der Recheneinheit 70 Korrekturen berechnet, welche dazu geeignet sind Helligkeitsunterschiede zwischen Austrittspupillen 16, 18 oder innerhalb einer Austrittspupille 16, 18 zu beheben. Die Korrekturen der Helligkeitsprofile 94 werden an die Steuerung des Laserprojektors 64 gesendet. In dem Korrekturschritt 88 wendet die Steuerung des Laserprojektors 64 die Korrekturen an, um die Ausgabe der virtuellen Netzhautanzeige 10 zu optimieren.
In zumindest einem zusätzlichen weiteren Teilschritt 42 des Kalibrierschritts 20 werden feste Fokuslängen für die Linse 46 mit der variablen Brechkraft im optischen Pfad der virtuellen Netzhautanzeige 10 für die einzelnen Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 bestimmt. Dazu wird in dem Teilschritt 42 von der virtuellen Netzhautanzeige 10 ein Muster 44, insbesondere ein Streifenmuster, zur Bestimmung der Bildschärfe (vgl. 8a bis 8c) bei verschieden eingestellten Fokuslängen der Linse 46 der virtuellen Netzhautanzeige 10 projiziert. Dieses projizierte Muster 44 wird anschließend von der augenähnlichen Kamera 22 in den jeweiligen Austrittspupillen 16, 18 aufgezeichnet. In zumindest einem weiteren Verfahrensschritt 96 werden anhand der aufgezeichneten Muster 44 aus den einzelnen Austrittspupillen 16, 18 mittels der Recheneinheit 70 Kontrastwerte bestimmt und zur Ermittlung der festen Fokuslängen ausgewertet. Dabei wird jeweils das Bild maximaler Schärfe gesucht. Die bestimmten Fokuslängen zu den jeweiligen Austrittspupillen 16, 18 werden an die Steuerung des Laserprojektors 64 gesendet. In dem Korrekturschritt 88 wendet die Steuerung des Laserprojektors 64 die derart bestimmten Messwerte an, um die Ausgabe der virtuellen Netzhautanzeige 10 zu optimieren.
In zumindest einem weiteren Verfahrensschritt 98 wird die augenähnliche Kamera 22 derart verfahren, dass einer der mit der augenähnlichen Kamera 22 bewegungsverbundenen weiteren Sensoren 28, 48 oder das künstliche Auge 82 mit einer aufgezeichneten Austrittspupille 16, 18 der virtuellen Netzhautanzeige 10 überlagert wird. In dem Verfahrensschritt 98 wird eine Zusatzmessung im unmittelbaren Zusammenhang mit der Kalibrierung der virtuellen Netzhautanzeige 10 durchgeführt. Der Verfahrensschritt 98 kann während, vor oder nach zumindest einem oder jedem der Teilschritte 34, 40, 42 des Kalibrierschritts 20 durchgeführt werden. In zumindest einem weiteren Verfahrensschritt 102 wird die virtuelle Netzhautanzeige 10 aus der Kalibriervorrichtung 50 entnommen und eine andere virtuelle Netzhautanzeige 10 in die Kalibriervorrichtung 50 eingespannt.
Die 4 zeigt schematisch einen Teil des Projektionsbereichs der virtuellen Netzhautanzeige 10 in der Pupillenebene 14 mit mehreren Austrittspupillen 16, 18. Zudem ist in der 4 schematisch ein Blickfeld 100 der augenähnlichen Kamera 22 dargestellt. Das Blickfeld 100 der augenähnlichen Kamera 22 wird in dem Verfahrensschritt 24 streifenweise über den gesamten Projektionsbereich der virtuellen Netzhautanzeige 10 verfahren, so dass alle möglichen Austrittspupillen 16, 18 der virtuellen Netzhautanzeige 10 abgetastet werden können. In der 5 ist beispielhaft und schematisch eine Anzahl an hellen Pixeln innerhalb des Blickfelds 100 der augenähnlichen Kamera 22 beim Überfahren einer Austrittspupille 16, 18 dargestellt. Anhand des Verlaufs der Kurve der Anzahl an hellen Pixeln kann eine Pixelbreite der Austrittspupille 16, 18 und bei entsprechender Umrechnung eine reale Breite der Austrittspupille 16, 18 ermittelt werden.
Die 6a zeigt beispielhaft und schematisch das Testmuster 26, wie es in dem Teilschritt 34 des Kalibrierschritts 20 angewendet wird. Die 6a zeigt dabei das bereits zu einem Gitter zusammengesetzte Testmuster 26. Die 6b und 6c hingegen zeigen jeweils Teilmuster 36, 38 des Testmusters 26, wie sie sequentiell nacheinander in die Austrittspupillen 16, 18 projiziert werden.
Die 7 zeigt beispielhaft und schematisch ein Helligkeitsprofil 94, wie es in dem weiteren Teilschritt 40 des Kalibrierschritts 20 in die Austrittspupillen 16, 18 projiziert wird. Die Recheneinheit 70 bestimmt hierbei zudem automatisiert eine optimale Belichtungszeit.
Die 8a und 8b zeigen beispielhaft und schematisch das Muster 44, wie es in dem zusätzlichen weiteren Teilschritt 42 des Kalibrierschritts 20 angewendet wird bei verschiedenen eingestellten Fokuslängen der Linse 46. In der 8c ist beispielhaft und schematisch ein Kontrastwert über verschiedene eingestellte Fokuslängen der Linse 46 aufgetragen. Anhand des Verlaufs der Kurve wird ein Maximalwert bestimmt, welcher einem maximalen Kontrast entspricht und dadurch die Fokuslängeneinstellung mit dem maximalen Kontrastwert für die jeweilige Austrittspupille 16, 18 bestimmt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 11073689 B2 [0001]
DE 102017200101 A1 [0011]

Zitierte Nicht-Patentliteratur

Lee, S., & Hua, H. (2013). A robust camera-based method for optical distortion calibration of head-mounted displays. Proceedings - IEEE Virtual Reality, 27-30 [0011]
Gilson, S. J., Fitzgibbon, A. W., & Glennerster, A. (2008). Spatial calibration of an optical see-through head-mounted display. Journal of Neuroscience Methods, 173(1), 140-146 [0011]

Claims

Verfahren zu einer zumindest zu einem Großteil automatisierten Kalibration einer virtuellen Netzhautanzeige (Retinal Scan Display, 10) für eine Datenbrille (12), mit mehreren, in einer vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) voneinander, insbesondere überlappungsfrei, beabstandeten Austrittspupillen (Eyeboxen, 16, 18), dadurch gekennzeichnet, dass in zumindest einem Kalibrierschritt (20) eine augenähnliche Kamera (22) in der vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) derart automatisiert translatiert und/oder rotiert wird, so dass zumindest zwei Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10), vorzugsweise alle Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10), sequentiell jeweils aus verschiedenen Positionen und/oder Winkeln der augenähnlichen Kamera (22) erfasst werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die augenähnliche Kamera (22) einen Bildwinkel und eine optische Funktion besitzt, die denen des menschlichen Auges zumindest im Wesentlichen gleichen und somit von der augenähnlichen Kamera (22) während dem Kalibrierschritt (20) immer nur eine einzelne Austrittspupille (16, 18) der virtuellen Netzhautanzeige (10) erfasst wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in zumindest einem, insbesondere dem Kalibrierschritt (20) zeitlich vorangehenden, Verfahrensschritt (24, 24') die Positionen und/oder die Größen der Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10) ermittelt werden, indem die augenähnliche Kamera (22) über den gesamten Projektionsbereich der virtuellen Netzhautanzeige (10) verfahren wird und durch sequentielle Aufnahme von Testmustern (26) aus jeder Austrittspupille (16, 18) die Position der jeweiligen Austrittspupille (16, 18) in einem Koordinatensystem der augenähnlichen Kamera (22) bestimmt wird, oder indem von einem weiteren optischen Sensor (28), beispielsweise einer weiteren Kamera mit einem großen Bildwinkel, einem Beamprofiler oder einer telezentrischen Kamera, der gesamte Projektionsbereich der virtuellen Netzhautanzeige (10) gleichzeitig aufgezeichnet wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in dem Verfahrensschritt (24) die augenähnliche Kamera (22), insbesondere um eine zumindest im Wesentlichen senkrecht zu einer Hauptblickrichtung (30) der augenähnlichen Kamera (22) verlaufende Rotationsache (32), rotiert wird, so dass verschiedene Winkelausrichtungen der augenähnlichen Kamera (22) abgetastet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in zumindest einem Teilschritt (34) des Kalibrierschritts (20) geometrische Verzerrungen der einzelnen Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10) bestimmt werden, indem die augenähnliche Kamera (22) unter ermittelten oder unter festgelegten Positionen und Winkeln in der vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) positioniert wird und von der derart ausgerichteten augenähnlichen Kamera (22) in die Austrittspupillen (16, 18) projizierte Testmuster (26) aufgezeichnet werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die von der virtuellen Netzhautanzeige (10) in die Austrittspupillen (16, 18) projizierten Testmuster (26) aus einzelnen zeitlich nacheinander von der virtuellen Netzhautanzeige (10) projizierten und zeitlich nacheinander von der augenähnlichen Kamera (22) aufgezeichneten Teilmustern (36, 38), insbesondere digital, zusammengesetzt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in zumindest einem Teilschritt (40) des Kalibrierschritts (20) vollflächige, insbesondere homogen einfarbige, Bilder in die Austrittspupillen (16, 18) projiziert werden, woraus Helligkeitsprofile (94) der einzelnen Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10) bestimmt werden, indem die augenähnliche Kamera (22) unter ermittelten oder unter festgelegten Winkeln in der vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) positioniert wird und indem die derart ausgerichtete augenähnliche Kamera (22) die projizierten vollflächigen Bilder in den Austrittspupillen (16, 18) aufzeichnet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in zumindest einem Teilschritt (42) des Kalibrierschritts (20) feste Fokuslängen für eine Linse (46) mit variabler Brechkraft im optischen Pfad der virtuellen Netzhautanzeige (10) für die einzelnen Austrittspupillen (16, 18) der virtuellen Netzhautanzeige (10) bestimmt werden, indem von der virtuellen Netzhautanzeige (10) ein Muster (44) zur Bestimmung der Bildschärfe, insbesondere ein Streifenmuster, bei verschieden eingestellten Fokuslängen der Linse (46) der virtuellen Netzhautanzeige (10) projiziert wird und von der augenähnlichen Kamera (22) in den jeweiligen Austrittspupillen (16, 18) aufgezeichnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass während, vor und/oder nach zumindest einem Teilschritt (34, 40, 42) des Kalibrierschritts (20), insbesondere während, vor und/oder nach jedem Teilschritt (34, 40, 42) des Kalibrierschritts (20), die augenähnliche Kamera (22) derart verfahren wird, dass ein mit der augenähnlichen Kamera (22) bewegungsverbundener weiterer Sensor (28, 48), beispielsweise ein Lichtleistungsmessgerät, zumindest mit der aktuell aufgezeichneten, unmittelbar danach aufgezeichneten und/oder unmittelbar zuvor aufgezeichneten Austrittspupille (16, 18) der virtuellen Netzhautanzeige (10) überlagert wird.
Kalibriervorrichtung (50) zu einer zumindest zu einem Großteil automatisierten Kalibration einer virtuellen Netzhautanzeige (Retinal Scan Display, 10) für eine Datenbrille (12) mittels des Verfahrens nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die augenähnliche Kamera (22) und durch eine motorisierte Verfahreinheit (52), welche zu einer Translation und/oder zu einer Rotation der augenähnlichen Kamera (22) innerhalb der vorgesehenen Pupillenebene (14) der virtuellen Netzhautanzeige (10) eingerichtet ist.
Kalibriervorrichtung (50) nach Anspruch 10, dadurch gekennzeichnet, dass ein oder mehrere weitere Sensoren (28, 48), beispielsweise ein Lichtleistungsmessgerät, mit der augenähnlichen Kamera (22) bewegungsverbunden von der Verfahreinheit (52) gelagert sind.
Kalibriervorrichtung (50) nach Anspruch 10 oder 11, gekennzeichnet durch eine Schnellwechselvorrichtung (54), zu einem einfachen und zügigen Wechsel der in der Kalibriervorrichtung (50) kalibrierten virtuellen Netzhautanzeige (10).
Virtuelle Netzhautanzeige (10), insbesondere in einer Datenbrille (12), welche mittels eines Verfahrens nach einem der Ansprüche 1 bis 9 kalibriert ist.