DE102020214707A1

DE102020214707A1 - Verfahren und Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung

Info

Publication number: DE102020214707A1
Application number: DE102020214707.8A
Authority: DE
Inventors: Thomas Henning; Friedrich Fleischmann
Original assignee: Hochschule Bremen
Current assignee: Hochschule Bremen
Priority date: 2020-11-24
Filing date: 2020-11-24
Publication date: 2022-05-25

Abstract

Die Erfindung betrifft ein Verfahren zur rechnergestützten Simulation einer Sehhilfe (SH) für einen Benutzer (U) mit Sehfehler mittels einer auf seinem Kopf (K) getragenen Vorrichtung (1), umfassend ein vor den Augen (A1, A2) des Benutzers (U) positioniertes Display (5), eine optische Abbildungseinrichtung (6), eine Augenverfolgungseinrichtung (7) sowie ein 3D-Kamerasystem (2). In dem Verfahren wird mittels des 3D-Kamerasystems (2) eine Umgebung vor den Augen (A1, A2) des Benutzers (U) erfasst. Ferner wird mittels der Augenverfolgungseinrichtung (7) die Blickrichtung der Augen (A1, A2) des Benutzers (U) erfasst. Mittels einer Rechnereinrichtung (4) werden erste Bilddaten (BD1) berechnet, die bei Anzeige auf dem Display (5) die mit dem 3D-Kamerasytem (4) erfasste Umgebung dreidimensional als virtuelle Umgebung wiedergeben, in welcher der Betrachtungspunkt (P) scharf gestellt ist, auf den der Benutzer (U) in der virtuellen Umgebung blickt. Darüber hinaus wird mittels der Rechnereinrichtung (4) unter Berücksichtigung einer Modellierung (MSF, MSH) des Sehfehlers des Benutzers (U) und der Sehhilfe (SH) eine Punktverwaschungsfunktion (PSF1, PSF2) für den Betrachtungspunkt (P) und jedes fehlsichtige Auge (A1, A2) des Benutzers (U) berechnet. Mittels der Rechnereinrichtung (4) werden schließlich die ersten Bilddaten (BD1) basierend auf den Punktverwaschungsfunktionen (PSF1, PS2) modifiziert, wodurch zweite Bilddaten (BD2) erhalten werden, die auf dem Display (5) wiedergegeben werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung.
Bei der Spezifikation bzw. Auswahl von Sehhilfen besteht die Problematik, dass die fehlsichtige Person oftmals nicht einschätzen kann, welche Auswirkungen die Korrektur ihrer Fehlsichtigkeit auf die Gebrauchseigenschaften der Sehhilfe hat.
Das obige Problem tritt im Besonderen bei Gleitsichtbrillen auf, die je nach Blickrichtung der fehlsichtigen Person unterschiedliche Brennweiten aufweisen. In typischen Anwendungsfällen von Gleitsichtbrillen stellt die fehlsichtige Person durch Neigen ihres Kopfes die Fokusposition so ein, dass das anvisierte Objekt scharf abgebildet wird. Hierdurch ist je nach Entfernung des Objekts ein anderer Bereich der Gleitsichtbrille wirksam. Auf diese Weise kann die Gleitsichtbrille für unterschiedliche Einsatzbereiche, z.B. sowohl für das nahe Sehen als auch für das entfernte Sehen, benutzt werden.
Die Anpassung von Sehhilfen und insbesondere von Gleitsichtbrillen ist ein aufwändiger Prozess, da im Vorfeld schwer abgeschätzt werden kann, ob die gewählten Brillengläser auch bei längerer Verwendung im Alltag einen guten Sehkomfort bieten. In der Regel erfolgt die Spezifikation von entsprechenden Brillengläsern durch die Vermessung des Auges über Refraktometrie mit einer anschließenden subjektiven Refraktion, bei welcher der subjektive Seheindruck des Benutzers für geeignete Probegläser, z.B. mit Hilfe eines Phoropters, ermittelt wird.
Die gängigen Methoden zur Bestimmung geeigneter Sehhilfen sind oft unzureichend und führen häufig dazu, dass die für den Benutzer gefertigten Brillen keinen optimalen Sehkomfort bieten.
Um dieses Problem zu beheben, gibt es im Stand der Technik Ansätze, einen fehlsichtigen Benutzer über eine sog. VR-Brille (VR = Virtual Reality) eine virtuelle Umgebung zu präsentieren, die dem Benutzer vermittelt, wie er mit einer entsprechenden Sehhilfe die Umgebung wahrnehmen würde. Hierbei ist es jedoch nachteilhaft, dass dem Benutzer eine rein virtuelle Umgebung präsentiert wird, die nicht der Umgebung entspricht, in welcher der Benutzer die Sehhilfe tatsächlich verwendet. Darüber hinaus fließt bei der Berechnung der virtuellen Umgebung nicht die Augenposition des Benutzers ein, sondern diese wird nach einem festen Modell der Kopfposition zugeordnet. Somit kann nicht immer gewährleistet werden, dass die dargestellte virtuelle Umgebung auch dem tatsächlichen realen Seheindruck entspricht.
Die Druckschrift [1] zeigt ein Verfahren zum Bestimmen einer für einen Benutzer geeigneten ophthalmischen Vorrichtung mittels einer virtuellen Umgebung, die mit einer VR-Einrichtung erzeugt wird. Dabei wird die Effizienz der visuellen Explorationsstrategie für eine vom Benutzer durchgeführte Aufgabe beurteilt.
In dem Dokument [2] wird eine am Kopf getragene Anzeigevorrichtung mit einer ophthalmischen Linse beschrieben, welche die Fehlsichtigkeit des Trägers der Anzeigevorrichtung korrigiert.
Das Dokument [3] offenbart ein computergestütztes Verfahren, um ein auf einer Anzeigevorrichtung wiedergegebenes virtuelles Bild mittels einer optischen Funktion zu korrigieren.
In der Druckschrift [4] wird ein ophthalmologisches optisches Element beschrieben, das in einer am Kopf getragenen Anzeigevorrichtung verbaut werden kann.
Die Druckschrift [5] offenbart eine am Kopf getragene VR-Vorrichtung, die ein optisches Element umfasst, das an die Fehlsichtigkeit des Trägers der VR-Vorrichtung angepasst ist.
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung zu schaffen, die sehr gut den realen Seheindruck des Benutzers für die simulierte Sehhilfe vermitteln.
Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 bzw. die Vorrichtung gemäß Patentanspruch 10 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
In dem erfindungsgemäßen Verfahren wird eine am Kopf getragene Vorrichtung genutzt, die der Benutzer bei der Simulation der Sehhilfe aufgesetzt hat. Die Vorrichtung umfasst ein vor den Augen (d.h. dem Augenpaar) des Benutzers positioniertes Display zur dreidimensionalen Anzeige einer virtuellen Umgebung. Solche Displays sind bekannt und werden in gängigen VR-Brillen verbaut. Beispielsweise kann das Display zwei Teildisplays umfassen, wobei ein Teildisplay zur Präsentation eines virtuellen Bildes für ein Auge und das andere Teildisplay zur Präsentation eines virtuellen Bildes für das andere Auge genutzt wird. Anstatt von Teildisplays kann das Display auch eine durchgängige Fläche mit entsprechende Teilflächenbereichen für die jeweiligen Augen umfassen.
Die am Kopf getragene Vorrichtung umfasst ferner eine optische Abbildungseinrichtung, um bei Fokussierung der Augen des Benutzers auf unendlich ein auf dem Display wiedergegebenes Bild scharf auf die Netzhaut der Augen des Benutzers abzubilden. Mit dieser Abbildungseinrichtung wird eine scharfe Darstellung der virtuellen Umgebung für den Benutzer erreicht. Da der Benutzer einen Sehfehler bzw. eine Fehlsichtigkeit hat, ist die Abbildungseinrichtung an die Fehlsichtigkeit des Benutzers angepasst. Dabei wird die Fehlsichtigkeit für das Fernfeld (d.h. Fokussierung auf unendlich) korrigiert, wobei hierfür im Vorfeld die entsprechende Korrektur ermittelt wurde und in der Abbildungseinrichtung, beispielsweise basierend auf einer Korrekturlinse, berücksichtigt ist. Darüber hinaus enthält die am Kopf getragene Vorrichtung eine Augenverfolgungseinrichtung zur Verfolgung der Bewegung der Augen des Benutzers sowie ein 3D-Kamerasystem, d.h. ein Kamerasystem, mit dem die Umgebung dreidimensional erfasst werden kann.
Gemäß dem erfindungsgemäßen Verfahren werden die nachfolgenden Schritte a) bis e) durchgeführt. Sofern ein Schritt nicht auf das Ergebnis eines anderen Schritts Bezug nimmt, müssen die Schritte dabei nicht in der nachfolgenden Reihenfolge ausgeführt werden.
In Schritt a) wird mittels des 3D-Kamerasystems eine (aktuell vorliegende) Umgebung vor den Augen des Benutzers erfasst. In Schritt b) wird mittels der Augenverfolgungseinrichtung die aktuelle Blickrichtung der Augen des Benutzers in der Form von Richtungsvektoren der jeweiligen Augen erfasst. Dabei kann eine beliebige, aus dem Stand der Technik bekannte Augenverfolgungseinrichtung genutzt werden. Der Zeitpunkt der Erfassung der Umgebung entspricht im Wesentlichen dem Zeitpunkt der Erfassung der Blickrichtung.
In Schritt c) werden mittels einer Rechnereinrichtung erste Bilddaten berechnet, die bei Anzeige auf dem Display die mit dem 3D-Kamerasystem erfasste Umgebung dreidimensional als virtuelle Umgebung wiedergeben, in welcher der Betrachtungspunkt scharf gestellt ist, auf den der Benutzer in der virtuellen Umgebung blickt, wobei der Betrachtungspunkt aus der in Schritt b) erfassten Blickrichtung gewonnen wird. Es werden somit Bilddaten ermittelt, die dem Benutzer bei deren Wiedergabe auf dem Display ein reales scharfes Bild für seine Blickrichtung liefern würden, ohne dass der Sehfehler des Benutzers bzw. eine simulierte Sehhilfe einfließen. Diese Bilddaten, die nicht notwendigerweise auf dem Display dargestellt werden müssen, werden im erfindungsgemäßen Verfahren mit der Rechnereinrichtung geeignet weiterverarbeitet. Die Rechnereinrichtung kann dabei Bestandteil der am Kopf getragenen Vorrichtung sein. Ebenso ist es möglich, dass die Rechnereinrichtung eine separate Einrichtung ist, die kommunikationstechnisch an die am Kopf getragene Vorrichtung angebunden ist.
In Schritt d) wird mittels der Rechnereinrichtung mit Hilfe des Abstands des Benutzers von dem Betrachtungspunkt, der in Schritt b) ermittelten Blickrichtung der Augen (d.h. basierend auf den entsprechenden Richtungsvektoren der jeweiligen Augen), einer Modellierung des Sehfehlers des Benutzers und einer Modellierung der Sehhilfe eine Punktverwaschungsfunktion für den Betrachtungspunkt und jedes fehlsichtige Auge des Benutzers berechnet, wobei beide oder ggf. auch nur ein Auge des Benutzers fehlsichtig sein können. Entsprechende Verfahren zur Ermittlung solcher Punktverwaschungsfunktionen (englisch: Point Spread Functions) sind dem Fachmann geläufig. In einer bevorzugten Variante werden die Punktverwaschungsfunktionen mittels Raytracing berechnet. Raytracing ist eine seit Jahren bekannte Methodik, um über die Verfolgung von optischen Strahlen Eigenschaften von optischen Komponenten zu ermitteln und insbesondere auch Punktverwaschungsfunktionen zu bestimmen.
In Schritt e) des erfindungsgemäßen Verfahrens werden mittels der Rechnereinrichtung die ersten Bilddaten basierend auf der oder den Punktverwaschungsfunktionen der jeweiligen fehlsichtigen Augen modifiziert, wodurch zweite Bilddaten erhalten werden, die schließlich auf dem Display der am Kopf getragenen Vorrichtung wiedergegeben werden. Auf diese Weise wird eine virtuelle Umgebung erzeugt, die mit der tatsächlich vorhandenen, über das 3D-Kamerasystem erfassten Umgebung übereinstimmt und ferner die Eigenschaften der entsprechenden Sehhilfe unter Berücksichtigung des Sehfehlers des Benutzers simuliert.
Das erfindungsgemäße Verfahren weist den Vorteil auf, dass die dem Benutzer angezeigte virtuelle Umgebung mit der tatsächlichen realen Umgebung übereinstimmt, so dass der Benutzer die simulierte Sehhilfe sehr gut in Alltagssituationen bzw. für den angedachten Verwendungszweck testen kann. Darüber hinaus werden durch die Berücksichtigung der Blickrichtung des Benutzers die realen Eigenschaften der Sehhilfe sehr gut simuliert.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens repräsentieren die ersten Bilddaten eine Intensitätsverteilung auf der Fläche des Displays, wobei die Intensitätsverteilung eine Intensitätsverteilung für ein Auge des Benutzers in einem Teilbereich des Displays und eine Intensitätsverteilung für das andere Auge des Benutzers in einem anderen Teilbereich des Displays umfasst. Die Teilbereiche des Displays können aneinander anschließen oder es kann sich um zwei separierte Bereiche unterschiedlicher Teildisplays handeln. Dabei werden die zweiten Bilddaten durch eine Faltung der Intensitätsverteilung für jedes fehlsichtige Auge mit der Punktverwaschungsfunktion für das jeweilige fehlsichtige Auge des Benutzers berechnet. Ist ein Auge nicht fehlsichtig, bleibt die Intensitätsverteilung für dieses Auge unverändert, d.h. die zweiten Bilddaten entsprechen für dieses Auge den ersten Bilddaten.
Die im erfindungsgemäßen Verfahren verwendete Modellierung der Sehhilfe basiert in einer Variante der Erfindung auf einem geometrisch-optischen Modell von einer oder mehreren optischen Linsen der Sehhilfe. Solche geometrisch-optischen Modelle sind bekannt. Diese beschreiben in geeigneter Weise die Oberflächentopografie der entsprechenden Linsen und die optischen Eigenschaften ihres Materials. Sollte eine Sehhilfe für beide Augen benötigt werden, wird ein geometrisch-optisches Modell für zwei Linsen verwendet, die jeweils einem entsprechenden Auge zugeordnet sind.
In einer weiteren Ausführungsform basiert die Modellierung des Sehfehlers - ähnlich wie die obige Modellierung der Sehhilfe - auf einem geometrisch-optischen Modell von einer oder mehreren Phasenschiebemasken und/oder einer oder mehreren optischen Linsen, wobei im Falle, dass beide Augen einen Sehfehler aufweisen, für jedes Auge eine entsprechende Phasenschiebemaske bzw. eine entsprechende Linse modelliert wird. Das geometrisch-optische Modell einer Phasenschiebemaske ist ähnlich aufgebaut wie das geometrisch-optische Modell einer optischen Linse. Die Phasenschiebemaske kann dabei als sehr dünne Linse aufgefasst werden. In einer alternativen Variante basiert die Modellierung des Sehfehlers auf einer Implementierung des Sehfehlers in der Augenlinse zumindest eines Auges des Benutzers. Entsprechende Modelle der Augenlinsen sind dabei bekannt, so dass die Implementierung eines Sehfehlers in der Augenlinse im Rahmen von fachmännischem Handeln liegt.
In einer weiteren bevorzugten Ausführungsform beruht die Modellierung des Sehfehlers auf Sehfehlerdaten, die den Sehfehler über eine oder mehrere Brennweiten von einer oder mehreren optischen Linsen zur Korrektur des Sehfehlers beschreiben, wobei einer jeweiligen Brennweite vorzugsweise ein Sehabstand der Augen des Benutzers zugeordnet ist. Insbesondere kann dabei eine Brennweite für einen nahen Sehabstand und eine Brennweite für einen fernen Sehabstand ermittelt werden, wie dies beispielsweise bei der Beschreibung von Gleitsichtgläsern üblich ist. Entsprechende Brennweiten bei anderen Abstandswerten können durch Interpolation bzw. Extrapolation der Brennweiten für den nahen Sehabstand und den fernen Sehabstand bestimmt werden und bei der Modellierung des Sehfehlers berücksichtigt werden.
In einer weiteren, besonders bevorzugten Ausführungsform wird die Umgebung vor den Augen des Benutzers mittels eines 3D-Kamerasystems in der Form einer stereoskopischen Kamera erfasst, d.h. die Kamera umfasst mehrere Kameras, die die Umgebung aus verschiedenen Blickwinkeln aufnehmen. Bei Verwendung eines solchen Kamerasystems wird der Abstand des Benutzers von dem Betrachtungspunkt, der bei der Berechnung der Punktverwaschungsfunktionen einfließt, vorzugsweise aus Bilddaten der stereoskopischen Kamera mittels Triangulation ermittelt.
In einer weiteren bevorzugten Ausgestaltung umfasst das 3D-Kamerasystem eine Autofokuseinrichtung, mittels welcher der Betrachtungspunkt in der virtuellen Umgebung scharf gestellt wird. Gegebenenfalls kann die Scharfstellung des Betrachtungspunkts auch mittels einer anderen Einrichtung durchgeführt werden.
In einer weiteren bevorzugten Ausgestaltung werden die Schritte a) bis e) des erfindungsgemäßen Verfahrens in zeitlichen Abständen wiederholt, wodurch dem Benutzer kontinuierlich ein Seheindruck mit der simulierten Sehhilfe auch bei einer Kopfbewegung und der Veränderung der Augenposition vermittelt wird.
Neben dem oben beschriebenen Verfahren betrifft die Erfindung ein System zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler, wobei das System eine Rechnereinrichtung und eine Vorrichtung beinhaltet, die im Betrieb des Systems auf dem Kopf des Benutzers getragen wird. Diese Vorrichtung umfasst ein (im Betrieb des Systems) vor den Augen des Benutzers positioniertes Display zur dreidimensionalen Anzeige einer virtuellen Umgebung, eine optische Abbildungseinrichtung, um bei Fokussierung der Augen des Benutzers auf unendlich ein auf dem Display wiedergegebenes Bild scharf auf die Netzhaut der Augen des Benutzers abzubilden, eine Augenverfolgungseinrichtung zur Verfolgung der Bewegung der Augen des Benutzers sowie ein 3D-Kamerasystem. Die Rechnereinrichtung kann Bestandteil der auf dem Kopf getragenen Vorrichtung sein. Ebenso kann die Rechnereinrichtung eine davon separierte Einheit sein, die kommunikationstechnisch an die auf dem Kopf getragene Vorrichtung angebunden ist. Das erfindungsgemäße System ist dazu eingerichtet, das erfindungsgemäße Verfahren bzw. eine oder mehrere bevorzugte Varianten des erfindungsgemäßen Verfahrens durchzuführen.
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems mit einer am Kopf einer fehlsichtigen Person befestigten Vorrichtung;
2 eine schematische Darstellung des inneren Aufbaus der VR-Brille aus der Vorrichtung der 1;
3 ein Flussdiagramm, das die mit der Vorrichtung aus 1 durchgeführten Verfahrensschritte verdeutlicht;
4 eine schematische Darstellung, welche die Fokussierung eines Punkts durch den Benutzer aus 1 in der über die Vorrichtung wiedergegebenen virtuellen Umgebung verdeutlicht; und
5 eine geometrische Anordnung, anhand der das Raytracing zur Berechnung von Punktverwaschungsfunktionen erläutert wird.

Gemäß 1 trägt ein Benutzer U (d.h. eine menschliche Person) eine Vorrichtung 1 auf seinem Kopf K. Die Vorrichtung umfasst eine VR-Brille 3 (VR = Virtual Reality), deren Aufbau weiter unten anhand von 2 näher erläutert wird. Die VR-Brille befindet sich vor den Augen des Benutzers. Mit der VR-Brille 3 wird dem Benutzer U über ein Display dreidimensional eine virtuelle Umgebung angezeigt. Erfindungsgemäß wird dem Benutzer dabei die Wirkung einer Sehhilfe über die VR-Brille vermittelt, wobei die hierzu dargestellte virtuelle Umgebung mit der tatsächlichen Umgebung übereinstimmt, die der Benutzer bei Abnahme der VR-Brille 3 sehen würde. Um die tatsächliche Umgebung vor den Augen des Benutzers U zu erfassen und anschließend über die VR-Brille 3 wiederzugeben, ist auf der Oberseite der VR-Brille 3 ein stereoskopisches Kamerasystem 2 vorgesehen, welches die Umgebung dreidimensional über mehrere Kameras aus verschiedenen Blickwinkeln erfasst.
Die Generierung entsprechender Bilder der virtuellen Umgebung in der VR-Brille 3 wird in der Ausführungsform der 1 durch einen externen Rechner 4 durchgeführt, der in geeigneter Weise kommunikationstechnisch an die VR-Brille angekoppelt ist. Der Rechner 4 stellt neben der Vorrichtung 1 einen Teil der hier beschriebenen Ausführungsform des erfindungsgemäßen Systems dar. Gegebenenfalls ist es auch möglich, dass der Rechner 4 geeignet miniaturisiert ist, so dass er in der am Kopf getragenen Vorrichtung 1 integriert ist bzw. vom Benutzer U mitgeführt wird.
2 zeigt den inneren Aufbau der VR-Brille 3 aus 1. Dabei ist schematisch eine geschnittene Seitenansicht wiedergegeben, wobei beispielhaft das linke Auge A1 des Benutzers mit der Augenlinse AL dargestellt ist. Der Aufbau der 2 ist analog auch vor dem rechten Auge des Benutzers vorhanden. Die VR-Brille 3 enthält das Display 5, das sich in der Ebene erstreckt, die mit der vertikalen Achse u und der horizontalen Achse v repräsentiert wird. Das Display 5, das z.B. ein LCD-Display ist, umfasst zwei Teildisplays, wobei ein Teildisplay zur Anzeige eines farbigen Bildes für das rechte Auge und ein anderes Teildisplay zur Anzeige eines farbigen Bildes für das linke Auge vorgesehen ist, um hierdurch eine dreidimensionale Darstellung zu ermöglichen. Gegebenenfalls kann auch ein durchgängiges Display verwendet werden, wobei ein Teilbereich nur für die Bildanzeige vor dem rechten Auge und der andere Teilbereich nur für die Bildanzeige vor dem linken Auge vorgesehen ist.
Bei der Betrachtung des Displays 5 sind die Augen des Benutzers U im entspannten Zustand, d.h. sie fokussieren auf unendlich. Demzufolge ist sicherzustellen, dass auf dem Display 5 ein scharfes Bild für diesen Zustand der Augen wiedergegeben wird. Um dies zu erreichen, wird in an sich bekannter Weise ein Abbildungssystem 6 verwendet, das in der hier beschriebenen Ausführungsform eine Abbildungslinse 601 und eine optische Korrekturvorrichtung 602 enthält, die auch als Linse ausgestaltet ist.
Beide Einheiten können gegebenenfalls integral in einer Linse realisiert werden. Im Falle eines Benutzers ohne Sehfehler gewährleistet die Abbildungslinse 601 eine scharfe Wiedergabe des dargestellten Bildes auf dem Display 5. Im betrachteten Szenario hat der Benutzer U jedoch einen Sehfehler, zu dessen Korrektur eine Gleitsichtbrille benötigt wird, die im Fernbereich eine andere Brennweite als im Nahbereich hat. Um für diesen Benutzer ein scharfes Bild wiederzugeben, wird die optische Korrekturvorrichtung 602 verwendet, welche die Fehlsichtigkeit des Benutzers im Fernbereich entsprechend der zugehörigen Brennweite korrigiert. Die Spezifikation der Korrekturvorrichtung 602 für den Benutzer U wurde im Vorfeld von einem Optiker z.B. mit Hilfe eines herkömmlichen Phoropters bzw. einer Messbrille und diversen Ausgleichsgläsern bestimmt.
Vor der Korrekturvorrichtung 601 befindet sich eine Augenverfolgungseinrichtung 7, die auch als Eyetracker bezeichnet wird und nur schematisch wiedergegeben ist. Eine entsprechende Augenverfolgungseinrichtung ist auch vor dem rechten Auge des Benutzers vorgesehen. Mit der Augenverfolgungseinrichtung wird die aktuelle Blickrichtung des entsprechenden Auges des Benutzers bestimmt. Hierzu kann ein beliebiger, aus dem Stand der Technik bekannter Eyetracker verwendet werden, sofern dieser in die VR-Brille 3 integriert werden kann. In einer bevorzugten Variante wird der Eyetracker Tobii Pro Glasses 3 des Unternehmens Tobii AB (www.tobiipro.com) genutzt. Beispiele von Eyetrackern sind auch in der Druckschrift [6] beschrieben.
Mit der Information aus dem Eyetracker 7 wird das angezeigte Bild an dem Punkt der durch das Display 5 dargestellten virtuellen Umgebung scharf gestellt, auf dem der Benutzer U mit seinen Augen blickt. Die Scharfstellung wird in der hier beschriebenen Ausführungsform mit einer Autofokuseinrichtung erreicht, die in dem stereoskopischen Kamerasystem 2 aus 1 enthalten ist. Die Scharfstellung auf der Netzhaut des Benutzers wird in 2 durch einen Strahlengang verdeutlicht, der durch gestrichelte Linien wiedergegeben ist.
Unter Verwendung des in 1 gezeigten Rechner 4 wird die dargestellte virtuelle Umgebung so wiedergegeben, dass eine Gleitsichtbrille vor den Augen des Benutzers simuliert wird, wie weiter unten noch näher beschrieben ist. Auf diese Weise kann dem Benutzer U rein durch Simulation der Seheindruck von Gleitsichtbrillen mit unterschiedlichen Eigenschaften über die VR-Brille 3 vermittelt werden, wobei dem Benutzer hierzu die tatsächlich vorhandene reale Umgebung über die VR-Brille angezeigt wird.
Im Folgenden werden anhand von 3 die Schritte verdeutlicht, die mit dem System aus 1 zur Simulation einer entsprechenden Gleitsichtbrille durchgeführt werden. Die dargestellten Schritte werden dabei in kurzen Zeitabständen wiederholt, so dass dem Benutzer kontinuierlich über die VR-Brille ein Bild vermittelt wird, das an seine Kopfbewegung und Augenbewegung angepasst ist.
Gemäß Schritt S1 wird die aktuelle Umgebung des Benutzers U vor dessen Augen mit dem stereoskopischen Kamerasystem 2 erfasst. Parallel zu Schritt S1 wird gemäß Schritt S2 die aktuelle Blickrichtung der Augen des Benutzers über den Eyetracker 7 erfasst. Aus den in Schritten S1 und S2 gewonnenen Informationen werden in dem Rechner 4 in Schritt S3 erste Bilddaten BD1 berechnet, die jedoch nicht auf dem Display angezeigt werden. Mit anderen Worten wird basierend auf den Bilddaten BD1 keine Anzeige auf dem Display 5 generiert. Bei einer Wiedergabe basierend auf den Bilddaten BD1 würde dem Benutzer dreidimensional eine virtuelle Umgebung vermittelt werden, die der realen Umgebung entspricht, welche über das stereoskopische Kamerasystem 2 erfasst wurde. Dabei ist die virtuelle Umgebung an dem Punkt scharf gestellt, auf den der Benutzer entsprechend der Information aus dem Eyetracker 7 blickt. Die Scharfstellung erfolgt dabei mit Hilfe einer Autofokuseinrichtung der stereoskopischen Kamera 2, wie bereits oben erwähnt wurde.
4 verdeutlicht nochmals das Szenario, bei dem der Benutzer U in die virtuelle Umgebung blickt, die ihm über das Display 5 angezeigt wird. In dem Szenario blickt der Benutzer U mit seinen Augen auf den Betrachtungspunkt P der virtuellen Umgebung. Aus der Darstellung der 2 ist dabei nur das rechte Auge A2 des Benutzers ersichtlich. Die Position des Betrachtungspunkts P befindet sich in einem stationären kartesischen Koordinatensystem mit den dargestellten Achsen x, y und z. Die virtuelle Umgebung und die Lage des Betrachtungspunkts P korrespondiert mit der tatsächlichen realen Umgebung und des dort vorhandenen Punkts P.
Nach der Ermittlung der Bilddaten BD1 muss bestimmt werden, wie diese Bilddaten zu modifizieren sind, um hierdurch zum einen die Fehlsichtigkeit des Benutzers und zum anderen die Auswirkungen der simulierten Gleitsichtbrille zu vermitteln. Um dies zu erreichen, werden in Schritt S4 entsprechende Punktverwaschungsfunktionen PSF1 und PSF2 berechnet (PSF = Point Spread Function). Die Punktverwaschungsfunktion PSF1 bezieht sich dabei auf das linke Auge A1 und die Punktverwaschungsfunktion PSF2 auf das rechte Auge A2. Zur Ermittlung der Punktverwaschungsfunktionen wird eine geeignete Modellierung MSF des Sehfehlers des Benutzers und eine geeignete Modellierung MSH der zu simulierenden Sehhilfe benutzt. Diese Modellierungen werden nachfolgend anhand der 5 näher erläutert.
5 zeigt beispielhaft in Draufsicht von oben das linke Auge A1 und das rechte Auge A2 des Benutzers U bei Fokussierung des entsprechenden Betrachtungspunkts P. Im Folgenden wird dabei ein Szenario beschrieben, bei dem die Augen jeweils um vertikale Achsen D1 bzw. D2 verdreht werden, wobei nachfolgende Ausführungen analog auch für beliebige andere Verdrehungen der Augen anwendbar sind. Die simulierte Gleitsichtbrille ist mit Bezugszeichen SH angedeutet und deren Modellierung MSH erfolgt in 5 über geometrisch-optische Modelle entsprechender optischer Linsen L1 und L2, wobei die Linse L1 (virtuell) vor dem linken Auge A1 positioniert ist und die Linse L2 (virtuell) vor dem rechten Auge A2 angeordnet ist. Das geometrisch-optische Modell der Linsen beschreibt deren Oberflächentopografie und die optischen Eigenschaften ihres Materials, wodurch für beliebige Strahlengänge die Ablenkung durch die Linsen bestimmt werden kann.
Mit Hilfe von Raytracing erfolgt die Analyse der vom Betrachtungspunkt P ausgehenden optischen Strahlen, um hierdurch die Punktverwaschungsfunktionen PSF1 und PSF2 zu gewinnen. Die Methode des Raytracings ist dem Fachmann hinlänglich bekannt und wird beispielsweise in dem Dokument [7] beschrieben. Im Rahmen des Raytracings wird neben dem (vorab bekannten) Abstand d der entsprechenden Linsen vom Mittelpunkt des gegenüberliegenden Auges auch der Abstand a der Augen des Benutzers vom Betrachtungspunkt P benötigt. Dieser Abstand wird in der hier beschriebenen Ausführungsform in an sich bekannter Weise aus den Daten des stereoskopischen Kamerasystems 2 mit Hilfe von Triangulation gewonnen. Darüber hinaus werden im Raytracing die Blickrichtungen der Augen verarbeitet, die über den Eyetracker 7 gewonnen werden. Die Blickrichtung des linken Auges wird dabei durch den Vektor $\overset{⇀}{r 1}$
repräsentiert, wohingegen die Blickrichtung des rechten Auges durch den Vektor $\overset{⇀}{r 2}$
beschrieben wird.
Im Folgenden wird die Bestimmung der Punktverwaschungsfunktion PSF1 für das linke Auge A1 erläutert, wobei die Bestimmung der Punktverwaschungsfunktion für das rechte Auge analog abläuft. Basierend auf dem Raytracing wird für das Auge A1 der Durchtrittspunkt des Vektors $\overset{⇀}{r 1}$
durch die Linse L1 bestimmt. Dieser Durchtrittspunkt wird in einem lokalen Koordinatensystem der Linse angegeben, das die Achsen x_b, y_b und z_b umfasst. Mit Hilfe des geometrisch-optischen Modells der Linse kann die Strahlablenkung hin zu dem Auge A1 und zur Netzhaut ermittelt werden.
Zur Modellierung MSF des Sehfehlers wird ein entsprechendes Modell zur Aufbringung des Sehfehlers des Benutzers U verwendet. Der Sehfehler ist dabei aus einer vorherigen Vermessung des Auges bekannt. Beispielsweise wird der Sehfehler über entsprechende Daten zur Korrektur des Sehfehlers beschrieben, die eine Brennweite für das Sehen im Nahbereich, z.B. im Abstand von 30 cm, und eine Brennweite für das Sehen im Fernbereich, z.B. im Abstand von 6 m, umfasst. Für andere Sehabstände wird eine Interpolation bzw. Extrapolation der Brennweiten, vorzugsweise eine lineare Interpolation bzw. Extrapolation der Brennweiten, vorgenommen. Der Sehfehler wird unter Heranziehung dieser Brennweiten mit an sich bekannten Methoden modelliert.
Beispielsweise kann der Sehfehler durch eine Phasenschiebemaske oder das geometrisch-optische Modell einer Linse ähnlich wie die Sehhilfe modelliert werden. Ebenso kann der Sehfehler direkt in der Augenlinse jedes Auges abgebildet werden, wofür Methoden bekannt sind.
Über die Modellierungen MSH und MSF können auf der Netzhaut des Benutzers in an sich bekannter Weise mittels des Raytracings Spotdiagramme für entsprechende Strahlenbündel ausgehend vom Betrachtungspunkt P erhalten werden. Aus einem entsprechenden Spotdiagramm wird dann die Modulations-Transfer-Funktion ermittelt, aus der durch Fourier-Transformation die entsprechende Punktverwaschungsfunktion gewonnen wird. Die Gewinnung der Modulations-Transfer-Funktion aus entsprechenden Spotdiagrammen ist dem Fachmann geläufig und wird beispielsweise in dem Dokument [8] beschrieben.
Die Punktverwaschungsfunktion PSF1 wird im Folgenden auch als Funktion S(u, v; a; x_b, y_b) bezeichnet. Die hängt neben den Koordinaten u, v in der Ebene des Displays 5 auch vom Abstand a des Benutzers zum Betrachtungspunkt P sowie dem entsprechenden Durchtrittspunkt durch das Koordinatensystem der Linse L1 ab. Dieser Durchtrittpunkt wird durch die Variablen x_b und y_b repräsentiert.
Mithilfe der Punktverwaschungsfunktionen PSF1 und PSF2 für die Augen A1 und A2 werden schließlich die Bilddaten BD2 in Schritt S5 der 3 durch Modifikation der Bilddaten BD1 berechnet. Die Bilddaten BD1 werden dabei für jedes Auge über eine Intensitätsverteilung I (u, v) auf dem Teildisplay bzw. Teilbereich des Displays für das entsprechende Auge repräsentiert. Durch Faltung der Punktverwaschungsfunktionen mit diesen Intensitätsverteilungen ergibt sich eine neue Intensitätsverteilung I'(u, v), die den zweiten Bilddaten BD2 entspricht. Mit anderen Worten lautet die Intensitätsverteilung für die Bilddaten des hier betrachteten linken Auges wie folgt: $I' (u, v) = I (u, v) * S (u, v; a; x_{B}, y_{B}) .$
Dabei repräsentiert der Operator * den Faltungsoperator.
Mit den erhaltenen zweiten Bilddaten BD2 beider Augen wird schließlich gemäß Schritt S6 aus 3 eine entsprechende Anzeige auf dem Display 5 generiert. Diese Anzeige simuliert dabei neben dem Sehfehler der Person auch die Korrektur mit einer entsprechend simulierten Sehhilfe.
Die im Vorangegangenen beschriebene Ausführungsform der Erfindung weist eine Reihe von Vorteilen auf. Insbesondere kann einem fehlsichtigen Benutzer erstmalig mit einer VR-Brille die Wirkungen einer simulierten Gleitsichtbrille für eine Umgebung präsentiert werden, in der sich der Benutzer tatsächlich befindet. Der Benutzer kann das Verhalten der simulierten Brille somit in seiner normalen Lebensumgebung testen und ausprobieren und mit seiner aktuellen Sehhilfe vergleichen. Darüber hinaus wird bei der Generierung der entsprechenden virtuellen Umgebung mittels der VR-Brille auch die Blickrichtung des Benutzers berücksichtigt, so dass sichergestellt wird, dass mittels der virtuellen Umgebung auch sehr gut ein realer Seheindruck vermittelt wird. Der Benutzer hat somit die Möglichkeit, durch Einspielung verschiedener Simulationen von Gleitsichtbrillen diese im Vorfeld zu testen, so dass das Risiko vermindert wird, dass die anschließend für ihn gefertigte Gleitsichtbrille bei deren Verwendung nicht seinen Bedürfnissen genügt.
Literaturverzeichnis

[1] WO 2020/074566 A1
[2] EP 3 126 898 B1
[3] EP 3 296 793 A1
[4] WO 2017/102600 A1
[5] US 10,466,477 B2
[6] G. Schneider, J. Kurt: „Technische Prinzipien zur Messung der Blickrichtung und der Augenbewegungen“; http://www2.hu-berlin.de/reha/eye/Technische%20Prinzipien_Eye.pdf
[7] Spencer, G. H., Murty, M. V., General Ray-Tracing Procedure, J. Opt. Soc. Am., Vol. 52, 672 (1962).
[8] Smith, W. J., „Modern Optical Engineering“, 3. Ausgabe, New York, McGraw-Hill, 2002, Chapter 11.9 „Computation of the Modulation Transfer Function“.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2020/074566 A1 [0054]
EP 3126898 B1 [0054]
EP 3296793 A1 [0054]
WO 2017/102600 A1 [0054]
US 10466477 B2 [0054]

Claims

Verfahren zur rechnergestützten Simulation einer Sehhilfe (SH) für einen Benutzer (U) mit Sehfehler mittels einer auf seinem Kopf (K) getragenen Vorrichtung (1), umfassend ein vor den Augen (A1, A2) des Benutzers (U) positioniertes Display (5) zur dreidimensionalen Anzeige einer virtuellen Umgebung, eine optische Abbildungseinrichtung (6), um bei Fokussierung der Augen (A1, A2) des Benutzers (U) auf unendlich ein auf dem Display (5) wiedergegebenes Bild scharf auf die Netzhaut der Augen (A1, A2) des Benutzers (U) abzubilden, eine Augenverfolgungseinrichtung (7) zur Verfolgung der Bewegung der Augen (A1, A2) des Benutzers (U) sowie ein 3D-Kamerasystem (2), wobei das Verfahren folgende Schritte umfasst: a) mittels des 3D-Kameraaystems (2) wird eine Umgebung vor den Augen (A1, A2) des Benutzers (U) erfasst; b) mittels der Augenverfolgungseinrichtung (7) wird die Blickrichtung der Augen (A1, A2) des Benutzers (U) in der Form von Richtungsvektoren (r1, $\overset{⇀}{r 2})$
der jeweiligen Augen (A1, A2) erfasst; c) mittels einer Rechnereinrichtung (4) werden erste Bilddaten (BD1) berechnet, die bei Anzeige auf dem Display (5) die mit dem 3D-Kamerasytem (4) erfasste Umgebung dreidimensional als virtuelle Umgebung wiedergeben, in welcher der Betrachtungspunkt (P) scharf gestellt ist, auf den der Benutzer (U) in der virtuellen Umgebung blickt, wobei der Betrachtungspunkt (P) aus der in Schritt b) erfassten Blickrichtung gewonnen wird; d) mittels der Rechnereinrichtung (4) wird mit Hilfe des Abstands (a) des Benutzers (U) von dem Betrachtungspunkt (P), der Blickrichtung seiner Augen (A1, A2), einer Modellierung (MSF) des Sehfehlers des Benutzers (U) und einer Modellierung (MSH) der Sehhilfe (SH) eine Punktverwaschungsfunktion (PSF1, PSF2) für den Betrachtungspunkt (P) und jedes fehlsichtige Auge (A1, A2) des Benutzers (U) berechnet; e) mittels der Rechnereinrichtung (4) werden die ersten Bilddaten (BD1) basierend auf der oder den Punktverwaschungsfunktionen (PSF1, PS2) der jeweiligen fehlsichtigen Augen (A1, A2) modifiziert, wodurch zweite Bilddaten (BD2) erhalten werden, die auf dem Display (5) wiedergegeben werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Punktverwaschungsfunktion oder Punktverwaschungsfunktionen (PSF1, PSF2) mittels Raytracing berechnet werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die ersten Bilddaten (BD1) eine Intensitätsverteilung auf der Fläche des Displays (5) repräsentieren, wobei die Intensitätsverteilung eine Intensitätsverteilung für ein Auge (A1) des Benutzers (U) im einem Teilbereich des Displays (5) und eine Intensitätsverteilung für das andere Auge (A2) des Benutzers (U) in einem anderen Teilbereich des Displays (5) umfasst, und die zweiten Bilddaten (BD2) durch eine Faltung der Intensitätsverteilung für jedes fehlsichtige Auge (A1, A2) mit der Punktverwaschungsfunktion (PSF1, PSF2) für das jeweilige fehlsichtige Auge (A1, A2) des Benutzers (U) berechnet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dass die Modellierung (MSH) der Sehhilfe (SH) auf einem geometrisch-optischen Modell von einer oder mehreren optischen Linsen (L1, L2) der Sehhilfe (SH) basiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Modellierung (MSF) des Sehfehlers auf einem geometrisch-optischen Modell von einer oder mehreren Phasenschiebemasken und/oder einer oder mehreren optischen Linsen basiert oder auf einer Implementierung des Sehfehlers in der Augenlinse (AL) zumindest eines Auges (A1, A2) des Benutzers (U) basiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Modellierung (MSF) des Sehfehlers auf Sehfehlerdaten beruht, die den Sehfehler über eine oder mehrere Brennweiten von einer oder mehreren optischen Linsen zur Korrektur des Sehfehlers beschreiben, wobei einer jeweiligen Brennweite vorzugsweise ein Sehabstand der Augen (A1, A2) des Benutzers (U) zugeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebung vor den Augen (A1, A2) des Benutzers (U) mittels eines 3D-Kamerasystems (2) in der Form einer stereoskopischen Kamera erfasst wird, wobei der Abstand (a) des Benutzers (U) von dem Betrachtungspunkt (P) vorzugsweise aus Bilddaten der stereoskopischen Kamera mittels Triangulation ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das 3D-Kamerasystem (2) eine Autofokuseinrichtung umfasst, mittels welcher der Betrachtungspunkt (P) in der virtuellen Umgebung scharf gestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte a) bis e) in zeitlichen Abständen wiederholt werden.
System zur rechnergestützten Simulation einer Sehhilfe (SH) für einen Benutzer (U) mit Sehfehler, wobei das System eine Rechnereinrichtung (4) und eine Vorrichtung (1) beinhaltet, die im Betrieb des Systems auf dem Kopf (K) des Benutzer getragen wird und umfasst: - ein vor den Augen (A1, A2) des Benutzers (U) positioniertes Display (5) zur dreidimensionalen Anzeige einer virtuellen Umgebung, - eine optische Abbildungseinrichtung (6), um bei Fokussierung der Augen (A1, A2) des Benutzers (U) auf unendlich ein auf dem Display (5) wiedergegebenes Bild scharf auf die Netzhaut der Augen (A1, A2) des Benutzers (U) abzubilden, - eine Augenverfolgungseinrichtung (7) zur Verfolgung der Bewegung der Augen (A1, A2) des Benutzers (U), - ein 3D-Kamerasystem (2), wobei das System zur Durchführung eines Verfahrens eingerichtet ist, das folgende Schritte umfasst: a) mittels des 3D-Kameraaystems (2) wird eine Umgebung vor den Augen (A1, A2) des Benutzers (U) erfasst; b) mittels der Augenverfolgungseinrichtung (7) wird die Blickrichtung der Augen (A1, A2) des Benutzers (U) in der Form von Richtungsvektoren (r1, $\overset{⇀}{r 2})$
der jeweiligen Augen (A1, A2) erfasst; c) mittels der Rechnereinrichtung (4) werden erste Bilddaten (BD1) berechnet, die bei Anzeige auf dem Display (5) die mit dem 3D-Kamerasytem (4) erfasste Umgebung dreidimensional als virtuelle Umgebung wiedergeben, in welcher der Betrachtungspunkt (P) scharf gestellt ist, auf den der Benutzer (U) in der virtuellen Umgebung blickt, wobei der Betrachtungspunkt (P) aus der in Schritt b) erfassten Blickrichtung gewonnen wird; d) mittels der Rechnereinrichtung (4) wird mit Hilfe des Abstands (a) des Benutzers (U) von dem Betrachtungspunkt (P), der Blickrichtung seiner Augen (A1, A2), einer Modellierung (MSF) des Sehfehlers des Benutzers (U) und einer Modellierung (MSH) der Sehhilfe (SH) eine Punktverwaschungsfunktion (PSF1, PSF2) für den Betrachtungspunkt (P) und jedes fehlsichtige Auge (A1, A2) des Benutzers (U) berechnet; e) mittels der Rechnereinrichtung (4) werden die ersten Bilddaten (BD1) basierend auf der oder den Punktverwaschungsfunktionen (PSF1, PS2) der jeweiligen fehlsichtigen Augen (A1, A2) modifiziert, wodurch zweite Bilddaten (BD2) erhalten werden, die auf dem Display (5) wiedergegeben werden.
System nach Anspruch 10, wobei das System zur Durchführung eines Verfahrens nach einem der Ansprüche 2 bis 9 eingerichtet ist.