-
Die vorliegende Erfindung betrifft eine optische Vorrichtung und ein Verfahren zur Bestimmung einer Pupillenposition. Des Weiteren betrifft die Erfindung eine darauf basierende Datenbrille.
-
Stand der Technik
-
Aus dem Stand der Technik sind verschiedene Ansätze bekannt, um die Position eines Auges, einer Pupille und eines Blickvektors auf optischem Weg zu bestimmen. So werden beispielsweise Kameras und optische Sensoren eingesetzt, gegebenenfalls in Kombination mit bildverarbeitender Software. Ein Anwendungszweck für diese Verfahren stellt der Einsatz im Rahmen der Blickerfassung (Eye-Tracking) bei Datenbrillen (Smartglasses) dar, um die Augenbewegungen des Nutzers einer solchen Datenbrille zu überwachen. Eine große Problematik beim Einsatz von optischen Systemen zur Augenpositions-, Pupillenpositions- und/oder Blickvektorbestimmung ist eine Bewegung des Kopfes eines Nutzers relativ zum durch den Nutzer verwendeten optischen System. Ein Beispiel ist der Einsatz von Eye-Tracking bei Datenbrillen. Hier kann ein unbeabsichtigtes Verrutschen der Datenbrille zu starken Störungen beim Eye-Tracking führen. Aus diesem Grund sind aus dem Stand der Technik Ansätze bekannt, um ein solches Verrutschen festzustellen und auszugleichen. So wird in der
US 10,264,964 B1 eine Detektion und Korrektur eines eventuellen Verrutschens einer Datenbrille mit Hilfe von Videokameras und in der
US 2015/0995 A1 unter Verwendung eines Bewegungssensors vorgeschlagen.
-
Offenbarung der Erfindung
-
Erfindungsgemäß werden eine optische Vorrichtung zur Bestimmung einer Pupillenposition, ein Verfahren zum Bestimmen einer Pupillenposition sowie eine Datenbrille mit einer erfindungsgemäßen optischen Vorrichtung vorgeschlagen.
-
Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
-
Laut einem ersten Aspekt der Erfindung wird eine optische Vorrichtung zur Bestimmung einer Pupillenposition eines Auges mit einer Retina vorgeschlagen, wobei die Vorrichtung einen Laser, einen ersten Photodetektor, einen zweiten Photodetektor, eine verstellbare Strahlablenkeinrichtung und eine Steuereinheit zur Ansteuerung der verstellbaren Strahlablenkeinrichtung umfasst. Die Steuereinheit kann digitale Komponenten und/oder analoge Komponenten umfassen, beispielsweise einen Computer, einen Mikroprozessor, eine ASIC (anwendungsspezifische integrierte Schaltung, application-specific integrated circuit) und/oder ein FPGA (Field Programmable Gate Array). Unter einer Pupillenposition im Sinne dieser Erfindung ist eine räumliche Position einer Pupille eines Auges zu verstehen. Insbesondere kann die Pupillenposition eine relative Position der Pupille in Bezug auf eine Augenumgebung sein. Eine Augenumgebung eines Auges ist im Rahmen dieser Erfindung ein Bereich des dem Auge zugehörigen Kopfes und kann beliebige Elemente des Kopfes, deren Position nicht von einer Bewegung des Auges abhängig sind, umfassen, also beispielsweise Haut, Gewebe und/oder Haare des Kopfes. Die erfindungsgemäße Vorrichtung und auch das erfindungsgemäße Verfahren sind nicht eingeschränkt auf das Bestimmen einer Pupillenposition bei einem Menschen, sondern können auch bei Tieren Anwendung finden.
-
Die optische Vorrichtung ist hierbei ausgebildet, durch den Laser generiertes Licht zumindest teilweise als Beleuchtungslicht über einen Beleuchtungsstrahlengang zu der Strahlablenkeinrichtung zu führen und mittels Verstellen der Strahlablenkeinrichtung durch die Steuereinheit eine Mehrzahl von Beleuchtungspunkten auf dem Auge und einer Augenumgebung des Auges durch das Beleuchtungslicht zu beleuchten. Das Auge und die Augenumgebung werden also mittels einer Strahlablenkeinrichtung abgetastet (gescannt). Die Strahlablenkeinrichtung kann so ausgebildet sein, dass sie das Beleuchtungslicht in ein oder vorzugsweise zwei Raumrichtungen bewegen kann. Als Laser kann sowohl ein Pulslaser als auch ein Dauerstrichlaser (CW-Laser) Verwendung finden. Die Beleuchtungspunkte können beliebig dicht liegen, also auch eine durchgängige Linie bilden. Dies kann beispielsweise bei einem entsprechend hochfrequent gepulsten Laser oder einem CW-Laser als verwendeten Laser der Fall sein.
-
Weiterhin ist die optische Vorrichtung ausgebildet, während der Beleuchtung zumindest eines ersten Teils der Beleuchtungspunkte, beispielsweise der auf dem Auge befindlichen Beleuchtungspunkte oder aller Beleuchtungspunkte, mittels des ersten Photodetektors eine Laserleistung des Lasers zu messen. Hierzu müssen keine Absolutwerte der Laserleistung bestimmt werden: Vorteilhafterweise werden Unterschiede in der Laserleistung zwischen unterschiedlichen Beleuchtungspunkten erfasst, also Leistungsänderungen bei Wechsel der Beleuchtung von einem ersten zu einem zweiten Beleuchtungspunkt. Die Vorrichtung ist also vorteilhafterweise eingerichtet, eine Änderung in der Laserleistung bei einem Wechsel von einem ersten Beleuchtungspunkt zu einem zweiten Beleuchtungspunkt unter Auswertung der elektrischen Ausgangssignale des ersten Photodetektors zu ermitteln.
-
Durch ein Messen der Laserleistung des Lasers kann insbesondere festgestellt werden, ob das Beleuchtungslicht eines Beleuchtungspunkts an der Retina des Auges (bei einem im Wesentlichen senkrechten Einfall) reflektiert wurde: Wird Beleuchtungslicht an einer Grenzfläche vom Auge, beispielsweise der Retina des Auges, bei im Wesentlichen senkrechtem Lichteinfall reflektiert und gelangt dann entgegengesetzt der Beleuchtungsrichtung (die Richtung, aus der die Beleuchtung erfolgte) über die Strahlablenkeinrichtung und den Beleuchtungsstrahlengang (den der Beleuchtung dienenden Strahlengang) bis zum der Beleuchtung dienenden Laser und dort in dessen Laserresonator, so interferiert dieses reflektierte Licht mit dem im Laser generierten Licht. Dies hat typischerweise Amplituden- und Frequenzänderungen des emittierten Laserlichts zur Folge. Das Auftreten von solchen Interferenzen lässt sich somit anhand von Änderungen in der Laserleistung detektieren. Ein solches Messverfahren ist als Laser-Feedback-Interferometrie oder Self-Mixing-Interferometrie bekannt. In einer Variante der erfindungsgemäßen Vorrichtung wird hierfür der erste Photodetektor eingesetzt, der eine Intensität des durch den Laser generierten Lichts und damit die Laserleistung misst.
-
Da die Retina Licht, insbesondere Infrarotlicht, besonders gut reflektiert (im Vergleich zu anderen eventuell beleuchteten Grenzflächen des Auges und der Augenumgebung), können solche Beleuchtungspunkte mit hoher Sicherheit identifiziert werden, bei denen das Licht von der Retina zurück in den Beleuchtungsstrahlengang reflektiert wurde. Aus diesen Informationen ist die aktuelle Position der Pupille des Auges ableitbar. Alternativ oder zusätzlich kann die optische Vorrichtung auch so ausgebildet sein, dass bei Beleuchtung zumindest des ersten Teils der Beleuchtungspunkte am Auge oder der Augenumgebung (je nach Lage des jeweiligen Beleuchtungspunkts) reflektiertes und über die Strahlablenkeinrichtung in den Beleuchtungsstrahlengang eintretendes Beleuchtungslicht direkt mittels des ersten Photodetektors detektiert wird. Da die Retina eine gewisse optische Rauheit besitzt, kommt es typischerweise zu Specklemustern bei der Beleuchtung mit Laserlicht, es wird dementsprechend nicht von jedem Punkt der beleuchteten Retina Licht in den Beleuchtungsstrahlengang zurückreflektiert. Eine Ausprägung eines solchen Musters ist aber nicht störend für den erfindungsgemäßen Ansatz, sondern kann im Gegenteil sogar helfen, die Lage der Pupille zu identifizieren. Zusätzlich ist die Vorrichtung so gestaltet, dass während der Beleuchtung zumindest eines zweiten Teils der Beleuchtungspunkte, beispielsweise der Beleuchtungspunkte auf der Augenumgebung oder aller Beleuchtungspunkte, mittels des zweiten Photodetektors am Auge (Beleuchtungspunkt auf dem Auge) oder an der Augenumgebung (Beleuchtungspunkt auf Augenumgebung) gestreutes Beleuchtungslicht detektiert werden kann.
-
Der als Lichtquelle dienende Laser kann ein Infrarotlaser, vorzugsweise für Licht mit einer Wellenlänge im Bereich von 800 nm bis 1050 nm, besonders bevorzugt von 850 nm oder 940 nm sein, der bevorzugt als Laserdiode, beispielsweise eine Infrarot-Laserdiode und/oder ein Oberflächenemitter (VCSEL, Vertical-Cavity Surface-Emitting Laser), ausgeprägt ist. Im Infraroten emittierende Laser und Laserdioden sind für eine Umsetzung der Erfindung vorteilhaft, da die Retina im Infraroten besonders gut reflektiert. Der erste Photodetektor und/oder der zweite Photodetektor kann beispielsweise eine Fotodiode, ein CMOS-Sensor (CMOS: Complementary metal-oxide-semiconductor) und/oder ein CCD-Sensor (CCD: charge-coupled device) sein. Insbesondere ist es vorteilhaft, wenn im Fall eines als Lichtquelle eingesetzten Oberflächenemitters dieser eine Monitordiode besitzt, beispielsweise eine longitudinal-integrierte Monitordiode, die im rückwärtigen Spiegel des Oberflächenemitters integriert ist. In diesem Fall kann die integrierte Monitordiode identisch mit dem ersten Photodetektor sein. Weiterhin kann die verstellbare Strahlablenkeinrichtung einen oder mehrere Spiegel, insbesondere einen Mikrospiegelaktor und/oder einen Galvanometerscanner und/oder einen resonanten Scanner (einen bei einer Resonanzfrequenz betriebenen Scanspiegel) umfassen.
-
Eine erfindungsgemäße optische Vorrichtung kann auch zumindest ein weiteres optisches Element umfassen, beispielsweise einen Spiegel und/oder ein Prisma und/oder ein HOE (holographisch-optisches Element), das ausgebildet ist, das Beleuchtungslicht nach Durchlaufen der Strahlablenkeinrichtung erneut abzulenken. Dieses weitere optische Element kann so ausgeprägt sein, dass das von der Strahlablenkeinrichtung kommende Beleuchtungslicht so umgelenkt wird, dass mittels der Strahlablenkeinrichtung das Auge und die Augenumgebung wie gewünscht gescannt werden kann, also beispielsweise gewünschte Positionen von Beleuchtungspunkten erreicht werden können. So ist es denkbar, dass es sich bei dem weiteren optischen Element um einen gekrümmten Spiegel oder ein gekrümmtes HOE handeln, die so an die Form des Auges und dessen optische Eigenschaften angepasst sind, dass für gewünschte Beleuchtungspunkte Beleuchtungslicht an der Retina reflektiert wird und in den Beleuchtungsstrahlengang eintritt. Das weitere optische Element erlaubt somit eine Optimierung der optischen Vorrichtung zur Verbesserung der Detektionsqualität und auch, die Strahlablenkeinrichtung unabhängiger von der Position des Auges und der Augenumgebung zu platzieren, was eine freiere Gestaltung der optischen Vorrichtung ermöglicht. Insbesondere ist es bei Einsatz einer erfindungsgemäßen optischen Vorrichtung in einer Datenbrille denkbar, dass solch ein weiteres optisches Element Teil eines typischerweise gekrümmten Brillenglases der Datenbrille oder eines Korrekturglases für eine solche Datenbrille ist und/oder in ein Brillenglas oder ein Korrekturglas eingelassen ist.
-
Weiterhin ist es vorteilhaft, wenn die optische Vorrichtung eine Auswerteeinheit umfasst, die ausgebildet ist, elektrische Ausgangssignale (im Folgenden: Detektorsignale oder nur Signale) des ersten Photodetektors und des zweiten Photodetektors zu verarbeiten und auszuwerten (also eine Signalauswertung durchzuführen) und dabei aus den Signalen eine Pupillenposition und/oder einen Blickvektor zu bestimmen. Die Auswerteeinheit kann hierbei eine Einheit mit der Steuereinheit bilden oder identisch mit dieser sein. Unter dem Begriff der Signalauswertung im Sinne der Erfindung sind alle Arten der analogen und digitalen Signalverarbeitung und Auswertung der Signale zu verstehen. So kann eine Signalauswertung eines Photodetektors eine Signalverstärkung, Digitalisierung, Filterung und/oder Datenfusion umfassen, aber beispielsweise auch Schritte, um aus den so gewonnenen Daten abgeleitete Daten, Informationen und weitere Signale zu generieren. Die Auswerteeinheit kann digitale Komponenten und/oder analoge Komponenten umfassen. Beispielsweise kann die Auswerteeinheit einen oder mehrere Verstärker, Bandpassfilter, A/D-Wandler und/oder eine Recheneinheit wie einen Computer, einen Mikroprozessor, eine ASIC und/oder ein FPGA umfassen. Insbesondere kann die Auswerteeinheit einen Multiplexer umfassen, mit dem für die Auswertung der Signale zwischen den Signalen des ersten Photodetektors und den Signalen des zweiten Photodetektors gewechselt werden kann. Ebenfalls kann die Auswerteeinheit eine Bildverarbeitungseinrichtung, beispielsweise in Form eines Computers, umfassen, die eingerichtet, aus den gegebenenfalls vorverarbeiteten Signalen des ersten Photodetektors ein erstes Bild und aus den Signalen des zweiten Photodetektors ein zweites Bild zu generieren. Es kann basierend auf diesen Bildern eine Datenfusion durchgeführt werden, um eine Pupillenposition und insbesondere auch einen Blickvektor zu bestimmen. Im Gegensatz zu vielen anderen korrelativen Verfahren aus dem Stand der Technik muss hierfür keine Koordinatentransformation auf Basis von übereinstimmenden Bildmerkmalen zwischen aus den Signalen der beiden Photodetektoren erzeugten Bildern bestimmt werden, da beide Bilder auf denselben Beleuchtungspunkten aufbauen.
-
Weiterhin ist es besonders vorteilhaft, wenn der erste Photodetektor so angeordnet ist, dass ein Teil des vom Laser generierten Lichts durch den ersten Photodetektor detektiert wird. Eine solche Ausgestaltung der erfindungsgemäßen Vorrichtung ermöglicht Laser-Feedback-Interferometrie und somit Schwankungen in der Leistung des Lasers zu detektieren, die durch in einen Resonator des Lasers eintretendes Beleuchtungslicht entstehen, das beispielsweise von der Retina des Auges in den Beleuchtungsstrahlengang zurückreflektiert wurde. Im Fall des zweiten Photodetektors ist es weiterhin besonders vorteilhaft, diesen so zu platzieren, dass für jeden Beleuchtungspunkt eine optische Achse des zweiten Photodetektors in einem Winkel von ≥ 5°, vorzugsweise ≥ 10°, besonders vorzugsweise ≥ 20° zu der Richtung angeordnet ist, aus der der Beleuchtungspunkt durch die optische Vorrichtung beleuchtet wird, also der Beleuchtungsrichtung. Durch eine solche schräge Anordnung wird insbesondere vermieden, von der Retina reflektiertes Licht mit dem Detektor zu detektieren, das das Signal des zweiten Photodetektors verfälschen könnte. Hierbei entspricht eine optische Achse des zweiten Photodetektors einer Detektionsrichtung für das zu detektierende Licht und steht typischerweise senkrecht auf einer lichtempfindlichen Fläche des zweiten Photodetektors, die zur Detektion des Lichts eingesetzt wird. Durch eine solche Anordnung des zweiten Photodetektors erscheint die Pupille des Auges bei einem auf Basis der Signaldaten des zweiten Photodetektors erzeugten Bilds dunkel, da die Retina für den zweiten Photodetektor auf Grund der Apertur der Pupille verschattet ist. An der Retina reflektiertes oder gestreutes Beleuchtungslicht kann nicht zum zweiten Photodetektor gelangen.
-
Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zum Bestimmen einer Pupillenposition eines Auges unter Verwendung einer optischen Vorrichtung vorgeschlagen, wobei die optische Vorrichtung einen Laser, einen ersten Photodetektor, einen zweiten Photodetektor, eine verstellbare Strahlablenkeinrichtung, eine Steuereinheit zur Ansteuerung der verstellbaren Strahlablenkeinrichtung und eine Auswerteeinheit umfasst und das Auge eine Pupille und eine Retina aufweist. Vorzugsweise handelt es sich bei der optischen Vorrichtung um eine erfindungsgemäße optische Vorrichtung zur Bestimmung einer Pupillenposition wie oben beschrieben. Das erfindungsgemäße Verfahren umfasst die folgenden Schritte:
- Licht wird durch den Laser generiert und zumindest teilweises als Beleuchtungslicht über einen Beleuchtungsstrahlengang zu der Strahlablenkeinrichtung geführt. Hierdurch wird eine Mehrzahl von Beleuchtungspunkten auf dem Auge und einer Augenumgebung des Auges durch das Beleuchtungslicht mittels Verstellen der Strahlablenkeinrichtung durch die Steuereinheit beleuchtet, wobei die Strahlablenkeinrichtung für verschiedene Beleuchtungspunkte verschiedene Stellungen einnimmt. Für einen ersten Teil der Beleuchtungspunkte wird dabei Beleuchtungslicht an der Retina des Auges zurück zur Strahlablenkeinrichtung reflektiert (also entgegengesetzt der jeweiligen Beleuchtungsrichtung). Von der Strahlablenkeinrichtung gelangt dieses Licht gegebenenfalls über den Beleuchtungsstrahlengang zurück zum Laser und in den Resonator des Lasers. Für einen zweiten Teil der Beleuchtungspunkte wird Beleuchtungslicht an zumindest einem Referenzmarker der Augenumgebung gestreut. Ein Referenzmarker der Augenumgebung ist hierbei jedes durch Auswertung von Signalen des zweiten Photodetektors identifizierbare Merkmal der Augenumgebung (Augenmerkmal), das zur Feststellung einer Relativposition innerhalb der Augenumgebung bezogen auf eine Position dieses Augenmerkmals geeignet ist. Es kann sich bei einem Referenzmarker um eine einzelne Stelle, aber auch eine größere Struktur handeln. Als Referenzmarker eingesetzt werden können beispielsweise Hautunreinheiten, Augenlider, Wimpern, Tränensack oder bestimmte Stellen innerhalb dieser Elemente. Hierbei ist es vorteilhaft, wenn der verwendete Referenzmarker möglichst statisch bezogen auf den Rest des Kopfes ist, also die Position des Referenzmarkers ein möglichst guter Indikator für die Kopfposition ist. Vorteilhafterweise können entweder nicht rotationssymmetrische Referenzmarker Anwendung finden und/oder, insbesondere im Fall von punktförmigen oder rotationssymmetrischen Referenzmarkern, zwei, drei oder mehr Referenzmarker verwendet werden. Dies hat zum einen den Vorteil, dass auch eventuelle Rotationen der optischen Vorrichtung und damit der Referenzmarker identifiziert werden können (nicht nur Translationen). Zum anderen lassen sich mit mehreren Referenzmarkern auch Fehler und Ungenauigkeiten bezüglich der Positionen der einzelnen Referenzmarker ausgleichen beziehungsweise minimieren.
-
Weiterhin kann bei Beleuchten zumindest des ersten Teils der Beleuchtungspunkte ein Messen einer Laserleistung des Lasers mittels des ersten Photodetektors erfolgen, um Reflexionen des Beleuchtungslichts mittels Laser-Feedback-Interferometrie feststellen zu können. Alternativ oder zusätzlich wird von an einer Grenzfläche des Auges oder der Augenumgebung reflektiertes Beleuchtungslicht mit dem ersten Photodetektor detektiert. Anschließend erfolgt ein Auswerten von Signalen des ersten Photodetektors durch die Auswerteeinheit. Hierbei erfolgt auch eine Zuordnung der jeweiligen Stellung der Strahlablenkeinrichtung zu den Signalen, um eine räumliche Zuordnung zu erreichen. Bei Beleuchten zumindest des zweiten Teils der Beleuchtungspunkte erfolgt hingegen ein Detektieren von am Auge oder an der Augenumgebung gestreuten Beleuchtungslichts mit dem zweiten Photodetektor und Auswerten von Signalen des zweiten Photodetektors durch die Auswerteeinheit. Auch hier werden die Signale jeweils Stellungen der Strahlablenkeinrichtung zugeordnet. Im Rahmen der Signalauswertungen für verschiedene Stellungen der Strahlablenkungseinheit können insbesondere Bilder des Auges und/oder der Augenumgebung erstellt werden. So können Bilder bei Kenntnis der Stellung der Strahlablenkeinrichtung sowohl auf Basis der Signaldaten des ersten Photodetektors als auch auf Basis der Signale des zweiten Photodetektors erzeugt werden. Die Stellung der Strahlablenkeinrichtung für einen Beleuchtungspunkt kann entweder aus den Steuersignalen der Steuereinheit abgeleitet werden, die für die Steuerung der Strahlablenkeinrichtung eingesetzt werden. Alternativ oder zusätzlich ist es auch denkbar, dass die Strahlablenkeinrichtung diese Informationen direkt zur Verfügung stellt, diese also während der Beleuchtung gemessen werden können, beispielsweise mittels auf der Rückseite von Spiegeln der Strahlablenkeinrichtung angebrachter PSDs (Position Sensitive Devices) in Kombination mit einer Lichtquelle wie einer Laserdiode. Die Stellungen der Strahlablenkeinrichtung können hierbei in beliebigen Einheiten und beliebiger Form gegeben sein.
-
Schließlich wird basierend auf den ausgewerteten Signalen des zweiten Photodetektors durch die Auswerteeinheit eine Position für den zumindest einen Referenzmaker ermittelt. Unter Berücksichtigung dieser Position des zumindest einen Referenzmarkers erfolgt ein Bestimmen der Pupillenposition basierend auf den ausgewerteten Signalen des zweiten Photodetektors durch die Auswerteeinheit. So kann im einfachsten Fall beispielsweise im Rahmen der Signalauswertung aus den Signalen des ersten Photodetektors unter Berücksichtigung der Stellungen der Strahlablenkeinrichtung eine unkorrigierte Pupillenposition p' bestimmt werden und aus den Signalen des zweiten Photodetektors, ebenso unter Berücksichtigung der Stellungen der Strahlablenkeinrichtung, eine Position eines Referenzmarkers r. Die unkorrigierte Pupillenposition wird nun durch die Position des Referenzmarkers verschoben, um die gesuchte Pupillenposition p zu erhalten, die die Position der Pupille in Relation zum Referenzmarker angibt: p = p' - r. Anders ausgedrückt handelt es sich bei der so definierten Pupillenposition um eine Positionsangabe bezogen auf einen Fixpunkt des Kopfes, nämlich des Referenzmarkers. Ändert sich nun bei wiederholtem Beleuchten der Beleuchtungspunkte, also bei wiederholtem Abtasten von Auge und Augenumgebung die Position der verwendeten optischen Vorrichtung zum Kopf und damit zur Augenumgebung, so ändert sich sowohl die unkorrigierte Position p' der Pupille als auch die Position r des Referenzmarkers, der Vektor p bleibt aber bei identischer Pupillenposition in Relation zur Augenumgebung gleich. Vorzugsweise werden bei komplexeren Umsetzungen des erfindungsgemäßen Verfahrens mehrere Referenzmarker verwendet oder neben einer Position eines Referenzmarkers auch noch eine Rotation des Referenzmarkers betrachtet. Dies ermöglicht es, nicht nur eventuelle Verschiebungen zwischen optischer Vorrichtung und Augenumgebung, sondern auch Rotationen zueinander zu berücksichtigen.
-
Da somit Informationen sowohl bezüglich der Pupille als auch des Kopfes existieren, kann beispielsweise auch eine Berechnung einer Augenbewegung und/oder eines Blickvektors des Auges (bei Kenntnis der Beziehung zwischen der Position der Pupille in Bezug zum Referenzmarker und dem Blickvektor) im Rahmen des erfindungsgemäßen Verfahrens erfolgen. Ein Blickvektor ist im Rahmen dieser Erfindung ein beliebiger die Blickrichtung angebender Vektor, der beispielsweise durch das Zentrum der Pupille verläuft und vom Auge wegzeigend orientiert ist. Eine Augenbewegung ist eine beliebige Bewegung des Auges relativ zu der Augenumgebung. Eine Augenbewegung entspricht typischerweise einer Änderung einer Blickrichtung des Auges. Bei einer Augenbewegung erfolgt eine Rotation des Auges in der Augenhöhle des Auges. Die Erfindung basiert somit auf der Fusion zweier unterschiedlich erzeugter Detektorsignale, es handelt sich also um ein korrelatives Verfahren: Zum einen wird eine Pupillenposition aus Signalen des ersten Photodetektors bestimmt, zum anderen eine Position eines Referenzmarkers aus Signalen des zweiten Photodetektors. Da beide Verfahren denselben Beleuchtungsstrahlengang und dieselbe Strahlablenkeinrichtung verwenden, lassen sich die Signale räumlich unkompliziert zueinander in Relation setzen, um eine Pupillenposition relativ zu einem Referenzmarker zu bestimmen. Dies gilt auch, wenn für alle oder einen Teil der Beleuchtungspunkte keine gleichzeitige Aufnahme eines Signals des ersten Photodetektors und eines Signals des zweiten Photodetektors erfolgt.
-
Unter Berücksichtigung der jeweiligen Stellung der Strahlablenkeinrichtung für jedes Detektorsignal (Signal eines Photodetektors) lassen sich die Detektorsignale räumlich zueinander in Relation setzen, so dass für die Pupille des Auges eine Position bestimmt werden kann, die die Relativposition der Pupille zu einem Referenzmarker angibt. Die Position eines Referenzmarkers kann hierbei folglich der Definition eines Bezugspunktes dienen, um nach einer Translation als Relativbewegung der optischen Vorrichtung in Bezug zum Kopf eines Nutzers der optischen Vorrichtung ein Bestimmen einer von der Relativbewegung unabhängigen Pupillenposition zu ermöglichen. Bei Relativbewegungen, die auch Rotationen beinhalten, ist es erforderlich, auch Rotationen eines Referenzmarkers zu erfassen oder mehrere Referenzmarker zu verwenden, um die Pupillenposition relativ zu den Referenzmarkern eindeutig identifizieren zu können. Im Rahmen der Auswertung der Signale des ersten Photodetektors kann basierend auf den Signalen des ersten Photodetektors ein erstes Bild generiert werden. Dasselbe gilt für die Signale des zweiten Photodetektors: Auch hier kann eine Bildgenerierung erfolgen. Die ausgewerteten Signale umfassen also diese Bilder oder sind mit diesen identisch. Im Fall von Bildern, die aus den Signalen des ersten Photodetektors und des zweiten Photodetektors zumindest teilweise für dieselben Stellungen der Strahlablenkeinrichtung erzeugt (also für zumindest einen Teil der Beleuchtungspunkte Signale sowohl mit dem ersten Photodetektor als auch mit dem zweiten Photodetektor aufgenommen) worden sind, lassen sich diese entsprechend überlagern, um die Informationen aus beiden Bildern zu fusionieren. Ein Beispiel hierfür ist die Ermittlung einer Pupillenposition und/oder eines Pupillendurchmessers einer Pupille unter gleichzeitiger Berücksichtigung der Signale sowohl des ersten Photodetektors als auch des zweiten Photodetektors zur Reduzierung von Ungenauigkeiten, beispielsweise durch eine Überlagerung der entsprechenden Bilder. Eine Verrechnung der Signale beider Photodetektoren für einen oder mehrere Beleuchtungspunkte ist aber auch bei fehlender Generierung von Bildern aus den Signalen denkbar.
-
In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt das Verstellen der Strahlablenkeinrichtung so, dass die Beleuchtungspunkte entlang eines im Wesentlichen sinusförmigen oder mäanderförmigen oder zickzackförmigen Beleuchtungsmusters angeordnet sind. Durch diese sich dadurch ergebene zeilenförmige Abtastung des Auges und der Augenumgebung ist die Erstellung eines Bildes aus den Signalen der Photodetektoren besonders einfach, da hierdurch eine dichte Abdeckung des Auges und der Augenumgebung durch die Beleuchtungspunkte bei gleichzeitig gleichmäßiger Verteilung ermöglicht werden kann.
-
Vorteilhafterweise wird das erfindungsmäße Verfahren so eingesetzt, dass Signale des ersten Photodetektors für jeden festgelegten Beleuchtungspunkt aufgenommen werden. Decken die Beleuchtungspunkte also das gesamte Auge und einen bestimmten Bereich um das Auge herum und werden die Beleuchtungspunkte wiederholend mit Hilfe der Strahlablenkeinrichtung beleuchtet, so kann kontinuierlich die Pupillenposition verfolgt werden. Die hierfür notwendige Signalauswertung ist nicht rechenaufwendig, da die Retina durch die hohe Reflektivität leicht durch eine entsprechende Signaländerung identifiziert werden kann. Eine Bewegung der optischen Vorrichtung relativ zum Kopf eines Nutzers der optischen Vorrichtung geschieht typischerweise langsam und tritt selten auf. Die Lage der Referenzmarker in Relation zur optischen Vorrichtung ändert sich also ebenfalls entsprechend langsam beziehungsweise selten. Es ist also vorteilhaft, nur in bestimmten Zeitintervallen und/oder für bestimmte Beleuchtungspunkte (beispielsweise nach mehreren Vollscans, also mehrmaligem vollständigem Abtasten aller festgelegten Beleuchtungspunkte) die Signale des zweiten Photodetektors zu erfassen und auszuwerten und darauf basierend eine (gegebenenfalls erneute) Korrektur der mit Hilfe der Signale des ersten Photodetektors ermittelten unkorrigierten Pupillenposition vorzunehmen.
-
Gemäß eines dritten Aspekts betrifft die Erfindung eine Datenbrille mit einer erfindungsgemäßen optischen Vorrichtung zur Bestimmung einer Pupillenposition eines Auges. Eine solche Brille ist vorzugsweise mit weiteren Laserlichtquellen wie beispielsweise Laserdioden zur Erzeugung eines Bildes für den Nutzer der Datenbrille ausgestattet. Diese können zusammen mit dem Laser der erfindungsgemäßen Vorrichtung in einem Lasermodul angeordnet sein. Auch der Bildaufbau der Datenbrille kann über denselben optischen Beleuchtungsstrahlengang geschehen, wobei auch dieselbe Strahlablenkeinrichtung verwendet werden kann. Die Erfindung ermöglicht hier einen besonders robusten Ansatz, um ein Verrutschen der Datenbrille bei der Bestimmung einer Pupillenposition zu korrigieren, beispielsweise im Rahmen von Eye-Tracking. Die erfindungsgemäße optische Vorrichtung oder Teile dieser wie der zweite Photodetektor können im Fall einer erfindungsgemäßen Datenbrille beispielsweise im Brillenrahmen, in einem der Brillenbügel, in der Nasenbrücke oder in den Nasenpads integriert und/oder dort angeordnet sein. Auch eine Integration von zumindest eines Teils der Komponenten in ein Brillenglas der Datenbrille ist denkbar.
-
Vorteile der Erfindung
-
Durch Auswertung des an der Retina des Auges reflektierten Beleuchtungslichts mittels des ersten Photodetektors kann die Pupille unmittelbar aufgenommen werden und im Detektorsignal einfach detektiert werden. Es sind im Gegensatz zu beispielsweise Videoaufnahmen keine aufwendigen bildverarbeitenden Methoden erforderlich, im einfachsten Fall ist ein reines betrachten der Signalstärke ist auf Grund der stark ausgeprägten Reflektivität der Retina ausreichend. Da nur Licht detektiert wird, das über die Ablenkeinrichtung in den Beleuchtungsstrahlengang eintritt, ist das Bild besonders robust gegenüber Störlicht. Dies ist insbesondere im Fall des Einsatzes von Laser-Feedback-Mikroskopie der Fall, da hier zum einen das Licht bis in den Resonator des Lasers gelangen muss um detektiert zu werden und zum anderen auch eine Kohärenz des Lichts gegeben sein muss, um entsprechende Interferenzeffekte hervorrufen zu können. Somit wird mittels dieses Vorgehens eine äußerst einfache und energieeffiziente Bestimmung einer (unkorrigierten) Pupillenposition erreicht. Ein solcher Ansatz hat aber den Nachteil, dass keine Informationen dazu erhalten werden, wo die Pupille relativ zum Auge steht. Eine Änderung der Pupillenposition kann zum einen durch eine Änderung der Augenstellung erfolgen, zum anderen aber auch durch eine Bewegung der optischen Vorrichtung, beispielsweise einer Datenbrille, die diesen Ansatz umsetzt relativ zur Augenumgebung. Somit kann auch keine fehlerfreie Berechnung eines Blickvektors erfolgen.
-
Es wurde nun erkannt, dass ein erfindungsgemäßes Vorgehen eine überraschend einfache und elegante Möglichkeit bietet, mit Hilfe eines entsprechend der Erfindung schräg angeordneten zweiten Photodetektors Informationen so hinsichtlich der Augenumgebung zu gewinnen, dass sie auf einfache Art und Weise mit den durch den ersten Photodetektor gewonnenen Informationen fusioniert werden können, um unerwünschte Relativbewegungen zwischen optischer Vorrichtung und Augenumgebung auszugleichen. In diesem Zusammenhang sei darauf hingewiesen, dass ein alleinstehender Einsatz eines solchen zweiten Photodetektors nicht zielführend wäre, da für so eine Umsetzung berechnungsaufwändige Verfahren zur Detektion der Pupille erforderlich sind.
-
Durch einen Ansatz entsprechend der Erfindung wird eine gegenüber Störlicht robuste Bestimmung einer Pupillenposition ermöglicht, die gleichzeitig stabil gegenüber einer Relativbewegung der erfindungsgemäßen optischen Vorrichtung gegenüber dem Kopf des Nutzers der Vorrichtung ist. Dies ist beispielsweise beim Einsatz der Erfindung in einer Datenbrille besonders vorteilhaft, da es hier leicht zu einem Verrutschen der Datenbrille kommen kann, gleichzeitig aber häufig ein über einen längeren Zeitraum stabiles und fehlerfreies Eye-Tracking erforderlich ist. Da die Durchführung einer Positionskorrektur mittels des zweiten Photodetektors nicht laufend erfolgen muss, sondern es ausreichend ist, wenn diese in größeren Abständen durchgeführt wird, ist auch kein in besonderem Maße gesteigerter Rechenaufwand erforderlich. Ein bedeutender Punkt der Erfindung ist, dass für beide eingesetzte Messverfahren dieselbe Strahlablenkeinrichtung verwendet wird. Somit lassen sich die gewonnenen Daten einfach in Relation zueinander setzen, ohne beispielsweise darauf angewiesen zu sein, räumliche Korrelationen der Daten auf komplexe Art und Weise bestimmen zu müssen (beispielsweise über Identifizierung übereinstimmender Bildmerkmale in den Bildern des ersten und des zweiten Photodetektors und anschließender Koordinatentransformation). Im Gegenteil reicht für die Identifikation eines Referenzmarkers ein relativ kleiner Datensatz, der aus den Signalen des zweiten Photodetektors gewonnen wird, um diesen sicher identifizieren und dessen Position und gegebenenfalls Rotation bestimmen zu können. Es besteht kein Bedarf, das gesamte Auge und eine größere Umgebung des Auges mittels des zweiten Photodetektors erfassen und analysieren zu müssen. Die Erfindung offenbart somit einen besonders robusten und gleichzeitig konstruktiv einfachen Ansatz, eine Pupillenposition und einen Blickvektor zu bestimmen.
-
Kurze Beschreibung der Zeichnungen
-
Ausführungsformen der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert.
-
Es zeigen:
- 1 eine schematische Darstellung einer erfindungsgemäßen optischen Vorrichtung sowie einer erfindungsgemäßen Datenbrille
- 2 eine schematische Darstellung einer möglichen Anordnung von Beleuchtungspunkten
- 3 ein Flussdiagramm eines erfindungsgemäßen Verfahrens einschließlich Signalauswertung
- 4 eine schematische Darstellung bezüglich einer Bestimmung eines Blickvektors mit Hilfe eines erfindungsgemäßen Verfahrens
-
Ausführungsformen der Erfindung
-
In der nachfolgenden Beschreibung der Ausführungsformen der Erfindung werden gleiche oder ähnliche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente in Einzelfällen verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
-
1 zeigt rein schematisch eine beispielhafte Ausführungsform der erfindungsgemäßen optischen Vorrichtung 100 zur Bestimmung einer Pupillenposition eines Auges 10 mit einem Laser 20, der Teil eines Lasermoduls 120 ist, einem ersten Photodetektor 30, beispielsweiser einer Fotodiode, einem CMOS-Sensor und/oder einem CCD-Sensor, einem zweiten Photodetektor 40, beispielsweise einer Fotodiode, einem CMOS-Sensor und/oder einem CCD-Sensor, eine verstellbare Strahlablenkeinrichtung 50 und eine Steuereinheit 150 zur Ansteuerung der verstellbaren Strahlablenkeinrichtung 50 sowie eine erfindungsgemäße Datenbrille 130 mit einer solchen optischen Vorrichtung 100. In der 1 sind Komponenten, die Alternativen zu bestimmten anderen eingezeichneten Komponenten darstellen oder zusätzlich zu diesen verwendet werden können, gestrichelt dargestellt. Details hierzu ergeben sich aus der folgenden Figurenbeschreibung.
-
Zur Bilderzeugung können sich im Lasermodul 120 weitere Laser 22 befinden. Bei dem Laser 20 kann es sich beispielsweise um eine Infrarot-Laserdiode handeln. Das vom Laser 20 generierte Licht wird über einen Spiegel 24 durch drei Strahlteiler 26 geführt und wird dann über einen weiteren Spiegel 142 über einen Beleuchtungsstrahlengang 110 zur Strahlablenkeinrichtung 50 geführt. Der Spiegel 142 steht hierbei auch stellvertretend für weitere mögliche optische Elemente im Strahlverlauf wie Spiegel, Linsen, Filter, Prismen, HOEs und so weiter. Das gezeigte Auge 10 umfasst eine Lederhaut 16, eine Hornhaut 18, eine Aderhaut 19, eine Linse 12, eine Iris 13, die eine Pupille 12 umschließt, sowie eine Retina 14. Die gezeigte optische Vorrichtung 100 kann beispielsweise in einer Datenbrille 130 verbaut sein, wobei in der gezeigten Datenbrille 130 Teile der optischen Vorrichtung (Lasermodul 120, erster Photodetektor 30, Steuereinheit 150 und Auswerteeinheit 180) in einem der Brillenbügel 132 platziert sind. Diese und weitere Elemente wie beispielsweise die Strahlablenkeinrichtung 50, der zweite Photodetektor 40 und weitere optische Elemente 142 können beispielsweise auch im und/oder auf dem Brillenrahmen 134, der Nasenbrücke 136, Nasenpads und/oder einem Brillenglas 138 integriert sein.
-
Von der Strahlablenkeinrichtung 50 wird das als Beleuchtungslicht 60 dienende Licht mittels eines optischen Elements 140 auf das Auge 10 und die Augenumgebung 70 gelenkt. Bei dem optischen Element 140 kann es sich beispielsweise um einen Spiegel oder ein HOE handeln. Gezeigt sind rein beispielhafte Strahlverläufe für den einfachen Fall eines optischen Elements 140, das wie ein planarer Spiegel arbeitet. Diese Strahlverläufe sind stark vereinfacht dargestellt und sollen allein der Veranschaulichung des Prinzips der Erfindung dienen. Das optische Element 140 kann auch eine nicht-planare Form haben. Beispielsweise ist im Fall eines gekrümmten HOE als optisches Element 140 auch möglich, bei schrägem Strahleinfall die Strahlen konvergierend auf das Auge 10 und die Augenumgebung 70 zu lenken. Insbesondere ist es denkbar, dass das optische Element 140 Teil eines typischerweise gekrümmten Brillenglases 138 oder eines Korrekturglases für die Datenbrille 130 ist und/oder in ein Brillenglas 138 oder ein Korrekturglas eingelassen ist.
-
Die Strahlablenkeinrichtung 50 wird über eine Steuereinheit 150 angesteuert, die hierfür notwendigen Signale werden über Kabel 52 von der Steuereinheit 150 an die Strahlablenkeinrichtung 50 gesendet. In der 1 ist die Strahlablenkeinrichtung 50 als ein einzelner Spiegel veranschaulicht, sie kann aber mehrere Spiegel umfassen. Durch ein entsprechendes Verstellen der Strahlablenkeinrichtung 50 (angedeutet durch einen Doppelpfeil 55) kann eine Mehrzahl von Beleuchtungspunkten 90 auf dem Auge 10 und der Augenumgebung 70 durchgeführt werden. Insbesondere ist es möglich, dass mit der Strahlablenkeinrichtung 50 beispielsweise ein vollständiges Abtasten des Auges 10 erfolgt. In der 1 ist vereinfachend nur ein eindimensionales Abtasten dargestellt, vorteilhafterweise ist die Strahlablenkeinrichtung 50 aber so gestaltet, dass ein zweidimensionales Abtasten eines Auges 10 und seiner Augenumgebung 70 erfolgen kann.
-
Trifft das Beleuchtungslicht 60 auf einen Beleuchtungspunkt 90 auf dem Auge 10, so kann es sein, dass dieser so liegt (dies ist gegeben für die eingezeichneten Beleuchtungspunkte 90a), dass Teile des Beleuchtungslichts 60 durch die Hornhaut 18, die Pupille 12 und die Augenlinse 15 zur Retina 14 des Auges 10 gelangen und dort wieder entgegengesetzt der Beleuchtungsrichtung reflektiert werden. Dieses an der Retina 14 reflektierte Beleuchtungslicht 60a gelangt zumindest teilweise über das optische Element 140 und die Strahlablenkeinrichtung 50 in den Beleuchtungsstrahlengang 110. Informationen hinsichtlich der Stellung der Strahlablenkeinrichtung 50 werden an eine Auswerteeinheit 180 übermittelt, die mit der Steuereinheit 150 eine Einheit bilden oder identisch mit dieser sein kann. Diese Informationen können von der Steuereinheit 150 selbst stammen (Kabelverbindung 54a) und den Soll-Werten entsprechen, mit denen auch die Strahlablenkeinrichtung 50 angesteuert wird. Alternativ oder zusätzlich können die Stellungen der Strahlablenkeinrichtung 50 auch durch Messungen (also Bestimmung der Ist-Werte) ermittelt und an die Auswerteeinheit 180 übertragen werden (Kabelverbindung 54b).
-
In der 1 sind mehrere Möglichkeiten skizziert, um auf die Intensität dieses reflektierten Beleuchtungslichts 60a schließen zu können: Bei dem skizzierten Laser 20 kann es sich um eine Laserdiode mit integrierter Monitordiode 30a handeln, beispielsweise um einen Oberflächenemitter mit longitudinal-integrierter Monitordiode. Diese Monitordiode 30a kann zum einen dazu benutzt werden, die Intensität des zurückreflektierten Beleuchtungslichts 60a zu messen, aber auch, um die Leistung des Lasers 20 zu überwachen, die durch Interferenzen innerhalb des Lasers 20 auf Grund des zurückreflektierten Lichts fluktuiert. Alternativ kann auch ein Strahlteiler 28 verwendet werden, um Teile des reflektierten Lichts abzuzweigen und auf einen Detektor wie einen Photodetektor 30b zu lenken. Leistungsschwankungen des Lasers 20 lassen sich auch mit einem außerhalb des Lasers 20 liegenden Photodetektor 30c detektieren, wobei das Element 24 in diesem Fall einen Strahlteiler symbolisiert: Teile des vom Laser 20 generierten Lichts werden durch diesen Strahlteiler 24 abgezweigt und auf den Photodetektor 30c gelenkt. Trifft das Beleuchtungslicht auf das Auge 10 oder die Augenumgebung 70 einschließlich eines Referenzmarkers 80 der Augenumgebung 70, so wird es typischerweise auch teilweise gestreut. Das gestreute Licht 60b kann von einem zweiten Photodetektor 40 (in der 1 dargestellt mit einer optischen Achse 45, die senkrecht auf der zur Detektion verwendeten lichtempfindlichen Fläche des zweiten Photodetektors 40 steht) detektiert werden, wobei der Photodetektor 40 seine Signale an eine Auswerteeinheit 180 sendet. Hierbei werden insbesondere Signale für Beleuchtungspunkte 90b aufgenommen, die auf dem Referenzmarker 80 angeordnet sind. Der zweite Photodetektor 40 ist hierbei so angeordnet, dass für jeden Beleuchtungspunkt 90 die optische Achse 45 des zweiten Photodetektors 40 in einem Winkel von ≥ 5° zu der Richtung steht, aus der der Beleuchtungspunkt 90 durch die optische Vorrichtung beleuchtet wird. Der Winkel zwischen dem am optischen Element 140 reflektiertem Beleuchtungslicht 60 und der optischen Achse 45 des zweiten Photodetektors 40 ist also in allen Fällen ≥ 5°. Die Signale des ersten Photodetektors 30 und des zweiten Photodetektors 40 gelangen zu einem Multiplexer 182 einer Auswerteeinheit 180. Das auszuwertende Signal kann hier ausgewählt werden und wird in der Auswerteeinheit 180 weiterverarbeitet. Durch eine Bildverarbeitungseinrichtung 184, die im gezeigten Beispiel Teil der Auswerteeinheit 180 ist, werden schließlich auf Basis der ausgewerteten Signale vom ersten und zweiten Photodetektor 30, 40 und der Informationen bezüglich der Stellung der Strahlablenkeinrichtung 50 Bilder erstellt. Auf Basis dieser Bilder lassen sich unter Berücksichtigung der Position des Referenzmarkers 80 eine Pupillenposition relativ zur optischen Vorrichtung 100 sowie auch ein Blickvektor bestimmen.
-
In 2 ist schematisch eine beispielhafte Möglichkeit dargestellt, ein Auge 210 mit einer Iris 213 und einer Pupille 212 sowie seine Umgebung 270 abzutasten. Hierbei wird die Strahlablenkeinrichtung 50 einer erfindungsgemäßen optischen Vorrichtung 100 so verstellt, dass das Beleuchtungslicht 60 ein im Wesentlichen zickzackförmiges Beleuchtungsmuster 220 beschreibt. Auf dieser Bahn 220 befinden sich die Beleuchtungspunkte 290, von denen hier rein beispielhaft nur ein kleiner Teil eingezeichnet ist.
-
3 zeigt ein Flussdiagramm eines beispielhaften erfindungsgemäßen Verfahrens zum Bestimmen einer Pupillenposition eines Auges 10 und veranschaulicht insbesondere eine Variante der Signalauswertung. In Schritt 310 wird durch einen Laser 20 Licht generiert. Dieses wird in Schritt 320 als Beleuchtungslicht 60 mittels Verstellen einer Strahlablenkeinrichtung 50 über das Auge 10 und die Augenumgebung 70 geführt. Hierbei werden verschiedene Beleuchtungspunkte 90 auf dem Auge 10 und der Augenumgebung 70 beleuchtet. An der Retina 14 reflektiertes Beleuchtungslicht 60a wird anschließend in Schritt 330 durch einen ersten Photodetektor 30 entweder direkt detektiert oder mittels Laser-Feedback-Interferometrie indirekt gemessen. Ebenso wird an dem Auge 10 oder der Augenumgebung 70 gestreutes Beleuchtungslicht 60b in Schritt 340 durch einen zweiten Photodetektor 40 detektiert. Die Signale der Detektoren 30, 40 werden nun einer Auswerteeinheit 300 zugeführt und gelangen dort zuerst zu einem Multiplexer 182, mittels dem in Schritt 350 zwischen den beiden Signalen für eine Bildgenerierung gewechselt werden kann. Das jeweilige Signal wir anschließend in Schritt 355 über einen Verstärker, beispielsweise einen Transimpedanzverstärker, und in Schritt 360 über einen Filter, beispielsweise einen Bandpassfilter, vorverarbeitet und in Schritt 365 schließlich durch einen ADC (Analog-to-digital converter, Analog-Digital-Umsetzer) digitalisiert. Dabei können Verstärkungsfaktoren des Verstärkers sowie Eckfrequenzen des Filters und die Einstellungen des ADC entsprechend der Signaleigenschaften des jeweiligen Detektorsignals angepasst werden, um möglichst hochwertige Bilder aus den Detektorsignalen erzeugen zu können. Die Signale werden nun in Schritt 370 den Stellungen der Strahlablenkeinrichtung 50 zugeordnet, die ebenfalls an die Auswerteeinheit 300 übermittelt werden (Pfeil 325) und aus diesen Daten in Schritt 372 (bei Detektorsignal des ersten Photodetektors 30) oder Schritt 374 (bei Detektorsignal des zweiten Photodetektors 40) ein Bild in einer Bildverarbeitungseinrichtung 184 generiert. Je nachdem, auf welchen Detektorsignal das so generierte Bild basiert, kann aus dem Bild beispielsweise eine unkorrigierte Position der Pupille 12 (bei Bild aus Signal des ersten Photodetektors 30, Schritt 372) oder eine Position eines Referenzmarkers 80 (bei Bild aus Signal des zweiten Photodetektors 40, Schritt 374) generiert werden. Durch Zusammenführung der Informationen beider Bilder kann schließlich in Schritt 380 ein Augenmodell bestimmt werden, das eine (korrigierte) Pupillenposition umfasst, die eine Position der Pupille 12 in Relation zu dem Referenzmarker 80 angibt, und einem Blickvektor für das Auge 10. Beide möglichen Signalpfade können alternativ auch anders als in 3 gezeigt nicht durch einen Multiplexer 182 in Schritt 350 verbunden werden, sondern auch separat voneinander ausgeführt sein und erst im letzten Schritt 380 zusammengeführt werden.
-
In 4 schließlich ist eine schematische Darstellung zur Veranschaulichung einer Bestimmung eines Augenmodells 420 für ein Auge 410 und insbesondere eines Blickvektors 428 mit Hilfe eines erfindungsgemäßen Verfahrens gezeigt. Aus den Detektorsignalen eines ersten Photodetektors 30 und eines zweiten Photodetektors 40 kann bei Durchführung eines erfindungsgemäßen Verfahrens zusammen mit dem Wissen über die zugehörigen Stellungen der verwendeten Strahlablenkeinrichtung 50 im Rahmen der Signalauswertung Bilder 400 und 430 generiert werden. Hierbei basiert das Bild 430 auf den Signalen des ersten Photodetektors 30, das auf der Intensität von an der Retina 14 reflektierten Lichts 60a basiert. Bild 400 wird aus Signalen des zweiten Photodetektors 40 erstellt, der am Auge 410 oder der Augenumgebung 417 gestreutes Licht 60b detektiert. Beide Bilder 400, 430 wurden auf Basis derselben Beleuchtungspunkte 90 auf dem Auge 410 und dessen Augenumgebung 417 erstellt. Dementsprechend ist im Bild 400 das Auge 410 mit seiner Augenumgebung 417, der Iris 413 und der Pupille 412 des Auges 410 sichtbar. Auch in Bild 430 ist die Pupille 412 des Auges 410 zu sehen, in dem Bild 430 als Specklemuster 432 sichtbar, das auf Grund der optischen Rauheit der Retina 14 des Auges 410 entsteht.
-
Aus Bild 400 kann die Position zweier Referenzmarker 419a, 419b identifiziert werden, wobei in der 4 die Winkel des Auges 410 als Referenzmarker dienen. Zwar könnte auch aus dem Bild 400 ebenfalls eine Pupillenposition ermittelt werden, da die Pupille 412 hier sichtbar ist. Allerdings erfordert dies auf Grund der größeren Informationsdichte im Gegensatz zu Bild 430 deutlich mehr Rechenkapazität als eine Bestimmung der Pupillenposition aus Bild 430. Beide Bilder 400 und 430 besitzen im speziellen Fall der 4 genau dieselbe Größe, sind also deckungsgleich, da beide Bilder 400, 430 in diesem Ausführungsbeispiel auf denselben Beleuchtungspunkten 90 basieren. Dies ist aber nicht für eine Umsetzung der Erfindung wesentlich. Die Beleuchtung der Beleuchtungspunkte muss erfindungsgemäß allerdings über dieselbe Strahlablenkungseinrichtung erfolgen, um die Beleuchtungspunkte in Relation zueinander setzen zu können. In 4 kann aus beiden Bildern 400, 430 ein Augenmodell 420 bestimmt werden: Hierzu wird aus dem Bild 400 die Position der Referenzmarker 419a, 419b extrahiert und in das Augenmodell 420 übernommen (Pfeile 422a, 422b). Da beide Bilder 400, 430 dieselbe Größe haben, können die Positionen der Referenzmarker 419a, 419b auch in das Bild 430 übertragen werden (Pfeile 424a, 424b). Somit kann eine Pupillenposition 436 der Pupille 412 aus Bild 430 in Relation zu den zwei Referenzmarkern 419a, 419b angegeben und diese Pupillenposition 436 ebenfalls in das Augenmodell 420 übertragen werden (Pfeil 426). Zur weiteren Veranschaulichung ist im Bild 430 eine gestrichelte Linie 434 eingezeichnet, die schematisch die Form des Auges 410 aus Bild 400 wiedergibt. Mit Wissen bezüglich der Lage der Referenzmarker 419a, 419b in Relation zum Auge 410 (hier: Lage auf einer Rotationsachse 429a des Auges 410) und damit der Beziehung zwischen der Position der Pupille 412 (bezüglich der Referenzmarker 419a, 419b) und dem Blickvektor kann schließlich ein Blickvektor 428 berechnet werden, der beispielsweise mit den in der Figur dargestellten Winkeln θ, φ angegeben werden kann, die die Rotation des Auges 410 um zwei seiner Rotationsachsen 429a, 429b bezeichnen.
-
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 10264964 B1 [0002]
- US 20150995 A1 [0002]
