DE102020127593A1 - Blickverfolgungsanordnung - Google Patents

Blickverfolgungsanordnung Download PDF

Info

Publication number
DE102020127593A1
DE102020127593A1 DE102020127593.5A DE102020127593A DE102020127593A1 DE 102020127593 A1 DE102020127593 A1 DE 102020127593A1 DE 102020127593 A DE102020127593 A DE 102020127593A DE 102020127593 A1 DE102020127593 A1 DE 102020127593A1
Authority
DE
Germany
Prior art keywords
eye
laser beam
laser
sampling rate
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020127593.5A
Other languages
English (en)
Inventor
Andreas Petersen
Thomas Alexander Schlebusch
Hans Spruit
Jochen Hellmig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Trumpf Photonic Components GmbH
Original Assignee
Robert Bosch GmbH
Trumpf Photonic Components GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH, Trumpf Photonic Components GmbH filed Critical Robert Bosch GmbH
Priority to DE102020127593.5A priority Critical patent/DE102020127593A1/de
Priority to US17/451,219 priority patent/US11733774B2/en
Priority to CN202111210378.0A priority patent/CN114384695B/zh
Publication of DE102020127593A1 publication Critical patent/DE102020127593A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft eine Blickverfolgungsanordnung (20), umfassend eine Kamera (2), welche eingerichtet ist, Bilder eines Auges (10) mit einer ersten Abtastrate zu erfassen, ein Laser-Velocimeter (3), welches eingerichtet ist, eine Augengeschwindigkeit einer Bewegung des Auges (10) mittels Laser-Doppler-Velocimetry mit einer zweiten Abtastrate zu erfassen, und eine Steuervorrichtung (4), welche eingerichtet ist, basierend auf den Bildern eine absolute Augenposition zu ermitteln, und basierend auf der absoluten Augenposition und der Augengeschwindigkeit eine Blickrichtung des Auges (10) nachzuverfolgen.

Description

  • Stand der Technik
  • Die vorliegende Erfindung betrifft eine Blickverfolgungsanordnung, eine Datenbrille sowie ein Verfahren zur Blickverfolgung eines Auges.
  • Bekannt ist die Verwendung von Blickverfolgung oder Blickerfassung (auch: Okulografie, engl.: eye-tracking) zur Ermittlung von Augenbewegungen und zur Abschätzung einer Blickrichtung. Bekannte Systeme basieren dabei auf der Erfassung von Informationen über die Augenposition mittels kamerabasierter Systeme, oder mittels elektrischer oder elektromagnetischer Sensoren im Bereich des Auges. Außerdem sind gescannte Lasersysteme bekannt, welche beispielsweise mittels Mikrospiegel einen Laserspot über das Auge scannen. Alle diese Systeme weisen üblicherweise eine hohe Komplexität und einen hohen Energieverbrauch bei meist eingeschränkter zeitlicher Auflösung auf.
  • Offenbarung der Erfindung
  • Die erfindungsgemäße Blickverfolgungsanordnung mit den Merkmalen des Anspruchs 1 zeichnet sich demgegenüber durch eine besonders energiesparende, kostengünstige und zeitlich hochauflösende Möglichkeit zur Blickverfolgung aus. Dies wird erreicht durch eine Blickverfolgungsanordnung, umfassend eine Kamera, ein Laser-Velocimeter, und eine Steuervorrichtung. Die Kamera ist eingerichtet, Bilder eines Auges mit einer ersten Abtastrate zu erfassen. Das Laser-Velocimeter ist eingerichtet, mittels Laser-Doppler-Velocimetry eine Augengeschwindigkeit zu erfassen. Dabei ist das Laser-Velocimeter eingerichtet, die Augengeschwindigkeit mit einer zweiten Abtastrate zu erfassen. Die Steuereinrichtung ist dabei eingerichtet, basierend auf den mittels der Kamera erfassten Bildern jeweils eine absolute Augenposition zu ermitteln. Weiterhin ist die Steuervorrichtung eingerichtet, basierend auf den ermittelten absoluten Augenpositionen und basierend auf der mittels des Laser-Velocimeters ermittelten Augengeschwindigkeit eine Blickrichtung des Auges nachzuverfolgen.
  • Als Laser-Velocimeter wird insbesondere eine Laservorrichtung angesehen, welche eingerichtet ist, einen, vorzugsweise wellenlängenmodulierten, Laserstrahl auf das Auge einzustrahlen und basierend auf einer Laser-Feedback-Interferometrie des eingestrahlten Laserstrahls mit einem vom Auge zurückgestreuten Anteil des eingestrahlten Laserstrahls eine Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl und dem zurückgestreuten Anteil zu ermitteln. Ferner ist diese Laservorrichtung insbesondere eingerichtet, basierend auf der ermittelten Dopplerverschiebung die Augengeschwindigkeit des Auges zu ermitteln.
  • Als Augengeschwindigkeit wird dabei eine tangentiale Geschwindigkeit eines Punktes auf der Augenoberfläche, wobei dieser Punkt demjenigen Punkt entspricht, in welchem ein von dem Laser-Velocimeter eingestrahlter Laserstrahl auf die Augenoberfläche auftrifft, angesehen.
  • Vorzugsweise umfasst die Augengeschwindigkeit einen Absolutwert für die aktuelle Geschwindigkeit, sowie eine Richtung der aktuellen Geschwindigkeit.
  • Anhand der ermittelten absoluten Augenposition, sowie anhand der ermittelten Augengeschwindigkeit kann somit die Blickbewegung des Auges nachverfolgt werden. Als Blickbewegung wird dabei eine Änderung einer Blickrichtung, insbesondere relativ zu einem Kopf, angesehen. Vorzugsweise entspricht eine Blickbewegung dabei einer Rotation des Auges, insbesondere des Augapfels, in der Augenhöhle. Mit anderen Worten kann ausgehend von einer bekannten absoluten Augenposition die Blickrichtung nach Bewegungen des Auges nachverfolgt werden. Die Blickverfolgungsanordnung erlaubt somit auf besonders einfache und effiziente Art und Weise eine präzise Nachverfolgung der Blickbewegungen des Auges. Die spezielle Art der Ermittlung der Blickrichtung mittels des Laser-Velocimeters, insbesondere anhand des Dopplereffekts, bietet dabei den Vorteil einer besonders hohen zeitlichen Abtastrate, sodass eine zeitlich besonders hochaufgelöste Verfolgung der Blickbewegungen möglich ist.
  • Die Kombination aus Kamera und Laser-Velocimeter ist besonders vorteilhaft für eine Nachverfolgung der Blickrichtung des Auges, welche sich einerseits durch eine hohe absolute Genauigkeit auszeichnet, und andererseits eine hohe zeitliche Auflösung bei insgesamt niedrigem Energieverbrauch aufweist.
  • Zudem bietet die Blickverfolgungsanordnung den Vorteil, dass einfache und kostengünstige Komponenten und Auswertealgorithmen mit niedrigem Energiebedarf verwendet werden können. Zudem ist es vorteilhaft, dass keine beweglichen Bauteile, wie beispielsweise Scanvorrichtungen, erforderlich sind, wodurch besonders flexible und robuste Einsatzmöglichkeiten zur Verfügung stehen.
  • Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
  • Bevorzugt beträgt die erste Abtastrate maximal 40Hz, insbesondere mindestens 1Hz, vorzugsweise mindestens 5Hz, besonders bevorzugt genau 5Hz. Besonders bevorzugt beträgt die zweite Abtastrate mindestens 500Hz, vorzugsweise maximal 5kHz. Insbesondere beträgt die zweite Abtastrate somit ein Vielfaches der ersten Abtastrate. Beispielsweise kann die erste Abtastrate hierbei niedrig gehalten werden, beispielsweise bei 5Hz, also 5 Bildern pro Sekunde, um eine rechenintensive Bildverarbeitung und damit einen Stromverbrauch niedrig zu halten. Mittels des Laser-Velocimeters, welches sich durch einen besonders niedrigen Stromverbrauch und Bedarf an Rechenkapazität auszeichnet, kann dabei die Blickbewegung besonders hochauflösend nachverfolgt werden.
  • Besonders bevorzugt weist das Laser-Velocimeter zumindest einen Oberflächenemitter (auch genannt: vertical-cavity surface-emitting laser, kurz VCSEL) mit integrierter Fotodiode auf. Mit einem solchen Laser-Velocimeter können die Blickbewegungen bei besonders einfachem, kompaktem und kostengünstigem Aufbau der Blickverfolgungsanordnung basierend auf der Laser-Doppler-Velocimetry erfasst werden. Insbesondere eignet sich das Laser-Velocimeter zur Erfassung mittels des self-mixing-Effekts. Vorzugsweise wird hierbei mittels der Fotodiode die Überlagerung des eingestrahlten Laserstrahls mit dem zurückgestreuten Anteil direkt innerhalb der Laserkavität erfasst. Besonders bevorzugt kann das Laser-Velocimeter mehrere Obenflächenemitter aufweisen, welche jeweils einen Laserstrahl aussenden.
  • Weiterhin führt die Erfindung zu einer Datenbrille, welche die beschriebene Blickverfolgungsanordnung umfasst. Vorzugsweise ist die Datenbrille ein tragbares Gerät, welches eingerichtet ist, um am Kopf eines Benutzers getragen zu werden. Hierbei wirkt sich die Möglichkeit der stromsparend betreibbaren Blickverfolgungsanordnung besonders vorteilhaft aus, um beispielsweise bei einer mittels Akku betreibbaren Blickverfolgungsanordnung ein geringes Gewicht und/oder eine lange Betriebsdauer der Datenbrille und damit einen hohen Nutzerkomfort zu ermöglichen.
  • Vorzugsweise weist das Laser-Velocimeter zumindest eine Laserquelle auf, welche an einem Brillengestell und/oder an einem Brillenbügel angeordnet ist. Als Brillengestell wird dabei insbesondere ein ein Brillenglas umgebender Bereich der Datenbrille angesehen, wobei als Brillenbügel insbesondere ein mit dem Brillengestell verbundener Haltebügel, welcher sich beispielsweise zu einem Ohr des Benutzers erstreckt, angesehen wird. Beispielsweise können mehrere Laserquellen rings um das Brillenglas verteilt am Brillengestell angeordnet sein, wodurch eine besonders genaue Abtastung des Auges über dessen gesamten Bewegungsspielraum ermöglicht werden kann. Besonders vorteilhaft ist eine Anordnung einer oder mehrerer Laserquellen im Brillengestell unterhalb des Brillenglases. Alternativ oder zusätzlich können eine oder mehrere Laserquellen in das Brillenglas integriert, vorzugsweise eingegossen, sein. Alternativ oder zusätzlich ist die Kamera bevorzugt am Brillengestell, und/oder am Brillenbügel und/oder im Brillenglas angeordnet.
  • Bevorzugt umfasst die Datenbrille ferner eine Ein- und/oder Ausgabeeinheit, welche eingerichtet ist, eine Eingabe des Benutzers zu empfangen und/oder eine Ausgabe an den Benutzer auszugeben. Vorzugsweise weist die Ein- und/oder Ausgabeeinheit eine Projektionsvorrichtung auf, welche eingerichtet ist, ein Bild, insbesondere auf eine Retina des Auges des Benutzers, zu projizieren. Vorzugsweise sind die Ein- und/oder Ausgabeeinheit und die Blickverfolgungsanordnung miteinander gekoppelt, insbesondere über die Steuervorrichtung der Blickverfolgungsanordnung, sodass insbesondere die Ein- und/oder Ausgabeeinheit in Abhängigkeit der Blickbewegungen des Auges steuerbar ist. Dadurch kann ein besonders benutzerfreundlicher Betrieb der Datenbrille ermöglicht werden, wobei durch die spezielle Art der Blickverfolgung eine hohe Präzision bei gleichzeitig besonders niedrigen Energieverbrauch sowie geringen Kosten bereitgestellt werden kann.
  • Weiterhin führt die Erfindung zu einem Verfahren zur Blickverfolgung eines Auges, umfassend die Schritte:
    • - Erfassen eines Bildes des Auges mittels einer Kamera,
    • - Ermitteln einer absoluten Augenposition des Auges basierend auf dem erfassten Bild des Auges,
    • - Einstrahlen von zumindest einem wellenlängenmodulierten Laserstrahl auf das Auge,
    • - Ermitteln einer Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl und einem vom Auge zurückgestreuten Anteil des eingestrahlten Laserstrahls basierend auf einer Laser-Feedback-Interferometrie des eingestrahlten Laserstrahls und dem vom Auge zurückgestreuten Anteil,
    • - Ermitteln einer Augengeschwindigkeit basierend auf der Dopplerverschiebung, und
    • - Nachverfolgen einer Blickbewegung des Auges basierend auf der absoluten Augenposition und der Augengeschwindigkeit.
  • Mit anderen Worten wird bei dem Verfahren mindestens Bild des Auges mittels einer Kamera erfasst, anhand welchem eine momentane absolute Augenposition ermittelt wird. Zudem wird mindestens ein wellenlängenmodulierter Laserstrahl, welcher insbesondere von einer wellenlängenmodulierten Laserquelle ausgesendet wird, auf das Auge des Benutzers eingestrahlt. Der eingestrahlte Laserstrahl wird dabei an einer Augenoberfläche des Auges zumindest teilweise zurückgestreut. Als zurückgestreuter Anteil des eingestrahlten Laserstrahls wird dabei derjenige Anteil des an der Augenoberfläche gestreuten eingestrahlten Laserstrahls angesehen, welcher parallel zum ausgesendeten Laserstrahl ist und vom Auge in Richtung einer Laserquelle des eingestrahlten Laserstrahls propagiert. Der zurückgestreute Anteil überlagert sich somit mit dem eingestrahlten Laserstrahl. Der zurückgestreute Anteil des eingestrahlten Laserstrahls kann auch als zurückgestreute Strahlung bezeichnet werden.
  • Insbesondere entspricht der zurückgestreute Anteil somit einem am Auge reflektierten Laserstrahl des eingestrahlten Laserstrahls. Dieser zurückgestreute Anteil interferiert mit der einfallenden, also mit dem zum Auge hin propagierenden eingestrahlten Laserstrahl. Dabei erfolgt eine Überlagerung des eingestrahlten Laserstrahls mit dem zurückgestreuten Anteil, sodass eine resultierende Interferenz-Strahlung vorliegt. Diese resultierende Interferenz-Strahlung kann beispielsweise mittels eines Detektors erfasst und analysiert werden.
  • Als Laser-Feedback-Interferometrie wird dabei eine Erfassung und Analyse einer Überlagerung des eingestrahlten Laserstrahls mit dem zurückgestreuten Anteil des eingestrahlten Laserstrahls, also einer Erfassung und Analyse einer resultierenden Interferenz-Strahlung, angesehen. Vorzugsweise wird basierend auf der Laser-Feedback-Interferometrie eine optische Weglänge des eingestrahlten Laserstrahls ermittelt. Als optische Weglänge wird dabei das Produkt aus einer geometrischen Strecke, welche der eingestrahlte Laserstrahl von der Laserquelle bis zur Augenoberfläche zurückgelegt, und einem Brechungsindex des dort vorhandenen Materials angesehen. Das heißt, sofern der Laserstrahl in Luft (Brechungsindex ca. 1) von einer Laserquelle direkt auf das Auge eingestrahlt wird, entspricht die optische Weglänge in sehr guter Näherung der Distanz zwischen Laserquelle und Auge. Bei bekannter Wellenlänge des eingestrahlten Laserstrahls kann beispielsweise anhand einer konstruktiven oder destruktiven Interferenz die optische Weglänge abgeschätzt werden.
  • Vorzugsweise wird als eingestrahlter Laserstrahl in der Wellenlänge dreiecksmoduliertes Laserlicht ausgesendet. Durch die Laser-Feedback-Interferometrie, also die Analyse der Interferenz von eingestrahltem Laserstrahl und zurückgestreutem Anteil des eingestrahlten Laserstrahls, insbesondere durch Berechnung eines Mittels der resultierenden Interferenzfrequenzen bezüglich der beiden Flanken des dreiecksmodulierten Signals, kann die optische Weglänge bestimmt werden.
  • Weiterhin erfolgt, sofern eine Bewegung des Auges relativ zu der eingestrahlten Laserstrahlung vorliegt, aufgrund des Doppler-Effekts eine Dopplerverschiebung, insbesondere zwischen den Frequenzen, des eingestrahlten Laserstrahls und des zurückgestreuten Anteils. Mittels der Laser-Feedback-Interferometrie kann diese Dopplerverschiebung erfasst werden. Anhand der Dopplerverschiebung kann anschließend die Augengeschwindigkeit ermittelt werden. Anhand der ermittelten absoluten Augenposition sowie anhand der Augengeschwindigkeit kann anschließend die Blickrichtung des Auges nachverfolgt werden. Insbesondere kann somit ausgehend von einer bekannten Augenposition die Blickrichtung nach Bewegungen des Auges nachverfolgt werden. Das Verfahren erlaubt somit auf besonders einfache und effiziente Art und Weise eine präzise Nachverfolgung der Blickbewegungen des Auges. Die spezielle Art der Ermittlung der Augengeschwindigkeit mittels Laser-Feedback-Interferometrie, insbesondere anhand des Dopplereffekts, bietet dabei den Vorteil einer besonders hohen zeitlichen Abtastrate, sodass eine zeitlich besonders hochaufgelöste Verfolgung der Blickbewegungen möglich ist. Die Ermittlung absoluter Positionen des Auges zu bestimmten Zeitpunkten kann dabei einfach und sehr genau mittels der Bilder der Kamera ermöglicht werden. Zudem bietet das Verfahren den Vorteil, dass einfache und kostengünstige Komponenten und Auswertealgorithmen, welche einen niedrigen Energiebedarf aufweisen, verwendet werden können. Ferner ist es vorteilhaft, dass keine beweglichen Bauteile, wie beispielsweise Scanvorrichtungen, erforderlich sind, wodurch besonders flexible und robuste Einsatzmöglichkeiten zur Verfügung stehen.
  • Bevorzugt werden Bilder des Auges mit einer ersten Abtastrate erfasst, um absolute Augenpositionen mit der ersten Abtastrate zu ermitteln. Mit einer zweiten Abtastrate werden wellenlängenmodulierte Laserstrahlen auf das Auge eingestrahlt, um Augengeschwindigkeiten mit der zweiten Abtastrate zu ermitteln. Vorzugsweise beträgt die zweite Abtastrate dabei ein Vielfaches der ersten Abtastrate. Besonders bevorzugt beträgt die erste Abtastrate maximal 40 Hz, insbesondere mindestens 1 Hz, vorzugsweise 5 Hz. Vorzugsweise beträgt die zweite Abtastrate mindestens 500 Hz, besonders bevorzugt maximal 5 kHz.
  • Besonders bevorzugt erfolgt das Nachverfolgen der Blickbewegung ausgehend von einer absoluten Augenposition, welche basierend auf dem mittels der Kamera erfassten Bild ermittelt wurde, und zusätzlich durch Ermitteln interpolierter Augenpositionen basierend auf der ermittelten Augengeschwindigkeit. Mit anderen Worten wird anhand von genau einem Bild, welches von der Kamera erfasst wurde, die momentane absolute Augenposition ermittelt. Ausgehend von dieser ermittelten absoluten Augenposition wird anschließend anhand der mittels Laser-Doppler-Velocimetry ermittelten Augengeschwindigkeit, insbesondere anhand von Richtung und Betrag der Augengeschwindigkeit, die Blickbewegung des Auges nachverfolgt. Dadurch kann jederzeit, auch wenn gerade kein Bild des Auges vorliegt, oder das letzte erfasste Bild eine längere Zeitspanne zurückliegt, die momentane absolute Augenposition mit hoher Genauigkeit abgeschätzt werden.
  • Vorzugsweise erfolgt das Ermitteln der Augengeschwindigkeit basierend auf der Gleichung: FD = 2 v cos(α)/λ. Dabei bezeichnet λ die Wellenlänge des eingestrahlten Laserstrahls, v die Augengeschwindigkeit, FD die Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl und dem zurückgestreuten Anteil des eingestrahlten Laserstrahls und α einen Winkel zwischen einem Wellenvektor k des eingestrahlten Laserstrahls und einer Tangente, welche die Augenoberfläche in einem Auftreffpunkt berührt, in welchem der eingestrahlte Laserstrahl auf das Auge auftrifft und welche zudem in der vom Wellenvektor k und dem Oberflächennormal am Auftreffpunkt aufgespannten Ebene liegt. Insbesondere entspricht die Dopplerverschiebung FD einem Betrag der Differenz zwischen der Frequenz des eingestrahlten Laserstrahls und der Frequenz des zurückgestrahlten Anteils des eingestrahlten Laserstrahls. Anhand der obigen Gleichung kann dabei mit besonders geringem Rechenaufwand die Augengeschwindigkeit bestimmt werden, um somit effizient und hoch aufgelöst die Augenbewegung ermitteln zu können.
  • Vorzugsweise umfasst das Verfahren ferner den Schritt einer Kalibrierung durch Bestimmung des Winkels α. Der Winkel a wird dabei basierend auf dem mittels der Kamera erfassten Bild des Auges bestimmt, während gleichzeitig der wellenlängenmodulierte Laserstrahl auf das Auge eingestrahlt wird. Insbesondere wird hierbei anhand des mittels der Kamera erfassten Bilds der auf die Augenoberfläche auftreffende Laserstrahl erkannt und basierend auf einer bekannten Geometrie bzw. relativen Anordnung von Laser-Velocimeter und Kamera und Auge der Winkel α abgeschätzt. Vorzugsweise wird dieser Schritt der Kalibrierung regelmäßig ausgeführt, um stets präzise Messergebnisse bei der Ermittlung der Augengeschwindigkeit zu erhalten. Beispielsweise kann die Kalibrierung mittels jedes von der Kamera erfassten Bilds durchgeführt werden, alternativ kann die Kalibrierung in vordefinierten zeitlichen Abständen regelmäßig durchgeführt werden, beispielsweise in zeitlichen Abständen von 10 Sekunden, oder 30 Sekunden, oder 1 Minute.
  • Bevorzugt umfasst das Verfahren ferner die Schritte:
    • - Ermitteln einer Kalibrier-Augengeschwindigkeit basierend auf zumindest zwei aufeinanderfolgenden Bildern, und
    • - Kalibrierung durch Bestimmung des Winkels α,
  • Der Winkel α wird dabei basierend auf der ermittelten Kalibrier-Augengeschwindigkeit bestimmt. Mit anderen Worten erfolgt eine Ermittlung der Kalibrier-Augengeschwindigkeit anhand mindestens zweier aufeinanderfolgender Bilder, welche mittels der Kamera erfasst wurden. Insbesondere erfolgt hierbei eine Ermittlung basierend auf dem sogenannten optischen Fluss. Vorzugsweise wird hierbei die relative Bewegung des Auges zwischen den beiden Bildern durch Vergleich der jeweiligen momentanen absoluten Augenpositionen abgeschätzt. Anhand dieser Kalibrier-Augengeschwindigkeit kann anschließend der Winkel α abgeschätzt werden, um das Laser-Velocimeter zu kalibrieren. Vorzugsweise wird hierfür gleichzeitig zum Ermitteln der Kalibrier-Augengeschwindigkeit das Laser-Velocimeter betrieben, um während dieser Augenbewegung zwischen den beiden erfassten Bildern eine Augengeschwindigkeit zu ermitteln. Basierend auf diesen beiden ermittelten Augengeschwindigkeiten, also auf der Kalibrierung-Augengeschwindigkeit und der mittels des Laser-Velocimeters ermittelten Augengeschwindigkeit, kann der tatsächliche Winkel α kalibriert, beispielsweise iterativ angepasst werden. Bevorzugt kann dieses Kalibrier-Verfahren einmalig, beispielsweise bei Inbetriebnahme der Datenbrille, durchgeführt werden.
  • Vorzugsweise umfasst das Verfahren ferner die Schritte: Ermitteln einer maximalen Augengeschwindigkeit während einer Augenbewegung, und Vorhersage einer Augenbewegungs-Endposition basierend auf der maximalen Geschwindigkeit. Die Augenbewegungs-Endposition ist dabei definiert durch diejenige Position, an welcher die Augenbewegung stoppt. Vorzugsweise liegt bei Erreichen der Augenbewegungs-Endposition keine relative Bewegung des Auges zum Kopf vor. Somit kann bei schnellen Augenbewegungen, sogenannten Sakkaden, vorhergesagt werden, an welcher Position die Augenbewegung stoppen wird. Vorzugsweise erfolgt die Vorhersage der Augenbewegungs-Endposition basierend auf der Annahme, dass das Auge eine gleichmäßig beschleunigte Bewegung während einer solchen Augenbewegung ausführt. Das heißt, in einer ersten Hälfte einer solchen Augenbewegung liegt eine konstante positive Beschleunigung vor, während in der zweiten Hälfte der Augenbewegung eine konstante negative Beschleunigung, insbesondere mit demselben Betrag, vorliegt. Durch Erfassen der ersten Hälfte einer entsprechenden Geschwindigkeitskurve, also der Geschwindigkeit der Augenbewegung ausgehend vom Stillstand bis zur maximalen Geschwindigkeit bei der Bewegung, kann die zweite Hälfte der Geschwindigkeitskurve, insbesondere aufgrund der Annahme einer Spiegelsymmetrie, abgeschätzt werden. Hierdurch kann, insbesondere durch Integration des ermittelten Geschwindigkeitsverlaufs, der Endpunkt der Augenbewegung abgeschätzt werden kann. Vorzugsweise erfolgt die Ermittlung der maximalen Geschwindigkeit während der Augenbewegung anhand einer Erkennung einer sinkenden Augengeschwindigkeit nachfolgend auf einen Anstieg der Augengeschwindigkeit. Das Ermitteln der Augenbewegung-Endposition wird beim vorliegenden Verfahren besonders vorteilhaft durch die besonders hoch aufgelöste Geschwindigkeit-Erfassung mittels des Laser-Velocimeters mit hoher Genauigkeit ermöglicht.
  • Bevorzugt werden zumindest zwei Laserstrahlen auf das Auge eingestrahlt, wobei die beiden Laserstrahlen derart ausgerichtet sind, dass ein Winkel und/oder ein Abstand zwischen einem Wellenvektor jedes eingestrahlten Laserstrahls und jeweils zumindest einer von zwei zueinander orthogonalen Drehachsen ungleich Null ist. Um eine Drehbewegung des Auges um eine Drehachse zu erfassen, ist es vorteilhaft, wenn der Wellenvektor des eingestrahlten Laserstrahls einen möglichst großen Winkel mit der Drehachse einschließt und gleichzeitig einen möglichst großen Abstand zu dieser aufweist. Beispielsweise gilt: sind Abstand und/oder mit der Drehachse eingeschlossener Winkel gleich Null, so ist der eingestrahlte Laserstrahl nicht sensitiv für eine Drehbewegung um diese Achse. Entsprechend dieses Zusammenhangs ist es mit anderen Worten vorteilhaft, wenn die beiden eingestrahlten Laserstrahlen derart ausgerichtet sind, dass diese je für eine der Drehraten von Drehungen des Auges um zwei zueinander orthogonalen Drehachsen besonders sensitiv sind. Bevorzugt sind in dem speziellen Fall, wenn beide Laserstrahlen im selben Punkt auf der Augenoberfläche eintreffen, die Laserstrahlen so ausgerichtet, dass Projektionen der beiden eingestrahlten Laserstrahlen auf eine tangentiale Ebene am Auge und im Auftreffpunkt zueinander orthogonal ausgerichtet sind. Das heißt, in diesem Fall sind die zur Augenoberfläche tangentialen Anteile der beiden Laserstrahlen an dem gemeinsamen Auftreffpunkt der Laserstrahlen am Auge orthogonal zueinander ausgerichtet. Vorzugsweise sind die tangentialen Anteile der beiden Laserstrahlen vertikal bzw. horizontal ausgerichtet. Somit kann die Augenbewegung in beliebige Richtungen besonders einfach und genau ermittelt werden.
  • Figurenliste
  • Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen in Verbindung mit den Figuren beschrieben. In den Figuren sind funktional gleiche Bauteile jeweils mit gleichen Bezugszeichen gekennzeichnet. Dabei zeigt:
    • 1 eine vereinfachte schematische Ansicht einer Datenbrille gemäß einem ersten Ausführungsbeispiel der Erfindung,
    • 2 eine vereinfachte schematische Detailansicht einer Durchführung einer Blickverfolgung mit der Datenbrille der 1,
    • 3 eine weitere vereinfachte schematische Detailansicht der Durchführung der Blickverfolgung mit der Datenbrille der 1,
    • 4 eine vereinfachte schematische Darstellung von Messdaten der Datenbrille der 1 bei der Durchführung der Blickverfolgung, und
    • 5 eine vereinfachte schematische Ansicht einer Datenbrille gemäß einem zweiten Ausführungsbeispiel der Erfindung.
  • Bevorzugte Ausführungsformen der Erfindung
  • 1 zeigt eine vereinfachte schematische Ansicht einer Datenbrille 50 gemäß einem ersten Ausführungsbeispiel der Erfindung. Die Datenbrille 50 umfasst ein Brillenglas 52, ein Brillengestell 51, in welchem das Brillenglas 52 aufgenommen ist, und einen Brillenbügel 53, welcher zur Halterung der Datenbrille 50 an einem Kopf eines Benutzers dient. Die Datenbrille 50 ist somit vorgesehen, um am Kopf des Benutzers getragen zu werden.
  • Die Datenbrille 50 umfasst eine Blickverfolgungsanordnung 20, mittels welcher eine Blickrichtung eines Auges 10 des Benutzers ermittelt und nachverfolgt werden kann. Die Blickverfolgungsanordnung 20 umfasst hierfür eine Kamera 2, ein Laser-Velocimeter 3 und eine Steuervorrichtung 4, welche eingerichtet ist, die Kamera 2 und das Laser-Velocimeter 3 zu betätigen, um ein entsprechendes Verfahren zum Ermitteln und Nachverfolgen der Blickrichtung des Auges 10 durchzuführen.
  • Die Steuervorrichtung 4 ist für eine kompakte und ergonomische Konstruktion der Datenbrille 50 im Brillenbügel 53 angeordnet. Weiterhin kann in den Brillenbügel 53 vorzugsweise eine (nicht dargestellte) Energieversorgung, wie beispielsweise ein Akku, integriert sein.
  • Das Verfahren zum Ermitteln und Nachverfolgen der Blickrichtung des Auges 10 wird basierend auf einem kombinierten Betrieb der Kamera 2 und des Laser-Velocimeters 3 durchgeführt, wie nachfolgend beschrieben.
  • Mittels des Kamera 2 werden mit einer ersten Abtastrate Bilder des Auges 10 erzeugt. Die Steuervorrichtung 4 ist dabei eingerichtet, basierend auf den erfassten Bildern für jedes Bild eine absolute Augenposition zu ermitteln. Beispielsweise kann die Steuervorrichtung 4 hierfür eingerichtet sein, eine Pupille 13 und/oder eine Iris 12 des Auges 10 zu erkennen und basierend darauf eine Ausrichtung des Auges 10, insbesondere relativ zu einem Kopf des Benutzers, zu ermitteln. Alternativ oder zusätzlich kann die Steuervorrichtung 4 eingerichtet sein, anhand des erfassten Bildes Ellipsenparameter von der im Bild verzerrt abgebildeten Pupille 13 und/oder Iris 12 zu erkennen und basierend auf den Ellipsenparametern die momentane absolute Position des Auges 10 zu ermitteln.
  • Zusätzlich zu den mittels der Kamera 2 ermittelten absoluten Augenpositionen werden Augengeschwindigkeiten des Auges 10 mittels des Laser-Velocimeters 3 erfasst.
  • Das Laser-Velocimeter 3 umfasst insgesamt vier Oberflächenemitter 3a, 3b, 3c, 3d als Laserquellen, welche am Brillengestell 51 rings um das Brillenglas 52 verteilt angeordnet. Jeder der Oberflächenemitter 3a, 3b, 3c, 3d ist eingerichtet, jeweils einen wellenlängenmodulierten Laserstrahl 1 auf das Auge 10 einzustrahlen. Dabei wird als Laserstrahl 1 in der Wellenlänge dreiecksmoduliertes Laserlicht ausgesendet. Aus Gründen der Übersichtlichkeit ist in der 1 nur ein einzelner Laserstrahl 1, welcher vom ersten Oberflächenemitter 3a ausgesendet wird, angedeutet. Jeder Laserstrahl 1 ist dabei in einem separaten Laserspot 30a, 30b, 30c, 30d auf eine Augenoberfläche 11 des Auges 10 gerichtet.
  • Die 2 zeigt dabei die Laserspots 30a, 30b, 30c, 30d der vier am Brillengestell 51 angeordneten Oberflächenemitter 3a, 3b, 3c, 3d.
  • Wie in den 2 und 3 zu erkennen, liegen die Laserspots 30a, 30b, 30c, 30d vorzugsweise innerhalb eines Bereichs der Iris 12 des Auges 10, beispielsweise bei Blickrichtung gerade nach vorne. Alternativ können die Laserspots 30a, 30b, 30c, 30d in der Nähe dieses Bereichs liegen. Dadurch wird bei einer Bewegung des Auges 10 häufig die Pupille 13 des Auges 10 nahe an den eingestrahlten Laserstrahlen 1 vorbei oder durch diese hindurch bewegt, sodass mit hoher Genauigkeit die Position und Bewegung der Pupille 13 ermittelt werden kann, um die Blickrichtung des Auges 10 mit besonders hoher Genauigkeit ermitteln zu können.
  • Die Durchführung der Ermittlung der Augengeschwindigkeit des Auges 10 mittels des Laser-Velocimeters 3 wird nachfolgend im Detail beschrieben, wobei die Beschreibung nur anhand eines einzigen Laserstrahls 1 erfolgt.
  • Zunächst wird der Laserstrahl 1 auf das Auge 10 eingestrahlt. An der Augenoberfläche 11 wird der Laserstrahl 1 zumindest teilweise zurückgestreut, also zumindest teilweise reflektiert. Dabei erfolgt eine Überlagerung des eingestrahlten Laserstrahls 1 mit dem parallel in Richtung des Obenflächenemitters 3a zurück propagierenden Anteils des zurückgestreuten Anteils des eingestrahlten Laserstrahls 1. Mittels der in den Oberflächenemitter 3a integrierten Fotodiode wird eine Laser-Feedback-Interferometrie durchgeführt, um die resultierende Interferenz-Strahlung, also die Überlagerung aus eingestrahltem Laserstrahl 1 und in die entgegengesetzte Richtung propagierende zurückgestreute Strahlung, zu erfassen. Da die Fotodiode direkt in die Laserkavität des Oberflächenemitters 3a integriert ist, erfolgt die Erfassung der resultierenden Interferenz-Strahlung hier mittels des sogenannten self-mixing-Effekts.
  • Ein beispielhaftes Frequenzspektrum 25 der resultierenden Interferenz-Strahlung, welche mittels der integrierten Fotodiode des Oberflächenemitters 3a erfasst werden kann, ist in 4 vereinfacht schematisch dargestellt. Die Achse 25a entspricht dabei der Frequenz und die Achse 25b der Amplitude. Mit dem Bezugszeichen 26 ist die, beispielsweise mittels einer Fourier-Analyse, ermittelte Peak-Frequenz der erfassten Interferenz-Strahlung gekennzeichnet. Aufgrund der Dreiecksmodulation der Wellenlänge des eingestrahlten Laserstrahls 1 ist die Peak-Frequenz 26 abhängig von einer optischen Weglänge 2. Die optische Weglänge (vgl. 1), entspricht dabei einer Distanz, welche der Laserstrahl 1 zwischen dem Oberflächenemitter 3a und der Augenoberfläche 11 zurücklegt. Da der Laserstrahl 1 im ersten Ausführungsbeispiel der 1 direkt auf das Auge 10 eingestrahlt wird, entspricht die optische Weglänge 2 der kürzesten Entfernung zwischen Oberflächenemitter 3a und Augenoberfläche 11. Somit kann bei bekannter Wellenlänge des eingestrahlten Laserstrahls 1 basierend auf der Laser-Feedback-Interferometrie die optische Weglänge 2 bei einer bestimmten Augenstellung, also bei einer bestimmten Blickrichtung, ermittelt werden.
  • Dargestellt ist dabei in 4 ein beispielhaftes Frequenzspektrum 25, welches bei konstanter Bewegung der Augenoberfläche 11 relativ zum Laserstrahl 1, also bei einer Rotation des Auges 10, aufgezeichnet wird. Bei einer solchen Bewegung erfolgt aufgrund des Doppler-Effekts eine Verschiebung 27 der Peak-Frequenz 26 hin zu einer gestrichelt eingezeichneten verschobenen Peak-Frequenz 26'. Die hierbei vorliegende Dopplerverschiebung der ausgesendeten und der zurückgestreuten Laserstrahlung kann somit anhand des Frequenzspektrums 25 ermittelt werden. Basierend auf dieser Dopplerverschiebung kann dabei die momentane Augengeschwindigkeit einer Bewegung des Auges 10 sowie eine Richtung der Bewegung ermittelt werden.
  • Das Laser-Velocimeter 3 zeichnet sich dabei dadurch aus, dass bei besonders niedrigem Energieverbrauch eine sehr hohe Abtastrate für eine hochaufgelöste Ermittlung der Augengeschwindigkeit möglich ist. Alternativ betrachtet erlaubt das Laser-Velocimeter 3 eine Erhöhung der zeitlichen Auflösung der hochpräzisen auf der Kamera 2 basierenden Blickverfolgung. Dies wird dadurch erreicht, dass zwischen den einzelnen Kamerabildern die Blickbewegung des Auges 10 durch Ermitteln interpolierter Augenpositionen anhand der erfassten Augengeschwindigkeit, insbesondere Richtung und Betrag, erfolgt.
  • Zur Berechnung der Augengeschwindigkeit basierend auf der DopplerVerschiebung wird dabei zudem ein Winkel α zwischen der Augenoberfläche 11 und dem Laserstrahl 1 ermittelt und berücksichtigt, um eine Schrägstellung des eingestrahlten Laserstrahls 1 relativ zur Augenoberfläche 11 zu kompensieren. Im Detail beschreibt der Winkel α den kleinsten Winkel zwischen dem Laserstrahl 1 und einer am entsprechenden Laserspot 30b tangential an der Augenoberfläche 11 angeordneten Ebene 35 (vgl. 3).
  • Zur Ermittlung des Winkels α kann eine Kalibrierung mittels der Kamera 2 durchgeführt werden. In einer ersten Variante kann der Winkel α basierend auf dem mittels der Kamera 2 erfassten Bild des Auges 10 ermittelt werden, während der Laserstrahl 1 auf das Auge 10 eingestrahlt wird. Anhand des mittels der Kamera 2 erfassten Bilds wird dabei der auf die Augenoberfläche 11 auftreffende Laserstrahl 1 erkannt, also insbesondere der Laserspot 30b und basierend auf einer bekannten Geometrie bzw. relativen Anordnung von Laser-Velocimeter 3 und Kamera 2 und Auge 10 der Winkel α abgeschätzt. Diese erste Variante der Kalibrierung wird bevorzugt in regelmäßigen zeitlichen Intervallen während eines Betriebs der Datenbrille 50 durchgeführt.
  • Gemäß einer zweiten Variante erfolgt die Kalibrierung anhand einer Kalibrier-Augengeschwindigkeit, welche anhand mindestens zweier aufeinanderfolgender Bilder basierend auf einer Ermittlung eines optischen Flusses, also einer abgeschätzten Bewegung des Auges 10 zwischen den beiden Bildern, ermittelt wird. Vorzugsweise kann die erste Abtastrate hierfür vorübergehend erhöht werden, beispielsweise auf mindestens 50Hz. Gleichzeitig wird mit dem Laser-Velocimeter 3 die Augengeschwindigkeit für den Zeitraum zwischen diesen beiden Bildern ermittelt. Für diese Ermittlung kann beispielsweise ein aus einer vorherigen Kalibrierung ermittelter Wert oder alternativ ein beliebiger Wert für den Winkel α verwendet werden. Vorzugsweise kann der Winkel α anschließend durch Vergleich der Kalibrier-Augengeschwindigkeit und der mit dem Laser-Velocimeter 3 gemessenen Augengeschwindigkeit angepasst werden.
  • Vorzugsweise können die beiden beschriebenen Varianten auch kombiniert werden. Beispielsweise kann die zweite Variante einmalig bei einer Inbetriebnahme der Datenbrille 50 durchgeführt werden, wobei die erste Variante in regelmäßigen Abständen während des Betriebs durchgeführt.
  • Somit kann mittels der Blickerfassungsanordnung 20 basierend auf der Laser-Feedback-Interferometrie eine Augenbewegung ermittelt werden, wodurch eine Blickbewegung des Auges 10 ermittelt und nachverfolgt werden kann. Zusammen mit der, beispielsweise nur zu vorgegebenen Zeitpunkten ausgeführten, Ermittlung der absoluten Augenposition mittels der Kamera 2 kann dabei die momentane Blickrichtung des Auges 10 ermittelt und nachverfolgt werden. Mittels der zur Durchführung der Bestimmung der Blickrichtung erforderlichen Komponenten kann dabei eine besonders hohe zeitliche Auflösung der Ermittlung der Blickrichtung bei niedrigem Energiebedarf erreicht werden. Die regelmäßige Auswertung von Kamerabildern erlaubt dabei eine besonders hohe Genauigkeit der Erfassung. Zudem können hierbei besonders kostengünstige Bauteile verwendet werden.
  • Die Datenbrille 50 umfasst weiterhin eine Ein- und/oder Ausgabevorrichtung 7, welche eingerichtet ist, eine Ausgabe an den Benutzer auszugeben. Die Ein-und/oder Ausgabevorrichtung 7 weist dabei eine Projektionseinheit auf, welche eingerichtet ist, ein Bild auf eine Retina des Auges 10 zu projizieren. Die Projektionseinheit kann beispielsweise zur Darstellung einer erweiterten oder virtuellen Realität (auch: augmented reality bzw. virtual reality) verwendet werden. Vorzugsweise ist die Projektionseinheit mit der Steuervorrichtung 4 gekoppelt, wobei die Steuervorrichtung 4 eingerichtet ist, die Projektionseinheit in Abhängigkeit der ermittelten Blickrichtung zu betätigen. Beispielsweise kann das projizierte Bild in Abhängigkeit der Blickrichtung angepasst werden.
  • 5 zeigt eine vereinfachte schematische Ansicht einer Datenbrille 50 gemäß einem zweiten Ausführungsbeispiel der Erfindung. Das zweite Ausführungsbeispiel entspricht im Wesentlichen dem ersten Ausführungsbeispiel der 1 mit dem Unterschied einer alternativen Anordnung des Laser-Velocimeters 3. Im zweiten Ausführungsbeispiel der 5 weist das Laser-Velocimeter 3 der Blickerfassungsanordnung 20 vier Oberflächenemitter 3a, 3b, 3c, 3d mit integrierter Fotodiode auf, welche alle am Brillenbügel 53 angeordnet sind. Die von den Oberflächenemittern 3a, 3b, 3c, 3d ausgesendeten Laserstrahlen 1 werden dabei indirekt auf das Auge 10 einstrahlt. Im Detail werden die Laserstrahlen 1 auf das Brillenglas 52 eingestrahlt, beispielhaft gekennzeichnet anhand eines Fokussierpunkts 1' auf dem Brillenglas 52. In das Brillenglas 52 ist dabei ein Umlenkelement 54 in Form eines holographischen optischen Elements integriert, welches die Laserstrahlen 1 zum Auge 10 hin umlenkt. Dadurch kann eine alternative Anordnung des Laser-Velocimeters 3 bereitgestellt werden, mittels welcher ebenfalls das Verfahren zum Ermitteln der Blickrichtung durchgeführt werden kann.

Claims (14)

  1. Blickverfolgungsanordnung (20), umfassend: - eine Kamera (2), welche eingerichtet ist, Bilder eines Auges (10) mit einer ersten Abtastrate zu erfassen, - ein Laser-Velocimeter (3), welches eingerichtet ist, eine Augengeschwindigkeit einer Bewegung des Auges (10) mittels Laser-Doppler-Velocimetry mit einer zweiten Abtastrate zu erfassen, und - eine Steuervorrichtung (4), welche eingerichtet ist, basierend auf den Bildern eine absolute Augenposition zu ermitteln, und basierend auf der absoluten Augenposition und der Augengeschwindigkeit eine Blickrichtung des Auges (10) nachzuverfolgen.
  2. Blickverfolgungsanordnung (20) nach Anspruch 1, wobei die erste Abtastrate maximal 40Hz, insbesondere mindestens 1 Hz, vorzugsweise mindestens 5 Hz, beträgt, und wobei insbesondere die zweite Abtastrate mindestens 500Hz, vorzugsweise maximal 5 kHz, beträgt.
  3. Blickverfolgungsanordnung (20) nach einem der vorhergehenden Ansprüche, wobei das Laser-Velocimeter (3) zumindest einen Oberflächenemitter (3a, 3b, 3c, 3d) mit integrierter Fotodiode aufweist.
  4. Datenbrille (50), umfassend eine Blickverfolgungsanordnung (20) nach einem der vorhergehenden Ansprüche.
  5. Datenbrille (50) nach Anspruch 4, wobei das Laser-Velocimeter (3) zumindest eine Laserquelle (3a, 3b, 3c, 3d) aufweist, welche an einem Brillengestell (51), welches insbesondere ein Brillenglas (52) umgibt, und/oder an einem Brillenbügel (53) und/oder in einem Brillenglas (52) angeordnet ist, und/oder wobei die Kamera (2) am Brillengestell (51), und/oder am Brillenbügel (53) und/oder im Brillenglas (52) angeordnet ist.
  6. Datenbrille (50) nach einem der Ansprüche 4 oder 5, ferner umfassend eine Ein-und/oder Ausgabeeinheit (7), welche eingerichtet ist, eine Eingabe des Benutzers zu empfangen und/oder eine Ausgabe an den Benutzer auszugeben, wobei die Steuervorrichtung (4) eingerichtet ist, die Ein- und/oder Ausgabeeinheit (7) basierend auf der nachverfolgten Blickrichtung des Auges (10) zu betätigen.
  7. Verfahren zur Blickverfolgung eines Auges (10), umfassend die Schritte: - Erfassen eines Bildes des Auges (10) mittels einer Kamera (2), - Ermitteln einer absoluten Augenposition des Auges (10) basierend auf dem Bild des Auges (10), - Einstrahlen von zumindest einem wellenlängenmodulierten Laserstrahl (1) auf das Auge (10), - Ermitteln einer Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl (1) und einem vom Auge (10) zurückgestreuten Anteil des eingestrahlten Laserstrahls (1) basierend auf einer Laser-Feedback-Interferometrie des eingestrahlten Laserstrahls (1) und dem vom Auge (10) zurückgestreuten Anteil, - Ermitteln einer Augengeschwindigkeit basierend auf der Dopplerverschiebung, und - Nachverfolgen einer Blickbewegung des Auges (10) basierend auf der absoluten Augenposition und der Augengeschwindigkeit.
  8. Verfahren nach Anspruch 7, wobei Bilder des Auges (10) mit einer ersten Abtastrate erfasst werden, um absolute Augenpositionen mit der ersten Abtastrate zu ermitteln, und wobei wellenlängenmodulierte Laserstrahlen (1) mit einer zweiten Abtastrate auf das Auge (10) eingestrahlt werden, um Augengeschwindigkeiten mit der zweiten Abtastrate zu ermitteln.
  9. Verfahren nach einem der Ansprüche 7 oder 8, wobei das Nachverfolgen der Blickbewegung ausgehend von einer basierend auf dem Bild ermittelten absoluten Augenposition und durch Ermittelten interpolierter Augenpositionen basierend auf der ermittelten Augengeschwindigkeit erfolgt.
  10. Verfahren nach einem der Ansprüche 7 bis 9, wobei das Ermitteln der Augengeschwindigkeit basierend auf folgender Gleichung erfolgt: F D = 2 v cos ( α ) / λ ,
    Figure DE102020127593A1_0001
    mit: der Augengeschwindigkeit v; einer Dopplerfrequenz FD, welche der Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl (1) und dem zurückgestreuten Anteil des eingestrahlten Laserstrahls (1) entspricht; einem Winkel α zwischen einer Richtung des eingestrahlten Laserstrahls (1) und einer Tangente an einer Augenoberfläche (11), welche die Augenoberfläche (11) in einem Auftreffpunkt berührt, in welchem der eingestrahlte Laserstrahl (1) auf das Auge (10) auftrifft und welche zudem in der von einem Wellenvektor und einem Oberflächennormal am Auftreffpunkt aufgespannten Ebene liegt; und einer Wellenlänge Ä des eingestrahlten Laserstrahls (1).
  11. Verfahren nach Anspruch 10, ferner umfassend den Schritt: - Kalibrierung durch Bestimmung des Winkels α, wobei der Winkel α basierend auf dem mittels der Kamera erfassten Bild des Auges (10), während der wellenlängenmodulierte Laserstrahl auf das Auge (10) eingestrahlt wird, erfolgt.
  12. Verfahren nach Anspruch 10, ferner umfassend die Schritte: - Ermitteln einer Kalibrier-Augengeschwindigkeit basierend auf zumindest zwei aufeinanderfolgenden Bildern, - Kalibrierung durch Bestimmung des Winkels α, wobei der Winkel α basierend auf der ermittelten Kalibrier-Augengeschwindigkeit bestimmt wird.
  13. Verfahren nach einem der Ansprüche 7 bis 12, ferner umfassend die Schritte: - Ermitteln einer maximalen Augengeschwindigkeit während einer Augenbewegung, und - Vorhersage einer Augenbewegungs-Endposition basierend auf der maximalen Geschwindigkeit.
  14. Verfahren nach einem der Ansprüche 7 bis 13, wobei zumindest zwei Laserstrahlen (1) auf das Auge (10) eingestrahlt werden, und wobei die beiden eingestrahlten Laserstrahlen (1) derart ausgerichtet sind, dass ein Winkel und/oder ein Abstand zwischen einem Wellenvektor jedes eingestrahlten Laserstrahls (1) und jeweils zumindest einer von zwei zueinander orthogonalen Drehachsen des Auges (10) ungleich Null ist.
DE102020127593.5A 2020-10-20 2020-10-20 Blickverfolgungsanordnung Pending DE102020127593A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020127593.5A DE102020127593A1 (de) 2020-10-20 2020-10-20 Blickverfolgungsanordnung
US17/451,219 US11733774B2 (en) 2020-10-20 2021-10-18 Eye-tracking arrangement
CN202111210378.0A CN114384695B (zh) 2020-10-20 2021-10-18 眼动追踪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020127593.5A DE102020127593A1 (de) 2020-10-20 2020-10-20 Blickverfolgungsanordnung

Publications (1)

Publication Number Publication Date
DE102020127593A1 true DE102020127593A1 (de) 2022-04-21

Family

ID=80929458

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020127593.5A Pending DE102020127593A1 (de) 2020-10-20 2020-10-20 Blickverfolgungsanordnung

Country Status (3)

Country Link
US (1) US11733774B2 (de)
CN (1) CN114384695B (de)
DE (1) DE102020127593A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208484A1 (de) 2021-08-05 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erkennen einer Blickrichtung und/oder eines Zustands eines Auges unter Verwendung einer Laservorrichtung und Laservorrichtung
DE102022211128A1 (de) 2022-10-20 2024-04-25 Robert Bosch Gesellschaft mit beschränkter Haftung Hybride Eye-Tracking-Vorrichtung und Laborkalibrationsverfahren und Feldkalibrationsverfahren zur Kalibration der hybriden Eye-Tracking-Vorrichtung
DE102023201360A1 (de) 2023-02-17 2024-08-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Augenverfolgung eines Nutzer-Auges in einer Datenbrille mittels einer Fusion von je einem Messsignal zumindest zweier verschiedener Sensoren der Datenbrille

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022204107A1 (de) * 2022-04-27 2023-11-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer Blickrichtung eines Auges und Datenbrille
DE102022204848A1 (de) * 2022-05-17 2023-11-23 Robert Bosch Gesellschaft mit beschränkter Haftung Recheneinheit zur Ermittlung eines Blickvektors eines Nutzers einer Datenbrille
WO2024208689A1 (en) * 2023-04-05 2024-10-10 Ams-Osram Ag Eye tracking device and method of tracking an eye rotation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325312A (ja) 1999-05-21 2000-11-28 Yasuto Takeuchi 眼の動きを観測する装置
US20200008671A1 (en) 2005-12-14 2020-01-09 Stereovision Imaging, Inc. System and Method for Tracking Motion

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69122656T2 (de) * 1990-05-21 1997-03-06 Canon Kk Vorrichtung und Verfahren zur Erfassung einer Information über die Verschiebung eines Gegenstands.
DE4210384A1 (de) * 1992-03-30 1993-10-07 Stiller Henning Vorrichtung und Verfahren zum Untersuchen des Auges
NZ773826A (en) * 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10908279B2 (en) * 2016-03-11 2021-02-02 Facebook Technologies, Llc Ultrasound/radar for eye tracking
CN108008368B (zh) * 2016-10-27 2021-04-09 北京遥感设备研究所 一种基于回波多普勒信息修正测角误差的目标定位方法
US10884492B2 (en) * 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges
US20220079675A1 (en) * 2018-11-16 2022-03-17 Philipp K. Lang Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325312A (ja) 1999-05-21 2000-11-28 Yasuto Takeuchi 眼の動きを観測する装置
US20200008671A1 (en) 2005-12-14 2020-01-09 Stereovision Imaging, Inc. System and Method for Tracking Motion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Doppler-Effekt, radarturotial, S. 1. URL: https://www.radartutorial.eu/11.coherent/co06.de.html Archiviert in http://www.archive.org am 23.10.2019 [abgerufen am 22.06.2021]

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208484A1 (de) 2021-08-05 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erkennen einer Blickrichtung und/oder eines Zustands eines Auges unter Verwendung einer Laservorrichtung und Laservorrichtung
US11822717B2 (en) 2021-08-05 2023-11-21 Robert Bosch Gmbh Method and device for recognizing a viewing direction and/or a state of an eye using a laser device and laser device
DE102022211128A1 (de) 2022-10-20 2024-04-25 Robert Bosch Gesellschaft mit beschränkter Haftung Hybride Eye-Tracking-Vorrichtung und Laborkalibrationsverfahren und Feldkalibrationsverfahren zur Kalibration der hybriden Eye-Tracking-Vorrichtung
WO2024083368A1 (de) * 2022-10-20 2024-04-25 Robert Bosch Gmbh Hybride eye-tracking-vorrichtung und laborkalibrationsverfahren und feldkalibrationsverfahren zur kalibration der hybriden eye-tracking-vorrichtung
DE102023201360A1 (de) 2023-02-17 2024-08-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Augenverfolgung eines Nutzer-Auges in einer Datenbrille mittels einer Fusion von je einem Messsignal zumindest zweier verschiedener Sensoren der Datenbrille

Also Published As

Publication number Publication date
CN114384695B (zh) 2024-08-20
CN114384695A (zh) 2022-04-22
US20220121279A1 (en) 2022-04-21
US11733774B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
DE102020127593A1 (de) Blickverfolgungsanordnung
DE102020206821A1 (de) Verfahren zum Ermitteln einer Blickrichtung eines Auges
DE69702899T2 (de) Servo-folgesystem mit phasenempfindlicher detektion von reflektionsänderungen
US10824229B2 (en) System and method for resonant eye-tracking
WO2020043472A1 (de) Verfahren zum ermitteln einer blickrichtung eines auges
EP0314471B1 (de) Gerät zur drei-dimensionalen Messung einer Form
Briers et al. Capillary blood flow monitoring using laser speckle contrast analysis (LASCA)
US4974010A (en) Focus control system
EP3652578B1 (de) Anordnung und verfahren zur störungskorrektur für bildgebende strömungsmessverfahren
DE102020206822A1 (de) Verfahren zum Betreiben einer Datenbrille
EP1358839A1 (de) Vorrichtung und Verfahren zur Bestimmung von geometrischen Messwerten eines Auges
DE1223849T1 (de) Wellenfrontsensor mit mehrfachleistungsstrahlmodus
US20130120712A1 (en) Method and device for determining the eye position
WO2022223192A1 (de) Verfahren zum erkennen von augengesten eines auges
EP0610374B1 (de) Verfahren zur messung der neigungen von grenzflächen in einem optischen system
US7249852B2 (en) Eye characteristic measuring apparatus
JP2021534887A (ja) 光学装置および方法
DE102021207058A1 (de) Verfahren zur Erkennung von menschlichen Aktivitäten
EP3572766B1 (de) Oct-system, verfahren zur erzeugung eines oct-bildes und speichermedium
EP4298459A1 (de) Lasertracker mit zwei messfunktionalitäten und fmcw-distanzmessung
Pomianek et al. Pupil Position Estimation Error in an Eye Tracking System Based on the MEMS Mirror Scanning Method
Jones et al. An active feedback system for stabilizing visual images
Clarke et al. The use of diode laser collimators for targeting 3-D objects
US20240008757A1 (en) Handheld laser-based perfusion imaging apparatus and method of using said apparatus
DE102023201079A1 (de) Datenbrille mit Mimikerfassung

Legal Events

Date Code Title Description
R163 Identified publications notified