DE102020206821A1 - Verfahren zum Ermitteln einer Blickrichtung eines Auges - Google Patents

Verfahren zum Ermitteln einer Blickrichtung eines Auges Download PDF

Info

Publication number
DE102020206821A1
DE102020206821A1 DE102020206821.6A DE102020206821A DE102020206821A1 DE 102020206821 A1 DE102020206821 A1 DE 102020206821A1 DE 102020206821 A DE102020206821 A DE 102020206821A DE 102020206821 A1 DE102020206821 A1 DE 102020206821A1
Authority
DE
Germany
Prior art keywords
eye
laser beam
determining
laser
irradiated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020206821.6A
Other languages
English (en)
Inventor
Andreas Petersen
Hans Spruit
Jochen Hellmig
Johannes Meyer
Thomas Alexander Schlebusch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Trumpf Photonic Components GmbH
Original Assignee
Robert Bosch GmbH
Trumpf Photonic Components GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH, Trumpf Photonic Components GmbH filed Critical Robert Bosch GmbH
Priority to DE102020206821.6A priority Critical patent/DE102020206821A1/de
Priority to CN202110599318.6A priority patent/CN113749609A/zh
Priority to US17/335,780 priority patent/US11435578B2/en
Publication of DE102020206821A1 publication Critical patent/DE102020206821A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/366—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light by using diffraction of light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer Blickrichtung eines Auges (10), umfassend die Schritte: Einstrahlen von zumindest einem wellenlängenmodulierten Laserstrahl (1) auf ein Auge (10), Ermitteln einer optischen Weglänge (2) des eingestrahlten Laserstrahls (1) basierend auf einer Laser-Feedback-Interferometrie des eingestrahlten Laserstrahls (1) und einem vom Auge (10) zurückgestreuten Anteil des eingestrahlten Laserstrahls (1), Ermitteln einer Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl (1) und dem zurückgestreuten Anteil basierend auf der Laser-Feedback-Interferometrie, Ermitteln einer Augengeschwindigkeit basierend auf der Dopplerverschiebung, und Ermitteln einer Blickbewegung des Auges (10) basierend auf der optischen Weglänge (2) und der Augengeschwindigkeit.

Description

  • Stand der Technik
  • Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln einer Blickrichtung eines Auges sowie eine Blickerfassungsanordnung und eine Datenbrille.
  • Bekannt ist die Verwendung von Blickverfolgung oder Blickerfassung (auch: Okulografie, engl.: eye-tracking) zur Ermittlung von Augenbewegungen und zur Abschätzung einer Blickrichtung. Bekannte Systeme basieren dabei auf der Erfassung von Informationen über die Augenposition mittels kamerabasierter Systeme, oder mittels elektrischer oder elektromagnetischer Sensoren im Bereich des Auges. Außerdem sind gescannte Lasersysteme bekannt, welche beispielsweise mittels Mikrospiegel einen Laserspot über das Auge scannen. Alle diese Systeme weisen üblicherweise eine hohe Komplexität und einen hohen Energieverbrauch bei meist eingeschränkter zeitlicher Auflösung auf.
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 zeichnet sich demgegenüber durch eine besonders energiesparende, kostengünstige und zeitlich hochauflösende Möglichkeit zur Blickerfassung aus. Dies wird erreicht durch ein Verfahren zur Ermittlung einer Blickrichtung eines Auges, umfassend die Schritte:
    • - Einstrahlen von zumindest einem wellenlängenmodulierten Laserstrahl auf ein Auge,
    • - Ermitteln einer optischen Weglänge des eingestrahlten Laserstrahls basierend auf einer Laser-Feedback-Interferometrie des eingestrahlten Laserstrahls mit einem vom Auge zurückgestreuten Anteil des eingestrahlten Laserstrahls,
    • - Ermitteln einer Dopplerverschiebung, insbesondere zwischen Frequenzen, des eingestrahlten Laserstrahls und dem zurückgestreuten Anteil des eingestrahlten Laserstrahls basierend auf der Laser-Feedback-Interferometrie,
    • - Ermitteln einer Augengeschwindigkeit basierend auf der Dopplerverschiebung, und
    • - Ermitteln einer Blickbewegung des Auges basierend auf der optischen Weglänge und der Augengeschwindigkeit.
  • Als Blickbewegung wird dabei eine Änderung einer Blickrichtung, insbesondere relativ zu einem Kopf, angesehen. Vorzugsweise entspricht eine Blickbewegung dabei einer Rotation des Auges, insbesondere des Augapfels, in der Augenhöhle.
  • Mit anderen Worten wird bei dem Verfahren mindestens ein wellenlängenmodulierter Laserstrahl, welcher insbesondere von einer wellenlängenmodulierten Laserquelle ausgesendet wird, auf ein Auge eines Benutzers eingestrahlt. Der eingestrahlte Laserstrahl wird dabei an einer Augenoberfläche des Auges zumindest teilweise zurückgestreut. Als zurückgestreuter Anteil des eingestrahlten Laserstrahls wird dabei derjenige Anteil des an der Augenoberfläche gestreuten eingestrahlten Laserstrahls angesehen, welcher parallel zum ausgesendeten Laserstrahl ist und vom Auge in Richtung einer Laserquelle des eingestrahlten Laserstrahls propagiert. Der zurückgestreute Anteil überlagert sich somit mit dem eingestrahlten Laserstrahl. Der zurückgestreute Anteil des eingestrahlten Laserstrahls kann auch als zurückgestreute Strahlung bezeichnet werden. Insbesondere entspricht der zurückgestreute Anteil somit einem am Auge reflektierten Laserstrahl des eingestrahlten Laserstrahls. Dieser zurückgestreute Anteil interferiert mit der einfallenden, also mit dem zum Auge hin propagierenden eingestrahlten Laserstrahl. Dabei erfolgt eine Überlagerung des eingestrahlten Laserstrahls mit dem zurückgestreuten Anteil, sodass eine resultierende Interferenz-Strahlung vorliegt. Diese resultierende Interferenz-Strahlung kann beispielsweise mittels eines Detektors erfasst und analysiert werden.
  • Als Laser-Feedback-Interferometrie wird dabei eine Erfassung und Analyse einer Überlagerung des eingestrahlten Laserstrahls mit dem zurückgestreuten Anteil des eingestrahlten Laserstrahls, also einer Erfassung und Analyse einer resultierenden Interferenz-Strahlung, angesehen. Dabei wird basierend auf der Laser-Feedback-Interferometrie eine optische Weglänge des eingestrahlten Laserstrahls ermittelt. Als optische Weglänge wird dabei das Produkt aus einer geometrischen Strecke, welche der eingestrahlte Laserstrahl von der Laserquelle bis zur Augenoberfläche zurückgelegt, und einem Brechungsindex des dort vorhandenen Materials angesehen. Das heißt, sofern der Laserstrahl in Luft (Brechungsindex ca. 1) von einer Laserquelle direkt auf das Auge eingestrahlt wird, entspricht die optische Weglänge in sehr guter Näherung der Distanz zwischen Laserquelle und Auge. Bei bekannter Wellenlänge des eingestrahlten Laserstrahls kann beispielsweise anhand einer konstruktiven oder destruktiven Interferenz die optische Weglänge abgeschätzt werden.
  • Vorzugsweise wird als eingestrahlter Laserstrahl in der Wellenlänge dreiecksmoduliertes Laserlicht ausgesendet. Durch die Laser-Feedback-Interferometrie, also die Analyse der Interferenz von eingestrahltem Laserstrahl und zurückgestreutem Anteil des eingestrahlten Laserstrahls, insbesondere durch Berechnung eines Mittels der resultierenden Interferenzfrequenzen bezüglich der beiden Flanken des dreiecksmodulierten Signals, kann die optische Weglänge bestimmt werden.
  • Weiterhin erfolgt, sofern eine Bewegung des Auges relativ zu der eingestrahlten Laserstrahlung vorliegt, aufgrund des Doppler-Effekts eine Dopplerverschiebung, insbesondere zwischen den Frequenzen, des eingestrahlten Laserstrahls und des zurückgestreuten Anteils aufgrund des Doppler-Effekts. Mittels der Laser-Feedback-Interferometrie kann diese Dopplerverschiebung erfasst werden. Anhand der Dopplerverschiebung kann anschließend die Augengeschwindigkeit ermittelt werden. Als Augengeschwindigkeit wird dabei eine tangentiale Geschwindigkeit eines Punktes auf der Augenoberfläche, wobei dieser Punkt demjenigen Punkt entspricht, in welchem der eingestrahlte Laserstrahl auf die Augenoberfläche auftrifft, angesehen. Vorzugsweise umfasst die Augengeschwindigkeit einen Absolutwert für die aktuelle Geschwindigkeit, sowie eine Richtung der aktuellen Geschwindigkeit.
  • Anhand der ermittelten optischen Weglänge, sowie anhand der Augengeschwindigkeit kann anschließend die Blickbewegung des Auges ermittelt werden. Insbesondere kann somit ausgehend von einer bekannten Augenposition die Blickrichtung nach Bewegungen des Auges nachverfolgt werden. Das Verfahren erlaubt somit auf besonders einfache und effiziente Art und Weise eine präzise Bestimmung der Blickbewegungen des Auges. Die spezielle Art der Ermittlung der Blickrichtung mittels Laser-Feedback-Interferometrie, insbesondere anhand des Dopplereffekts, bietet dabei den Vorteil einer besonders hohen zeitlichen Abtastrate, sodass eine zeitlich besonders hochaufgelöste Verfolgung der Blickbewegungen möglich ist. Zudem bietet das Verfahren den Vorteil, dass einfache und kostengünstige Komponenten und Auswertealgorithmen, welche einen niedrigen Energiebedarf aufweisen, verwendet werden können. Insbesondere ist keine rechenintensive Bilddatenverarbeitung notwendig. Zudem ist es vorteilhaft, dass keine beweglichen Bauteile, wie beispielsweise Scanvorrichtungen, erforderlich sind, wodurch besonders flexible und robuste Einsatzmöglichkeiten zur Verfügung stehen.
  • Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
  • Bevorzugt umfasst das Verfahren ferner die Schritte: Ermitteln einer Reflektivität des Auges basierend auf Amplitude und Phasenlage des vom Auge zurückgestreuten Anteil des eingestrahlten Laserstrahls, und Ermitteln einer absoluten Augenposition basierend auf der ermittelten Reflektivität und der optischen Weglänge. Als Reflektivität wird hierbei insbesondere die komplexe Reflektivität mit Amplitude und Phasenlage des vom Auge zurückgestreuten Anteils des eingestrahlten Laserstrahls bezeichnet. Durch zusätzliches Messen der Reflektivität des Auges kann somit besonders präzise festgestellt werden, in welcher aktuellen Position das Auge sich befindet und somit kann auch die Blickrichtung ermittelt werden. Vorteilhafterweise kann basierend auf unterschiedlicher Reflektivitäten unterschiedlicher Teile des Auges erkannt werden, welcher Teil des Auges momentan von dem Laserstrahl bestrahlt wird, woraus zusammen mit der optischen Weglänge die absolute Augenposition abgeschätzt werden kann. Beispielsweise unterscheidet sich die Reflektivität deutlich und charakteristisch voneinander, wenn der eingestrahlte Laserstrahl auf unterschiedliche Bereiche des Auges auftrifft. Beispielsweise erfolgt, gegenüber einer Bestrahlung der Retina, eine deutlich stärkere Streuung, wenn der eingestrahlte Laserstrahl auf die Iris des Auges auftrifft, und dabei durch die Hornhaut hindurchtritt. Vorzugsweise kann somit anhand der Ermittlung der Reflektivität festgestellt werden, wenn bei einer Bewegung des Auges anatomische Grenzen an dem, insbesondere bezüglich eines Kopfes des Benutzers ortsfesten, Laserstrahl vorbei bewegt werden. Dadurch kann besonders einfach und präzise bestimmt werden, welche absolute Augenposition und damit welche Blickrichtung des Auges momentan vorliegt.
  • Besonders bevorzugt erfolgt das Ermitteln der absoluten Augenposition basierend auf der Reflektivität und der optischen Weglänge zu vordefinierten Zeitpunkten. Eine Augenbewegung wird dabei zwischen den vordefinierten Zeitpunkten basierend auf der Augengeschwindigkeit ermittelt. Vorzugsweise kann dabei zwischen den vordefinierten Zeitpunkten eine Integration der ermittelten Augengeschwindigkeit vorgenommen werden, sodass ein Winkel, um welchen das Auge während der Augenbewegung bewegt wurde, abgeschätzt werden kann. Insbesondere wird somit die absolute Augenposition nicht ständig, sondern nur zu bestimmten Zeitpunkten exakt bestimmt. Dabei wird zwischen diesen Zeitpunkten die relative Augenbewegung durch die besonders energiesparende Möglichkeit der Ermittlung der Augengeschwindigkeit basierend auf der Dopplerverschiebung abgeschätzt. Dadurch kann auf besonders effiziente Weise die Ermittlung der Augenposition und der Blickrichtung erfolgen.
  • Vorzugsweise erfolgt das Ermitteln der Augengeschwindigkeit basierend auf der Gleichung: FD = 2 v cos(α)/λ. Dabei bezeichnet Ä die Wellenlänge de eingestrahlten Laserstrahls, v die Augengeschwindigkeit, FD die Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl und dem zurückgestreuten Anteil des eingestrahlten Laserstrahls und a einen Winkel zwischen einem Wellenvektor k des eingestrahlten Laserstrahls und einer Tangente, welche die Augenoberfläche in einem Auftreffpunkt berührt, in welchem der eingestrahlte Laserstrahl auf das Auge auftrifft und welche zudem in der vom Wellenvektor k und dem Oberflächennormal am Auftreffpunkt aufgespannten Ebene liegt. Insbesondere entspricht die Dopplerverschiebung FD einem Betrag der Differenz zwischen der Frequenz des eingestrahlten Laserstrahls und der Frequenz dem zurückgestrahlten Anteil des eingestrahlten Laserstrahls. Anhand der obigen Gleichung kann dabei mit besonders geringem Rechenaufwand die Augengeschwindigkeit bestimmt werden, um somit effizient und hoch aufgelöst die Augenbewegung ermitteln zu können.
  • Besonders bevorzugt umfasst das Verfahren ferner die Schritte: Ermitteln einer Drehrate des Auges, und Kalibrierung zur Bestimmung des Winkels a, wobei die Kalibrierung basierend auf der optischen Weglänge, der Augengeschwindigkeit, und der Drehrate des Auges erfolgt. Als Drehrate des Auges wird dabei eine Winkelgeschwindigkeit des Auges sowie ein absoluter Winkel, um welchen das Auge während einer Augenbewegung rotiert, insbesondere relativ zu einem Kopf, angesehen. Mittels Erfassung der entsprechenden Parameter kann somit eine präzise Kalibrierung der Blickerfassung durchgeführt werden, um die Blickrichtung des Auges zu jedem Zeitpunkt optimal abschätzen zu können. Vorzugsweise umfasst der Schritt der Kalibrierung eine Aufzeichnung einer Blickwinkelkarte, welche Messdaten aller für die Kalibrierung aufgezeichneten Parameter jeweils für eine Vielzahl an vorbestimmten Blickwinkeln des Auges aufweist. Anhand der Blickwinkelkarte kann somit bei einer Durchführung des Verfahrens für einen bestimmten Parametersatz auf besonders einfache und effiziente Weise ermittelt werden, welcher Blickwinkel des Auges momentan vorliegt.
  • Vorzugsweise wird die Drehrate des Auges basierend auf einer Drehrate eines Kopfes des Benutzers ermittelt, wobei die Drehrate des Kopfes insbesondere mittels eines Drehratensensors erfasst wird. Als Drehrate des Kopfes wird dabei eine Winkelgeschwindigkeit des Kopfes sowie ein absoluterer Winkel, um welchen der während einer Augenbewegung rotiert wird angesehen. Vorzugsweise ist der Drehratensensor Teil einer inertialen Messeinheit, welche bevorzugt eingerichtet ist, zusätzlich zur Drehrate eine Beschleunigung, und beispielsweise zusätzlich ein Erdmagnetfeld, zu erfassen. Besonders vorteilhaft ist ein Absolut-Orientierungs-Sensor, welche insbesondere eingerichtet ist, jeweils eine Drehrate um drei Achsen, und vorzugsweise eine Beschleunigung, und weiter bevorzugt ein Erdmagnetfeld zu erfassen. Zur Erfassung der Drehrate des Kopfes kann der Drehratensensor beispielsweise an einem Kopf des Benutzers angeordnet sein. Insbesondere wird die Drehrate des Auges wird dabei basierend auf der Annahme ermittelt, dass das Auge bei einer Blickfixierung auf einen im Raum festgelegten Punkt eine der Drehung des Kopfes genau entgegengesetzte Drehung ausführt. Somit kann die Kalibrierung auf besonders einfache Weise durchgeführt werden.
  • Vorzugsweise umfasst das Verfahren ferner die Schritte: Ermitteln einer maximalen Augengeschwindigkeit während einer Augenbewegung, und Vorhersage einer Augenbewegungs-Endposition basierend auf der maximalen Geschwindigkeit. Die Augenbewegungs-Endposition ist dabei definiert durch diejenige Position, an welcher die Augenbewegung stoppt. Vorzugsweise liegt bei Erreichen der Augenbewegungs-Endposition keine relative Bewegung des Auges zum Kopf vor. Somit kann bei schnellen Augenbewegungen, sogenannten Sakkaden, vorhergesagt werden, an welcher Position die Augenbewegung stoppt. Vorzugsweise erfolgt die Vorhersage der Augenbewegungs-Endposition basierend auf der Annahme, dass das Auge eine gleichmäßig beschleunigte Bewegung während einer solchen Augenbewegung ausführt. Das heißt, in einer ersten Hälfte einer solchen Augenbewegung liegt eine konstante positive Beschleunigung vor, während in der zweiten Hälfte der Augenbewegung eine konstante negative Beschleunigung, insbesondere mit demselben Betrag, vorliegt. Durch Erfassen der ersten Hälfte einer entsprechenden Geschwindigkeitskurve, also der Geschwindigkeit der Augenbewegung ausgehend vom Stillstand bis zur maximalen Geschwindigkeit bei der Bewegung, kann die zweite Hälfte der Geschwindigkeitskurve, insbesondere aufgrund der Annahme einer Spiegelsymmetrie, abgeschätzt werden. Hierdurch kann, insbesondere durch Integration des ermittelten Geschwindigkeitsverlaufs, der Endpunkt der Augenbewegung abgeschätzt werden kann. Vorzugsweise erfolgt die Ermittlung der maximalen Geschwindigkeit während der Augenbewegung anhand einer Erkennung einer sinkenden Augengeschwindigkeit nachfolgend auf einen Anstieg der Augengeschwindigkeit.
  • Bevorzugt werden zumindest zwei Laserstrahlen auf das Auge eingestrahlt, wobei die beiden Laserstrahlen derart ausgerichtet sind, dass ein Winkel und/oder ein Abstand zwischen einem Wellenvektor jedes eingestrahlten Laserstrahls und jeweils zumindest einer von zwei zueinander orthogonalen Drehachsen ungleich Null ist. Um eine Drehbewegung des Auges um eine Drehachse zu erfassen, ist es vorteilhaft, wenn der Wellenvektor des eingestrahlten Laserstrahls einen möglichst großen Winkel mit der Drehachse einschließt und gleichzeitig einen möglichst großen Abstand zu dieser aufweist. Beispielsweise gilt: sind Abstand und/oder mit der Drehachse eingeschlossener Winkel gleich Null, so ist der eingestrahlte Laserstrahl nicht sensitiv für eine Drehbewegung um diese Achse. Entsprechend dieses Zusammenhangs ist es mit anderen Worten vorteilhaft, wenn die beiden eingestrahlten Laserstrahlen derart ausgerichtet sind, dass diese je für eine der Drehraten von Drehungen des Auges um zwei zueinander orthogonalen Drehachsen besonders sensitiv sind. Bevorzugt sind in dem speziellen Fall, wenn beide Laserstrahlen im selben Punkt auf der Augenoberfläche eintreffen, die Laserstrahlen so ausgerichtet, dass Projektionen der beiden eingestrahlten Laserstrahlen auf eine tangentiale Ebene am Auge und im Auftreffpunkt zueinander orthogonal ausgerichtet sind. Das heißt, in diesem Fall sind die zur Augenoberfläche tangentialen Anteile der beiden Laserstrahlen an dem gemeinsamen Auftreffpunkt der Laserstrahlen am Auge orthogonal zueinander ausgerichtet. Vorzugsweise sind die tangentialen Anteile der beiden Laserstrahlen vertikal bzw. horizontal ausgerichtet. Somit kann die Augenbewegung in beliebige Richtungen besonders einfach und genau ermittelt werden.
  • Weiterhin führt die Erfindung zu einer Blickerfassungsanordnung zur Ermittlung einer Blickrichtung. Die Blickerfassungsanordnung umfasst eine Laservorrichtung, welche eingerichtet ist, zumindest einen Laserstrahl auf ein Auge einzustrahlen, und eine Steuervorrichtung, welche eingerichtet ist, die Laservorrichtung zu betätigen. Die Steuervorrichtung ist dabei eingerichtet, das beschriebene Verfahren auszuführen. Die Blickerfassungsanordnung zeichnet sich dabei durch einen besonders einfachen und kostengünstigen Aufbau auf, welcher eine hohe Erfassungsrate und einen niedrigen Energiebedarf aufweist.
  • Bevorzugt weist die Laservorrichtung zumindest einen Oberflächenemitter (auch genannt: vertical-cavity surface-emitting laser, kurz VCSEL) mit integrierter Fotodiode auf. Mit einer solchen Laservorrichtung können die Blickbewegungen bei besonders einfachem, kompaktem und kostengünstigem Aufbau der Blickerfassungsanordnung basierend auf der Laser-Feedback-Interferometrie erfasst werden. Insbesondere eignet sich eine solcher Laservorrichtung zur Erfassung mittels des self-mixing-Effekts. Vorzugsweise wird hierbei mittels der Fotodiode die Überlagerung des eingestrahlten Laserstrahls und dem zurückgestreuten Anteil direkt innerhalb der Laserkavität erfasst. Besonders bevorzugt kann die Laservorrichtung mehrere Obenflächenemitter aufweisen, welche jeweils einen Laserstrahl aussenden.
  • Vorzugsweise weist die Laservorrichtung ein Strahlteilungselement auf, welches eingerichtet ist, einen einzelnen Laserstrahl in zumindest zwei Laserstrahlen aufzuteilen. Dadurch kann ein besonders einfacher und kostengünstiger Aufbau der Blickerfassungsanordnung bereitgestellt werden.
  • Besonders bevorzugt ist der von der Laservorrichtung zumindest eine eingestrahlte Laserstrahl direkt auf das Auge gerichtet. Alternativ oder zusätzlich kann die Blickerfassungsanordnung ferner ein Umlenkelement umfassen, welches eingerichtet ist, zumindest einen von der Laservorrichtung eingestrahlten Laserstrahl auf das Auge umzulenken. Vorzugsweise ist das Umlenkelement ein, insbesondere steuerbar betätigbarer, Mikrospiegelaktor. Alternativ bevorzugt ist das Umlenkelement ein holographisches optisches Element.
  • Ferner führt die Erfindung zu einer Datenbrille, welche die beschriebene Blickerfassungsanordnung umfasst. Vorzugsweise weist die Laservorrichtung zumindest eine Laserquelle auf, welche an einem Brillengestell und/oder an einem Brillenbügel angeordnet ist. Als Brillengestell wird dabei insbesondere ein ein Brillenglas umgebender Bereich der Datenbrille angesehen, wobei als Brillenbügel insbesondere ein mit dem Brillengestell verbundener Haltebügel, welcher sich beispielsweise zu einem Ohr des Benutzers erstreckt, angesehen wird. Beispielsweise können mehrere Laserquellen rings um das Brillenglas verteilt am Brillengestell angeordnet sein, wodurch eine besonders genaue Abtastung des Auges über dessen gesamten Bewegungsspielraum ermöglicht werden kann. Alternativ oder zusätzlich können eine oder mehrere Laserquellen in das Brillenglas integriert, vorzugsweise eingegossen, sein.
  • Besonders bevorzugt umfasst die Datenbrille ferner einen Drehratensensor, welcher eingerichtet ist, eine Drehung des Kopfes des Benutzers zu erfassen. Vorzugsweise ist der Drehratensensor Teil einer inertialen Messeinheit und/oder eines Absolut-Orientierungs-Sensor. Somit kann die gesamte zur Blickerfassung sowie zur Kalibrierung der Blickerfassung erforderliche Hardware in ein einziges Gerät integriert werden, wodurch ein besonders hoher Bedienungskomfort für den Benutzer ermöglicht werden kann.
  • Bevorzugt umfasst die Datenbrille ferner eine Ein- und/oder Ausgabevorrichtung, welche eingerichtet ist, eine Eingabe des Benutzers zu empfangen und/oder eine Ausgabe an den Benutzer auszugeben. Vorzugsweise weist die Ein- und/oder Ausgabevorrichtung eine Projektionsvorrichtung auf, welche eingerichtet ist, ein Bild, insbesondere auf eine Retina des Auges des Benutzers, zu projizieren. Vorzugsweise sind die Ein- und/oder Ausgabevorrichtung und die Blickerfassungsanordnung miteinander gekoppelt, insbesondere über die Steuervorrichtung der Blickerfassungsanordnung, sodass insbesondere die Ein- und/oder Ausgabevorrichtung in Abhängigkeit der Blickbewegungen des Auges steuerbar ist. Dadurch kann ein besonders benutzerfreundlicher Betrieb der Datenbrille ermöglicht werden, wobei durch die spezielle Art der Blickerfassung eine hohe Präzision bei gleichzeitig besonders niedrigen Energieverbrauch sowie geringen Kosten bereitgestellt werden kann.
  • Figurenliste
  • Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen in Verbindung mit den Figuren beschrieben. In den Figuren sind funktional gleiche Bauteile jeweils mit gleichen Bezugszeichen gekennzeichnet. Dabei zeigt:
    • 1 eine vereinfachte schematische Ansicht einer Datenbrille gemäß einem ersten Ausführungsbeispiel der Erfindung,
    • 2 eine vereinfachte schematische Detailansicht einer Durchführung einer Blickerfassung mit der Datenbrille der 1,
    • 3 eine weitere vereinfachte schematische Detailansicht der Durchführung der Blickerfassung mit der Datenbrille der 1,
    • 4 eine vereinfachte schematische Darstellung von Messdaten der Datenbrille der 1 bei der Durchführung der Blickerfassung,
    • 5 eine vereinfachte schematische Ansicht einer Datenbrille gemäß einem zweiten Ausführungsbeispiel der Erfindung, und
    • 6 eine vereinfachte schematische Ansicht einer Datenbrille gemäß einem dritten Ausführungsbeispiel der Erfindung.
  • Bevorzugte Ausführungsformen der Erfindung
  • 1 zeigt eine vereinfachte schematische Ansicht einer Datenbrille 50 gemäß einem ersten Ausführungsbeispiel der Erfindung. Die Datenbrille 50 umfasst ein Brillenglas 52, ein Brillengestell 51, in welchem das Brillenglas 52 aufgenommen ist, und einen Brillenbügel 53, welcher zur Halterung der Datenbrille 50 an einem Kopf eines Benutzers dient. Die Datenbrille 50 ist somit vorgesehen, um am Kopf des Benutzers getragen zu werden.
  • Die Datenbrille 50 umfasst eine Blickerfassungsanordnung 20, mittels welcher eine Blickrichtung eines Auges 10 des Benutzers ermittelt werden kann. Die Blickerfassungsanordnung 20 umfasst hierfür eine Laservorrichtung 3 und eine Steuervorrichtung 4, welche eingerichtet ist, die Laservorrichtung 4 zu betätigen um ein entsprechendes Verfahren zum Ermitteln der Blickrichtung des Auges 10 durchzuführen. Die Steuervorrichtung 4 ist für eine kompakte Konstruktion der Datenbrille 50 im Brillenbügel 53 angeordnet.
  • Die Laservorrichtung 3 umfasst insgesamt fünf Oberflächenemitter 3a, 3b, 3c, 3d, 3e als Laserquellen. Vier der fünf Oberflächenemitter 3a, 3b, 3c, 3d sind dabei am Brillengestell 51 rings um das Brillenglas 52 verteilt angeordnet. Ein fünfter Oberflächenemitter 3e ist am Brillenbügel 53 angeordnet. Jeder der Oberflächenemitter 3a, 3b, 3c, 3d, 3e ist eingerichtet, einen wellenlängenmodulierten Laserstrahl 1 auf das Auge 10 einzustrahlen. Dabei wird als Laserstrahl 1 in der Wellenlänge dreiecksmoduliertes Laserlicht ausgesendet. Aus Gründen der Übersichtlichkeit ist in den Figuren nur ein einzelner Laserstrahl 1, welcher vom ersten Oberflächenemitter 3a ausgesendet wird, angedeutet. Jeder Laserstrahl 1 ist dabei in einem separaten Laserspot 30a, 30b, 30c, 30d, 30e auf eine Augenoberfläche 11 des Auges 10 gerichtet.
  • Die 2 zeigt dabei die Laserspots 30a, 30b, 30c, 30d der ersten vier am Brillengestell 51 angeordneten Oberflächenemitter 3a, 3b, 3c, 3d. In 3 ist der durch den fünften Oberflächenemitter 3e erzeugte fünfte Laserspot 30e seitlich am Auge 10 dargestellt.
  • Wie in den 2 und 3 zu erkennen liegen die Laserspots 30a, 30b, 30c, 30d, 30e vorzugsweise innerhalb eines Bereichs der Iris 12 des Auges 10, oder in der Nähe dieses Bereichs. Dadurch wird bei einer Bewegung des Auges 10 häufig die Pupille 13 des Auges 10 nahe an den eingestrahlten Laserstrahlen 1 vorbei oder durch diese hindurch bewegt, sodass mit hoher Genauigkeit die Position und Bewegung der Pupille 13 ermittelt werden kann, um die Blickrichtung des Auges mit hoher Genauigkeit ermitteln zu können.
  • Die Durchführung des Verfahrens zum Ermitteln der Blickrichtung des Auges 10 wird nachfolgend im Detail beschrieben, wobei die Beschreibung nur anhand eines einzigen Laserstrahls 1 erfolgt.
  • Zunächst wird der Laserstrahl 1 auf das Auge 10 eingestrahlt. An der Augenoberfläche 11 wird der Laserstrahl 1 zumindest teilweise zurückgestreut, also zumindest teilweise reflektiert. Dabei erfolgt eine Überlagerung des eingestrahlten Laserstrahls 1 mit dem parallel in Richtung des Obenflächenemitters 3a zurück propagierenden Anteils des zurückgestreuten Anteils des eingestrahlten Laserstrahls 1. Mittels der in den Oberflächenemitter 3a integrierten Fotodiode wird eine Laser-Feedback-Interferometrie durchgeführt, um die resultierende Interferenz-Strahlung, also der Überlagerung aus eingestrahltem Laserstrahl 1 und in die entgegengesetzte Richtung propagierende zurückgestreute Strahlung, zu erfassen. Da die Fotodiode direkt in die Laserkavität des Oberflächenemitters 3a integriert ist, erfolgt die Erfassung der resultierenden Interferenz-Strahlung hier mittels des sogenannten self-mixing-Effekts.
  • Ein beispielhaftes Frequenzspektrum 25 der resultierenden Interferenz-Strahlung, welche mittels der integrierten Fotodiode des Oberflächenemitters 3a erfasst werden kann, ist in 4 vereinfacht schematisch dargestellt. Die Achse 25a entspricht dabei der Frequenz und die Achse 25b der Amplitude. Mit dem Bezugszeichen 26 ist die, beispielsweise mittels einer Fourier-Analyse, ermittelte Peak-Frequenz der erfassten Interferenz-Strahlung gekennzeichnet. Aufgrund der Dreiecksmodulation der Wellenlänge des eingestrahlten Laserstrahls 1 ist die Peak-Frequenz 26 abhängig von einer optischen Weglänge 2. Die optische Weglänge (vgl. 1), entspricht dabei einer Distanz, welche der Laserstrahl 1 zwischen dem Oberflächenemitter 3a und der Augenoberfläche 11 zurückgelegt. Da der Laserstrahl 1 im ersten Ausführungsbeispiel der 1 direkt auf das Auge 10 eingestrahlt wird, entspricht die optische Weglänge 2 der kürzesten Entfernung zwischen Oberflächenemitter 3a und Augenoberfläche 11. Somit kann bei bekannter Wellenlänge des eingestrahlten Laserstrahls 1 basierend auf der Laser-Feedback-Interferometrie die optische Weglänge 2 bei einer bestimmten Augenstellung, also bei einer bestimmten Blickrichtung, ermittelt werden.
  • Dargestellt ist dabei in 4 ein beispielhaftes Frequenzspektrum 25, welches bei konstanter Bewegung der Augenoberfläche 11 relativ zum Laserstrahl 1, also bei einer Rotation des Auges 10, aufgezeichnet wird. Bei einer solchen Bewegung erfolgt aufgrund des Doppler-Effekts eine Verschiebung 27 der Peak-Frequenz 26 hin zu einer gestrichelt eingezeichneten verschobenen Peak-Frequenz 26'. Die hierbei vorliegende Dopplerverschiebung der ausgesendeten und der zurückgestreuten Laserstrahlung kann somit anhand des Frequenzspektrums 25 ermittelt werden. Basierend auf dieser Dopplerverschiebung kann dabei die momentane Augengeschwindigkeit einer Bewegung des Auges 10 sowie eine Richtung der Bewegung ermittelt werden.
  • Zur Berechnung der Augengeschwindigkeit basierend auf der DopplerVerschiebung wird dabei zudem ein Winkel α zwischen der Augenoberfläche 11 und dem Laserstrahl 1, ermittelt und berücksichtig, um eine Schrägstellung des eingestrahlten Laserstrahls 1 relativ zur Augenoberfläche 11 zu kompensieren. Im Detail beschreibt der Winkel α den kleinsten Winkel zwischen dem Laserstrahl 1 und einer am entsprechenden Laserspot 30b tangential an der Augenoberfläche 11 angeordneten Ebene 35 (vgl. 3).
  • Zur Ermittlung des Winkels a kann eine Kalibrierung anhand einer Drehrate des Auges 10 durchgeführt werden. Die Drehrate des Auges 10 wird dabei basierend auf einer Drehrate des Kopfes des Benutzers ermittelt. Hierfür wird mittels eines Drehratensensors 6, welcher in den Brillenbügel 53 integriert ist, die Drehrate des Kopfes bei einer Drehung erfasst, während gleichzeitig mit dem Auge 10 ein im Raum ortsfester Punkt fixiert wird. Die Drehrate des Auges 10 wird dabei abgeschätzt unter der Annahme, dass das Auge eine der Kopfbewegung entgegengesetzte Bewegung ausführt.
  • Zusätzlich zur Erfassung der Frequenzen des eingestrahlten Laserstrahls 1 und dem zurückgestreuten Anteil wird ein Signal-Rausch-Verhältnis des zurückgestreuten Anteils des eingestrahlten Laserstrahls 1 erfasst, anhand welchem eine Reflektivität des Auges 10 ermittelt wird. Die Reflektivität ist dabei unterschiedlich für verschiedene Bereiche des Auges 10. Insbesondere ändert sich die ermittelte Reflektivität, wenn der Laserstrahl 1 anatomische Grenzen des Auges 10, wie beispielsweise die Iris 12 oder die Pupille 13, passiert. Dadurch kann anhand der Reflektivität des Auges 10 abgeschätzt werden, welcher Bereich des Auges 10 gerade vom Laserstrahl 1 bestrahlt wird. Zusammen mit der ermittelten optischen Weglänge 2 kann dabei eine momentane absolute Augenposition des Auges 10 ermittelt werden.
  • Somit kann mittels der Blickerfassungsanordnung 20 basierend auf der Laser-Feedback-Interferometrie eine Augenbewegung ermittelt werden, wodurch eine Blickbewegung des Auges 10 ermittelt und nachverfolgt werden kann. Zusammen mit der, beispielsweise nur zu vorgegebenen Zeitpunkten ausgeführten, Ermittlung der absoluten Augenposition zusätzlich basierend auf der Reflektivität, kann dabei die momentane Blickrichtung des Auges 10 ermittelt werden. Mittels der zur Durchführung der Bestimmung der Blickrichtung erforderlichen Komponenten kann dabei eine besonders hohe zeitliche Auflösung der Ermittlung der Blickrichtung bei niedrigem Energiebedarf erreicht werden. Zudem können hierbei besonders kostengünstige Bauteile verwendet werden.
  • 5 zeigt eine vereinfachte schematische Ansicht einer Datenbrille 50 gemäß einem zweiten Ausführungsbeispiel der Erfindung. Das zweite Ausführungsbeispiel entspricht im Wesentlichen dem ersten Ausführungsbeispiel der 1 mit dem Unterschied einer alternativen Anordnung der Laservorrichtung 3. Im zweiten Ausführungsbeispiel der 5 weist die Laservorrichtung 3 der Blickerfassungsanordnung 20 vier Oberflächenemitter 3a, 3b, 3c, 3d mit integrierter Fotodiode auf, welche alle am Brillenbügel 53 angeordnet sind. Die von den Oberflächenemittern 3a, 3b, 3c, 3d ausgesendeten Laserstrahlen 1 werden dabei indirekt auf das Auge 10 einstrahlt. Im Detail werden die Laserstrahlen 1 auf das Brillenglas 52 eingestrahlt, beispielhaft gekennzeichnet anhand eines Fokussierpunkts 1' auf dem Brillenglas 52. In das Brillenglas 52 ist dabei ein Umlenkelement 54 in Form eines holographischen optischen Elements integriert, welches die Laserstrahlen 1 zum Auge 10 hin umlenkt. Dadurch kann eine alternative Anordnung der Laservorrichtung 3 bereitgestellt werden, mittels welcher ebenfalls das Verfahren zum Ermitteln der Blickrichtung durchgeführt werden kann.
  • Weiterhin umfasst die Datenbrille 50 des zweiten Ausführungsbeispiels der 5 zusätzlich eine Ein- und/oder Ausgabevorrichtung 7, welche eingerichtet ist, eine Ausgabe an den Benutzer auszugeben. Die Ein- und/oder Ausgabevorrichtung 7 weist dabei eine Projektionseinheit auf, welche eingerichtet ist, ein Bild auf eine Retina des Auges 10 zu projizieren. Die Projektionseinheit kann beispielsweise zur Darstellung einer erweiterten oder virtuellen Realität (auch: augmented reality bzw. virtual reality) verwendet werden. Vorzugsweise ist die Projektionseinheit mit der Steuervorrichtung 4 gekoppelt, wobei die Steuervorrichtung 4 eingerichtet ist, die Projektionseinheit in Abhängigkeit der ermittelten Blickrichtung zu betätigen. Beispielsweise kann das projizierte Bild in Abhängigkeit der Blickrichtung angepasst werden.
  • 6 zeigt eine vereinfachte schematische Ansicht einer Datenbrille 50 gemäß einem dritten Ausführungsbeispiel der Erfindung. Das dritte Ausführungsbeispiel entspricht im Wesentlichen dem zweiten Ausführungsbeispiel der 5 mit einer alternativen Ausgestaltung der Laservorrichtung 3. Die Laservorrichtung 3 weist im dritten Ausführungsbeispiel nur einen einzigen Oberflächenemitter 3a als Laserquelle auf. Der von dem einzigen Oberflächenemitter 3a eingestrahlte einzelne Laserstrahl 1 wird mittels eines Strahlteilungselements 30 in zwei oder mehr Laserstrahlen 1a, 1b aufgeteilt. Die beiden Laserstrahlen 1a, 1b werden dabei wie im zweiten Ausführungsbeispiel der 5 indirekt über ein Umlenkelement 54 im Brillenglas 52 auf das Auge 10 eingestrahlt. Beispielsweise können die beiden Laserstrahlen 1a, 1b hierbei, wie in der 6 dargestellt, auf einen gemeinsamen Punkt am Auge 10 fokussiert werden. Durch die Strahlteilung gemäß dem dritten Ausführungsbeispiel kann eine weitere besonders vorteilhafte Konstruktion und Anordnung der Datenbrille 50 bereitgestellt werden.

Claims (15)

  1. Verfahren zum Ermitteln einer Blickrichtung eines Auges (10), umfassend die Schritte: - Einstrahlen von zumindest einem wellenlängenmodulierten Laserstrahl (1) auf ein Auge (10), - Ermitteln einer optischen Weglänge (2) des eingestrahlten Laserstrahls (1) basierend auf einer Laser-Feedback-Interferometrie des eingestrahlten Laserstrahls (1) und einem vom Auge (10) zurückgestreuten Anteil des eingestrahlten Laserstrahls (1), - Ermitteln einer Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl (1) und dem zurückgestreuten Anteil basierend auf der Laser-Feedback-Interferometrie, - Ermitteln einer Augengeschwindigkeit basierend auf der Dopplerverschiebung, und - Ermitteln einer Blickbewegung des Auges (10) basierend auf der optischen Weglänge (2) und der Augengeschwindigkeit.
  2. Verfahren nach Anspruch 1, ferner umfassend die Schritte: - Ermitteln einer Reflektivität des Auges (10) basierend auf Amplitude und Phasenlage des vom Auge (10) zurückgestreuten Anteils des eingestrahlten Laserstrahls (1), und - Ermitteln einer absoluten Augenposition basierend auf der Reflektivität und der optischen Weglänge (2).
  3. Verfahren nach Anspruch 2, wobei das Ermitteln der absoluten Augenposition zu vordefinierten Zeitpunkten erfolgt, und wobei eine Augenbewegung zwischen den vordefinierten Zeitpunkten basierend auf der Augengeschwindigkeit ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ermitteln der Augengeschwindigkeit basierend auf folgender Gleichung erfolgt: FD = 2 v cos(α)/λ, mit: der Augengeschwindigkeit v; einer Dopplerfrequenz FD, welche der Dopplerverschiebung zwischen dem eingestrahlten Laserstrahl (1) und dem zurückgestreuten Anteil des eingestrahlten Laserstrahls (1) entspricht; einem Winkel α zwischen einer Richtung des eingestrahlten Laserstrahls (1) und einer Tangente an einer Augenoberfläche (11), welche die Augenoberfläche (11) in einem Auftreffpunkt berührt, in welchem der eingestrahlte Laserstrahl (1) auf das Auge (10) auftrifft und welche zudem in der von einem Wellenvektor und einem Oberflächennormal am Auftreffpunkt aufgespannten Ebene liegt; und einer Wellenlänge Ä des eingestrahlten Laserstrahls (1).
  5. Verfahren nach Anspruch 4, ferner umfassend die Schritte: - Ermitteln einer Drehrate des Auges (10), und - Kalibrierung zur Bestimmung des Winkels a, wobei die Kalibrierung basierend auf der optischen Weglänge (2), der Augengeschwindigkeit, und der Drehrate des Auges (10) erfolgt.
  6. Verfahren nach Anspruch 5, wobei die Drehrate des Auges (10) basierend auf einer mittels eines Drehratensensors (7) erfassten Drehrate eines Kopfes des Benutzers ermittelt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend die Schritte: - Ermitteln einer maximalen Augengeschwindigkeit während einer Augenbewegung, und - Vorhersage einer Augenbewegungs-Endposition basierend auf der maximalen Geschwindigkeit.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest zwei Laserstrahlen (1) auf das Auge (10) eingestrahlt werden, und wobei die beiden eingestrahlten Laserstrahlen (1) derart ausgerichtet sind, dass ein Winkel und/oder ein Abstand zwischen einem Wellenvektor jedes eingestrahlten Laserstrahls (1) und jeweils zumindest einer von zwei zueinander orthogonalen Drehachsen des Auges (10) ungleich Null ist.
  9. Blickerfassungsanordnung zur Ermittlung einer Blickrichtung, umfassend: - eine Laservorrichtung (3), welche eingerichtet ist, zumindest einen Laserstrahl (1) auf ein Auge (10) einzustrahlen, und - eine Steuervorrichtung (4), welche eingerichtet ist, die Laservorrichtung (3) zu betätigen und das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
  10. Blickerfassungsanordnung nach Anspruch 9, wobei die Laservorrichtung (3) zumindest einen Oberflächenemitter (3a, 3b, 3c, 3d, 3e) mit integrierter Fotodiode aufweist.
  11. Blickerfassungsanordnung nach einem der Ansprüche 9 oder 10, wobei die Laservorrichtung (3) ein Strahlteilungselement (30) aufweist, welches eingerichtet ist, einen einzelnen Laserstrahl (1) in zumindest zwei Laserstrahlen (1a, 1b) aufzuteilen.
  12. Blickerfassungsanordnung nach einem der Ansprüche 9 bis 11, wobei der zumindest eine eingestrahlte Laserstrahl (1) direkt auf das Auge (10) eingestrahlt wird, und/oder wobei die Blickerfassungsanordnung (20) ferner ein Umlenkelement (54) aufweist, welches eingerichtet ist, den von der Laservorrichtung (3) eingestrahlten zumindest einen Laserstrahl (1) auf das Auge (10) umzulenken.
  13. Datenbrille, umfassend eine Blickerfassungsanordnung nach einem der Ansprüche 8 bis 12, wobei die Laservorrichtung (3) zumindest eine Laserquelle (3a, 3b, 3c, 3d, 3e) aufweist, welche an einem Brillengestell (51), welches insbesondere ein Brillenglas (52) umgibt, und/oder an einem Brillenbügel (53) und/oder in einem Brillenglas (52) angeordnet ist.
  14. Datenbrille nach Anspruch 13, ferner umfassend einen Drehratensensor (6), welcher eingerichtet ist, eine Drehung des Kopfes des Benutzers zu erfassen.
  15. Datenbrille nach einem der Ansprüche 13 bis 14, ferner umfassend eine Ein- und/oder Ausgabevorrichtung (7), welche eingerichtet ist, eine Eingabe des Benutzers zu empfangen und/oder eine Ausgabe an den Benutzer auszugeben.
DE102020206821.6A 2020-06-02 2020-06-02 Verfahren zum Ermitteln einer Blickrichtung eines Auges Pending DE102020206821A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020206821.6A DE102020206821A1 (de) 2020-06-02 2020-06-02 Verfahren zum Ermitteln einer Blickrichtung eines Auges
CN202110599318.6A CN113749609A (zh) 2020-06-02 2021-05-31 用于检测眼睛的注视方向的方法
US17/335,780 US11435578B2 (en) 2020-06-02 2021-06-01 Method for detecting a gaze direction of an eye

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020206821.6A DE102020206821A1 (de) 2020-06-02 2020-06-02 Verfahren zum Ermitteln einer Blickrichtung eines Auges

Publications (1)

Publication Number Publication Date
DE102020206821A1 true DE102020206821A1 (de) 2021-12-02

Family

ID=78508827

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020206821.6A Pending DE102020206821A1 (de) 2020-06-02 2020-06-02 Verfahren zum Ermitteln einer Blickrichtung eines Auges

Country Status (3)

Country Link
US (1) US11435578B2 (de)
CN (1) CN113749609A (de)
DE (1) DE102020206821A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208483A1 (de) 2021-08-05 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben einer Lasereinheit in Abhängigkeit von einem erkannten Zustand eines Objekts und Laservorrichtung
DE102022204107A1 (de) 2022-04-27 2023-11-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer Blickrichtung eines Auges und Datenbrille

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11442535B2 (en) * 2018-10-24 2022-09-13 Pcms Holdings, Inc. Systems and methods for region of interest estimation for virtual reality
GB2597671A (en) * 2020-07-29 2022-02-09 Sony Interactive Entertainment Inc Video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206626A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
DE102018214637A1 (de) 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014210892A1 (de) 2014-06-06 2015-12-17 Siemens Aktiengesellschaft Verfahren zum Betrieb einer durch mit wenigstens einem Körperteil des menschlichen Körpers durchgeführten Gesten steuerbaren Eingabevorrichtung und Eingabevorrichtung
CN108352075B (zh) 2015-11-06 2020-01-21 脸谱科技有限责任公司 使用光流的眼睛跟踪
US10908279B2 (en) * 2016-03-11 2021-02-02 Facebook Technologies, Llc Ultrasound/radar for eye tracking
DE102016212236A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Interaktionssystem und -verfahren
US10762810B2 (en) 2018-01-05 2020-09-01 North Inc. Augmented reality eyebox fitting optimization for individuals
US10884492B2 (en) * 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
CN115202037A (zh) 2019-03-06 2022-10-18 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
DE102020206822A1 (de) * 2020-06-02 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben einer Datenbrille

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206626A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
DE102018214637A1 (de) 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GIULIANI, Guido, et al.: Laser diode self-mixing technique for sensing applications. Journal of optics A Pure and applied optics, 2002, 4. Jg., Nr. 6, S. S283 – S294.
PRUIJMBOOM, Armand, et al.: VCSEL-based miniature laser-Doppler interferometer. In Vertical-Cavity Surface-Emitting Lasers XII. International Society for Optics and Photonics, 2008. S. 69080I - doi: 10.1117/12.775131.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208483A1 (de) 2021-08-05 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben einer Lasereinheit in Abhängigkeit von einem erkannten Zustand eines Objekts und Laservorrichtung
US11592900B1 (en) 2021-08-05 2023-02-28 Robert Bosch Gmbh Method and device for operating a laser unit as a function of a detected state of an object, and laser device
DE102022204107A1 (de) 2022-04-27 2023-11-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer Blickrichtung eines Auges und Datenbrille

Also Published As

Publication number Publication date
US11435578B2 (en) 2022-09-06
US20210373325A1 (en) 2021-12-02
CN113749609A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
DE102020206821A1 (de) Verfahren zum Ermitteln einer Blickrichtung eines Auges
EP3844537A1 (de) Verfahren zum ermitteln einer blickrichtung eines auges
DE102020127593A1 (de) Blickverfolgungsanordnung
EP3652578B1 (de) Anordnung und verfahren zur störungskorrektur für bildgebende strömungsmessverfahren
DE102020206822A1 (de) Verfahren zum Betreiben einer Datenbrille
EP0801760A1 (de) Verfahren zur ermittlung der lage eines objektdetails relativ zu einem operationsmikroskop und vorrichtung dazu
DE112012004255T5 (de) Räumlich selektive Erkennung unter Verwendung einer dynamischen Maske in einer Bildebene
DE102005046690A1 (de) Vorrichtung zur auf spektraler interferenz basierender optischer Kohärenztomographie und ophthalmologische Vorrichtung
DE102016226294A1 (de) Verfahren und Vorrichtung zur Bestimmung der Brechkraft einer Linse in einem Auge und Verwendung
WO2022084092A1 (de) Optische anordnung einer datenbrille
US9072457B2 (en) Optical image measurement apparatus and optical attenuator
CN103961062A (zh) 光学断层成像装置及其控制方法
EP2709577B1 (de) Gerät zur untersuchung oder bearbeitung eines humanen auges
EP0610374B1 (de) Verfahren zur messung der neigungen von grenzflächen in einem optischen system
DE20321218U1 (de) Vorrichtung zur optischen Abtastung
EP0563454A1 (de) Verfahren und Vorrichtung zum Untersuchen des Auges
EP4327155A1 (de) Verfahren zum erkennen von augengesten eines auges
DE102013110524A1 (de) Fügevorrichtung mit Nahtführungssensorik
DE102021207058A1 (de) Verfahren zur Erkennung von menschlichen Aktivitäten
DE102009040990A1 (de) Vorrichtung und Verfahren zum Vermessen einer Oberfläche
EP3858227A1 (de) Verfahren und vorrichtung zur bestimmung einer flugbahn und abbildungsvorrichtung
Irie et al. A laser-based eye-tracking system
EP3572766B1 (de) Oct-system, verfahren zur erzeugung eines oct-bildes und speichermedium
DE102016006776A1 (de) Vorrichtung und Verfahren zur eindeutigen Abstandsmessung mit moduliertem LIDAR
WO2023285032A1 (de) Verfahren zur bestimmung einer augenposition

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: HOEFER & PARTNER PATENTANWAELTE MBB, DE

R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: TRUMPF PHOTONIC COMPONENTS GMBH, DE

Free format text: FORMER OWNER: ROBERT BOSCH GESELLSCHAFT MIT BESCHRAENKTER HAFTUNG, 70469 STUTTGART, DE

Owner name: ROBERT BOSCH GESELLSCHAFT MIT BESCHRAENKTER HA, DE

Free format text: FORMER OWNER: ROBERT BOSCH GESELLSCHAFT MIT BESCHRAENKTER HAFTUNG, 70469 STUTTGART, DE

R083 Amendment of/additions to inventor(s)