DE102020206452A1 - Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses - Google Patents

Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses Download PDF

Info

Publication number
DE102020206452A1
DE102020206452A1 DE102020206452.0A DE102020206452A DE102020206452A1 DE 102020206452 A1 DE102020206452 A1 DE 102020206452A1 DE 102020206452 A DE102020206452 A DE 102020206452A DE 102020206452 A1 DE102020206452 A1 DE 102020206452A1
Authority
DE
Germany
Prior art keywords
light
eye
projection
oculography
pupil region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102020206452.0A
Other languages
German (de)
Inventor
Thomas Alexander Schlebusch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020206452.0A priority Critical patent/DE102020206452A1/en
Publication of DE102020206452A1 publication Critical patent/DE102020206452A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/04—Illuminating means

Abstract

Die vorliegende Erfindung schafft eine Projektions- und Okulografievorrichtung (1) für eine Datenbrille (10) umfassend ein Projektionssystem (2) mit einer ersten Lichtquelle (LQ1), welche ein erstes Licht (L1) im sichtbaren Wellenlängenbereich emittiert, und einer zweiten Lichtquelle (LQ2), welche ein zweites Licht (L2) in einem Infrarotbereich emittiert; eine optische Umlenkvorrichtung (20), welche in oder an einem Brillenglas der Datenbrille (10) angeordnet ist, welches mit dem ersten Licht (L1) und mit dem zweiten Licht (L2) gleichzeitig bestrahlbar ist und durch welches das erste Licht (L1) und das zweite Licht (2) auf ein Auge eines Benutzers umlenkbar sind; eine Detektoreinrichtung (5), welche dazu eingerichtet ist, das von dem Auge des Benutzers reflektierte zweite Licht (L2') zu detektieren und daraus ein Detektionssignal zu erzeugen; eine Datenverarbeitungseinrichtung (DE), welche dazu eingerichtet ist, das Detektionssignal zu empfangen und daraus eine zeitliche Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges zu ermitteln und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion zu erkennen.The present invention creates a projection and oculography device (1) for data glasses (10) comprising a projection system (2) with a first light source (LQ1), which emits a first light (L1) in the visible wavelength range, and a second light source (LQ2 ), which emits a second light (L2) in an infrared range; an optical deflection device (20) which is arranged in or on a spectacle lens of the data glasses (10), which can be irradiated with the first light (L1) and the second light (L2) at the same time and through which the first light (L1) and the second light (2) can be deflected onto an eye of a user; a detector device (5) which is set up to detect the second light (L2 ') reflected by the eye of the user and to generate a detection signal therefrom; a data processing device (DE) which is set up to receive the detection signal and to use it to determine a temporal intensity variation of the reflected second light over a spatial extension of the eye and thereby to recognize a pupil region and a viewing direction of this pupil region.

Description

Die vorliegende Erfindung betrifft eine Projektions- und Okulografievorrichtung für eine Datenbrille und ein Verfahren zum Betreiben einer Projektions- und Okulografievorrichtung für eine Datenbrille.The present invention relates to a projection and oculography device for data glasses and a method for operating a projection and oculography device for data glasses.

Stand der TechnikState of the art

Bei der Okulografie kann eine Blickerfassung (eye-tracking) erfolgen, wonach die Bewegung der Augen und die Blickrichtung ermittelt werden kann, für eine breite Anwendung in der Konsumentenforschung, etwa in der Beobachtung des Leseflusses zur Optimierung der Platzierung von Werbung. Diese Technologie kann bei Datenbrillen zum Einsatz kommen, um abhängig von der Blickrichtung des Benutzers den dargestellten Bildinhalt anzupassen. Hierbei kann beispielsweise zur elektrischen Leistungsreduktion die Darstellung hochaufgelöster Bildinhalte auf einen Bereich des schärfsten Sehens begrenzt werden und entfernt davon eher geringer aufgelöste Inhalte dargestellt werden. Bei Anwendungen der Augmented Reality Systeme, etwa (teil)transparente Systeme, welche eine natürliche Wahrnehmung des Umfelds mit der Darstellung virtueller Inhalte kombinieren) können Informationen, Ergänzungen und Hinweise aus Gründen der Übersichtlichkeit nur für betrachtete Objekte eingeblendet werden.In oculography, eye tracking can be carried out, after which the movement of the eyes and the direction of gaze can be determined, for a broad application in consumer research, for example in the observation of the reading flow to optimize the placement of advertising. This technology can be used in data glasses in order to adapt the displayed image content depending on the direction in which the user is looking. In this case, for example, to reduce electrical power, the display of high-resolution image content can be limited to an area of sharpest vision and rather lower-resolution content can be displayed away therefrom. In applications of augmented reality systems, such as (partially) transparent systems that combine a natural perception of the environment with the display of virtual content), information, additions and notes can only be displayed for objects being viewed for reasons of clarity.

Gängige Systeme können dabei kamerabasiert sein, über die Augen scannend, oder auf elektrischen Messungen basieren.Common systems can be camera-based, scan through the eyes, or based on electrical measurements.

Bei kamerabasierten Systemen ist eine Kamera vom Brillengestell auf das Auge gerichtet. Bei einigen Systemen kommen zusätzlich ein oder mehrere Infrarot-Lichtquellen hinzu, die gegebenenfalls moduliert betrieben werden können. Die Blickrichtung kann durch ein Augenmodell, kontrastbasierte Detektion der Pupille (dark vs. bright pupil), Limbus-Tracking (Kontrastgrenze zwischen Cornea und Sclera) oder einer Lokalisierung des Hornhautreflexes aus den Bildinformationen ermittelt werden. Des Weiteren können Systeme über strukturiertes Licht ein Muster (meist Punktwolken- oder Linienmuster) auf das Auge projizieren und über die charakteristische Formänderung im Bereich der Cornea gegenüber dem Bereich der Sclera die Blickrichtung ermitteln.In camera-based systems, a camera from the glasses frame is aimed at the eye. In some systems, one or more infrared light sources are added, which can be operated in a modulated manner, if necessary. The viewing direction can be determined from the image information by an eye model, contrast-based detection of the pupil (dark vs. bright pupil), limbus tracking (contrast border between cornea and sclera) or a localization of the corneal reflex. Furthermore, systems can project a pattern (mostly point cloud or line pattern) onto the eye using structured light and determine the direction of gaze using the characteristic change in shape in the area of the cornea compared to the area of the sclera.

Bei gescannten Lasersystemen kann eine im Brillengestell integrierte Laserquelle beispielsweise durch einen Mikro-Elektro-Mechanischen (MEMS) Mikrospiegel über das Auge geführt werden. Aus dem vom Auge reflektierten Signal kann dann die Blickrichtung ermittelt werden.In the case of scanned laser systems, a laser source integrated in the glasses frame can be guided over the eye, for example by a micro-electro-mechanical (MEMS) micromirror. The viewing direction can then be determined from the signal reflected by the eye.

Elektrische Messungen basieren darauf, dass die durch lonenverschiebungen bei Muskelkontraktion entstehenden messbaren elektrischen Felder als sogenanntes Elektromyogramm aufgezeichnet werden können. Kommt das Verfahren im Bereich der Augen zum Einsatz, spricht man von Elektro-Oculogramm. Durch Signalverarbeitung der abgeleiteten elektrischen Signale kann ebenfalls auf die Augenbewegung geschlossen werden. In weiterer Ausführung kann bei elektromagnetischen Messungen sich eine Spule im Magnetfeld einer anderen Spule befinden, und die magnetische Kopplung der beiden Spulen ist von der Ausrichtung zueinander abhängig. Wird eine Spule im Brillengestell und eine weitere Spule in einer Kontaktlinse integriert, ist ebenfalls eine Ermittlung der Blickrichtung möglich.Electrical measurements are based on the fact that the measurable electrical fields resulting from ion shifts during muscle contraction can be recorded as a so-called electromyogram. If the procedure is used in the area of the eyes, it is known as an electro-oculogram. By processing the derived electrical signals, conclusions can also be drawn about eye movement. In a further embodiment, for electromagnetic measurements, one coil can be located in the magnetic field of another coil, and the magnetic coupling of the two coils is dependent on the alignment with one another. If a coil is integrated in the spectacle frame and another coil is integrated in a contact lens, it is also possible to determine the viewing direction.

Die meisten Systeme sind kamerabasierte Video-Okulografiesysteme, deren Energieverbrauch durch aktive Infrarot-Beleuchtung, den Kamerachip selbst, sowie der notwendigen kantenbasierten Bilderkennung jedoch vergleichsweise groß ist. Scannende laserbasierte Okulografiesysteme kommen ohne aktive Beleuchtung aus und die Detektorschaltung ist vergleichsweise energieeffizient, sodass deutliche Einsparungen im Energieverbrauch gegenüber Video-Okulografiesystemen möglich sind.Most systems are camera-based video oculography systems, but their energy consumption due to active infrared lighting, the camera chip itself and the necessary edge-based image recognition is comparatively large. Scanning laser-based oculography systems manage without active lighting and the detector circuit is comparatively energy-efficient, so that significant savings in energy consumption compared to video oculography systems are possible.

In der DE 10 2015 213 376 A1 wird eine Projektionsvorrichtung für eine Datenbrille sowie ein Verfahren zum Betreiben dieser beschrieben, wobei die Projektionsvorrichtung einen Lichtstrahl auf ein holografisches Element in einem Brillenglas sendet.In the DE 10 2015 213 376 A1 describes a projection device for data glasses and a method for operating them, the projection device sending a light beam onto a holographic element in a spectacle lens.

Offenbarung der ErfindungDisclosure of the invention

Die vorliegende Erfindung schafft eine Projektions- und Okulografievorrichtung für eine Datenbrille nach Anspruch 1 und ein Verfahren zum Betreiben einer Projektions- und Okulografievorrichtung für eine Datenbrille nach Anspruch 9.The present invention provides a projection and oculography device for data glasses according to claim 1 and a method for operating a projection and oculography device for data glasses according to claim 9.

Bevorzugte Weiterbildungen sind Gegenstand der Unteransprüche.Preferred further developments are the subject of the subclaims.

Vorteile der ErfindungAdvantages of the invention

Die der vorliegenden Erfindung zugrundeliegende Idee besteht darin, eine Projektions- und Okulografievorrichtung für eine Datenbrille sowie ein Verfahren zum Betreiben einer Projektions- und Okulografievorrichtung für eine Datenbrille anzugeben, wobei ein Energieverbrauch der Projektions- und Okulografievorrichtung deutlich reduziert werden kann, da nach einem anfänglichen Erkennen der Pupillenregion nur noch ein bestimmter Bereich für die Okulografie betrachtet wird. Durch eine kompakte Ausführung der Projektions- und Okulografievorrichtung kann diese vorteilhaft in eine Datenbrille integriert werden.The idea on which the present invention is based is to provide a projection and oculography device for data glasses and a method for operating a projection and oculography device for data glasses, with the energy consumption of the projection and oculography device being able to be significantly reduced, since after an initial recognition In the pupil region, only a certain area is considered for oculography. Due to the compact design of the projection and oculography device, it can advantageously be integrated into data glasses.

Erfindungsgemäß umfasst die Projektions- und Okulografievorrichtung für eine Datenbrille ein Projektionssystem mit einer ersten Lichtquelle, welche ein erstes Licht im sichtbaren Wellenlängenbereich emittiert, und einer zweiten Lichtquelle, welche ein zweites Licht in einem Infrarotbereich emittiert; eine optische Umlenkvorrichtung, welche in oder an oder auf einem Brillenglas der Datenbrille angeordnet ist, welches mit dem ersten Licht und mit dem zweiten Licht gleichzeitig bestrahlbar ist und durch welche das erste Licht und das zweite Licht auf ein Auge eines Benutzers umlenkbar sind; eine Detektoreinrichtung, welche dazu eingerichtet ist, das von dem Auge des Benutzers reflektierte zweite Licht zu detektieren und daraus ein Detektionssignal zu erzeugen; eine Steuereinrichtung, welche mit dem Projektionssystem verbunden ist; eine Datenverarbeitungseinrichtung, welche mit der Detektoreinrichtung und mit der Steuereinrichtung verbunden ist, und dazu eingerichtet ist, das Detektionssignal zu empfangen und daraus eine zeitliche Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges zu ermitteln und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion zu erkennen, wobei die Steuereinrichtung dazu eingerichtet ist, das Projektionssystem derart anzusteuern, dass anfänglich ein Bereich der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht beleuchtet wird und nach einem Erkennen der Pupillenregion nur noch ein Betrachtungsbereich der Pupillenregion mit dem zweiten Licht beleuchtet wird.According to the invention, the projection and oculography device for data glasses comprises a projection system with a first light source, which emits a first light in the visible wavelength range, and a second light source, which emits a second light in an infrared range; an optical deflection device which is arranged in or on or on a spectacle lens of the data glasses, which can be irradiated with the first light and the second light at the same time and by which the first light and the second light can be deflected onto an eye of a user; a detector device which is set up to detect the second light reflected from the eye of the user and to generate a detection signal therefrom; a control device connected to the projection system; a data processing device, which is connected to the detector device and to the control device, and is set up to receive the detection signal and from it to determine a temporal intensity variation of the reflected second light over a spatial extension of the eye and thereby to assign a pupil region and a viewing direction of this pupil region The control device is set up to control the projection system in such a way that initially an area of the spatial extent of the eye is illuminated with the first and second light and, after the pupil region has been recognized, only a viewing area of the pupil region is illuminated with the second light.

Im Energiesparmodus, bei dem die Laserstrahlung des infraroten Messlasers nur in einem Teilbereich aktiviert werden kann, etwa in dem sich die meiste pupillenpositionsbezogene Information befinden können, erfolgt als Bestrahlung beispielsweise in einem Bereich rund um die Pupille, der dem Bereich der Iris entsprechen kann. Zur Reduktion der auf die Netzhaut einfallenden Strahlungsleistung kann darüber hinaus der Bereich der Pupille zumindest in einem zentralen Teilbereich dunkelgetastet werden.In the energy-saving mode, in which the laser radiation of the infrared measuring laser can only be activated in a partial area, e.g. in which most of the pupil position-related information can be found, the irradiation takes place, for example, in an area around the pupil that can correspond to the area of the iris. In order to reduce the radiation power incident on the retina, the area of the pupil can also be blanked at least in a central partial area.

Für eine Darstellung von Bildinformation kann ein vorhandener Lasertreiber genutzt werden, um auch die (unsichtbare) zweite Wellenlänge (zweites Licht) ein Muster projizieren zu lassen. Für eine Anwendung von Bildverarbeitungsalgorithmen können beispielsweise zwei Eckpunkte der Augen, etwa rechts und links am Rand des Auges, oder Ränder oder Endpunkte der Tränensäckchen, und/oder Iris- und Pupillenkanten genutzt werden. Um Energie zu sparen, kann darauf verzichtet werden in weiterer Folge das ganze Gesicht bzw. die ganze Augenregion zu beleuchten, sondern vielmehr nur die Punkte, die dem Algorithmus wichtig sind, also etwa den Bereich rund um die Pupille, der dem Bereich der Iris entsprechen kann. Es kann anfangs initial einmal alles, etwa die ganze Augenregion oder das ganze Gesicht, beleuchtet werden, dies kann vorteilhaft aber auf eine Zeitsequenz, also auf einen Frame aus 60 fps, also etwa 17ms beschränkt werden. Danach werden vorteilhaft nur noch diese algorithmischen ausgewählten Bereiche/Betrachungsbereiche (point of interest) beleuchtet und natürlich verfolgt/getrackt, denn die Brille kann verrutschen und das Auge bewegt sich dann. Diese Betrachtungspunkte (ROI) werden nicht nur zur gezielten Beleuchtung, sondern auch zur gezielten Bildverarbeitung nur dieser Pixel-Teilbereiche genutzt, um die Komplexität der Berechnung zu reduzieren.An existing laser driver can be used to display image information in order to also have the (invisible) second wavelength (second light) project a pattern. For the application of image processing algorithms, for example, two corner points of the eyes, for example right and left at the edge of the eye, or edges or end points of the tear sacs, and / or edges of the iris and pupil can be used. In order to save energy, it is not necessary to subsequently illuminate the entire face or the entire eye region, but rather only the points that are important to the algorithm, i.e. the area around the pupil that corresponds to the area of the iris can. Initially everything, for example the entire eye region or the entire face, can be illuminated, but this can advantageously be limited to a time sequence, i.e. to a frame of 60 fps, i.e. around 17 ms. Thereafter, advantageously only these algorithmic selected areas / viewing areas (point of interest) are illuminated and of course tracked / tracked, because the glasses can slip and the eye then moves. These viewing points (ROI) are not only used for targeted lighting, but also for targeted image processing only of these pixel sub-areas in order to reduce the complexity of the calculation.

Die Detektoreinrichtung kann eine Photodiode umfassen, welche im Bereich der Wellenlänge des zweiten Lichts sensitiv sein kann. Diese kann das vom Auge reflektierte zweite Licht direkt auffangen, oder umgelenkt über die Umlenkvorrichtung, etwa ein holographisches optisches Element, und/oder über einen Umlenkspiegel, etwa einem Mikrospiegel der Projektionsvorrichtung. Die Projektions- und Okulografievorrichtung kann mit deren Komponenten als eine MEMS-Vorrichtung ausgebildet sein (Mikroelektromechanisch). Die Detektoreinrichtung kann über einen schmalbandigen Wellenlängenfilter verfügen, um vorzugsweise nur im Bereich des zweiten Lichts sensitiv zu sein. Die Detektorvorrichtung kann über mehrere Detektoren, zum Beispiel Photodioden, mit jeweils nah beieinanderliegenden, aber unterschiedlichen sensitiven Wellenlängen, verfügen. Beispielsweise kann ein Detektor über einen schmalbandigen Laserlinienfilter im Bereich des zweiten Lichts (verfügt) sensitiv sein, ein zweiter Detektor durch einen zweiten schmalbandigen Laserlinienfilter, der zwar nah am Wellenlängenbereich des ersten Laserlinienfilters liegt, aber von diesem verschieden ist (beispielsweise 20 Nanometer Unterschied) sensitiv sein (verfügt). Die Detektoreinrichtung kann durch Auswertung der Signale der hier beispielhaft genannten zwei Photodioden breitbandige Störstrahlung (beispielsweise Sonnenlicht) im Wellenlängenbereich des zweiten Lichts unterdrücken.The detector device can comprise a photodiode which can be sensitive in the range of the wavelength of the second light. This can directly collect the second light reflected by the eye, or deflect it via the deflection device, for example a holographic optical element, and / or via a deflection mirror, for example a micromirror of the projection device. The projection and oculography device with its components can be designed as a MEMS device (microelectromechanical). The detector device can have a narrow-band wavelength filter in order to be sensitive preferably only in the region of the second light. The detector device can have several detectors, for example photodiodes, each with closely spaced but different sensitive wavelengths. For example, a detector can be sensitive via a narrow-band laser line filter in the area of the second light, a second detector via a second narrow-band laser line filter, which is close to the wavelength area of the first laser line filter, but is different from it (e.g. 20 nanometer difference) to be (disposes). The detector device can suppress broadband interference radiation (for example sunlight) in the wavelength range of the second light by evaluating the signals of the two photodiodes mentioned here by way of example.

Die Steuereinrichtung kann Steuersignale an die Lichtquellen, an einen Mikrospiegel zum Scannen über die räumliche Ausdehnung des Auges und an weitere Komponenten senden und Informationen von diesen und anderen Komponenten erhalten, etwa von der Detektoreinrichtung und der Datenverarbeitungseinrichtung.The control device can send control signals to the light sources, to a micromirror for scanning over the spatial extent of the eye and to further components and receive information from these and other components, for example from the detector device and the data processing device.

Die Pupillenregion kann durch Algorithmen der Bilderkennung oder der Intensitätserkennung, etwa von hell-dunkel-Grenzen, erkannt werden. Dabei kann anfangs der gesamte Augenbereich beleuchtet werden, etwa mit dem zweiten Licht, und danach nur eine Region (Betrachtungsbereich) um oder an der Pupille, wenn die Pupillenregion erkannt wurde. Da die Algorithmen der Bilderkennung hauptsächlich auf hell-dunkel-Grenzen basieren, kann das zweite Licht im Bereich homogener Reflektivität deaktiviert werden, um elektrische Leistung zu sparen. Ein Bereich homogener Reflektivität ist beispielsweise innerhalb der Pupille oder außerhalb der Iris. Der Bereich, in dem die Steuereinrichtung die zweite Lichtquelle aktiviert, kann als einschränkende sogenannte Region Of Interest für den Bilderkenner verwendet werden, um die benötigte zu verarbeitende Bildpunktezahl zu reduzieren und so nicht nur auf Seiten des Sensors, sondern auch auf Seiten des Bilderkenners elektrische Energie zu sparen. Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung umfasst die optische Umlenkvorrichtung ein holografisches optisches Element, das im Brillenglas eingebettet ist oder am oder auf dem Brillenglas angeordnet ist, wobei das holografische optische Element mit dem ersten Licht und mit dem zweiten Licht gleichzeitig bestrahlbar ist und durch welches das erste Licht und das zweite Licht auf ein Auge eines Benutzers umlenkbar sind.The pupil region can be recognized by algorithms of image recognition or intensity recognition, for example of light-dark borders. Initially, the entire eye area can be illuminated, for example with the second light, and then only one region (viewing area) around or on the pupil when the pupil region has been recognized. Since the algorithms of the image recognition are mainly based on light-dark borders, the second light can be deactivated in the area of homogeneous reflectivity to save electrical power. A region of homogeneous reflectivity is, for example, inside the pupil or outside the iris. The area in which the control device activates the second light source can be used as a restrictive so-called region of interest for the image recognizer in order to reduce the number of pixels to be processed and thus electrical energy not only for the sensor but also for the image recognizer to save. According to a preferred embodiment of the projection and oculography device, the optical deflection device comprises a holographic optical element that is embedded in the spectacle lens or is arranged on or on the spectacle lens, the holographic optical element being irradiated with the first light and with the second light at the same time and by which the first light and the second light can be deflected onto an eye of a user.

Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung ist das holographische optische Element vorzugsweise in das Brillenglas eingebettet und umfasst für das erste Licht eine konvergierende optische Wirkung bezüglich des Auges und umfasst für das zweite Licht eine divergierende optische Wirkung bezüglich des Auges. Die beiden unterschiedlichen Hologrammfunktionen können entweder in eine gleiche Photopolymerschicht des holographischen optischen Elements einbelichtet werden. Alternativ können die Hologramme für das erste Licht und das zweite Licht in zwei separaten Photopolymerschichten im holographischen optischen Element realisiert werden, die anschließend mittels eines Klebers zusammengefügt und in ein Brillenglas eingebettet werden. Die Einbettung kann beispielsweise durch Gießen des Brillenglases in einer zweiteiligen Gussform durchgeführt werden. Damit die holografischen Photopolymerschichten präzise im so hergestellten Brillenglas positioniert werden können, können diese auf einer Trägerfolie vormontiert sein. Die Trägerfolie kann mit einer leichten Beugung hergestellt werden, um dadurch eine stabilere Form zu haben und sich im nachfolgenden Gussprozess nicht zu verformen.According to a preferred embodiment of the projection and oculography device, the holographic optical element is preferably embedded in the spectacle lens and comprises a converging optical effect with respect to the eye for the first light and a diverging optical effect with respect to the eye for the second light. The two different hologram functions can either be exposed in an identical photopolymer layer of the holographic optical element. Alternatively, the holograms for the first light and the second light can be implemented in two separate photopolymer layers in the holographic optical element, which are then joined together by means of an adhesive and embedded in a spectacle lens. The embedding can be carried out, for example, by casting the spectacle lens in a two-part casting mold. So that the holographic photopolymer layers can be positioned precisely in the spectacle lens produced in this way, they can be preassembled on a carrier film. The carrier film can be produced with a slight bend in order to have a more stable shape and not to deform in the subsequent casting process.

Bei der Datenbrille kann es sich um eine Retina-Projektionsdatenbrille handeln. Das holographische Element kann eine konvergierende optische Funktion aufweisen, mit welcher die Lichtstrahlen auf Punkten der Retina fokussiert werden können. Durch ein derartiges holographisches Element kann eine optische Qualität der konvergierenden Abbildung auf das Auge und der Reflexion des zweiten Lichts zurück zur Detektoreinrichtung verbessert werden und eine hohe optische Qualität erzeugt. Der sichtbare Strahlengang kann dabei auf eine vorteilhafte und qualitative optische Wahrnehmung eingestellt werden, während gleichzeitig der unsichtbare Messlaser des zweiten Lichts auf einen angemessenen Messbereich optimiert werden kann. Mittels geeigneter Wahl der optischen Funktionen des holographischen Elements können verschiedene Abwägungen zwischen Messbereich und Messauflösung dargestellt werden, wobei ein kleiner Bereich um die Augenmitte abdeckbar sein kann, jedoch mit vielen Messpunkten pro Fläche oder einem eher großen Bereich, was eine größere Toleranz gegenüber einem Verrutschen der Brille aufweisen kann.The data glasses can be retina projection data glasses. The holographic element can have a converging optical function with which the light rays can be focused on points of the retina. Such a holographic element can improve the optical quality of the converging image onto the eye and the reflection of the second light back to the detector device and produce a high optical quality. The visible beam path can be adjusted to an advantageous and qualitative optical perception, while at the same time the invisible measuring laser of the second light can be optimized to an appropriate measuring range. By means of a suitable choice of the optical functions of the holographic element, various trade-offs between the measurement range and measurement resolution can be represented, whereby a small area around the center of the eye can be covered, but with many measurement points per area or a rather large area, which means a greater tolerance for the May have glasses.

Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung umfasst die optische Umlenkvorrichtung einen optischen Wellenleiter, welcher mit dem ersten Licht und mit dem zweiten Licht gleichzeitig bestrahlbar ist.According to a preferred embodiment of the projection and oculography device, the optical deflection device comprises an optical waveguide which can be irradiated with the first light and with the second light at the same time.

Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung ist die Datenverarbeitungseinrichtung dazu eingerichtet, nach dem Erkennen der Pupillenregion zumindest einen Betrachtungsbereich für eine Beobachtung der Pupillenregion zu bestimmen, in welchem das Bestrahlen mit dem ersten und dem zweiten Licht und eine Auswertung der zeitlichen Intensitätsvariation des reflektierten zweiten Lichts erfolgt.According to a preferred embodiment of the projection and oculography device, the data processing device is set up, after the pupil region has been recognized, to determine at least one viewing area for observing the pupil region, in which the irradiation with the first and second light and an evaluation of the temporal intensity variation of the reflected second light takes place.

Nach dem Bestimmen des einen oder mehrerer Betrachtungsbereiche kann zumindest das zweite Licht nur auf diese Bereiche gelenkt und von diesen reflektiert werden, wodurch eine Reduktion der benötigten Energie erzielt werden kann.After the one or more viewing areas have been determined, at least the second light can only be directed onto and reflected by these areas, as a result of which a reduction in the energy required can be achieved.

Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung umfasst das Projektionssystem einen beweglichen Mikrospiegel, mit welchem das erste Licht und das zweite Licht auf die optische Umlenkvorrichtung lenkbar sind und über welchen bestimmte Bereiche der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht bestrahlbar sind.According to a preferred embodiment of the projection and oculography device, the projection system comprises a movable micromirror with which the first light and the second light can be directed onto the optical deflection device and via which certain areas of the spatial expansion of the eye can be irradiated with the first and second light.

Der Mikrospiegel kann vorteilhaft derart bewegbar sein, dass das Licht (erstes und zweites) zweidimensional über den Augenbereich gescannt werden kann.The micromirror can advantageously be movable in such a way that the light (first and second) can be scanned two-dimensionally over the eye area.

Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung sind das Projektionssystem sowie die Detektoreinrichtung in einem Brillengestell der Datenbrille angeordnet.According to a preferred embodiment of the projection and oculography device, the projection system and the detector device are arranged in a spectacle frame of the data glasses.

Durch eine derartige Ausformung kann die Okulografiekomponente im Projektionsmodul und dem Brillengestell integriert sein. Dadurch ist eine höhere Integrationsdichte als bei existierenden Systemen möglich. Durch diesen Integrationsgrad kann darüber hinaus die Fertigbarkeit (Herstellung) vereinfacht werden, da auf aktive elektrische Komponenten außerhalb der Projektions- und Okulografievorrichtung verzichtet werden kann, z.B. keine Kamera oder Photodiode nasal am Brillengestell angebracht werden müssen.With such a shaping, the oculography component can be integrated in the projection module and the spectacle frame. This enables a higher integration density than with existing systems. This degree of integration also makes it easier to manufacture (manufacture), since active electrical components outside the projection and oculography device can be dispensed with, for example no camera or photodiode must be attached nasally to the glasses frame.

Erfindungsgemäß kann auf spezielle Laser verzichtet werden, so kann etwa ein normaler Kanten- oder Oberflächenemittierender infraroter Messlaser realisiert und genutzt werden. Die Detektoreinrichtung kann dazu beispielsweise eine Silizium-Photodiode umfassen und nutzen, die zwischen einem Strahlausgang des Lichts und dem Brillenglas in einem Brillenbügel integriert werden kann. Die zweite Lichtquelle kann jedoch auch durch einen Laser mit integrierter Photodiode realisiert sein, der den Self-Mixing Effekt aufweist. Ein solcher Laser kann für die Bestimmung der optischen Weglänge am Auge genutzt werden. Tritt der Laserstrahl durch die Pupille in das Auge ein, wird ein längerer optischer Pfad gemessen als wenn der Laser nur auf die Iris trifft. Das Verfahren ist beispielsweise in den Schriften DE 10 2016 226 294 A1 und DE 10 2018 214 637 A1 erläutert und profitiert gleichermaßen von den hier dargelegten erfindungsgemäßen Merkmalen zur Reduktion der Strahlungsleistung auf die Retina und den Energieeinsparungen durch Beschränkung auf Bereiche algorithmisch wichtiger Reflektivitätsmerkmale.According to the invention, special lasers can be dispensed with, for example a normal edge or surface emitting infrared measuring laser can be implemented and used. For this purpose, the detector device can comprise and use, for example, a silicon photodiode which can be integrated between a beam exit of the light and the spectacle lens in a spectacle temple. The second light source can, however, also be implemented by a laser with an integrated photodiode, which has the self-mixing effect. Such a laser can be used to determine the optical path length on the eye. If the laser beam enters the eye through the pupil, a longer optical path is measured than if the laser only hits the iris. The procedure is, for example, in the scriptures DE 10 2016 226 294 A1 and DE 10 2018 214 637 A1 explains and benefits equally from the features according to the invention presented here for reducing the radiation power to the retina and the energy savings through restriction to areas of algorithmically important reflectivity features.

Gemäß einer bevorzugten Ausführungsform der Projektions- und Okulografievorrichtung sind die erste Lichtquelle und die zweite Lichtquelle in einem Multi-Wellenlängen-Lasermodul umfasst.According to a preferred embodiment of the projection and oculography device, the first light source and the second light source are included in a multi-wavelength laser module.

Dadurch kann im Gegensatz zu herkömmlichen Kamerasystemen die energieintensive Ausleuchtung des Auges mit mehreren Leuchtdioden im infraroten Strahlungsspektrum durch den infraroten Laserstrahl ersetzt werden. Aufgrund der Fokussierung durch den Laserstrahls kann deutlich weniger elektrische Leistungsaufnahme erforderlich sein als bei der vollständigen Ausleuchtung des Augenbereichs. Darüber hinaus können algorithmisch wichtige Bereiche des Messbereichs gezielt durch Aktivieren des Messlasers ausgeleuchtet werden, wohingegen der Stand der Technik mit infraroten Leuchtdioden den gesamten Halbraum vor der Leuchtdiode ausleuchtet und damit die Strahlungsenergie nicht zielgerichtet im Zusammenspiel mit der Detektionseinrichtung einsetzt.As a result, in contrast to conventional camera systems, the energy-intensive illumination of the eye with several light-emitting diodes in the infrared radiation spectrum can be replaced by the infrared laser beam. Due to the focusing by the laser beam, significantly less electrical power consumption can be required than with the complete illumination of the eye area. In addition, algorithmically important areas of the measuring area can be specifically illuminated by activating the measuring laser, whereas the state of the art with infrared light-emitting diodes illuminates the entire half-space in front of the light-emitting diode and thus does not use the radiation energy in a targeted manner in conjunction with the detection device.

Erfindungsgemäß erfolgt bei dem Verfahren zum Betreiben einer erfindungsgemäßen Projektions- und Okulografievorrichtung für eine Datenbrille ein Bestrahlen der optischen Umlenkvorrichtung und damit einer räumlichen Ausdehnung des Auges gleichzeitig mit dem ersten Licht und mit dem zweiten Licht; ein Detektieren des von dem Auge des Benutzers reflektierten zweiten Lichts und daraus Ermitteln einer zeitlichen Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges; ein Auswerten eines Detektionssignals von der Detektoreinrichtung durch die Datenverarbeitungseinrichtung, wobei die zeitliche Intensitätsvariation des reflektierten zweiten Lichts über die räumliche Ausdehnung des Auges ermittelt wird und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion erkannt werden, wobei anfänglich ein Bereich der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht beleuchtet wird und nach einem Erkennen der Pupillenregion nur noch ein Betrachtungsbereich der Pupillenregion mit dem zweiten Licht beleuchtet wird, wobei auch innerhalb der Pupillenregion ein Deaktivieren des zweiten Lichts genutzt werden kann, um die infrarote Strahlungsenergie auf der Netzhaut zu reduzieren.According to the invention, in the method for operating a projection and oculography device according to the invention for data glasses, the optical deflection device and thus a spatial expansion of the eye are irradiated simultaneously with the first light and with the second light; detecting the second light reflected from the eye of the user and from this determining a temporal intensity variation of the reflected second light over a spatial extent of the eye; an evaluation of a detection signal from the detector device by the data processing device, wherein the temporal intensity variation of the reflected second light is determined over the spatial extent of the eye and thereby a pupil region and a viewing direction of this pupil region are recognized, initially an area of the spatial extent of the eye with the first and second light is illuminated and after detection of the pupil region only a viewing area of the pupil region is illuminated with the second light, wherein a deactivation of the second light can also be used within the pupil region in order to reduce the infrared radiation energy on the retina.

Gemäß einer bevorzugten Ausführungsform des Verfahrens wird nach dem Erkennen der Pupillenregion zumindest ein Betrachtungsbereich im Bereich der räumlichen Ausdehnung des Auges für eine Beobachtung der Pupillenregion bestimmt, in welchem das Bestrahlen mit dem ersten und dem zweiten Licht und eine Auswertung der zeitlichen Intensitätsvariation des reflektierten zweiten Lichts erfolgt.According to a preferred embodiment of the method, after the pupil region has been recognized, at least one viewing area in the area of the spatial extent of the eye is determined for observing the pupil region, in which the irradiation with the first and second light and an evaluation of the temporal intensity variation of the reflected second light he follows.

Gemäß einer bevorzugten Ausführungsform des Verfahrens wird anfangs eine gesamte räumliche Ausdehnung des Auges mit dem ersten und zweiten Licht abgescannt, indem eine Stellung eines Mikrospiegels zum Bestrahlen der optischen Umlenkvorrichtung, etwa einem holographischen optischen Element, verändert wird.According to a preferred embodiment of the method, an entire spatial extent of the eye is initially scanned with the first and second light by changing a position of a micromirror for irradiating the optical deflection device, for example a holographic optical element.

Der Mikrospiegel kann vorteilhaft derart bewegbar sein, dass das Licht (erstes und zweites) zweidimensional über den Augenbereich gescannt werden kann. Dabei kann der Mikrospiegel als zweiachsiger Mikrospiegel oder als zwei einachsige Mikrospiegel ausgeführt sein. Der zweidimensionale Scanbereich kann über orthogonal zueinander stehende Scanrichtungen erzeugt werden. Der zweidimensionale Scanbereich kann allerdings auch durch doppelresonanten Scanbetrieb in Form von Lissajous-Figuren realisiert werden.The micromirror can advantageously be movable in such a way that the light (first and second) can be scanned two-dimensionally over the eye area. The micromirror can be designed as a biaxial micromirror or as two uniaxial micromirrors. The two-dimensional scan area can be generated via scan directions that are orthogonal to one another. The two-dimensional scan area can, however, also be implemented by means of double-resonant scanning operation in the form of Lissajous figures.

Die tatsächliche Position des Mikrospiegels kann mittels Sensoren von der Treiberschaltung zur Herstellung einer geschlossenen Regelschleife ausgelesen werden. Zur Synchronisation des Mikrospiegels mit dem Lasertreiber bzw. der Detektionseinrichtung kann der Treiber aus diesen Messsignalen Synchronisationsimpulse erzeugen. Beispielsweise kann ein horizontaler Synchronisationsimpuls den Beginn einer neuen Zeile des zweidimensionalen Scanbereichs anzeigen, während ein vertikaler Synchronisationsimpuls den Beginn eines neuen Frames anzeigt.The actual position of the micromirror can be read out by means of sensors from the driver circuit to produce a closed control loop. To synchronize the micromirror with the laser driver or the detection device, the driver can generate synchronization pulses from these measurement signals. For example, a horizontal synchronization pulse can indicate the beginning of a new line of the two-dimensional scan area, while a vertical synchronization pulse indicates the beginning of a new frame.

Gemäß einer bevorzugten Ausführungsform des Verfahrens wird eine detektierte Strahlungsenergie des zweiten Lichts einem Raumpunkt im Bereich der räumlichen Ausdehnung des Auges zugeordnet.According to a preferred embodiment of the method, a detected radiation energy of the second light is assigned to a point in space in the area of the spatial extent of the eye.

Gemäß einer bevorzugten Ausführungsform des Verfahrens wird nach einer Anfangsbeleuchtung der gesamten räumlichen Ausdehnung des Auges darauf verzichtet die Augenregion vollständig zu beleuchten und es wird nach einer Anfangssequenz nur ein Bereich rund um die Pupille gescannt. Die Anfangssequenz beträgt beispielsweise eine Zeitspanne von 60 fps oder 17ms.According to a preferred embodiment of the method, after an initial illumination of the entire spatial extent of the eye, completely illuminating the eye region is dispensed with and, after an initial sequence, only an area around the pupil is scanned. The initial sequence is, for example, a period of 60 fps or 17 ms.

Auf diese Weise kann eine Blickrichtung des Auges abgeschätzt oder erfasst werden. Die Projektions- und Okulografievorrichtung kann sich auch durch die in Verbindung mit dem Verfahren genannten Merkmale und deren Vorteile auszeichnen und umgekehrt.In this way, a line of sight of the eye can be estimated or recorded. The projection and oculography device can also be distinguished by the features mentioned in connection with the method and their advantages, and vice versa.

Weitere Merkmale und Vorteile von Ausführungsformen der Erfindung ergeben sich aus der nachfolgenden Beschreibung mit Bezug auf die beigefügten Zeichnungen.Further features and advantages of embodiments of the invention emerge from the following description with reference to the accompanying drawings.

FigurenlisteFigure list

Die vorliegende Erfindung wird nachfolgend anhand des in den schematischen Figuren der Zeichnung angegebenen Ausführungsbeispiels näher erläutert.The present invention is explained in more detail below with reference to the exemplary embodiment indicated in the schematic figures of the drawing.

Es zeigen:

  • 1a eine schematische Darstellung einer Datenbrille mit einer Projektions- und Okulografievorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 1b eine schematische Darstellung eines Brillenglases einer Datenbrille mit einer Projektions- und Okulografievorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
  • 1c eine schematische Darstellung einer Datenbrille mit einer Projektions- und Okulografievorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
  • 1d eine Sicht auf eine Vorderseite der Datenbrille aus 1c von einer Oberseite aus gesehen.
  • 2 eine Blockdarstellung von Verfahrensschritten eines Verfahrens zum Betreiben einer Projektions- und Okulografievorrichtung für eine Datenbrille gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
  • 3 eine Blockdarstellung von der Signalverarbeitung und Steuerung der Komponenten der Projektions- und Okulografievorrichtung in einem Verfahren gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
Show it:
  • 1a a schematic representation of data glasses with a projection and oculography device according to an embodiment of the present invention;
  • 1b a schematic representation of a spectacle lens of data glasses with a projection and oculography device according to a further embodiment of the present invention;
  • 1c a schematic representation of data glasses with a projection and oculography device according to a further embodiment of the present invention;
  • 1d a view of the front of the smart glasses 1c seen from an upper side.
  • 2 a block diagram of method steps of a method for operating a projection and oculography device for data glasses according to an embodiment of the present invention; and
  • 3 a block diagram of the signal processing and control of the components of the projection and oculography device in a method according to a further embodiment of the present invention.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche bzw. funktionsgleiche Elemente.In the figures, the same reference symbols denote the same or functionally identical elements.

1a zeigt eine schematische Darstellung einer Datenbrille mit einem Projektions- und Okulografievorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 1a shows a schematic representation of data glasses with a projection and oculography device according to an embodiment of the present invention.

Die Projektions- und Okulografievorrichtung 1 für eine Datenbrille 10 ist vorteilhaft vollständig in einer Datenbrille 10 angeordnet, etwa eingebettet, und umfasst ein Projektionssystem 2 mit einer ersten Lichtquelle LQ1, welche ein erstes Licht L1 im sichtbaren Wellenlängenbereich emittiert, und einer zweiten Lichtquelle LQ2, welche ein zweites Licht L2 in einem Infrarotbereich emittiert; ein holographisches optisches Element HOE, welches in einem Brillenglas der Datenbrille 10 angeordnet sein kann (oder allgemein eine optische Umlenkvorrichtung), welches mit dem ersten Licht L1 und mit dem zweiten Licht L2 gleichzeitig bestrahlbar ist und durch welches das erste Licht L1 und das zweite Licht L2 auf ein Auge eines Benutzers umlenkbar sind; eine Detektoreinrichtung 5, welche dazu eingerichtet ist, das von dem Auge des Benutzers reflektierte zweite Licht L2' zu detektieren und daraus ein Detektionssignal zu erzeugen; eine Steuereinrichtung SE, welche mit dem Projektionssystem 2 verbunden ist; eine Datenverarbeitungseinrichtung DE, welche mit der Detektoreinrichtung 2 und mit der Steuereinrichtung SE verbunden ist, und dazu eingerichtet ist, das Detektionssignal zu empfangen und daraus eine zeitliche Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges zu ermitteln und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion zu erkennen, wobei die Steuereinrichtung dazu eingerichtet ist, das Projektionssystem 2 derart anzusteuern, dass anfänglich ein Bereich der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht beleuchtet wird und nach einem Erkennen der Pupillenregion nur noch ein Betrachtungsbereich der Pupillenregion mit dem zweiten Licht beleuchtet wird.The projection and oculography device 1 for data glasses 10 is advantageous completely in data glasses 10 arranged, such as embedded, and comprises a projection system 2 with a first light source LQ1 which a first light L1 emitted in the visible wavelength range, and a second light source LQ2 showing a second light L2 emitted in an infrared region; a holographic optical element HOE , which is in a lens of the data glasses 10 can be arranged (or generally an optical deflection device), which with the first light L1 and with the second light L2 can be irradiated at the same time and through which the first light L1 and the second light L2 are diverted to one eye of a user; a detector device 5 , which is set up, the second light reflected from the eye of the user L2 ' to detect and to generate a detection signal therefrom; a control device SE , which with the projection system 2 connected is; a data processing device DE , which with the detector device 2 and with the control device SE is connected, and is set up to receive the detection signal and to determine a temporal intensity variation of the reflected second light over a spatial extent of the eye and thereby to recognize a pupil region and a viewing direction of this pupil region, wherein the control device is set up to the projection system 2 to be controlled in such a way that initially an area of the spatial extent of the eye is illuminated with the first and second light and, after the pupil region has been recognized, only a viewing area of the pupil region is illuminated with the second light.

Das holographische optische Element HOE kann einen Teilbereich des Brillenglases oder das gesamte Brillenglas ausmachen und eine holographische Linse umfassen. Das holographische optische Element HOE kann doppellagig ausgeführt sein, wobei eine erste Hologrammschicht, welche insbesondere als Photopolymerlage ausgeführt sein kann, die optische Funktionalität für das erste Licht und eine zweite Hologrammschicht die optische Funktionalität für das zweite Licht umfasst. Beide Lagen können beispielsweise durch einen UVhärtenden Kleber verbunden sein und auf einem hochtransparenten Träger in ein Brillenglas eingegossen sein.The holographic optical element HOE can make up part of the spectacle lens or the entire spectacle lens and comprise a holographic lens. The holographic optical element HOE can be designed in two layers, wherein a first hologram layer, which can be designed in particular as a photopolymer layer, comprises the optical functionality for the first light and a second hologram layer comprises the optical functionality for the second light. Both layers can, for example, be connected by a UV-curing adhesive and cast into a spectacle lens on a highly transparent carrier.

Das Projektionssystem 2 kann einen beweglichen Mikrospiegel 3 umfassen, oder jeweils einen eigenen für das erste und das zweite Licht, mit welchem das erste Licht und das zweite Licht auf das holographische optische Element HOE lenkbar sind und über welchen bestimmte Bereiche der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht bestrahlbar sind. Dabei kann anfangs eine gesamte räumliche Ausdehnung des Auges mit dem ersten und zweiten Licht abgescannt werden, indem eine Stellung eines Mikrospiegels 3 zum Bestrahlen des holographischen optischen Elements HOE verändert wird. Zum Rückstrahlen des zweiten Lichts von dem Auge auf die Detektoreinrichtung kann der Mikrospiegel anfänglich das gesamte Auge abscannen und nach einer Erkennung einer Pupillenregion vorteilhaft nur auf diese ausgerichtet bleiben.The projection system 2 can be a moveable micromirror 3 include, or one at a time own for the first and the second light with which the first light and the second light hit the holographic optical element HOE are steerable and over which certain areas of the spatial extent of the eye can be irradiated with the first and second light. Initially, an entire spatial extension of the eye can be scanned with the first and second light by setting a micromirror 3 for irradiating the holographic optical element HOE is changed. To reflect the second light from the eye onto the detector device, the micromirror can initially scan the entire eye and, after a pupil region has been recognized, advantageously only remain aligned with this.

Die gescannten Bereiche können vorteilhaft für das erste Licht und für das zweite Licht identisch sein oder um einen bestimmten Winkelversatz variieren, was aus den unterschiedlichen optischen Funktionen für die beiden Wellenlängenbereiche resultieren kann.The scanned areas can advantageously be identical for the first light and for the second light or vary by a certain angular offset, which can result from the different optical functions for the two wavelength ranges.

Für die Okulografie kann vorteilhaft der gesamte gescannte Bereich abgedeckt werden, in dem sich die Pupille befinden kann. Je nach Anwendungsbereich des Systems kann es auch ausreichen, nur den Bereich abzudecken, der für die jeweilige Anwendung relevant ist. So kann beispielsweise das Projektionssystem möglicherweise nur einen Teilbereich des menschlichen Sichtfeldes abdecken, wobei die Abdeckung dieses Projektions-Sichtfeldes für das Okulografiesystem auch genügen kann. Für die Okulografie kann der gewünschte Messbereich komplett abgetastet werden. Dies kann dadurch erreicht werden, dass das HOE für die Wellenlänge der zweiten Lichtquelle eine separate optische Funktion aufweist, die beispielsweise einem Planwellenumlenker entsprechen kann. Über die optische Funktion des HOE kann damit eine Abmessung eines Messfensters MF für die jeweiligen Okulografieanforderungen geeignet gewählt werden, beispielsweise um den gesamten Augenbereich abzudecken.The entire scanned area in which the pupil can be located can advantageously be covered for oculography. Depending on the area of application of the system, it may also be sufficient to only cover the area that is relevant for the respective application. For example, the projection system can possibly only cover a partial area of the human field of view, with the coverage of this projection field of view also being sufficient for the oculography system. The required measuring range can be scanned completely for oculography. This can be achieved by using the HOE has a separate optical function for the wavelength of the second light source, which can for example correspond to a plane wave deflector. The optical function of the HOE can thus be a dimension of a measuring window MF be selected appropriately for the respective oculography requirements, for example to cover the entire eye area.

1b zeigt eine schematische Darstellung eines Brillenglases einer Datenbrille mit einer Projektions- und Okulografievorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. 1b shows a schematic representation of a spectacle lens of data glasses with a projection and oculography device according to a further exemplary embodiment of the present invention.

Das Projektionssystem 2 kann eine optische Umlenkvorrichtung 20 bestrahlen. Die optische Umlenkvorrichtung 20 kann am, im oder auf dem Brillenglas eine Auskoppelstruktur 25 aufweisen, welche beispielsweise in mehrere Teilbereiche 27 unterteilt sein kann. Die Teilbereiche 27 können dabei wabenförmig sein oder eine andere Form umfassen, etwa alle mit einer gleichen Größe oder unterschiedlich. Anstatt der Auskoppelstruktur 25 kann auch ein holografisches optisches Element HOE in oder am oder auf dem Brillenglas angeordnet sein. In dem Vorderteil der Brille kann dabei ein Wellenleiter WL eingefasst sein, welcher sich innerhalb der Brillenstruktur von einer Einkoppelstruktur 26 bis zur Auskoppelstruktur 25 erstrecken kann und das erste und das zweite Licht bis zur Auskoppelstruktur leiten kann. Das Projektionssystem 2 kann dabei vorteilhaft nur die Einkoppelstruktur 26 bestrahlen. Die Teilbereiche 27 können unterschiedliche optische Funktionen realisieren.The projection system 2 can be an optical deflector 20th irradiate. The optical deflector 20th can have a coupling-out structure on, in or on the spectacle lens 25th have, for example, in several sub-areas 27 can be divided. The sub-areas 27 can be honeycomb or have a different shape, for example all of the same size or different. Instead of the decoupling structure 25th can also be a holographic optical element HOE be arranged in or on or on the spectacle lens. In the front part of the glasses, a waveguide WL can be enclosed, which extends from a coupling structure within the glasses structure 26th up to the decoupling structure 25th can extend and the first and the second light can guide up to the coupling-out structure. The projection system 2 can advantageously only use the coupling structure 26th irradiate. The sub-areas 27 can realize different optical functions.

Im Falle eines holografischen optischen Elements kann dieses eine Oberflächenbeschichtung auf einer Vorder- und Rückseite des Brillenglases umfassen. Auch das holografische optische Element kann Teilbereiche als Wabenformen oder in anderen Formen umfassen.In the case of a holographic optical element, this can include a surface coating on a front and back of the spectacle lens. The holographic optical element can also comprise partial areas as honeycomb shapes or in other shapes.

Auf manchen Teilbereichen kann ein Filter angeordnet sein, welcher das zweite Licht wegfiltern kann, um so nur einen bestimmten Bereich des Auges mit dem zweiten Licht zu bestrahlen. Andererseits können je nach Anwendung auch nur manche Teilbereiche das erste und/oder zweite Licht auf das Auge strahlen, wobei die übrigen Teilbereiche divergierend vom Auge weggedreht werden können. Die Teilbereiche können in deren Umlenkwirkung je nach Belieben ausgerichtet werden, In Hologramme können nahezu beliebige optische Funktionen einbelichtet werden, in diesem Fall etwa Spiegel mit geeigneter Strahlführung vom Auge weg.A filter can be arranged on some partial areas, which filter can filter away the second light in order to irradiate only a certain area of the eye with the second light. On the other hand, depending on the application, only some partial areas can radiate the first and / or second light onto the eye, with the remaining partial areas being able to be rotated away from the eye in a divergent manner. The deflection effect of the partial areas can be aligned as desired. Almost any optical functions can be exposed in holograms, in this case for example mirrors with suitable beam guidance away from the eye.

1c zeigt eine schematische Darstellung einer Datenbrille mit einer Projektions- und Okulografievorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. 1c shows a schematic representation of data glasses with a projection and oculography device according to a further exemplary embodiment of the present invention.

Das Projektionssystem 2 kann an einem Brillenbügel angeordnet sein und die Einkoppelstruktur 26 kann an der Vorderseite der Brille angeordnet sein, derart dass sich die Einkoppelstruktur 26 an einem Rand des Vorderteils der Brille und neben dem Brillenglas befinden kann, so dass das Projektionssystem 2 auf kürzestem Wege auf die Einkoppelstruktur 26 strahlen kann.The projection system 2 can be arranged on a temple and the coupling structure 26th can be arranged on the front of the glasses so that the coupling structure 26th on an edge of the front part of the glasses and next to the lens, so that the projection system 2 the shortest route to the coupling structure 26th can shine.

Die Detektoreinrichtung kann weiterhin am Brillenbügel angeordnet sein (nicht gezeigt).The detector device can also be arranged on the temple arm (not shown).

1d zeigt eine Sicht auf eine Vorderseite der Datenbrille aus 1c von einer Oberseite aus gesehen. 1d shows a view of a front of the smart glasses 1c seen from an upper side.

In der Ansicht von Oben ist zu erkennen, dass die Umlenkvorrichtung 20 (HOE) an einer dem Betrachter zugewandten Innenseite des Vorderteils, etwa auf dem Brillenglas, angeordnet sein kann. Das Projektionssystem 2 kann dann das erste Licht L1 der ersten Lichtquelle LQ1 unter einem ersten Winkel 28a und das zweite Licht L2 der zweiten Lichtquelle LQ2 unter einem zweiten Winkel 29a auf die Einkoppelstruktur 26 strahlen. Die Auskoppelstruktur 25 kann dann das erste Licht und das zweite Licht jeweils unter verschiedenen Winkeln wieder abstrahlen. Dabei können versetzte Strahlen an verschiedenen Punkten der Auskoppelstruktur 25 ausgekoppelt werden, mit gleichen oder verschiedenen Winkeln, je nach Teilbereich (Totalreflexion im Wellenleiter).In the view from above it can be seen that the deflection device 20th ( HOE ) can be arranged on an inside of the front part facing the viewer, for example on the spectacle lens. The projection system 2 can then the first light L1 the first light source LQ1 at a first angle 28a and the second light L2 The second Light source LQ2 at a second angle 29a on the coupling structure 26th shine. The decoupling structure 25th can then emit the first light and the second light again at different angles. In this case, offset beams can be created at different points on the coupling-out structure 25th are coupled out, with the same or different angles, depending on the sub-area (total reflection in the waveguide).

Für das erste Licht können so beispielsweise parallele Strahlen 28b, 28c und 28d ausgekoppelt und abgestrahlt werden.For example, parallel rays can be used for the first light 28b , 28c and 28d are decoupled and radiated.

Für das zweite Licht können so beispielsweise parallele Strahlen 29b, 29c und 29d ausgekoppelt und abgestrahlt werden. Die Umlenkvorrichtung 20 kann dafür eine Auskoppeltruktur und/oder ein holografisches optisches Element umfassen sowie einen Wellenleiter.For the second light, for example, parallel rays can be used 29b , 29c and 29d are decoupled and radiated. The deflection device 20th can for this purpose comprise a decoupling structure and / or a holographic optical element and a waveguide.

2 zeigt eine Blockdarstellung von Verfahrensschritten eines Verfahrens zum Betreiben einer Projektions- und Okulografievorrichtung für eine Datenbrille gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 2 shows a block diagram of method steps of a method for operating a projection and oculography device for data glasses according to an embodiment of the present invention.

Bei dem Verfahren zum Betreiben einer erfindungsgemäßen Projektions- und Okulografievorrichtung für eine Datenbrille erfolgt ein Bestrahlen S1 des holographischen optischen Elements und damit einer räumlichen Ausdehnung des Auges gleichzeitig mit dem ersten Licht und mit dem zweiten Licht; ein Detektieren S2a des von dem Auge des Benutzers reflektierten zweiten Lichts und daraus, und vorteilhaft danach, ein Ermitteln S2b einer zeitlichen Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges; und ein Auswerten S3 eines Detektionssignals von der Detektoreinrichtung durch die Datenverarbeitungseinrichtung, wobei die zeitliche Intensitätsvariation des reflektierten zweiten Lichts über die räumliche Ausdehnung des Auges ermittelt wird und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion erkannt werden, wobei anfänglich ein Bereich der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht beleuchtet wird und nach einem Erkennen der Pupillenregion nur noch ein Betrachtungsbereich der Pupillenregion mit dem zweiten Licht beleuchtet wird. Die anfängliche vollflächige Beleuchtung ist sehr kurz, d.h. kann im Zeitbereich unterhalb von 20 Millisekunden liegen.In the method for operating a projection and oculography device according to the invention for data glasses, irradiation takes place S1 the holographic optical element and thus a spatial expansion of the eye simultaneously with the first light and with the second light; detecting S2a of the second light reflected by the eye of the user and from this, and advantageously thereafter, determining S2b a temporal intensity variation of the reflected second light over a spatial extent of the eye; and an evaluation S3 a detection signal from the detector device through the data processing device, the temporal intensity variation of the reflected second light being determined over the spatial extent of the eye and thereby a pupil region and a viewing direction of this pupil region being recognized, initially an area of the spatial extent of the eye with the first and second light is illuminated and after a detection of the pupil region only a viewing area of the pupil region is illuminated with the second light. The initial full-surface illumination is very short, ie it can be below 20 milliseconds in the time range.

3 zeigt eine Blockdarstellung von der Signalverarbeitung und Steuerung der Komponenten der Projektions- und Okulografievorrichtung in einem Verfahren gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. 3 shows a block diagram of the signal processing and control of the components of the projection and oculography device in a method according to a further exemplary embodiment of the present invention.

Die Projektions- und Okulografievorrichtung kann eine Steuereinrichtung SE, welche gleichzeitig einen Hauptcontroller der Projektions- und Okulografievorrichtung darstellen kann, umfassen, weiterhin einen Lasertreiber 8 und ein Multi-Wellenlängen Lasermodul 7, das die erste und zweite Lichtquelle umfassen kann. Weiter kann die Projektions- und Okulografievorrichtung einen Treiberbaustein 10 und einen Mikroscanner 9 umfassen, sowie einen Detektorbaustein 11, eine Verstärker- und Filterschaltung 12, sowie ein Okulografie-Berechnungsmodul 13, etwa als die Datenverarbeitungseinrichtung DE.The projection and oculography device can be a control device SE , which can simultaneously represent a main controller of the projection and oculography device, furthermore comprise a laser driver 8th and a multi-wavelength laser module 7th which may include the first and second light sources. The projection and oculography device can also have a driver module 10 and a microscanner 9 include, as well as a detector module 11 , an amplifier and filter circuit 12th , as well as an oculography calculation module 13th , for example as the data processing device DE .

Der Hauptcontroller überträgt die zu projizierende Bildinformation 15 aller Pixel an den Lasertreiber, sowie Steuerungsinformationen 20 an den Treiberbaustein. Zwischen dem Treiberbaustein 10 des Projektionsmoduls 7 und dem Lasertreiber 8 kann eine zeitliche Synchronisation 17 stattfinden, sodass die jeweiligen Bildpixel an die jeweils korrekte Position projiziert werden können. Die Synchronisation dient darüber hinaus der Deaktivierung der Laser (erste und zweite Lichtquelle) aus Sicherheitsgründen, sobald ein Defekt des Projektionssystems erkannt werden kann.The main controller transmits the image information to be projected 15th of all pixels to the laser driver, as well as control information 20th to the driver module. Between the driver block 10 of the projection module 7th and the laser driver 8th can be a time synchronization 17th take place so that the respective image pixels can be projected at the correct position in each case. The synchronization is also used to deactivate the laser (first and second light source) for safety reasons as soon as a defect in the projection system can be detected.

Treiberbaustein 10 und Lasertreiber 8 können als gemeinsames Modul ausgeführt sein. Der Lasertreiber 8 versorgt vorteilhaft die Laser (erste und zweite Lichtquelle) mit ihrem jeweiligen Betriebsstrom 16. Der Treiberbaustein 10 betreibt dann das Projektionssystem(modul) über Steuerungssignale 18 und Rückkanalinformationen 19, mit welchen die Position und Auslenkung des Mikrospiegels erkannt und eingestellt werden kann. Das Okulografiesystem 13 kann ebenfalls mit Synchronisationssignalen 21, etwa allen vertikalen und horizontalen Synchronisationsimpulsen, versorgt werden, um die detektierte Strahlungsenergie einem Raumpunkt des Messbereichs zuordnen zu können. Der Detektorbaustein liefert einen Detektorstrom 22, der verstärkt und gefiltert wird und als digitalisiertes Signal 23 an die Okulografieeinheit 13 (Okulografie-Berechnungsmodul) weitergeleitet werden kann. Die Okulografieeinheit 13 berechnet dann vorteilhaft aus den Zeitreihensignalen der Synchronisationssignale sowie des digitalisierten Detektorsignals die Position 24 der Pupille innerhalb des Messfensters und sendet diese Information an die Steuereinrichtung SE. Dort kann mit Hilfe von Kalibrierinformationen die Blickrichtung des Benutzers bestimmt und beispielsweise mit einem Welt-Kamerabild zusammengeführt werden. Zusätzlich oder alternativ zur Pupillenposition kann das Okulografiesystem 13 auch ein Grauwertbild der Reflektivitätsverteilung im Messbereich liefern, das in der Steuereinrichtung SE mit Bildverarbeitungsmethoden weiterverarbeitet werden kann. Auf diese Weise können sowohl einfache Okulografieverfahren auf Basis von Zeitdifferenzen und Schwellwerten aber auch komplexe bildverarbeitungsbasierte Verfahren ausführbar sein und ausgeführt werden.Driver block 10 and laser drivers 8th can be designed as a common module. The laser driver 8th advantageously supplies the lasers (first and second light sources) with their respective operating current 16 . The driver block 10 then operates the projection system (module) via control signals 18th and return channel information 19th with which the position and deflection of the micromirror can be recognized and adjusted. The oculography system 13th can also be used with synchronization signals 21 , for example all vertical and horizontal synchronization pulses, are supplied in order to be able to assign the detected radiation energy to a point in space in the measuring range. The detector module supplies a detector current 22nd that is amplified and filtered and as a digitized signal 23 to the oculography unit 13th (Oculography calculation module) can be forwarded. The oculography unit 13th then advantageously calculates the position from the time series signals of the synchronization signals and the digitized detector signal 24 the pupil within the measurement window and sends this information to the control device SE . There, with the help of calibration information, the user's line of sight can be determined and, for example, merged with a world camera image. In addition or as an alternative to the pupil position, the oculography system 13th also provide a gray value image of the reflectivity distribution in the measurement area, which is in the control device SE can be further processed with image processing methods. In this way, both simple oculography methods based on time differences and threshold values as well as complex image processing-based methods can be carried out and carried out.

Des Weiteren kann die Systemstruktur der Projektions- und Okulografievorrichtung darüber hinaus ermöglichen, die Lichtquellen über die Steuerleitung 15 derart anzusteuern, dass die Messstrahlung nur in einem Bereich aktiviert wird, in dem die Pupille vermutet wird. Das System startet mit einer kompletten Ausleuchtung des Messbereichs, bis die Pupille gefunden wurde (typischerweise kürzer als 100 ms). Anschließend aktiviert die Steuereinrichtung SE oder die Okulografieeinheit den Energiesparmodus und es kann ein rechtwinkliger oder kreisförmiger Bereich um die zuletzt gefundene Pupillenposition ausgeleuchtet werden. Dieser Ausleuchtbereich kann darüber auch innen deaktivierte Bereiche aufweisen, z.B. um die auf die Netzhaut auftreffende Strahlungsenergie zu minimieren. Auf diese Weise kann die notwendige Ausleuchtung des Messbereichs mit der zweiten Lichtquelle auf algorithmisch notwendige Teilbereiche eingeschränkt und die thermische Abwärme im System sowie die Stromaufnahme reduziert werden, was für kopfgetragene Datenbrillen zwei wichtige Kriterien sein können.Furthermore, the system structure of the projection and oculography device can also enable the light sources via the control line 15th to be controlled in such a way that the measurement radiation is only activated in an area in which the pupil is suspected. The system starts with a complete illumination of the measuring area until the pupil is found (typically shorter than 100 ms). The control device then activates SE or the oculography unit switches to energy-saving mode and a right-angled or circular area around the last pupil position found can be illuminated. This illuminated area can also have areas that are deactivated on the inside, for example in order to minimize the radiation energy hitting the retina. In this way, the necessary illumination of the measurement area with the second light source can be restricted to algorithmically necessary partial areas and the thermal waste heat in the system and the power consumption can be reduced, which can be two important criteria for head-worn data glasses.

Des Weiteren ist es möglich, dass als weiteren Parameter das Okulografiemodul (Datenverarbeitungseinrichtung) den Pupillenkontrast bestimmen kann. Dieser Parameter
kann als Regelgröße zur Nachführung der benötigten Messlaserleistung genutzt werden. Somit kann die Leistung des Messlasers (zweite Lichtquelle) je nach Umgebungsstrahlung so weit wie möglich reduziert werden. Darüber hinaus kann die Detektoreinrichtung mit einem Filter versehen werden, der nur infrarote Strahlung
transmittiert, um Einflüsse von Umgebungsstrahlung weitestgehend zu reduzieren. Zur Erhöhung der Detektoreffizienz kann darüber hinaus eine Sammellinse vor der Detektoreinrichtung angeordnet sein um das zweite Licht auf der Detektoreinrichtung zu sammeln. Zur algorithmischen Kompensation von breitbandigen Störlichtquellen kann die Detektoreinrichtung einen zweiten Detektor mit einem zweiten Filter enthalten, der die Störamplitude bestimmt und beispielsweise über einen Korrelator in dem ersten Detektorsignal kompensiert.It is also possible that the oculography module (data processing device) can determine the pupil contrast as a further parameter. This parameter
can be used as a controlled variable to track the required measuring laser power. This means that the power of the measuring laser (second light source) can be reduced as much as possible, depending on the ambient radiation. In addition, the detector device can be provided with a filter that only emits infrared radiation
transmitted in order to reduce the effects of ambient radiation as far as possible. To increase the detector efficiency, a collecting lens can also be arranged in front of the detector device in order to collect the second light on the detector device. For algorithmic compensation of broadband interference light sources, the detector device can contain a second detector with a second filter which determines the interference amplitude and compensates for it in the first detector signal, for example via a correlator.

Obwohl die vorliegende Erfindung anhand des bevorzugten Ausführungsbeispiels vorstehend vollständig beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar.Although the present invention has been fully described above on the basis of the preferred exemplary embodiment, it is not restricted thereto, but rather can be modified in many different ways.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102015213376 A1 [0008]DE 102015213376 A1 [0008]
  • DE 102016226294 A1 [0027]DE 102016226294 A1 [0027]
  • DE 102018214637 A1 [0027]DE 102018214637 A1 [0027]

Claims (13)

Projektions- und Okulografievorrichtung (1) für eine Datenbrille (10) umfassend: - ein Projektionssystem (2) mit einer ersten Lichtquelle (LQ1), welche ein erstes Licht (L1) im sichtbaren Wellenlängenbereich emittiert, und einer zweiten Lichtquelle (LQ2), welche ein zweites Licht (L2) in einem Infrarotbereich emittiert; - eine optische Umlenkvorrichtung (20), welche in oder an oder auf einem Brillenglas der Datenbrille (10) angeordnet ist, welche mit dem ersten Licht (L1) und mit dem zweiten Licht (L2) gleichzeitig bestrahlbar ist und durch welche das erste Licht (L1) und das zweite Licht (L2) auf ein Auge eines Benutzers umlenkbar sind; - eine Detektoreinrichtung (5), welche dazu eingerichtet ist, das von dem Auge des Benutzers reflektierte zweite Licht (L2') zu detektieren und daraus ein Detektionssignal zu erzeugen; - eine Steuereinrichtung (SE), welche mit dem Projektionssystem (2) verbunden ist; - eine Datenverarbeitungseinrichtung (DE), welche mit der Detektoreinrichtung (5) und mit der Steuereinrichtung (SE) verbunden ist, und dazu eingerichtet ist, das Detektionssignal zu empfangen und daraus eine zeitliche Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges zu ermitteln und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion zu erkennen, wobei die Steuereinrichtung dazu eingerichtet ist, das Projektionssystem (2) derart anzusteuern, dass anfänglich ein Bereich der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht beleuchtet wird und nach einem Erkennen der Pupillenregion nur noch ein Betrachtungsbereich der Pupillenregion mit dem zweiten Licht beleuchtet wird.Projection and oculography device (1) for data glasses (10) comprising: - A projection system (2) with a first light source (LQ1) which emits a first light (L1) in the visible wavelength range, and a second light source (LQ2) which emits a second light (L2) in an infrared range; - An optical deflection device (20) which is arranged in or on or on a spectacle lens of the data glasses (10), which can be irradiated with the first light (L1) and the second light (L2) at the same time and through which the first light ( L1) and the second light (L2) can be deflected onto an eye of a user; - a detector device (5) which is set up to detect the second light (L2 ') reflected by the eye of the user and to generate a detection signal therefrom; - A control device (SE) which is connected to the projection system (2); - A data processing device (DE), which is connected to the detector device (5) and to the control device (SE), and is set up to receive the detection signal and to determine a temporal intensity variation of the reflected second light over a spatial extent of the eye and thereby to recognize a pupil region and a line of sight of this pupil region, wherein the control device is set up to control the projection system (2) in such a way that initially an area of the spatial extent of the eye is illuminated with the first and second light and after the pupil region has been recognized only a viewing area of the pupil region is illuminated with the second light. Projektions- und Okulografievorrichtung (1) nach Anspruch 1, bei welcher die optische Umlenkvorrichtung (20) ein holografisches optisches Element (HOE) umfasst, das im Brillenglas eingebettet ist oder am oder auf dem Brillenglas angeordnet ist, wobei das holografische optische Element (HOE) mit dem ersten Licht (L1) und mit dem zweiten Licht (L2) gleichzeitig bestrahlbar ist und durch welches das erste Licht (L1) und das zweite Licht (L2) auf ein Auge eines Benutzers umlenkbar sind.Projection and oculography device (1) according to Claim 1 , in which the optical deflection device (20) comprises a holographic optical element (HOE) which is embedded in the spectacle lens or is arranged on or on the spectacle lens, the holographic optical element (HOE) with the first light (L1) and with the second light (L2) can be irradiated at the same time and through which the first light (L1) and the second light (L2) can be deflected onto an eye of a user. Projektions- und Okulografievorrichtung (1) nach Anspruch 2, bei welcher das holographische optische Element (HOE) für das erste Licht eine konvergierende optische Wirkung bezüglich des Auges umfasst und für das zweite Licht eine divergierende optische Wirkung bezüglich des Auges umfasst.Projection and oculography device (1) according to Claim 2 , in which the holographic optical element (HOE) comprises a converging optical effect with respect to the eye for the first light and comprises a diverging optical effect with respect to the eye for the second light. Projektions- und Okulografievorrichtung (1) nach einem der Ansprüche 1 bis 3, bei welchem die optische Umlenkvorrichtung (20) einen optischen Wellenleiter (WL) umfasst, welcher mit dem ersten Licht (L1) und mit dem zweiten Licht (L2) gleichzeitig bestrahlbar ist.Projection and oculography device (1) according to one of the Claims 1 until 3 , in which the optical deflection device (20) comprises an optical waveguide (WL) which can be irradiated with the first light (L1) and with the second light (L2) at the same time. Projektions- und Okulografievorrichtung (1) nach einem der Ansprüche 1 bis 4, bei welcher die Datenverarbeitungseinrichtung (DE) dazu eingerichtet ist, nach dem Erkennen der Pupillenregion zumindest einen Betrachtungsbereich (ROI) für eine Beobachtung der Pupillenregion zu bestimmen, in welchem das Bestrahlen mit dem ersten und dem zweiten Licht und eine Auswertung der zeitlichen Intensitätsvariation des reflektierten zweiten Lichts erfolgt.Projection and oculography device (1) according to one of the Claims 1 until 4th , in which the data processing device (DE) is set up to determine at least one observation area (ROI) for an observation of the pupil region after the detection of the pupil region, in which the irradiation with the first and the second light and an evaluation of the temporal intensity variation of the reflected second light takes place. Projektions- und Okulografievorrichtung (1) nach einem der Ansprüche 1 bis 5, bei welcher das Projektionssystem (2) einen beweglichen Mikrospiegel (3) umfasst, mit welchem das erste Licht und das zweite Licht auf die optische Umlenkvorrichtung (20) lenkbar sind und über welchen bestimmte Bereiche der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht bestrahlbar sind.Projection and oculography device (1) according to one of the Claims 1 until 5 , in which the projection system (2) comprises a movable micromirror (3) with which the first light and the second light can be directed onto the optical deflection device (20) and via which certain areas of the spatial expansion of the eye with the first and second light can be irradiated. Projektions- und Okulografievorrichtung (1) nach einem der Ansprüche 1 bis 6, bei welcher das Projektionssystem (2) sowie die Detektoreinrichtung (5) in einem Brillengestell der Datenbrille (10) angeordnet sind.Projection and oculography device (1) according to one of the Claims 1 until 6th , in which the projection system (2) and the detector device (5) are arranged in a glasses frame of the data glasses (10). Projektions- und Okulografievorrichtung (1) nach einem der Ansprüche 1 bis 7, welcher die erste Lichtquelle und die zweite Lichtquelle in einem Multi-Wellenlängen-Lasermodul umfasst sind.Projection and oculography device (1) according to one of the Claims 1 until 7th which includes the first light source and the second light source in a multi-wavelength laser module. Verfahren zum Betreiben einer Projektions- und Okulografievorrichtung (1) für eine Datenbrille (10) nach einem der Ansprüche 1 bis 6 umfassend die Schritte: - Bestrahlen (S1) der optischen Umlenkvorrichtung (20) und damit einer räumlichen Ausdehnung des Auges gleichzeitig mit dem ersten Licht und mit dem zweiten Licht; - Detektieren (S2a) des von dem Auge des Benutzers reflektierten zweiten Lichts (L2') und daraus Ermitteln (S2b) einer zeitlichen Intensitätsvariation des reflektierten zweiten Lichts über eine räumliche Ausdehnung des Auges; - Auswerten (S3) eines Detektionssignals von der Detektoreinrichtung (5) durch die Datenverarbeitungseinrichtung (DE), wobei die zeitliche Intensitätsvariation des reflektierten zweiten Lichts über die räumliche Ausdehnung des Auges ermittelt wird und dadurch eine Pupillenregion sowie eine Blickrichtung dieser Pupillenregion erkannt werden, wobei anfänglich ein Bereich der räumlichen Ausdehnung des Auges mit dem ersten und zweiten Licht beleuchtet wird und nach einem Erkennen der Pupillenregion nur noch ein Betrachtungsbereich der Pupillenregion mit dem zweiten Licht beleuchtet wird.Method for operating a projection and oculography device (1) for data glasses (10) according to one of the Claims 1 until 6th comprising the steps of: - irradiating (S1) the optical deflection device (20) and thus a spatial extension of the eye simultaneously with the first light and with the second light; - Detecting (S2a) the second light (L2 ') reflected by the eye of the user and determining (S2b) therefrom a temporal intensity variation of the reflected second light over a spatial extent of the eye; - Evaluation (S3) of a detection signal from the detector device (5) by the data processing device (DE), wherein the temporal intensity variation of the reflected second light is determined over the spatial extent of the eye and thereby a pupil region and a line of sight of this pupil region are recognized, initially an area of the spatial extent of the eye is illuminated with the first and second light and, after the pupil region has been recognized, only a viewing area of the pupil region is illuminated with the second light. Verfahren nach Anspruch 9, bei welchem nach dem Erkennen der Pupillenregion zumindest ein Betrachtungsbereich (ROI) im Bereich der räumlichen Ausdehnung des Auges für eine Beobachtung der Pupillenregion bestimmt wird, in welchem das Bestrahlen mit dem ersten und dem zweiten Licht und eine Auswertung der zeitlichen Intensitätsvariation des reflektierten zweiten Lichts erfolgt.Procedure according to Claim 9 , in which, after the pupil region has been recognized, at least one viewing area (ROI) in the area of the spatial extent of the eye is determined for observation of the pupil region, in which the irradiation with the first and second light and an evaluation of the temporal intensity variation of the reflected second light he follows. Verfahren nach Anspruch 9 oder 10, bei welchem anfangs eine gesamte räumliche Ausdehnung des Auges mit dem ersten und zweiten Licht abgescannt wird, indem eine Stellung eines Mikrospiegels zum Bestrahlen der optischen Umlenkvorrichtung (20) verändert wird.Procedure according to Claim 9 or 10 , in which initially an entire spatial extent of the eye is scanned with the first and second light by changing a position of a micromirror for irradiating the optical deflection device (20). Verfahren nach einem der Ansprüche 9 bis 11, bei welchem nach einer Anfangsbeleuchtung der gesamten räumlichen Ausdehnung des Auges darauf verzichtet wird die Augenregion vollständig zu beleuchten sondern es wird nach einer Anfangssequenz nur ein Bereich rund um die Pupille gescannt.Method according to one of the Claims 9 until 11 , in which, after an initial illumination of the entire spatial extension of the eye, the eye region is not completely illuminated, instead, after an initial sequence, only an area around the pupil is scanned. Verfahren nach einem der Ansprüche 9 bis 12, bei welchem eine detektierte Strahlungsenergie des zweiten Lichts einem Raumpunkt im Bereich der räumlichen Ausdehnung des Auges zugeordnet wird.Method according to one of the Claims 9 until 12th , in which a detected radiation energy of the second light is assigned to a point in space in the area of the spatial extent of the eye.
DE102020206452.0A 2020-05-25 2020-05-25 Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses Ceased DE102020206452A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020206452.0A DE102020206452A1 (en) 2020-05-25 2020-05-25 Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020206452.0A DE102020206452A1 (en) 2020-05-25 2020-05-25 Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses

Publications (1)

Publication Number Publication Date
DE102020206452A1 true DE102020206452A1 (en) 2021-11-25

Family

ID=78408470

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020206452.0A Ceased DE102020206452A1 (en) 2020-05-25 2020-05-25 Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses

Country Status (1)

Country Link
DE (1) DE102020206452A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202000A1 (en) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining an eye position using a laser device for data glasses and laser device
DE102022208691A1 (en) 2022-08-23 2024-02-29 Robert Bosch Gesellschaft mit beschränkter Haftung Device for monitoring an eye position of a user's eye in a virtual retinal display, data glasses and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015213376A1 (en) 2015-07-16 2017-01-19 Robert Bosch Gmbh Projection device for data glasses, data glasses and methods for operating a projection device for a data glasses
DE102016226294A1 (en) 2016-12-29 2018-07-05 Robert Bosch Gmbh Method and device for determining the refractive power of a lens in an eye and use
DE102018214637A1 (en) 2018-08-29 2020-03-05 Robert Bosch Gmbh Method for determining a direction of view of an eye

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015213376A1 (en) 2015-07-16 2017-01-19 Robert Bosch Gmbh Projection device for data glasses, data glasses and methods for operating a projection device for a data glasses
DE102016226294A1 (en) 2016-12-29 2018-07-05 Robert Bosch Gmbh Method and device for determining the refractive power of a lens in an eye and use
DE102018214637A1 (en) 2018-08-29 2020-03-05 Robert Bosch Gmbh Method for determining a direction of view of an eye

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202000A1 (en) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining an eye position using a laser device for data glasses and laser device
DE102022208691A1 (en) 2022-08-23 2024-02-29 Robert Bosch Gesellschaft mit beschränkter Haftung Device for monitoring an eye position of a user's eye in a virtual retinal display, data glasses and method

Similar Documents

Publication Publication Date Title
DE102020105652B4 (en) TRACKING SYSTEM WITH INFRARED CAMERA
EP1405122B1 (en) Device for determining the orientation of an eye
DE69906139T2 (en) DEVICE FOR TRACKING EYE MOVEMENT
EP2030062B1 (en) Autofocus device for microscopy
EP3844537A1 (en) Method for ascertaining a viewing direction of an eye
DE69830611T2 (en) METHOD FOR ILLUMINATING AND IMAGING EYES WITH GLASSES USING MULTIPLE LIGHTING SOURCES
DE102011001083B4 (en) Projector device with self-correction function as well as medical device with the projector device
EP2582284B1 (en) Method and device for determining eye position
EP0917661A2 (en) Device for the capturing of the retinal reflex image and the superimposition of additional images in the eye
WO2010037485A1 (en) Arrangements and method for measuring an eye movement, particularly a movement of the fundus of the eye
WO1988003396A1 (en) Device for producing images of an object, and in particular for observing the rear region of the eye
DE3331431A1 (en) DEVICE FOR COUPLING OBSERVATION LIGHT AND / OR OPERATION LIGHT IN AN EYE EXAMINATION DEVICE
DE102020206452A1 (en) Projection and oculography device for data glasses and method for operating a projection and oculography device for data glasses
DE102017107178B4 (en) Microscope with apparatus for generating reflex-corrected images and reflex correction method for correcting digital microscopic images
DE3138122C2 (en)
WO2019011615A1 (en) Method for calibrating a projection device for a head-mounted display, and projection device for a head-mounted display for carrying out the method
DE19731301C2 (en) Device for controlling a microscope by means of gaze direction analysis
EP1840627B1 (en) Method and device for determining the orientation of an eye
DE10326527B4 (en) Method and device for determining a movement of a human eye
WO2012159752A2 (en) Microscopy system for eye examination and method for operating a microscopy system
EP2990015B1 (en) Ophthalmologic laser treatment system
DE102017115501B4 (en) Technique for automatically aligning a lighting field of an ophthalmological examination device
WO2002031579A1 (en) Method and device for transferring optical information onto the human retina
WO2023202814A1 (en) Device and method for determining a pupil position
DE102010026213A1 (en) Method for illuminating biological tissue of pupil of eyes of patient in e.g. operation microscope, involves carrying out alteration of intensity distribution such that location in object field is illuminated with high intensity

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final