DE19807271A1 - Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading - Google Patents

Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading

Info

Publication number
DE19807271A1
DE19807271A1 DE19807271A DE19807271A DE19807271A1 DE 19807271 A1 DE19807271 A1 DE 19807271A1 DE 19807271 A DE19807271 A DE 19807271A DE 19807271 A DE19807271 A DE 19807271A DE 19807271 A1 DE19807271 A1 DE 19807271A1
Authority
DE
Germany
Prior art keywords
image
recording
retina
eye
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE19807271A
Other languages
German (de)
Inventor
Guenter Abersfelder
Heinrich Alexander Eberl
Helmut Grantz
Thorsten Halldorsson
Horst Schmidt-Bischoffshausen
Stefan Uhl
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE19807271A priority Critical patent/DE19807271A1/en
Priority to PCT/DE1999/000421 priority patent/WO1999042315A1/en
Priority to JP2000532296A priority patent/JP2002503862A/en
Priority to EP99913073A priority patent/EP1056611A1/en
Publication of DE19807271A1 publication Critical patent/DE19807271A1/en
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Abstract

The method involves detecting an object or a scene with the human eye (AA) via optoelectronic spectacles (BG) and acquiring the retinal reflection image for deriving image information. The image information are evaluated and compared with stored data. Control signals are generated to trigger one or more functions of the controlled system.

Description

Die Erfindung betrifft ein Verfahren zur Erfassung und Umsetzung von ortsfesten Bildinformationen.The invention relates to a method for recording and implementing stationary image information.

Bildinformationen werden heutzutage durch autarke, personenunabhängige Bildaufnahmegeräte wie Kameras, Scanner, oder Faxgeräte gewonnen. Diese Geräte erfordern eine Ausrichtung unter Zuhilfenahme von speziellen Einrichtungen wie Kamerasucher oder Einlegeschablone. Der Blickwinkel der Bildvorlage (Objekt) bzw. das Aufnahmeformat sind durch das verwendete Objektiv und die Bildvorlage bestimmt. Eine geometrische Veränderung des Bildes erfordert einen Wechsel der Objektive bzw. des Gerätes bei zu großen Formaten. Viele dieser Geräte sind aufgrund ihrer Stromversorgung, ihres Gewichtes etc. ortsgebunden.Image information is nowadays provided by self-sufficient, person-independent Image capture devices such as cameras, scanners, or fax machines won. This Devices require alignment with the help of special Facilities such as camera viewfinder or insertion template. The point of view of the Image template (object) or the recording format are by the used Lens and the original image determined. A geometric change in the The image requires a change of lenses or the device if the size is too large Formats. Many of these devices are due to their power supply, theirs Weight etc. localized.

Der Nachteil heutiger Kopier- und Vervielfältigungsverfahren und ihre schnelle Bildübertragung von einem Ort zum anderen ist ihr hoher Zeit- und Geräteaufwand. So ist in der Regel für jede Gerätefunktion ist eine getrennte Geräteausführung erforderlich.The disadvantage of today's copying and duplication processes and their fast image transfer from one place to another is their high time and Equipment expenditure. So there is usually a separate one for each device function Device version required.

Es ist das Ziel der Erfindung, ein einfaches, einheitliches, ortsunabhängiges und schnelles Aufnahme-, Kopier-, und Übertragungsverfahren zu schaffen, das den Material- und Zeitaufwand drastisch reduziert.It is the aim of the invention, a simple, uniform, location-independent and to create fast recording, copying and transmission processes, that drastically reduces the material and time required.

Ziel der Erfindung ist es ferner, ein Bildaufnahmesystem zu schaffen, das in der Lage ist, die Funktionen verschiedener Geräte in einem Gerät zu vereinigen, das ortsungebunden und auch formatunabhängig ist. Außerdem soll es ohne besondere Hilfseinrichtung, wie Sucher oder Schablonen einsetzbar sein. Über einfache und einfach bedienbare Variationsmöglichkeiten soll es allen Anforderungen gerecht werden können. Unterschiedliche Formate sollen ohne Verlust an Auflösungsvermögen darstellbar sein. Als Zusatzfunktion soll eine sofortige Aufnahmekontrolle möglich sein. The aim of the invention is also to provide an image recording system which in is able to perform the functions of different devices in one device unite that is location-independent and format-independent. Furthermore it should be without a special auxiliary device, such as viewfinder or templates be applicable. About simple and easy to use Variation options should be able to meet all requirements. Different formats should have no loss of resolution be representable. As an additional function, there should be an immediate admission control to be possible.  

In einer früheren Anmeldung DE 19 63 144.3-35 "Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge", sowie in der späteren Anmeldung DE 197 28 890.1-35 "Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes" wird eine teiltransparente Brille beschrieben, mit deren Hilfe über eine Rückspiegelung an ihrer Innenseite das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen wird. Diese in den Anmeldungen in verschiedenen Varianten beschriebenen Vorrichtungen ermöglichen, daß das vom Auge direkt gesehene Bild mit einem zweiachsigen Scanner seriell abgetastet, vom Computer weiterverarbeitet wird. Mit Hilfe einer Beleuchtungseinrichtung, vorzugsweise mit Lasern, kann über den gleichen Lichtweg in umgekehrter Richtung und nach nochmaliger Reflexion an der Innenseite der Brille physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert werden, daß ein verbesserter Seheindruck entsteht.In an earlier application DE 19 63 144.3-35 "device for recording of the retinal reflex image and superimposition of additional images in the eye ", and in the later application DE 197 28 890.1-35 "method for Improvement of optical perception through modification the retinal image "describes a partially transparent pair of glasses with which Help with a reflection on the inside of the retinal reflex image Electronically with different brightness of the environment is recorded. This in the registrations in different variants described devices allow that directly from the eye viewed image scanned serially with a two-axis scanner, from Computer is processed. With the help of a lighting device, preferably with lasers, can be reversed using the same light path Direction and after reflection again on the inside of the glasses overlaid physiologically without delay on the original image that an improved visual impression arises.

Die hier vorliegende Erfindung schlägt vor, diesen neuartigen technischen Lösungsweg der beiden Anmeldungen dazu zu verwenden, ortsfeste Bildvorlagen wie etwa Bücher, Zeitungs- und Dokumentationstexte und Druckbilder mit Hilfe einer opto-elektronischen Brille dieser Art aufzunehmen und zu verwerten. Die Bildinformationen werden aus dem gleichen Blickwinkel wie der Betrachter sie sieht, direkt von seinem Auge (Netzhaut) aufgenommen und im Computer weiterverarbeitet, abgespeichert, kopiert oder über elektronische Netzwerke (Fax, E-mail, Internet) verteilt. Zusätzlich kann ein verbessertes oder ergänztes Bild der Vorlage oder von Hilfsmustern und Schablonen mit Hilfe einer Laser-Projektionseinrichtung dem Originalbild überlagert werden.The present invention proposes this novel technical Solution of the two applications to use fixed Photo templates such as books, newspaper and documentation texts and Print images with the help of opto-electronic glasses of this type record and utilize. The image information is taken from the same point of view as the viewer sees it, directly from his eye (Retina) recorded and processed, stored in the computer, copied or distributed via electronic networks (fax, e-mail, Internet). In addition, an improved or supplemented image of the template or of Auxiliary patterns and templates with the help of a laser projection device be superimposed on the original image.

Diese allgemeine Aufgabe wird im Sinne der Erfindung dadurch gelöst, daß die opto-elektronische Brille so ausgelegt ist, daß das auf der Netzhaut des Auges durch die Brille transmittierte Bild der Umgebung über die Rückspiegelung an der Innenseite der Brille seriell mit Hilfe eines Scanners mit einer festen Abtastfrequenz und eines empfindlichen Photodetektors aufgenommen wird. Das serielle Bildsignal wird anschließend zu dem Bildverarbeitungsrechner geleitet. Damit die Bildaufnahme auch den schnellen und langsamen Bewegungen des Auges folgen kann, wird ein Teil des Bildaufnahmezyklus dazu verwendet, die Pupillenöffnung zu lokalisieren und verfolgen und die Symmetrieachse der Bildabtastung auf sie zu zentrieren. Dieser Vorgang passiert gleichzeitig an beiden Augen. Somit kann die Ausrichtung der beiden Augen gegeneinander vermessen und Bilder beider Augen korreliert werden.This general object is achieved in the sense of the invention in that the opto-electronic glasses are designed so that the retina of the Image of the surroundings transmitted through the eye through the glasses Mirroring on the inside of the glasses serially with the help of a scanner with a fixed sampling frequency and a sensitive photodetector is recorded. The serial image signal then becomes the Image processing computer directed. So that the image acquisition also rapid and slow movements of the eye can become part  of the imaging cycle used to locate the pupil opening and track and trace the symmetry of the image scan towards it center. This happens in both eyes at the same time. So can measure the alignment of the two eyes against each other and pictures of both Eyes are correlated.

Augen- und Kopfbewegungen, die jede Person bei Bildbetrachtung und beim Lesen, wegen des geringen momentanen Schärfebereiches des Auges (ca. 1°) und der begrenzten Bildaufnahmegeschwindigkeit ausführt, sind bei Aufnahmen mit der opto-elektronischen Brille nicht notwendig. Sobald das gesamte Bild der Vorlage auf der Netzhaut durch die Augenlinse scharf abgebildet ist, kann es von der opto-elektronischen Brille erfaßt werden. Die Aufnahmebedingungen, wie der Abstand zur Vorlage und Aufnahmewinkel wird je nach Anwendung unterschiedlich sein. Die kürzest mögliche Aufnahmezeit entspricht der Bildrahmenfrequenz des Scanners.Eye and head movements that every person when viewing the picture and when Reading, because of the small current focus range of the eye (approx. 1 °) and the limited image capture speed are at Photos with the opto-electronic glasses are not necessary. As soon as that entire image of the original on the retina through the eye lens is sharp is shown, it can be detected by the opto-electronic glasses. The Shooting conditions, such as the distance to the original and the shooting angle will vary depending on the application. The shortest possible Recording time corresponds to the frame rate of the scanner.

Das aufgenommenen Bild kann mit einer typische Videonorm im Rechner verarbeitet werden. Da die Bilder von der Krümmung der Netzhaut und durch die unterschiedlichen Blickwinkel geometrisch verzerrt sind, wird nach der Aufnahme eine Umrechnung des Bildes auf ein bestimmtes Format notwendig sein. Da die Entzerrung der Bilder ohne optische Hilfsmittel einen relativ hohen Rechenaufwand bedeutet, sieht die Erfindung alternativ vor, daß ein geometrisches Hilfsmuster (z. B. ein regelmäßiges dichtes Netz) im unsichtbaren infraroten Strahlungsbereich mit dem Laserprojektor während oder zwischen zwei Bildaufnahmen auf die Netzhaut projiziert wird. Aus dem rechnerischen Vergleich dieses internen Hilfsbildes mit dem Außenbild ermöglicht dann eine vereinfachte Entzerrung in dem Bildrechner.The captured image can be recorded using a typical video standard in the computer are processed. Because the images of the curvature of the retina and through the different angles are geometrically distorted, according to the Recording a conversion of the image to a certain format is necessary be. Since the rectification of the images without optical aids a relative means high computing effort, the invention alternatively provides that a geometric auxiliary pattern (e.g. a regular dense network) in the invisible infrared radiation area with the laser projector during or is projected onto the retina between two images. From the arithmetical comparison of this internal auxiliary image with the external image then enables a simplified equalization in the image computer.

Einzelheiten der Erfindung ergeben sich aus der Beschreibung, in der anhand der Zeichnung verschiedene Anwendungsmöglichkeiten erörtert werden. Es zeigenDetails of the invention will become apparent from the description in which: the drawing different possible uses are discussed. It demonstrate

Fig. 1 schematisch die Brille nach den eingangs genannten älteren Anmeldungen und ihre Wechselwirkung mit dem menschlichen Sehapparat, Fig. 1 shows schematically the spectacles according to the aforementioned earlier applications, and their interaction with the human visual system,

Fig. 2 die Verarbeitung der Signale in einem Blockschaltbild entsprechend der erstgenannten Anmeldung. Fig. 2 shows the processing of the signals in a block diagram according to the first-mentioned application.

Fig. 1 zeigt identisch mit obengenannten Anmeldungen ein schematisches Bild der aufgesetzten Brille. Der Strahlengang für die Aufnahme des Netzhautreflexes über Spiegelung der Strahlachsen an der Innenseite der Brille, sowie das Gesichtsfeld des Auges in Transmission durch die Brille ist angedeutet. Fig. 1 shows, identical to the above-mentioned applications, a schematic image of the glasses put on. The beam path for the recording of the retinal reflex via reflection of the beam axes on the inside of the glasses, as well as the visual field of the eye in transmission through the glasses is indicated.

Fig. 2 zeigt identisch mit den oben genannten Anmeldungen den Strahlengang einer opto-elektronischen Brille, beispielhaft für die Farben Rot, Grün und Blau mit den einzelnen Bauteilen- und Gruppen in Empfangs- und Projektionskanal. Fig. 2 shows the same as the above-mentioned applications the beam path of an optoelectronic glasses, by way of example for the colors red, green and blue with the individual groups in Bauteilen- and receiving and projection channel.

Der zentrale Gegenstand der Erfindung ist eine spezielle Brille, die entsprechend Fig. 1 einem Betrachter aufgesetzt wird. Die Brillengläser BG dienen als Strahlteiler. In Transmission, für das Licht aus der Außenwelt und in Reflexion, als eine Abbildungsfläche des von der Netzhaut NH durch das Auge AA rückgestreuten Lichtes, das mit Hilfe weiterer Abbildungselemente und eines zweiachsigen Scanner für die Horizontal- HSS und Vertikalablenkung VSS einem Photoempfänger ein einer Empfangseinheit zugeführt wird.The central subject of the invention is a special pair of glasses which is placed on an observer as shown in FIG. 1. The BG glasses serve as beam splitters. In transmission, for the light from the outside world and in reflection, as an imaging surface of the light backscattered by the retina NH through the eye AA, which with the aid of further imaging elements and a biaxial scanner for the horizontal HSS and vertical deflection VSS a photo receiver in a receiving unit is fed.

Der Strahlengang wird gleichzeitig derart gestaltet, daß die Verlängerung der Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht einer Strahlungssenke SS mündet. Die Verlängerung der Sichtlinie des Auges durch die Brille läuft dagegen zur Außenwelt AW.The beam path is designed in such a way that the extension of the Line of sight from the detector through the glasses always in the absorbing layer a radiation sink SS opens. Extending the line of sight of the eye through the glasses, however, runs to the outside world AW.

Die einfachste Methode der Strahlteilung an den Brillengläsern BG ist die Verwendung von 50% transmittierenden und 50% reflektierenden Spiegelgläsern. Es können auch aktive elektronisch steuerbare Spiegel, die von vollständiger Transmission bis vollständiger Reflexion in den beiden Abtastzyklen umschalten, eingesetzt werden.The simplest method of beam splitting on BG glasses is Use of 50% transmitting and 50% reflecting Mirror glasses. There can also be active electronically controllable mirrors designed by complete transmission to complete reflection in both Switch scanning cycles, are used.

Das Auge AA bildet von der Außenwelt AW parallele oder nahezu parallele Strahlbündel auf der Netzhaut NH ab. Der Drehpunkt der Strahlbündel bei unterschiedlichen Betrachtungswinkel zur Außenwelt liegt in der Pupille des Auges AP.The eye AA forms parallel or almost parallel from the outside world AW Beam from the retina NH. The fulcrum of the beam at  different viewing angles to the outside world lies in the pupil of the Eye AP.

Die Erfindung geht von einer gleichzeitigen Aufnahme und Projektion in beide Augen und damit einem weitgehend identischen Strahlengang für das linke und rechte Auge aus. Bei Fehlsichtigen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, sieht die Erfindung vor, daß entweder die Brillengläser in ihrer Brechung durch entsprechende unterschiedliche Auslegung der Wölbung der Außenseite und der Innenseite individuell angepaßt sind, bzw. daß Kontaktlinsen getragen werden. Für Normalsichtige ist die Wölbung der Innen- und Außenseite der Brillengläser die Brillengläser BG identisch.The invention is based on a simultaneous recording and projection both eyes and thus a largely identical beam path for the left and right eye out. In the case of ametropia, also with different Refractive power of the left and right eyes, the invention provides that either the lenses in their refraction by appropriate different design of the curvature of the outside and the inside are individually adapted, or that contact lenses are worn. For The normal vision is the curvature of the inside and outside of the lenses the BG lenses are identical.

Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurrückgestreute Licht ist in gleicher Weise eine nahezu paralleles Strahlenbündel, der den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung auf die Innenseite des teilweise reflektierenden Brillenglases BG fällt. Die Krümmung dieser Fläche wird so gestaltet, daß gemeinsam mit der Augenlinse ein zweites Bild des Bildpunktes auf der Netzhaut in der Zwischenebene ZE entsteht. Ein Hilfsspiegel HS kollimiert die Strahlen erneut und bildet sie so ab, daß sie über den gemeinsamen Drehpunkt auf der Achse des horizontalen Scannerspiegels HSS verläuft. Eine vertikale Ablenkung wird durch einen zweiten Scannerspiegel VSS durchgeführt.That from every single pixel of the retina from the eye backscattered light is almost parallel in the same way Beam of light that follows the same path as the incident light opposite direction to the inside of the partially reflective Glasses BG falls. The curvature of this surface is designed so that together with the eye lens a second image of the pixel on the Retina is created in the intermediate plane ZE. An auxiliary mirror HS collimates the rays again and represent them so that they over the common The fulcrum runs on the axis of the horizontal scanner mirror HSS. A vertical deflection is caused by a second scanner mirror VSS carried out.

Wie in einem Laser-scanning-Ophthalmoskop wird der Strahlengang zwischen dem Projektions- und Empfangskanal mit Hilfe eines Schaltspiegels SUS getrennt. Im Strahlgang der Projektionseinheit hinter dem Strahlschalter SUS ist eine Fokussiereinrichtung FE angeordnet, die die Größe des Laserbildflecks und des abgetasteten Flecks beim Empfang GFB auf der Netzhaut NH einstellt.The beam path is like in a laser scanning ophthalmoscope between the projection and reception channel using a switching mirror SUS separated. In the beam path of the projection unit behind the beam switch SUS is a focusing device FE arranged, the size of the Laser image spot and the scanned spot when receiving GFB on the Retina sets NH.

Es vorgesehen, daß der Netzhautreflex mit der Verwendung von dichroitischen Filtern (DFR, DFG und DFB) und drei getrennten Detektoren (PMR, PMG und PMB) in bis zu drei Farbkanäle aufgeteilt wird und damit ein weitgehend unverfälschtes Farbbild aufgenommen werden kann. Auf der Laserseite wird ebenso mit dichroitischen Strahlteilern die Strahlen von bis zu drei Lasern im roten, grünen und blauen Spektralbereich (LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, MB) auf einer gemeinsamen Achse vereinigt.It provided that the retinal reflex with the use of dichroic filters (DFR, DFG and DFB) and three separate detectors (PMR, PMG and PMB) is divided into up to three color channels and thus a largely unadulterated color image can be recorded. On the  The laser side also uses beams with dichroic beamsplitters up to three lasers in the red, green and blue spectral range (LR, LG, LB) the separate image modulation of each color (MR, MG, MB) on one common axis united.

Zur farbtreuen Bildaufnahme wird das optische Signal mit dichroitischen Filtern DFR DFG und DKB im Empfangskanal in die drei Farbkomponenten vor den drei Photoempfängern, verzugsweise Photomultipliern PMR, PMG und PMB in die drei Grundfarben zerlegt und getrennt vermessen. Wegen der schwachen Lichtsignale werden vor allem Photon-counting Verfahren zum Einsatz kommen.The optical signal with dichroic is used for true-color image acquisition Filter DFR DFG and DKB in the receive channel into the three color components in front of the three photoreceivers, partly photomultipliers PMR, PMG and PMB broken down into the three basic colors and measured separately. Because of the weak light signals are mainly used for photon counting Come into play.

In vielen Anwendungen wird nur eine schwarz-weiß Bilddarstellung notwendig sein. Dann können die drei Farbkanäle zu einem einzigen zusammengelegt werden. Für den Fall jedoch, daß infrarote Bildmuster zur Bildentzerrung verwendet werden, würde einer der Kanäle in der Sende- und Empfangseinheit für das entsprechende Wellenlängenintervall ausgelegt sein.In many applications, only a black and white image is shown to be necessary. Then the three color channels can become one be merged. In the event, however, that infrared image patterns for Image equalization would be one of the channels in the transmit and Receiver unit can be designed for the corresponding wavelength interval.

Es versteht sich, daß die verschiedenen in den genannten Anmeldungen beschriebenen Abtastmuster der opto-elektronischen Brille wie Zeilen- Spiral- und Kreisabtastung auch hier eingesetzt werden können. Da die Bildvorlagen jedoch grundsätzlich alle ortsfest sind und das Auge auf die Vorlage während der Aufnahme fixiert ist, kann u. U. eine geringere Bildrahmenfrequenz als bei den üblichen Video- und Fernsehnormen verwendet werden, -bzw. es könnten mehrere Bilder aufintegriert werden. Beide Wege können bei schwacher Beleuchtung zur Signalverstärkung verwendet werden.It is understood that the various in the applications mentioned described scanning pattern of opto-electronic glasses such as line, spiral and Circle scanning can also be used here. Because the artwork however, basically all are stationary and keep an eye on the template while the recording is fixed, u. U. a lower frame rate than be used in the usual video and television standards, or it several images could be integrated. Both ways can weak lighting can be used for signal amplification.

Bei den meisten Anwendungen wird eine gute Auflösung über einen relativ großen Winkelausschnitt des Gesichtsfeldes des Auges verlangt. Dies läßt sich am besten erreichen mit der Einstellung einer konstanten Auflösung während der gesamten Dauer der Abtastung. Dies ist anders als bei Anwendung der opto-elektronischen Brille bei der freien Betrachtung der Umgebung mit dem Auge, wo eine hohe Auflösung im Bereich des schärfsten Sehens in der Fovea, die aber zu den Rändern des Gesichtsfeldes auf der Netzhaut stark abnehmend eingestellt wird (siehe Patentanmeldung DP 1 97 28 890.1-35). In most applications, good resolution is relative to one requires a large angle section of the visual field of the eye. This can be done best achieved by setting a constant resolution during the total duration of the scan. This is different than when using the opto-electronic glasses for free viewing of the surroundings with the Eye where a high resolution in the field of sharpest vision in the Fovea, however, strongly to the edges of the visual field on the retina is set decreasing (see patent application DP 1 97 28 890.1-35).  

Es ist vorgesehen, daß in der Brille, ähnlich wie in modernen Videokameras von Zeit zur Zeit eine grobe Überprüfung des aufgenommenen Bildes möglich ist. Dies läßt sich hier am einfachsten dadurch erreichen, daß der Brille außen ein dunkler Verschluß vorgesetzt wird, der während dieser Zeit die Sicht nach außen versperrt. Mit Hilfe des Laserprojektors kann dann das gespeicherte Bild dann über die Spiegelung an der Innenseite der Brille gegen den schwarzen Hintergrund des Verschlusses betrachtet werden.It is envisaged that in the glasses, similar to modern video cameras from time to time a rough review of the captured image is possible is. The easiest way to achieve this is to have the glasses on the outside a dark shutter is placed in front of the view during this time locked outside. With the help of the laser projector, the saved data can then be saved Then picture over the reflection on the inside of the glasses against the black background of the clasp to be looked at.

Bereits bei der Aufnahme wird zweckmäßig im Bedarfsfall eine geometrische Entzerrung mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut vorgenommen. Es können auch durch gleichzeitige Einspiegelung eines für die Netzhaut unsichtbaren Hilfsmusters in das Auge Daten für die Entzerrung erhalten werden.If necessary, a geometrical one is expedient already during the recording Equalization using stored data on the curvature of the retina performed. It can also be done by simultaneously mirroring one for the retina invisible auxiliary pattern in the eye data for equalization be preserved.

Das aufgenommene Bild kann ggf. stereoskopisch in zwei Kanälen weiterverarbeitet werden. Des weiteren können zumindest teilweise im Infrarotbereich liegende Informationen weiterverarbeitet werden.The recorded image can possibly be stereoscopically in two channels to be processed further. Furthermore, at least partially in Information in the infrared range can be processed further.

Das aufgezeichnete Bild kann gemäß der Erfindung zur Herstellung von fotografischen Stehbildaufnahmen, von Laufbildaufzeichnungen, von Freiformat-Scanneraufzeichnungen, zur teleskopischen Wiedergabe und/oder Aufzeichnung, oder zur Herstellung von Kopien verwendet werden.The recorded image can be used according to the invention for the production of photographic still images, motion picture recordings, of Free format scanner recordings, for telescopic reproduction and / or Recording, or used to make copies.

Zur Positionierung der Bildaufzeichnung wird ggf. ein variabler Ausschnittsrahmen in das Auge projiziert.A variable can be used to position the image recording Clipping frame projected into the eye.

Claims (19)

1. Verfahren zur Erfassung und Umsetzung von ortsfesten Bildinformationen, dadurch gekennzeichnet, daß mittels einer optoelektronischen Brille das Reflexionsbildes der Netzhaut der Augen in einem Scan-Vorgang aufgenommen und einem Bildverarbeitungs- und Speichersystem zugeführt wird.1. A method for the detection and implementation of fixed image information, characterized in that the reflection image of the retina of the eyes is recorded in a scanning process and fed to an image processing and storage system by means of optoelectronic glasses. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Aufnahmewinkel entsprechend der jeweiligen Anforderung angepaßt wird.2. The method according to claim 1, characterized in that the Recording angle is adjusted according to the respective requirement. 3. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, daß die Auflösung entsprechend der jeweiligen Anforderung angepaßt wird.3. The method according to claim 1 and 2, characterized in that the Resolution is adjusted according to the respective requirement. 4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Dichte der Zeilen des Scanvorganges entsprechend der jeweiligen Anforderung angepaßt wird.4. The method according to any one of the preceding claims, characterized characterized that the density of the lines of the scanning process accordingly is adapted to the respective requirement. 5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Scangeschwindigkeit entsprechend der jeweiligen Anforderung angepaßt wird.5. The method according to any one of the preceding claims, characterized characterized in that the scanning speed according to the respective Requirement is adjusted. 6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bereits bei der Aufnahme eine geometrische Entzerrung mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut vorgenommen wird.6. The method according to any one of the preceding claims, characterized characterized in that a geometric equalization already when recording using stored data on the curvature of the retina is made. 7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Aufnahme durch gleichzeitige Einspiegelung eines für die Netzhaut unsichtbaren Hilfsmusters in das Auge und den Vergleich mit diesem vorgenommen wird. 7. The method according to any one of the preceding claims, characterized characterized in that the recording by simultaneous reflection of a for the retina invisible auxiliary pattern in the eye and comparison with this is done.   8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgenommene Bild nach Abdunklung der Brille durch Rückprojektion ins Auge kontrolliert wird.8. The method according to any one of the preceding claims, characterized characterized in that the picture taken after darkening the glasses controlled by rear projection into the eye. 9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgenommene Bild einer Farbanpassung unterworfen wird (Weißabgleich).9. The method according to any one of the preceding claims, characterized characterized in that the captured image has a color match is subjected (white balance). 10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgenommene Bild wahlweise monochrom oder farbig weiterverarbeitet wird.10. The method according to any one of the preceding claims, characterized characterized in that the captured image either monochrome or is processed in color. 11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgenommene Bild stereoskopisch in zwei Kanälen weiterverarbeitet wird.11. The method according to any one of the preceding claims, characterized characterized in that the captured image stereoscopically in two Channels is further processed. 12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zumindest teilweise im Infrarotbereich liegende Informationen weiterverarbeitet werden.12. The method according to any one of the preceding claims, characterized characterized in that at least partially in the infrared range Information to be processed further. 13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgezeichnete Bild zur Herstellung von fotografischen Stehbildaufnahmen verwendet wird.13. The method according to any one of the preceding claims, characterized characterized in that the recorded image for producing photographic still images is used. 14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgezeichnete Bild zur Herstellung von Laufbildaufzeichnungen verwendet wird.14. The method according to any one of the preceding claims, characterized characterized in that the recorded image for producing Motion picture recording is used. 15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgezeichnete Bild zur Herstellung von Freiformat-Scanneraufzeichnungen verwendet wird.15. The method according to any one of the preceding claims, characterized characterized in that the recorded image for producing Free format scanner records are used. 16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgezeichnete Bild zur teleskopischen Wiedergabe und/oder Aufzeichnung verwendet wird. 16. The method according to any one of the preceding claims, characterized characterized in that the recorded image for telescopic reproduction and / or recording is used.   17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das aufgezeichnete Bild zur Herstellung von Kopien verwendet wird.17. The method according to any one of the preceding claims, characterized characterized in that the recorded image for making copies is used. 18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zur Positionierung der Bildaufzeichnung ein variabler Ausschnittsrahmen in das Auge projiziert wird.18. The method according to any one of the preceding claims, characterized characterized in that a variable for positioning the image recording Clipping frame is projected into the eye. 19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das verbesserte Bild synchron mit dem aufgenommenen auf die Netzhaut projiziert wird.19. The method according to any one of the preceding claims, characterized characterized in that the enhanced image is in sync with the captured one is projected onto the retina.
DE19807271A 1998-02-20 1998-02-20 Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading Ceased DE19807271A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE19807271A DE19807271A1 (en) 1998-02-20 1998-02-20 Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading
PCT/DE1999/000421 WO1999042315A1 (en) 1998-02-20 1999-02-16 Method for controlling or operating systems by means of image information and method for detecting image information
JP2000532296A JP2002503862A (en) 1998-02-20 1999-02-16 System control or operation method using image information and method for detecting image information
EP99913073A EP1056611A1 (en) 1998-02-20 1999-02-16 Method for controlling or operating systems by means of image information and method for detecting image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19807271A DE19807271A1 (en) 1998-02-20 1998-02-20 Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading

Publications (1)

Publication Number Publication Date
DE19807271A1 true DE19807271A1 (en) 1999-09-23

Family

ID=7858476

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19807271A Ceased DE19807271A1 (en) 1998-02-20 1998-02-20 Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading

Country Status (1)

Country Link
DE (1) DE19807271A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19631414A1 (en) * 1996-08-05 1998-02-19 Daimler Benz Ag Device for recording the retinal reflex image and superimposing additional images in the eye

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19631414A1 (en) * 1996-08-05 1998-02-19 Daimler Benz Ag Device for recording the retinal reflex image and superimposing additional images in the eye

Similar Documents

Publication Publication Date Title
DE69834234T2 (en) Composite display device
DE69433556T2 (en) Image display device
DE60208894T2 (en) RAIN SENSOR WITH STEREOSCOPIC PICTURE SYSTEM
EP0917661A2 (en) Device for the capturing of the retinal reflex image and the superimposition of additional images in the eye
DE10210232A1 (en) Device for determining the focus state of a taking lens
DE3020171A1 (en) VIEWFINDER FOR A TELEVISION CAMERA
NL8005650A (en) THREE-DIMENSIONAL TELEVISION IMAGE DISPLAY SYSTEM AND IMAGE RECORDING DEVICE AND IMAGE SUITABLE FOR THAT.
DE3427260A1 (en) STEREOSCOPIC PICTURE PLAYER
EP0907902B1 (en) Method of three-dimensional imaging on a large-screen projection surface using a laser projector
DE3112548C2 (en)
DE3823136C2 (en)
DE4417762C1 (en) Image projector using switched light conductors to twin display screens
EP1056611A1 (en) Method for controlling or operating systems by means of image information and method for detecting image information
WO2005098508A2 (en) Image recording system and image playback system and image recording/playback system
DE102005025613B3 (en) Electronic view finder for photo instruments and film cameras comprises two or more electronic displays, which has optical means to compose view finder images to different range of the picture
WO1999003013A1 (en) Method for improving optic perceptive faculty by modifying the retinal image
DE2634655A1 (en) Automatic focuser for reflex camera - has partially reflective reflex mirror and completely reflective auxiliary mirror directing light via beam splitter to two receivers
DE102013203425A1 (en) Digital movie camera
DE19807271A1 (en) Method of controlling or operating systems using image information, esp. for relieving driver of motor vehicle of loading
WO1997044696A1 (en) Head-mounted display
WO1997018496A1 (en) Method and device for producing a wide-angle picture
DE102011106688B4 (en) Visualization device and method for visualizing a spatially resolved measurement result
DE19807081C2 (en) Method for operating systems by optically detecting a control element or object
DE1957846A1 (en) Stereoscopic reproduction apparatus
DE4206711A1 (en) Helmet mounted video monitor - has ground glass plate between lens-and-mirror systems to produce composite image formed from prim. colour components or reproduced picture

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: EBERL, HEINRICH ALEXANDER, 87463 DIETMANNSRIED, DE

8131 Rejection