DE19807081C2

DE19807081C2 - Method for operating systems by optically detecting a control element or object

Info

Publication number: DE19807081C2
Application number: DE1998107081
Authority: DE
Inventors: Guenter Abersfelder; Heinrich Alexander Eberl; Helmut Grantz; Thorsteinn Halldorsson; Horst Schmidt-Bischoffshausen; Stefan Uhl
Original assignee: DaimlerChrysler AG
Priority date: 1998-02-20
Filing date: 1998-02-20
Publication date: 2000-08-31
Anticipated expiration: 2018-02-21
Also published as: DE19807081A1

Description

Die Erfindung betrifft ein Verfahren zum Bedienen von Systemen durch optische Erfassung eines dazugehörigen Bedienelements oder Gegenstandes, wobei mittels einer opto elektronischen Brille und einem Bildverarbeitungssystem Bildmuster auf der Netzhaut beider Augen aufgenommen und verarbeitet werden.The invention relates to a method for operating systems by optical detection an associated control element or object, with an opto electronic glasses and an image processing system image pattern on the retina both eyes can be absorbed and processed.

Die breite Anwendung einer Vielzahl von relativ komplexen elektronischen Geräten im Haushalt und am Arbeitsplatz, sowie in Fahrzeugen, die ständig bedient werden, nimmt immer mehr zu. Als Beispiele seien Fernseh- und Videogeräte, Computer, Drucker, Beleuchtungseinrichtungen, Telefon, Fax und Handy sowie Radio, CD-Spieler und GPS- Navigationsgeräte genannt. Heute werden Geräte meistens mit Hilfe von Hebeln, Tasten und Schaltern oder durch Menüführung an einem Bildschirm und Anwählen der gewünschten Bedienfunktion durch Tastatur, Trackball, Bedienstift oder Maus bedient.The wide use of a variety of relatively complex electronic devices in the Household and at work, as well as in vehicles that are constantly operated more and more. Examples include television and video devices, computers, printers, Lighting equipment, telephone, fax and cell phone as well as radio, CD player and GPS Called navigation devices. Today devices are mostly using levers, buttons and switches or by menu navigation on a screen and selecting the desired operating function operated by keyboard, trackball, stylus or mouse.

Der Bedienablauf in allen diesen Fällen ist der gleiche: das Bedienelement muß optisch oder haptisch gesucht bzw. entweder durch optische Fixierung mit den Augen und/oder Ertasten der Form des Bedienelements erfaßt werden.The operating sequence in all of these cases is the same: the control element must be optical or haptically searched or either by optical fixation with the eyes and / or Feeling the shape of the control element can be detected.

Eine Fixierung ist auch nötig, wenn ein System z. B. über eine Maus bedient werden soll. Die Fixierung geschieht auf dem Mauszeiger. Gleichzeitig muß beispielsweise auf einem Bildschirm das gewünschte Icon zur Bedienung gesucht und gefunden werden, was ebenfalls eine Fixierung benötigt. Erst wenn Mauszeiger und Icon gleichzeitig fixiert werden können, ist eine Bedienung über ein zusätzliches Bedienelement möglich. Dies führt bei vielen Menschen zu Koordinationsproblemen und damit verbunden einer ablehnenden Haltung zum System.A fixation is also necessary if a system e.g. B. to be operated using a mouse. The fixation happens on the mouse pointer. At the same time, for example, on a Screen the desired icon for operation and what can be found a fixation is also required. Only when the mouse pointer and icon are fixed at the same time can be operated using an additional control element. This leads to coordination problems for many people and associated with it negative attitude to the system.

Bei Menuführung sind mehrere Betätigungen nötig, nämlich Auswahl des Menüpunktes überein Bedienelement und Auslösen der Funktion über ein weiteres Bedienelement. Eine Funktionskontrolle kann dabei durch Rückmeldung über Funktionsbeleuchtung erfolgen. When pressing the menu, several operations are required, namely selection of the menu item one control element and triggering the function via another control element. A Functional control can take place by feedback via functional lighting.

In der DE 296 10 766 U1 ist ein System zur Umweltsteuerung mit Hilfe des menschlichen Auges beschrieben, bei dem mittels eines Ortungssystems die Position des Kopfes eines Benutzers im Raum festgestellt werden soll. Durch Tonimpulse, die von Tongebern ausgesendet werden, können über deren Laufzeiten Raumkoordinaten ermittelt und daraus eine Drehung des Kopfes bestimmt werden. Die Auswahl eines Gerätes erfolgt durch "Anschauen", das Auslösen z. B. durch Lidschlag.DE 296 10 766 U1 describes a system for environmental control with the help of humans Described eye, in which the position of the head of a User should be determined in the room. Through sound impulses from sound generators spatial coordinates can be determined and their runtimes a rotation of the head can be determined from this. A device is selected by "looking", triggering z. B. by blinking.

Die WO 93/14454 A1 zeigt eine sensorintegrierte Datenschnittstelle mit einem Display- Monitor, der vor dem Auge des Benutzers angeordnet wird. Mit einer Kamera wird das Auge des Benutzers aufgenommen um den Blick auf das Display zu bestimmen.WO 93/14454 A1 shows a sensor-integrated data interface with a display Monitor placed in front of the user's eye. With a camera Eye of the user added to determine the view of the display.

Die Vielzahl von Funktionen üblicher Geräte und Systeme erfordert eine entsprechend hohe Anzahl von Bedienelementen. Dies erschwert das Auffinden und Bedienen und führt außerdem zu einem hohen Platzbedarf. Die Unterbringung mehrerer Bedienelemente ist ergonomisch oft nicht gelöst. Bei der Notwendigkeit der Bedienung von mehreren Schaltern nach einem bestimmten Ablauf entstehen häufig Fehler und benötigen ein Erlernen, Studieren von Manuals etc. was vor allem Kindern und älteren Leuten oft schwer fällt. Es fehlt eine Standardisierung des Bedienortes und der Gestaltung und Anordung der Elemente. Sie stören oft die ästhetische Gestaltung und begrenzen die Möglichkeiten des Designs.The variety of functions of conventional devices and systems requires one accordingly high number of controls. This makes finding and operating difficult and leads also takes up a lot of space. The placement of multiple controls is ergonomically often not solved. When the need to operate several Switches after a certain sequence often cause errors and require one Learning, studying manuals etc. which is often difficult especially for children and older people falls. There is no standardization of the operating location and the design and arrangement of the Elements. They often interfere with the aesthetic design and limit the possibilities of the Designs.

Aufgabe der Erfindung ist es, die oben genannten Probleme zu lösen und ein Verfahren anzugeben, mit dem Systeme leichter bzw. auf einfache Weise bedient werden können.The object of the invention is to solve the above problems and a method specify with which systems can be operated more easily or in a simple manner.

Dies geschieht gemäß der Erfindung dadurch, daß ein Bedienelement oder Gegenstand optisch erfaßt wird, wobei mittels einer opto-elektronischen Brille und einem Bildverarbeitungssystem Bildmuster auf der Netzhaut beider Augen aufgenommen und verarbeitet werden, und die Bildmuster der Fovea Centralis beider Augen analysiert werden, um einen Gegenstand im Mittelpunkt der Fovea Centralis zu erfassen und mit einem gespeicherten Muster zu vergleichen, wobei bei Übereinstimmung der Bildmuster mit dem gespeicherten Muster eine zugeordnete Funktion durch Auslösen eines Auslöseelements aktiviert wird. This is done according to the invention in that an operating element or object is optically detected, using an opto-electronic glasses and a Image processing system image patterns recorded on the retina of both eyes and processed, and the image pattern of the fovea centralis of both eyes analyzed to capture an object in the center of the Fovea Centralis and with to compare a stored pattern, where the pattern matches an assigned function with the saved pattern Triggering a trigger element is activated.

So wird z. B. durch optische Erfassung der Bedienfunktion eines Gerätes mit den Augen an einer geeigneten Stelle und Auslösen des Auslöseelementes die erwünschte Funktion aktiviert.So z. B. by optical detection of the operating function of a device with the eyes a suitable location and triggering the trigger element the desired Function activated.

Es erfolgt eine Auswertung des von der Netzhaut reflektierten Musters im Bereich der Fovea Centralis beider Augen, durch Vergleich desselben Musters unter Prüfung der Deckungsgleichheit und Vergleich mit gespeicherten Mustern. Bei Übereinstimmung der beiden Muster mit dem gespeichertem Muster kann der Prozess durch Auslösen eines einzigen Auslöseelements für viele Funktionen geschaltet werden.The pattern reflected by the retina is evaluated in the area of the Fovea Centralis of both eyes, by comparing the same pattern and examining the Congruence and comparison with saved patterns. If the The process can be triggered by triggering one of the two patterns with the saved pattern single trigger element can be switched for many functions.

Die Erfindung basiert auf der Tatsache, daß ein Gegenstand immer dann von Menschen sicher erfaßt und ggf. erkannt ist, wenn sich der Gegenstand exakt im Mittelpunkt der Fovea Centralis (Netzhautgrube), dem Ort der des schärfsten Sehens, beider Augen befindet, der nur den kleinen Winkelbereich von nur einigen Grad vom Auge aus gesehen umfaßt.The invention is based on the fact that an object is always used by humans is reliably detected and, if necessary, recognized when the object is exactly in the center of the Fovea Centralis (retinal pit), the location of the sharpest vision, both eyes which is only a small angular range of only a few degrees from the eye includes.

Der Effekt der Fixierung wird erfindungsgemäß genutzt um beispielsweise bekannte Gegenstände zu aktivieren. An einem bevorzugten Ort befindet sich das intelligente mit einem Bedienelement versehene Bediensystem. Betrachtet und fixiert nun der Bedienende beispielsweise eine Lampe, deren Muster gespeichert ist, kann er diese mit dem Auslöse element einschalten, wenn sie nicht leuchtet oder ausschalten, wenn sie leuchtet. Mit demselben Auslöseelement kann auf gleiche Art z. B. auch der Fernseher an- bzw. ausgeschaltet werden.The effect of the fixation is used according to the invention, for example by known ones To activate items. The intelligent is in a preferred location operating system provided with a control element. The operator now looks at and fixes for example, a lamp whose pattern is saved, he can trigger it with the trigger switch on the element when it is not lit or switch off when it is lit. With the same triggering element, z. B. also the TV on or turned off.

Mit dieser Methode können nun auch einzelne Funktionen bzw. Bedienelemente bildhaft auf einem Monitor dargestellt werden, wo sie dann auch vom Auge fixiert werden und mit dem einzigen Auslöseelement aktiviert bzw. geschaltet werden können. Es versteht sich von selbst, daß das einzige Auslöseelement auch durch eine entsprechende Spracherkennung in dem zu bedienenden Gerät ersetzt und durch einen akustischen Zuruf (z. B. "einschalten", "ausschalten", "abschwächen", "verstärken") aktiviert werden kann. Der Monitor, der klein gestaltet werden kann, kann gleichzeitig verschiedene Funktionen zur Auswahl anbieten. With this method, individual functions or operating elements can now be visualized be displayed on a monitor, where they are then also fixed by the eye and with the only trigger element can be activated or switched. It goes without saying of course, that the only trigger element also by a corresponding Speech recognition in the device to be operated and replaced by an acoustic call (e.g. "switch on", "switch off", "weaken", "intensify") can be activated. The monitor, which can be made small, can simultaneously perform various functions offer for selection.

Die Erfindung setzt voraus, daß das von den Augen des Bedienenden betrachtete und auf der Netzhaut abgebildete Bild des Bedienungselementes oder Monitors von der Netzhaut aufgenommen, elektronisch gespeichert und vom Computer mit bekannten Mustern verglichen werden kann. Grundlage der Erfindung bildet dabei die vorveröffentlichte Patentanmeldung Nr. DE 196 31 414 A1 "Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge" sowie die ältere deutsche Patentanmeldung Nr. 197 28 890.1-35 "Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes". In diesen Anmeldungen wird eine teiltransparente opto-elektronische Brille beschrieben, mit deren Hilfe über eine Rückspiegelung an ihrer Innenseite das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen wird. Diese in den Anmeldungen in verschiedenen Varianten beschriebene Vorrichtungen ermöglichen, daß das vom Auge direkt gesehene Bild mit einem zweiachsigen Scanner seriell abgetastet und vom Computer weiterverarbeitet wird. Mit Hilfe einer Beleuchtungseinrichtung, vorzugsweise mit Lasern, können über den gleichen Lichtweg in umgekehrter Richtung und nach nochmaliger Reflexion an der Innenseite der Brille physiologisch verzögerungsfrei dem ursprünglichen Bild entweder ein verbessertes Bild der vorhandenen Szene oder Fremdbilder physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert werden, daß entweder ein verbesserter Seheindruck oder eine direkte Ergänzung des Bildes entsteht.The invention assumes that what is viewed by the operator's eyes and on image of the control element or monitor of the retina recorded, electronically stored and from the computer with known patterns can be compared. The basis of the invention is the previously published patent application No. DE 196 31 414 A1 "Device for recording the retinal reflex image and superimposing Additional images in the eye "and the older German patent application No. 197 28 890.1-35 "A method to improve optical perception through modification of the retinal image ". In these applications a partially transparent opto-electronic Glasses described, with the help of a rear-view mirror on the inside of the Electronic retinal reflex image with different brightness of the environment is recorded. This is described in different variants in the applications Devices allow the image seen directly by the eye to have a two-axis scanner is scanned serially and processed by the computer. With With the help of a lighting device, preferably with lasers, the same can be done Light path in the opposite direction and after reflection again on the inside of the Glasses physiologically lagging the original image is either an improved one Image of the existing scene or external images of the physiologically without delay original image are overlaid so that either an improved visual impression or a direct addition to the picture is created.

Die hier vorliegende Erfindung schlägt vor, diesen neuartigen technischen Lösungsweg der beiden Anmeldungen dazu zu verwenden um die genaue Fixation der Augen über die Aufnahme des Bildes im Bereich des schärfsten Sehens zu bestimmen. Dabei kann auch eine Unterstützung mittels einer über die Projektionseinheit der optoelektronischen Brille eingespiegelten Markierung erfolgen.The present invention proposes this new technical approach to the to use both registrations for the exact fixation of the eyes over the Determine image capture in the area of sharpest vision. It can also support by means of a projection unit of the optoelectronic glasses mirrored marking.

Damit das Bedienelement identifiziert werden kann, wird das Bild mit abgespeicherten Muster der Bedienelemente im Computer verglichen. Dabei besteht die Möglichkeit, daß die Muster der vorhandenen Bedienelemente vom Gerät oder System selbst an den Bedienenden über IR oder Funk übertragen werden. So that the control element can be identified, the image is also saved Patterns of controls in the computer compared. There is a possibility that the pattern of the existing controls from the device or system itself to the Operators can be transmitted via IR or radio.

Im einzelnen ist die opto-elektronische Brille so ausgelegt, daß das auf der Netzhaut des Auges durch die Brille transmittierte Bild der Umgebung über die Rückspieglung an der Innenseite der Brille seriell mit Hilfe eines Scanners mit einer festen Abtastfrequenz und eines empfindlichen Photodetektors aufgenommen wird. Das serielle Bildsignal wird anschließend zu dem Bildverarbeitungsrechner geleitet. Damit die Bildaufnahme auch den schnellen und langsamen Bewegungen des Auges folgen kann, wird ein Teil des Bildaufnahmezyklus dazu verwendet, die Pupillenöffnung zu lokalisieren und verfolgen und die Symmetrieachse der Bildabtastung auf sie zu zentrieren. Dieser Vorgang passiert gleichzeitig an beiden Augen. Somit kann die Ausrichtung der beiden Augen gegeneinander vermessen und Bilder beider Augen korreliert werden.In particular, the opto-electronic glasses are designed so that the retina of the Image of the surroundings transmitted through the glasses via the rear view mirror on the eye Inside the glasses serially using a scanner with a fixed sampling frequency and a sensitive photodetector is recorded. The serial image signal is then passed to the image processing computer. So that the image acquisition also can follow fast and slow movements of the eye becomes part of the eye Image acquisition cycle used to locate and track the pupil opening and center the axis of symmetry of the image scan on it. This happens on both eyes at the same time. Thus, the alignment of the two eyes measured against each other and images of both eyes are correlated.

Einzelheiten der Erfindung ergeben sich aus der Beschreibung, in der anhand der Zeichnungen verschiedene Anwendungsmöglichkeiten erörtert werden. Es zeigen:Details of the invention will become apparent from the description in which Drawings different uses are discussed. Show it:

Fig. 1 schematisch die bekannte Brille nach den eingangs genannten Patentanmeldungen und ihre Wechselwirkung mit dem menschlichen Sehapparat, Fig. 1 shows schematically the known spectacles according to the aforementioned patent applications, and their interaction with the human visual system,

Fig. 2 den Strahlengang der bekannten opto-elektronischen Brille, beispielhaft für die Farben Rot, Grün und Blau mit den einzelnen Bauteilen- und Gruppen in Empfang- und Projektionskanal. Fig. 2 shows the beam path of the known opto-electronic glasses, exemplary for the colors red, green and blue with the individual components and groups in the reception and projection channel.

Fig. 1 zeigt identisch mit den oben genannten Erfindungsanmeldungen ein schematisches Bild der aufgesetzten Brille. Der Strahlengang für die Aufnahme des Netzhautreflexes über Spiegelung der Strahlachsen an der Innenseite der Brille, sowie das Gesichtsfeld des Auges in Transmission durch die Brille ist angedeutet. Fig. 1 shows identical to the above-mentioned inventions, a schematic image of the glasses put on. The beam path for the recording of the retinal reflex via reflection of the beam axes on the inside of the glasses, as well as the visual field of the eye in transmission through the glasses is indicated.

Der zentrale Gegenstand der Erfindung ist die spezielle Brille, die entsprechend Fig. 1 einem Betrachter aufgesetzt wird. Die Brillengläser BG dienen als Strahlteiler. In Transmission, für das Licht aus der Außenwelt und in Reflexion, als eine Abbildungsfläche des von der Netzhaut NH durch das Auge AA rückgestreuten Lichtes, das mit Hilfe weiterer Abbildungselemente und eines zweiachsigen Scanner für die Horizontal-HSS und Vertikalablenkung VSS einem Photoempfänger in einer Empfangseinheit zugeführt wird. The central subject of the invention is the special glasses that are placed on a viewer according to FIG. 1. The BG glasses serve as beam splitters. In transmission, for the light from the outside world and in reflection, as an imaging surface of the light backscattered by the retina NH through the eye AA, which with the aid of further imaging elements and a biaxial scanner for the horizontal HSS and vertical deflection VSS a photo receiver in a receiving unit is fed.

Der Strahlengang wird gleichzeitig derart gestaltet, daß die Verlängerung der Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht einer Strahlungssenke SS mündet. Die Verlängerung der Sichtlinie des Auges durch die Brille läuft dagegen zur Außenwelt AW.The beam path is designed in such a way that the extension of the line of sight from the detector through the glasses always in the absorbing layer of a radiation sink SS flows. The extension of the line of sight of the eye through the glasses, however, runs to Outside world AW.

Die einfachste Methode der Strahlteilung an den Brillengläsern BG ist die Verwendung von 50% transmittierenden und 50% reflektierenden Spiegelgläsern. Es können auch aktive elektronisch steuerbare Spiegel, die von vollständiger Transmission bis vollständiger Reflexion in den beiden Abtastzyklen umschalten, eingesetzt werden.The simplest method of beam splitting on BG glasses is the use of 50% transmitting and 50% reflecting mirror glasses. It can also be active electronically controllable mirrors that range from full transmission to full Switch reflection in the two scanning cycles.

Das Auge AA bildet von der Außenwelt AW parallele oder nahezu parallele Strahlbündel auf der Netzhaut NH ab. Der Drehpunkt der Strahlbündel bei unterschiedlichen Betrachtungswinkel zur Außenwelt liegt in der Pupille des Auges AP.The eye AA forms parallel or almost parallel beams from the outside world AW the retina NH. The fulcrum of the beam at different Viewing angle to the outside world lies in the pupil of the eye AP.

Die Erfindung geht von einer gleichzeitigen Aufnahme und Projektion in beiden Augen und damit einem weitgehend identischen Strahlengang für das linke und rechte Auge aus. Bei Fehlsichtigen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, sieht die Erfindung vor, daß entweder die Brillengläser in ihrer Brechung durch entsprechende unterschiedliche Auslegung der Wölbung der Außenseite und der Innenseite individuell angepaßt sind, bzw. daß Kontaktlinsen getragen werden. Für Normalsichtige ist die Wölbung der Innen- und Außenseite der Brillengläser die Brillengläser BG identisch.The invention is based on a simultaneous recording and projection in both eyes and a largely identical beam path for the left and right eye. At Ametropia, also with different refractive powers of the left and right eyes the invention that either the lenses in their refraction by appropriate different design of the curvature of the outside and the inside individually are adapted, or that contact lenses are worn. For people with normal vision that is Curving the inside and outside of the lenses is identical to the BG lenses.

Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurückgestreute Licht ist in gleicher Weise ein nahezu paralleles Strahlenbündel, das auf den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung auf die Innenseite des teilweise reflektierenden Brillenglases BG fällt. Die Krümmung dieser Fläche wird so gestaltet, daß gemeinsam mit der Augenlinse ein zweites Bild des Bildpunktes auf der Netzhaut in der Zwischenebene ZE entsteht. Ein Hilfsspiegel HS kollimiert die Strahlen erneut und bildet sie so ab, daß sie über den gemeinsamen Drehpunkt auf der Achse des horizontalen Scannerspiegels HSS verlaufen. Eine vertikale Ablenkung wird durch einen zweiten Scannerspiegel VSS durchgeführt. The light that is scattered back from the eye by each individual pixel of the retina is in the same way an almost parallel bundle of rays, which in the same way as the incident light in the opposite direction to the inside of the partially reflective glasses BG falls. The curvature of this surface is designed so that together with the eye lens a second image of the pixel on the retina in the Intermediate level ZE is created. An auxiliary mirror HS collimates the beams again and forms them them so that they cross the common pivot point on the axis of the horizontal Scanner mirror run HSS. A vertical deflection is caused by a second Scanner mirror VSS performed.

Wie in einem Laser-scanning-Ophthalmoskop wird der Strahlengang zwischen dem Projektions- und Empfangskanal mit Hilfe eines Schaltspiegels SUS getrennt. Im Strahlengang der Projektionseinheit hinter dem Strahlschalter SUS ist eine Fokussiereinrichtung FE angeordnet, die die Größe des Laserbildflecks und des abgetasteten Flecks beim Empfang GFB auf der Netzhaut NH einstellt.Like in a laser scanning ophthalmoscope, the beam path between the Projection and reception channel separated using a SUS switching mirror. in the The beam path of the projection unit behind the SUS beam switch is one Focusing device FE arranged, the size of the laser image spot and the scanned spots on the retina NH when receiving GFB.

Es ist vorgesehen, daß der Netzhautreflex mit der Verwendung von dichroitischen Filtern (DFR, DFG und DFB) und drei getrennten Detektoren (PMR, PMG und PMB) in bis zu drei Farbkanälen aufgeteilt wird und damit ein weitgehend unverfälschtes Farbbild aufgenommen werden kann. Auf der Laserseite werden ebenso mit dichroitischen Strahlteilern die Strahlen von bis zu drei Lasern im roten, grünen und blauen Spektralbereich (LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, MB) auf einer gemeinsamen Achse vereinigt.It is contemplated that the retinal reflex with the use of dichroic filters (DFR, DFG and DFB) and three separate detectors (PMR, PMG and PMB) in up to three Color channels is divided and thus a largely unadulterated color image can be included. On the laser side are also using dichroic Beam splitters beam up to three lasers in red, green and blue Spectral range (LR, LG, LB) after separate image modulation of each color (MR, MG, MB) united on a common axis.

Zur farbtreuen Bildaufnahme wird das optische Signal mit dichroitischen Filtern DFR, DFG und DFB im Empfangskanal in die drei Farbkomponenten vor den drei Photoempfängern, vorzugsweise Photomultipliern PMR, PMG und PMB in die drei Grundfarben zerlegt und getrennt vermessen. Wegen der schwachen Lichtsignale werden vor allem Photon counting Verfahren zum Einsatz kommen.The optical signal with dichroic filters DFR, DFG is used for true-color image acquisition and DFB in the receiving channel into the three color components in front of the three photo receivers, preferably split PMR, PMG and PMB photomultipliers into the three primary colors and measured separately. Because of the weak light signals, especially photons counting procedures are used.

In vielen Anwendungen wird nur eine schwarzweiß Bilddarstellung notwendig sein. Dann können die drei Farbkanäle zu einem einzigen zusammengelegt werden. Für die Projektion einer Markierung, z. B. eines Fadenkreuzes bzw. eines Kreises, wird in den meisten Fällen eine einzige Farbe notwendig sein mit einer entsprechenden Reduktion der drei Farbkanäle der Laser auf nur einen.In many applications, only a black and white image display will be necessary. Then the three color channels can be merged into one. For projection a marker, e.g. B. a crosshair or a circle, in most cases a single color may be necessary with a corresponding reduction of the three Color channels of the lasers on only one.

Es versteht sich, daß die verschiedenen in den eingangs genannten Patentanmeldungen beschriebenen Abtastmuster der opto-elektronischen Brille, wie Zeilen-, Spiral- und Kreisabtastung, hier auch eingesetzt werden können. It goes without saying that the various patent applications mentioned in the introduction described scanning pattern of opto-electronic glasses, such as line, spiral and Circular scanning, can also be used here.

Als Auslöseelement kann ein einfacher Taster in verschiedensten Ausführungsformen verwendet werden. Ein Sprachkommando kann auch verwendet werden, vorausgesetzt, daß eine Spracherkennung bei dem zu bedienenden Gerät vorhanden ist. Die Übertragung der sonstigen Daten des Bildverarbeitungscomputers der opto-elektronischen Brille zum Gerät oder System kann akustisch, über Funk oder über IR- Verbindung durchgeführt werden.A simple push button can be used in various ways as a trigger element Embodiments are used. A voice command can also be used are, provided that a speech recognition in the device to be operated is available. The transmission of other data from the image processing computer of the opto-electronic glasses to the device or system can be acoustically, via radio or via IR Connection.

Claims

1. Method for operating systems by optically detecting a control element or object, image patterns being recorded and processed on the retina of both eyes by means of opto-electronic glasses and an image processing system, characterized in that the image patterns of the fovea centralis of both eyes are analyzed. in order to detect an object in the center of the fovea centralis and to compare it with a stored pattern, an assigned function being activated by triggering a trigger element if the image pattern matches the stored pattern.

2. The method according to claim 1, characterized in that a single trigger element is provided is which to trigger several different functions and different systems is used.

3. The method according to claim 1 or 2, characterized in that the operating system is spatially separated from the systems to be operated.

4. The method according to any one of the preceding claims, characterized in that the fixation of the system to be operated with the eyes recognized and used for this will operate this.

5. The method according to any one of the preceding claims, characterized in that the fixing of a discrete control element, symbol or a discrete form of the system to be operated with recognized by the eyes and used to operate them.

6. The method according to any one of the preceding claims, characterized in that the operating system consisting of the opto-electronic glasses and the release element is movable.

7. The method according to any one of the preceding claims, characterized in that data is transmitted by radio, IR, ultrasound to the system to be operated.

8. The method according to any one of the preceding claims, characterized in that To operate a personal computer, a desired icon is fixed and triggered element is triggered.

9. The method according to any one of the preceding claims, characterized in that the detected control element or an icon is fixed over a predeterminable time, and the triggering element is triggered after the passage of time.

10. The method according to any one of the preceding claims, characterized in that the triggering element is triggered by an acoustic command.