EP1000376A1 - Method for improving optic perceptive faculty by modifying the retinal image - Google Patents

Method for improving optic perceptive faculty by modifying the retinal image

Info

Publication number
EP1000376A1
EP1000376A1 EP98942492A EP98942492A EP1000376A1 EP 1000376 A1 EP1000376 A1 EP 1000376A1 EP 98942492 A EP98942492 A EP 98942492A EP 98942492 A EP98942492 A EP 98942492A EP 1000376 A1 EP1000376 A1 EP 1000376A1
Authority
EP
European Patent Office
Prior art keywords
image
enhancement system
image enhancement
eye
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP98942492A
Other languages
German (de)
French (fr)
Inventor
Heinrich Alexander Eberl
Günter ABERSFELDER
Helmut Grantz
Thorsteinn Halldorsson
Horst Schmidt-Bischoffshausen
Stefan Uhl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EBERL, HEINRICH A.
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of EP1000376A1 publication Critical patent/EP1000376A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention provides for the merging of all channels into a single (black and white) receiving channel without color resolution. Furthermore, the invention provides that this receiving channel not only encompasses the visible range of 400-700 nm, but also the near infrared range of 700-1000.
  • the scanning system Because of the slow and fast eye movements, it is necessary to design the scanning system so that it constantly follows the change of the visual axis through the glasses, i.e. that the axis of symmetry of the image scan, both in the recording and in the projection, is identical to the visual axis.
  • the recording and projection technique in the sense of the invention can be carried out either independently on one eye of a viewer or on both eyes at the same time. Because of the steroscopic vision of both eyes, a three-dimensional image recording and image reproduction is realized in the latter case.
  • the rays passing through from the surroundings are focused on the retina, at the same time the retina is scanned at points, the scanning beam always looking into a radiation sink through the glasses.
  • the circular scan is carried out with the two-axis scanning elements HSS and VSS.
  • the auxiliary mirror HS which can be actively adjustable, the direction of incidence and position of the beam on the inner surface of the glasses BG are set.
  • the SUS jet switch Either the illuminating laser beam can be passed through a central bore and the reception beam, which usually has a much larger diameter, can be reflected into the reception unit in separate directions, or an actively switching mirror element can be used that switches between reception and transmission.
  • the receiving unit can e.g. from three separate reception channels for the primary colors red, green and blue or other wavelength ranges e.g. exist in the near infrared range.
  • the beam path of all spectral channels is brought onto an axis using dichroic mirrors DS.
  • An actively adjustable field-of-view aperture GFB is used to adjust the spot size of the scanning beam on the retina and to possibly fine-tune the optical axis.
  • the invention provides, as shown in Fig. 4, a signal processor SP, which electronically processes the direct image of the retina and synchronizes all functions of the device and that of scanners VSS / HSS, auxiliary mirror HS and laser spot setting LAA and size of the field of view aperture GFB coordinates.
  • the image processing computer BVC then takes over the image perceived by the eye or images from other technical sensors which are fed to the computer via an external connection EA and processes them according to a predetermined software SW before they are modulated onto the laser beams as an image signal with the aid of the signal processor.
  • the flow of the optical and electrical as well as the software signals are shown separately.
  • the complete laser unit is denoted by DE, ME as the modulation unit and PME the complete receiver unit and SUS as the beam switch between the transmitter and receiver unit.
  • laser projection makes it possible to project into the eye and merge it with the original image, and to synchronously superimpose external images that are fed to the computer from the outside into the external image in the eye. If the time span between image acquisition and projection is correspondingly short in comparison to the rapid eye movements, the eye will no longer perceive an image interruption, as when viewing a television screen.
  • micromechanical actuators such as e.g. can also be used in widely used laser printers and CD record players.
  • the beam deflection unit and scanner can be accommodated in a simple glasses frame.
  • laser projection units in a small housing e.g. can be accommodated in the size of a paperback book with food supply.
  • the data exchange with an external permanently installed image processing computer can take place either via radio waves or infrared rays. According to the current state of the art, all elements of the device of the invention could thus be carried effortlessly by a human being and the wireless image data exchange with the external computer would enable its unlimited freedom of movement.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)

Abstract

The invention relates to an image improvement system in accordance with application DE19631414. Said system is characterized in that the reflex image in the interior of the eye is scanned on the retina (NH) and, after modification, is projected back into the eye by the same path. The invention proposes using an elliptical scan.

Description

Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des NetzhautbildesProcess to improve optical perception by modifying the retinal image
Die Erfindung betrifft eine Brille, mit deren Hilfe über eine Rückspiegelung an der Innenseite derselben das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen, mit einem Computer modifiziert und über eine Beleuchtungseinrichtung und eine Rückreflexion über die gleiche Brille physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert wird, daß ein verbesserter Seheindruck entsteht.The invention relates to glasses with the aid of which a retinal reflection on the inside of the retinal reflex image of the eye is recorded electronically with different brightness of the surroundings, modified with a computer and superimposed on the original image physiologically without delay via a lighting device and a back reflection via the same glasses is that there is an improved visual impression.
Die Verwendung von optoelektronischen Brillen zur Spiegelung von computergenerierten Bildern ins Auge mit den Namen „Cyberspace" oder „Virtual reality" nimmt heute rasant zu. Diese Technik ist sowohl für die Anwendung in der Unterhaltungsindustrie als auch in den verschiedenen Gebieten der Industrie, Verkehr und Medizin von breitem Nutzen und wird mit der Verfügbarkeit von immer schnelleren Bildverarbeitungscomputern an Verbreitung und Bedeutung ständig zunehmen.The use of optoelectronic glasses to mirror computer-generated images with the name "cyberspace" or "virtual reality" is increasing rapidly today. This technology is of broad use both for use in the entertainment industry and in the various fields of industry, transport and medicine and will continue to increase in popularity and importance with the availability of ever faster image processing computers.
Am weitesten verbreitet ist die Anwendung mit geschlossenen, nicht transparenten Brillen, bei der Bilder von miniaturisierten Kathodenstrahlröhren oder Flüssigkristall-Matrizen über Spiegel- oder Glasfasersysteme dem Auge dargeboten werden. Die besondere Attraktivität dieser Technik ist es, mit bewegter dreidimensionaler Bilddarstellung, den Bildablauf oder die Handlung mit verschiedenen Bewegungen des Brillenträgers zu koppeln. So wird eine Änderung der Blickrichtung durch Kopfbewegung oder Änderung der Perspektive bei fortschreitender Bewegung nachgebildet. Es können die Bewegungen der Arme und Finger des Brillenträgers mit Hilfe von Sensoren in das Bild eingebracht werden, um ihm die Möglichkeit des direkten Eingreifen in die Handlung zu ermöglichen.The most widespread application is with closed, non-transparent glasses, in which images of miniaturized cathode ray tubes or liquid crystal matrices are presented to the eye via mirror or glass fiber systems. The particular attractiveness of this technique is to couple with moving three-dimensional image representation, the image sequence or the action with different movements of the glasses wearer. A change in the direction of view is simulated by moving the head or changing the perspective as the movement progresses. The movements of the arms and fingers of the wearer of the glasses can be brought into the image with the aid of sensors in order to enable him to intervene directly in the action.
In neueren Systemen mit dem Namen „augmented reality" kann der Brillenträger mit Hilfe teiltransparenter Brillen sowohl die Umgebung als auch ein über die Brille eingespiegeltes Bild von Kameras von der gleiche Szene oder von anderen Bildinhalten über einen miniaturisierten Monitor am Helm betrachten. Eine wohlbekannte Variante dieses Verfahrens ist bei der Führung von Kampflugzeugen mit dem Namen Helmet-mounted-display (HMD) bereits eingeführt.In newer systems with the name "augmented reality", the wearer of glasses can use partially transparent glasses to view both the surroundings and an image of cameras from the same scene or of other image contents reflected in the glasses via a miniaturized monitor Look at the helmet. A well-known variant of this method has already been introduced for the control of combat aircraft with the name Helmet-mounted-display (HMD).
Bei dieser Techniken sind jedoch mehrere Probleme bekannt, die auf die Wirkungsweise des Gesichtsinnes zurückzufuhren sind und auf verbesserte technische Lösungen warten. Bei einer geschlossenen Brille und einem starr gekoppelten Monitor und Monitorbild bewegt sich bei einer Kopfbewegung des Brillenträgers die Szene in gleicher Richtung mit, was seinen Sehgewohnheiten in unnatürlicher Weise widerspricht. Er ist durch die Abbildung des Auges gewohnt, daß die Szene gerade in entgegengesetzter Richtung verläuft. Dieses Problem konnte durch die umständliche Messung der Kopfbewegung und des Augapfels mit externen Drehwinkelsensoren, einer entsprechenenden Bildverarbeitung und Nachführung des generierten Bildes bis jetzt nur unvollkommen gelöst werden.With these techniques, however, several problems are known which are due to the way the face works and which are waiting for improved technical solutions. With closed glasses and a rigidly coupled monitor and monitor image, when the glasses are moved, the scene moves in the same direction, which contradicts his viewing habits in an unnatural way. By imaging the eye, he is used to the fact that the scene runs straight in the opposite direction. This problem has so far only been solved incompletely by the cumbersome measurement of the head movement and the eyeball with external rotation angle sensors, corresponding image processing and tracking of the generated image.
Durch Anpassungsbewegungen des Augenapfels, die von sogenannten vestibulären okularen Reflexen (VOR) des Ohren-Bogengang-Systems ausgehen und dem Festhalten des Fixationspunktes bei Kopfbewegungen dient, ist das Auge selbst in der Lage, das Netzhautbild grob zu stabilisieren. Die Feineinstellung geschieht mit dem Bild als Referenz. Dieses Bild- Tracking wird zusätzlich vom Auge verwendet, um die VORs einer dynamischen Augenausrichtung zu adaptieren.The eye itself is able to roughly stabilize the retinal image by adjusting movements of the eye apple, which originate from so-called vestibular ocular reflexes (VOR) of the ear-canal system and serves to hold the fixation point during head movements. The fine adjustment is done with the image as a reference. This image tracking is also used by the eye to adapt the VORs to dynamic eye alignment.
Dies bedeutet, daß eine Überlagerung von Fremdbildern erst bei ihrer Ankopplung an das reale Netzhautbild einen wirklichkeitsgetreuen Bildeindruck geben kann.This means that a superimposition of external images can only give a realistic image impression when they are coupled to the real retinal image.
Bei geschlossenen Brillen wird versucht das Bild der Blutgefäße (Augenhintergrund) als Referenz zu verwenden (Retina-Tracking). Das liefert allerdings nur eine ungenügende Auflösung und ist ausschließlich für monokulare Betrachtungen geeignet (siehe z.B. E.Peli, „Visual issues in the use of a head-mounted monocular display", Optical Engineering, vol. 29, No.δ, p.883 (1990). Eine gleichzeitige Stabilisierung in beiden Augen von Bildern mit diesen ist wegen der unterschiedlichen Ausrichtung der Augen praktisch unmöglich. Neben der Verschlechterung der Bildqualität, führt der Konflikt zwischen den vestibulären und visuellen Informationen häufig zu Bewegungsstörungen bis hin zur Seeta-ankheit. Diese Probleme der bestehenden Technik werden z.B. in dem Übersichtsartikel von E. Peli, „Real Vision & Virtual Reality" in Optics & Photonics News, July 1995, s. 28-34 beschrieben.When the glasses are closed, an attempt is made to use the image of the blood vessels (fundus) as a reference (retina tracking). However, this only provides an insufficient resolution and is only suitable for monocular considerations (see, for example, E.Peli, "Visual issues in the use of a head-mounted monocular display", Optical Engineering, vol. 29, No.δ, p.883 (1990) A simultaneous stabilization in both eyes of images with these is practically impossible because of the different orientation of the eyes Conflict between the vestibular and visual information often on movement disorders up to Seeta ankness. These problems of the existing technology are described, for example, in the review article by E. Peli, "Real Vision & Virtual Reality" in Optics & Photonics News, July 1995, pp. 28-34.
Aufgabe der Erfindung ist es, die Probleme der Bildstabilisierung bei Überlagerung von Fremdbildern mit dem realen Bild zu lösen.The object of the invention is to solve the problems of image stabilization when superimposing external images with the real image.
Der Erfindung liegt die ältere deutsche Patentanmeldung 19631414 mit der Bezeichnung: „Vorrichtung zur Aufnahme des Netzhautreflexes und Überlagerung von Zusatzbildern im Auge" zugrunde. In dieser wird eine Vorrichtung beschrieben, mit der das Netzhautreflexbild mit Hilfe eines konfokal abbildenden, zweiachsigen Scansystems über die Reflexion der Innenseite einer teiltransparenten und entsprechend gewölbten Brille, seriell mit einem hochempfindlichen Photodetektor aufgenommen wird.The invention is based on the older German patent application 19631414 with the designation: "Device for recording the retinal reflex and superimposition of additional images in the eye". This describes a device with which the retinal reflex image using a confocal imaging, two-axis scanning system via the reflection of the The inside of partially transparent and appropriately curved glasses is recorded in series with a highly sensitive photodetector.
Darin wird vorgeschlagen, mit Hilfe von Lasern und eines Strahlenteilers über denselben Lichtweg in umgekehrter Richtung wie das aufgenommene Bild das verbesserte Bild auf die Netzhaut seriell abzubilden.It is proposed to use lasers and a beam splitter to image the improved image serially on the retina over the same light path in the opposite direction as the recorded image.
Darüber hinaus wird auch die Möglichkeit eröffnet, andere Bilder zusätzlich auf die Netzhaut zu überlagern.It also opens up the possibility of overlaying other images on the retina.
Mit dieser Technik sind die vorgenannten Probleme grundsätzlich gelöst, jedoch wurden konkrete Realisierungen und Anwendungen nicht angegeben. Der Grundgedanke der neuen Erfindung dieses Verfahren zur Verbesserung des Wahrnehmungsvermögens des Auges einzusetzen. Die physikalischtechnischen Probleme, die dazu gelöst werden müssen, ergeben sich aus den physiologischen Eigenschaften des Auges und den ständig variierenden Beleuchtungsverhältnissen in der Umgebung. Das Auge ist wegen der variablen Lichtverhältnisse und der unterschiedlichen optischen Aufgaben in seinen Grundfunktionen ein sehr dynamisches Sinnesorgan. Es adaptiert sich an die Variation der Intensität der Hintergrundbeleuchtung über 12 Dekaden. Es schaltet vom Farbsehen beim Tageslicht auf reines schwarz/weiß Sehen in der Nacht um. Licht in dem Wellenlängenbereich 400 -1500 nm wird von dem Auge transmittiert und auf die Netzhaut abgebildet. Dabei wird nur Licht im Bereich von 400 nm bis 750 nm wahrgenommen, d.h. das infrarote Licht im Bereich von 750-1500 nm, das sowohl bei Außen- als auch Innenbeleuchtung sehr hell ist, bleibt für die visuelle Wahrnehmung ungenutzt.The above-mentioned problems are basically solved with this technique, but concrete implementations and applications have not been specified. The basic idea of the new invention to use this method to improve the perception of the eye. The physical-technical problems that have to be solved for this result from the physiological properties of the eye and the constantly changing lighting conditions in the environment. Because of the variable lighting conditions and the different optical tasks in its basic functions, the eye is a very dynamic sense organ. It adapts to varying the intensity of the backlight over 12 decades. It switches from color vision in daylight to pure black and white vision at night. Light in the wavelength range 400-1500 nm is from transmitted to the eye and imaged on the retina. Only light in the range of 400 nm to 750 nm is perceived, ie the infrared light in the range of 750-1500 nm, which is very bright with both exterior and interior lighting, remains unused for visual perception.
Das Auge erfaßt horizontal und vertikal einen Winkelbereich von etwa 100°. Die Bildauflösung nimmt jedoch mit dem Winkelabstand von der Sehachse sehr schnell ab. Das aufmerksame momentane Sehen ist auf einen zentralen Winkelbereich von nur +/-5° begrenzt und das „scharfe" Sehen, z.B. beim Lesen oder Autofahren, ist auf den sehr geringen zentralen Winkelbereich von +/- 0,5° begrenzt. Hinzu kommen ständig verschiedenartige Bewegungen der Augen. Dies führt zu folgenden Konsequenzen, die unter bestimmten Umständen das Wahrnehmungsvermögen des Auges beeinträchtigen und die im Rahmen der neuen Erfindung verbessert werden sollen:The eye detects an angular range of approximately 100 ° horizontally and vertically. However, the image resolution decreases very quickly with the angular distance from the visual axis. Attentive, instantaneous vision is limited to a central angular range of only +/- 5 ° and "sharp" vision, for example when reading or driving, is limited to the very small central angular range of +/- 0.5 ° Different movements of the eyes This leads to the following consequences, which under certain circumstances impair the perception of the eye and which are to be improved in the context of the new invention:
Adaption Adaptation
SchärfeleistungSharpening performance
SehfehlerVision defects
Altersbedingte Minderleistung undAge - related underperformance and
BewegungsdynamikMovement dynamics
Die Aufgabe der vorliegende Erfindung ist es nun, eine Anordnung vorzuschlagen, die ähnlich wie das Auge in ihren Grundfunktionen sehr variabel gestaltet und an die Erfordernisse des Sehvorgangs angepaßt ist, aber gleichzeitig die besondere Physiologie und Dynamik des Auges und die variierenden Beleuchtungsverhältnisse der Umgebung und den unsichtbaren IR-Bereich berücksichtigt und ausnutzt. Dies läßt sich mit den in der früheren Erfmdungsmeldung angegebenen Abtast- und Scanvarianten (serieller Rasterscan, serieller Spiralscan) nur unzulänglich erreichen. Dies betrifft sowohl das Abtastmuster der Bildaufhahme des Netzhautreflexes als auch die Rückprojektion des Laserbildes in das Auge.The object of the present invention is now to propose an arrangement which, like the eye, is designed to be very variable in its basic functions and adapted to the requirements of the visual process, but at the same time the special physiology and dynamics of the eye and the varying lighting conditions of the environment and the invisible IR range taken into account and exploited. This can only be achieved inadequately with the scanning and scanning variants (serial raster scan, serial spiral scan) specified in the earlier invention report. This concerns both the scanning pattern of the image recording of the retinal reflex and the rear projection of the laser image into the eye.
Ein grundsätzliches Problem der seriellen gegenüber der parallelen Bildabtastung ist die kurze Verweilzeit des Scanners in jedem Bildpixel. Eine gleichmässige Abtastung z.B. von 0,5 Mio Bildpunkte in einer Abtastzeit von 40 ms bedeutet eine Integrationszeit von nur 0,08 μs d.h. 80 ns in jedem Bildpunkt. Im Vergleich hierzu beträgt die parallele Zeitintegration aller Bildpunkte des Auges selbst 10-20 ms.A fundamental problem of serial versus parallel image scanning is the short dwell time of the scanner in every image pixel. A uniform scan, for example of 0.5 million pixels in a scan time of 40 ms, means an integration time of only 0.08 μs, ie 80 ns, in each pixel. In comparison, the parallel time integration of all pixels of the eye itself is 10-20 ms.
Wie aus der Anwendung von Lasern zur Aufnahme der Netzhautstruktur des Auges in den sogenannten Laser Scanning Ophthalmoskopen bekannt ist, ist eine Laserleistung von etwa 40 μW notwendig, um beim Rasterscan ein Signal-Rausch- Verhältnis von 17 aus einem Bildpixel zu erzielen (siehe z.B. A.Plesch, U. Klingbeil, and J. Bille, „Digital laser scanning fundus camera", Applied Optics, Vol. 26, No 8. p.1480-1486 (1987)). Umgerechnet auf die größere Fläche würde dies einer Bestrahlungsstärke in einem Abbild einer ausgedehnten Quelle auf der Netzhaut von 40 W /cm2 entsprechen, was der Bestrahlungsstärke von hellen Scheinwerfern oder Sonne auf der Netzhaut entspricht, d.h. mit dem Rasterscan können erst relativ helle Quellen mit einem guten Signal-Rauschverhältnis auf der Netzhaut aufgezeichnet werden. Um die Abbildung von schwächeren Quellen auf der Netzhaut zu detektieren, muß die Empfindlichkeit wesentlich gesteigert werden.As is known from the use of lasers to record the retinal structure of the eye in the so-called laser scanning ophthalmoscopes, a laser power of approximately 40 μW is necessary in order to achieve a signal-to-noise ratio of 17 from an image pixel during the raster scan (see, for example, A Plesch, U. Klingbeil, and J. Bille, "Digital laser scanning fundus camera", Applied Optics, Vol. 26, No. 8. p.1480-1486 (1987)). Converted to the larger area, this would result in an irradiance in correspond to an image of an extensive source on the retina of 40 W / cm 2 , which corresponds to the irradiance of bright spotlights or sun on the retina, ie relatively bright sources with a good signal-to-noise ratio can only be recorded on the retina with the raster scan. In order to detect the imaging of weaker sources on the retina, the sensitivity must be increased significantly.
Die serielle Bildabtastung hat jedoch für die Aufnahme des Netzhautreflexes den entscheidenden Vorteil der besseren Unterdrückung von Streulicht, der einfacheren Aufhahmeoptik und der Möglichkeit der exakten Umkehrung des Strahlenganges bei der Bildrückprojektion mit einem Laser und soll aus diesen Gründen auch in dieser Erfmdungsmeldung beibehalten werden. Eine Verlängerung der Verweilzeit kann aber durch Änderung des Scanmusters erreicht werden.However, serial image scanning has the crucial advantage of better suppression of stray light, easier optics and the possibility of exact reversal of the beam path when image back projection with a laser for the recording of the retinal reflex and for this reason should be retained in this invention report. An extension of the dwell time can be achieved by changing the scan pattern.
Wegen der ungleichmässigen Verteilung der Photorezeptoren, mit der höchsten Dichte der Zapfen für das scharfe Sehen im Zentrum der Netzhaut und dem entgegengesetzten Verlauf der Stäbchen für das unscharfe aber lichtempfindliche Nachtsehen, ist der Rasterscan keineswegs das optimale Scanmuster. Ein an den Sehvorgang angepaßtes Scanmuster sollte für das Tagessehen in Richtung zum Zentrum zunehmend langsamer und dichter werden, für die Anpassung an das Nachtsehen gerade umgekehrt. Außer der Verweilzeit kann das aufgenommene Signal durch Änderung der Fleckgröße der Abtastung und damit auch der Bildauflösung beeinflußt werden.Because of the uneven distribution of the photoreceptors, with the highest density of the cones for sharp vision in the center of the retina and the opposite course of the rods for the blurred but light-sensitive night vision, the raster scan is by no means the optimal scan pattern. A scan pattern adapted to the vision process should become increasingly slower and denser for day vision towards the center, and vice versa for adaptation to night vision. In addition to the dwell time, the recorded signal can be influenced by changing the spot size of the scan and thus also the image resolution.
Die Anzahl der Signalphotonen Ns die von einem abtastenden Aufnahmegerät von der Netzhaut pro Bildpixel aufgenommen werden, kann nach der folgenden Formel berechnet werden:The number of signal photons N s that are recorded by the retina per image pixel by a scanning recording device can be calculated using the following formula:
NS = (B T Δλ τ) (A0 R ) (S/2π) (Ap/D2) (1/ε)N S = (BT Δλ τ) (A 0 R) (S / 2π) (A p / D 2 ) (1 / ε)
wobeiin which
B = die spektrale Bestrahlungsstärke auf der NetzhautB = the spectral irradiance on the retina
T = die optische Transmission von Netzhaut bis zum Photodetektor τ = die Integrationszeit in einem Bildpixel auf der NetzhautT = the optical transmission from the retina to the photodetector τ = the integration time in an image pixel on the retina
A0 = die Fläche des BildpixelsA 0 = the area of the image pixel
R = Reflexionsvermögen des BildpixelsR = reflectivity of the image pixel
Δλ = Spektrale Breite des EmpfangssignalsΔλ = spectral width of the received signal
Ap = PupillenflächeA p = pupil area
D = Abstand der Pupille zur NetzhautD = distance of the pupil to the retina
S/2π = der Winkel Verteilungsfaktor der optischen Rückstreuung der Netzhaut ε = Energie eines Photons bei der AumahmewellenlängeS / 2π = the angle distribution factor of the optical backscattering of the retina ε = energy of a photon at the absorption wavelength
bezeichnen.describe.
Wie diese Formel zeigt, können stärkere Signale, d.h. eine größere Anzahl von Signalphotonen durch folgende Maßnahmen am Aufnahmegerät gewonnen werden:As this formula shows, stronger signals, i.e. A larger number of signal photons can be obtained on the recording device by the following measures:
Verlängerung der Verweildauer τ des Scans in den einzelnen Bildpunkten,Extension of the dwell time τ of the scan in the individual pixels,
Vergrößerung des Abtastflecks A0 auf der Netzhaut Vergrößerung der spektralen Bandbreite Δλ.Enlargement of the scanning spot A 0 on the retina Enlargement of the spectral bandwidth Δλ.
Die Erfindung schlägt das Abtasten der Netzhaut in einer Abfolge von konzentrischen Kreisen vor (Kreismittelpunkt ist gleich Fovea centralis), deren Radius sich sukzessive vergrößert bzw. verkleinert. Diese Art des Scannens wird als Kreisscan bezeichnet. Wegen der Rotationssymmetrie der Augenlinse und der Pupille um die Sehachse und der rotationssymmetrischen Verteilung der Photorezeptoren in der Netzhaut ist der Kreisscan optimal.The invention proposes scanning the retina in a sequence of concentric circles (circle center is equal to fovea centralis), whose radius gradually increases or decreases. This type of scanning is known as a circular scan. The circular scan is optimal due to the rotational symmetry of the eye lens and the pupil around the visual axis and the rotationally symmetrical distribution of the photoreceptors in the retina.
Die Erfindung schlägt weiterhin vor, daß ein identischer Kreisscan für die Aufnahme des Netzhautreflexes von der Umgebung und die Bildprojektion mit dem Laser verwendet werden. Da beim Kreisscan von außen bis zum Zentrum, nach dem Erreichen des Zentrums, die Scanachse den gleichen Weg rückwärts verläuft, kann wahlweise die Aufnahme beim Scan bis zum Zentrum und Projektion von Zentrum bis Außen, oder die Aufnahme über den gesamten Abtastvorgang und Projektion erst in einem zweiten verwendet werden.The invention further proposes that an identical circular scan be used for the recording of the retinal reflex from the surroundings and the image projection with the laser. Since with the circular scan from the outside to the center, after reaching the center, the scan axis runs the same way backwards, you can either take the image during the scan to the center and project it from the center to the outside, or take the image over the entire scanning process and projection only in a second can be used.
Bei einer konstanten Auslenkung von Scanspiegeln in zwei Richtungen (Lissajou-Figur) erfolgt beim Kreisscan zwangsläufig eine Verlangsamung der Verweildauer in Richtung zum Zentrum. Die Erfindung sieht jedoch vor, daß für das Tagessehen die Scandauer benachbarter Kreise, je nach den Belichtungsverhältnissen, noch zusätzlich verlangsamt und für das Nachtsehen sogar beschleunigt werden kann.With a constant deflection of scanning mirrors in two directions (Lissajou figure), the circular scan inevitably slows down the dwell time towards the center. However, the invention provides that, for day vision, the scanning time of neighboring circles, depending on the exposure conditions, can be additionally slowed down and even accelerated for night vision.
Aufgrund der ungleichmäßigen Verteilung der Zapfen über die Netzhaut mit einer um mehr als zwei Dekaden höheren Dichte im Zentrum kann die Abtastrate (Verweildauer pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 erhöht werden.Because of the uneven distribution of the cones over the retina with a density in the center that is more than two decades higher, the sampling rate (residence time per pixel) in this area can be increased by this factor, 100.
Für das Nachtsehen mit der höheren Verteilung der Stäbchen mit zunehmenden Radius ist es sinnvoll, daß die Verweildauer entgegengesetzt nach Außen in ähnlichem Maße abnimmt.For night vision with the higher distribution of the rods with increasing radius, it makes sense that the dwell time decreases to the same extent in the opposite direction.
Wie dem Fachmann bekannt, läßt sich ein Kreisscan in analoger Ansteuerung mit periodisch schwingenden orthogonalen Scanspiegeln, oder in digitaler Ansteuerung durch Näherung an die Kreisspur mit einer hohen Anzahl von geraden Strecken. Als dritte Alternative bietet sich die Verwendung von programmierbaren Algorithmen analoger Ansteuersignale, die digital aufgerufen werden können und am besten für diese variblen Verhältnisse am geeignet sind.As is known to the person skilled in the art, a circular scan can be carried out in analog control with periodically oscillating orthogonal scanning mirrors, or in digital control by approaching the circular track with a large number of straight sections. The third alternative is the use of programmable algorithms for analog control signals, which are digital can be called and are best suited for these variable conditions.
Damit das Empfangssignal auch durch Vergrösserung des abgetasteten Bildflecks, proportional zu seiner Fläche, zusätzlich erhöht werden kann, sieht die Erfindung ferner vor, daß die momentane Bildpixelgröße auf der Netzhaut zusätzlich zur Scangeschwindigkeit variabel eingestellt werden kann.So that the received signal can also be increased in proportion to its area by enlarging the scanned image spot, the invention further provides that the current image pixel size on the retina can be variably set in addition to the scanning speed.
Mit der Änderung der Bildfleckgröße wird auch die Bildauflösung entsprechend der Situation angepaßt. Außer der Veränderung der Abtastfläche kann die Auflösung durch variablen Radiensprung der Scanradien eingestellt werden.With the change of the image spot size, the image resolution is also adapted to the situation. In addition to changing the scanning area, the resolution can be set by changing the radius of the scan radii.
Mit einer Vergrößerung des abtastenden Bildpixels von z.B. 10 μm auf 100 μm wird z.B. die Bildauflösung von etwa 2 bis 20 Bogenminuten (Auflösungsbereich des Lesens und Betrachtern) um einen Faktor 10 reduziert, gleichzeitig wird das empfangene Signal um einen Faktor 100 erhöht.With an enlargement of the scanning image pixel of e.g. 10 μm to 100 μm is e.g. the image resolution of about 2 to 20 arc minutes (resolution range of reading and viewing) is reduced by a factor of 10, at the same time the received signal is increased by a factor of 100.
Wie dem Fachmann bekannt, ist bei der konfokalen Abtasten die Bildauflösung durch den Blendendurchmesser im Zwischenfokus vor dem Photodetektor bestimmt und kann durch seine Veränderung eingestellt werden. Die Erfindung sieht vor, daß hierfür Flüßigkristallblenden oder elektro-optische Blenden verwendet werden, damit diese Einstellung möglichst schnell, d.h. innerhalb eines Abtastzyklus, durchgeführt werden kann.As is known to the person skilled in the art, in confocal scanning the image resolution is determined by the aperture diameter in the intermediate focus in front of the photodetector and can be adjusted by changing it. The invention provides that liquid crystal diaphragms or electro-optical diaphragms are used for this so that this setting is as fast as possible, i.e. can be performed within one sampling cycle.
Da der zeitliche Ablauf des Scannens und die Größe des Bildpixels bei Aufnahme und Projektion möglichst identisch sein sollten, schlägt die Erfindung vor, daß die die Änderung des Scanverlaufs und Blendenregelung im Projektionskanal die gleiche ist wie im Aufhahmekanal. Die Variation der optischen Integrationszeit und Bildpixelfläche kann dann im Projektionskanal durch entsprechende Variation der Sendeleistung des Lasers kompensiert werden. Die Höhe des Empfangssignals ist weiterhin von der spektralen Bandbreite des Empfängers abhängig und kann durch ihre Verbreiterung erhöht werden. Die Erfindung sieht vor, daß im Bereich des hellen Tagessehen (photopisches Sehen) eine der Augenfarbempfindlichkeit entsprechende Aufspaltung des Strahlenganges in die Farbkanäle Rot-Grün-Blau mit je einer spektralen Breite von etwa 100 nm vorgenommen werden kann. Dies ermöglicht eine farbechte Bildaufhahme und mit entsprechenden dreifarbigen Lasern eine farbliche Zurückprojektion ins Auge.Since the timing of the scanning and the size of the image pixel during recording and projection should be as identical as possible, the invention proposes that the change in the scanning process and aperture control in the projection channel is the same as in the recording channel. The variation in the optical integration time and image pixel area can then be compensated for in the projection channel by correspondingly varying the transmission power of the laser. The level of the received signal is also dependent on the spectral bandwidth of the receiver and can be increased by broadening it. The invention provides that in the area of bright day vision (photopic vision) a splitting of the beam path into the color channels red-green-blue corresponding to the eye color sensitivity can be carried out with a spectral width of about 100 nm each. This enables color-true image recording and, with appropriate three-color lasers, a color back projection into the eye.
Bei einer schwacher Umgebungsbeleuchtung, bei der Farben nicht mehr vom Auge wahrgenommen werden (scotopisches Sehen) sieht die Erfindung die Zusammenlegung aller Kanäle zu einem einzigen (schwarz/weiß) Empfangskanal ohne Farbauflösung vor. Weiterhin sieht die Erfindung vor, daß dieser Empfangskanal nicht nur den sichtbaren Bereich von 400 - 700 nm, sondern zusätzlich den nahen infraroten Bereich von 700 - 1000 umfaßt.In the case of weak ambient lighting, in which colors are no longer perceived by the eye (scotopic vision), the invention provides for the merging of all channels into a single (black and white) receiving channel without color resolution. Furthermore, the invention provides that this receiving channel not only encompasses the visible range of 400-700 nm, but also the near infrared range of 700-1000.
Dies bringt zur Erhöhung des Empfangssignals bei schwacher Hintergrundbeleuchtung die folgenden Vorteile:This leads to the following advantages for increasing the reception signal with weak backlight:
das Auge hat zwischen 400 - 1000 nm volle Transparenz und bildet ein vergleichbares Bild zwischen 700 - 1000 nm wie zwischen 400 - 700 nm ab.the eye has full transparency between 400 - 1000 nm and displays a comparable image between 700 - 1000 nm and between 400 - 700 nm.
der Reflexionsgrad der Netzhaut zwischen 700 - 1000 nm beträgt R = 10 - 20% gegenüber R = 3 - 5% zwischen 400 - 700 nmthe degree of reflection of the retina between 700 - 1000 nm is R = 10 - 20% compared to R = 3 - 5% between 400 - 700 nm
es sind Photoempfänger mit hohem Quantenwirkungsgrad wie Photomultiplier und Silizium- Avalanchedioden über den gesamten Spektralbereich von 400 - 1000 nm verfügbarPhoto receivers with high quantum efficiency such as photomultipliers and silicon avalanche diodes are available over the entire spectral range from 400 to 1000 nm
Glühlampen, die zur Innenbeleuchtung von Gebäuden, bzw. im Freien zur Straßenbeleuchtung und bei Fahrzeugen verwendet werden, strahlen zwischen 700 -1000 nm 10 mal mehr Licht ab als zwischen 400 - 700 nm. das Refiexionsvermögen der Vegetation der Natur ist um einen Faktor 5-10 zwischen 700 - 1000 nm höher als zwischen 400 - 700 nm.Incandescent lamps, which are used for indoor lighting of buildings, or outdoors for street lighting and vehicles, emit 10 times more light between 700 and 1000 nm than between 400 and 700 nm. the reflectivity of the vegetation of nature is higher by a factor of 5-10 between 700 - 1000 nm than between 400 - 700 nm.
Wie diese Beispiele zeigen, ist bei schwacher Beleuchtung (Nachtsehen) eine nochmalige Erhöhung des Empfangssignals um einen Faktor 100 durch Erweiterung des Spektralbereiches möglich.As these examples show, with poor lighting (night vision), the received signal can be increased again by a factor of 100 by expanding the spectral range.
Die Erweiterung des spektralen Bereiches kann entweder in jedem Gerät fest installiert sein oder durch Wechseln von spektralen Filtern variabel gestaltet werden. Wird eine Farbdarstellung nicht gefordet, ist es sinnvoll, grünes Laserlicht für die Rückprojektion ins Auge, wegen der höchsten Empfindlichkeit und Konfrastwahrnehmung des Auges bei dieser Farbe, zu verwenden.The expansion of the spectral range can either be permanently installed in each device or can be made variable by changing spectral filters. If a color display is not required, it makes sense to use green laser light for the rear projection into the eye because of the highest sensitivity and contrast perception of the eye with this color.
Zusätzliche Methoden zur Signalverbesserung, die hier eingesetzt werden können, sind die Integration mehrerer aufeinanderfolgender Bilder und die Bildkorrelation, z.B. Bilder der beiden Augen.Additional methods for signal improvement that can be used here are the integration of several successive images and the image correlation, e.g. Images of the two eyes.
Insgesamt kann durch die Variation der zwei Parameter, der Verweilzeit des Scans in den Bildpixels und der Größe des Bildflecks, mit Hinzunahme des infraroten Bereiches und der Verwendung von Bildkorrelation, eine gesamte Dynamik der Empfangssignale über sieben Dekaden erfaßt werden.Overall, by varying the two parameters, the dwell time of the scan in the image pixels and the size of the image spot, with the addition of the infrared range and the use of image correlation, an entire dynamic range of the received signals can be recorded over seven decades.
Bei einer gesamten optischen Transmission des Empfangskanals von T = 0,2 (siehe Formel oben) umfaßt der Empfangbereich dieses dynamischen Aufhahmesystems Bestrahlungsstärken auf der Netzhaut zwischen 10" W/cm und 100 W/cm , was dem Bereich der typischen Innen- und Außenhelligkeit umfaßt.With a total optical transmission of the receiving channel of T = 0.2 (see formula above), the receiving area of this dynamic recording system comprises irradiations on the retina between 10 " W / cm and 100 W / cm, which includes the area of the typical inside and outside brightness .
Wegen der langsamen und schnellen Augenbewegungen ist es notwendig, das Scansystem so zu gestalten, daß es der Änderung der Sehachse durch die Brille ständig folgt, d.h. daß die Symmetrieachse der Bildabtastung, sowohl bei der Aufnahme, als auch bei der Projektion, mit der Sehachse identisch ist.Because of the slow and fast eye movements, it is necessary to design the scanning system so that it constantly follows the change of the visual axis through the glasses, i.e. that the axis of symmetry of the image scan, both in the recording and in the projection, is identical to the visual axis.
Die Erfindung sieht zur Lösung dieser Aufgabe vor, daß vor und nach der Abtastung des Netzhau treflexes bzw. der Bildprojektion ins Auge, eine Zentrierung des Kreisscans auf der Augenpupille durchgeführt wird. Dabei wird der größte Abtastwinkel des Kreisscans so gewählt, daß bei einer Ablage der Scansymmetrieachse von der Sehachse die Außenfläche des Augapfels, Sclera mit Regenbogenhaut und Pupillenöfrhung von dem Kreisscan erfaßt wird. Da diese Teile des Auges, die vom Außenlicht gut ausgeleuchtet sind, nicht scharf, sondern diffus in der Bildzwischenebene des Photodetektors abgebildet werden, liefert das Empfangssignal hier keine Bildinformation, sondern eine integrale Anzeige über das optische Rückstreuvermögen der Vorlage.To achieve this object, the invention provides that before and after the scanning of the network treflexes or the image projection into the eye, a Centering the circular scan on the eye pupil is performed. The largest scanning angle of the circular scan is selected so that when the scan symmetry axis is deposited from the visual axis, the outer surface of the eyeball, sclera with rainbow skin and pupil opening is detected by the circular scan. Since these parts of the eye, which are well illuminated by the outside light, are not imaged sharply, but diffusely in the intermediate image plane of the photodetector, the received signal does not provide any image information here, but rather an integral indication of the optical backscattering capacity of the original.
Wenn die Empfangssignale über zeitlich gleich lange Abschnitte, z.B. Quadranten, aus jedem Kreis miteinander verglichen werden, sind sie nur dann von gleicher Höhe, wenn die Achse des Kreisscans identisch ist mit der Augenachse (Sehachse). Signalunterschiede, wegen der unterschiedlichen Rückstreuung aus Sklera, Regenbogenhaut und Pupillenöffhung, sind dann ein Maß über die Achsenablage und ihre Richtung. Nach einer Normierung mit dem gesamten Empfangssignal über jeden Kreis können diese Ablagesignale zur Einstellung der Nullstellung eines nächsten Kreisscans (Bias) verwendet werden. Somit kann eine ursprüngliche Ablage der Achsen mit jedem Kreisscan vermindert werden bis sie beim Eintauchen des Kreisscans durch die Pupillenöffhung verschwindend gering wird (Pupillentracking). Fig. 1 zeigt schematisch den kozentrischen Scanvorgang bei justierten System, Fig. 2 stellt den Suchmode der Zentrierung des Scans durch die Augenpupille dar.If the received signals over sections of the same length, e.g. Quadrants, which are compared with each other from each circle, are only of the same height if the axis of the circular scan is identical to the eye axis (visual axis). Signal differences, due to the different backscatter from sclera, iris and pupil opening, are then a measure of the axis offset and their direction. After standardization with the entire received signal over each circle, these storage signals can be used to set the zero position of a next circle scan (bias). This means that the original placement of the axes can be reduced with each circle scan until it becomes negligible when the circle scan is immersed through the pupil opening (pupil tracking). Fig. 1 shows schematically the concentric scanning process with adjusted system, Fig. 2 shows the search mode for centering the scan through the eye pupil.
Die Erfindung sieht alternativ zur Verwendung des Umgebungslichtes vor, daß auch mit der aktiven Beleuchtung der Laserprojektion ins Auge ein Pupillentracking im Außenbezirken des Kreisscans, mit gleichzeitiger Signalauswertung im Aufhahmekanal wie oben beschrieben, durchgeführt wird.As an alternative to the use of ambient light, the invention provides that pupil tracking in the outer regions of the circular scan, with simultaneous signal evaluation in the recording channel as described above, is also carried out with the active illumination of the laser projection into the eye.
Die Erfindung sieht außerdem vor, daß auch während der Laserbildprojektion das sowohl von der Umgebung als auch vom Laser zurückgestreute Licht aufgenommen und ausgewertet wird. Diese gleichzeitige Aufnahme des Netzhautreflexes von der Umgebung und der nachbearbeitenden Laserbildprojektion eröffnet die Möglichkeit, den Grad der Überlappung und die zeitliche Synchronisation beider Bilder ständig zu überprüfen, eventuelle Unterschiede als Bildinterferenzen (Moire-Muster) zu erkennen, um diese dann durch Korrektursignale nachträglich zu kompensieren.The invention also provides that the light scattered back by both the surroundings and the laser is recorded and evaluated even during the laser image projection. This simultaneous recording of the retinal reflex from the environment and the post-processing laser image projection opens up the possibility of the degree of overlap and constantly checking the temporal synchronization of the two images, recognizing any differences as image interference (moiré pattern), in order to then compensate for them subsequently using correction signals.
Die Aufnahme und Projektionstechnik im Sinne der Erfindung kann entweder an einem Auge eines Betrachters oder an seinen beiden Augen gleichzeitig, unabhängig voneinander durchgeführt werden. Wegen des steroskopischen Sehens beider Augen wird in dem letzteren Fall eine dreidimensionale Bildaufhahme und Bildwiedergabe realisiert.The recording and projection technique in the sense of the invention can be carried out either independently on one eye of a viewer or on both eyes at the same time. Because of the steroscopic vision of both eyes, a three-dimensional image recording and image reproduction is realized in the latter case.
Es ist nicht ohne weiteres verständlich, daß die Aufnahme eines fehler- und verzeichungsfreien Reflexbildes der Umgebung von der Netzhaut über eine Brille, die weder in ihren optischen Eigenschaften individuell an jeden Betrachter angepaßt, noch vollständig stabil sitzend auf dem Kopf des Betrachters sein kann. Die Lösung hierzu im Sinne der Erfindung besteht erstens in der relativ geringen optischen Anforderungen an den seriellen konfokalen Punktscan gegenüber z.B. einer flächenhaften Abbildung aus dem Auge, zweitens in der vollständigen dynamischen Anpassung des optischen Strahlenganges des Scanners über die Brille in das Auge, die jedesmal die Eigenbewegungen des Auges und der Brille selbst berücksichtigt, drittens in der exakten Rückkehrung des Strahlenganges zwischen Aufnahme und Projektion und der kurzen Zeitdauer zwischen diesen Vorgängen. Zur Einstellung des Scan durch das Auge, auch bei den verschiedenen Augenbewegungen dienen zwei scannende Elemente und ein Korrekturspiegel der auch justierbar sein kann. Die Fig. 3 zeigt schematisch in Übersicht das ganze System. Die Netzhaut des Auges NH wird mit dem fokussierten Strahl abgetastet. Hier stellt AA den Augapfel und AP die Augenpupille dar. Die teildurchlässige Brille ist hier mit BG bezeichnet.It is not easy to understand that the recording of an error-free and distortion-free reflection image of the surroundings from the retina via glasses that are not individually adapted to each viewer in terms of their optical properties, nor can they sit completely stable on the viewer's head. The solution to this in the sense of the invention consists first of all in the relatively low optical requirements for the serial confocal point scan compared to e.g. an areal image from the eye, secondly in the complete dynamic adjustment of the optical beam path of the scanner via the glasses into the eye, which always takes into account the intrinsic movements of the eye and the glasses themselves, thirdly in the exact return of the beam path between recording and projection and the short time between these processes. Two scanning elements and a correction mirror, which can also be adjustable, are used to adjust the scan by the eye, even with the various eye movements. 3 shows a schematic overview of the entire system. The retina of the NH eye is scanned with the focused beam. Here AA represents the eyeball and AP the eye pupil. The partially permeable glasses are referred to here as BG.
Die von der Umgebung durchgehenden Strahlen werden auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut punktuell abgetastet, wobei der Abtasstrahl in Transmission durch die Brille immer gegen eine Strahlungssenke schaut. Mit den zweiachsigen Abtastelementen HSS und VSS wird der Kreisscan durchgeführt. Mit dem Hilfsspiegel HS, der aktiv einstellbar sein kann, wird die Einfallsrichtung und Position des Strahles auf der Innenfläche der Brille BG eingestellt. Mit dem Strahlumschalter SUS kann entweder mit einer zentralen Bohrung der beleuchtende Laserstrahl durchgelassen werden und der Empfangsstrahl, der meist wesentlich größeren Durchmesser hat in die Empfangseinheit reflektiert werden in getrennte Richtungen geleitet werden, oder es kann ein aktiv umschaltendes Spiegelelement verwendet werden das zwischen Empfang und Senden umschaltet.The rays passing through from the surroundings are focused on the retina, at the same time the retina is scanned at points, the scanning beam always looking into a radiation sink through the glasses. The circular scan is carried out with the two-axis scanning elements HSS and VSS. With the auxiliary mirror HS, which can be actively adjustable, the direction of incidence and position of the beam on the inner surface of the glasses BG are set. With the SUS jet switch Either the illuminating laser beam can be passed through a central bore and the reception beam, which usually has a much larger diameter, can be reflected into the reception unit in separate directions, or an actively switching mirror element can be used that switches between reception and transmission.
Die Empfangseinheit kann z.B. aus drei getrennten Empfangskanälen für die Grundfarben Rot, Grün und Blau oder andere Wellenlängenbereiche z.B. im nahen Infrarotbereich bestehen. Der Strahlengang aller Spektralkanäle wird mit Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. Zur Einstellung der Fleckgröße des Abtaststrahles auf der Netzhaut und zur eventuellen Feinkorrektur der optischen Achse dient eine aktiv justierbare Gesichtsfeldblende GFB.The receiving unit can e.g. from three separate reception channels for the primary colors red, green and blue or other wavelength ranges e.g. exist in the near infrared range. The beam path of all spectral channels is brought onto an axis using dichroic mirrors DS. An actively adjustable field-of-view aperture GFB is used to adjust the spot size of the scanning beam on the retina and to possibly fine-tune the optical axis.
Die Sendeeinheit kann z.B. aus drei Lasern mit den Grundfarben Rot LR, Grün LG und Blau LB geschaffen sein. Vor der Strahlvereinigung auf einer Achse mit dichroitischen Spiegeln DS werden die Einzelnen Strahlen entweder extern mit Bildmodulatoren MR, MG und MB moduliert oder einfacher direkt über den Anregungsstrom der Laseremission. Die Größe und Lage des Laserabtastflecks auf der Netzhaut wird mit einer aktiv steuerbaren Blende LAA die im Zwischenfokus zweier Linsen im Strahlengang eingestellt wird. Als Empfänger für die Abtastung der Netzhautreflexbildes sind z.B. Photomultiplier geeignet, die wechselweise bei sehr schwachen optischen Signalen in einen Photon-counting Betrieb und bei starken Signalen in einen Sfrommeßbetrieb automatisch Umschalten. Auch ist die Verwendung von Avalanche Photodioden als Empfänger möglich.The sending unit can e.g. be created from three lasers with the basic colors red LR, green LG and blue LB. Before the beam combination on one axis with dichroic mirrors DS, the individual beams are either modulated externally with image modulators MR, MG and MB or, more simply, directly via the excitation current of the laser emission. The size and position of the laser scanning spot on the retina is controlled by an actively controllable aperture LAA which is set in the intermediate focus of two lenses in the beam path. The receivers for scanning the retinal reflex image are e.g. Suitable for photomultipliers, which alternately automatically switch to photon-counting operation when the optical signals are very weak and to a measuring operation when the signals are strong. Avalanche photodiodes can also be used as receivers.
Als Lichtquellen zur Rückprojektion der Bilder ins Auge sind Halbleiterlaser bzw. miniaturisierte Festkörperlaser vorgesehen mit einer niedriger Dauerstrichleistung (<300 μW), die keine Gefährdung des Auges verursachen können. Mit der Verwendung von Halbleiterlasern könnte die Bildmodulation direkt über ihre Stromversorgung durchgeführt werden. Damit aller Farben erzeugt werden empfiehlt sich die Verwendung von drei Lasern mit den Grundfarben rot, grün und blau. Wie das bekannte Farbdreieck des menschlichen Gesichtsinnes zeigt können alle anderen Farben sowie die Unfarben grau und weiß durch Farbsummation von monochromatischen Laserlinien dieser Farben gebildet werden. Die Erfindung beinhaltet auch die Möglichkeit der Verwendung von einzelnen Farben als monochromatische Lösung vor.Semiconductor lasers or miniaturized solid-state lasers with a low continuous wave power (<300 μW) are provided as light sources for the rear projection of the images into the eye, which can cause no danger to the eye. With the use of semiconductor lasers, the image modulation could be carried out directly via their power supply. So that all colors are generated, the use of three lasers with the basic colors red, green and blue is recommended. As the well-known color triangle of the human face shows, everyone else can Colors as well as the non-colors gray and white are formed by color summation of monochromatic laser lines of these colors. The invention also includes the possibility of using individual colors as a monochromatic solution.
Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal-Prozessor SP vor, der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funktionen der Vorrichtung sowie die von Scannern VSS/HSS, des Hilfsspiegels HS und Laserfleckeinstellung LAA und Größe der Gesichtsfeldblende GFB synchron koordiniert. Der Bildverarbeitungscomputer BVC übernimmt dann die vom Auge wahrgenommenen Bild oder Bilder anderer technischer Sensoren, die über einen externenen Anschluß EA dem Computer zugeführt werden und bearbeitet sie nach einer vorgegebenen Software SW, bevor sie mit Hilfe des Signalprozessors auf die Laserstrahlen als Bildsignal aufmoduliert werden. In Fig. 4 sind der Fluß der optischen und elektrischen sowie der Softwaresignale getrennt dargestellt. Die komplette Lasereinheit wird mit DE bezeichnet, ME als Modulationseinheit und PME die komplette Empfangseinheit und SUS als der Strahlumschalter zwischen der Sende- und Empfangseinheit.The invention provides, as shown in Fig. 4, a signal processor SP, which electronically processes the direct image of the retina and synchronizes all functions of the device and that of scanners VSS / HSS, auxiliary mirror HS and laser spot setting LAA and size of the field of view aperture GFB coordinates. The image processing computer BVC then takes over the image perceived by the eye or images from other technical sensors which are fed to the computer via an external connection EA and processes them according to a predetermined software SW before they are modulated onto the laser beams as an image signal with the aid of the signal processor. In Fig. 4 the flow of the optical and electrical as well as the software signals are shown separately. The complete laser unit is denoted by DE, ME as the modulation unit and PME the complete receiver unit and SUS as the beam switch between the transmitter and receiver unit.
Die Laser-Projektion ermöglicht außer der Verarbeitung des aktuellen vom Computer verarbeitetes Bild in das Auge zu projizieren und mit dem Originalbild zu verschmelzen, auch Fremdbilder, die dem Computer von extern zugeleitet werden, dem Außenbild im Auge synchron zu überlagern. Wenn die Zeitspanne zwischen Bildaufhahme- und Projektion im Vergleich zu den schnellen Augebewegungen entsprechend kurz ist, wird das Auge, wie bei der Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr wahrnehmen.In addition to processing the current image processed by the computer, laser projection makes it possible to project into the eye and merge it with the original image, and to synchronously superimpose external images that are fed to the computer from the outside into the external image in the eye. If the time span between image acquisition and projection is correspondingly short in comparison to the rapid eye movements, the eye will no longer perceive an image interruption, as when viewing a television screen.
Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaßt auch die perspektivischen Unterschiede beider Bilder. Da diese bei der Laserzurückprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstellung des räumlichen Sehens gewährleistet.The separate but simultaneous image scanning on both eyes also captures the perspective differences between the two images. Since these are retained in both eyes during laser back projection, a restoration of spatial vision is guaranteed.
Die in der Erfindung verwendeten Bauelemente sind heute weitgehend miniaturisiert und kostengünstig erhältlich. Zum Scannen der Kreisfiguren können miniaturisierte Kippspiegel verwendet werden. Als zweite Möglichkeit zur Herstellung der Kreisfiguren bietet sich an die Verwendung von Keilplatten-Scannern, die für einen Strahlengang in Transmission ausgelegt sind. Der durchgehende Strahl wird durch jede der Platten um einen festen Winkel gebrochen, der gesamte Ablenkwinkel kann dann durch eine feste Drehung der Keilplatten gegeinander kontinuierlich bis Null eingestellt werden. Bei einer gemeinsamen Drehung der Keilplatten mit einer festen Drehfrequenz beschreibt der abgelenkte Strahl dann eine Kreisspur. Als dritte Möglichkeit bietet sich die Verwendung von akusto-optischen Ablenkeinheit, die den Vorteil der geringen Trägheit und der schnellen Ablenkung bieten. Der variabel einstellbare Hilfsspiegel HS wird vorzugsweise als einer mit Mikroaktorik in zwei Achsen einstellbarer Spiegel sein.The components used in the invention are today largely miniaturized and available inexpensively. For scanning the circular figures miniaturized tilting mirrors can be used. The second option for producing the circular figures is to use wedge plate scanners that are designed for a beam path in transmission. The continuous beam is refracted by a fixed angle through each of the plates, the entire deflection angle can then be continuously adjusted to zero by a fixed rotation of the wedge plates against each other. When the wedge plates rotate together at a fixed rotational frequency, the deflected beam then describes a circular track. The third possibility is the use of acousto-optical deflection units, which offer the advantage of low inertia and fast deflection. The variably adjustable auxiliary mirror HS will preferably be a mirror that can be adjusted in two axes with microactuators.
Für die Einstellung des Laserfleckgröße und des Empfangsgesichtsfeldes bieten sich vorzugsweise mikromechanische Aktoren wie z.B. in den weitverbreiteten Laser-Printer und CD-Plattenspielern auch verwendet werden.For the adjustment of the laser spot size and the reception field of view, micromechanical actuators such as e.g. can also be used in widely used laser printers and CD record players.
Die Strahlumlenkeinheit und Scanner können ein einem einfachen Brillengestell untergebracht werden. Mit Hilfe von Glasfaserleitung können Laserprojektionseinheit in einem kleinen Gehäuse z.B. in der Größe eines Taschenbuches mit Betterieversorgung untergebracht werden. Der Datenaustausch mit einem externen fest installierten Bildverabeitungsrechner kann entweder übere Radiowellen oder Infrarotstrahle erfolgen. Alle Elemente der Vorrichtung der Erfindung könnten nach dem heutigen Stand der Technik somit von einem Menschen mühelos getragen werden und der drahtlose Bilddatenaustausch mit dem externen Rechner würde seine unbeschränkte Bewegungsfreiheit ermöglichen.The beam deflection unit and scanner can be accommodated in a simple glasses frame. With the help of fiber optic cables, laser projection units in a small housing e.g. can be accommodated in the size of a paperback book with food supply. The data exchange with an external permanently installed image processing computer can take place either via radio waves or infrared rays. According to the current state of the art, all elements of the device of the invention could thus be carried effortlessly by a human being and the wireless image data exchange with the external computer would enable its unlimited freedom of movement.
Wie in der früheren Anmeldung der Erfinderin Nr. 19631414.3 kann dieser Art einer opto-elektroni sehen Brille in den verschiedensten Anwendung eine Verwendung finden:As in the earlier application of the inventor No. 19631414.3, this type of opto-electronic glasses can be used in a wide variety of applications:
Aufnahme von Bildern der Außenwelt, ihre Verarbeitung, Zurückprojektion und Verschmelzung mit dem Originalbild im Auge wie z.B. zur Sichtverbesserung beim Fahren eines Fahrzeug oder als Sehhilfe von SehbehinderteTaking pictures of the outside world, processing them, projecting them back and merging them with the original picture in the eye, such as for Improved vision when driving a vehicle or as a visual aid for the visually impaired
Überlagerung von Bildern anderer Aufhahmesysteme, z.B. in von der gleichen Szene in anderen Spektralbereichen auf das direkte Bild in gleichen Anwendungen wie heute oder zukünftig das Helmet-mounted-display verwendet wirdOverlaying images from other recording systems, e.g. from the same scene in other spectral ranges to the direct image in the same applications as today or in the future the helmet-mounted display will be used
Überlagerung von virtuellen Bildern, die alleine vom Computer hergestellt werden, in gleichen oder zukünftigen Anwendungen der "virtual-reality" oder "Cyberspace" Bildprojektion. Superimposition of virtual images that are produced by the computer alone in the same or future applications of "virtual reality" or "cyberspace" image projection.

Claims

P a t e n t a n s p r ü c h e Patent claims
1. Bildverbesserungssystem, bei dem das Reflexbild in Inneren des Auges abgetastet wird und nach Modifikation auf dem gleichen Weg in das Auge zurückprojiziert wird nach Anmeldung Nr. 19631414.3, gekennzeichnet durch Verwendung eines Ellipsenscans.1. Image enhancement system in which the reflex image is scanned inside the eye and, after modification, is projected back into the eye in the same way according to application no. 19631414.3, characterized by the use of an ellipse scan.
2. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Ermittlung der Außenränder der Pupille zur Justierung und Zentrierung des Scannersystems ohne weitere externe Sensoren verwendet wird.2. Image enhancement system according to claim 1, characterized in that the ellipse scan is used by determining the outer edges of the pupil for adjusting and centering the scanner system without further external sensors.
3. Bildverbesserungssystem nach Anspruch 1 , dadurch gekennzeichnet, daß das aufgenommene Bild mit dem zurückprojizierten Bild zeitlich und örtlich synchronisiert wird.3. Image enhancement system according to claim 1, characterized in that the recorded image is synchronized with the back-projected image temporally and locally.
4. Bildverbesserungssystem nach Anspruch 2, dadurch gekennzeichnet, daß die Scandauer dynamisch an die Anforderung von Auflösung, Erfaßzeitbedarf und Belichtungszeit angepaßt wird.4. Image enhancement system according to claim 2, characterized in that the scan duration is dynamically adapted to the requirement of resolution, acquisition time requirement and exposure time.
5. Bildverbesserungssystem nach Anspruch 4, dadurch gekennzeichnet, daß die Größe des Abtastfleckens dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.5. Image enhancement system according to claim 4, characterized in that the size of the scanning spot is dynamically adjusted according to the requirement of the environmental conditions.
6. Bildverbesserungssystem nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, daß der Spurabstand der Scanspuren dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.6. Image enhancement system according to one of claims 4 or 5, characterized in that the track spacing of the scan tracks is adapted dynamically in accordance with the requirement of the ambient conditions.
7. Bildverbesserungssystem nach Ansprüchen 1 bis 6, dadurch gekennzeichnet, daß die Größe des abgetasteten Bereichs entsprechend der Anforderungen des Anwendungsfalles angepaßt wird. 7. Image enhancement system according to claims 1 to 6, characterized in that the size of the scanned area is adapted according to the requirements of the application.
8. Bildverbes3erungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystem aufgehellt wird und dann zurückprojiziert wird.8. image enhancement system according to claim 1, characterized in that the recorded image is brightened by a downstream image processing system and is then projected back.
9. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch eine Projektion des Bildes bei einer anderen Wellenlänge als es aufgenommen wurde und dadurch in einen anderen Lichtwellenlängenbereich transformiert wird.9. Image enhancement system according to claim 1 and 8, characterized in that the recorded image by a projection of the image at a different wavelength than it was recorded and is thereby transformed into a different light wavelength range.
10. Bildverbesserungssystem nach Anspruch 1 und 9, dadurch gekennzeichnet, daß der Wellenbereich des aufgenommenen Bildes außerhalb des Wahrnehmungsbereiches des Auges ausgewertet wird und in den sichtbaren Bereich transformiert wird.10. Image enhancement system according to claim 1 and 9, characterized in that the wave range of the recorded image is evaluated outside the perceptual range of the eye and is transformed into the visible range.
11. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild so stark aufgehellt wird, daß die ursprünglich vom Auge erkennbare Schwarz- Weiß (Stäbchensehen)- Information in eine Farbinformation transformiert wird (Zäpfchensehen).11. Image enhancement system according to claim 1 and 8, characterized in that the recorded image is so strongly brightened that the black-and-white (stick-eye) originally recognizable by the eye is transformed into color information (suppository vision).
12. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch Berechnen und Modulieren der Projektion über einen geeigneten Algorithmus (Fouriertransformation) so geschärft wird, daß Sehfehler des Auges ausgeglichen werden.12. Image enhancement system according to claim 1, characterized in that the recorded image is sharpened by calculating and modulating the projection using a suitable algorithm (Fourier transformation) in such a way that visual defects in the eye are compensated for.
13. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß für die Justierung des Scannersystems ein externer Sensor zur Ermittlung der Pupillenposition verwendet wird.13. Image enhancement system according to claim 1, characterized in that an external sensor for determining the pupil position is used for the adjustment of the scanner system.
14. Bildverbesserungssystem nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß das aufgenommene Bild hinsichtlich des Bildinhaltes ausgewertet wird um externe Reaktionen und Steuerfunktionen zu aktivieren.14. Image enhancement system according to claim 1 to 13, characterized in that the recorded image is evaluated with regard to the image content in order to activate external reactions and control functions.
15. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Bildinhalte beider Augen verglichen werden. 15. Image enhancement system according to claim 14, characterized in that the image contents of both eyes are compared.
16. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Position der Pupillen beider Augen verglichen wird.16. Image enhancement system according to claim 14, characterized in that the position of the pupils of both eyes is compared.
17. Bildverbesserungssystem nach Anspruch 15, dadurch gekennzeichnet, daß der Bildinhalt der Forea Centralis beider Augen verglichen wird.17. Image enhancement system according to claim 15, characterized in that the image content of the forea centralis of both eyes is compared.
18. Bildverbesserungssystem nach Anspruch 16 und 17, dadurch gekennzeichnet, daß die Position der Pupillen und Bildinhalte der Forea Centralis beider Augen zur Ermittlung der Sehachse verwendet werden für Triangulation (Entfernungsbestimmung)18. Image enhancement system according to claim 16 and 17, characterized in that the position of the pupils and image contents of the forea centralis of both eyes are used to determine the visual axis for triangulation (distance determination)
19. Bildverbesserungssystem nach Anspruch 1 bis 18, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Helligkeit der Umgebung zu ermitteln.19. Image enhancement system according to claim 1 to 18, characterized in that the image information of the eye is used to determine the absolute brightness of the environment.
20. Bildverbesserungssystem nach Anspruch 19, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Farbtemperatur des Lichtes zu ermitteln.20. Image enhancement system according to claim 19, characterized in that the image information of the eye is used to determine the absolute color temperature of the light.
21. Bildverbesserungssystem nach Anspruch 1 und 2, dadurch gekennzeichnet, daß das System zur Ermittlung der Pupillengröße verwendet wird.21. Image enhancement system according to claim 1 and 2, characterized in that the system is used to determine the pupil size.
22. Bildverbesserungssystem nach Anspruch 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystems so aufgehellt wird, daß die physiologische Scheinempfindlichkeit in einen anderen weniger empfindlichen Bereich verschoben wird.22. Image enhancement system according to claim 8, characterized in that the recorded image is brightened by a downstream image processing system so that the physiological apparent sensitivity is shifted to another less sensitive area.
23. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von außen nach innen läuft.23. Image enhancement system according to claim 1, characterized in that the ellipse scan runs from the outside inwards.
24. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von innen nach außen läuft. 24. Image enhancement system according to claim 1, characterized in that the ellipse scan runs from the inside to the outside.
25. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Zusammenfallen der beiden Brennpunkte zu einem Kreisscan verändert wird. 25. Image enhancement system according to claim 1, characterized in that the ellipse scan is changed by a coincidence of the two focal points to form a circular scan.
EP98942492A 1997-07-07 1998-07-03 Method for improving optic perceptive faculty by modifying the retinal image Withdrawn EP1000376A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE1997128890 DE19728890A1 (en) 1997-07-07 1997-07-07 Process to improve optical perception by modifying the retinal image
DE19728890 1997-07-07
PCT/DE1998/001840 WO1999003013A1 (en) 1997-07-07 1998-07-03 Method for improving optic perceptive faculty by modifying the retinal image

Publications (1)

Publication Number Publication Date
EP1000376A1 true EP1000376A1 (en) 2000-05-17

Family

ID=7834849

Family Applications (1)

Application Number Title Priority Date Filing Date
EP98942492A Withdrawn EP1000376A1 (en) 1997-07-07 1998-07-03 Method for improving optic perceptive faculty by modifying the retinal image

Country Status (4)

Country Link
EP (1) EP1000376A1 (en)
JP (1) JP2002510407A (en)
DE (1) DE19728890A1 (en)
WO (1) WO1999003013A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503862A (en) * 1998-02-20 2002-02-05 ダイムラークライスラー・アクチェンゲゼルシャフト System control or operation method using image information and method for detecting image information
DE10047237A1 (en) 2000-09-23 2002-04-11 Physoptics Opto Electronic Gmb System for recording the retinal reflex image
AU2001211341A1 (en) * 2000-10-07 2002-04-22 Physoptics Opto-Electronic Gmbh Information system
AU2001210227A1 (en) * 2000-10-07 2002-04-22 Physoptics Opto-Electronic Gmbh Method and device for transferring optical information onto the human retina
WO2002031581A1 (en) 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Device and method for determining the orientation of an eye
US8042947B1 (en) 2000-10-07 2011-10-25 Metaio Gmbh Information system
ATE357680T1 (en) 2000-10-07 2007-04-15 David Dickerson INFORMATION SYSTEM AND METHOD FOR PROVIDING INFORMATION USING A HOLOGRAPHIC ELEMENT
DE10103922A1 (en) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interactive data viewing and operating system
JP5489539B2 (en) * 2009-06-05 2014-05-14 キヤノン株式会社 Imaging apparatus, imaging apparatus control method, and tomographic image forming method by OCT
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registering between external scenery and a virtual image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0496870A4 (en) * 1990-08-22 1993-01-07 Phoenix Laser Systems, Inc. System for scanning a surgical laser beam
US5596339A (en) * 1992-10-22 1997-01-21 University Of Washington Virtual retinal display with fiber optic point source
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US5467150A (en) * 1993-05-26 1995-11-14 Nikon Corporation Apparatus for measuring a cornea shape
US5543866A (en) * 1994-01-07 1996-08-06 Jozef F. Van de Velde Scanning laser ophthalmoscope for binocular imaging and functional testing
DE19631414A1 (en) * 1996-08-05 1998-02-19 Daimler Benz Ag Device for recording the retinal reflex image and superimposing additional images in the eye

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO9903013A1 *

Also Published As

Publication number Publication date
JP2002510407A (en) 2002-04-02
WO1999003013A1 (en) 1999-01-21
DE19728890A1 (en) 1999-02-04

Similar Documents

Publication Publication Date Title
US6523955B1 (en) Method for improving optic perceptive faculty by modifying the retinal image
DE10047237A1 (en) System for recording the retinal reflex image
WO1998005992A2 (en) Device for the capturing of the retinal reflex image and the superimposition of additional images in the eye
EP1405122B1 (en) Device for determining the orientation of an eye
DE68927275T2 (en) Image capture device
US9971153B2 (en) Method and apparatus for displaying video data
DE69737700T2 (en) PICTURE COMBINING DEVICE FOR EYES AND FACIAL MASKS
DE69114790T2 (en) Direct view picture display device.
DE69433556T2 (en) Image display device
EP1405123B1 (en) Information system and method for providing information using a holographic element
DE69906139T2 (en) DEVICE FOR TRACKING EYE MOVEMENT
EP4238621A2 (en) Electronic eyewear
JP2001512994A (en) Ophthalmoscope that laser scans a wide field of view
DE10103922A1 (en) Interactive data viewing and operating system
DE102010045364A1 (en) Method for generating high-quality fundus image of eye of patient, involves obtaining color intensity distribution for correcting color composition of resultant color fundus image based on dark image representing noise of sensor
DE102016201567A1 (en) Projection device for a data glasses, method for displaying image information by means of a projection device and control device
DE102017211932A1 (en) Projection device for data glasses, data glasses and methods for operating a projection device
DE102009015598A1 (en) Method and device for finding functional tissue areas in a tissue area
EP1000376A1 (en) Method for improving optic perceptive faculty by modifying the retinal image
DE102022101458A1 (en) MULTI-PLANE PROJECTION WITH LASER BEAM SCANNING INTO ADVANCED TEREALITY DISPLAYS
WO1999027843A1 (en) Stereo scanning laser ophthalmoscope
DE19731303B4 (en) Method and device for contactless, helmet-free measurement of the direction of view of eyes during head and eye movements
EP1840627B1 (en) Method and device for determining the orientation of an eye
WO2002097511A1 (en) Method and device for matching an optical system to the line of sight of the human eye
EP1056611A1 (en) Method for controlling or operating systems by means of image information and method for detecting image information

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20000122

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

17Q First examination report despatched

Effective date: 20011011

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: EBERL, HEINRICH A.

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20030827