EP1000376A1

EP1000376A1 - Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes

Info

Publication number: EP1000376A1
Application number: EP98942492A
Authority: EP
Inventors: Heinrich Alexander Eberl; Günter ABERSFELDER; Helmut Grantz; Thorsteinn Halldorsson; Horst Schmidt-Bischoffshausen; Stefan Uhl
Original assignee: DaimlerChrysler AG
Current assignee: EBERL, HEINRICH A.
Priority date: 1997-07-07
Filing date: 1998-07-03
Publication date: 2000-05-17
Also published as: WO1999003013A1; JP2002510407A; DE19728890A1

Abstract

Bei einem Bildverbesserungssystem nach Anmeldung DE19631414, bei dem das Reflexbild im Inneren des Auges auf der Netzhaut (NH) abgetastet und nach Modifikation auf dem gleichen Weg in das Auge zurückprojiziert wird, wird die Verwendung eines Ellipsenscans vorgeschlagen.

Description

Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes

Die Erfindung betrifft eine Brille, mit deren Hilfe über eine Rückspiegelung an der Innenseite derselben das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen, mit einem Computer modifiziert und über eine Beleuchtungseinrichtung und eine Rückreflexion über die gleiche Brille physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert wird, daß ein verbesserter Seheindruck entsteht.

Die Verwendung von optoelektronischen Brillen zur Spiegelung von computergenerierten Bildern ins Auge mit den Namen „Cyberspace" oder „Virtual reality" nimmt heute rasant zu. Diese Technik ist sowohl für die Anwendung in der Unterhaltungsindustrie als auch in den verschiedenen Gebieten der Industrie, Verkehr und Medizin von breitem Nutzen und wird mit der Verfügbarkeit von immer schnelleren Bildverarbeitungscomputern an Verbreitung und Bedeutung ständig zunehmen.

Am weitesten verbreitet ist die Anwendung mit geschlossenen, nicht transparenten Brillen, bei der Bilder von miniaturisierten Kathodenstrahlröhren oder Flüssigkristall-Matrizen über Spiegel- oder Glasfasersysteme dem Auge dargeboten werden. Die besondere Attraktivität dieser Technik ist es, mit bewegter dreidimensionaler Bilddarstellung, den Bildablauf oder die Handlung mit verschiedenen Bewegungen des Brillenträgers zu koppeln. So wird eine Änderung der Blickrichtung durch Kopfbewegung oder Änderung der Perspektive bei fortschreitender Bewegung nachgebildet. Es können die Bewegungen der Arme und Finger des Brillenträgers mit Hilfe von Sensoren in das Bild eingebracht werden, um ihm die Möglichkeit des direkten Eingreifen in die Handlung zu ermöglichen.

In neueren Systemen mit dem Namen „augmented reality" kann der Brillenträger mit Hilfe teiltransparenter Brillen sowohl die Umgebung als auch ein über die Brille eingespiegeltes Bild von Kameras von der gleiche Szene oder von anderen Bildinhalten über einen miniaturisierten Monitor am Helm betrachten. Eine wohlbekannte Variante dieses Verfahrens ist bei der Führung von Kampflugzeugen mit dem Namen Helmet-mounted-display (HMD) bereits eingeführt.

Bei dieser Techniken sind jedoch mehrere Probleme bekannt, die auf die Wirkungsweise des Gesichtsinnes zurückzufuhren sind und auf verbesserte technische Lösungen warten. Bei einer geschlossenen Brille und einem starr gekoppelten Monitor und Monitorbild bewegt sich bei einer Kopfbewegung des Brillenträgers die Szene in gleicher Richtung mit, was seinen Sehgewohnheiten in unnatürlicher Weise widerspricht. Er ist durch die Abbildung des Auges gewohnt, daß die Szene gerade in entgegengesetzter Richtung verläuft. Dieses Problem konnte durch die umständliche Messung der Kopfbewegung und des Augapfels mit externen Drehwinkelsensoren, einer entsprechenenden Bildverarbeitung und Nachführung des generierten Bildes bis jetzt nur unvollkommen gelöst werden.

Durch Anpassungsbewegungen des Augenapfels, die von sogenannten vestibulären okularen Reflexen (VOR) des Ohren-Bogengang-Systems ausgehen und dem Festhalten des Fixationspunktes bei Kopfbewegungen dient, ist das Auge selbst in der Lage, das Netzhautbild grob zu stabilisieren. Die Feineinstellung geschieht mit dem Bild als Referenz. Dieses Bild- Tracking wird zusätzlich vom Auge verwendet, um die VORs einer dynamischen Augenausrichtung zu adaptieren.

Dies bedeutet, daß eine Überlagerung von Fremdbildern erst bei ihrer Ankopplung an das reale Netzhautbild einen wirklichkeitsgetreuen Bildeindruck geben kann.

Bei geschlossenen Brillen wird versucht das Bild der Blutgefäße (Augenhintergrund) als Referenz zu verwenden (Retina-Tracking). Das liefert allerdings nur eine ungenügende Auflösung und ist ausschließlich für monokulare Betrachtungen geeignet (siehe z.B. E.Peli, „Visual issues in the use of a head-mounted monocular display", Optical Engineering, vol. 29, No.δ, p.883 (1990). Eine gleichzeitige Stabilisierung in beiden Augen von Bildern mit diesen ist wegen der unterschiedlichen Ausrichtung der Augen praktisch unmöglich. Neben der Verschlechterung der Bildqualität, führt der Konflikt zwischen den vestibulären und visuellen Informationen häufig zu Bewegungsstörungen bis hin zur Seeta-ankheit. Diese Probleme der bestehenden Technik werden z.B. in dem Übersichtsartikel von E. Peli, „Real Vision & Virtual Reality" in Optics & Photonics News, July 1995, s. 28-34 beschrieben.

Aufgabe der Erfindung ist es, die Probleme der Bildstabilisierung bei Überlagerung von Fremdbildern mit dem realen Bild zu lösen.

Der Erfindung liegt die ältere deutsche Patentanmeldung 19631414 mit der Bezeichnung: „Vorrichtung zur Aufnahme des Netzhautreflexes und Überlagerung von Zusatzbildern im Auge" zugrunde. In dieser wird eine Vorrichtung beschrieben, mit der das Netzhautreflexbild mit Hilfe eines konfokal abbildenden, zweiachsigen Scansystems über die Reflexion der Innenseite einer teiltransparenten und entsprechend gewölbten Brille, seriell mit einem hochempfindlichen Photodetektor aufgenommen wird.

Darin wird vorgeschlagen, mit Hilfe von Lasern und eines Strahlenteilers über denselben Lichtweg in umgekehrter Richtung wie das aufgenommene Bild das verbesserte Bild auf die Netzhaut seriell abzubilden.

Darüber hinaus wird auch die Möglichkeit eröffnet, andere Bilder zusätzlich auf die Netzhaut zu überlagern.

Mit dieser Technik sind die vorgenannten Probleme grundsätzlich gelöst, jedoch wurden konkrete Realisierungen und Anwendungen nicht angegeben. Der Grundgedanke der neuen Erfindung dieses Verfahren zur Verbesserung des Wahrnehmungsvermögens des Auges einzusetzen. Die physikalischtechnischen Probleme, die dazu gelöst werden müssen, ergeben sich aus den physiologischen Eigenschaften des Auges und den ständig variierenden Beleuchtungsverhältnissen in der Umgebung. Das Auge ist wegen der variablen Lichtverhältnisse und der unterschiedlichen optischen Aufgaben in seinen Grundfunktionen ein sehr dynamisches Sinnesorgan. Es adaptiert sich an die Variation der Intensität der Hintergrundbeleuchtung über 12 Dekaden. Es schaltet vom Farbsehen beim Tageslicht auf reines schwarz/weiß Sehen in der Nacht um. Licht in dem Wellenlängenbereich 400 -1500 nm wird von dem Auge transmittiert und auf die Netzhaut abgebildet. Dabei wird nur Licht im Bereich von 400 nm bis 750 nm wahrgenommen, d.h. das infrarote Licht im Bereich von 750-1500 nm, das sowohl bei Außen- als auch Innenbeleuchtung sehr hell ist, bleibt für die visuelle Wahrnehmung ungenutzt.

Das Auge erfaßt horizontal und vertikal einen Winkelbereich von etwa 100°. Die Bildauflösung nimmt jedoch mit dem Winkelabstand von der Sehachse sehr schnell ab. Das aufmerksame momentane Sehen ist auf einen zentralen Winkelbereich von nur +/-5° begrenzt und das „scharfe" Sehen, z.B. beim Lesen oder Autofahren, ist auf den sehr geringen zentralen Winkelbereich von +/- 0,5° begrenzt. Hinzu kommen ständig verschiedenartige Bewegungen der Augen. Dies führt zu folgenden Konsequenzen, die unter bestimmten Umständen das Wahrnehmungsvermögen des Auges beeinträchtigen und die im Rahmen der neuen Erfindung verbessert werden sollen:

Adaption

Schärfeleistung

Sehfehler

Altersbedingte Minderleistung und

Bewegungsdynamik

Die Aufgabe der vorliegende Erfindung ist es nun, eine Anordnung vorzuschlagen, die ähnlich wie das Auge in ihren Grundfunktionen sehr variabel gestaltet und an die Erfordernisse des Sehvorgangs angepaßt ist, aber gleichzeitig die besondere Physiologie und Dynamik des Auges und die variierenden Beleuchtungsverhältnisse der Umgebung und den unsichtbaren IR-Bereich berücksichtigt und ausnutzt. Dies läßt sich mit den in der früheren Erfmdungsmeldung angegebenen Abtast- und Scanvarianten (serieller Rasterscan, serieller Spiralscan) nur unzulänglich erreichen. Dies betrifft sowohl das Abtastmuster der Bildaufhahme des Netzhautreflexes als auch die Rückprojektion des Laserbildes in das Auge.

Ein grundsätzliches Problem der seriellen gegenüber der parallelen Bildabtastung ist die kurze Verweilzeit des Scanners in jedem Bildpixel. Eine gleichmässige Abtastung z.B. von 0,5 Mio Bildpunkte in einer Abtastzeit von 40 ms bedeutet eine Integrationszeit von nur 0,08 μs d.h. 80 ns in jedem Bildpunkt. Im Vergleich hierzu beträgt die parallele Zeitintegration aller Bildpunkte des Auges selbst 10-20 ms.

Wie aus der Anwendung von Lasern zur Aufnahme der Netzhautstruktur des Auges in den sogenannten Laser Scanning Ophthalmoskopen bekannt ist, ist eine Laserleistung von etwa 40 μW notwendig, um beim Rasterscan ein Signal-Rausch- Verhältnis von 17 aus einem Bildpixel zu erzielen (siehe z.B. A.Plesch, U. Klingbeil, and J. Bille, „Digital laser scanning fundus camera", Applied Optics, Vol. 26, No 8. p.1480-1486 (1987)). Umgerechnet auf die größere Fläche würde dies einer Bestrahlungsstärke in einem Abbild einer ausgedehnten Quelle auf der Netzhaut von 40 W /cm² entsprechen, was der Bestrahlungsstärke von hellen Scheinwerfern oder Sonne auf der Netzhaut entspricht, d.h. mit dem Rasterscan können erst relativ helle Quellen mit einem guten Signal-Rauschverhältnis auf der Netzhaut aufgezeichnet werden. Um die Abbildung von schwächeren Quellen auf der Netzhaut zu detektieren, muß die Empfindlichkeit wesentlich gesteigert werden.

Die serielle Bildabtastung hat jedoch für die Aufnahme des Netzhautreflexes den entscheidenden Vorteil der besseren Unterdrückung von Streulicht, der einfacheren Aufhahmeoptik und der Möglichkeit der exakten Umkehrung des Strahlenganges bei der Bildrückprojektion mit einem Laser und soll aus diesen Gründen auch in dieser Erfmdungsmeldung beibehalten werden. Eine Verlängerung der Verweilzeit kann aber durch Änderung des Scanmusters erreicht werden.

Wegen der ungleichmässigen Verteilung der Photorezeptoren, mit der höchsten Dichte der Zapfen für das scharfe Sehen im Zentrum der Netzhaut und dem entgegengesetzten Verlauf der Stäbchen für das unscharfe aber lichtempfindliche Nachtsehen, ist der Rasterscan keineswegs das optimale Scanmuster. Ein an den Sehvorgang angepaßtes Scanmuster sollte für das Tagessehen in Richtung zum Zentrum zunehmend langsamer und dichter werden, für die Anpassung an das Nachtsehen gerade umgekehrt. Außer der Verweilzeit kann das aufgenommene Signal durch Änderung der Fleckgröße der Abtastung und damit auch der Bildauflösung beeinflußt werden.

Die Anzahl der Signalphotonen N_s die von einem abtastenden Aufnahmegerät von der Netzhaut pro Bildpixel aufgenommen werden, kann nach der folgenden Formel berechnet werden:

N_S = (B T Δλ τ) (A₀ R ) (S/2π) (A_p/D²) (1/ε)

wobei

B = die spektrale Bestrahlungsstärke auf der Netzhaut

T = die optische Transmission von Netzhaut bis zum Photodetektor τ = die Integrationszeit in einem Bildpixel auf der Netzhaut

A₀ = die Fläche des Bildpixels

R = Reflexionsvermögen des Bildpixels

Δλ = Spektrale Breite des Empfangssignals

A_p = Pupillenfläche

D = Abstand der Pupille zur Netzhaut

S/2π = der Winkel Verteilungsfaktor der optischen Rückstreuung der Netzhaut ε = Energie eines Photons bei der Aumahmewellenlänge

bezeichnen.

Wie diese Formel zeigt, können stärkere Signale, d.h. eine größere Anzahl von Signalphotonen durch folgende Maßnahmen am Aufnahmegerät gewonnen werden:

Verlängerung der Verweildauer τ des Scans in den einzelnen Bildpunkten,

Vergrößerung des Abtastflecks A₀ auf der Netzhaut Vergrößerung der spektralen Bandbreite Δλ.

Die Erfindung schlägt das Abtasten der Netzhaut in einer Abfolge von konzentrischen Kreisen vor (Kreismittelpunkt ist gleich Fovea centralis), deren Radius sich sukzessive vergrößert bzw. verkleinert. Diese Art des Scannens wird als Kreisscan bezeichnet. Wegen der Rotationssymmetrie der Augenlinse und der Pupille um die Sehachse und der rotationssymmetrischen Verteilung der Photorezeptoren in der Netzhaut ist der Kreisscan optimal.

Die Erfindung schlägt weiterhin vor, daß ein identischer Kreisscan für die Aufnahme des Netzhautreflexes von der Umgebung und die Bildprojektion mit dem Laser verwendet werden. Da beim Kreisscan von außen bis zum Zentrum, nach dem Erreichen des Zentrums, die Scanachse den gleichen Weg rückwärts verläuft, kann wahlweise die Aufnahme beim Scan bis zum Zentrum und Projektion von Zentrum bis Außen, oder die Aufnahme über den gesamten Abtastvorgang und Projektion erst in einem zweiten verwendet werden.

Bei einer konstanten Auslenkung von Scanspiegeln in zwei Richtungen (Lissajou-Figur) erfolgt beim Kreisscan zwangsläufig eine Verlangsamung der Verweildauer in Richtung zum Zentrum. Die Erfindung sieht jedoch vor, daß für das Tagessehen die Scandauer benachbarter Kreise, je nach den Belichtungsverhältnissen, noch zusätzlich verlangsamt und für das Nachtsehen sogar beschleunigt werden kann.

Aufgrund der ungleichmäßigen Verteilung der Zapfen über die Netzhaut mit einer um mehr als zwei Dekaden höheren Dichte im Zentrum kann die Abtastrate (Verweildauer pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 erhöht werden.

Für das Nachtsehen mit der höheren Verteilung der Stäbchen mit zunehmenden Radius ist es sinnvoll, daß die Verweildauer entgegengesetzt nach Außen in ähnlichem Maße abnimmt.

Wie dem Fachmann bekannt, läßt sich ein Kreisscan in analoger Ansteuerung mit periodisch schwingenden orthogonalen Scanspiegeln, oder in digitaler Ansteuerung durch Näherung an die Kreisspur mit einer hohen Anzahl von geraden Strecken. Als dritte Alternative bietet sich die Verwendung von programmierbaren Algorithmen analoger Ansteuersignale, die digital aufgerufen werden können und am besten für diese variblen Verhältnisse am geeignet sind.

Damit das Empfangssignal auch durch Vergrösserung des abgetasteten Bildflecks, proportional zu seiner Fläche, zusätzlich erhöht werden kann, sieht die Erfindung ferner vor, daß die momentane Bildpixelgröße auf der Netzhaut zusätzlich zur Scangeschwindigkeit variabel eingestellt werden kann.

Mit der Änderung der Bildfleckgröße wird auch die Bildauflösung entsprechend der Situation angepaßt. Außer der Veränderung der Abtastfläche kann die Auflösung durch variablen Radiensprung der Scanradien eingestellt werden.

Mit einer Vergrößerung des abtastenden Bildpixels von z.B. 10 μm auf 100 μm wird z.B. die Bildauflösung von etwa 2 bis 20 Bogenminuten (Auflösungsbereich des Lesens und Betrachtern) um einen Faktor 10 reduziert, gleichzeitig wird das empfangene Signal um einen Faktor 100 erhöht.

Wie dem Fachmann bekannt, ist bei der konfokalen Abtasten die Bildauflösung durch den Blendendurchmesser im Zwischenfokus vor dem Photodetektor bestimmt und kann durch seine Veränderung eingestellt werden. Die Erfindung sieht vor, daß hierfür Flüßigkristallblenden oder elektro-optische Blenden verwendet werden, damit diese Einstellung möglichst schnell, d.h. innerhalb eines Abtastzyklus, durchgeführt werden kann.

Da der zeitliche Ablauf des Scannens und die Größe des Bildpixels bei Aufnahme und Projektion möglichst identisch sein sollten, schlägt die Erfindung vor, daß die die Änderung des Scanverlaufs und Blendenregelung im Projektionskanal die gleiche ist wie im Aufhahmekanal. Die Variation der optischen Integrationszeit und Bildpixelfläche kann dann im Projektionskanal durch entsprechende Variation der Sendeleistung des Lasers kompensiert werden. Die Höhe des Empfangssignals ist weiterhin von der spektralen Bandbreite des Empfängers abhängig und kann durch ihre Verbreiterung erhöht werden. Die Erfindung sieht vor, daß im Bereich des hellen Tagessehen (photopisches Sehen) eine der Augenfarbempfindlichkeit entsprechende Aufspaltung des Strahlenganges in die Farbkanäle Rot-Grün-Blau mit je einer spektralen Breite von etwa 100 nm vorgenommen werden kann. Dies ermöglicht eine farbechte Bildaufhahme und mit entsprechenden dreifarbigen Lasern eine farbliche Zurückprojektion ins Auge.

Bei einer schwacher Umgebungsbeleuchtung, bei der Farben nicht mehr vom Auge wahrgenommen werden (scotopisches Sehen) sieht die Erfindung die Zusammenlegung aller Kanäle zu einem einzigen (schwarz/weiß) Empfangskanal ohne Farbauflösung vor. Weiterhin sieht die Erfindung vor, daß dieser Empfangskanal nicht nur den sichtbaren Bereich von 400 - 700 nm, sondern zusätzlich den nahen infraroten Bereich von 700 - 1000 umfaßt.

Dies bringt zur Erhöhung des Empfangssignals bei schwacher Hintergrundbeleuchtung die folgenden Vorteile:

das Auge hat zwischen 400 - 1000 nm volle Transparenz und bildet ein vergleichbares Bild zwischen 700 - 1000 nm wie zwischen 400 - 700 nm ab.

der Reflexionsgrad der Netzhaut zwischen 700 - 1000 nm beträgt R = 10 - 20% gegenüber R = 3 - 5% zwischen 400 - 700 nm

es sind Photoempfänger mit hohem Quantenwirkungsgrad wie Photomultiplier und Silizium- Avalanchedioden über den gesamten Spektralbereich von 400 - 1000 nm verfügbar

Glühlampen, die zur Innenbeleuchtung von Gebäuden, bzw. im Freien zur Straßenbeleuchtung und bei Fahrzeugen verwendet werden, strahlen zwischen 700 -1000 nm 10 mal mehr Licht ab als zwischen 400 - 700 nm. das Refiexionsvermögen der Vegetation der Natur ist um einen Faktor 5-10 zwischen 700 - 1000 nm höher als zwischen 400 - 700 nm.

Wie diese Beispiele zeigen, ist bei schwacher Beleuchtung (Nachtsehen) eine nochmalige Erhöhung des Empfangssignals um einen Faktor 100 durch Erweiterung des Spektralbereiches möglich.

Die Erweiterung des spektralen Bereiches kann entweder in jedem Gerät fest installiert sein oder durch Wechseln von spektralen Filtern variabel gestaltet werden. Wird eine Farbdarstellung nicht gefordet, ist es sinnvoll, grünes Laserlicht für die Rückprojektion ins Auge, wegen der höchsten Empfindlichkeit und Konfrastwahrnehmung des Auges bei dieser Farbe, zu verwenden.

Zusätzliche Methoden zur Signalverbesserung, die hier eingesetzt werden können, sind die Integration mehrerer aufeinanderfolgender Bilder und die Bildkorrelation, z.B. Bilder der beiden Augen.

Insgesamt kann durch die Variation der zwei Parameter, der Verweilzeit des Scans in den Bildpixels und der Größe des Bildflecks, mit Hinzunahme des infraroten Bereiches und der Verwendung von Bildkorrelation, eine gesamte Dynamik der Empfangssignale über sieben Dekaden erfaßt werden.

Bei einer gesamten optischen Transmission des Empfangskanals von T = 0,2 (siehe Formel oben) umfaßt der Empfangbereich dieses dynamischen Aufhahmesystems Bestrahlungsstärken auf der Netzhaut zwischen 10^" W/cm und 100 W/cm , was dem Bereich der typischen Innen- und Außenhelligkeit umfaßt.

Wegen der langsamen und schnellen Augenbewegungen ist es notwendig, das Scansystem so zu gestalten, daß es der Änderung der Sehachse durch die Brille ständig folgt, d.h. daß die Symmetrieachse der Bildabtastung, sowohl bei der Aufnahme, als auch bei der Projektion, mit der Sehachse identisch ist.

Die Erfindung sieht zur Lösung dieser Aufgabe vor, daß vor und nach der Abtastung des Netzhau treflexes bzw. der Bildprojektion ins Auge, eine Zentrierung des Kreisscans auf der Augenpupille durchgeführt wird. Dabei wird der größte Abtastwinkel des Kreisscans so gewählt, daß bei einer Ablage der Scansymmetrieachse von der Sehachse die Außenfläche des Augapfels, Sclera mit Regenbogenhaut und Pupillenöfrhung von dem Kreisscan erfaßt wird. Da diese Teile des Auges, die vom Außenlicht gut ausgeleuchtet sind, nicht scharf, sondern diffus in der Bildzwischenebene des Photodetektors abgebildet werden, liefert das Empfangssignal hier keine Bildinformation, sondern eine integrale Anzeige über das optische Rückstreuvermögen der Vorlage.

Wenn die Empfangssignale über zeitlich gleich lange Abschnitte, z.B. Quadranten, aus jedem Kreis miteinander verglichen werden, sind sie nur dann von gleicher Höhe, wenn die Achse des Kreisscans identisch ist mit der Augenachse (Sehachse). Signalunterschiede, wegen der unterschiedlichen Rückstreuung aus Sklera, Regenbogenhaut und Pupillenöffhung, sind dann ein Maß über die Achsenablage und ihre Richtung. Nach einer Normierung mit dem gesamten Empfangssignal über jeden Kreis können diese Ablagesignale zur Einstellung der Nullstellung eines nächsten Kreisscans (Bias) verwendet werden. Somit kann eine ursprüngliche Ablage der Achsen mit jedem Kreisscan vermindert werden bis sie beim Eintauchen des Kreisscans durch die Pupillenöffhung verschwindend gering wird (Pupillentracking). Fig. 1 zeigt schematisch den kozentrischen Scanvorgang bei justierten System, Fig. 2 stellt den Suchmode der Zentrierung des Scans durch die Augenpupille dar.

Die Erfindung sieht alternativ zur Verwendung des Umgebungslichtes vor, daß auch mit der aktiven Beleuchtung der Laserprojektion ins Auge ein Pupillentracking im Außenbezirken des Kreisscans, mit gleichzeitiger Signalauswertung im Aufhahmekanal wie oben beschrieben, durchgeführt wird.

Die Erfindung sieht außerdem vor, daß auch während der Laserbildprojektion das sowohl von der Umgebung als auch vom Laser zurückgestreute Licht aufgenommen und ausgewertet wird. Diese gleichzeitige Aufnahme des Netzhautreflexes von der Umgebung und der nachbearbeitenden Laserbildprojektion eröffnet die Möglichkeit, den Grad der Überlappung und die zeitliche Synchronisation beider Bilder ständig zu überprüfen, eventuelle Unterschiede als Bildinterferenzen (Moire-Muster) zu erkennen, um diese dann durch Korrektursignale nachträglich zu kompensieren.

Die Aufnahme und Projektionstechnik im Sinne der Erfindung kann entweder an einem Auge eines Betrachters oder an seinen beiden Augen gleichzeitig, unabhängig voneinander durchgeführt werden. Wegen des steroskopischen Sehens beider Augen wird in dem letzteren Fall eine dreidimensionale Bildaufhahme und Bildwiedergabe realisiert.

Es ist nicht ohne weiteres verständlich, daß die Aufnahme eines fehler- und verzeichungsfreien Reflexbildes der Umgebung von der Netzhaut über eine Brille, die weder in ihren optischen Eigenschaften individuell an jeden Betrachter angepaßt, noch vollständig stabil sitzend auf dem Kopf des Betrachters sein kann. Die Lösung hierzu im Sinne der Erfindung besteht erstens in der relativ geringen optischen Anforderungen an den seriellen konfokalen Punktscan gegenüber z.B. einer flächenhaften Abbildung aus dem Auge, zweitens in der vollständigen dynamischen Anpassung des optischen Strahlenganges des Scanners über die Brille in das Auge, die jedesmal die Eigenbewegungen des Auges und der Brille selbst berücksichtigt, drittens in der exakten Rückkehrung des Strahlenganges zwischen Aufnahme und Projektion und der kurzen Zeitdauer zwischen diesen Vorgängen. Zur Einstellung des Scan durch das Auge, auch bei den verschiedenen Augenbewegungen dienen zwei scannende Elemente und ein Korrekturspiegel der auch justierbar sein kann. Die Fig. 3 zeigt schematisch in Übersicht das ganze System. Die Netzhaut des Auges NH wird mit dem fokussierten Strahl abgetastet. Hier stellt AA den Augapfel und AP die Augenpupille dar. Die teildurchlässige Brille ist hier mit BG bezeichnet.

Die von der Umgebung durchgehenden Strahlen werden auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut punktuell abgetastet, wobei der Abtasstrahl in Transmission durch die Brille immer gegen eine Strahlungssenke schaut. Mit den zweiachsigen Abtastelementen HSS und VSS wird der Kreisscan durchgeführt. Mit dem Hilfsspiegel HS, der aktiv einstellbar sein kann, wird die Einfallsrichtung und Position des Strahles auf der Innenfläche der Brille BG eingestellt. Mit dem Strahlumschalter SUS kann entweder mit einer zentralen Bohrung der beleuchtende Laserstrahl durchgelassen werden und der Empfangsstrahl, der meist wesentlich größeren Durchmesser hat in die Empfangseinheit reflektiert werden in getrennte Richtungen geleitet werden, oder es kann ein aktiv umschaltendes Spiegelelement verwendet werden das zwischen Empfang und Senden umschaltet.

Die Empfangseinheit kann z.B. aus drei getrennten Empfangskanälen für die Grundfarben Rot, Grün und Blau oder andere Wellenlängenbereiche z.B. im nahen Infrarotbereich bestehen. Der Strahlengang aller Spektralkanäle wird mit Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. Zur Einstellung der Fleckgröße des Abtaststrahles auf der Netzhaut und zur eventuellen Feinkorrektur der optischen Achse dient eine aktiv justierbare Gesichtsfeldblende GFB.

Die Sendeeinheit kann z.B. aus drei Lasern mit den Grundfarben Rot LR, Grün LG und Blau LB geschaffen sein. Vor der Strahlvereinigung auf einer Achse mit dichroitischen Spiegeln DS werden die Einzelnen Strahlen entweder extern mit Bildmodulatoren MR, MG und MB moduliert oder einfacher direkt über den Anregungsstrom der Laseremission. Die Größe und Lage des Laserabtastflecks auf der Netzhaut wird mit einer aktiv steuerbaren Blende LAA die im Zwischenfokus zweier Linsen im Strahlengang eingestellt wird. Als Empfänger für die Abtastung der Netzhautreflexbildes sind z.B. Photomultiplier geeignet, die wechselweise bei sehr schwachen optischen Signalen in einen Photon-counting Betrieb und bei starken Signalen in einen Sfrommeßbetrieb automatisch Umschalten. Auch ist die Verwendung von Avalanche Photodioden als Empfänger möglich.

Als Lichtquellen zur Rückprojektion der Bilder ins Auge sind Halbleiterlaser bzw. miniaturisierte Festkörperlaser vorgesehen mit einer niedriger Dauerstrichleistung (<300 μW), die keine Gefährdung des Auges verursachen können. Mit der Verwendung von Halbleiterlasern könnte die Bildmodulation direkt über ihre Stromversorgung durchgeführt werden. Damit aller Farben erzeugt werden empfiehlt sich die Verwendung von drei Lasern mit den Grundfarben rot, grün und blau. Wie das bekannte Farbdreieck des menschlichen Gesichtsinnes zeigt können alle anderen Farben sowie die Unfarben grau und weiß durch Farbsummation von monochromatischen Laserlinien dieser Farben gebildet werden. Die Erfindung beinhaltet auch die Möglichkeit der Verwendung von einzelnen Farben als monochromatische Lösung vor.

Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal-Prozessor SP vor, der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funktionen der Vorrichtung sowie die von Scannern VSS/HSS, des Hilfsspiegels HS und Laserfleckeinstellung LAA und Größe der Gesichtsfeldblende GFB synchron koordiniert. Der Bildverarbeitungscomputer BVC übernimmt dann die vom Auge wahrgenommenen Bild oder Bilder anderer technischer Sensoren, die über einen externenen Anschluß EA dem Computer zugeführt werden und bearbeitet sie nach einer vorgegebenen Software SW, bevor sie mit Hilfe des Signalprozessors auf die Laserstrahlen als Bildsignal aufmoduliert werden. In Fig. 4 sind der Fluß der optischen und elektrischen sowie der Softwaresignale getrennt dargestellt. Die komplette Lasereinheit wird mit DE bezeichnet, ME als Modulationseinheit und PME die komplette Empfangseinheit und SUS als der Strahlumschalter zwischen der Sende- und Empfangseinheit.

Die Laser-Projektion ermöglicht außer der Verarbeitung des aktuellen vom Computer verarbeitetes Bild in das Auge zu projizieren und mit dem Originalbild zu verschmelzen, auch Fremdbilder, die dem Computer von extern zugeleitet werden, dem Außenbild im Auge synchron zu überlagern. Wenn die Zeitspanne zwischen Bildaufhahme- und Projektion im Vergleich zu den schnellen Augebewegungen entsprechend kurz ist, wird das Auge, wie bei der Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr wahrnehmen.

Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaßt auch die perspektivischen Unterschiede beider Bilder. Da diese bei der Laserzurückprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstellung des räumlichen Sehens gewährleistet.

Die in der Erfindung verwendeten Bauelemente sind heute weitgehend miniaturisiert und kostengünstig erhältlich. Zum Scannen der Kreisfiguren können miniaturisierte Kippspiegel verwendet werden. Als zweite Möglichkeit zur Herstellung der Kreisfiguren bietet sich an die Verwendung von Keilplatten-Scannern, die für einen Strahlengang in Transmission ausgelegt sind. Der durchgehende Strahl wird durch jede der Platten um einen festen Winkel gebrochen, der gesamte Ablenkwinkel kann dann durch eine feste Drehung der Keilplatten gegeinander kontinuierlich bis Null eingestellt werden. Bei einer gemeinsamen Drehung der Keilplatten mit einer festen Drehfrequenz beschreibt der abgelenkte Strahl dann eine Kreisspur. Als dritte Möglichkeit bietet sich die Verwendung von akusto-optischen Ablenkeinheit, die den Vorteil der geringen Trägheit und der schnellen Ablenkung bieten. Der variabel einstellbare Hilfsspiegel HS wird vorzugsweise als einer mit Mikroaktorik in zwei Achsen einstellbarer Spiegel sein.

Für die Einstellung des Laserfleckgröße und des Empfangsgesichtsfeldes bieten sich vorzugsweise mikromechanische Aktoren wie z.B. in den weitverbreiteten Laser-Printer und CD-Plattenspielern auch verwendet werden.

Die Strahlumlenkeinheit und Scanner können ein einem einfachen Brillengestell untergebracht werden. Mit Hilfe von Glasfaserleitung können Laserprojektionseinheit in einem kleinen Gehäuse z.B. in der Größe eines Taschenbuches mit Betterieversorgung untergebracht werden. Der Datenaustausch mit einem externen fest installierten Bildverabeitungsrechner kann entweder übere Radiowellen oder Infrarotstrahle erfolgen. Alle Elemente der Vorrichtung der Erfindung könnten nach dem heutigen Stand der Technik somit von einem Menschen mühelos getragen werden und der drahtlose Bilddatenaustausch mit dem externen Rechner würde seine unbeschränkte Bewegungsfreiheit ermöglichen.

Wie in der früheren Anmeldung der Erfinderin Nr. 19631414.3 kann dieser Art einer opto-elektroni sehen Brille in den verschiedensten Anwendung eine Verwendung finden:

Aufnahme von Bildern der Außenwelt, ihre Verarbeitung, Zurückprojektion und Verschmelzung mit dem Originalbild im Auge wie z.B. zur Sichtverbesserung beim Fahren eines Fahrzeug oder als Sehhilfe von Sehbehinderte

Überlagerung von Bildern anderer Aufhahmesysteme, z.B. in von der gleichen Szene in anderen Spektralbereichen auf das direkte Bild in gleichen Anwendungen wie heute oder zukünftig das Helmet-mounted-display verwendet wird

Überlagerung von virtuellen Bildern, die alleine vom Computer hergestellt werden, in gleichen oder zukünftigen Anwendungen der "virtual-reality" oder "Cyberspace" Bildprojektion.

Claims

P a t e n t a n s p r ü c h e

1. Bildverbesserungssystem, bei dem das Reflexbild in Inneren des Auges abgetastet wird und nach Modifikation auf dem gleichen Weg in das Auge zurückprojiziert wird nach Anmeldung Nr. 19631414.3, gekennzeichnet durch Verwendung eines Ellipsenscans.

2. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Ermittlung der Außenränder der Pupille zur Justierung und Zentrierung des Scannersystems ohne weitere externe Sensoren verwendet wird.

3. Bildverbesserungssystem nach Anspruch 1 , dadurch gekennzeichnet, daß das aufgenommene Bild mit dem zurückprojizierten Bild zeitlich und örtlich synchronisiert wird.

4. Bildverbesserungssystem nach Anspruch 2, dadurch gekennzeichnet, daß die Scandauer dynamisch an die Anforderung von Auflösung, Erfaßzeitbedarf und Belichtungszeit angepaßt wird.

5. Bildverbesserungssystem nach Anspruch 4, dadurch gekennzeichnet, daß die Größe des Abtastfleckens dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.

6. Bildverbesserungssystem nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, daß der Spurabstand der Scanspuren dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.

7. Bildverbesserungssystem nach Ansprüchen 1 bis 6, dadurch gekennzeichnet, daß die Größe des abgetasteten Bereichs entsprechend der Anforderungen des Anwendungsfalles angepaßt wird.

8. Bildverbes3erungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystem aufgehellt wird und dann zurückprojiziert wird.

9. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch eine Projektion des Bildes bei einer anderen Wellenlänge als es aufgenommen wurde und dadurch in einen anderen Lichtwellenlängenbereich transformiert wird.

10. Bildverbesserungssystem nach Anspruch 1 und 9, dadurch gekennzeichnet, daß der Wellenbereich des aufgenommenen Bildes außerhalb des Wahrnehmungsbereiches des Auges ausgewertet wird und in den sichtbaren Bereich transformiert wird.

11. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild so stark aufgehellt wird, daß die ursprünglich vom Auge erkennbare Schwarz- Weiß (Stäbchensehen)- Information in eine Farbinformation transformiert wird (Zäpfchensehen).

12. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch Berechnen und Modulieren der Projektion über einen geeigneten Algorithmus (Fouriertransformation) so geschärft wird, daß Sehfehler des Auges ausgeglichen werden.

13. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß für die Justierung des Scannersystems ein externer Sensor zur Ermittlung der Pupillenposition verwendet wird.

14. Bildverbesserungssystem nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß das aufgenommene Bild hinsichtlich des Bildinhaltes ausgewertet wird um externe Reaktionen und Steuerfunktionen zu aktivieren.

15. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Bildinhalte beider Augen verglichen werden.

16. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Position der Pupillen beider Augen verglichen wird.

17. Bildverbesserungssystem nach Anspruch 15, dadurch gekennzeichnet, daß der Bildinhalt der Forea Centralis beider Augen verglichen wird.

18. Bildverbesserungssystem nach Anspruch 16 und 17, dadurch gekennzeichnet, daß die Position der Pupillen und Bildinhalte der Forea Centralis beider Augen zur Ermittlung der Sehachse verwendet werden für Triangulation (Entfernungsbestimmung)

19. Bildverbesserungssystem nach Anspruch 1 bis 18, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Helligkeit der Umgebung zu ermitteln.

20. Bildverbesserungssystem nach Anspruch 19, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Farbtemperatur des Lichtes zu ermitteln.

21. Bildverbesserungssystem nach Anspruch 1 und 2, dadurch gekennzeichnet, daß das System zur Ermittlung der Pupillengröße verwendet wird.

22. Bildverbesserungssystem nach Anspruch 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystems so aufgehellt wird, daß die physiologische Scheinempfindlichkeit in einen anderen weniger empfindlichen Bereich verschoben wird.

23. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von außen nach innen läuft.

24. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von innen nach außen läuft.

25. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Zusammenfallen der beiden Brennpunkte zu einem Kreisscan verändert wird.