-
Die vorliegende Erfindung betrifft
eine Vorrichtung und Methode zur Verfolgung der Blickrichtung eines
Benutzers.
-
Die Erfindung hat besondere Bedeutung
bei einer Vorrichtung zur Blickerfassung für die Anwendung bei optischen
Geräten,
welche ein sichtbares Bild eines Objektes erzeugen, wie Mikroskope,
Kameras, Teleskope, etc.
-
Die Anmelderin hat schon in der Patentanmeldung
PCT/EP 95/04178 und in der Veröffentlichung
WO96/13743 ein Mikroskopsystem vorgeschlagen, welches Blickerfassungstechniken
anwendet, um die Blickposition eines Benutzers, der ein Bild durch
ein Mikroskopokular betrachtet, zu verfolgen. Dessen Blickinformationen
werden z. B. verwendet, um ein Autofokussystem zu kontrollieren.
Dies ist besonders nützlich
bei hoher Vergrößerung,
wo die Tiefenschärfe
oft begrenzt und nur ein kleiner Teil des gesamten Blickfeldes zu
einer bestimmten Zeit schart eingestellt ist. Dieses frühere Patent
offenbart auch, dass die Blickinformation zur Steuerung von anderen
Funktionen des Mikroskops verwendet werden kann, einschließlich einer
freihändigen
Bewegung des Mikroskops oder den Betrieb eines menügesteuerten
Computersystems, welches über
das normale Blickfeld des Benutzers überlagert wird.
-
S. F. BARETT ET AL: „Digital
Tracking and control of retinal images" OPTICAL ENGINEERING
Band 33, Nr.
1, Januar 1994 (1994-01) Seiten 150–159, XP000421276 Abschnitte "System Description" und "System Instrumentation
and Testing"
-
JOSEPH JY-HAW YU ET AL.: "Eye-Tracking System
for Computer-Assisted Photocoagulation"
OPTHALMIC SURGERY
Band 22,
Nr. 5, Mai 1991 (1991-05), Seiten 260–265, XP002118450
Abschnitte "MATERIALS AND METHODS" und "RESULTS"
-
JEFFREY B. MULLIGEN: „Image
processing for improved eye-tracking accuracy"
BEHAVIOUR RESEARCH METHODS, INSTRUMENTS & COMPUTERS,
Band
29, Nr. 1, 1997, Seiten 54–65,
XP002118451
Abschnitt "METHODS" und "APPENDIX A"
-
US 5 214 455 A (CARL M. PENNEY ET AL.), 25.
Mai 1993 (1993-05-25)
Spalte 4, Zeile 27 – Spalte 5, Zeile 18
Spalte
5, Zeile 54 – Spalte
7, Zeile 32
Spalte 7, Zeile 56 – Spalte 8, Zeile 47
Spalte
9, Zeile 20 – Spalte
10, Zeile 57
Spalte 10
Spalte 11, Zeile 8 – Zeile
26
-
WO 91 17695 A (RETINA FOUND EYE RES INST)
28
November 1991 (1991-11-28)
Seite 5, Zeile 11 – Seite
6, Zeile 4
Seite 14, Zeile 1 – Zeile 20
Seite 15, Zeile
7 – Seite
18, Zeile 4
-
Die oben angeführten Dokumente verweisen auf
Techniken, worin der Fundus oder die Netzhaut eines Patientenauges
erfasst wird, um die Blickrichtung dieses Auges während einer
Laser-Koagulation zu ermitteln. Jedoch zeigt keines dieser Dokumente ein
geeignetes Gerät
zur Erzeugung eines sichtbaren Bildes eines Gegenstands; mit anderen
Worten bezieht sich der oben angeführte Stand der Technik nicht
auf ein Instrument, welches einem Benutzer hilft, ein Objekt zu
sehen.
-
Es gibt viele verschiedene Techniken,
welche zur Blickerfassung verwendet werden können. Die zwei gebräuchlichsten
Methoden sind Limbus-Erfassungseinrichtungen und Video-Blickerfassungseinrichtungen.
-
Limbus-Erfassungseinrichtungen funktionieren
normalerweise mittels Beleuchtung der Augen des Benutzers, typischerweise
mit einem oder mehreren Infrarot-LEDs und mit einem oder mehreren Photodetektoren,
um das Licht zu erfassen, welches von dem Augenweiß (Sclera)
reflektiert wird. Da die vom Augenweiß reflektierte Lichtmenge abhängig von
der Position der dunklen Regionen (Pupille und Iris) variiert, ist
es möglich
festzustellen, wohin im angegebenen Blickfeld der Benutzer gerade
hinschaut. Jedoch kann diese Art der Vorrichtung zur Blickerfassung
den Blickwinkel nicht eindeutig feststellen, da nur Informationen
in Bezug auf die Position des Iris-Sclera-Umrisses erfasst werden. Während die Limbus-Erfassungstechnik
ziemlich gute Informationen über
die horizontale Position der Augenoberfläche vermittelt, kann sie außerdem wegen
der Behinderung durch Augenwimpern und -lider die vertikale Position
nicht exakt feststellen.
-
Es gibt viele verschiedene videogestützte Blickerfassungstechniken.
Einige von ihnen beleuchten einfach das Auge und beobachten die
Pupille mit einem Bildverarbeitungssystem. Durch die Bestimmung
der Mitte der Pupille anhand des Bildes kann die Information bezüglich der
Blickrichtung des Auges ermittelt werden. Diese Technik leidet jedoch
unter dem Problem, dass die Kopfbewegungen des Beobachters nicht
von den Augenbewegungen unterschieden werden können.
-
Andere, höher entwickelte, videogestützte Vorrichtungen
zur Blickerfassung sind vorgeschlagen worden, welche die Position
der Purkinjeschen Bilder erfassen. Die Purkinjeschen Bilder sind
Reflexionen der Beleuchtungsquelle über die Oberflächen der Hornhaut
sowie der Augenlinse (oft bezeichnet als Glanz oder Schimmer). Während diese
Technik relativ exakt ist, weil sie von Kopfbewegungen unabhängig ist,
leidet sie unter dem Problem, dass einige der Purkinjeschen Bilder
extrem schwach und somit schwierig klar darstellbar sind.
-
Ein Ziel der vorliegenden Erfindung
ist es, eine andere, exakte Blickerfassungstechnik für die Anwendung
bei optischen Geräten
zur Verfügung
zu stellen, welche ein sichtbares Bild eines Objekts erzeugen, wie
Mikroskope, Kameras und dergleichen.
-
Gemäß einer Ausgestaltungsvariante
stellt die vorliegende Erfindung ein neues optisches Gerät zur Erzeugung
eines sichtbaren Bildes eines Objektes zur Verfügung, welches die Merkmale
von Anspruch 1 und eine Methode gemäß Anspruch 32 enthält.
-
Diese Vorrichtung hat den Vorteil,
dass die Blickrichtung, die von einem Augensensor festgestellt wird,
von irgendwelchen Kopfbewegungen des Benutzers unabhängig ist.
-
Vorzugsweise sind ein oder mehrere
Okulare vorgesehen, um die Betrachtung des besagten sichtbaren Bildes
zu erleichtern. In einer bevorzugten Form dieses Geräts sorgt
eine Beleuchtungsquelle für
die Beleuchtung der Netzhaut des Beobachterauges, um damit die Qualität des von
dem Bildumwandlers erzeugten Netzhautbildes zu verbessern. Vorzugsweise
besteht die Beleuchtungsquelle aus einer Mehrzahl von Licht abgebenden
Bereichen, welche von der optischen Achse entfernt angeordnet sind. Dadurch
können
ausgewählte
Bereiche gleichzeitig erhellt werden, um den Effekt des Hornhautglanzes zu
vermeiden.
-
Beispielhafte Ausgestaltungen der
vorliegenden Erfindung werden nun unter Bezug zu den begleitenden
Zeichnungen beschrieben, in welchen
-
1 – ein schematisches
Diagramm, das die Hauptbestandteile eines Operationsmikroskops gemäß der vorliegenden
Erfindung darstellt,
-
2 – ein Blockdiagramm
der elektronischen Bauelemente des Mikroskops nach 1 zeigt,
-
3a – ein zweidimensionales
Bild, das einen Teil der Netzhaut eines Benutzers zeigt und welches
durch einen Sensor, einem Bestandteil des Mikroskops wie in 1, erzeugt wird,
-
3b – eine Skizze
des Teiles der Netzhaut des Benutzers wie in 3a zeigt, die durch Verarbeitung des
in 3a gezeigten Bildes
erzeugt wird,
-
3c – eine Skizze
der gesamten Oberfläche
der Netzhaut eines Benutzers zeigt, die durch Montage von Netzhautbildern
entsteht, welche erzeugt werden, wenn der Benutzer eine Anzahl vorgewählter Punkte
betrachtet,
-
4 – ein schematisches
Diagramm einer Beleuchtungsquelle zeigt, die zur Beleuchtung des Benutzerauges
in der ersten Ausgestaltungsvariante benutzt wird,
-
5 – ein Blockdiagramm
zeigt, welches die elektronischen Bauelemente eines optischen Geräts mit der
vorliegenden Erfindung veranschaulicht,
-
6 – ein weiteres
Blockdiagramm zeigt, welches die elektronischen Bauelemente eines
optischen Geräts
mit der vorliegenden Erfindung veranschaulicht,
-
7 – ein weiteres
Blockdiagramm zeigt, welches die elektronischen Bauelemente eines
optischen Geräts
mit der vorliegenden Erfindung veranschaulicht,
-
8 – ein schematisches
Diagramm eines Mikroskops mit der vorliegenden Erfindung zeigt und
-
9 – ein schematisches
Diagramm einer Kamera mit der vorliegenden Erfindung zeigt.
-
1 ist
ein schematisches Diagramm eines Operationsmikroskops 1.
Das Mikroskop 1 umfasst eine Objektivlinse 3 und
ein Okular 5, beide schematisch durch eine einzelne Linse
dargestellt, die aber in der Praxis aus einer Anzahl von Linsen
und eventuell zusätzlich
aus Zoomlinsen oder dergleichen bestehen können. Die Objektivlinse 3 dient
dazu, ein Bild eines Objekts 7 zu erzeugen, das an einer
Zwischenbildebene, dargestellt durch die gestrichelte Linie 9, überprüft wird.
Dieses Bild wird dann durch das Okular 5, die Hornhaut 15 und
die Augenlinse 17 auf die Netzhaut 11 des Betrachterauges 13 fokussiert.
-
Wie in 1 gezeigt,
enthält
das Mikroskop 1 in dieser Ausgestaltungsvariante auch zwei
Strahlenteiler 21 und 23, die an der optischen
Achse des Mikroskops 1 angebracht sind. Der Strahlenteiler 21 funktioniert
in der Weise, dass er das Licht einer geeigneten Wellenlänge vorzugsweise
im unsichtbaren Bereich von einer Beleuchtungsquelle 25 auf
die Netzhaut 11 des Betrachterauges 13 reflektiert.
Eine Linse 27 zwischen der Beleuchtungsquelle 25 und dem
Strahlenteiler 21 kann vorgesehen sein, um das Licht von
der Beleuchtungsquelle 25 auf die Hornhaut 15 des
Betrachterauges 13 zu fokussieren. Durch die bevorzugte
Fokussierung auf die Hornhaut 15 des Auges 13,
anstatt direkt auf die Netzhaut 11 wird ein größerer Teil
der Netzhaut 11 wegen der Wirkung der Augenlinse 17 beleuchtet.
Etwas von diesem Beleuchtungslicht wird von der Oberfläche der Netzhaut 11 durch
die Augenlinse 17 und die Hornhaut 15 zurück auf den
Strahlenteiler 21 reflektiert, wo ein Teil des reflektierten
Lichts zu der Beleuchtungsquelle 25 zurück reflektiert wird und der
Rest durch das Okular 5 läuft. Während das Betrachterauge 13 auf
die Zwischenbildebene 9 fokussiert wird (um das Bild des
Objekts 7 zu sehen, welches von der Objektivlinse 3 erzeugt
wird), dienen die Augenlinse 17 und das Okular 5 dazu,
ein Bild des beleuchteten Teils der Netzhaut 11 auf die
Zwischenbildebene 9 abzubilden. Dieses Netzhautbild wird
dann vom Strahlenteiler 23 reflektiert und von der Linse 31 auf einen
Sensor 29 – vorzugsweise
ein CCD-Sensor oder dergleichen – fokussiert. Wie in 1 gezeigt, wird das vom
Sensor 29 erzeugte Bild zu einer elektrischen Verarbeitungseinheit 33 weitergeleitet
welche in dieser Ausgestaltungsvariante dazu dient, das erhaltene
Netzhautbild zu verarbeiten, um dann die Blickrichtung des Beobachters
festzustellen und die Selbst-Fokussierung der Objektivlinse 3 dementsprechend
zu steuern. Das System kann in dieser Ausgestaltungsvariante die
Blickrichtung in einer Auflösung von – zum Beispiel – 30 mal
30 „Pixel" über das gesamte Blickfeld des
Mikroskops identifizieren. Mit anderen Worten liefert das System
eine X-Y-Koordinate im Bereich (0,0) zu (29,29), welche das „Pixel" angibt, das vom
Betrachter angeschaut wird.
-
Die Methode, wie das System die Blickrichtung
des Betrachters in dieser Ausgestaltungsvariante feststellt, wird
nun anhand der 2 bis 4 beschrieben. 2 ist ein Blockdiagramm,
das die Hauptbestandteile der Vorrichtung zur Blickerfassung veranschaulicht,
welche in dieser Ausgestaltungsvariante zur Feststellung der Blickrichtung
des Benutzers verwendet werden. Wie gezeigt, ist der Sensor 29 mit
einer Bildverarbeitungseinheit 41 verbunden, die das vom
Sensor 29 erzeugte Netzhautbild verarbeitet, um die charakteristischen
Merkmale im Netzhautbild hervorzuheben. In dieser Ausgestaltungsvariante
sind die hervorgehobenen Merkmale Blutgefäße, da diese mit Standard-Bildverarbeitungs-Randerkennungstechniken
relativ leicht zu finden und hervorzuheben sind. Details von geeigneten Verarbeitungsalgorithmen,
welche – zum
Beispiel – verwendet
werden können,
können
in dem Dokument mit dem Titel „Image
Processing for Improved Eye Tracking Accuracy" von Mulligen, herausgegeben im Jahre 1997 in
Behaviour Research Methods, Instrumentation and Computers, gefunden
werden und dessen Inhalt zur Referenz als hierin geoffenbart gilt. 3a zeigt eine 2D-Bildausgabe
des Sensors 29 nach einigem Filtern zur Entfernung von
niederfrequentigen Intensitätsveränderungen
welche im ursprünglichen
Netzhautbild vorhanden sind (nicht abgebildet). Wie gezeigt, sind
die feine Struktur und Details der Netzhautoberfläche klar
sichtbar. Dieses Netzhautbild wird dann von der Bildverarbeitungseinheit 41 verarbeitet,
um eine entsprechende Schwarz-Weiß-Skizze zu erzeugen, die in 3b abgebildet ist. Wie in 3b ersichtlich, bleibt in
dieser Ausgestaltungsvariante nach der Verarbeitung durch die Verarbeitungseinheit 41 nur
das Detail der Blutgefäße übrig.
-
Wie es Fachleute schätzen werden,
verändert
sich das vom Sensor 29 erzeugte Netzhautbild, wenn sich
der Blick des Beobachters über
das untersuchte Objekt 7 bewegt. Durch Veranlassen des
Beobachters, eine Vielzahl von auf dem Blickfeld verstreuten Punkten
zu betrachten und durch Erhalten eines Sensorbildes, z. B. eines
CCD-Bildes der Netzhaut, wenn der Beobachterjeden der Punkte betrachtet,
kann eine „Karte" der Netzhaut 11 des
Beobachters bestimmt werden. In dieser Ausgestaltungsvariante wird
diese Aufzeichnung der Netzhaut 11 des Beobachters durchgeführt, wenn
sich das Mikroskop in einem Kalibrierungsbetriebsmodus befindet.
Wenn sich das Mikroskop in seinem normalen Betriebsmodus befindet,
dann kann die Blickrichtung des Betrachters dadurch festgestellt
werden, indem das momentane Netzhautbild, das durch den Sensor 29 erzeugt
wird, mit der während
dem Kalibrierungsvorgang erzeugten Netzhautkarte verglichen wird.
-
Wie in 2 abgebildet,
wird ein Steuergerät 49 zur
Verfügung
gestellt, welches dazu dient, die oben beschriebenen Betriebsarten
des Mikroskops 1 zu steuern. Insbesondere beim Ansprechen
auf eine Kalibrierungsanforderung, eingegeben von einem neuen Betrachter über das
Benutzer-Interface 51, steuert die Steuerung 49 die
Position des Schalters 45, sodass die Bildverarbeitungseinheit 41 mit
der Bildmontageeinheit 43 verbunden wird. In dieser Ausgestaltungsvariante
ist während
der Kalibrierungsphase eine Testkarte (nicht abgebildet) als ein unter
dem Mikroskop 1 zu betrachtendes Objekt vorgesehen, die
eine Anzahl sichtbarer Punkte über
das Blickfeld anordnet. Der neue Beobachter wird dann angewiesen,
jeden Punkt abwechslungsweise zu betrachten. Wenn er dies tut, empfängt die
Montageeinheit 43 die vom Sensor 29 erzeugten
Netzhautbilder und „fügt" sie zusammen, um
einen Karte 47 von der Netzhautoberfläche 11 des neuen Beobachters
zu erstellen. Die 3c zeigt
die daraus resultierende Netzhautkarte für einen Beobachter. Diese Netzhautkarte
wird dann in einem Speicher (nicht abgebildet) zum Gebrauch abgelegt,
wenn das Mikroskop 1 in seinem normalen Betriebsmodus ist.
-
Nachdem die Kalibrierungsphase abgeschlossen
ist, veranlasst die Steuerung 49 das Mikroskop, wieder
in seinen normalen Betriebsmodus zurückzukehren, indem die Bildverarbeitungseinheit 41 mit
dem Bildvergleicher 53 über
den Schalter 45 verbunden wird. Während diesem normalen Betriebsmodus
erzeugt der Sensor 29 ein Bild des Teils der Netzhaut 11 des
Beobachters, welchen der Sensor gerade sehen kann. Dieses Netzhautbild
wird dann von der Verarbeitungseinheit 41 in der oben beschriebenen
Art verarbeitet, um eine Skizze der feinen Struktur der Netzhautoberfläche zu erzeugen. Diese
Skizze wird dann zum Bildvergleicher 53 weitergeleitet,
wo sie mit der Netzhautkarte 47 für den gegenwärtigen Beobachter
verglichen wird. In dieser Ausgestaltungsvariante wird dieser Vergleich
durchgeführt,
indem eine zweidimensionale Korrelation des gegenwärtigen Netzhautbildes
und der Netzhautkarte 47 durchgeführt wird. Die Resultate dieses Vergleichs
werden dann zur Steuerung 49 geleitet, von welcher die
Blickrichtung des Beobachters festgestellt wird. In dieser Ausgestaltungsvariante
wird dann diese Information zu einer Autofokus-Steuereinheit 55 weitergeleitet,
welche dazu dient, die automatische Fokussierung der Objektivlinse 3 zu
steuern, sodass der vom Beobachter gerade betrachtete Teil des Objekts
fokussiert ist.
-
Wie in 2 abgebildet,
ist die Steuerung 49 auch mit einer Beleuchtungssteuereinheit 57 verbunden,
welche der Steuerung der Beleuchtungsquelle 25 dient. Der
Grund hierfür
wird nachfolgend erklärt. In 1 wird die Beleuchtungsquelle 25 in
der gleichen optischen Achse wie das Mikroskop 1 als nutzbar
dargestellt. Als Resultat wird das Licht von der Beleuchtungsquelle 25,
das von der Hornhaut 15 reflektiert wird (bekannt als Hornhaut- Glanz oder Schimmer),
das Netzhautbild verdunkeln, welches in der Bildebene 9 erzeugt
wird. Deshalb wird in dieser Ausgestaltungsvariante, wie in 4 abgebildet, eine Quelle
mit sechs Licht abgebenden Bereichen 61-1 bis 61-6 verwendet,
welche um die optische Achse angeordnet sind. Im Betriebszustand
werden nur diese Licht abgebenden Bereiche, die keinen Hornhaut-Glanz
im Netzhautbild (für
die gegenwärtige
Blickrichtung) hervorrufen, zu einer bestimmten Zeit benutzt. Welche
davon für
eine gegebene Blickrichtung ausgeschaltet sein sollten, kann entweder im
Voraus während
den Kalibrierungsvorgang oder in Realzeit festgestellt werden, indem
man das Vorhandensein von Hornhaut-Glanz im gegenwärtigen Netzhautbild überwacht.
In dieser Ausgestaltungsvariante wird die Blickrichtung des Beobachters
fünfzig
Mal pro Sekunde festgestellt und das letztere Verfahren wird verwendet,
um zu prüfen,
welche Licht abgebenden Bereiche ausgeschaltet werden sollen.
-
Die Beleuchtungsquelle 25 dient
vorzugsweise dazu, um Licht von einer Wellenlänge im Bereich von 800 bis
950 nm zu erzeugen. Dem ist so, weil die Übertragung der Okularmedien
und das Reflexionsvermögen
der Netzhaut bei diesen Wellenlängen
beide hoch sind. Diese Wellenlängen
sind zudem unsichtbar für
das menschliche Auge und sollten nicht in irgendeiner Reduktion
der Pupillengröße oder
in einer Reduktion der Qualität
des durch das Mikroskop untersuchten Bildes resultieren. Wie es Fachleute
schätzen
werden, könnten
jedoch auch Beleuchtungsquellen benutzt werden, die mit anderen
Licht-Wellenlängen
funktionieren. In dieser Ausgestaltungsvariante enthält die Beleuchtungsquelle 25 ein
hochleistungsfähiges
850 nm LED, welches etwa 0.2 mW an die vordere Augenoberfläche abgibt, was
gut innerhalb der gegenwärtigen
Augen-Sicherheitsempfehlungen liegt.
-
Wie es die Fachleute schätzen werden,
arbeitet die oben beschriebene Blickerfassungstechnik gut in dieser
Mikroskopanwendung, weil das Auge des Beobachters immer auf die
Zwischenbildebene 9 fokussiert ist. Als Resultat wird jegliches
von der Netzhaut reflektierte Licht ein scharfes Bild der Netzhaut
in dieser Zwischenbildebene 9 erzeugen. Folglich wird durch
Anbringung des Sensors 29 in einer Ebene, die mit der Zwischenbildebene
hinsichtlich der Linse 31 kongruent ist, das Netzhautbild
auf dem Sensor 29 erzeugt.
-
Diese Blickerfassungstechnik ist
auch vorteilhaft, weil sie unabhängig
von Kopfbewegungen ist und gibt ein direktes Maß der Blickposition des Beobachters,
ohne sich auf Messungen der Größe, Form oder
Augenposition beziehen zu müssen
(welche bei anderen Blickerfassungstechniken, die von der Augenoberfläche reflektiertes
Licht benutzen, erforderlich sind, um die Blickrichtung festzustellen).
-
Alternative
Ausgestaltungsvarianten
-
Eine Anzahl von Modifikationen und
alternativen Ausgestaltungsvarianten wird nun unter Bezugnahme auf
die 5 bis 9 beschrieben.
-
In der oben beschriebenen Ausgestaltungsvariante
wurde die Information der Blickrichtung zur Steuerung des automatischen
Fokus des Mikroskops 1 verwendet. Wie es Fachleute schätzen werden, kann
die Information der Blickrichtung für andere Zwecke verwendet werden. 5 zeigt die Verarbeitungsblöcke, welche
in einer Ausgestaltungsvariante verwendet werden, bei der die Blickinformation
zur Bewegungssteuerung des Mikroskops 1 genutzt wird. Verarbeitungsblöcke, die
denen gleich sind, wie in 2 beschrieben
sind, haben dieselbe Bezugsziffer. Wie abgebildet, ist der einzige
Unterschied in dieser Ausgestaltungsvariante die Bereitstellung
eines Servo-Reglers 65,
der dazu dient, die Blickinformationsausgabe der Steuerung 49 zu
empfangen und hierauf den Betrieb einer Anzahl von Motoren 67 zu
regeln, die das Mikroskop über
dem betrachteten Objekt bewegen.
-
6 zeigt
die Anordnung der Verarbeitungs- und Steuerelektronik, die in einer
weiteren Ausgestaltungsvariante der Erfindung benutzt wird. Wie
in
-
6 abgebildet,
werden in dieser Ausgestaltungsvariante nur die Netzhautbilder von
der Bildverarbeitungseinheit 41 verarbeitet, die zur Erstellung
der Netzhautkarte 47 verwendet werden. Folglich wird der
Bildvergleicher 53 während
dem normalen Betriebsmodus des Mikroskops dazu benutzt, um die gegenwärtige Netzhautbildausgabe
vom Sensor 29 mit der Netzhautkarte 47 zu vergleichen.
Zusätzlich,
wie in 6 gezeigt, wird
die Information der festgestellten Blickrichtung zur Steuerung der
Positionierung des Mikroskops und der Fokussierung der Objektivlinse 3 verwendet.
Die in 6 dargestellte Ausgestaltungsvariante
zeigt, dass die Verarbeitung der durch den Sensor 29 erzeugten
Netzhautbilder zwecks Feststellung der Blickrichtung nicht wesentlich
ist. Dennoch werden bei dieser bevorzugten Ausgestaltungsvariante
die Netzhautbilder verarbeitet, um die Datenmenge zu reduzieren,
welche vom Bildvergleicher 53 verglichen werden muss.
-
7 zeigt
die Verarbeitungs- und Steuerblöcke,
die noch in einer anderen Ausgestaltungsvariante der vorliegenden
Erfindung verwendet werden. Wie abgebildet, wird in dieser Ausgestaltungsvariante
nur das Netzhautbild, das während
dem normalen Gebrauch des Mikroskops erstellt wird, von der Bildverarbeitungseinheit 41 verarbeitet,
bevor es durch den Bildvergleicher 53 mit der Netzhautkarte 47 verglichen
wird. In dieser Ausgestaltungsvariante wird die von der Steuerung
erlangte Blickrichtungs-Information zu einem Display-Treiber 71 weitergeleitet, der
die Anzeige des Menüs
auf einem Display 73 steuert, welches sich im Sucher des
Mikroskops befindet.
-
In den oben genannten Ausgestaltungsvarianten
wurde eine Beleuchtungsquelle mit einer Vielzahl von Licht abgebenden
Bereichen, die nützlicherweise
um die optische Achse des Mikroskops angeordnet sind, mit nur einigen
der zu irgendeiner Zeit verwendeten Licht abgebenden Bereichen ausgestattet,
um den Effekt des Hornhaut-Glanzes zu reduzieren. Eine alternative
Technik, welche verwendet werden könnte, um dieses Problem zu
verhindern, ist die Verwendung einer Beleuchtungsquelle, die ein kreisförmiges polarisiertes
Licht erzeugt. Insbesondere wird die Polarität von kreisförmigem polarisiertem
Licht, das von der Oberfläche
der Hornhaut reflektiert wird, umgekehrt. Jedoch wird von der Netzhaut
reflektiertes Licht diffus reflektiert und wird folglich noch einen
bedeutenden Bestandteil der ursprünglichen Polarität enthalten.
Infolgedessen ist es möglich,
die Menge des von der Hornhaut zurückreflektierten Lichts, das
den Sensor erreicht, zu verringern, indem man eine Kombination einer
Viertel-Wellenplatte und Polarisator verwendet. Dadurch wird es möglich, das
diffuse Licht von der Netzhaut wahrzunehmen.
-
Eine andere Technik zur Lösung des
Problems des Hornhaut-Glanzes ist, den Beleuchtungsstrahl zu defokussieren,
sodass er nicht auf der Hornhaut fokussiert ist. Während diese
Technik erfolgreich ist, ergibt sich ein viel kleinerer Teil der
abgebildeten Netzhaut, da die Pupille das Licht einschränkt, das
in das Auge eintritt.
-
In den oben ausgeführten Ausgestaltungsvarianten
wurde das Licht zur Beleuchtung der Netzhaut nach dem Okular 5 zugeführt. 8 illustriert schematisch
die Anordnung eines Mikroskops, bei dem das Beleuchtungslicht vor
dem Okular 5 zugeführt
wird. Da das Licht bei dieser Ausgestaltungsvariante das Okular 5 passieren
muss, ist das Okular 5 vorzugsweise mit einer Anti-Reflexions-Schicht
beschichtet, um die direkte Reflexion des Beleuchtungslichts durch
das Okular 5 zu minimieren.
-
In den oben ausgeführten Ausgestaltungsvarianten
wurde eine Beleuchtungsquelle 25 verwendet, um die Netzhaut
des Beobachterauges des Beobachters zu beleuchten. Wie es die Fachleute
schätzen
werden, kann das Licht von dem beobachteten Objekt bei manchen Anwendungen
für die
Netzhaut-Beleuchtung ausreichend sein, wobei dann in diesem Fall
die Beleuchtungsquelle 25 nicht notwendig ist.
-
In einer verbesserten Ausgestaltungsvariante
der Erfindung wird das Licht der Beleuchtungsquelle in Impulsen
gesendet, die mit der Ablesefrequenz des CCD-Sensors synchronisiert
sind. Dies soll die Strahlung auf die Netzhaut des Beobachters verringern.
-
Die oben beschriebenen Ausgestaltungsvarianten
nehmen alle Bezug auf eine Blickerfassungstechnik für die Anwendung
bei einem optischen Mikroskop. Wie es die Fachleute schätzen werden, kann
die oben beschriebene Blickerfassungstechnik in vielen anderen optischen
Instrumenten eingesetzt werden, z. B. in Kameras, Teleskopen, etc.
-
9 zeigt
ein schematisches Diagramm einer Kamera 81, die die oben
ausgeführte
Blickerfassungstechnik einsetzt. Wie abgebildet, umfasst die Kamera 81 eine
Objektivlinse 3, um das Objekt auf die Zwischenbildebene
zu fokussieren. Jedenfalls wird in einer Kamera ein reelles Bild
in der Zwischenbildebene durch die Anordnung eines diffundierenden
Glasschirms 83 in der Zwischenebene erzeugt. Das reelle
Bild, das auf dem diffundierenden Glasschirm abgebildet wird, wird
dann von dem Beobachter durch das Okular 5 und ein Prisma 85 betrachtet. Das
Prisma 85 dient dazu, das Bild richtig auszurichten. Die
Kamera hat auch einen Spiegel 87, der auf und ab bewegt
werden kann, sodass das Licht von dem Objekt auf den Film 89 fokussiert
wird. Die übrigen
Bestandteile der Vorrichtung zur Blickerfassung sind dieselben wie
die in den oben beschriebenen Mikroskopausgestaltungsvarianten und
werden deshalb nicht nochmals beschrieben. Jedoch sollte erwähnt werden,
dass in dieser Ausgestaltungsvariante der Sensor 29 und
die Linse 31 vor dem diffundierenden Glasschirm 83 angeordnet
sind, da das Netzhautbild die diffundierende Glasplatte nicht durchdringen
kann. Dies ist jedoch nicht wichtig, da der Sensor 29 immer
noch in einer Ebene angeordnet ist, die mit der Zwischenbildebene
konjugiert ist.
-
In den oben beschriebenen Ausgestaltungsvarianten
wurden die Blutgefäße in der
Netzhautobertläche
zur Bestimmung der Blickrichtung des Beobachters verwendet. Wie
es die Fachleute schätzen werden,
können
andere Merkmale der Netzhaut genutzt werden. Z. B. kann stattdessen
die Lage der Netzhautgrube (Fovea) bzw. deren Zapfen verwendet werden.
Da dies jedoch eine relativ hohe Vergrößerung benötigt, wird die Verwendung der
Blutgefäße bevorzugt,
da diese leichter erkennbare Merkmale haben.
-
In der oben beschriebenen Ausgeslaltungsvariante
ermittelt die Verarbeitungselektronik die Blickrichtung des Beobachters 50 Mal
pro Sekunde. Wenn das System infolgedessen die gegenwärtige Blickrichtung
ermittelt hat, kann es diese Information dazu verwenden, die Verarbeitungsmenge
zu verringern, welche zum Vergleich des gegenwärtigen Netzhautbildes mit der
Netzhautkarte erforderlich sind. Insbesondere kann es die zuletzt
erhaltene Blickrichtung dazu verwenden, um den Teil der Netzhautkarte zu
identifizieren, der dem gegenwärtigen
Netzhautbild entspricht und dann diesen Teil der Netzhautkarte als
Startpunkt verwenden.
-
In den oben beschriebenen Ausgestaltungsvarianten
musste erst eine Netzhautkarte von der Netzhaut eines je jeden Beobachters
erzeugt werden – vorzugsweise – während eines
Kalibrierungsvorgangs, bevor dieser Anwender das Mikroskop benutzen
kann. In einer alternativen Ausgestaltungsvariante können die
Netzhautkarten einer Anzahl von Benutzern zu einer Schablonenvorlage
kombiniert werden, die die allgemeinen Merkmale der Netzhautbilden
von den auszubildenden Benutzern ausgestaltet. Diese Schablonenvorlage
kann dann für
jeden Benutzer verwendet werden, ohne dass der neue Benutzer den
Kalibrierungsvorgang durchgehen muss. Während diese Ausgestaltungsvariante
den Vorteil bietet, dass die Schablone benutzerunabhängig ist, leidet
sie unter dem Problem, dass das System nur so gut wie die Schablone
sein wird.
-
In den oben beschriebenen Ausgestaltungsvarianten
würde das
System automatisch den Fokus der Objektivlinse verändern, wenn
sich die Blickrichtung des Beobachters zu einer a deren Position
im Blickfeld bewegte, welche unscharf war. In einigen Anwendungen
könnte
solch eine automatische Veränderung
des Fokus nicht erwünscht
sein. In diesem Fall könnte
die Verarbeitungselektronik so angeordnet werden, dass die automatische
Fokussierung nur ändert,
falls entweder der Benutzer für
eine vorher festgelegte Zeitspanne auf denselben Punkt fokussiert
bleibt oder wenn der Beobachter einen Steuerbefehl eingibt, der
signalisiert, dass er den Fokus geändert haben will.
-
In den oben beschriebenen Ausgestaltungsvarianten
wurde ein Strahlenteiler verwendet, um den Sensor und die Sensorlinse
exakt auf der Mikroskop-Achse
anzuordnen. Wie es die Fachleute schätzen werden, ist es nicht wesentlich,
einen solchen Strahlenteiler zu verwenden. Z. B. können der Sensor
und die Sensorlinse in einem Winkel zu der optischen Achse des Mikroskops
angeordnet sein, vorausgesetzt, dass der Sensor noch die Zwischenebene „sehen" kann. Wenn der Sensor
im Vergleich zum Durchmesser der Objektivlinse relativ klein ist, dann
kann der Sensor alternativ noch entlang der Achse der Objektivlinse
angeordnet werden. Jedoch ist diese Ausgestaltungsvariante nicht
bevorzugt, weil sie die Lichtmenge reduziert, die in das Auge des Beobachters
eintritt.
-
Anstatt den Strahlenteiler 23 zu
verwenden, könnte
es eine Variante dieser Ausgestaltungsform sein, den Sensor 29 auf
die Zwischenbildebene 9 durch das Okular 5 hindurch
auszurichten und die Rückseite
des Strahlenteilers 21 zur Reflexion des Netzhautbildes
auf die gegenüberliegende
Seite der Lichtquelle 25 zu verwenden. Dort würden eine
modifizierte Linse 31 und der Sensor 29 angeordnet
sein. An der Stelle der gestrichelten Linie 9 würde ein
teilweise transparenter Spiegel angeordnet sein, um das Netzhautbild
durch das Okular 5 in den Sensor 29 zu reflektieren.
-
In den oben beschriebenen Ausgestaltungsvarianten
ist ein einzelner optischer Strahlengang durch die optischen Instrumente
dargestellt worden. Wie es die Fachleute schätzen werden, könnte eine ähnliche
Vorrichtung zur Blickerfassung in dem anderen optischen Strahlengang
vorgesehen sein, wo es zwei optische Strahlengänge gibt (einen für jedes
Auge). Falls das opti sche Instrument dem Beobachter ermöglicht,
das Objekt mit beiden Augen zu betrachten, dann könnte alternativ
dazu eine einzeln auswählbare
Vorrichtung zur Blickerfassung zur Verfügung gestellt werden.
-
Jedoch würden zwei Vorrichtungen zur
Blickerfassung (eine in jedem optischen Strahlengang) auch eine
automatische motorisierte Justierung der zwei Okulare zueinander
bezüglich
dem Augenabstand des Benutzers erlauben. Es würde es auch erlauben, immer
das dominante Auge eines Benutzers erfassen zu lassen, da die Bewegung
des dominanten Auges durch den Vergleich der Bewegungen beider Augen
ermittelt werden könnte.
-
In der oben beschriebenen Ausgestaltungsvariante
wird der Vergleich der gegenwärtigen
Netzhautbildausgabe des Sensors mit der Netzhautkarte durch den
Gebrauch einer zweidimensionalen Korrelationstechnik durchgeführt. Wie
es die Fachleute schätzen
werden, können
andere Vergleichstechniken eingesetzt werden. Z. B. können die „aktiven Formmodelle", von Cootes et al
an der Universität von
Manchester entwickelt, verwendet werden, um die charakteristischen
Merkmale in der Netzhaut nachzubilden. Der Vergleich würde dann
beinhalten, dass ähnliche
Formmodelle, die für
das gegenwärtige
Netzhautbild erzeugt wurden, mit den gespeicherten Formmodellen
für die
Netzhautkarte verglichen werden. Die Zeitschrift mit dem Titel „Use of
Active Shape Models for Locating Structures in Medical Images" beschreibt, wie
diese Formmodelle Strukturen im menschlichen Körper für nachträgliche Identifikationszwecke
nachbilden können.
-
Weitere Ausgestaltungsvarianten sind
für die Fachleute
offensichtlich. Die oben beschriebenen Anordnungen und Varianten
sind nur als Beispiele veranschaulicht worden und die Varianten,
die bei einigen der Anordnungen gemacht wurden, werden, wie es die
Fachleute schätzen
werden, für
andere Ausgestaltungsvarianten anwendbar sein.
-
In den Ansprüchen bedeutet „umfassen" auch „enthalten".