DE69906139T2

DE69906139T2 - Vorrichtung zum verfolgen von augenbewegungen

Info

Publication number: DE69906139T2
Application number: DE1999606139
Authority: DE
Inventors: Euan Morrison; Edward Alan GREEN
Original assignee: Leica Microsystems Schweiz AG
Current assignee: Leica Instruments Singapore Pte Ltd
Priority date: 1998-06-16
Filing date: 1999-06-16
Publication date: 2004-04-15
Anticipated expiration: 2019-06-17
Also published as: EP1143847A2; DE69906139D1; EP1143847B1; GB9813041D0; JP2003521950A; WO1999065381A3; EP1143847A3; WO1999065381A2; US6394602B1

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und Methode zur Verfolgung der Blickrichtung eines Benutzers.
Die Erfindung hat besondere Bedeutung bei einer Vorrichtung zur Blickerfassung für die Anwendung bei optischen Geräten, welche ein sichtbares Bild eines Objektes erzeugen, wie Mikroskope, Kameras, Teleskope, etc.
Die Anmelderin hat schon in der Patentanmeldung PCT/EP 95/04178 und in der Veröffentlichung WO96/13743 ein Mikroskopsystem vorgeschlagen, welches Blickerfassungstechniken anwendet, um die Blickposition eines Benutzers, der ein Bild durch ein Mikroskopokular betrachtet, zu verfolgen. Dessen Blickinformationen werden z. B. verwendet, um ein Autofokussystem zu kontrollieren. Dies ist besonders nützlich bei hoher Vergrößerung, wo die Tiefenschärfe oft begrenzt und nur ein kleiner Teil des gesamten Blickfeldes zu einer bestimmten Zeit schart eingestellt ist. Dieses frühere Patent offenbart auch, dass die Blickinformation zur Steuerung von anderen Funktionen des Mikroskops verwendet werden kann, einschließlich einer freihändigen Bewegung des Mikroskops oder den Betrieb eines menügesteuerten Computersystems, welches über das normale Blickfeld des Benutzers überlagert wird.
S. F. BARETT ET AL: „Digital Tracking and control of retinal images" OPTICAL ENGINEERING
Band 33, Nr. 1, Januar 1994 (1994-01) Seiten 150–159, XP000421276 Abschnitte "System Description" und "System Instrumentation and Testing"
JOSEPH JY-HAW YU ET AL.: "Eye-Tracking System for Computer-Assisted Photocoagulation"
OPTHALMIC SURGERY
Band 22, Nr. 5, Mai 1991 (1991-05), Seiten 260–265, XP002118450
Abschnitte "MATERIALS AND METHODS" und "RESULTS"
JEFFREY B. MULLIGEN: „Image processing for improved eye-tracking accuracy"
BEHAVIOUR RESEARCH METHODS, INSTRUMENTS & COMPUTERS,
Band 29, Nr. 1, 1997, Seiten 54–65, XP002118451
Abschnitt "METHODS" und "APPENDIX A"
US 5 214 455 A (CARL M. PENNEY ET AL.), 25. Mai 1993 (1993-05-25)
Spalte 4, Zeile 27 – Spalte 5, Zeile 18
Spalte 5, Zeile 54 – Spalte 7, Zeile 32
Spalte 7, Zeile 56 – Spalte 8, Zeile 47
Spalte 9, Zeile 20 – Spalte 10, Zeile 57
Spalte 10
Spalte 11, Zeile 8 – Zeile 26
WO 91 17695 A (RETINA FOUND EYE RES INST)
28 November 1991 (1991-11-28)
Seite 5, Zeile 11 – Seite 6, Zeile 4
Seite 14, Zeile 1 – Zeile 20
Seite 15, Zeile 7 – Seite 18, Zeile 4
Die oben angeführten Dokumente verweisen auf Techniken, worin der Fundus oder die Netzhaut eines Patientenauges erfasst wird, um die Blickrichtung dieses Auges während einer Laser-Koagulation zu ermitteln. Jedoch zeigt keines dieser Dokumente ein geeignetes Gerät zur Erzeugung eines sichtbaren Bildes eines Gegenstands; mit anderen Worten bezieht sich der oben angeführte Stand der Technik nicht auf ein Instrument, welches einem Benutzer hilft, ein Objekt zu sehen.
Es gibt viele verschiedene Techniken, welche zur Blickerfassung verwendet werden können. Die zwei gebräuchlichsten Methoden sind Limbus-Erfassungseinrichtungen und Video-Blickerfassungseinrichtungen.
Limbus-Erfassungseinrichtungen funktionieren normalerweise mittels Beleuchtung der Augen des Benutzers, typischerweise mit einem oder mehreren Infrarot-LEDs und mit einem oder mehreren Photodetektoren, um das Licht zu erfassen, welches von dem Augenweiß (Sclera) reflektiert wird. Da die vom Augenweiß reflektierte Lichtmenge abhängig von der Position der dunklen Regionen (Pupille und Iris) variiert, ist es möglich festzustellen, wohin im angegebenen Blickfeld der Benutzer gerade hinschaut. Jedoch kann diese Art der Vorrichtung zur Blickerfassung den Blickwinkel nicht eindeutig feststellen, da nur Informationen in Bezug auf die Position des Iris-Sclera-Umrisses erfasst werden. Während die Limbus-Erfassungstechnik ziemlich gute Informationen über die horizontale Position der Augenoberfläche vermittelt, kann sie außerdem wegen der Behinderung durch Augenwimpern und -lider die vertikale Position nicht exakt feststellen.
Es gibt viele verschiedene videogestützte Blickerfassungstechniken. Einige von ihnen beleuchten einfach das Auge und beobachten die Pupille mit einem Bildverarbeitungssystem. Durch die Bestimmung der Mitte der Pupille anhand des Bildes kann die Information bezüglich der Blickrichtung des Auges ermittelt werden. Diese Technik leidet jedoch unter dem Problem, dass die Kopfbewegungen des Beobachters nicht von den Augenbewegungen unterschieden werden können.
Andere, höher entwickelte, videogestützte Vorrichtungen zur Blickerfassung sind vorgeschlagen worden, welche die Position der Purkinjeschen Bilder erfassen. Die Purkinjeschen Bilder sind Reflexionen der Beleuchtungsquelle über die Oberflächen der Hornhaut sowie der Augenlinse (oft bezeichnet als Glanz oder Schimmer). Während diese Technik relativ exakt ist, weil sie von Kopfbewegungen unabhängig ist, leidet sie unter dem Problem, dass einige der Purkinjeschen Bilder extrem schwach und somit schwierig klar darstellbar sind.
Ein Ziel der vorliegenden Erfindung ist es, eine andere, exakte Blickerfassungstechnik für die Anwendung bei optischen Geräten zur Verfügung zu stellen, welche ein sichtbares Bild eines Objekts erzeugen, wie Mikroskope, Kameras und dergleichen.
Gemäß einer Ausgestaltungsvariante stellt die vorliegende Erfindung ein neues optisches Gerät zur Erzeugung eines sichtbaren Bildes eines Objektes zur Verfügung, welches die Merkmale von Anspruch 1 und eine Methode gemäß Anspruch 32 enthält.
Diese Vorrichtung hat den Vorteil, dass die Blickrichtung, die von einem Augensensor festgestellt wird, von irgendwelchen Kopfbewegungen des Benutzers unabhängig ist.
Vorzugsweise sind ein oder mehrere Okulare vorgesehen, um die Betrachtung des besagten sichtbaren Bildes zu erleichtern. In einer bevorzugten Form dieses Geräts sorgt eine Beleuchtungsquelle für die Beleuchtung der Netzhaut des Beobachterauges, um damit die Qualität des von dem Bildumwandlers erzeugten Netzhautbildes zu verbessern. Vorzugsweise besteht die Beleuchtungsquelle aus einer Mehrzahl von Licht abgebenden Bereichen, welche von der optischen Achse entfernt angeordnet sind. Dadurch können ausgewählte Bereiche gleichzeitig erhellt werden, um den Effekt des Hornhautglanzes zu vermeiden.
Beispielhafte Ausgestaltungen der vorliegenden Erfindung werden nun unter Bezug zu den begleitenden Zeichnungen beschrieben, in welchen
1 – ein schematisches Diagramm, das die Hauptbestandteile eines Operationsmikroskops gemäß der vorliegenden Erfindung darstellt,
2 – ein Blockdiagramm der elektronischen Bauelemente des Mikroskops nach 1 zeigt,
3a – ein zweidimensionales Bild, das einen Teil der Netzhaut eines Benutzers zeigt und welches durch einen Sensor, einem Bestandteil des Mikroskops wie in 1, erzeugt wird,
3b – eine Skizze des Teiles der Netzhaut des Benutzers wie in 3a zeigt, die durch Verarbeitung des in 3a gezeigten Bildes erzeugt wird,
3c – eine Skizze der gesamten Oberfläche der Netzhaut eines Benutzers zeigt, die durch Montage von Netzhautbildern entsteht, welche erzeugt werden, wenn der Benutzer eine Anzahl vorgewählter Punkte betrachtet,
4 – ein schematisches Diagramm einer Beleuchtungsquelle zeigt, die zur Beleuchtung des Benutzerauges in der ersten Ausgestaltungsvariante benutzt wird,
5 – ein Blockdiagramm zeigt, welches die elektronischen Bauelemente eines optischen Geräts mit der vorliegenden Erfindung veranschaulicht,
6 – ein weiteres Blockdiagramm zeigt, welches die elektronischen Bauelemente eines optischen Geräts mit der vorliegenden Erfindung veranschaulicht,
7 – ein weiteres Blockdiagramm zeigt, welches die elektronischen Bauelemente eines optischen Geräts mit der vorliegenden Erfindung veranschaulicht,
8 – ein schematisches Diagramm eines Mikroskops mit der vorliegenden Erfindung zeigt und
9 – ein schematisches Diagramm einer Kamera mit der vorliegenden Erfindung zeigt.
1 ist ein schematisches Diagramm eines Operationsmikroskops 1. Das Mikroskop 1 umfasst eine Objektivlinse 3 und ein Okular 5, beide schematisch durch eine einzelne Linse dargestellt, die aber in der Praxis aus einer Anzahl von Linsen und eventuell zusätzlich aus Zoomlinsen oder dergleichen bestehen können. Die Objektivlinse 3 dient dazu, ein Bild eines Objekts 7 zu erzeugen, das an einer Zwischenbildebene, dargestellt durch die gestrichelte Linie 9, überprüft wird. Dieses Bild wird dann durch das Okular 5, die Hornhaut 15 und die Augenlinse 17 auf die Netzhaut 11 des Betrachterauges 13 fokussiert.
Wie in 1 gezeigt, enthält das Mikroskop 1 in dieser Ausgestaltungsvariante auch zwei Strahlenteiler 21 und 23, die an der optischen Achse des Mikroskops 1 angebracht sind. Der Strahlenteiler 21 funktioniert in der Weise, dass er das Licht einer geeigneten Wellenlänge vorzugsweise im unsichtbaren Bereich von einer Beleuchtungsquelle 25 auf die Netzhaut 11 des Betrachterauges 13 reflektiert. Eine Linse 27 zwischen der Beleuchtungsquelle 25 und dem Strahlenteiler 21 kann vorgesehen sein, um das Licht von der Beleuchtungsquelle 25 auf die Hornhaut 15 des Betrachterauges 13 zu fokussieren. Durch die bevorzugte Fokussierung auf die Hornhaut 15 des Auges 13, anstatt direkt auf die Netzhaut 11 wird ein größerer Teil der Netzhaut 11 wegen der Wirkung der Augenlinse 17 beleuchtet. Etwas von diesem Beleuchtungslicht wird von der Oberfläche der Netzhaut 11 durch die Augenlinse 17 und die Hornhaut 15 zurück auf den Strahlenteiler 21 reflektiert, wo ein Teil des reflektierten Lichts zu der Beleuchtungsquelle 25 zurück reflektiert wird und der Rest durch das Okular 5 läuft. Während das Betrachterauge 13 auf die Zwischenbildebene 9 fokussiert wird (um das Bild des Objekts 7 zu sehen, welches von der Objektivlinse 3 erzeugt wird), dienen die Augenlinse 17 und das Okular 5 dazu, ein Bild des beleuchteten Teils der Netzhaut 11 auf die Zwischenbildebene 9 abzubilden. Dieses Netzhautbild wird dann vom Strahlenteiler 23 reflektiert und von der Linse 31 auf einen Sensor 29 – vorzugsweise ein CCD-Sensor oder dergleichen – fokussiert. Wie in 1 gezeigt, wird das vom Sensor 29 erzeugte Bild zu einer elektrischen Verarbeitungseinheit 33 weitergeleitet welche in dieser Ausgestaltungsvariante dazu dient, das erhaltene Netzhautbild zu verarbeiten, um dann die Blickrichtung des Beobachters festzustellen und die Selbst-Fokussierung der Objektivlinse 3 dementsprechend zu steuern. Das System kann in dieser Ausgestaltungsvariante die Blickrichtung in einer Auflösung von – zum Beispiel – 30 mal 30 „Pixel" über das gesamte Blickfeld des Mikroskops identifizieren. Mit anderen Worten liefert das System eine X-Y-Koordinate im Bereich (0,0) zu (29,29), welche das „Pixel" angibt, das vom Betrachter angeschaut wird.
Die Methode, wie das System die Blickrichtung des Betrachters in dieser Ausgestaltungsvariante feststellt, wird nun anhand der 2 bis 4 beschrieben. 2 ist ein Blockdiagramm, das die Hauptbestandteile der Vorrichtung zur Blickerfassung veranschaulicht, welche in dieser Ausgestaltungsvariante zur Feststellung der Blickrichtung des Benutzers verwendet werden. Wie gezeigt, ist der Sensor 29 mit einer Bildverarbeitungseinheit 41 verbunden, die das vom Sensor 29 erzeugte Netzhautbild verarbeitet, um die charakteristischen Merkmale im Netzhautbild hervorzuheben. In dieser Ausgestaltungsvariante sind die hervorgehobenen Merkmale Blutgefäße, da diese mit Standard-Bildverarbeitungs-Randerkennungstechniken relativ leicht zu finden und hervorzuheben sind. Details von geeigneten Verarbeitungsalgorithmen, welche – zum Beispiel – verwendet werden können, können in dem Dokument mit dem Titel „Image Processing for Improved Eye Tracking Accuracy" von Mulligen, herausgegeben im Jahre 1997 in Behaviour Research Methods, Instrumentation and Computers, gefunden werden und dessen Inhalt zur Referenz als hierin geoffenbart gilt. 3a zeigt eine 2D-Bildausgabe des Sensors 29 nach einigem Filtern zur Entfernung von niederfrequentigen Intensitätsveränderungen welche im ursprünglichen Netzhautbild vorhanden sind (nicht abgebildet). Wie gezeigt, sind die feine Struktur und Details der Netzhautoberfläche klar sichtbar. Dieses Netzhautbild wird dann von der Bildverarbeitungseinheit 41 verarbeitet, um eine entsprechende Schwarz-Weiß-Skizze zu erzeugen, die in 3b abgebildet ist. Wie in 3b ersichtlich, bleibt in dieser Ausgestaltungsvariante nach der Verarbeitung durch die Verarbeitungseinheit 41 nur das Detail der Blutgefäße übrig.
Wie es Fachleute schätzen werden, verändert sich das vom Sensor 29 erzeugte Netzhautbild, wenn sich der Blick des Beobachters über das untersuchte Objekt 7 bewegt. Durch Veranlassen des Beobachters, eine Vielzahl von auf dem Blickfeld verstreuten Punkten zu betrachten und durch Erhalten eines Sensorbildes, z. B. eines CCD-Bildes der Netzhaut, wenn der Beobachterjeden der Punkte betrachtet, kann eine „Karte" der Netzhaut 11 des Beobachters bestimmt werden. In dieser Ausgestaltungsvariante wird diese Aufzeichnung der Netzhaut 11 des Beobachters durchgeführt, wenn sich das Mikroskop in einem Kalibrierungsbetriebsmodus befindet. Wenn sich das Mikroskop in seinem normalen Betriebsmodus befindet, dann kann die Blickrichtung des Betrachters dadurch festgestellt werden, indem das momentane Netzhautbild, das durch den Sensor 29 erzeugt wird, mit der während dem Kalibrierungsvorgang erzeugten Netzhautkarte verglichen wird.
Wie in 2 abgebildet, wird ein Steuergerät 49 zur Verfügung gestellt, welches dazu dient, die oben beschriebenen Betriebsarten des Mikroskops 1 zu steuern. Insbesondere beim Ansprechen auf eine Kalibrierungsanforderung, eingegeben von einem neuen Betrachter über das Benutzer-Interface 51, steuert die Steuerung 49 die Position des Schalters 45, sodass die Bildverarbeitungseinheit 41 mit der Bildmontageeinheit 43 verbunden wird. In dieser Ausgestaltungsvariante ist während der Kalibrierungsphase eine Testkarte (nicht abgebildet) als ein unter dem Mikroskop 1 zu betrachtendes Objekt vorgesehen, die eine Anzahl sichtbarer Punkte über das Blickfeld anordnet. Der neue Beobachter wird dann angewiesen, jeden Punkt abwechslungsweise zu betrachten. Wenn er dies tut, empfängt die Montageeinheit 43 die vom Sensor 29 erzeugten Netzhautbilder und „fügt" sie zusammen, um einen Karte 47 von der Netzhautoberfläche 11 des neuen Beobachters zu erstellen. Die 3c zeigt die daraus resultierende Netzhautkarte für einen Beobachter. Diese Netzhautkarte wird dann in einem Speicher (nicht abgebildet) zum Gebrauch abgelegt, wenn das Mikroskop 1 in seinem normalen Betriebsmodus ist.
Nachdem die Kalibrierungsphase abgeschlossen ist, veranlasst die Steuerung 49 das Mikroskop, wieder in seinen normalen Betriebsmodus zurückzukehren, indem die Bildverarbeitungseinheit 41 mit dem Bildvergleicher 53 über den Schalter 45 verbunden wird. Während diesem normalen Betriebsmodus erzeugt der Sensor 29 ein Bild des Teils der Netzhaut 11 des Beobachters, welchen der Sensor gerade sehen kann. Dieses Netzhautbild wird dann von der Verarbeitungseinheit 41 in der oben beschriebenen Art verarbeitet, um eine Skizze der feinen Struktur der Netzhautoberfläche zu erzeugen. Diese Skizze wird dann zum Bildvergleicher 53 weitergeleitet, wo sie mit der Netzhautkarte 47 für den gegenwärtigen Beobachter verglichen wird. In dieser Ausgestaltungsvariante wird dieser Vergleich durchgeführt, indem eine zweidimensionale Korrelation des gegenwärtigen Netzhautbildes und der Netzhautkarte 47 durchgeführt wird. Die Resultate dieses Vergleichs werden dann zur Steuerung 49 geleitet, von welcher die Blickrichtung des Beobachters festgestellt wird. In dieser Ausgestaltungsvariante wird dann diese Information zu einer Autofokus-Steuereinheit 55 weitergeleitet, welche dazu dient, die automatische Fokussierung der Objektivlinse 3 zu steuern, sodass der vom Beobachter gerade betrachtete Teil des Objekts fokussiert ist.
Wie in 2 abgebildet, ist die Steuerung 49 auch mit einer Beleuchtungssteuereinheit 57 verbunden, welche der Steuerung der Beleuchtungsquelle 25 dient. Der Grund hierfür wird nachfolgend erklärt. In 1 wird die Beleuchtungsquelle 25 in der gleichen optischen Achse wie das Mikroskop 1 als nutzbar dargestellt. Als Resultat wird das Licht von der Beleuchtungsquelle 25, das von der Hornhaut 15 reflektiert wird (bekannt als Hornhaut- Glanz oder Schimmer), das Netzhautbild verdunkeln, welches in der Bildebene 9 erzeugt wird. Deshalb wird in dieser Ausgestaltungsvariante, wie in 4 abgebildet, eine Quelle mit sechs Licht abgebenden Bereichen 61-1 bis 61-6 verwendet, welche um die optische Achse angeordnet sind. Im Betriebszustand werden nur diese Licht abgebenden Bereiche, die keinen Hornhaut-Glanz im Netzhautbild (für die gegenwärtige Blickrichtung) hervorrufen, zu einer bestimmten Zeit benutzt. Welche davon für eine gegebene Blickrichtung ausgeschaltet sein sollten, kann entweder im Voraus während den Kalibrierungsvorgang oder in Realzeit festgestellt werden, indem man das Vorhandensein von Hornhaut-Glanz im gegenwärtigen Netzhautbild überwacht. In dieser Ausgestaltungsvariante wird die Blickrichtung des Beobachters fünfzig Mal pro Sekunde festgestellt und das letztere Verfahren wird verwendet, um zu prüfen, welche Licht abgebenden Bereiche ausgeschaltet werden sollen.
Die Beleuchtungsquelle 25 dient vorzugsweise dazu, um Licht von einer Wellenlänge im Bereich von 800 bis 950 nm zu erzeugen. Dem ist so, weil die Übertragung der Okularmedien und das Reflexionsvermögen der Netzhaut bei diesen Wellenlängen beide hoch sind. Diese Wellenlängen sind zudem unsichtbar für das menschliche Auge und sollten nicht in irgendeiner Reduktion der Pupillengröße oder in einer Reduktion der Qualität des durch das Mikroskop untersuchten Bildes resultieren. Wie es Fachleute schätzen werden, könnten jedoch auch Beleuchtungsquellen benutzt werden, die mit anderen Licht-Wellenlängen funktionieren. In dieser Ausgestaltungsvariante enthält die Beleuchtungsquelle 25 ein hochleistungsfähiges 850 nm LED, welches etwa 0.2 mW an die vordere Augenoberfläche abgibt, was gut innerhalb der gegenwärtigen Augen-Sicherheitsempfehlungen liegt.
Wie es die Fachleute schätzen werden, arbeitet die oben beschriebene Blickerfassungstechnik gut in dieser Mikroskopanwendung, weil das Auge des Beobachters immer auf die Zwischenbildebene 9 fokussiert ist. Als Resultat wird jegliches von der Netzhaut reflektierte Licht ein scharfes Bild der Netzhaut in dieser Zwischenbildebene 9 erzeugen. Folglich wird durch Anbringung des Sensors 29 in einer Ebene, die mit der Zwischenbildebene hinsichtlich der Linse 31 kongruent ist, das Netzhautbild auf dem Sensor 29 erzeugt.
Diese Blickerfassungstechnik ist auch vorteilhaft, weil sie unabhängig von Kopfbewegungen ist und gibt ein direktes Maß der Blickposition des Beobachters, ohne sich auf Messungen der Größe, Form oder Augenposition beziehen zu müssen (welche bei anderen Blickerfassungstechniken, die von der Augenoberfläche reflektiertes Licht benutzen, erforderlich sind, um die Blickrichtung festzustellen).
Alternative Ausgestaltungsvarianten
Eine Anzahl von Modifikationen und alternativen Ausgestaltungsvarianten wird nun unter Bezugnahme auf die 5 bis 9 beschrieben.
In der oben beschriebenen Ausgestaltungsvariante wurde die Information der Blickrichtung zur Steuerung des automatischen Fokus des Mikroskops 1 verwendet. Wie es Fachleute schätzen werden, kann die Information der Blickrichtung für andere Zwecke verwendet werden. 5 zeigt die Verarbeitungsblöcke, welche in einer Ausgestaltungsvariante verwendet werden, bei der die Blickinformation zur Bewegungssteuerung des Mikroskops 1 genutzt wird. Verarbeitungsblöcke, die denen gleich sind, wie in 2 beschrieben sind, haben dieselbe Bezugsziffer. Wie abgebildet, ist der einzige Unterschied in dieser Ausgestaltungsvariante die Bereitstellung eines Servo-Reglers 65, der dazu dient, die Blickinformationsausgabe der Steuerung 49 zu empfangen und hierauf den Betrieb einer Anzahl von Motoren 67 zu regeln, die das Mikroskop über dem betrachteten Objekt bewegen.
6 zeigt die Anordnung der Verarbeitungs- und Steuerelektronik, die in einer weiteren Ausgestaltungsvariante der Erfindung benutzt wird. Wie in
6 abgebildet, werden in dieser Ausgestaltungsvariante nur die Netzhautbilder von der Bildverarbeitungseinheit 41 verarbeitet, die zur Erstellung der Netzhautkarte 47 verwendet werden. Folglich wird der Bildvergleicher 53 während dem normalen Betriebsmodus des Mikroskops dazu benutzt, um die gegenwärtige Netzhautbildausgabe vom Sensor 29 mit der Netzhautkarte 47 zu vergleichen. Zusätzlich, wie in 6 gezeigt, wird die Information der festgestellten Blickrichtung zur Steuerung der Positionierung des Mikroskops und der Fokussierung der Objektivlinse 3 verwendet. Die in 6 dargestellte Ausgestaltungsvariante zeigt, dass die Verarbeitung der durch den Sensor 29 erzeugten Netzhautbilder zwecks Feststellung der Blickrichtung nicht wesentlich ist. Dennoch werden bei dieser bevorzugten Ausgestaltungsvariante die Netzhautbilder verarbeitet, um die Datenmenge zu reduzieren, welche vom Bildvergleicher 53 verglichen werden muss.
7 zeigt die Verarbeitungs- und Steuerblöcke, die noch in einer anderen Ausgestaltungsvariante der vorliegenden Erfindung verwendet werden. Wie abgebildet, wird in dieser Ausgestaltungsvariante nur das Netzhautbild, das während dem normalen Gebrauch des Mikroskops erstellt wird, von der Bildverarbeitungseinheit 41 verarbeitet, bevor es durch den Bildvergleicher 53 mit der Netzhautkarte 47 verglichen wird. In dieser Ausgestaltungsvariante wird die von der Steuerung erlangte Blickrichtungs-Information zu einem Display-Treiber 71 weitergeleitet, der die Anzeige des Menüs auf einem Display 73 steuert, welches sich im Sucher des Mikroskops befindet.
In den oben genannten Ausgestaltungsvarianten wurde eine Beleuchtungsquelle mit einer Vielzahl von Licht abgebenden Bereichen, die nützlicherweise um die optische Achse des Mikroskops angeordnet sind, mit nur einigen der zu irgendeiner Zeit verwendeten Licht abgebenden Bereichen ausgestattet, um den Effekt des Hornhaut-Glanzes zu reduzieren. Eine alternative Technik, welche verwendet werden könnte, um dieses Problem zu verhindern, ist die Verwendung einer Beleuchtungsquelle, die ein kreisförmiges polarisiertes Licht erzeugt. Insbesondere wird die Polarität von kreisförmigem polarisiertem Licht, das von der Oberfläche der Hornhaut reflektiert wird, umgekehrt. Jedoch wird von der Netzhaut reflektiertes Licht diffus reflektiert und wird folglich noch einen bedeutenden Bestandteil der ursprünglichen Polarität enthalten. Infolgedessen ist es möglich, die Menge des von der Hornhaut zurückreflektierten Lichts, das den Sensor erreicht, zu verringern, indem man eine Kombination einer Viertel-Wellenplatte und Polarisator verwendet. Dadurch wird es möglich, das diffuse Licht von der Netzhaut wahrzunehmen.
Eine andere Technik zur Lösung des Problems des Hornhaut-Glanzes ist, den Beleuchtungsstrahl zu defokussieren, sodass er nicht auf der Hornhaut fokussiert ist. Während diese Technik erfolgreich ist, ergibt sich ein viel kleinerer Teil der abgebildeten Netzhaut, da die Pupille das Licht einschränkt, das in das Auge eintritt.
In den oben ausgeführten Ausgestaltungsvarianten wurde das Licht zur Beleuchtung der Netzhaut nach dem Okular 5 zugeführt. 8 illustriert schematisch die Anordnung eines Mikroskops, bei dem das Beleuchtungslicht vor dem Okular 5 zugeführt wird. Da das Licht bei dieser Ausgestaltungsvariante das Okular 5 passieren muss, ist das Okular 5 vorzugsweise mit einer Anti-Reflexions-Schicht beschichtet, um die direkte Reflexion des Beleuchtungslichts durch das Okular 5 zu minimieren.
In den oben ausgeführten Ausgestaltungsvarianten wurde eine Beleuchtungsquelle 25 verwendet, um die Netzhaut des Beobachterauges des Beobachters zu beleuchten. Wie es die Fachleute schätzen werden, kann das Licht von dem beobachteten Objekt bei manchen Anwendungen für die Netzhaut-Beleuchtung ausreichend sein, wobei dann in diesem Fall die Beleuchtungsquelle 25 nicht notwendig ist.
In einer verbesserten Ausgestaltungsvariante der Erfindung wird das Licht der Beleuchtungsquelle in Impulsen gesendet, die mit der Ablesefrequenz des CCD-Sensors synchronisiert sind. Dies soll die Strahlung auf die Netzhaut des Beobachters verringern.
Die oben beschriebenen Ausgestaltungsvarianten nehmen alle Bezug auf eine Blickerfassungstechnik für die Anwendung bei einem optischen Mikroskop. Wie es die Fachleute schätzen werden, kann die oben beschriebene Blickerfassungstechnik in vielen anderen optischen Instrumenten eingesetzt werden, z. B. in Kameras, Teleskopen, etc.
9 zeigt ein schematisches Diagramm einer Kamera 81, die die oben ausgeführte Blickerfassungstechnik einsetzt. Wie abgebildet, umfasst die Kamera 81 eine Objektivlinse 3, um das Objekt auf die Zwischenbildebene zu fokussieren. Jedenfalls wird in einer Kamera ein reelles Bild in der Zwischenbildebene durch die Anordnung eines diffundierenden Glasschirms 83 in der Zwischenebene erzeugt. Das reelle Bild, das auf dem diffundierenden Glasschirm abgebildet wird, wird dann von dem Beobachter durch das Okular 5 und ein Prisma 85 betrachtet. Das Prisma 85 dient dazu, das Bild richtig auszurichten. Die Kamera hat auch einen Spiegel 87, der auf und ab bewegt werden kann, sodass das Licht von dem Objekt auf den Film 89 fokussiert wird. Die übrigen Bestandteile der Vorrichtung zur Blickerfassung sind dieselben wie die in den oben beschriebenen Mikroskopausgestaltungsvarianten und werden deshalb nicht nochmals beschrieben. Jedoch sollte erwähnt werden, dass in dieser Ausgestaltungsvariante der Sensor 29 und die Linse 31 vor dem diffundierenden Glasschirm 83 angeordnet sind, da das Netzhautbild die diffundierende Glasplatte nicht durchdringen kann. Dies ist jedoch nicht wichtig, da der Sensor 29 immer noch in einer Ebene angeordnet ist, die mit der Zwischenbildebene konjugiert ist.
In den oben beschriebenen Ausgestaltungsvarianten wurden die Blutgefäße in der Netzhautobertläche zur Bestimmung der Blickrichtung des Beobachters verwendet. Wie es die Fachleute schätzen werden, können andere Merkmale der Netzhaut genutzt werden. Z. B. kann stattdessen die Lage der Netzhautgrube (Fovea) bzw. deren Zapfen verwendet werden. Da dies jedoch eine relativ hohe Vergrößerung benötigt, wird die Verwendung der Blutgefäße bevorzugt, da diese leichter erkennbare Merkmale haben.
In der oben beschriebenen Ausgeslaltungsvariante ermittelt die Verarbeitungselektronik die Blickrichtung des Beobachters 50 Mal pro Sekunde. Wenn das System infolgedessen die gegenwärtige Blickrichtung ermittelt hat, kann es diese Information dazu verwenden, die Verarbeitungsmenge zu verringern, welche zum Vergleich des gegenwärtigen Netzhautbildes mit der Netzhautkarte erforderlich sind. Insbesondere kann es die zuletzt erhaltene Blickrichtung dazu verwenden, um den Teil der Netzhautkarte zu identifizieren, der dem gegenwärtigen Netzhautbild entspricht und dann diesen Teil der Netzhautkarte als Startpunkt verwenden.
In den oben beschriebenen Ausgestaltungsvarianten musste erst eine Netzhautkarte von der Netzhaut eines je jeden Beobachters erzeugt werden – vorzugsweise – während eines Kalibrierungsvorgangs, bevor dieser Anwender das Mikroskop benutzen kann. In einer alternativen Ausgestaltungsvariante können die Netzhautkarten einer Anzahl von Benutzern zu einer Schablonenvorlage kombiniert werden, die die allgemeinen Merkmale der Netzhautbilden von den auszubildenden Benutzern ausgestaltet. Diese Schablonenvorlage kann dann für jeden Benutzer verwendet werden, ohne dass der neue Benutzer den Kalibrierungsvorgang durchgehen muss. Während diese Ausgestaltungsvariante den Vorteil bietet, dass die Schablone benutzerunabhängig ist, leidet sie unter dem Problem, dass das System nur so gut wie die Schablone sein wird.
In den oben beschriebenen Ausgestaltungsvarianten würde das System automatisch den Fokus der Objektivlinse verändern, wenn sich die Blickrichtung des Beobachters zu einer a deren Position im Blickfeld bewegte, welche unscharf war. In einigen Anwendungen könnte solch eine automatische Veränderung des Fokus nicht erwünscht sein. In diesem Fall könnte die Verarbeitungselektronik so angeordnet werden, dass die automatische Fokussierung nur ändert, falls entweder der Benutzer für eine vorher festgelegte Zeitspanne auf denselben Punkt fokussiert bleibt oder wenn der Beobachter einen Steuerbefehl eingibt, der signalisiert, dass er den Fokus geändert haben will.
In den oben beschriebenen Ausgestaltungsvarianten wurde ein Strahlenteiler verwendet, um den Sensor und die Sensorlinse exakt auf der Mikroskop-Achse anzuordnen. Wie es die Fachleute schätzen werden, ist es nicht wesentlich, einen solchen Strahlenteiler zu verwenden. Z. B. können der Sensor und die Sensorlinse in einem Winkel zu der optischen Achse des Mikroskops angeordnet sein, vorausgesetzt, dass der Sensor noch die Zwischenebene „sehen" kann. Wenn der Sensor im Vergleich zum Durchmesser der Objektivlinse relativ klein ist, dann kann der Sensor alternativ noch entlang der Achse der Objektivlinse angeordnet werden. Jedoch ist diese Ausgestaltungsvariante nicht bevorzugt, weil sie die Lichtmenge reduziert, die in das Auge des Beobachters eintritt.
Anstatt den Strahlenteiler 23 zu verwenden, könnte es eine Variante dieser Ausgestaltungsform sein, den Sensor 29 auf die Zwischenbildebene 9 durch das Okular 5 hindurch auszurichten und die Rückseite des Strahlenteilers 21 zur Reflexion des Netzhautbildes auf die gegenüberliegende Seite der Lichtquelle 25 zu verwenden. Dort würden eine modifizierte Linse 31 und der Sensor 29 angeordnet sein. An der Stelle der gestrichelten Linie 9 würde ein teilweise transparenter Spiegel angeordnet sein, um das Netzhautbild durch das Okular 5 in den Sensor 29 zu reflektieren.
In den oben beschriebenen Ausgestaltungsvarianten ist ein einzelner optischer Strahlengang durch die optischen Instrumente dargestellt worden. Wie es die Fachleute schätzen werden, könnte eine ähnliche Vorrichtung zur Blickerfassung in dem anderen optischen Strahlengang vorgesehen sein, wo es zwei optische Strahlengänge gibt (einen für jedes Auge). Falls das opti sche Instrument dem Beobachter ermöglicht, das Objekt mit beiden Augen zu betrachten, dann könnte alternativ dazu eine einzeln auswählbare Vorrichtung zur Blickerfassung zur Verfügung gestellt werden.
Jedoch würden zwei Vorrichtungen zur Blickerfassung (eine in jedem optischen Strahlengang) auch eine automatische motorisierte Justierung der zwei Okulare zueinander bezüglich dem Augenabstand des Benutzers erlauben. Es würde es auch erlauben, immer das dominante Auge eines Benutzers erfassen zu lassen, da die Bewegung des dominanten Auges durch den Vergleich der Bewegungen beider Augen ermittelt werden könnte.
In der oben beschriebenen Ausgestaltungsvariante wird der Vergleich der gegenwärtigen Netzhautbildausgabe des Sensors mit der Netzhautkarte durch den Gebrauch einer zweidimensionalen Korrelationstechnik durchgeführt. Wie es die Fachleute schätzen werden, können andere Vergleichstechniken eingesetzt werden. Z. B. können die „aktiven Formmodelle", von Cootes et al an der Universität von Manchester entwickelt, verwendet werden, um die charakteristischen Merkmale in der Netzhaut nachzubilden. Der Vergleich würde dann beinhalten, dass ähnliche Formmodelle, die für das gegenwärtige Netzhautbild erzeugt wurden, mit den gespeicherten Formmodellen für die Netzhautkarte verglichen werden. Die Zeitschrift mit dem Titel „Use of Active Shape Models for Locating Structures in Medical Images" beschreibt, wie diese Formmodelle Strukturen im menschlichen Körper für nachträgliche Identifikationszwecke nachbilden können.
Weitere Ausgestaltungsvarianten sind für die Fachleute offensichtlich. Die oben beschriebenen Anordnungen und Varianten sind nur als Beispiele veranschaulicht worden und die Varianten, die bei einigen der Anordnungen gemacht wurden, werden, wie es die Fachleute schätzen werden, für andere Ausgestaltungsvarianten anwendbar sein.
In den Ansprüchen bedeutet „umfassen" auch „enthalten".

Claims

Ein optisches Instrument (1) zur Darstellung eines sichtbaren Bildes eines Objekts (7), welches: – eine Objektivlinse (3) zur Bildung eines sichtbaren Bildes eines Objekts (7) in einer Bildebene (9), – einen Augensensor (29) zum Erfassen der Blickrichtung eines Benutzers, der das sichtbare Bild betrachtet und – Mittel zur Justierung oder Kontrolle einer kontrollierbaren Funktion des besagten optischen Instruments (1) in Abhängigkeit zur abgetasteten Blickrichtung umfasst, dadurch gekennzeichnet, dass der Augensensor (29) mit umfasst: – eine Retinabildsammelvorrichtung; – einen Speicher zum Speichern der Retinabildinformation des Benutzer und – vergleichende Mittel (53), zum Vergleichen der Signale, welche stellvertretend für ein durch die Retinabildsammelvorrichtung erzeugtes Retinabild stehen, mit der gespeicherten Retinabildinformation über die Blickrichtung des Benutzers zu erzeugen; wobei die Retinabildsammervorrichtung weiterhin umfasst: – eine Sensorlinse (31), um das von der Retina (11) des Benutzers reflektierte Licht zu fokussieren; – einen Bildumformer, zur Erzeugung eines elektrischen Bildsignals eines Teils der Retina (11) des Benutzers, wobei der Umformer, in einer Ebene angeordnet ist, die dann konjugiert zur Bildebene (9) ist, zur Retina (11) des Benutzerauges (13), wenn der Benutzer besagtes sichtbares Bild ansieht.
Ein Instrument nach Anspruch 1, dadurch gekennzeichnet, dass ein Okular (5) enthalten ist, durch welches der Benutzer das besagte sichtbare Bild sehen kann und wobei vorzugsweise das Okular (5) ein Objektsystem zur Erhöhung des sichtbaren Sichtfeldes des optischen Instruments (1) umfasst.
Ein Instrument nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass besagte Sensorlinse und besagter Bildumformer von der optischen Achse des besagten Instrumentes (1) entfernt angeordnet sind.
Ein Instrument nach Anspruch 3, dadurch gekennzeichnet, dass es einen Strahlenteiler (21, 23) zur Reflexion des Lichts von der Retina (11) auf die besagte Sensorlinse und auf den besagten Bildumformer umfasst.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagter Bildumformer einen CCD-Sensor, vorzugsweise einen 2D-CCD-Sensor, umfasst.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Beleuchtungsquelle (25) zur Beleuchtung des Benutzerauges (13) und weiterhin eine Beleuchtungslinse zum Fokussieren des Lichts von der Beleuchtungsquelle (25) umfasst.
Ein Instrument nach Anspruch 6, dadurch gekennzeichnet, dass besagte Beleuchtungslinse geeignet ist, um im Gebrauch das Licht von der Beleuchtungsquelle (25) auf die Hornhaut (15) des Benutzerauges (13) zu fokussieren.
Ein Instrument nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Beleuchtungsquelle (25) geeignet ist, um ein Licht mit einer, bevorzugt unsichtbaren Wellenlänge, insbesondere im Bereich von 800 nm bis ungefähr 950 nm, zu erzeugen.
Ein Instrument nach Anspruch 8, dadurch gekennzeichnet, dass die Beleuchtungsquelle (25) eine 850 nm LED umfasst.
Ein Instrument nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Beleuchtungsquelle (25) in einem Winkel zu der optischen Achse des Mikroskops angeordnet ist.
Ein Instrument nach Anspruch 10, dadurch gekennzeichnet, dass es weiter einen, auf der optischen Achse des Instruments (1) angeordneten Strahlenteiler (21,23) umfasst, für das Reflektieren des Lichts von der Beleuchtungsquelle (25) in das Auge (13).
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zur Hälfte versilberter Spiegel in der Zwischenbildebene (9) angeordnet ist, vorzugsweise um das Retinabild durch das Okular (5) zu reflektieren.
Ein Instrument nach einem der Ansprüche 6 bis 12, falls abhängig von Anspruch 2 oder 3, dadurch gekennzeichnet, dass mittels der Beleuchtungsquelle (25) geeignet ist das Auge (13) durch das Okular (5) zu beleuchten.
Ein Instrument nach Anspruch 13, dadurch gekennzeichnet, dass besagtes Okular eine Anti-Reflex-Beschichtung zur Vermeidung von Lichtreflexion des Lichts der Beleuchtungsquelle von dem Okular (5) in den Bildumformer umfasst.
Ein Instrument nach einem der Ansprüche 6 bis 14, dadurch gekennzeichnet, dass die Beleuchtungsquelle (25) eine Vielzahl Licht emittierende Abschnitte zur Ausleuchtung des Benutzerauges (13) aus verschiedenen Winkeln umfasst.
Ein Instrument nach Anspruch 15, dadurch gekennzeichnet, dass es Steuerungsmittel zum selektiven Betrieb eines oder mehrerer der besagten Licht emittierenden Anteile umfasst.
Ein Instrument nach Anspruch 16, dadurch gekennzeichnet, dass mittels besagtem Steuerungsmittel ein oder mehr der besagten Abschnitte in Abhängigkeit von der Blickrichtung des Benutzers auswählbar sind.
Ein Instrument nach Anspruch 16, dadurch gekennzeichnet, dass mittels besagtem Steuerungsmittel ein oder mehr der besagten Abschnitte in Abhängigkeit von der Retinabildsignalausgabe von dem besagten Bildumformer auswählbar sind.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagter Bildumformer im Betriebszustand, ein Retinabildsignal mehrere Male in der Sekunde ausgibt, vorzugsweise zwischen zehn und fünfzig Mal pro Sekunde.
Ein Instrument nach Anspruch 19, dadurch gekennzeichnet, dass der Lichtsensor im Betriebszustand, Licht in Impulsen sendet, die mit besagter Bildumformfrequenz synchronisiert sind.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es Mittel umfasst, die das Retinabildsignal verarbeiten, um die charakteristischen Merkmale im Retinabild hervorzuheben.
Ein Instrument nach Anspruch 21, dadurch gekennzeichnet, dass besagte charakteristischen Merkmale Blutgefässe einschliessen.
Ein Instrument nach Anspruch 21 oder 22, dadurch gekennzeichnet, dass besagte Verarbeitungsmittel Randdetektionsmittel zur Detektion von Rändern im Retinabild umfassen.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagte gespeicherte Retinabildinformation eine Karte der Benutzer-Retina (11) umfasst.
Ein Instrument nach Anspruch 24, dadurch gekennzeichnet, dass besagte Retina-Karte im Voraus während einer Kalibrierungsroutine erzeugbar ist, bei welcher der Benutzer auf verschiedene vordefinierte Stellen im Sichtfeld des Instruments (1) schaut und bei welcher der Bildumformer ein Retinabild für jede der vordefinierten Stellen erzeugt, von welcher die Retina-Karte für den Benutzer bestimmt ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagte steuerbare Funktion die automatische Fokussierung der Objektivlinse ist, sodass der Punkt im Blickfeld, welchen der Benutzer betrachtet, scharfgestellt ist und/oder dass besagte steuerbare Funktion die Bewegung des optischen Instruments (1) über das betrachtete Objekt (7) ist.
Ein Instrument mit zwei optischen Strahlengängen (Stereostrahlengänge) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagte steuerbare Funktion die Anpassung der Okulare (5) jeweils zueinander bezüglich dem Augenabstand eines Benutzerauges (13) ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagte kontrollierbare Funktion der Inhalt eines Displays (73) ist, das optisch auf das Sichtfeld des Instruments (1) übertragbar ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass besagter Bildumformer an einer zur Bildebene (9) konjugierten Ebene hinsichtlich besagter Sensorlinse angeordnet ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ein Mikroskop (1) ist, vorzugsweise mit einem Okular (5), durch welches der Benutzer das besagte sichtbare Bild betrachten kann.
Ein Instrument nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es eine Kamera ist.
Verfahren zum Betrieb eines optischen Instruments (1) zur Darstellung eines sichtbaren Bildes eines Objekts (7), folgende Schritte umfassend – Zur-Verfügung-Stellung einer Objektivlinse zur Darstellung eines sichtbaren Objektivbildes in einer Bildebene (9), – Erfassung einer Blickrichtung eines Benutzers, der das sichtbare Objekt betrachtet, und – Steuerung einer steuerbaren Funktion des optischen Instruments (1) in Abhängigkeit von der erfassten Blickrichtung, dadurch ge kennzeichnet, dass besagter Erfassungsschritt die Schritte beinhaltet, dass: (i) eine Sensorlinse verwendet wird, um das von der Retina (11) des Benutzers reflektierte Licht zu fokussieren; (ii) ein Bildumformer vorgesehen ist, der ein elektrisches Bildsignal eines Teils der Retina des Benutzers erzeugt, wobei besagter Umformer, in einer der Bildebene (9) zugeordneten Ebene angeordnet ist, zu der Retina (11) des Benutzerauges (13), beim Betrachten des sichtbaren Bildes und (iii) der Bildumformer die für das Retinabildsignal stellvertretend erzeugten Signale mit gespeicherten Retinabildinformationen vergleicht, um anzeugende Blickinformationen über die Blickrichtung des Benutzers zu erzeugen.