DE69919383T2

DE69919383T2 - System für die blickrichtung der augen

Info

Publication number: DE69919383T2
Application number: DE1999619383
Authority: DE
Inventors: Euan Harston MORRISON; Edward Alan Harston GREEN; Nicholas A. Harston SAFFORD
Original assignee: Leica Microsystems Schweiz AG
Current assignee: Leica Microsystems Schweiz AG
Priority date: 1998-11-02
Filing date: 1999-11-02
Publication date: 2005-12-01
Anticipated expiration: 2019-11-03
Also published as: AU1056800A; GB9823977D0; DE69919383D1; WO2000026713A1; EP1131663A1; US6634749B1; JP2002529763A; ATE273525T1; EP1131663B1

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und Methode zur Verfolgung der Blickrichtung eines Beobachters.
Die Erfindung hat besondere Bedeutung bei einer Vorrichtung zur Blickerfassung für die Anwendung bei optischen Geräten, welche ein sichtbares Bild eines Objektes erzeugen, wie Mikroskope, Kameras, Teleskope, etc.
Leica Microsystems AG hat schon in WO96/13743 ein Mikroskopsystem vorgeschlagen, welches Blickerfassungstechniken anwendet, um die Blickposition eines Beobachters, der ein Bild durch ein Mikroskopokular betrachtet, zu verfolgen. Dessen Blickinformationen werden z.B. verwendet, um ein Autofokussystem zu kontrollieren. Dies ist besonders nützlich bei hoher Vergrößerung, wo die Tiefenschärfe oft begrenzt und nur ein kleiner Teil des gesamten Blickfeldes zu einer bestimmten Zeit schart eingestellt ist. Dieses frühere Patent offenbart auch, dass die Blickinformation zur Steuerung von anderen Funktionen des Mikroskops verwendet werden kann, einschließlich einer freihändigen Bewegung des Mikroskops oder den Betrieb eines menügesteuerten Computersystems, welches über das normale Blickfeld des Beobachters überlagert wird.
EP588290 offenbart eine Kamera mit einem Blickrichtungsermittlungsgerät, das mit mehreren Lichtquellen ausgerüstet ist, um die Position der Pupillenmitte zu ermitteln.
Es gibt viele verschiedene Techniken, welche zur Blickerfassung verwendet werden können. Die zwei gebräuchlichsten Methoden sind Limbus-Erfassungseinrichtungen und Video-Blickerfassungseinrichtungen.
Limbus-Erfassungseinrichtungen funktionieren normalerweise mittels Beleuchtung der Augen des Beobachters, typischerweise mit einem oder mehreren Infrarot-LEDs und mit einem oder mehreren Photodetektoren, um das Licht zu erfassen, welches von dem Augenweiß (Sclera) reflektiert wird.
Da die vom Augenweiß reflektierte Lichtmenge abhängig von der Position der dunklen Regionen (Pupille und Iris) variiert, ist es möglich festzustellen, wohin im angegebenen Blickfeld der Beobachter gerade hinschaut. Jedoch kann diese Art der Vorrichtung zur Blickerfassung den Blickwinkel nicht eindeutig feststellen, da nur Informationen in Bezug auf die Position des Iris-Sclera-Umrisses erfasst werden. Während die Limbus-Erfassungstechnik ziemlich gute Informationen über die horizontale Position der Augenoberfläche vermittelt, kann sie außerdem wegen der Behinderung durch Augenwimpern und -lider die vertikale Position nicht exakt feststellen.
Es gibt viele verschiedene videogestützte Blickerfassungstechniken. Einige von ihnen beleuchten einfach das Auge und beobachten die Pupille mit einem Bildverarbeitungssystem. Durch die Bestimmung der Mitte der Pupille anhand des Bildes kann die Information bezüglich der Blickrichtung des Auges ermittelt werden. Diese Technik leidet jedoch unter dem Problem, dass die Kopfbewegungen des Beobachters nicht von den Augenbewegungen unterschieden werden können.
Andere, höher entwickelte, videogestützte Vorrichtungen zur Blickerfassung sind vorgeschlagen worden, welche die Position der Purkinjeschen Bilder erfassen. Die Purkinjeschen Bilder sind Reflexionen der Beleuchtungsquelle über die Oberflächen der Hornhaut sowie der Augenlinse (oft bezeichnet als Glanz oder Schimmer). Während diese Technik relativ exakt ist, weil sie von Kopfbewegungen unabhängig ist, leidet sie unter dem Problem, dass einige der Purkinjeschen Bilder (welche von der Augenlinse reflektiert werden) extrem schwach und somit schwierig klar darstellbar sind.
Ein Ziel der vorliegenden Erfindung ist es, eine andere Blickerfassungstechnik für die Anwendung bei optischen Geräten zur Verfügung zu stellen, welche ein sichtbares Bild eines Objekts erzeugen, wie Mikroskope, Kameras und dergleichen.
Gemäß einer Ausgestaltungsvariante stellt die vorliegende Erfindung ein optisches Gerät zur Erzeugung eines sichtbaren Bildes eines Objektes zur Verfügung, welches all die Eigenschaften enthält, welche in Anspruch 1 enthalten sind. Zusätzliche Ausgestaltungsformen sind in abhängigen Ansprüchen definiert.
Beispielhafte Ausgestaltungen der vorliegenden Erfindung werden nun unter Bezug zu den begleitenden Zeichnungen beschrieben, in welchen
1 – ein schematisches Diagramm, das die Hauptbestandteile eines Operationsmikroskops gemäß der vorliegenden Erfindung darstellt,
2 – ein Blockdiagramm der elektronischen Bauelemente des Mikroskops nach 1 zeigt,
3 – ein schematischer Querschnitt eines Auges eines Beobachters und des Okulars, welcher die Beziehung zwischen der Blickrichtung und der optischen Achse des Mikroskops zeigt,
4 – eine schematische Illustration eines Bildes, welches durch einen CCD-Sensor erzeugt wurde, der einen Teil der elektronischen Bestandteile bildet, die in 2 gezeigt wurden,
5a – ein Flussdiagramm, das die Ablaufsteuerung veranschaulicht, welche durch ein Steuergerät ausgeführt wird, das einen Teil der elektronischen Bestandteile bildet, die in 2 gezeigt wurden,
5b – ein Flussdiagramm, das die Verarbeitungsschritte veranschaulicht, welche von einer Bildverarbeitungseinheit ausgeführt werden, die einen Teil der elektronischen Bestandteile bildet, die in 2 gezeigt wurden,
6a – die Form einer Bildausgabe durch den CCD-Sensor schematisch veranschaulicht, nachdem ein erstes Set von Beleuchtungsquellen eingeschaltet wurde,
6b – ein durch den CCD-Sensor erzeugtes Bild schematisch veranschaulicht, nachdem ein zweites Set von Beleuchtungsquellen eingeschaltet wurde,
6c – ein Bild schematisch veranschaulicht, welches durch Kombination und durch Verarbeitung der Bilder aus den 6a und 6b erzeugt wurde,
7 – ein Blockdiagramm zeigt, welches die elektronischen Bauelemente eines optischen Geräts gemäß vorliegender Erfindung veranschaulicht.
8 – ein Blockdiagramm zeigt, welches die elektronischen Bauelemente eines optischen Geräts gemäß vorliegender Erfindung veranschaulicht.
9 – ein Blockdiagramm zeigt, welches die elektronischen Bauelemente eines optischen Geräts gemäß vorliegender Erfindung veranschaulicht und
10 – ein schematisches Diagramm einer Kamera gemäß vorliegender Erfindung.
1 ist ein schematisches Diagramm eines Operationsmikroskops 1. Das Mikroskop 1 umfasst eine Objektivlinse 3 und ein Okular 5, beide schematisch durch eine einzelne Linse dargestellt, die aber in der Praxis aus einer Anzahl von Linsen bestehen. Die Objektivlinse 3 dient dazu, ein Bild eines Objekts 7 zu erzeugen, das an einer Zwischenbildebene (dargestellt durch die gestrichelte Linie 9) überprüft wird, welche sich in dieser Ausgestaltungsvariante in der Brennebene des Okulars 5 befindet. Als Ergebnis scheint das durch den Betrachter betrachtete Objekt im „Unendlichen" zu sein, z. B. tritt das Licht vom Objekt 7 aus dem Okular 5 parallel zu der optischen Achse 10 des Mikroskops aus. Dieses Bild wird dann durch die Hornhaut 15 und die Augenlinse 17 auf die Netzhaut 11 des Betrachterauges 13 fokussiert.
Wie in 1 gezeigt, enthält das Mikroskop 1 in dieser Ausgestaltungsvariante auch zwei Strahlenteiler 21 und 23, von denen beide optisch entlang der optischen Achse 10 des Mikroskops 1 angeordnet sind. Der Strahlenteiler 21 funktioniert in der Weise, dass er das Licht einer Beleuchtungsquelle 25 auf die Hornhaut 15 des Betrachterauges 13 reflektiert. Eine Linse 27 zwischen der Beleuchtungsquelle 25 und dem Strahlenteiler 21 ist dazu vorgesehen, um das Licht von der Beleuchtungsquelle 25 im Wesentlichen auf den Brennpunkt 8 des Okulars 5 zu fokussieren, was zur Folge hat, dass das Licht von der Quelle 25, welches das Okular 5 verlässt, im Wesentlichen parallel zu der Achse 10 des Mikroskops ist. Etwas von diesem Beleuchtungslicht wird von der Oberfläche der Hornhaut 15 durch das Okular 5 in die Richtung des Strahlenteilers 23 reflektiert, von wo es wiederum reflektiert wird und durch eine Linse 31 auf einen CCD-Sensor 29 fokussiert wird. Wie in 1 gezeigt, wird das vom CCD-Sensor 29 erzeugte Bild zu einer elektronischen Verarbeitungseinheit 33 weitergeleitet, welche in dieser Ausgestaltungsvariante dazu dient, das erhaltene Bild so zu verarbeiten, dass die Blickrichtung des Beobachters festgestellt und die Autofokussierung der Objektivlinse 3 dementsprechend gesteuert wird.
Das System kann in dieser Ausgestaltungsvariante die Blickrichtung in einer Auflösung von schätzungsweise ±3% des gesamten Blickfelds des Mikroskops identifizieren, welches ungefähr das ist, was man für eine natürliche saccadische Bewegung der Augen erwarten würde. Dies bedeutet, dass die Verfolgungstechnik selber eine potentiell bessere Auflösung hat als diese Darstellung. Um in dieser Ausgestaltungsvariante zusätzliches Licht zur Beleuchtung der Beobachteraugen zur Verfügung zu haben, werden voneinander getrennte Lichtquellen 35a und 35b und 37a und 37b um den äußeren Rand des Okulars 5 bereitgestellt. Vorzugsweise strahlen die Lichtquellen 25, 35 und 37 nahe dem Infrarotlicht (IR) aus, da dies für das Betrachterauge unsichtbar ist und sollte deshalb nicht in irgendeiner Reduktion der Pupillengröße oder in der Bildqualität des Mikroskopbildes resultieren. In dieser Ausgestaltungsvariante bestehen diese Lichtquellen aus hochleistungsfähigen 850nm LEDs, welche zu einer Ausgabe von 0,2 mW auf die vordere Oberfläche des Auges fähig sind, was wiederum gut den gegenwärtigen Augensicherheitsrichtlinien entspricht.
Die Methode, mittels der das System die Blickrichtung des Betrachters in dieser Ausgestaltungsvariante feststellt, wird nun anhand der 2 bis 6 beschrieben. 2 ist ein Blockdiagramm, das die Hauptbestandteile der Vorrichtung zur Blickerfassung veranschaulicht, welche in dieser Ausgestaltungsvariante zur Feststellung der Blickrichtung des Beobachters verwendet werden. Wie gezeigt, wird das Ausgabebild der CCD-Kamera 29 zu einem Speicher 39 geliefert, wo es von einer Bildverarbeitungseinheit 41 verarbeitet wird, um die Blickrichtung des Beobachters zu bestimmen. Dies wird dadurch erreicht, indem man die Position des reflektierten Bildes der Beleuchtungsquelle 25 im Verhältnis zum Zentrum der Pupille des Betrachters überwacht.
3 zeigt schematisch einen Querschnitt des Betrachterauges, welcher die Hornhaut 15, die Iris 14, das Okular 5 und die Bildebene 9 zeigt. Wie gezeigt, steht der Blickwinkel Θ_x im Verhältnis zu der Distanz (x) zwischen der optischen Achse 10 des Mikroskops 1 und dem Punkt (p) auf der Bildebene 9, welchen der Betrachter gerade anschaut. Falls die CCD-Kamera 29 auf die vordere Oberfläche des Betrachterauges fokussiert wird, z. B. auf der Ebene 16, dann ist auch der Blickwinkel (Θ_x) von der Distanz (δx) zwischen dem Schnittpunkt der Achse 10 des Mikroskops und der Ebene 16 sowie dem beobachteten Zentrum der Betrachterpupille (c_p) abhängig. Folglich stehen δx und x in einem linearen Verhältnis. Wie es Fachleute schätzen werden, obgleich 3 einen Querschnitt des Mikroskops in der x-z-Ebene veranschaulicht, existiert eine ähnliches Verhältnis für den Blickwinkel (Θ_y) in der y-z-Ebene. Zwecks Festlegung des Verhältnisses zwischen δx und x und des Verhältnisses zwischen δy und y, verwendet das System in dieser Ausgestaltungsform ein Kalibrierungsprogramm (welches der Beobachter via dem Benutzer-Interface 51 initiieren kann), in welchem der Beobachter gebeten wird, eine Vielzahl von bekannten Punkten auf dem Blickfeld des Mikroskops zu betrachten und in welchem die CCD-Kamera 29 Bilder des Beobachterauges erfasst, wenn der Beobachter jeden dieser Punkte betrachtet. Diese Punkte können identifiziert werden, indem eine passende Kalibrierungskarte zur Verfügung gestellt wird, die mit dem Mikroskop betrachtet werden kann. Durch die Verarbeitung dieser Bilder kann eine Skalierung A_x und eine Nulllagen-Abweichung O_x, welche δ_x mit x in Verbindung bringt, und eine Skalierung A_y und eine Nulllagen-Abweichung O_y, welche δ_y mit y in Verbindung bringt, bestimmt werden. Diese Skalierungen und Nulllagen-Abweichungen werden dann für den Gebrauch gespeichert, wenn das Mikroskop in seinem normalen Betriebsmodus ist.
Wie in der Zeichnung in 3 gezeigt, befindet sich das Beobachterauge auf der optischen Achse des Mikroskops. Wie jedoch Fachleute es schätzen werden, da das Licht von der Lichtquelle 25 das Okular 5 als einen säulenartigen Strahl verlässt, wird eine ähnliche Beziehung bestehen, falls das Beobachterauge sich nicht auf der Achse des Mikroskops befindet. Folglich wird das System relativ unempfindlich gegenüber kleinen Kopfbewegungen um die optische Achse sein.
4 veranschaulicht schematisch ein Beispiel des Bildes, das von der CCD-Kamera 29 erzeugt wurde. Wie gezeigt, zeigt das Bild die Iris 14 und eine Reflexion oder einen Glanz 18 der Beleuchtungsquelle 25 von der Oberfläche des Auges. 4 veranschaulicht auch die Distanz δx zwischen dem Glanz 18 und dem Zentrum der Pupille 22 am Punkt c_p. Wie es Fachleute schätzen werden, kann diese Distanz durch eine simple Bildverarbeitungstechnik bestimmt werden. Deshalb kann durch die Erfassung eines Bildes des Beobachterauges und durch Messung der Distanz δx und der korrespondierenden Distanz δy der Punkt (x, y), den der Beobachter gerade auf der Bildebene 9 betrachtet, durch Gebrauch der gespeicherten Skalierungen und Nulllagen-Abweichungen festgestellt werden. Die Erfinder haben durch Experimentieren und Testen mit verschiedenen Nutzern ermittelt, dass diese Technik den Blickwinkel des Beobachters innerhalb geschätzter ± 3% des vollständigen Blickfeldes des Mikroskops ermitteln kann.
Eines der Hauptprobleme mit dieser Technik ist jedoch die Erzeugung eines eindeutigen Bildes des Beobachterauges durch den Gebrauch der CCD-Kamera 29. Gewöhnlich reicht das Licht von der Beleuchtungsquelle 25 nicht aus, um die gesamte Oberfläche des Beobachterauges auf Grund von den Verlusten in den Strahlenteiler 21 und 23 und dem Okular 5 zu beleuchten. Daher sind in dieser Ausgestaltungsform separate Beleuchtungsquellen 35 und 37 um den Rand des Okulars 5 vorgesehen, um das Beobachterauge zu beleuchten. Jedoch führt das Licht von diesen zusätzlichen Lichtquellen weitere Reflexionen oder Glanz in das Bild ein, welches von der CCD-Kamera 29 erzeugt wird, wodurch die Festlegung des Zentrums der Beobachterpupille schwierig werden kann. Der Weg, wie dieses Problem in dieser Ausgestaltungsform bewältigt wird, wird nun in Bezugnahme auf die 5 und 6 beschrieben.
5a ist ein Flussdiagramm, das die Verarbeitungsschritte durch die in 2 gezeigte Steuereinheit 49 veranschaulicht. Wie in Schritt S1 gezeigt, signalisiert die Steuereinheit 49 der Beleuchtungs-Steuereinheit 57, dass sie die Lichtquelle 25 und ein erstes Paar der seitlichen Lichtquellen 35a und 35b einschaltet. Die Steuereinheit 49 signalisiert dann in Schritt S3 der CCD-Kamera 29, dass sie ein erstes Bild des Beobachterauges aufnimmt, welches dann im Speicher 39 gespeichert wird. 6a stellt das Bild dar, welches von der CCD-Kamera in diesem Schritt erzeugt wird. Wie gezeigt, hat das Bild drei Glanzpunkte – einen zentralen Glanzpunkt 18 von der Lichtquelle 25 und zwei äußere Glanzpunkte 24a und 24b, die durch die Lichtquellen 35a beziehungsweise 35b erzeugt werden. Die Steuereinheit 49 signalisiert dann in Schritt S5 der Beleuchtungs-Steuereinheit 57, die Lichtquellen 25 und 35 auszuschalten und in Schritt S7, das andere Paar der seitlichen Beleuchtungsquellen 37a und 37b einzuschalten. In Schritt S9 signalisiert dann die Steuereinheit 49 der CCD-Kamera 29, ein zweites Bild des Beobachterauges aufzunehmen, welches dann ebenfalls im Speicher 39 abgespeichert wird. 6b veranschaulicht schematisch das resultierende Bild, das von der CCD-Kamera aufgenommen wurde, welches die äußeren Glanzpunkte 26a und 26b zeigt, die von den Beleuchtungsquellen 37a beziehungsweise 37b erzeugt wurden. Die Ablaufsteuerung fährt dann mit Schritt S11 fort, in dem die Steuereinheit 49 die Bildverarbeitungseinheit 41 anweist, die Blickrichtung des Beobachters anhand der zwei gespeicherten Bilder zu bestimmen. Sobald die Bilderverarbeitungseinheit 41 diese Blickinformation bestimmt hat, schickt sie diese zurück zur Steuereinheit 49, die in Schritt S13 die notwendigen Steuerungsaktionen ausführt. In dieser Ausgestaltungsform beinhaltet dies die Steuerung des Fokus der Objektivlinse 3 durch den Gebrauch der Autofokus-Steuerungseinheit 55.
5b ist ein Flussdiagramm, das die Verarbeitungsschritte veranschaulicht, welche durch die Bildverarbeitungseinheit 31 verarbeitet werden, um die Blickrichtung des Beobachters zu bestimmen. Wie in Schritt S21 gezeigt, erzeugt die Bildverarbeitungseinheit 41 ein glanzpunktfreies Bild aus den ersten und zweiten Bildern, die im Speicher 39 abgespeichert sind (Bilder gezeigt in den 6a und 6b, indem sie an jedem Pixel die niedrigeren Pixelwerte von den beiden Bildern nimmt. Dieses glanzpunktfreie Bild ist in 6c gezeigt. Diese Technik funktioniert, da die Glanzpunkte 18, 24 und 26 an verschiedenen Pixellagen in den beiden Bildern erscheinen und weil die Pupille viel dunkler als die Glanzpunkte ist, die Pixelwerte der Glanzpunkte werden viel größer sein. Die Ablaufsteuerung fährt dann mit Schritt S23 fort, in welchem die Bildverarbeitungseinheit 41 das Zentrum der Pupille 22 aus dem glanzfreien Bild bestimmt. In dieser Ausgestaltungsform tut sie dieses durch eine Grenzwert-Bestimmung des Bildes, um die Grenze zwischen der Pupille 22 und der Iris 14 zu erkennen. Ein möglichst enger Kreis wird dann um die gekennzeichnete Grenze gelegt und das Zentrum dieses Kreises wird dann als das Zentrum der Pupille identifiziert.
Die Ablaufsteuerung fährt dann mit Schritt S25 fort, in welchem die Bildverarbeitungseinheit die Glanzpunkte 18, 24a und 24b von dem ersten Bild extrahiert, indem das in 6c gezeigte glanzfreie Bild, von dem in 6a gezeigten Bild abgezogen wird (z. B. durch Abziehen der Pixelwerte des in 6c gezeigten Bildes von den Pixelwerten des in 6a gezeigten Bildes). Die Ablaufsteuerung fährt dann mit Schritt S27 fort, in welchem die Bildverarbeitungseinheit durch eine Grenzwert-Bestimmung des in Schritt 25 erzeugten Bildes die Position der äußeren Glanzpunkte 24a und 24b bestimmt wird. Von der so bestimmten Position der äußeren Glanzpunkte 24 aus berechnet die Bildverarbeitungseinheit 41 die Position des zentralen Glanzpunktes 18. Dies ist deshalb möglich, weil die Beleuchtungsquelle 25 (welche den zentralen Glanzpunkt 18 erzeugt) und die Beleuchtungsquellen 35a und 35b (welche die äußeren Glanzpunkte 24 erzeugen) im Verhältnis zueinander in einer bekannten Position fixiert sind. In dieser Ausgestaltungsform sind die Beleuchtungsquellen 35a und 35b diametral entgegengesetzt auf dem äußeren Rand des Okulars 5 angeordnet und die Beleuchtungsquelle 25 sitzt effektiv auf der optischen Achse des Mikroskops. Dadurch wird die Position in der Mitte zwischen den beiden äußeren Glanzpunkten liegend berechnet. Die Ablaufsteuerung fährt dann mit Schritt S29 fort, in welchem die Bildverarbeitungseinheit 41 eine genauere Position des zentralen Glanzpunktes 18 ermittelt. Dieses geschieht durch Grenzwert-Bestimmung des Bildes rund um die vorhin berechnete Position. Die Bildverarbeitungseinheit 41 bestimmt dann in Schritt S31 δx und δy anhand der bestimmten Position des zentralen Glanzpunktes 18 und dem Pupillenzentrum. Schließlich skaliert die Bildverarbeitungseinheit in Schritt S33 δx und δy durch die Verwendung der gespeicherten Skalierungen A_x und A_y und wendet die entsprechenden Nulllagen-Abweichungen O_x und O_y an, um die Blickinformation in den Bezeichnungen der x-y-Koordinaten des Punktes im Blickfeld 9, das der Beobachter betrachtet, auszudrücken. Zwecks Verfolgung der Beobachteraugen werden in dieser Ausgestaltungsform die oben aufgeführten Bearbeitungsschritte etwa 25-mal pro Sekunde durchgeführt.
Wie es Fachleute schätzen werden, arbeitet die oben beschriebene Blickerfassungstechnik gut in dieser Mikroskopanwendung, weil das Beobachterauge im Gebrauch gewöhnlich bei annähernd derselben Position in Bezug auf das Okular 5 fixiert ist. Diese Technik ist also besonders angebracht für den Gebrauch in Mikroskopen und anderen optischen Instrumenten, in welchen der Beobachter ein Bild anschaut, dass im Wesentlichen im Unendlichen erscheint, da die x-y-Position auf der Bildebene, wo der Beobachter hinschaut, einfach durch den Blickwinkel bestimmt wird. Ferner, falls das Bild echt im Unendlichen ist, werden dann kleine Kopfbewegungen keinen Einfluss auf den Blickwinkel des Beobachters haben.
Grundsätzlich können Informationen betreffend den Blickwinkel des Beobachters erhalten werden, indem die Differenz in der Position des Pupillenzentrums in Bezug auf irgendeinen der Glanzpunkte, die von irgendeiner der Beleuchtungsquellen produziert wurden, gemessen wird. Jedoch erhält man viel akkuratere Resultate, wenn man Glanzlicht benutzt, das durch eine Quelle (Beleuchtungsquelle 25) erzeugt wird, die auch im Unendlichen wirksam ist. Dafür gibt es zwei Hauptgründe. Erstens wird der Glanzpunkt nahe dem Zentrum der Hornhautwölbung erzeugt, wo der Radius der Wölbung relativ konstant ist. Infolgedessen haben die relativ beträchtlichen Variationen in der Wölbung der Hornhaut, welche nahe dem Übergangspunkt von der Hornhautwölbung zum Rest des Augapfels erscheinen, wenig Einfluss auf die Messung. Dies ist nicht der Fall bei den Glanzlichter-Paaren, welche durch die Lichtquellen erzeugt werden, die am äußeren Rand des Okulars 5 angebracht sind, da diese Glanzlichter sehr nahe an dieser Übergangsregion erscheinen. Zweitens haben geringe Kopfbewegungen eine kleine Wirkung auf die relative Position der Quellen des Auges. Infolgedessen muss man nicht in irgendeiner zusätzlichen Korrektur die relative Veränderung der Quelle zum Auge in Betracht ziehen, wenn der Kopf sich bewegt. Wie bereits erwähnt, würde dies nicht der Fall sein, wenn die Glanzpunkte verwendet werden, die durch die Lichtquellen um den Rand des Okulars erzeugt werden, da die Beleuchtungsquellen relativ nah am Beobachterauge liegen.
Alternative Ausgestaltungsvarianten
Eine Anzahl von Modifikationen und alternativen Ausgestaltungsvarianten werden nun unter Bezugnahme auf die 7 bis 10 beschrieben.
In der oben beschriebenen Ausgestaltungsvariante wurde die Information der Blickrichtung zur Steuerung des automatischen Fokus des Mikroskops 1 verwendet. Wie es Fachleute schätzen werden, kann die Information der Blickrichtung für andere Zwecke verwendet werden. 7 zeigt die Verarbeitungsblöcke, welche in einer Ausgestaltungsvariante verwendet werden, bei der die Blickinformation zur Bewegungssteuerung des Mikroskops 1 genutzt wird. Verarbeitungsblöcke, die den in 2 beschriebenen gleich sind, haben dieselbe Bezugsziffer. Wie abgebildet, ist der einzige Unterschied in dieser Ausgestaltungsvariante die Bereitstellung eines Servo-Reglers 65, der dazu dient, die Blickinformationsausgabe der Steuereinheit 49 zu empfangen und hierauf den Betrieb einer Anzahl von Motoren 67 zu regeln, die das Mikroskop über dem betrachteten Objekt 7 bewegen.
8 zeigt die Anordnung der Verarbeitungs- und Steuerelektronik, die in einer weiteren Ausgestaltungsvariante der Erfindung benutzt wird. Wie in 8 abgebildet, wird in dieser Ausgestaltungsvariante die ermittelte Blickrichtungsinformation dazu gebraucht, um die Positionierung des Mikroskops und die Fokussierung der Objektivlinse 3 zu kontrollieren.
9 zeigt die Verarbeitungs- und Steuerblöcke, die noch in einer anderen Ausgestaltungsvariante der vorliegenden Erfindung verwendet werden. Wie abgebildet, wird in dieser Ausgestaltungsvariante die von der Steuerung erlangte Blickrichtungs-Information zu einem Display-Treiber 71 weitergeleitet, der die Anzeige des Menüs auf einem Display 73 steuert, welches sich im Sucher des Mikroskops befindet.
In der oben genannten Ausgestaltungsvariante wurde die CCD-Kamera 29 auf die Ebene 16 fokussiert, wie in 3 gezeigt. Vorausgesetzt, dass die Tiefenschärfe der CCD-Kamera relativ groß ist, muss das Beobachterauge nicht exakt auf der Ebene 16 sein, um fokussiert zu sein. In einer alternativen Ausgestaltungsvariante kann die CCD-Kamera 29 einen dazugehörigen Autofokus-Schaltkreis haben, der wirksam wird, um die CCD-Kamera automatisch auf die vordere Oberfläche des Beobachterauges zu fokussieren. In solch einer Ausgestaltungsvariante jedoch müsste das Linsensystem entweder telezentrisch sein oder die Kalibrierungsdaten müssten in Anlehnung an den momentanen Fokuspunkt der CCD-Kamera angepasst werden. Dies kann z. B. dadurch bewerkstelligt werden, dass der Beobachter auf verschiedene Kalibrierungspunkte in verschiedenen, unterschiedlichen Distanzen vom Okular 5 aus schauen muss, um die Beziehung zwischen den Kalibrierungsdaten und dem Fokuspunkt der CCD-Kamera zu bestimmen.
In der oben genannten Ausgestaltungsvariante wurden zwei Paar von seitlichen Beleuchtungsquellen 35 und 37 auf dem äußeren Rand des Okulars 5 vorgesehen, um das Beobachterauge zu beleuchten. Wie es die Fachleute schätzen werden, kann die Beleuchtung des Beobachterauges durch den Gebrauch einer einzelnen Beleuchtungsquelle auf dem Rand des Okulars erreicht werden. Jedoch ist dies nicht vorzuziehen, da die Beleuchtung einer einzelnen Quelle nicht für eine gleichmäßige Beleuchtung des Beobachterauges sorgt. Durch Verwendung von wenigstens zwei seitlichen Lichtquellen auf dem Rand des Okulars kann ferner der Glanz von diesen Lichtquellen in dem Bild dadurch entfernt werden, indem die erzeugten Bilder kombiniert werden, wenn nur eine der seitlichen Lichtquellen zu einem gegebenen Zeitpunkt eingeschaltet wird.
Die oben beschriebenen Ausgestaltungsvarianten nehmen alle Bezug auf eine Blickerfassungstechnik für die Anwendung bei einem optischen Mikroskop. Wie es die Fachleute schätzen werden, kann die oben beschriebene Blickerfassungstechnik in vielen anderen optischen Instrumenten eingesetzt werden, z.B. in Kameras, Teleskopen, etc. 10 zeigt ein schematisches Diagramm einer Kamera 81, die die oben ausgeführte Blickerfassungstechnik einsetzt. Wie abgebildet, umfasst die Kamera 81 eine Objektivlinse 3, um das Objekt auf die Zwischenbildebene zu fokussieren. Jedenfalls wird in einer Kamera ein reelles Bild in der Zwischenbildebene durch die Anordnung eines diffundierenden Schirms 83 in der Zwischenebene erzeugt. Das reelle Bild, das auf dem diffundierenden Schirm 83 abgebildet wird, wird dann von dem Beobachter durch das Okular 5 und ein Prisma 85 betrachtet. Das Prisma 85 dient dazu, das Bild richtig auszurichten. Die Kamera 81 hat auch einen Spiegel 87, der auf und ab bewegt werden kann, sodass das Licht von dem Objekt auf den Film 89 fokussiert werden kann. Die übrigen Bestandteile der Vorrichtung zur Blickerfassung sind dieselben wie die in den oben beschriebenen Mikroskop-Ausgestaltungsvarianten und werden deshalb nicht nochmals beschrieben. Jedoch sollte erwähnt werden, dass in dieser Ausgestaltungsvariante der CCD-Kamera 29 und die Linse 31 vor dem diffundierenden Schirm 83 angeordnet sind, da das Augenbild den diffundierenden Schirm 83 nicht durchdringen kann.
In den oben beschriebenen Ausgestaltungsvarianten wurden die Kalibrierungsdaten jedes Beobachters gespeichert. In einer alternativen Ausgestaltungsvariante könnten die Kalibrierungsdaten eines Beobachters für einen oder mehrere andere Beobachter verwendet werden. Jedoch ist solch eine Ausgestaltungsvariante nicht vorzuziehen, da die Resultate für die anderen Beobachter nicht so genau werden. Dies ist deshalb der Fall, weil die Kalibrierungsdaten für einen Beobachter vom Radius der Hornhautwölbung des Beobachters abhängen. Die Genauigkeit solcher gemeinsamer Kalibrierungsdaten kann verbessert werden, wenn es erreicht wird, dass man den Durchschnitt von Kalibrierungsdaten einiger Beobachter errechnet.
In den oben beschriebenen Ausgestaltungsvarianten würde das System automatisch den Fokus der Objektivlinse verändern, wenn sich die Blickrichtung des Beobachters zu einer anderen Position im Blickfeld bewegte, welche unscharf war. In einigen Anwendungen könnte solch eine automatische Veränderung des Fokus nicht erwünscht sein. In diesem Fall könnte die Verarbeitungselektronik so angeordnet werden, dass die automatische Fokussierung nur ändert, falls entweder der Beobachter für eine vorher festgelegte Zeitspanne auf denselben Punkt fokussiert bleibt oder wenn der Beobachter einen Steuerbefehl eingibt, der signalisiert, dass er den Fokus geändert haben will.
In den oben beschriebenen Ausgestaltungsvarianten wurde ein Strahlenteiler verwendet, um den CCD-Sensor und die Sensorlinse exakt auf der Mikroskop-Achse anzuordnen. Wie es die Fachleute schätzen werden, ist es nicht wesentlich, einen solchen Strahlenteiler zu verwenden. Z.B. können der CCD-Sensor und die Sensorlinse abseits der optischen Achse 10 des Mikroskops angeordnet sein, vorausgesetzt, dass der CCD-Sensor noch das Beobachterauge „sehen" kann. Wenn der CCD-Sensor im Vergleich zum Durchmesser der Objektivlinse relativ klein ist, dann kann der CCD-Sensor alternativ noch entlang der Achse 10 der Objektivlinse angeordnet werden. Jedoch ist diese Ausgestaltungsvariante nicht bevorzugt, weil sie die Lichtmenge reduziert, die in das Auge des Beobachters eintritt. Auf die gleiche Weise kann die Beleuchtungsquelle 25 abseits der optischen Achse 10 des Mikroskops angeordnet sein, vorausgesetzt, dass das Licht von ihm das Beobachterauge trifft und dass es in das Mikroskop und auf den CCD-Sensor zurückreflektiert wird.
In den oben beschriebenen Ausgestaltungsvarianten ist ein einzelner optischer Strahlengang durch die optischen Instrumente dargestellt worden. Wie es die Fachleute schätzen werden, könnte eine ähnliche Vorrichtung zur Blickerfassung in dem anderen optischen Strahlengang vorgesehen sein, wo es zwei optische Strahlengänge gibt (einen für jedes Auge). Falls das optische Instrument dem Beobachter ermöglicht, das Objekt mit beiden Augen zu betrachten, dann könnte alternativ dazu eine einzeln auswählbare Vorrichtung zur Blickerfassung zur Verfügung gestellt werden.

Claims

Ein optisches Instrument zur Darstellung eines sichtbaren Bildes eines Objekts (7), welches: bilddarstellende Mittel (3) zur Bildung eines sichtbaren Bildes eines Objekts (7) in einer Bildebene (9), ein Okular (5), durch das der Beobachter das besagte sichtbare Bild auf besagter Bildplatte (9) betrachten kann; einen Augensensor zum Erfassen der Blickrichtung eines Beobachters, der das sichtbare Bild durch besagtes Okular (5) betrachtet und Mittel zur Justierung einer kontrollierbaren Funktion des besagten optischen Instruments in Abhängigkeit zur abgetasteten Blickrichtung umfasst; dadurch gekennzeichnet, dass der Augensensor mit umfasst: (i) eine Lichtquelle (25), um Licht durch das besagte Okular in Richtung des Beobachterauges auszugeben; (ii) eine Linse (27), verbunden mit besagter Lichtquelle zur Erzeugung des Lichts von besagter Quelle, welches dann im Wesentlichen kollimiert ist, wenn es das besagte Okular in Richtung des besagten Beobachterauges verlässt; (iii) ein Bildumformer (5, 23, 29, 31), um die Vorderseite des Beobachterauges durch das besagte Okular abzubilden und um ein elektrisches Bildsignal auf der Vorderseite des Beobachterauges zu erzeugen; und (iv) Verarbeitungsmittel (33) zur Verarbeitung des elektrischen Bildsignals von dem besagten Bildumformer (9, 23, 29, 31), um innerhalb des Bildes die Distanz zwischen der Position einer Reflexion des Lichts von besagter Lichtquelle zum Beobachterauge zu bestimmen, und um besagte Blickrichtung zu bestimmen, indem man die besagte Distanz und die vorher festgelegten Kalibrierungsdaten, welche eine Beziehung zwischen besagter Distanz und dem Punkt auf der Bildebene (9), den der Beobachter gerade betrachtet, benutzt.
Ein Instrument nach Anspruch 1, wobei das besagte Okular ein Linsensystem beinhaltet, um das sichtbare Sichtfeld des optischen Instrumentes zu erhöhen.
Ein Instrument nach Anspruch 2, wobei besagte Linse, die mit besagter Lichtquelle verbunden ist, betriebsfähig ist, um das Licht von besagter Lichtquelle im Wesentlichen in dem Brennpunkt des besagten Okular-Linsensystem zu fokussieren.
Ein Instrument nach Anspruch 2 oder 3, wobei die besagten bilddarstellenden Mittel betriebsfähig sind, um das besagte sichtbare Bild in einer Bildebene abzubilden, welche im Wesentlichen in dem Brennpunkt des besagten Okular-Linsensystem liegt.
Ein Instrument nach einem der vorhergehenden Ansprüche, wobei besagter Bildumformer außerhalb der optischen Achse des besagten optischen Instrumentes liegt.
Ein Instrument nach Anspruch 5, wobei zusätzlich ein Strahlenteiler zur Reflexion des Lichts von der Vorderseite des Beobachterauges auf besagten Bildumformer angeordnet ist.
Ein Instrument nach einem der vorgehenden Ansprüche, wobei besagter Bildumformer einen CCD-Sensor beinhaltet.
Ein Instrument nach Anspruch 7, wobei besagter CCD-Sensor einen 2D-CCD-Sensor beinhaltet.
Ein Instrument nach Anspruch 7 oder 8, wobei besagter Bildumformer überdies eine Linse umfasst, um das Licht vom Beobachterauge auf den besagten CCD-Sensor zu fokussieren.
Ein Instrument nach Anspruch 9, wobei besagte Bildumformerlinse auf eine Ebene in einer vorher festgelegten Distanz vor dem besagten Okular fokussierbar ist.
Ein Instrument nach Anspruch 9, wobei besagter Bildumformer überdies Autofokus-Mittel umfasst, um automatisch die besagte Bildumformerlinse auf die vordere Oberfläche des besagten Beobachterauges zu fokussieren.
Ein Instrument nach einem der vorhergehenden Ansprüche mit einer oder mehreren zusätzlichen Lichtquellen zur Beleuchtung des Beobachterauges.
Ein Instrument nach Anspruch 12, wobei besagte eine oder mehrere zusätzlichen Lichtquellen um einen äußeren Rand des besagten Okulars angeordnet sind.
Ein Instrument nach Anspruch 12, wobei zwei Paar zusätzliche Lichtquellen um besagten Rand vorgesehen sind.
Ein Instrument nach einem der vorhergehenden Ansprüche, wobei die oder jede der besagten Lichtquellen mit infrarotnahem Licht betreibbar ist.
Ein Instrument nach Anspruch 15, wobei die oder jede Lichtquelle eine 850nm LED umfasst.
Ein Instrument nach einem der vorhergehenden Ansprüche, wobei mit besagten Verarbeitungsmitteln das besagte Pupillenzentrum durch Grenzwert-Bestimmung des Bildes die Grenze zwischen der Pupille und der Iris bestimmbar ist und durch Identifizierung des Zentrums des Kreises festzustellen, welcher am besten zur lokalisierten Grenze passt.
Ein Instrument nach Anspruch 1, wobei besagte Kalibrierungsdaten im Voraus während dem Betrieb eines Kalibrierungsprogramms erzeugbar sind, in welchem der Beobachter auf verschiedene vordefinierte Stellen auf die Bildebene schaut und in welcher die ermittelten Distanzen von den entsprechenden Bildern den bekannten Punkten durch die Verarbeitungsmittel zuordenbar sind.
Ein Instrument nach Anspruch 1 oder 18, wobei besagte Kalibrierungsdaten einen Skalierungsfaktor zum Skalieren der besagten Distanz zwischen den besagten zwei Positionen umfassen.
Ein Instrument nach Anspruch 19, wobei besagte Kalibrierungsdaten einen Skalierungsfaktor für eine x-Komponente der besagten Distanz sowie einen Skalierungsfaktor für eine y-Komponente der besagten Distanz umfassen.
Ein Instrument nach Anspruch 20, wobei besagte Kalibrierungsdaten überdies eine Nulllagen-Abweichung für besagte x-Richtung sowie eine Nulllagen-Abweichung für besagte y-Richtung umfassen.
Ein Instrument nach Anspruch 11 mit Mitteln zur Veränderung der besagten Kalibrierungsdaten in Abhängigkeit eines gegenwärtigen Brennpunkts der besagten Bildumformerlinse.
Ein Instrument nach einem der vorhergehenden Ansprüche, wobei mindestens zwei zusätzliche Lichtquellen zur Beleuchtung des Beobachterauges vorgesehen sind und worin das Instrument weitere Beleuchtungskontrollmittel beinhaltet, damit gezielt verschiedene der zwei besagten oder weiteren Lichtquellen betreibbar sind und worin mit besagtem Bildumformer ein Bild des Beobachterauges erzeugbar ist, wenn verschiedene der besagten Lichtquellen betreibbar sind und ein glanzpunktfreies Bild durch Kombinierung der Bildausgaben durch besagten Umformer erzeugbar ist, wenn die verschiedenen Lichtquellen betreibbar sind.
Ein Instrument nach Anspruch 23, wobei durch besagte Verarbeitungsmittel das Zentrum von besagter Pupille von dem besagten glanzfreien Bild bestimmbar ist.
Ein Instrument nach Anspruch 23 oder 24, wobei durch besagte Beleuchtungskontrollmittel ein erstes Paar der besagten weiteren Lichtquellen während einem ersten Zeitintervall betreibbar ist und ein zweites verschiedenes Paar der Lichtquellen während einem zweiten Zeitintervall betreibbar ist und worin mit besagtem Bildumformer ein Bild des Beobachterauges während dem besagten ersten und während dem besagten zweiten Zeitintervall erzeugbar ist.
Ein Instrument nach Anspruch 25, worin durch besagte Beleuchtungskontrollmittel die besagte Lichtquelle schaltbar ist, um während besagtem ersten Zeitintervall Licht durch besagtes Okular auszugeben und worin durch besagte Verarbeitungsmittel die Position von besagter Reflexion durch Lokalisierung der Reflexionen vom besagten ersten Paar der weiteren Lichtquellen und dann durch Berechnung der Position der besagten Reflexion von diesen Positionen sowie durch Grenzwert-Bestimmung des Bildes um besagte berechnete Position herum feststellbar ist.
Ein Instrument nach einem der vorhergehenden Ansprüchen, worin besagte Lichtquelle zur Lichtausgabe durch besagtes Okular außerhalb der Achse des besagten optischen Instruments angeordnet ist.
Ein Instrument nach Anspruch 27, mit einem weiteren Strahlenteiler, der auf der optischen Achse des Instrumentes anordenbar ist, wodurch das Licht von besagter Quelle auf das Beobachterauge reflektierbar ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, worin mittels besagtem Bildumformer ein Bildsignal viele Male pro Sekunde ausgebbar ist und mittels besagten Verarbeitungsmitteln besagte Blickinformationen von den besagten Bildern wiederholt feststellbar sind.
Ein Instrument nach Anspruch 29, worin mittels besagtem Bildumformer ein Bildsignal zwischen zehn und fünfzig Mal pro Sekunde ausgebbar ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, worin besagte kontrollierbare Funktion die automatische Fokussierung einer Objektivlinse als Bestandteil der besagten bilddarstellenden Mittel ist, sodass der Punkt im Blickfeld, den der Beobachter betrachtet, im Fokus ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, worin besagte kontrollierbare Funktion die Bewegung des optischen Instrumentes über dem betrachteten Objekt ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, worin besagte kontrollierbare Funktion der Inhalt eines Displays ist, welches auf das Blickfeld des Instruments optisch überlagerbar ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, wobei es ein Mikroskop ist.
Ein Instrument nach einem der vorhergehenden Ansprüche, wobei es eine Kamera ist.
Verfahren zum Betrieb eines optischen Instruments zur Darstellung eines sichtbaren Bildes eines Objekts (7), folgende Schritte umfassend: Darstellung eines sichtbaren Bildes eines Objektes (7) in einer Bildebene (9); Betrachtung des sichtbaren Bildes durch ein Okular (5); Erfassung einer Blickrichtung eines Beobachters, der das Bild (9) betrachtet; und Steuerung einer steuerbaren Funktion des optischen Instruments in Abhängigkeit von der erfassten Blickrichtung, dadurch gekennzeichnet, dass besagter Erfassungsschritt die Schritte beinhaltet: (i) Verwendung einer Lichtquelle (25), um Licht durch besagtes Okular (5) in Richtung des Beobachterauges auszugeben; (ii) Bereitstellung einer Linse (27), welche mit besagter Lichtquelle verbunden ist, um das Licht von besagter Quelle im Wesentlichen zu kollimieren, wenn es das besagte Okular (5) in Richtung des besagten Beobachterauges verlässt; (iii) Bereitstellung eines Bildumformers (5, 23, 29, 31), um die Vorderseite des Beobachterauges durch besagtes Okular (5) abzubilden, um ein elektrisches Bildsignal der Vorderseite des Beobachterauges zu erzeugen; und (iv) Verarbeitung des elektrischen Bildsignals von besagtem Bildumformer (5, 23, 29, 31), um die Distanz zwischen der Position innerhalb des Bildes des Zentrums der Beobachterpupille und der Position einer Reflexion des Lichts von besagter Lichtquelle aus zu bestimmen und um die besagten Blickinformationen zu bestimmen, indem besagte Distanz und vorbestimmte Kalibrierungsdaten verwendet werden, die eine Beziehung zwischen besagter Distanz und dem gerade vom Beobachter betrachteten Punkt auf der Bildebene (9) definieren.