DE19731301A1 - Verfahren zum Steuern von Mikroskopen und angekoppelten Geräten mittels Blickrichtungsanalyse, Blickrichtungsmeßgerät und Okularaufsatz hierfür - Google Patents

Description

Die Erfindung betrifft ein Verfahren zum Steuern von Mikroskopen, beispielsweise Operationsmikroskopen, mittels Blickrichtungsanalyse, bei der das Auge des Betrachters mit Infrarotlicht beleuchtet, durch ein optisches System abgebildet, von einem Bildsensor aufgenommen und das so gewonnene Bild anschließend in einem Prozessor zur Bestimmung der Blickposition durch Ermittlung der Pupillenmitte und kornealer Reflexe weiterverarbeitet wird.

Die Erfindung betrifft ferner ein Blickrichtungsmeßgerät zum Steuern von Mikroskopen, beispielsweise Operationsmikroskopen, mittels Blickrichtungsanalyse, mit das Auge des Betrachters beleuchtenden Infrarotdioden, einem das Auge abbildenden Bildsensor einem die Blickrichtung des Betrachters berechnenden Prozessor und einem die Pupillenmitte und die kornealen Reflexe anzeigenden Monitor.

Die Erfindung betrifft auch einen Aufsatz für den Okulartubus eines Mikroskopes, beispielsweise Operationsmikroskopes, mittels Blickrichtungsanalyse mit mindestens einem Okularsystem zur visuellen Beobachtung des von der Objektlinse abgebildeten Operationsfeldes durch den Betrachter, einer das Auge des Betrachters ausleuchtenden Beleuchtungsquelle und mindestens einer im Okulartubus angeordneten Okularlinse.

Aus der DE 28 22 277 C2 ist ein binokulares Mikroskop für medizinische Zwecke bekannt, das insbesondere zur Verwendung beim Vernähen eines in der Hornhaut gelegten Schnittes, insbesondere zur Wiederherstellung der sphärischen Krümmung der Hornhaut eines Auges, das eine Eingangslinse aufweist, welche unter einem feststehendem Abstand vom Auge in Position bringbar ist, wobei nahe der Eingangslinse eine ringförmige Lichtquelle vorgesehen ist, mittels welcher ein Originalbild auf die Hornhaut projiziert wird. Eine zusätzliche Abbildungsoptik ist mit wenigstens einem Prisma oder einer Linse oder einem Spiegel teilweise in den Strahlengang des Mikroskops angeordnet, so daß ein Teil des Lichtes durch die zusätzliche Abbildungsoptik nicht abgelenkt und ein Bezugsbild erzeugt wird. Mittels der zusätzlichen Abbildungsoptik wird wenigstens ein weiteres, im wesentlichen mit dem Bezugsbild kongruentes, aber zu diesem versetztes Vergleichsbild erzeugt.

Das Mikroskop weist eine Einstelleinrichtung auf, mittels welcher Lage und/oder Größe des Bezugsbildes und wenigstens eines Vergleichsbildes einstellbar ist.

Die in dieser Druckschrift beschriebene ringförmige Lichtquelle ist der Objektivlinse und nicht dem Okular zugeordnet und dient der Ausleuchtung des Auges des Patienten und nicht des Betrachters.

Bekannt ist auch ein Operationsmikroskop mit einem Objektiv veränderlicher Schnittweite und einem, an einem Träger befestigten Gehäuse, das Mittel zur Strahlteilung und -umlenkung sowie zwei Beobachtungstuben enthält (DE 31 05 018 A1), bei dem als Strahlenumlenkmittel ein Spiegel oder ein Prisma eingesetzt wird.

Ferner ist aus der DE 36 23 613 C2 eine Beleuchtungseinrichtung für ein Operationsmikroskop mit einem Beleuchtungssystem bekannt, das außerhalb der optischen Achse des Mikroskopobjektives angeordnet ist und das Beleuchtungslicht senkrecht zu der optischen Achse des Mikroskopobjektives hin abstrahlt. Mit einem eben ausgebildeten Strahlteiler wird das von dem Beleuchtungssystem herkommende, senkrecht zu der optischen Achse des Mikroskopobjektives verlaufende Beleuchtungslicht eingespiegelt und das vom Objekt herkommende, zum Mikroskopobjektiv verlaufende Licht durchgelassen.

Der Strahlteiler ist zentral zur optischen Achse des Mikroskopobjektives auf dessen objektabgewandter Seite angeordnet und gegenüber der optischen Achse des Mikroskopobjektives um einen Winkel geneigt, der eine zum Beobachtungsstrahlengang streng koaxiale Einspiegelung des Beleuchtungslichtes gewährleistet.

Nach der DE 41 34 481 A1 ist ein Operationsmikroskop und ein Verfahren zur rechnergestützten stereotaktischen Mikrochirurgie bekannt, bei dem eine Vorrichtung zur Einspiegelung von Zwischenbildern in mindestens einen der beiden Stereo- Beobachtungsstrahlengänge, Detektoren zum Erfassen der optischen Systemdaten, ein Positionserkennungssystem sowie eine Prozeßsteuerungseinrichtung zur Auswertung der Signale des Prozeßerkennungssystems vorgesehen ist.

Dieses bekannte Operationsmikroskop und Verfahren ermöglicht zwar die Manipulation in allen sechs Freiheitsgraden in Bezug auf das Operationsfeld, die Daten zur Positionerkennung und -erfassung werden jedoch aus der Stellung der Objektivlinsen und des Zooms auf der Patientenseite gewonnen, so daß die Position und Orientierung des Patienten im Raum bestimmbar ist. Nach wie vor muß der Chirurg seinerseits die Einstellung mechanisch steuern. Außerdem sind die Platzverhältnisse auf der Objektivseite, d. h. zur Patientenseite verhältnismäßig beschränkt.

Des weiteren ist aus der EP 0 596 868 A2 ein Verfahren zur Feststellung der Blickrichtung bekannt, das aus den Schritten der Ermittlung einer Position und einer Richtung des Kopfes von einem Gesichtsbild, der Ermittlung eines Merkmalpunktes eines Auges und der Berechnung der Augenstellung in Übereinstimmung mit der ermittelten Position und Richtung des Kopfes und des Merkmalpunktes des Auges besteht.

Das Auge wird mit Infrarotlicht beleuchtet, das von Dioden abgestrahlt wird, die ringartig um die Linse der Kamera angeordnet sind.

Die EP 0 596 749 A1 beschreibt ferner ein ophthalmologisches Gerät, das Bestrahlungsmittel für die Bestrahlung des zu untersuchenden Auges mit Infrarotlicht, Bildaufnahmemittel für die Aufnahme des zu untersuchenden Auges, Vergleichs- und Speichermittel für den Vergleich der von den Bildaufnahmemitteln erhaltenen Bildinformationen mit einem für die fortschreitende Bildinformation bestimmten Schwellwert, Berechnungsmittel für die Berechnung der Werte des zu untersuchenden Auges auf der Basis der Bildinformationen, die im Vergleichs- und Speichermittel gespeichert sind.

In der US-PS 5 231 674 wird außerdem ein Verfahren und ein Gerät zur Blickrichtungsfeststellung offenbart, bei dem mit einer Kamera ein optisches, d. h. analoges, Bild aufgenommen wird, welches in einer Bildverarbeitung analysiert wird, um Informationen über den Blickpunkt und/oder die Blickrichtung des Auges zu gewinnen. Die IR-Lichtquelle, die das zu untersuchende Auge beleuchtet, befindet sich in der optischen Achse des Linsensystems der Kamera.

Nach der EP 0 350 967 ist weiterhin ein Bildaufnahmegerät und ein Verfahren zum Ermitteln der Blickrichtung bekannt, bei der das Auge des Betrachters mit Infrarotlicht beleuchtet, durch ein optisches System abgebildet, von einem Bildsensor aufgenommen und das so gewonnene Bild anschließend in einem Prozessor zur Bestimmung der Blickposition durch Ermittlung der Pupillenmitte und kornealen Reflexe weiterverarbeitet wird.

Allen diesen bekannten Lösungen ist der Nachteil gemeinsam, daß einerseits die Daten zur Lagesteuerung immer durch die optischen Systemdaten auf der Objektivseite gewonnen werden (DE 41 34 481) und andererseits das Augenbild oftmals durch Schatten, beispielsweise durch Wimpern, gestört ist. Dies führt dazu, daß die Position der Beleuchtungsdioden häufig nachjustiert werden muß, insbesondere dann, wenn an ein- und demselben Untersuchungsobjekt zu unterschiedlichen Zeiten gearbeitet wird.

Durch die IR-Beleuchtung des Auges erscheint die Pupille des menschlichen Auges als zusammenhängende grauschwarze Fläche. Schattenzonen können aber auch durch Beleuchtung verursacht werden, beispielsweise dann, wenn die Lichtstrahlen nicht nur in einer Richtung auf die korneale Fläche reflektiert werden oder aber auch von anderen Objekten, die sich nahe dem Auge befinden. Sofern diese Objekte dem Auge gegenüberliegen, wie beispielsweise in der DE 41 22 536 oder der US-PS 5 231 674 beschrieben, werden diese reflektiert und erscheinen auf dem Augenbild. Die korneale Oberfläche des Auges ist ein Spiegel, der etwa 2% des einfallenden Lichtes reflektiert. Daher hat jeder Gegenstand, der vor dem Auge positioniert ist, seinen Reflex auf der Kornea. Jeder Reflex bzw. Schattenzone, dessen Grauton dem Grauton der Pupille nahekommt, führt daher zu Verfälschungen bzw. Fehlern in der Bestimmung des Pupillenmittelpunktes bei den vorher beschriebenen Verfahren zur Blickrichtungsanalyse.

In Kenntnis der Nachteile dieses Standes der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren, ein Blickrichtungsmeßgerät und einen Aufsatz der eingangs genannten Art zur Verfügung zu stellen, das bzw. der es erlaubt, das Mikroskop und im Arbeitsfeld des Mikroskops operierende Geräte ohne Benutzung der Hände durch die optischen Daten des Betrachterauges weitgehendst ohne störende Reflexe und Fehler zu steuern.

Dies wird mit dem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, daß ein stark diffuses Infrarotlicht mit einer Wellenlänge von 800 bis 1000 nm zur Ausleuchtung des Auges verwendet wird, dem mindestens ein örtlich und zeitlich separates Infrarotlichtsignal mit einer Wellenlänge von 800 bis 1000 nm zur Erzeugung mindestens eines kornealen Reflexes überlagert wird, und daß die durch den Prozessor gewonnenen Blickpositionsdaten des Betrachters auf das Arbeitsfeld kalibriert und die kalibrierten Daten auf eine Steuereinheit übertragen werden, mit dem angeschlossene Geräte, beispielsweise Operationsinstrumente, angesteuert werden.

Nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahren wird das von dem Bildsensor erfaßte analoge Augenbild durch Analog/Digital- Umsetzung in unterschiedliche Grautöne unterteilt (Graustufenbilderzeugung) , oder durch eine Kantendetektor-Logik in Ereignisse zerlegt wobei jede Videozeile nach Dunkel-Hell- bzw. Hell-Dunkel- Übergängen abgesucht wird, und daß die gewonnenen Informationen in eine Ereignistabelle eingearbeitet werden, die dem Prozessor zur Bestimmung der Koordinaten des Pupillenmittelpunktes, kornealer Reflexe und daraus der Blickrichtung zugeführt werden.

In weiterer bevorzugter Ausgestaltung des erfindungsgemäßen Verfahrens wird das sichtbare Licht vom Infrarotlicht durch einen wellenlängenabhängigen Strahlteiler, vorzugsweise einen Halbspiegel mit Antireflexionsbeschichtung, ein Prisma, oder einen polarisierenden Strahlteiler getrennt wird, der mehr als 80% des zur Ausleuchtung des Betrachterauges verwendeten Infrarotlichtes reflektiert und für mehr als 80% des sichtbaren Lichtes mit einer Wellenlänge unter 800 nm durchlässig ist.

Die Ausleuchtung des Auges und die Erzeugung der kornealen Reflexe erfolgen beim dem erfindungsgemäßen Verfahren separat, wodurch eine sehr gute Bildqualität des analogen Augenbildes mit scharfen dunkel-hell- Übergängen ohne störende Reflexe erzielt wird. Dies ist die Grundlage dafür, daß das vom Bildsensor aufgenommene analoge Augenbild fehlerfrei mit hohen Bildfrequenzen bis zu 250 Hz abgetastet und in digitale Sequenzen von Ereignissen zerlegt werden kann, die eine exakte Bestimmung der für die Ansteuerung erforderlichen Koordinaten des Pupillenmittelpunktes, der kornealen Reflexe und damit der Blickrichtung ermöglichen.

In einem weiteren wesentlichen Merkmal des erfindungsgemäßen Verfahrens wird neben dem ersten kornealen Reflex im Abstand d ein zweiter kornealer Reflex mit einer weiteren Infrarotlichtquelle vom ersteren erzeugt, der zur Autofokussierung des Augenbildes des Betrachters herangezogen wird. Die gewonnenen Graustufenbilder werden über einen Videospeicher geführt, in dem die Bilder mit einer Histogrammfunktion analysiert werden. Über alle Videozeilen werden die einzelnen Graustufen ermittelt und in Form einer Häufigkeitsverteilung zusammenge­ stellt, die eine automatische Bestimmung der Schwellwerte zur Detektion der Pupille und kornealer Reflexe ermöglicht.

Die Blickbewegungen des Benutzers werden auf das Arbeitsfeld kalibriert, indem ein Träger mit Markierungspunkten in der Objektebene oder ein in die Zwischenbildebene des Strahlenganges eingespiegeltes Bild verwendet wird, die auf die physikalischen Größen des Arbeitsfeldes umgerechnet und anschließend zwischengespeichert werden, so daß bei jeder Veränderung der Mikroskopvergrößerung automatisch eine Anpassung der Kalibrierdaten durchgeführt wird, die ohne manuelle Nachjustierungen stets eine optimale Kalibrierung gewährleistet.

Die Aufgabe wird weiterhin durch ein Blickrichtungsmeßgerät gelöst, das aus einem Videomultiplexer, auf dessen Eingängen mehrere Video-Signale gelegt sind, denen Bildsensoren zugeordnet sind, und dessen Ausgang entweder direkt über einen Analog/Digital-Umsetzer oder über eine Kantendetektions-Logik mit dem Prozessor verbunden ist, und aus einem Digital/Analog-Wandler (RAMDAC) für die Bildsignale besteht, wobei wenigstens ein Video-Ausgang für die Anzeige des Augenbildes mit überlagerten Markierungen der Pupille und kornealer Reflexe vorhanden ist, und daß über eine serielle oder parallele Schnittstelle mit einer Steuereinheit für die Ansteuerung auf das Operationsfeld einwirkender Geräte, beispielsweise chirurgischer Geräte, verbunden ist.

Die Bildsensoren weisen nach einem bevorzugten weiteren Merkmal eine vertikale Abtastfrequenz von 50 HZ oder höher auf, beispielsweise 60 Hz (PAL bzw. NTSC Video- Standard) und/oder bis zu 250 Hz.

Ein weiteres bevorzugtes Merkmal des erfindungsgemäßen Blickrichtungsmeßgerätes sieht einen zusätzlichen Eingang zur gleichzeitigen Blickrichtungsanalyse des zweiten Auges mittels eines weiteren Bildsensors vor.

Die Aufgabe wird weiterhin mit einem Aufsatz für den Okulartubus eines Mikroskopes, beispielsweise Operationsmikroskopes, mit mindestens einem Okulartubus zur visuellen Beobachtung des von der Objektivlinse abgebildeten Operationsbereiches durch den Betrachter, einem Beleuchtungssystem für ein oder beide Augen des Betrachters und mindestens einer im Okulartubus angeordneten Okularlinse, dadurch gelöst, daß koaxial zur Okularlinse dicht aneinander angeordnete, durch eine Diffusorscheibe abgedeckte Infrarotdioden zu einem Beleuchtungsring angeordnet sind, der eine Aussparung für die Nase des Betrachters aufweist, und daß rechtwinklig zur optischen Achse des Okulartubus in mindestens einem Tubus eine weitere Infrarotdiode angeordnet ist, deren IR-Licht auf eine im Strahlengang angeordnete C.R.-Kondensorlinse und ein Prisma gerichtet ist, die das IR-Licht auf das Auge des Betrachters lenken, wobei das Prisma nahe der inneren Begrenzung der Diffusorscheibe angeordnet und justierbar ist, und daß ein dieses Infrarotlicht reflektierender, für sichtbares Licht jedoch hoch durchlässiger wellenlängenabhängiger Strahlteiler in einem Winkel von 45° zur optischen Achse im Okulartubus angeordnet ist, und daß in einer der Zwischenebene nachgeordneten Abbildungsebene mindestens ein auf IR- Licht empfindliches Sensorsystem für die Erfassung des Augenbildes und der erzeugten kornealen Reflexe angeordnet ist, dem das Blickrichtungsmäßgerät zugeordnet ist.

Die Diffusorscheibe besteht nach einem weiteren Merkmal aus thermoplastischem Kunststoff, beispielsweise Polyoxymethylen mit hohem Kristallisationsgrad. Natürlich kann die Diffusorscheibe auch aus einem Glas bestehen, das die Eigenschaft einer hohen diffusen Transmission aufweist.

Die Infrarotdioden sind in einer Fläche senkrecht zur Okularachse sternförmig angeordnet und mit ihren Längsachsen koaxial zur Okularachse ausgerichtet.

In weiterer besonderer Ausgestaltung des erfindungs­ gemäßen Aufsatzes hat der Tubus eine variable Länge. Dies hat den Vorteil, daß die Empfindlichkeit des Systems auf Kopfbewegungen einstellbar ist. Je länger die Tubuslänge, um so unempfindlicher ist die Blickrichtungserfassung von der Kopfbewegung des Betrachters.

In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Aufsatzes ist ein weiterer Tubus rechtwinklig am Okulartubus vorgesehen, in dem eine weitere Infrarotdiode für die Erzeugung des zweiten kornealen Reflexes angeordnet ist, der zur automatischen Fokussierung des Augenbildes des Benutzers auf den Bildsensor genutzt werden kann.

Der Halbspiegel besitzt eine Antireflexionsbeschichtung aus Leichtmetallfuoriden, die die hohe Transmission für sichtbares Licht sicherstellt.

Das erfindungsgemäße Verfahren, das erfindungsgemäße Blickrichtungsmeßgerät und der erfindungsgemäße Aufsatz ermöglicht die reflex- und schattenfreie gleichmäßige Ausleuchtung des Auges des Betrachters. Dadurch wird eine gegenüber Umgebungslicht unempfindliche optimale Kontrastbildung zwischen Pupille und Iris des Betrachters erreicht, so daß der Pupillenmittelpunkt und die Lage der kornealen Reflexe exakt bestimmbar wird.

Es hat weiter den Vorteil, daß die Blickrichtung des Betrachters ermittelt und automatisiert die Nachsteuerung von Geräten wie Laser, Endoskope und dgl. ermöglicht wird.

Gleichermaßen ist der erfindungsgemäße Aufsatz für die binokulare oder auch monokulare Blickrichtungsanalyse geeignet. Mittels Adapter kann der erfindungsgemäße Aufsatz auf alle gängigen Mikroskoptypen aufgesetzt werden.

Hieraus läßt sich der Vorteil der hohen Flexibilität und Variabilität des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Aufsatzes bei der Durchführung von medizinischen Operationen oder technologischen Prozessen zur Mikrochipherstellung erkennen.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispieles unter Bezugnahme auf die beigefügten Zeichnungen.

Es zeigen im einzelnen:

Fig. 1 eine Schnittdarstellung in Seitenansicht des erfindungsgemäßen Aufsatzes,

Fig. 2 eine Schnittdarstellung in Draufsicht des Beleuchtungssystems am erfindungsgemäßen Aufsatz,

Fig. 3 eine Schnittdarstellung in Seitenansicht des Beleuchtungssystems am erfindungsgemäßen Aufsatz,

Fig. 4 ein Schema der Abbildung des Analogbildes durch das Linsensystem des erfindungsgemäßen Aufsatzes,

Fig. 5 eine schematische Darstellung der Berechnung des Einflusses von Kopfbewegungen des Benutzers auf die Blickrichtungsmessung,

Fig. 6 eine Kennlinienschar für die Sensitivität der Kopfbewegungen in Abhängigkeit von der Position der separaten Infrarotdiode,

Fig. 7 eine Darstellung des analogen Augenbildes nach dem erfindungsgemäßen Verfahren mit Überlagerung (Overlays) von Fadenkreuzen für den ermittelten Pupillenmittelpunkt und einen kornealen Reflex,

Fig. 8 eine Prinzipdarstellung für die Scharfstellung des Auges des Chirurgen durch Autofokus bei Ausnutzung von zwei kornealen Reflexen,

Fig. 9 ein Blockschaltbild der Elektronik des erfindungsgemäßen Verfahrens,

Fig. 10 eine Darstellung einer Anwendung des erfindungsgemäßen Verfahrens in der Laserchirurgie.

Der in Fig. 1 dargestellte Okulartubus 1 des erfindungsgemäßen Aufsatzes 2 ist durch einen Adapter 3 mit der Aufnahme eines handelsüblichen Operations­ mikroskopes 57 verrastet.

In dem Okulartubus 1 befindet sich ein Halbspiegel 5, der mehr als 80% des Infrarotlichtes (Wellenlänge von 800 bis 1000 nm) reflektiert und für mehr als 80% des sichtbaren Lichtes (Wellenlänge unter 800 nm) durch­ lässig ist. Der wellenlängenabhängige Strahlteiler 5 ist zwischen der Okularlinse 6 und der Linse 4 im Strahlengang in einem Winkel von 45° angebracht. Ein analoges Bild 20 des Auges 7 des Betrachters bzw. Chirurgen wird durch die Linsen 6 und 4 über den Halbspiegel 5 in eine Zwischenbildebene Z_E abgebildet, bevor es vom Objektiv der Videokamera 9 auf den CCD- Bildsensor 10 abgebildet wird. Die Videokamera 9 ist an einer hier nicht dargestellten Halterung mit 5 Freiheitsgraden befestigt, die lineare und kreiselförmige Bewegungen zuläßt.

Ein Infrarot-Durchgangsfilter 21 verhindert das Einfallen von Licht des ultravioletten und sichtbaren Bereiches auf den Bildsensor 10.

Die Position der Okularlinse 6 im Okulartubus 1 ist zur Anpassung der Dioptrienzahl des Betrachters variabel.

Nach Fig. 2 und 3 wird das Auge 7 des Betrachters mit einer größeren Anzahl, beispielsweise 78, Infrarot­ dioden 11 beleuchtet, die koaxial zur optischen Achse B der Okularlinse 6 eng aneinander angeordnet, einen breiten Beleuchtungsring 12 hoher Dichte bilden. Der Beleuchtungsring 12 ist mit einer Diffusorscheibe 13 aus Polyoxymethylen abgedeckt.

Das später noch näher zu erläuternde Verfahren zur Feststellung der Blickrichtung erkennt Schatten als Grautöne, die nahe des Grautones der Pupille liegen, und daher die sichere Bestimmung des Pupillenmittel­ punktes stören können. Ähnliches gilt für zusätzliche Reflexe auf der Kornea, welche die Erfassung der kornealen Reflexe stören.

Durch die Diffusorscheibe 13 wird das von den Infrarotdioden 11 punktförmig abgestrahlte Licht gestreut und stark diffus, so daß eine gleichmäßige, schatten- und reflexfreie, symmetrische Ausleuchtung des Auges des Betrachters um die optische Achse desselben gewährleistet wird und vorgenannte Störungen nicht mehr auftreten.

Die Infrarotdioden 11 strahlen Infrarotlicht in einem engen Spektrum innerhalb des Wellenlängenbereichs von 800 bis 1000 nm aus. Als Infrarotdioden 11 werden handelsübliche LED's, beispielsweise LD 261 der Firma Siemens mit einer Wellenlänge von etwa 950 nm, eingesetzt, so daß eine nähere Beschreibung dieser Infrarotdioden entfallen kann.

Die Diffusorscheibe 13 und der Beleuchtungsring 12 besitzen eine Aussparung 14 für die Nase des Betrachters und mindestens eine weitere Öffnung 18 für den Durchtritt des Infrarotlichtes zur Erzeugung der kornealen Reflexe 25 und 28, auf die im weiteren Verlauf des Ausführungsbeispieles näher eingegangen wird.

Senkrecht zur optischen Achse B des Okulars 6 befindet sich am Okulartubus 1 ein weiterer Tubus 15, in dem eine separate einzelne Infrarotdiode 16 positioniert ist. Das Infrarotlicht dieser Diode 16 fällt im Tubus 15 der Länge I durch eine C.R.-Kondensorlinse 17, die den Strahlengang zusammenführt, und auf ein Prisma 19, das die Infrarot strahlen durch die Öffnung 18 im Beleuchtungsring 12 und in der Diffusorscheibe 13 auf das Auge des Chirurgen lenken. Dort erzeugt dieses Infrarotlicht den für das Berechnungsverfahren zur Bestimmung der Blickrichtung erforderlichen eindeutig definierten kornealen Reflex.

Die Infrarotdiode 16 ist ebenfalls eine handelsübliche LED (SFH 487 der Firma Siemens) mit einer Wellenlänge von etwa 880 nm.

Die Winkelposition des Prismas 19 ist justierbar und die Länge I des Tubus 15 variabel. Die Länge I des Tubus 15 positioniert damit die separate Infrarotdiode 16 und bestimmt gleichzeitig die Sensitivität des erfindungsgemäßen Aufsatzes auf Kopfbewegungen des Betrachters.

Durch das Infrarotlicht der einzelnen Infrarotdiode 16 wird ein eindeutig kornealer Reflex 25 erzeugt.

In Fig. 4 wird die Entstehung des Analogbildes 20 erläutert und auf die optische Dimensionierung des erfindungsgemäßen Aufsatzes eingegangen.

Das Auge 7 des Betrachters befindet sich im Abstand w1 vor der Okularlinse 6 mit der Brennweite f6 bei einer Gegenstandsgröße von y1. Nach Durchlaufen des Abstandes k zwischen der Okularlinse 6 und der Linse 4 mit der Brennweite f4 entsteht eine Bildgröße von y3 der Abbildung des Auges 7 bei einer Bildweite w3 zur Linse 4 in der Zwischenbildebene Z_E.

Die Außenkante der Okularlinse 6, mit dem Durchmesser y6, abgebildet durch die Linse 4, bestimmt die Austrittspupille der Linsenkombination mit den Brenn­ weiten f6 und f4. Für den Abstand w4 der Austritts­ pupille von der Linse 4 und die Größe y4 der Aus­ trittspupille gilt:

Das Zwischenbild in der Zwischenbildebene Z_E wird durch das Objektiv der Videokamera 9 mit einer Brennweite f5 bei einer Gegenstandsweite von w7 und einer Bildweite von w5 auf den Bildsensor 10 in der Abbildungsebene 8 mit einer Bildgröße von y5 abgebildet. Die Größen w5 und y5 sind individuell durch Wahl der Gegenstandsweite w7 auf jeden Videokameratyp einstellbar.

Die Berechnung des Einflusses der Kopfbewegungen des Mikroskop-Benutzers ist in Fig. 5 näher erläutert.

Die Vektordarstellung stellt das Auge 7 des Betrachters, die separate einzelne Infrarotdiode 16 und den erfindungsgemäßen Aufsatz 2 nach Fig. 1 im dreidimensionalen Raum modellhaft dar.

Der Vektor s zeigt dabei auf die Koordinate der Infrarotdiode 16 im erdgebundenen Koordinatensystem O, und der Vektor o zeigt vom Ursprung des erdgebundenen Koordinatensystems auf den Ursprung O' des variablen Augenkoordinatensystems.

Durch Heranziehen des Hilfsvektors s' vom Ursprung des Augenkoordinatensystems O' zur Koordinate der Infrarotdiode 16 kann der Blickrichtungsvektor g durch die Koordinaten des erdgebundenen Systems ausgedrückt werden:

A kennzeichnet hierbei den Abstand zwischen Ursprung des Augenkoordinatensystems und der Koordinate der Infrarotdiode 16, und R den Radius der Korneakrümmung.

Der Übergang auf den Vektor g ermöglicht die Berechnung der Blickrichtungskoordinaten bei beliebigen Kopfbewegungen, wenn das Auge 7 auf den Mittelpunkt des Mikroskop-Objektträgers fixiert bleibt.

Die Sensitivität der Koordinaten des Blickrichtungsvektors zu den Kopfbewegungen und somit den Verschiebungen zum erdgebundenen Koordinatensystem O wird durch die Gleichungen

ausgedrückt.

Die partiellen Ableitungen des Blickrichtungsvektors ergeben sich daher zu:
Für die X-Koordinate:

und für die Y Koordinate:

Die Abhängigkeit der Kopfbewegungen ist durch die Kurvenschar gemäß Fig. 6 dargestellt. Für große Längen S_z, welche der Länge I des Tubus 15 entsprechen, ist die Sensitivität deutlich reduziert.

Durch die getrennte Beleuchtung zur Ermittlung des Pupillenmittelpunktes und der kornealen Reflexe wird eine hervorragende Bildqualität des Augenbildes 7 erzielt, wie in Fig. 7 gezeigt.

Dem Augenbild 7 überlagert sind das Zielfadenkreuz 22 für den Pupillenmittelpunkt 24 und das Zielfadenkreuz 23 für den kornealen Reflex 25 als Overlays.

Ein zweiter Tubus 26 ist wie der Tubus 15 rechtwinklig zum Okulartubus 1 angeordnet. Dieser enthält eine weitere Infrarotdiode 27, die ihr Infrarotlicht ebenfalls mit einer Linse 17 und einem justierbaren Prisma 19 durch die Öffnung 18 in der Diffusorscheibe 13 auf die Kornea des Auges 7 des Chirurgen lenkt und dort einen zweiten kornealen Reflex 28 erzeugt, der zur Autofokussierung des Augenbildes 7 herangezogen wird.

Die Fig. 8 zeigt die Scharfstellung des Auges 7 des Chirurgen für den Fall, daß die beiden Infrarotdioden 16 und 27 koplanar liegen. Da die Tuben 15 und 26 in einer senkrechten Flucht in den Okulartubus 1 einmünden, ist diese Bedingung erfüllt. Neben dem ersten kornealen Reflex 25 ist ein zweiter kornealer Reflex 28 vorhanden, die voneinander den Abstand d besitzen, der ein Maß für die Fokussierung ΔS_o der Videokamera 9 darstellt.

Für die koplanare Ebene gilt:

und

Damit ergibt sich die Autofokus-Funktion:

wobei a der Abstand zwischen den beiden Infrarotdioden 16 und 27 ist.

In Fig. 9 ist das Blockschaltbild des erfindungsgemäßen Blickmeßgeräts 46 dargestellt.

Auf einer PC ISA Bus-kompatiblen Einschubkarte ist ein Videomultiplexer 29 mit maximal drei Video-Eingängen realisiert.

Wahlweise stehen für diese drei Video-Eingänge CCD- Bildsensoren 10 mit einer vertikalen Abtastfrequenz von 50 Hz für die Standard-Video-Bildwiederholrate oder mit einer vertikalen Abtastfrequenz von 250 Hz für höhere Bildwiederholraten zur Verfügung.

Die analogen Signale gelangen einerseits über einen 8- bit Analog/Digital-Umsetzer 30 als Graustufenbild zum Blickrichtungs-Prozessor 32. Die Verteilung der unterschiedlichen Grautöne kann mit einer Histogrammfunktion analysiert werden.

Andererseits werden die analogen Video-Eingangsignale parallel zur Analog/Digital-Umsetzung von einer Kantendetektions-Logik 34 zunächst in Ereignisse zerlegt, die sich durch Schwarz-Weiß-(Dunkel-Hell) Übergänge bzw. Weiß-Schwarz- (Hell-Dunkel) Übergänge charakterisieren lassen. Diese Übergänge werden in Form von Ereignissen (Events) für jede Videozeile getrennt für die Pupille und den kornealen Reflex in einer Ereignistabelle abgelegt und abgespeichert, bevor sie dem Blickrichtungs-Prozessor 32 zugeführt werden. Mit der Ereignistabelle ist es möglich, deutlich mehr Bilder pro Sekunde abzuarbeiten als es für Standard- Video-Abtastfrequenzen notwendig ist. Deshalb wird die Zerlegung der Bilder in Ereignisse für maximale Bildwiederholraten genutzt.

Der Video-Ausgang 35 ist für das Augenbild 20 mit Overlays 62 vorgesehen. Zusätzlich ist ein Videoausgang 38 mit handelsüblichem VGA-Standard vorhanden. Mit Hilfe eines RAMDAC 39 wird für diesen Ausgang die Digital/Analog-Wandlung der Signale vorgenommen, mit der Möglichkeit, auch Falschfarben mit in das Ausgangs­ signal einzumischen. Im Videospeicher 41 ist derjenige Bereich des Videobildes abgelegt, der mit einer Bildüberlagerung (Overlay) überdeckt wird. Das Video- Eingangssignal der Videokamera 9 wird solange auf die Videoeingänge durchgeschleift, bis ein Pixel kommt, das eine Overlay-Information beinhaltet. Dieses wird mit einer wählbaren Overlay-Farbe eingefärbt.

Vier 12-bit DAC-Ports 43 mit 100 kHz Wandlungsrate ermöglichen die Ansteuerung externer Funktionen, beispielsweise von Schaltern über Relais. Ein 12-bit ADC-Port 44 für acht Kanäle im Multiplex-Betrieb kann zur Erfassung weiterer Meßwerte dienen.

Der 16-bit ISA-Bus 48 stellt die Verbindung zu weiteren PC-Einschubkarten und dem PC-Prozessor bei Einsatz im PC her. Für den stand-alone-Betrieb des Blickmeßgeräts 46 sind ferner ein 8-bit Digital-Input/Output 60 und serielle Ports 61 vorgesehen.

Weiterhin sind zwei Infrarotdioden-Stromversorgungen (12 V, 200 mA) 45 vorgesehen, die den erforderlichen Strom für die Infrarotdioden 11, 16 und 27 bei der Abtastung des Auges 7 des Betrachters durch die Videokamera 9 liefern.

Der Erweiterungsport 49 ermöglicht den Anschluß weiterer Funktionsbausteine, beispielsweise zusätzliche Logik und Koprozessoren.

Das erfindungsgemäße Verfahren wird nachfolgend am Beispiel der Laserchirurgie gemäß Fig. 10 erläutert. Anstelle des rechten Mikroskoptubus ist ein erfindungs­ gemäßer Aufsatz 2 in Form eines Okulartubus 1 mit dem Adapter 3 auf das Operationsmikroskop 57 aufgesetzt und arretiert. Rechtwinklig in den Strahlengang dieses Okulartubus 1 ist ein Tubus 15 für die Videokamera 9 eingebunden.

Das Kamerasignal wird dem Blickrichtungsmeßgerät 46 entsprechend Fig. 9 zugeführt. Das PC kompatible Einschubboard des Blickrichtungsmeßgerätes 46 befindet sich im Eyetracking-Computer 59. Über eine parallele oder serielle Verknüpfung 50 werden die Ausgangssignale des Blickrichtungsmeßgerjtes 46 auf eine Steuereinheit 51 übertragen, der über eine Treiberkarte 52 die Ansteuerung eines Operationslasers 53 übernimmt.

Bevor die eigentliche Operation begonnen wird, müssen die Blickbewegungen des Chirurgen auf das Operations­ feld 54 kalibriert werden. Hierzu wird ein Objektträger 55 mit einer geringen Anzahl definierter Punkte (5 Punkte sind ausreichend) verwendet. Während der Chirurg diese Punkte betrachtet, werden die Ausgangsdaten des Blickrichtungsmeßgerätes 46 auf die physikalischen Größen des Operationsfeldes 54 bezogen. Die Kalibrierungsdaten werden vom Blickrichtungsmeßgerät 46 im Eyetracking-Computer 59 zwischengespeichert. Bei jeder Veränderung der Mikroskopvergrößerung erfolgt automatisch durch das System eine Anpassung der Kalibrierdaten, die ohne manuelle Nachjustierungen stets eine optimale Kalibrierung gewährleistet.

Unter dem Objekttisch 56 des Operationsmikroskopes 57 wird der Laserstrahl für die Laserbehandlung eingespeist und über ein optisches Umlenksystem im Objekttisch 56 auf das Arbeitsfeld 54 gerichtet.

Bezugszeichenliste

1

Okulartubus

2

Aufsatz

3

Adapter

4

Linse

5

Wellenlängenabhängiger Strahlteiler

6

Okularlinse

8

Auge des Betrachters Abbildungsebene

9

Videokamera

10

Bildsensor

11

Infrarotdioden

12

Beleuchtungsring

13

Diffusorscheibe

14

Aussparung für Nase

15

Tubus

16

Separate Infrarotdiode

17

C.R.-Kondensorlinse

18

Öffnung

19

Prisma

20

Analoges Augenbild

21

Infrarot-Durchgangsfilter

22

Zielfadenkreuz Pupillenmittelpunkt

23

Zielfadenkreuz kornealer Reflex

24

Pupillenmittelpunkt

25

Erster kornealer Reflex

26

Tubus

27

Separate Infrarotdiode

28

Zweiter kornealer Reflex

29

Videomultiplexer

30

8-bit Analog/Digital-Umsetzer

32

Blickrichtungs-Prozessor

34

Kantendetektor-Logik

35

Videoausgang

36

,

37

Videoeingänge

38

Zusätzlicher Videoausgang

39

RAMDAC mit Falschfarbenüberlagerung

40

Speicher-Modul

41

Videospeicher

43

12-bit DAC-Port

44

12-bit ADC-Port

45

Stromversorgung für Infrarotdioden

46

Blickrichtungsmeßgerät

48

16-bit ISA-Bus

49

Erweiterungsport

50

Parallele oder serielle Verbindung

51

Steuereinheit

52

Treiberkarte

53

Operationslaser

54

Arbeitsfeld

55

Objektträger

56

Objekttisch

57

Operationsmikroskop

59

Eyetracking-Computer

60

8-bit Digital-Input/Output

61

Serielle Ports
A Abstand Infrarotdiode

16

vom Ursprung des Augenkoordinatensystems
a Abstand der Infrarotdioden

16

und

27

B Optische Achse des Okulars
d Abstand der kornealen Reflexe

25

und

28

f4 Brennweite der Linse

4

f5 Brennweite des Objektivs der Videokamera
f6 Brennweite Okularlinse

6

g Blickrichtungsvektor
I

,

S_z

Länge des Tubus

15

k Optischer Abstand Okularlinse

6

zu Linse

4

o Vektor
O Ursprung des Raum-Koordinatensystems
O' Ursprung des Augen-Koordinatensystems
R Radius der Korneakrümmung
ΔS_o

Maß für den Autofokus der Videokamera
S_o

Abstand
S_i

Abstand
s Vektor
s' Hilfsvektor
w1 Gegenstandsweite
w3 Zwischenbildweite
w4 Abstand Austrittspupille von Linse

4

w5 Bildweite
w6 Gegenstandsweite der Okularlinse

6

w7 Gegenstandsweite
x, y, z Koordinaten
y1 Gegenstandsgröße
y3 Zwischenbildgröße
y4 Größe Austrittspupille
y5 Bildgröße
y6 Durchmesser Außenkante Linse

6

Z_E

Zwischenebene.

Claims (19)

1. Verfahren zum Steuern von Mikroskopen, beispielsweise Operationsmikroskopen, mittels Blickrichtungsanalyse, bei der das Auge des Betrachters mit Infrarotlicht beleuchtet, durch ein optisches System abgebildet, von einem Bildsensor aufgenommen und das so gewonnene Bild anschließend in einem Prozessor zur Bestimmung der Blickposition durch Ermittlung der Pupillenmitte und kornealen Reflexe weiterverarbeitet wird, dadurch gekennzeichnet, daß das Auge des Betrachters mit stark diffusem Infrarotlicht mit einer Wellen­ länge von 800 bis 1000 nm beleuchtet wird, dem mindestens ein örtlich und zeitlich separates Infrarotlichtsignal mit einer Wellenlänge von 800 bis 1000 nm zur Erzeugung mindestens eines kornealen Reflexes überlagert wird, und daß die durch den Prozessor gewonnenen Blickpositionsdaten des Betrachters auf das Arbeitsfeld (54) kalibriert und die kalibrierten Daten auf eine Steuereinheit (51) übertragen werden, mit dem angeschlossene Geräte, beispielsweise Operationsinstrumente, angesteuert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das von dem Bildsensor (10) erfaßte analoge Augenbild (20) durch Analog/Digital-Umsetzung in unterschiedliche Grautöne unterteilt (Graustufenbilderzeugung) wird, oder durch eine Kantendetektor-Logik in Ereignisse zerlegt wird, wobei jede Videozeile nach Dunkel-Hell- bzw. Hell-Dunkel-übergängen abgesucht wird, und die gewonnenen Informationen in eine Ereignistabelle eingearbeitet werden, die dem Prozessor (32) zur Bestimmung der Koordinaten des Pupillenmittelpunktes, kornealer Reflexe und daraus der Blickrichtung zugeführt werden.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das sichtbare Licht vom Infrarotlicht durch einen wellenlängenabhängigen Strahlteiler, z. B. einen Halbspiegel mit Antireflexionsbeschichtung, ein Prisma, oder einen Polarisierenden Strahlteiler getrennt wird, der mehr als 80% des zur Ausleuchtung des Auges verwendeten Infrarotlichtes reflektiert und für mehr als 80% des sichtbaren Lichtes mit einer Wellenlänge unter 800 nm durchlässig ist.

4. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß mit einem zweiten Infrarotlichtsignal gleichbleibender Intensität ein zweiter kornealer Reflex im Abstand (d) vom ersten kornealen Reflex zur Autofokussierung des Augenbildes erzeugt wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Bildsensoren (10) der Videokamera (9) sowohl auf den Analog/Digital-Umsetzer (30) als auch auf eine Kantendetektor-Logik (34) geschaltet sind.

6. Verfahren nach Anspruch 1 bis 5, dadurch gekennzeichnet, daß die Graustufenbilder über einen Videospeicher (41) geführt werden, in dem die Bilder mit einer Histogrammfunktion analysiert werden, um ein automatisches Erkennen der Pupille zu gewährleisten.

7. Verfahren nach Anspruch 1 bis 6, dadurch gekennzeichnet, daß die digitalen Bildausgangssignale in analoge Ausgangssignale umgesetzt werden, denen Falschfarben zumischbar sind.

8. Verfahren nach Anspruch 1 bis 7, dadurch gekennzeichnet, daß zur Kalibrierung der Blickbewegungen ein Objektträger (55) mit Markierungen in der Objektebene oder ein in die Zwischenbildebene des Mikroskops eingespiegeltes Bild verwendet wird, die jeweils auf die physikalischen Größen des Operationsfeldes (54) bezogen sind.

9. Blickrichtungsmeßgerät zum Steuern von Mikroskopen, beispielsweise Operationsmikroskopen, mittels Blickrichtungsanalyse, mit das Auge beleuchtenden Infrarotdioden, einem das Auge abbildenden Bildsensor, einem die Blickrichtung berechnenden Prozessor und einem die Pupillenmitte und die kornealen Reflexe anzeigenden Monitor, dadurch gekennzeichnet, daß es aus einem Videomultiplexer (29), auf dessen Eingänge (36, 37) mehrere Video-Signale gelegt sind, denen Bildsensoren (10) zugeordnet sind, und dessen Ausgang entweder direkt über ein Analog/Digital-Umsetzer (30) oder über eine Kantendetektions- Logik (34) mit dem Blickrichtungs-Prozessor (32) verbunden ist, und aus einem Digital/Analog-Wandler (RAMDAC) (39) für die Bildsignale besteht, wobei wenigstens ein Video-Ausgang (35) für die Anzeige des Augenbildes mit überlagerten Markierungen der Pupille und kornealer Reflexe vorhanden ist, und über eine serielle oder eine parallele Schnittstelle (50) mit einer Steuereinheit (51) für die Ansteuerung auf das Arbeitsfeld einwirkender Geräte, beispielsweise chirurgischer Geräte, verbunden ist.

10. Blickrichtungsmeßgerät nach Anspruch 9, dadurch gekennzeichnet, daß die Bildsensoren (10) eine vertikale Abtastfrequenz von 50 Hz oder höher aufweisen.

11. Blickrichtungsmeßgerät nach Anspruch 9 bis 10, dadurch gekennzeichnet, daß ein zusätzlicher Eingang des Blickrichtungsmeßgeräts (46) zur gleichzeitigen Blickrichtungsanalyse des zweiten Auges mittels eines weiteren Bildsensors vorhanden ist.

12. Aufsatz für den Okulartubus eines Mikroskopes, beispielsweise Operationsmikroskopes, mit mindestens einem Okularsystem zur visuellen Beobachtung des von der Objektivlinse abgebildeten Operationsbereiches durch den Benutzer, einem Beleuchtungssystem für ein oder beide Augen des Benutzers und mindestens einer im Okulartubus angeordneten Okularlinse, zum Steuern eines Mikroskopes, beispielsweise Operationsmikroskopes, mittels Blickrichtungsanalyse, dadurch gekennzeichnet, daß koaxial zur Okularlinse (6) dicht aneinander angeordnete, durch eine Diffusorscheibe (13) abgedeckte Infrarotdioden (11) zu einem Beleuchtungsring (12) angeordnet sind, der eine Aussparung (14) für die Nase des Benutzers aufweist, und daß rechtwinklig zur optischen Achse (B) des Okulartubus (1) in mindestens einem Tubus (15) eine weitere Infrarotdiode (16) angeordnet ist, deren IR-Licht auf eine im Strahlengang angeordnete C.R.- Kondensorlinse (17) und ein Prisma (19) gerichtet ist, die das IR-Licht auf das Auge des Benutzers lenken, wobei das Prisma (19) nahe der inneren Begrenzung der Diffusorscheibe (13) angeordnet und in dieser Stellung justierbar ist,
und daß ein dieses Infrarotlicht reflektierender, für sichtbares Licht jedoch hoch durchlässiger wellenlängenabhängiger Strahlteiler (5) in einem Winkel von 45° zur optischen Achse (B) im Okulartubus (1) angeordnet ist,
und daß in einer der Zwischenebene (Z_E) nachgeordneten Abbildungsebene (8) mindestens ein IR-empfindliches Sensorsystem (10) für die Erfassung des Augenbildes und der erzeugten kornealen Reflexe angeordnet ist, dem das Blickrichtungsmeßgerät (46) zugeordnet ist.

13. Aufsatz nach Anspruch 11, dadurch gekennzeichnet, daß die Diffusorscheibe (13) aus thermoplastischen Polymeren, beispielsweise Polyoxymethylen mit hohem Kristallisationsgrad, besteht.

14. Aufsatz nach Anspruch 11, dadurch gekennzeichnet, daß die Diffusorscheibe (13) aus Glas mit hoher diffuser Reflexion besteht.

15. Aufsatz nach Anspruch 11 bis 13, dadurch gekennzeichnet, daß die Infrarotdioden (11) unter der Diffusorscheibe (13) sternförmig um die Okularachse (B) herum angeordnet sind.

16. Aufsatz nach Anspruch 11 bis 13, dadurch gekennzeichnet, daß die Infrarotdioden (11) unter der Diffusorscheibe mit ihren Längsachsen koaxial (parallel) zur Okularachse (B) ausgerichtet sind.

17. Aufsatz nach Anspruch 11, dadurch gekennzeichnet, daß der Tubus (15) eine variable Länge aufweist.

18. Aufsatz nach Anspruch 11, dadurch gekennzeichnet, daß neben dem Tubus (15) ein weiterer Tubus (26) rechtwinklig am Okulartubus (1) vorgesehen ist, in dem eine weitere separate Infrarotdiode (27) angeordnet ist.

19. Aufsatz nach Anspruch 11, dadurch gekennzeichnet, daß der wellenlängenabhängige Strahlteiler (5) eine Antireflexions­ beschichtung aus Leichtmetallfluoriden aufweist.