EP0995142A2

EP0995142A2 - Verfahren zum steuern von mikroskopen und angekoppelten geräten mittels blickrichtungsanalyse, blickrichtungsmessgerät und okularaufsatz hierfür

Info

Publication number: EP0995142A2
Application number: EP98945011A
Authority: EP
Inventors: Kevin Strommer; Klaus SCHÖNENBERGER; Klaus Rink; Guy Delacreetaz; Winfried Teiwes
Original assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Current assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date: 1997-07-13
Filing date: 1998-07-13
Publication date: 2000-04-26
Also published as: WO1999003009A3; DE19731301A1; WO1999003009A2; AU9252698A; DE19731301C2

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern von Mikroskopen und mit daran angekoppelten Geräten mittels Blickrichtungsanalyse. Sie betrifft ferner ein Blickrichtungsmeßgerät und einen Okularaufsatz für die Durchführung des Verfahrens. Aufgabe der Erfindung ist es, ein Verfahren, ein Blickrichtungsmeßgerät und einen Aufsatz der eingangs genannten Art zur Verfügung zu stellen, das bzw. der es erlaubt, das Mikroskop und im Arbeitsfeld des Mikroskops operierende Geräte ohne störende Reflexe und Fehlbedienungen des Mikroskops nur durch die optischen Daten des Betrachterauges zu steuern. Gelöst wird diese Aufgabe dadurch, daß als Infrarotlicht ein stark diffuses Licht mit einer Wellenlänge von 800 bis 1000 nm verwendet wird, das koaxial um das Auge des Betrachters am Okulartubus erzeugt wird, und daß im Strahlengang des optischen Systems mindestens einr weiteres vom Erzeugungsort des diffusen Lichtes unabhängiges, auf das Auge des Betrachters gerichtetes Infrarotlichtsignal mit gegenüber dem diffusen Licht unterschiedlicher Intensität und einer Wellenlänge von 800 bis 1000 nm erzeugt wird, das zur Erzeugung mindestens eines zusätzlichen kornealen Reflexes dem diffusen Licht herangezogen wird.

Description

Verfahren zum Steuern von Mikroskopen und angekoppelten Geräten mittels Blickrichtungsanalyse,

Blickrichtungsmeßgerät und Okularaufsatz hierfür

Die Erfindung betrifft ein Verfahren zum Steuern von Mikroskopen mit angekoppelten Geräten mittels Blickrichtungsanalyse, bei der das Auge des Betrachters mit Infrarotlicht beleuchtet, durch ein optisches System abgebildet, von einem Bildsensor aufgenommen und das so gewonnene Bild anschließend in einem Prozessor zur Bestimmung der Blickposition durch Ermittlung der Pupillenmitte und kornealer Reflexe weiterverarbeitet wird.

Die Erfindung betrifft ferner ein Blickrichtungsmeßgerät zum Steuern von Mikroskopen und daran angekoppelte Geräte, mit das Auge des Betrachters beleuchtenden Infrarotdioden, einem das Auge abbildenden Bildsensor, einem die Blickrichtung des Betrachters berechnenden Prozessor und einem die Pupillenmitte und die kornealen Reflexe anzeigenden Monitor. Die Erfindung betrifft auch einen Aufsatz für den Okulartubus eines Mikroskopes, beispielsweise Operationsmikroskopes, mittels Blickrichtungsanalys mit mindestens einem Okularsystem zur visuellen Beobachtung des von der Objektlinse abgebildeten Operationsfeldes durch den Betrachter, einer das Auge des Betrachters ausleuchtenden Beleuchtungsquelle und mindestens einer im Okulartubus angeordneten Okularlinse.

Aus der DE 28 22 277 C2 ist ein binokulares Mikroskop für medizinische Zwecke bekannt, das insbesondere zur Verwendung beim Vernähen eines in der Hornhaut gelegten Schnittes, insbesondere zur Wiederherstellung der sphärischen Krümmung der Hornhaut eines Auges, das eine Eingangslinse aufweist, welche unter einem feststehendem Abstand vom Auge in Position bringbar ist, wobei nahe der Eingangslinse eine ringförmige Lichtquelle vorgesehen ist, mittels welcher ein Originalbild auf die Hornhaut projiziert wird. Eine zusätzliche Abbildungsoptik ist mit wenigstens einem Prisma oder einer Linse oder einem Spiegel teilweise in den Strahlengang des Mikroskops angeordnet, so daß ein Teil des Lichtes durch die zusätzliche Abbildungsoptik nicht abgelenkt und ein Bezugsbild erzeugt wird. Mittels der zusätzlichen Abbildungsoptik wird wenigstens ein weiteres, im wesentlichen mit dem Bezugsbild kongurentes, aber zu diesem versetztes Vergleichsbild erzeugt. Das Mikroskop weist eine EinStelleinrichtung auf, mittels welcher Lage und/oder Größe des Bezugsbildes und wenigstens eines Vergleichsbildes einstellbar ist. Die in dieser Druckschrift beschriebene ringförmige Lichtquelle ist der Objektivlinse und nicht dem Okular zugeordnet und dient der Ausleuchtung des Auges des Patienten und nicht des Betrachters.

Bekannt ist auch ein Operationsmikroskop mit einem Objektiv veränderlicher Schnittweite und einem, an einem Träger befestigten Gehäuse, das Mittel zur Strahlteilung und -umlenkung sowie zwei Beobachtungstuben enthält (DE 31 05 018 AI) , bei dem als Strahlenumlenkmittel ein Spiegel oder ein Prisma eingesetzt wird. Ferner ist aus der DE 36 23 613 C2 eine

Beleuchtungseinrichtung für ein Operationsmikroskop mit einem Beleuchtungssystem bekannt, das außerhalb der optischen Achse des Mikroskopobjektives angeordnet ist und das Beleuchtungslicht senkrecht zu der optischen Achse des Mikroskopobjektives hin abstrahlt. Mit einem eben ausgebildeten Strahlteiler wird das von dem Beleuchtungssystem herkommende, senkrecht zu der optischen Achse des Mikroskopobjektives verlaufende Beleuchtungslicht eingespiegelt und das vom Objekt herkommende, zum Mikroskopobjektiv verlaufende Licht durchgelassen .

Der Strahlteiler ist zentral zur optischen Achse des Mikroskopobjektives auf dessen objektabgewandter Seite angeordnet und gegenüber der optischen Achse des Mikroskopobjektives um einen Winkel geneigt, der eine zum Beobachtungsstrahlengang streng koaxiale Einspiegelung des Beleuchtungslichtes gewährleistet.

Nach der DE 41 34 481 AI ist ein Operationsmikroskop und ein Verfahren zur rechnergestützten stereotaktischen Mikrochirurgie bekannt, bei dem eine Vorrichtung zur Einspiegelung von Zwischenbildern in mindestens einen der beiden Stereo- Beobachtungsstrahlengänge, Detektoren zum Erfassen der optischen Systemdaten, ein Positionserkennungssystem sowie eine Prozeßsteuerungseinrichtung zur Auswertung der Signale des Prozeßerkennungssystems vorgesehen ist.

Dieses bekannte Operationsmikroskop und Verfahren ermöglicht zwar die Manipulation in allen sechs Freiheitsgraden in Bezug auf das Operationsfeld, die Daten zur Positionerkennung und -erfassung werden jedoch aus der Stellung der Objektivlinsen und des Zooms auf der Patientenseite gewonnen, so daß die Position und Orientierung des Patienten im Raum bestimmbar ist. Nach wie vor muß der Chirurg seinerseits die Einstellung mechanisch steuern. Außerdem sind die Platzverhältnisse auf der

Objektivseite, d.h. zur Patientenseite verhältnismäßig beschränkt .

Des weiteren ist aus der EP 0 596 868 A2 ein Verfahren zur Feststellung der Blickrichtung bekannt, das aus den Schritten der Ermittlung einer Position und einer Richtung des Kopfes von einem Gesichtsbild, der Ermittlung eines Merkmalpunktes eines Auges und der Berechnung der Augenstellung in Übereinstimmung mit der ermittelten Position und Richtung des Kopfes und des Merkmalpunktes des Auges besteht .

Das Auge wird mit Infrarotlicht beleuchtet, das von Dioden abgestrahlt wird, die ringartig um die Linse der Kamera angeordnet sind. Die EP 0 596 749 AI beschreibt ferner ein ophthalmologisch.es Gerät, das Bestrahlungsmittel für die Bestrahlung des zu untersuchenden Auges mit Infrarotlicht , Bildaufnahmemittel für die Aufnahme des zu untersuchenden Auges, Vergleichs- und Speichermittel für den Vergleich der von den Bildaufnahmemitteln erhaltenen Bildinformationen mit einem für die fortschreitende Bildinformation bestimmten Schwellwert, Berechnungsmittel für die Berechnung der Werte des zu untersuchenden Auges auf der Basis der Bildinformationen, die im Vergleichs- und Speichermittel gespeichert sind.

In der US-PS 5 231 674 wird außerdem ein Verfahren und ein Gerät zur Blickrichtungsfeststellung offenbart, bei dem mit einer Kamera ein optisches, d.h. analoges, Bild aufgenommen wird, welches in einer Bildverarbeitung analysiert wird, um Informationen über den Blickpunkt und/oder die Blickrichtung des Auges zu gewinnen. Die IR-Lichtquelle, die das zu untersuchende Auge beleuchtet, befindet sich in der optischen Achse des Linsensystems der Kamera .

Nach der EP 0 350 967 ist weiterhin ein Bildaufnahmegerät und ein Verfahren zum Ermitteln der Blickrichtung bekannt, bei der das Auge des Betrachters mit Infrarotlicht beleuch- tet, durch ein optisches System abgebildet, von einem

Bildsensor aufgenommen und das so gewonnene Bild anschließend in einem Prozessor zur Bestimmung der Blickposition durch Ermittlung der Pupillenmitte und kornealen Reflexe weiterverarbeitet wird. Allen diesen bekannten Lösungen ist der Nachteil gemeinsam, daß einerseits die Daten zur Lagesteuerung immer durch die optischen Systemdaten auf der Objektivseite gewonnen werden (DE 41 34 481) und andererseits das Augenbild oftmals durch Schatten, beispielsweise durch Wimpern, gestört ist. Dies führt dazu, daß die Position der Beleuchtungsdioden häufig nachjustiert werden muß, insbesondere dann, wenn an ein- und demselben Untersuchungsobjekt zu unterschiedlichen Zeiten gearbeitet wird.

Die DE 43 37 098 AI beschreibt eine Sehachsenermittlungsvorrichtung, die unter Verwendung eines durch Beleuchten des Auges eines Photografen mit Infrarotlicht erzeugten, reflektierten Augenbildes eine in Richtung eines Beobachtungspunktes des Betrachters weisende Achse oder eine Sehachse ermittelt, wenn der Betrachter eine Betrachtungsebene betrachtet, auf der mittels einer in einer optischen Vorrichtung wie einer Kamera enthaltenen Aufnahmeeinrichtung ein Objektbild erzeugt wird. Die Beleuchtung des Auges geschieht bei dieser bekannten Lösung durch jeweils zwei Infrarot- leuchtdioden, die auf den optischen Achsen der Projektionslinsen angeordnet sind, wobei sich die Leuchtdioden symmetrisch zu einer optischen Achse befinden.

Dieser Stand der Technik liegt einerseits abseits der Mikroskopie und es ergibt sich auch andererseits auch kein Hinweis auf die erfindungsgemäße Lehre. Die Beleuchtung zum Ansteuern von Mikroskopfunktionen und Bedienen von am Mikroskop angeschlossenen Geräten ist daraus nicht nahegelegt . Aus der WO 96/13743 ist auch ein Mikroskop für einen Anwender, insbesondere Operationsmikroskop mit wenigstens einem Tubus, wenigstens einem Bedienorgan und wenigstens einer Steuerung für wenigstens ein ferngesteuertes Stellorgan und mit einem Sensor zur Erfassung der Augen- bzw. Pupillenstellung eines Betrachtersauges für die Steuerung des Stellorgans bekannt. Das Stellorgan umfaßt ein Autozoom und/oder andere periphere Geräte oder Vorrichtungen unter Anschluß von Geräten zur Lageveränderung des Mikroskops . Im Bereich des Tubus sind dem Auge Bediensymbole im Inneren des Tubus für den Anwender sichtbar zugeordnet. Beleuchtet wird das Auge von einer einzigen IR-LED, die die Pupille des Betrachterauges auf einem CCD abbildet.

Durch die IR-Beleuchtung des Auges erscheint die Pupille des menschlichen Auges als zusammenhängende grauschwarze Fläche . Schattenzonen können aber auch durch Beleuchtung verursacht werden, beispielsweise dann, wenn die Lichtstrahlen nicht nur in einer Richtung auf die korneale Fläche reflektiert werden oder aber auch von anderen Objekten, die sich nahe dem Auge befinden. Sofern diese Objekte dem Auge gegenüberliegen, wie beispielsweise in der der WO 96/13743 beschrieben, werden diese reflektiert und erscheinen auf dem Augenbild. Die korneale Oberfläche des Auges ist ein Spiegel, der etwa 2% des einfallenden Lichtes reflektiert. Daher hat jeder Gegenstand, der vor dem Auge positioniert ist, seinen Reflex auf der Kornea. Jeder Reflex bzw. Schattenzone, dessen Grauton dem Grauton der Pupille nahekommt, führt daher zu Verfälschungen bzw. Fehlern in der Bestimmung des Pupillenmittelpunktes bei den vorher beschriebenen Verfahren zur Blickrichtungsanalyse. Dies stellt ein erhebliches Risiko für die Fehlbedienung des bekannten Mikroskops dar.

In Kenntnis der Nachteile dieses Standes der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren, ein Blickrichtungsmeßgerät und einen Aufsatz der eingangs genannten Art zur Verfügung zu stellen, das bzw. der es erlaubt, das Mikroskop und im Arbeitsfeld des Mikrospkops operierende Geräte ohne störende Reflexe und Fehlbedienungen des Mikroskops nur durch die optischen Daten des Betrachterauges zu steuern.

Dies wird mit dem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, daß als Infrarotlicht ein stark diffuses Licht mit einer Wellenlänge von 800 bis 1000 nm verwendet wird, das koaxial um das Auge des Betrachters am Okulartubus erzeugt wird, und daß im Strahlengang des optischen Systems mindestens ein weiteres vom Erzeugungsort des diffusen Lichtes unabhängiges, auf das Auge des Betrachters gerichtets Infrarotlichtsignal mit gegenüber dem diffusen Licht unterschiedlicher Intensität und einer Wellenlänge von 800 bis 1000 nm erzeugt wird, das zur Erzeugung mindestens eines zusätzlichen kornealen Reflexes dem diffusen Licht herangezogen wird.

Nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahren wird das von dem Bildsensor erfaßte analoge Augenbild durch Analog/Digital- Umsetzung in unterschiedliche Grautöne unterteilt (Graustufenbilderzeugung) , oder durch eine Kantendetektor-Logik in Ereignisse zerlegt, wobei jede Videozeile nach Dunkel-Hell- bzw. Hell -Dunkel - Übergängen abgesucht wird, und daß die gewonnenen Informationen in eine Ereignistabelle eingearbeitet werden, die dem Prozessor zur Bestimmung der Koordinaten des Pupillenmittelpunktes, kornealer

Reflexe und daraus der Blickrichtung zugeführt werden.

In weiterer bevorzugter Ausgestaltung des erfindungsgemäßen Verfahrens wird das sichtbare Licht vom Infrarotlicht durch einen wellenlängenabhängigen Strahlteiler, vorzugsweise einen Halbspiegel mit Antireflexionsbeschichtung, ein Prisma, oder einen polarisierenden Strahlteiler getrennt wird, der mehr als 80% des zur Ausleuchtung des Betrachterauges verwendeten Infrarotlichtes reflektiert und für mehr als 80% des sichtbaren Lichtes mit einer Wellenlänge unter 800 nm durchlässig ist.

Die Ausleuchtung des Auges und die Erzeugung der kornealen Reflexe erfolgen beim dem erfindungsgemäßen Verfahren separat, wodurch eine sehr gute Bildqualität des analogen Augenbildes mit scharfen dunkel-hell - Übergängen ohne störende Reflexe erzielt wird. Dies ist die Grundlage dafür, daß das vom Bildsensor aufgenommene analoge Augenbild fehlerfrei mit hohen Bildfrequenzen bis zu 250 Hz abgestastet und in digitale Sequenzen von Ereignissen zerlegt werden kann, die eine exakte Bestimmung der für die Ansteuerung erforderlichen Koordinaten des Pupillenmittelpunktes, der kornealen Reflexe und damit der Blickrichtung ermöglichen. In einem weiteren wesentlichen Merkmal des erfindungsgemäßen Verfahrens wird neben dem ersten kornealen Reflex im Abstand d ein zweiter kornealer Reflex mit einer weiteren Infrarotlichtcruelle vom ersteren erzeugt, der zur Autofokussierung des Augenbildes des Betrachters herangezogen wird. Die gewonnenen Graustufenbilder werden über einen Videospeicher geführt, in dem die Bilder mit einer

Histogrammfunktion analysiert werden. Über alle Videozeilen werden die einzelnen Graustufen ermittelt und in Form einer Häufigkeitsverteilung zusammengestellt, die eine automatische Bestimmung der Schwellwerte zur Detektion der Pupille und kornealer Reflexe ermöglicht.

Die Blickbewegungen des Benutzers werden auf das Arbeitsfeld kalibriert, indem ein Träger mit Markierungspunkten in der Objektebene oder ein in die Zwischenbildebene des Strahlenganges eingespiegeltes Bild verwendet wird, die auf die physikalischen Größen des Arbeitsfeldes umgerechnet und anschließend zwischengespeichert werden, so daß bei jeder Veränderung der Mikroskopvergrößerung automatisch eine Anpassung der Kalibrierdaten durchgeführt wird, die ohne manuelle Nachjustierungen stets eine optimale Kalibrierung gewährleistet .

Geeignete Geräte bzw. Systeme zur Ankopplung an das Mikroskop sind Operationsinstrumente, Laser, Inspektions- systeme für Wafer, Softwareprogramme, bildgebundene Systeme oder Kameras .

Die Aufgabe wird weiterhin durch ein Blickrichtungsmeßgerät gelöst, das aus einem Videomultiplexer, auf dessen Eingängen mehrere Video-Signale gelegt sind, denen Bildsensoren zugeordnet sind, und dessen Ausgang entweder direkt über einen oo t t

Oh o o on o

Hi tö Φ N d= Φ μ- d ri M P ri φ Φ

P. d o μ- Ω ö fr

Φ tr μ- d rt Hi M

5_! d Hi PJ

PJ P d ri ω LQ CQ M

Φ CQ 0 μ- ri P p. μ- CQ CQ

Φ P Ω Φ D LQ tr

Φ C- tu J μ- μ-

Φ P tr Ω rt LQ φ tr ri Φ rt

PJ 0 PJ

Ω ri er ⁾ tr p. LQ P rt P Φ Φ

Φ φ μ- ri rt Φ P

CD Ω PJ D fr P

PJ μ- rt d P Φ Φ

Hl P- ri

C M

Φ P J μ- - Hi P

CQ Φ LQ rt H PJ Φ

~ ri 0

Φ 0 ri d μ- rt P*

P P P

Φ μ- φ

0 rt

> Φ

PJ d Φ - tr- CQ P

CQ

Ό N d J d ri ri Ω d Φ tr

P μ-

LQ P φ

3

o oo to to |_- on o on o H o Ut α LQ H H^l O ö H tr ≥! rrj PJ σ N J > f P J φ P. ri J. tö tö LQ J J 3 h μ- φ P PJ= ^ μ- ri Φ J o d μ- d P d μ- PJ P μ- d φ d φ φ Φ P P μ- Φ

Φ 3 P d Φ P⁾ CD rt M CQ Φ LQ LQ LQ Ω Ω LQ P ri Hl CD LQ rt ri LQ LQ P Ω

CQ P⁾= s- LQ M P rt d= ^ φ Φ φ tr tr Φ Φ Ω M rt i ri μ- Φ Φ C- tr tΛ Φ CQ PJ H CD Φ ri 0 rt α 0 0 P rt LQ 0 3 tr Φ μ- Φ PJ Ω 0 0 φ rt tr Φ μ- J ri P 3 tr M X tr μ- ri ri tr Φ ri M ^ Φ P Ω tr r ri CQ ≤

PJ P rt Ω J Hl μ- φ μ- ^ Φ Hi & α μ- φ 0 P. ≤ PJ: rt ri N tr rt rt μ- rt Φ tr Ω ri CQ P Ω 3 ri Hi P P M 3 ri P μ- CD μ- er d rt Φ P P φ P

> ri CD tr PJ CQ tr Φ 3 d φ φ •Ö Φ P CD Φ PJ P Φ rt Φ Φ P

C- d Φ Φ CQ ri μ- rt 0 co rt rt φ Hi P rt μ- i h LQ ri rt rt CD M

Φ Hi ri P Φ 0 0 P. F? P^J Ό 0 CQ μ- φ φ LQ φ CQ μ- Φ μ-

P CD rt P PJ J ^ M ri μ- μ- P rt μ- M Φ P μ- CD μ- φ LQ

P⁾ er fr LQ C- CQ P M P⁾ CQ CD CD d P. Φ CD i P. CQ Φ M rt O CQ μ-

< rt φ 0 rt μ- PJ P Φ CQ Ω rt rt P M P rt <l φ rt ri Φ - • rt P N

0 ESI CQ J Φ 0 d P. P rt tr • - P. μ- - 0 ^ ri - P fö - φ d μ Φ 0 X ri Hi μ- P. μ- Φ Ω P Φ -

Φ € φ μ- 3 D μ- P- P. tr s ö fr P. • 3 H rt CQ P μ- P d M d μ- Φ μ- 1 C

Φ p. J Hi P Φ Φ μ- Ω tr Φ φ φ er P (^ M Hi P r- P Φ r Φ H 0 μ- tr Φ M o= μ- td rt tr φ 3 ri CQ μ- a. LΠ Φ d= - Hl o ri d Ό

M PJ ri ri CQ LO μ- ö Φ M 0 P ri d C- P Φ er rt rt φ ESI 3 μ- rt LQ μ- tr 3 tr φ CQ P. - M CD Ξ J P. P d μ- ri d μ- P . φ Hi 0 Φ J ri φ d PJ tsi PJ= CQ CD . P- ri LQ P. P Hl t « CQ CD tsi P P CΛ d P> 0 0 CD φ CD μ- tΛ ri i P er P H Ω J Φ CQ d φ P rt φ CQ LQ LQ Ω CQ Φ H CD fö Φ tr tΛ ri d O J μ- Ω CQ 3 P φ t d 0 CQ μ- φ tr Φ Ω μ- fö 0 1 μ- Φ

CQ fr P P tr 0 CQ tr M LQ ri φ P 0 P rt μ- tr 1 ri f P P

P- H LQ d LQ PJ ri rt rt μ- rt CD σ PJ tr P Φ C- tr¹ M μ- φ μ- d Φ M φ Φ Hi CQ ri CQ Ω φ ^ Φ Φ rt er PJ μ- PJ μ- μ- Ω >

Φ er CD PJ 0 μ- rt Ω μ- rt P fr P CD P μ- μ- tr ri α er CQ Ω P t ≤ Ω d rt ri ri P tr CQ 0 PJ rt Φ P CQ PJ= φ μ- Φ tr CD rt Φ d CQ PJ PJ P. φ Φ Φ rt Hi Ω μ- Φ φ Ω tr t μ- CD

3 M Ω P i μ- μ- PJ Hi tr Ω 0 3 3 ü tr P CQ φ rO rt φ

LQ CQ P> ri J rt Φ

•ö Φ rt tr φ P er M tr ri μ- φ μ- α P tr* φ P μ- PJ d d Φ

Hi μ- d CQ rt i Φ Φ M Φ rt P Hι P LQ μ- co CQ CQ d P Hl ri μ- P P φ M M μ- tr μ- d φ d= P. Φ Φ Ω Φ Hi P- Φ φ

P φ LQ J= PJ CQ Φ P P PJ ri Φ ri > 3 d P ri

P Ω tr d PJ μ- φ LQ M CD Ω tr M 0 PJ φ CQ p. PJ rt tr P ri P. φ μ- H

M <! P. d P. tr O Ω rt CQ 3 CD φ rt tsi CO Hi & P J μ- P P o μ- J Φ CQ Φ tr tr μ- Ό 3 P μ- Φ $. CQ rt OJ. ü P PJ CQ P φ Hl

Ω ri CQ LQ 3 Φ 0 μ- £. PJ= φ P μ- Φ Φ J φ tr ri d tr μ- Φ μ- CD P J P Φ Φ VÄ fö CQ CD J P. ri rt Φ rr μ- J M fr PJ Φ ri rt φ d CD M μ- LQ φ td Ω μ- tr o 0 d ri 3 3 l-i PJ

Φ er μ- P P. CD LQ CQ rt Φ l-h i Φ tr M Ω rt d p. LQ μ- 0 μ. μ- M Hl Ω μ- ^•^ μ- ri =^> Φ ri M Hl μ- φ rt tr M co rt rt rt Φ μ- tr tr i Hi Φ PJ Φ ri fjj: φ PJ P O P Φ Φ

P φ μ- fr P. ri 3 rt P. d

P rt ri Φ Hi μ- P. μ- Φ rt X CQ φ μ- tr Ω d P. P ri μ- er p. f P- Φ Φ Ω d P • co P φ CQ PJ tr M 0 φ — ' tr μ- P> 0 d

Φ PJ= d rt P tr CD φ φ d d φ 1 Φ Ω rt P CD tr P. CQ

CQ P P rt Φ 3 2 P Hi P J ri tr M Φ LQ LQ P Φ LQ φ ri P φ μ- Φ CD Ω rt φ μ- i d P P

• 1 d M fr P. f tr P φ LQ

H PJ 3 Φ 1 d P PJ

CQ J CQ P

M CQ LQ

Systems auf Kopfbewegungen einstellbar ist. Je länger die Tubuslänge, um so unempfindlicher ist die

Blickrichtungserfassung von der Kopfbewegung des Betrachters .

In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Aufsatzes ist ein weiterer Tubus rechtwinklig am Okulartubus vorgesehen, in dem eine weitere Infrarotdiode für die Erzeugung des zweiten kornealen Reflexes angeordnet ist, der zur automatischen Fokussierung des Augenbildes des Benutzers auf den Bildsensor genutzt werden kann.

Der Halbspiegel besitzt eine Antireflexionsbeschichtung aus Leichtmetallfuoriden, die die hohe Transmission für sichtbares Licht sicherstellt.

Das erfindungsgemäße Verfahren, das erfindungsgemäße Blickrichtungsmeßgerät und der erfindungsgemäße Aufsatz ermöglicht die reflex- und schattenfreie gleichmäßige Ausleuchtung des Auges des Betrachters. Dadurch wird eine gegenüber Umgebungslicht unempfindliche optimale Kontrastbildung zwischen Pupille und Iris des Betrachters erreicht, so daß der Pupillenmittelpunkt und die Lage der kornealen Reflexe exakt bestimmbar wird. Es hat weiter den Vorteil, daß die Blickrichtung des Betrachters ermittelt und automatisiert die Nachsteuerung von Geräten wie Laser, Endoskope, Inspektionssysteme für Wafer, Softwareprogramme, bildgebundene Systeme, Kameras und dgl . ermöglicht wird. Gleichermaßen ist der erfindungsgemäße Aufsatz für die binokulare oder auch monokulare Blickrichtungsanalyse geeignet. Mittels Adapter kann der erfindungsgemäße Aufsatz auf alle gängigen Mikroskoptypen aufgesetzt werden.

Hieraus läßt sich der Vorteil der hohen Flexibilität und Variabilität des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Aufsatzes bei der Durchführung von medizinischen Operationen oder technologischen Prozessen zur Mikrochipherstellung erkennen.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispieles unter Bezugnahme auf die beigefügten Zeichnungen.

Es zeigen im einzelnen:

Fig. 1 eine Schnittdarstellung in Seitenansicht des erfindungsgemäßen Aufsatzes,

Fig. 2 eine Schnittdarstellung in Draufsicht des Beleuchtungssystems am erfindungsgemäßen Aufsatz,

Fig. 3 eine Schnittdarstellung in Seitenansicht des Beleuchtungssystems am erfindungsgemäßen Aufsatz,

Fig. 4 ein Schema der Abbildung des Analogbildes durch das Linsensystem des erfindungsgemäßen

Aufsatzes, Fig. 5 eine schematische Darstellung der Berechnung des Einfusses von Kopfbewegungen des

Benutzers auf die Blickrichtungsmessung,

Fig. 6 eine Kennlinienschar für die Sensitivität der Kopfbewegungen in Abhängigkeit von der Position der separaten Infrarotdiode,

Fig. 7 eine Darstellung des analogen Augenbildes nach dem erfindungsgemäßen Verfahren mit Überlagerung (Overlays) von Fadenkreuzen für den ermittelten Pupillenmittelpunkt und einen kornealen Reflex,

Fig. 8 eine Prizipdarstellung für die ScharfStellung des Auges des Chirurgen durch Autofokus bei Ausnutzung von zwei kornealen Reflexen,

Fig. 9 ein Blockschaltbild der Elektronik des erfindungsgemäßen Verfahrens,

Fig. 10 eine Darstellung einer Anwendung des erfindungsgemäßen Verfahrens in der Laserchirurgie .

Der in Figur 1 dargestellte Okulartubus 1 des erfindungsgemäßen Aufsatzes 2 ist durch einen Adapter 3 mit der Aufnahme eines handelsüblichen Operations- mikroskopes 57 verrastet . In dem Okulartubus 1 befindet sich ein Halbspiegel 5, der mehr als 80% des Infrarotlichtes (Wellenlänge von d Q n_ ö PJ tö er P- φ ≥! > σ tö td td p r= φ tö er tu n PJ p ri Φ J d Φ ri φ μ- μ- ⁾ P μ- φ μ- μ- ri μ- μ- Φ PJ tr P

PJ CQ CQ CQ M Φ ri 0 P Ω Ό φ ri P P φ Φ P M < M H- J d rt Φ μ- P. Φ tr J Φ Hi μ- μ- Φ P. 0 tr ri M p. rt CD CQ rr d rt o φ ri CD TJ μ- J H CQ tr Hi CO ri CQ d 0 J 0= rt T 0 Ω Φ p P r= co 0 Ω M P φ Φ Φ Ό ri LQ tr P Φ M tr P d LQ μ- d CQ tr M Hi M μ- tr P Φ μ- LQ φ

Φ Φ M rt ^ rt M H ri iQ P μ- Φ Φ ri Hi rt μ- LQ CQ φ Φ CQ ri •« M Φ 0 d tö PJ H 0= d LQ rt CQ P J 0= CQ Φ 0 LQ P d ri X P φ ri tr- ri μ- ri H LQ ri ri < φ tö p. P- P LQ M M r Φ 0 J < 0 3 ri 0 M s: μ- μ- μ- LQ P g CD Φ μ- Φ ri to Φ P d 0 rt μ- J P l-¹ 3 μ- M

Φ Φ 0 Φ ri d P M Φ ri Hi P LQ μ- o cπ ri P.

P. Ω rt μ- Ω CQ Φ P d P- ü φ Φ Ω O

CQ P Φ tr tr P tr φ d P α Φ P. tr¹ d P tr PJ er μ- lO μ- PJ ri *< LQ rt Ω P. μ- H Φ μ- ri t rt er P P. o

Ω tr P M d cn tr P 0 P Ω Ω φ tr LQ φ d

^ Φ tö PJ= φ M P rt tsi O O tr tr ≤ Φ P. Φ fr φ ri φ M tr P to LQ Φ Φ PJ rt ^ tö rt LQ Φ Hi J σ rt μ- Ω φ ri P. μ- φ CQ P rt - Ξ ri d μ- PJ LQ Φ ri μ- μ- P tr CQ φ Φ Ω ri J μ- ri LQ M μ- μ- M M P. P d CQ LQ M <! φ

CD er CQ μ- - ri φ PJ C- φ LQ P rt Φ P. P. > t ri tsi LQ rt P J & P. P ri co CQ CQ LQ μ- CQ φ C- t i μ- d φ o μ- d Φ LQ P μ- er N M Φ Hi Φ LQ rt rt Φ s; φ LQ

CQ ri Ω p. 3 Φ Φ Φ P. J μ- P d μ- P rt φ ri μ- Φ rt PJ tr Φ Φ μ- H μ- μ- PJ tr P CD M M ~ M s; ω f CQ μ- d rt Ω rt t P CQ CQ M CQ 0 rt rt N M μ- < Ω μ-

3 rt d M fr J 0 T Φ ri ri Φ d rt ri μ- tr P ^J

3 0 P fjj: rt Φ tr P PJ μ- P- PJ ri M μ- φ P. Φ CQ d P LQ d • μ- o P. X φ d Φ σ« H <! P⁾= φ P • φ P φ α

P φ rt P tr φ μ- M LQ CD O μ- to CΛ 0 er P φ

LQ co Φ Φ Φ Φ ri PJ CD Φ μ- • 0 rt M tu ü fr μ- CQ ri ri ri ri M 5! tö 3 M . μ- PJ μ- PJ M σ»

P* P. fr P J Φ -J Φ Φ <! P M Φ 3 P. tö φ φ φ P. α ö P ESI μ- rt O rt φ Φ rt φ φ d Φ

CD ü P Φ μ- μ- LQ d CQ P. fr rt PJ Φ < ri er P rt

P Hi Ω φ ri Φ φ PJ d Φ tr ri H μ- PJ Φ ü

•ö rj rt < Hi tr 0 CQ Ω M P μ- φ d & P PJ d d Φ d rt ri 0 <! tr PJ P P φ O Φ j^ Ω

O Ό CD ri CQ Φ Ό 00 tö rt ri d P- d LQ 0 tr μ- μ- Ω l-h 0 P rt Φ Φ rt P φ P fr PJ tsi d= rt

M M tr PJ ri er φ μ- rt ri d P. ri & 3 J d σ Φ

M M PJ tr CQ μ- rt CQ H h CD tr rt μ- 3 Hl Φ ri φ φ rt ri Ω M Ω P J d CQ rt φ PJ CD

P rt Φ tr tr Hi Ω <1 CQ μ- P. ri P. er

3 M φ P φ Φ Φ Φ ri tr PJ Ω PJ LΠ J φ LQ & er μ- μ- P μ- P μ- P PJ rt ri H tr CD P Φ er φ N rt φ N er P i Φ μ- rt P s£ rt LQ J d Φ φ > 0 ri P⁾ μ- σ n μ-

Φ Φ M ri Ü P Ω rt CD tr CD PJ μ- n M

M P LQ H Φ tr φ rt ri CD d C- ω CD 3 M φ rt Φ φ μ- • P rt rt d PJ td ri P

punktes stören können. Ähnliches gilt für zusätzliche Reflexe auf der Kornea, welche die Erfassung der kornealen Reflexe stören.

Durch die Diffusorscheibe 13 wird das von den Infrarotdioden 11 punktförmig abgestrahlte Licht gestreut und stark diffus, so daß eine gleichmäßige, schatten- und reflexfreie, symmetrische Ausleuchtung des Auges des Betrachters um die optische Achse desselben gewährleistet wird und vorgenannte Störungen nicht mehr auftreten.

Die Infrarotdioden 11 strahlen Infrarotlicht in einem engen Spektrum innerhalb des Wellenlängenbereichs von 800 bis 1000 nm aus. Als Infrarotdioden 11 werden handelsübliche LED's, beispielsweise LD 261 der Firma Siemens mit einer Wellenlänge von etwa 950 nm, eingesetzt, so daß eine nähere Beschreibung dieser Infrarotdioden entfallen kann.

Die Diffusorscheibe 13 und der Beleuchtungsring 12 besitzen eine Aussparung 14 für die Nase des Betrachters und mindestens eine weitere Öffnung 18 für den Durchtritt des Infrarotlichtes zur Erzeugung der kornealen Reflexe 25 und 28, auf die im weiteren Verlauf des Ausführungsbeispieles näher eingegangen wird.

Senkrecht zur optischen Achse B des Okulars 6 befindet sich am Okulartubus 1 ein weiterer Tubus 15, in dem eine separate einzelne Infrarotdiode 16 positioniert ist. Das Infrarotlicht dieser Diode 16 fällt im Tubus 15 der Länge 1 durch eine C.R. -Kondensorlinse 17, die den Strahlengang zusammenführt, und auf ein Prisma 19, das die Infrarotstrahlen durch die Öffnung 18 im

Beleuchtungsring 12 und in der Diffusorscheibe 13 auf das Auge des Chirurgen lenken. Dort erzeugt dieses Infrarotlicht den für das Berechnungsverfahren zur Bestimmung der Blickrichtung erforderlichen eindeutig definierten kornealen Reflex.

Die Infrarotdiode 16 ist ebenfalls eine handelsübliche LED (SFH 487 der Firma Siemens) mit einer Wellenlänge von etwa 880 nm.

Die Winkelposition des Prismas 19 ist justierbar und die Länge 1 des Tubus 15 variabel . Die Länge 1 des Tubus 15 positioniert damit die separate Infrarotdiode 16 und bestimmt gleichzeitig die Sensitivität des erfindungsgemäßen Aufsatzes auf Kopfbewegungen des Betrachters.

Durch das Infrarotlicht der einzelnen Infrarotdiode 16 wird ein eindeutig kornealer Reflex 25 erzeugt.

In Figur 4 wird die Entstehung des Analogbildes 20 erläutert und auf die optische Dimensionierung des erfindungsgemäßen Aufsatzes eingegangen.

Das Auge 7 des Betrachters befindet sich im Abstand l vor der Okularlinse 6 mit der Brennweite f6 bei einer Gegenstandsgröße von yl . Nach Durchlaufen des Abstandes k zwischen der Okularlinse 6 und der Linse 4 mit der Brennweite f4 entsteht eine Bildgröße von y3 der Abbildung des Auges 7 bei einer Bildweite w3 zur Linse 4 in der Zwischenbildebene Z_E Die Außenkante der Okularlinse 6, mit dem Durchmesser y6 , abgebildet durch die Linse 4, bestimmt die Austrittspupille der Linsenkombination mit den Brennweiten f6 und f4. Für den Abstand w4 der Austrittspupille von der Linse 4 und die Größe y4 der Austrittspupille gilt:

fyk w₄ (Gleichung 1) und

^4 = ^• y₆ (Gleichung 2) k -

Das Zwischenbild in der Zwischenbildebene Z_E wird durch das Objektiv der Videokamera 9 mit einer Brennweite f5 bei einer Gegenstandsweite von w7 und einer Bildweite von w5 auf den Bildsensor 10 in der Abbildungsebene 8 mit einer Bildgröße von y5 abgebildet . Die Größen 5 und y5 sind individuell durch Wahl der Gegenstandsweite w7 auf jeden Videokameratyp einstellbar.

Die Berechnung des Einflusses der Kopfbewegungen des Mikroskop-Benutzers ist in Figur 5 näher erläutert.

Die Vektordarstellung stellt das Auge 7 des Betrachters, die separate einzelne Infrarotdiode 16 und den erfindungsgemäßen Aufsatz 2 nach Figur 1 im dreidimensionalen Raum modellhaft dar. Der Vektor &■ zeigt dabei auf die Koordinate der Infrarotdiode 16 im erdgebundenen Koordinatensystem O, und der Vektor o zeigt vom Ursprung des erdgebundenen Koordinatensystems auf den Ursprung O' des variablen Augenkoordinatensystems .

Durch Heranziehen des Hilfsvektors a " vom Ursprung des Augenkoordinatensystems O' zur Koordinate der

Infrarotdiode 16 kann der Blickrichtungsvektor g durch die Koordinaten des erdgebundenen Systems ausgedrückt werden:

R

Gy- ^•(V - o_x) (Gleichung 3)

2A - - R G G_γγ (Gleichung 4)

A kennzeichnet hierbei den Abstand zwischen Ursprung des Augenkoordinatensystems und der Koordinate der Infrarotdiode 16, und R den Radius der Korneakrümmung .

Der Übergang auf den Vektor § ermöglicht die Berechnung der Blickrichtungskoordinaten bei beliebigen Kopfbewegungen, wenn das Auge 7 auf den Mittelpunkt des Mikroskop-Objekträgers fixiert bleibt.

Die Sensitivität der Koordinaten des Blickrichtungsvektors zu den Kopfbewegungen und somit den Verschiebungen zum erdgebundenen Koordinatensystem O wird durch die Gleichungen

dG_γ dO_v d0₇ (Gleichung 5) dG d0₇ (Gleichung 6) ausgedrückt

Die partiellen Ableitungen des Blickrichtungsvektors ergeben sich daher zu:

Für die X Koordinate :

A-(2A-R)-2-(S_x-O_xY

= -R (Gleichung 7) X>_x A- (2A- -R)²

(Gleichung 8) dG _Λ (S_x

= 2R -o_x) (S_z- -o_z) (Gleichung 9)

A-(2A-RY und für die Y Koordinate :

SG_γ (S_χ-O_χ)-(S ~Oy) dG,

-2R (Gleichung 10)

A-(2A-R)² δO_v dG^, A-(2A-R)-2-(S_γ-O_y)²

= -R (Gleichung 11) dO_y A-(2A-R)²

6G_y (S_y-O_γ)-(S_z-O_z)

-2R (Gleichung 12) A-(2A-R)² Die Abhängigkeit der Kopfbewegungen ist durch die Kurvenschar gemäß Figur 6 dargestellt. Für große Längen S_z, welche der Länge 1 des Tubus 15 entsprechen, ist die Sensitivität deutlich reduziert.

Durch die getrennte Beleuchtung zur Ermittlung des Pupillenmittelpunktes und der kornealen Reflexe wird eine hervorragende Bildqualität des Augenbildes 7 erzielt, wie in Figur 7 gezeigt.

Dem Augenbild 7 überlagert sind das Zielfadenkreuz 22 für den Pupillenmittelpunkt 24 und das Zielfadenkreuz 23 für den kornealen Reflex 25 als Overlays.

Ein zweiter Tubus 26 ist wie der Tubus 15 rechtwinklig zum Okulartubus 1 angeordnet . Dieser enthält eine weitere Infrarotdiode 27, die ihr Infrarotlicht ebenfalls mit einer Linse 17 und einem justierbaren Prisma 19 durch die Öffnung 18 in der Diffusorscheibe 13 auf die Kornea des Auges 7 des Chirurgen lenkt und dort einen zweiten kornealen Reflex 28 erzeugt, der zur Autofokussierung des Augenbildes 7 herangezogen wird.

Die Figur 8 zeigt die ScharfStellung des Auges 7 des Chirurgen für den Fall, daß die beiden Infrarotdioden 16 und 27 koplanar liegen. Da die Tuben 15 und 26 in einer senkrechten Flucht in den Okulartubus 1 einmünden, ist diese Bedingung erfüllt. Neben dem ersten kornealen Reflex 25 ist ein zweiter kornealer Reflex 28 vorhanden, die voneinander den Abstand d besitzen, der ein Maß für die Fokussierung ΔS₀ der Videokamera 9 darstellt. Für die koplanare Ebene gilt:

1 1 1 2

— + — = 7 = -- (Gleichung 13 ) ύ, o₀ J K und

(Gleichung 14]

Damit ergibt sich die Autofokus-Funktion:

2aR

Ad = - ~ — r - ΔS₀ (Gleichung 15 ) ,

(R + 2S₀) wobei a der Abstand zwischen den beiden Infrarotdioden 16 und 27 ist.

In Figur 9 ist das Blockschaltbild des erfindungsgemäßen

Blickmeßgeräts 46 dargestellt.

Auf einer PC ISA Bus-kompatiblen Einschubkarte ist ein Videomultiplexer 29 mit maximal drei Video-Eingängen realisiert .

Wahlweise stehen für diese drei Video-Eingänge CCD- Bildsensoren 10 mit einer vertikalen Abtastfrequenz von 50 Hz für die Standard-Video-Bildwiederholrate oder mit einer vertikalen Abtastfrequenz von 250 Hz für höhere Bildwiederholraten zur Verfügung.

Die analogen Signale gelangen einerseits über einen 8- bit Analog/Digital -Umsetzer 30 als Graustufenbild zum Blickrichtungs-Prozessor 32. Die Verteilung der unterschiedlichen Grautöne kann mit einer Histogrammfunktion analysiert werden.

Andererseits werden die analogen Video-Eingangsignale parallel zur Analog/Digital -Umsetzung von einer Kantendetektions-Logik 34 zunächst in Ereignisse zerlegt, die sich durch Schwarz-Weiß- (Dunkel -Hell) Übergänge bzw. Weiß-Schwarz- (Hell-Dunkel) Übergänge charakterisieren lassen. Diese Übergänge werden in Form von Ereignissen (Events) für jede Videozeile getrennt für die Pupille und den kornealen Reflex in einer Ereignistabelle abgelegt und abgespeichert, bevor sie dem Blickrichtungs-Prozessor 32 zugeführt werden. Mit der Ereignistabelle ist es möglich, deutlich mehr Bilder pro Sekunde abzuarbeiten als es für Standard- Video-Abtastfrequenzen notwendig ist. Deshalb wird die Zerlegung der Bilder in Ereignisse für maximale Bildwiederholraten genutzt. Der Video-Ausgang 35 ist für das Augenbild 20 mit

Overlays 62 vorgesehen. Zusätzlich ist ein Videoausgang 38 mit handelsüblichem VGA-Standard vorhanden. Mit Hilfe eines RAMDAC 39 wird für diesen Ausgang die Digital/Analog-Wandlung der Signale vorgenommen, mit der Möglichkeit, auch Falschfarben mit in das Ausgangssignal einzumischen. Im Videospeicher 41 ist derjenige Bereich des Videobildes abgelegt, der mit einer Bildüberlagerung (Overlay) überdeckt wird. Das Video- Eingangssignal der Videokamera 9 wird solange auf die Videoeingänge durchgeschleift, bis ein Pixel kommt, das eine Overlay-Information beinhaltet. Dieses wird mit einer wählbaren Overlay-Farbe eingefärbt.

Vier 12-bit DAC-Ports 43 mit 100 kHz Wandlungsrate ermöglichen die Ansteuerung externer Funktionen, beispielsweise von Schaltern über Relais. Ein 12-bit ADC-Port 44 für acht Kanäle im Multiplex-Betrieb kann zur Erfassung weiterer Meßwerte dienen.

Der 16-bit ISA-Bus 48 stellt die Verbindung zu weiteren PC-Einschubkarten und dem PC-Prozessor bei Einsatz im PC her. Für den stand-alone-Betrieb des Blickmeßgeräts 46 sind ferner ein 8-bit Digital-Input/Output 60 und serielle Ports 61 vorgesehen.

Weiterhin sind zwei Infrarotdioden-Stromversorgungen (12 V, 200 mA) 45 vorgesehen, die den erforderlichen Strom für die Infrarotdioden 11, 16 und 27 bei der Abtastung des Auges 7 des Betrachters durch die Videokamera 9 liefern.

Der Erweiterungsport 49 ermöglicht den Anschluß weiterer Funktionsbausteine, beispielsweise zusätzliche Logik und Koprozessoren.

Das erfindungsgemäße Verfahren wird nachfolgend am Beispiel der Laserchirurgie gemäß Figur 10 erläutert. Anstelle des rechten Mikroskoptubus ist ein erfindungs- gemäßer Aufsatz 2 in Form eines Okulartubus 1 mit dem Adapter 3 auf das Operationsmikroskop 57 aufgesetzt und arretiert. Rechtwinklig in den Strahlengang dieses Okulartubus 1 ist ein Tubus 15 für die Videokamera 9 eingebunden.

Das Kamerasignal wird dem Blickrichtungsmeßgerät 46 entsprechend Figur 9 zugeführt. Das PC kompatible Einschubboard des Blickrichtungsmeßgerätes 46 befindet sich im Eyetracking-Computer 59. Über eine parallele oder serielle Verknüpfung 50 werden die Ausgangssignale des Blickrichtungsmeßgerätes 46 auf eine Steuereinheit 51 übertragen, der über eine Treiberkarte 52 die Ansteuerung eines Operationslasers 53 übernimmt.

Bevor die eigentliche Operation begonnen wird, müssen die Blickbewegungen des Chirurgen auf das Operationsfeld 54 kalibriert werden. Hierzu wird ein Objektträger 55 mit einer geringen Anzahl definierter Punkte (5 Punkte sind ausreichend) verwendet . Während der Chirurg diese Punkte betrachtet, werden die Ausgangsdaten des Blickrichtungsmeßgerätes 46 auf die physikalischen Größen des Operationsfeldes 54 bezogen. Die Kalibrierungsdaten werden vom Blickrichtungsmeßgerät 46 im Eyetracking-Computer 59 zwischengespeichert.

Bei jeder Veränderung der Mikroskopvergrößerung erfolgt automatisch durch das System eine Anpassung der Kalibrierdaten, die ohne manuelle Nachjustierungen stets eine optimale Kalibrierung gewährleistet.

Unter dem Objekttisch 56 des Operationsmikroskopes 57 wird der Laserstrahl für die Laserbehandlung eingespeist und über ein optisches Umlenksystem im Objekttisch 56 auf das Arbeitsfeld 54 gerichtet.

Aufstellung der verwendeten Bezugszeichen

Okulartubus 1

Aufsatz 2

Adapter 3

Linse 4

Wellenlängenabhängiger Strahlteuer 5 Okularlinse 6

Auge des Betrachters

Abbildüngsebene

Videokamera 9

Bildsensor 10 Infrarotdioden 11

Beleuchtungsring 12

Diffusorscheibe 13

Aussparung für Nase 14

Tubus 15 Separate Infrarotdiode 16

C.R. -Kondensorlinse 17

Öffnung 18

Prisma 19

Analoges Augenbild 20 Infrarot-Durchgangsfilter 21

Zielfadenkreus Pupillenmittelpunkt 22

Zielfadenkreuz kornealer Reflex 23

Pupi11enmi11e1punkt 24

Erster kornealer Reflex 25 Tubus 26

Separate Infrarotdiode 27

Zweiter kornealer Reflex 28

Videomultiplexer 29 8-bit Analog/Digital-Umsetzer 30

Blickrichtungs-Prozessor 32

Kantendetektor-Logik 34 Videoausgang 35

Videoeingänge 36,37

Zusätzlicher Videoausgang 38

RAMDAC mit Falschfarbenüberlagerung 39

Speicher-Modul 40 Videospeicher 41

12-bit DAC-Port 43

12-bit ADC-Port 44

Stromversorgung für Infrarotdioden 45

Blickrichtungsmeßgerät 46 16-bit ISA-Bus 48

Erweiterungsport 49

Parallele oder serielle Verbindung 50

Steuereinheit 51

Treiberkarte 52 Operationslaser 53

Arbeitsfeld 54

Objektträger 55

Objekttisch 56

Operationsmikroskop 57 Eyetracking-Computer 59

8-bit Digital -Input/Output 60

Serielle Ports 61 Abstand Infrarotdiode 16 vom Ursprung des

Augenkoordinatensystems A Abstand der Infrarotdioden 16 und 27 a

Optische Achse des Okulars B Abstand der kornealen Reflexe 25 und 28 d

Brennweite der Linse 4 f4 Brennweite des Objektivs der Videokamera f5

Brennweite Okularlinse 6 f6 Blickrichtungsvektor ^~ζ

Länge des Tubus 15 1 , S_z Optischer Abstand Okularlinse 6 zu

Linse 4 k

Vektor ^"o^" Ursprung des Raum-Koordinatensystems 0

Ursprung des Augen-Koordinatensystems O'

Radius der Korneakrümmung R

Maß für den Autofokus der Videokamera ΔS₀

Abstand S₀ Abstand Si

Vektor s

Hilfsvektor ^'s"

Gegenstandsweite wl

Zwischenbildweite w3 Abstand Austrittspupille von Linse 4 w4

Bildweite w5

Gegenstandsweite der Okularlinse 6 w6

Gegenstandsweite w7

Koordinaten x,y,z Gegenstandsgröße yl

Zwischenbildgrδße y3

Größe Austrittspupille y4

Bildgröße y5

Durchmesser Außenkante Linse 6 y6

Claims

Patentansprüche

1. Verfahren zum Steuern von Mikroskopen mit angekoppel- ten Geräten mittels Blickrichtungsanalyse, bei der das Auge mit Infrarotlicht beleuchtet, durch ein optisches System mit Okulartubus abgebildet, von einem Bildsensor aufgenommen und das so gewonnene Bild anschließend in einem Prozessor zur Bestimmung der Blickposition durch Ermittlung der Pupillenmitte und der Koordinaten der erzeugten kornealen Reflexe weiterverarbeitet wird, wobei die durch den Prozessor gewonnenen Blickpositionsdaten des Betrachters auf das Arbeitsfeld des Betrachters kalibriert und mit diesen kalibrierten Daten die automatische Fokussierung und/oder die Beleuchtung und/oder das Einstellen des Objektträgers des Mikroskopes und die angekoppelte Geräte angesteuert werden. d a d u r c h g e k e n n z e i c h n e t, daß als Infrarotlicht ein stark diffuses Licht mit einer Wellenlänge von 800 bis 1000 nm verwendet wird, das koaxial um das Auge des Betrachters am Okulartubus erzeugt wird, und daß im Strahlengang des optischen Systems mindestens ein weiteres vom Erzeugungsort des diffusen Lichtes unabhängiges, auf das Auge des Betrachters gerichtets Infrarotlichtsignal mit gegenüber dem diffusen Licht unterschiedlicher Intensität und einer Wellenlänge von 800 bis 1000 nm erzeugt wird, das zur Erzeugung mindestens eines zusätzlichen kornealen Reflexes dem diffusen Licht herangezogen wird.

2 . Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , daß das von dem

Bildsensor (10) erfaßte analoge Augenbild (20) durch Analog/Digital-Umsetzung in unterschiedliche Grautöne unterteilt (Graustufenbilderzeugung) wird, oder durch eine Kantendetektions-Logik in Ereignisse zerlegt wird, wobei jede Videozeile nach Dunkel-Hell- bzw. Hell-Dunkel-Übergängen ab-gesucht wird, und die gewonnenen Informationen in eine Ereignistabelle eingearbeitet werden, die dem Prozessor (32) zur Bestimmung der Koordinaten des Pupillenmittelpunktes, kornealer Reflexe und daraus der Blickrichtung zugeführt werden.

3. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, daß das sichtbare Licht vom Infrarotlicht durch einen wellenlängenabhängigen Strahlteiler, z.B. einen Halbspiegel mit Antireflexionsbeschichtung, ein Prisma, oder einen polarisierenden Strahlteiler getrennt wird, der mehr als 80% des zur Ausleuchtung des Auges verwendeten Infrarot- lichtes reflektiert und für mehr als 80% des sichtbaren

Lichtes mit einer Wellenlänge unter 800 nm durchlässig ist.

4. Verfahren nach Anspruch 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, daß mit einem zweiten Infrarotlichtsignal gleichbleibender

Intensität ein zweiter kornealer Reflex im Abstand (d) vom ersten kornealen Reflex zur Autofokussierung des Augenbildes erzeugt wird.

5. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, daß die

Bildsensoren (10) der Videokamera (9) sowohl auf den Analog/Digital-Umsetzer (30) als auch auf eine Kantendetektor-Logik (34) geschaltet sind.

6. Verfahren nach Anspruch 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, daß die Graustufenbilder über einen Videospeicher (41) geführt werden, in dem die Bilder mit einer Histogrammfunktion analysiert werden, um ein automatisches Erkennen der Pupille zu gewährleisten.

7. Verfahren nach Anspruch 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, daß die digitalen Bildausgangssignale in analoge Ausgangssignale umgesetzt werden, denen Falschfarben zumischbar sind.

8. Verfahren nach Anspruch 1 bis 7, d a d u r c h g e k e n n z e i c h n e t, daß zur

Kalibrierung der Blickbewegungen ein Objektträger (55) mit Markierungen in der Objektebene oder ein in die Zwischenbildebene des Mikroskops eingespiegeltes Bild verwendet wird, die jeweils auf die physikalischen Größen des Operationsfeldes (54) bezogen sind.

9. Blickrichtungsmeßgerät zum Steuern von Mikroskopen und daran angekoppelte Geräte, mit das Auge beleuchtenden Infrarotdiodeh, einem das Auge abbildenden Bildsensor, einem die Blickrichtung berechnenden Prozessor und einem die Pupillenmitte und die kornealen Reflexe anzeigenden Monitor, d a d u r c h g e k e n n z e i c h n e t, daß es aus einem Videomultiplexer (29) , auf dessen Eingänge (36, 37) mehrere Video-Signale gelegt sind, denen Bildsensoren (10) zugeordnet sind, und dessen Ausgang entweder direkt über ein Analog/Digital-Umsetzer (30) oder über eine Kantendetek- tions-Logik (34) mit dem Blickrichtungs-Prozessor (32) verbunden ist, und aus einem Digital/Analog-Wandler (RAMDAC) (39) für die Bildsignale besteht, wobei wenigstens ein Video-Ausgang (35) für die Anzeige des Augenbildes mit überlagerten Markierungen der Pupille und kornealer Reflexe vorhanden ist, und über eine serielle oder eine parallele Schnittstelle (50) mit einer Steuereinheit (51) für die Ansteuerung auf das Arbeitsfeld einwirkender Geräte verbunden ist.

10. Blickrichtungsmeßgerät nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t, daß die

Bildsensoren (10) eine vertikale Abtastfrequenz von 50 Hz oder höher aufweisen.

11. Blickrichtungsmeßgerät nach Anspruch 9 und 10, d a d u r c h g e k e n n z e i c h n e t, daß ein zusätzlicher Eingang des Blickrichtungsmeßgeräts (46) zur gleichzeitigen Blickrichtungsanalyse des zweiten Auges mittels eines weiteren Bildsensors vorhanden ist.

12. Aufsatz für den Okulartubus eines Mikroskopes, beispielsweise Operationsmikroskopes, mit mindestens einem Okularsystem zur visuellen Beobachtung des von der Objektivlinse abgebildeten Operationsbereiches durch den

Benutzer, einem Beleuchtungssystem für ein oder beide Augen des Benutzers und mindestens einer im Okulartubus angeordneten Okularlinse, zum Steuern eines Mikroskopes und angekoppelter Geräte mittels Blickrichtungsanalyse, d a d u r c h g e k e n n z e i c h n e t, daß koaxial zur Okularlinse (6) aneinander angeordnete, durch eine Diffusorscheibe (13) abgedeckte Infrarotdioden (11) zu einem Beleuchtungsring (12) angeordnet sind, der eine Aussparung (14) für die Nase des Benutzers aufweist, und daß recht - winklig zur optischen Achse (B) des Okulartubus (1) in mindestens einem Tubus (15) eine weitere Infrarotdiode (16) angeordnet ist, deren IR-Licht auf eine im Strahlengang angeordnete C.R. -Kondensorlinse (17) und ein Prisma (19) gerichtet ist, die das IR-Licht auf das Auge des Benutzers lenken, wobei das Prisma (19) nahe der inneren Begrenzung der Diffusorscheibe (13) angeordnet und in dieser Stellung justierbar ist, und daß ein dieses Infrarotlicht reflektierender, für sichtbares Licht jedoch hoch durchlässiger wellenlängenabhängiger Strahlteiler (5) in einem Winkel von 45° zur optischen Achse (B) im Okulartubus (1) angeordnet ist, und daß in einer der Zwischenebene (Z_E) nachgeordneten Abbildungsebene (8) mindestens ein IR- empfindliches Sensorsystem (10) für die Erfassung des

Augenbildes und der erzeugten kornealen Reflexe angeordnet ist, dem das Blickrichtungsmeßgerät (46) zugeordnet ist.

13. Aufsatz nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t, daß die

Diffusorscheibe (13) aus thermoplastischen Polymeren, beispielsweise Polyoxymethylen mit hohem Kristallisationsgrad, besteht.

14. Aufsatz nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t, daß die

Diffusorscheibe (13) aus Glas mit hoher diffuser Reflexion besteht .

15. Aufsatz nach Anspruch 12 bis 14, d a d u r c h g e k e n n z e i c h n e t, daß die Infrarotdioden (11) unter der Diffusorscheibe (13) sternförmig um die Okularachse (B) herum angeordnet sind.

16. Aufsatz nach Anspruch 12 bis 15, d a d u r c h g e k e n n z e i c h n e t, daß die

Infrarotdioden (11) unter der Diffusorscheibe mit ihren Längsachsen koaxial (parallel) zur Okularachse (B) ausgerichtet sind.

17. Aufsatz nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t, daß der

Tubus (15) eine variable Länge aufweist.

18. Aufsatz nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t, daß neben dem Tubus (15) ein weiterer Tubus (26) rechtwinklig am Okulartubus (1) vorgesehen ist, in dem eine weitere separate Infrarotdiode (27) angeordnet ist.

19. Aufsatz nach Anspruch 123, d a d u r c h g e k e n n z e i c h n e t, daß der wellenlängenabhängige Strahlteiler (5) eine Antireflexions- beschichtung aus Leichtmetallfluoriden aufweist.