DE102018206406B3

DE102018206406B3 - Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems

Info

Publication number: DE102018206406B3
Application number: DE102018206406.7A
Authority: DE
Inventors: Stefan Saur; Christian Voigt; Marco Wilzbach; Christoph Hauger
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2018-04-25
Filing date: 2018-04-25
Publication date: 2019-09-12
Anticipated expiration: 2038-04-26
Also published as: CN114488501A; US20220346887A1; CN110398830A; US11806092B2; US11406455B2; US20190328464A1; CN110398830B; US20240058075A1

Abstract

Die Erfindung betrifft ein Mikroskopiesystem, umfassend:- ein Mikroskop (2),- ein Stativ (3) zur Halterung des Mikroskops (2), wobei das Stativ (3) mindestens eine Antriebseinrichtung zur Bewegung des Mikroskops (2) umfasst,- mindestens eine Lageerfassungseinrichtung zur Erfassung einer räumlichen Lage mindestens eines an einem Körperteil oder einem Instrument (19) befestigbaren Targets (9), wobei die Lagererfassungseinrichtung das mindestens eine Target (9) mit mindestens einem Markerelement (22, 22a, ..., 22d) und eine Bilderfassungseinrichtung (10) zur optischen Erfassung des Targets (9) umfasst,- mindestens eine Steuereinrichtung (7) zur des Betriebs des Mikroskopiesystems (1) in Abhängigkeit der erfassten Lage des Targets (9), wobei die Lagererfassungseinrichtung ausgebildet ist, die Lage des Targets (9) durch Auswertung eines zweidimensionalen Abbilds der Bilderfassungseinrichtung (10) zu bestimmen sowie ein Verfahren zum Betrieb eines Mikroskopiesystems (1).

Description

Die Erfindung betrifft ein Mikroskopiesystem sowie ein Verfahren zum Betrieb des Mikroskopiesystems.
Zur vergrößernden Darstellung von Untersuchungsobjekten werden oft Mikroskope verwendet. In medizinischen Anwendungen, insbesondere zur Unterstützung von chirurgischen Eingriffen, werden so genannte Operationsmikroskope eingesetzt. Diese dienen u.a. zur vergrößernden Darstellung von Teilbereichen eines Körpers, um einem Chirurgen bei einem Eingriff eine bessere visuelle Orientierung zu ermöglichen. Diese Operationsmikroskope sind in der Regel beweglich gehaltert, insbesondere an einem Stativ. Dies ermöglicht es einem Benutzer unter anderem, eine Lage, also eine Position und/oder Orientierung, des Mikroskops zu verändern, beispielsweise um einen Blickwinkel auf einen Untersuchungsbereich zu verändern oder um andere Untersuchungsbereiche zu betrachten. Das Verändern der Lage erfolgt in vielen Anwendungsfällen durch eine manuelle Betätigung des Mikroskops durch den Benutzer selbst. Hierbei ist nachteilig, dass der Benutzer Instrumente, die er z.B. beim Eingriff benutzt, aus der Hand legen muss, um die Lageveränderung zu bewirken. Dies ist zeitaufwändig und nicht im gewünschten Maße bedienerfreundlich.
Bekannt sind auch Fußschalter oder Mundschalter zur Bedienung des Mikroskops. Diese sind jedoch in ihrer Bedienbarkeit entweder eingeschränkt, z.B. erlauben diese nur eine Bedienung in wenigen Freiheitsgraden, oder unangenehm oder unhygienisch für einen Benutzer.
Aus dem Stand der Technik ist die DE 10 2014 106 865 A1 bekannt. Diese offenbart ein Verfahren zum berührungslosen Bedienen eines Operationsmikroskops. Aus der Druckschrift bekannt ist, dass ein berührungsloses räumliches Positionieren des Operationsmikroskops durch einen Operateur möglich ist. In der Druckschrift wird weiter ein sogenannter dreidimensionaler Sensor beschrieben, der zum Ermitteln eines Abstandes oder einer Ausrichtung dient. Weitere Erläuterungen zu diesem dreidimensionalen Sensor enthält die Druckschrift nicht.
Die US 2017/258531 A1 offenbart ein optisches Trackingsystem und optische Trackingverfahren, basierend auf passiven Markern.
Die WO 2016/041050 offenbart ein System zum Verfolgen einer medizinischen Ausrüstung mit einer kollinearen Anordnung von Markern, die in vorbekannten Abständen relativ zueinander an dem medizinischen Ausrüstungsgegenstand angeordnet sind.
Die EP 1 193 520 B1 offenbart ein Operationsmikroskop mit einem Objektiv zur Beobachtung eines Objekts und mit einer Vorrichtung zur Positions- und Lageerfassung von Objektpunkten, wobei das Operationsmikroskop einen ersten Bildsensor und einen zweiten Bildsensor umfasst, welche in Abstand voneinander angeordnet sind.
Die WO 2017/157763 offenbart ein medizinisches Trackingverfahren zum Verfolgen einer räumlichen Position von mindestens einem medizinischen Instrument in einem medizinischen Arbeitsraum, umfassend eine anatomische Struktur des Patienten.
Die DE 10 2016 217 628 A1 offenbart ein Verfahren zum Betreiben eines Operationsmikroskopiesystems, ein Bewegungsmesssystem für ein Operationsmikroskopiesystem und ein Operationsmikroskopiesystem, das das Bewegungsmesssystem aufweist.
Die DE 20 2014 103 766 U1 offenbart eine Markeranordnung für die medizintechnische Navigation.
Die WO 2017/049 381 A1 offenbart ein optisches Abbildungssystem, umfassend optische Abbildungssysteme zur Nutzung in bildgestützten medizinischen Verfahren.
Die US 2007/0265495 A1 offenbart Verfahren und Vorrichtungen zur Bereitstellung eines visuellen Feedbacks für einen Chirurgen während endoskopgestützter oder mikroskopgestützter Operationen.
Die DE 10 2014 106 865 A1 offenbart ein Verfahren zum berührungslosen Bedienen eines Operationsmikroskops.
Die DE 10 2014 210 056 A1 offenbart chirurgische Geräte, wie beispielsweise Operationsmikroskope, mit einem robotischen Stativ.
Es stellt sich das technische Problem, ein Mikroskopiesystem und ein Verfahren zum Betrieb eines Mikroskopiesystems zu schaffen, welche eine insbesondere berührungslose Steuerung des Betriebs des Mikroskopiesystems, insbesondere der Nachführung eines Mikroskops in bis zu sechs räumlichen Freiheitsgraden, in genauer Weise und einer geringen Anzahl der hierzu benötigten Komponenten und somit auch geringen Herstellungskosten und geringen Bauraumanforderungen ermöglichen.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 20. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Vorgeschlagen wird ein Mikroskopiesystem. Das Mikroskopiesystem umfasst ein Mikroskop. Im Sinne dieser Erfindung zeichnet ein Mikroskop eine Einrichtung zur vergrößernden visuellen Darstellung eines Untersuchungsobjekts. Das Mikroskop kann ein klassisches Lichtmikroskop sein, welches ein vergrößertes Abbild durch Ausnutzung optischer Effekte erzeugt, insbesondere durch Mittel zur Strahlführung und/oder -formung und/oder -lenkung, beispielsweise Linsen. Das Mikroskop kann aber auch ein Digitalmikroskop sein, wobei das von dem Mikroskop zu visualisierende Abbild mittels einer Bilderfassungseinrichtung erzeugt und auf einer entsprechenden Anzeigeeinrichtung, beispielsweise einem Display, zur Anzeige gebracht werden kann.
Das Mikroskop kann insbesondere mindestens ein Okular umfassen. Das Okular bezeichnet einen Teil des Mikroskops, durch den oder in den ein Benutzer schaut, um das vom Mikroskop erzeugte Abbildung visuell zu erfassen. Mit anderen Worten bildet ein Okular eine augenseitige optische Schnittstelle des Mikroskops. Das Okular kann einen Teil eines Tubus bilden. In diesem Fall kann das Mikroskop auch den Tubus umfassen. Es ist z.B. möglich, dass das Okular in den Tubus integriert ist, von dem Tubus ausgebildet wird oder an einem Tubusgrundkörper, insbesondere austauschbar, befestigbar ist. Im letzteren Fall können z.B. Okulare mit voneinander verschiedene Vergrößerungsfaktoren am Tubus befestigt werden.
Der Tubus kann hierbei mindestens ein optisches Element zur Strahlführung und/oderformung und/oder -ablenkung umfassen, z.B. eine Linse oder ein Prisma. Es ist aber auch vorstellbar, dass der Tubus keine derartigen Elemente umfasst und z.B. als Rohr ausgebildet ist. Dieses mindestens eine optische Element kann eine optische Strecke zur optischen Verbindung des Okulars mit dem Mikroskop ausbilden. Das mindestens eine optische Element kann beispielsweise im Tubusgrundkörper integriert sein. Der Tubus kann weiter eine mechanische Schnittstelle zur, insbesondere lösbaren, Befestigung am Mikroskop, insbesondere an einem Mikroskopkörper aufweisen. Auch kann der Tubus eine mechanische Schnittstelle zur, insbesondere lösbaren, Befestigung eines Okulars aufweisen.
Das Okular kann optisch mit dem Objektiv verbunden werden, insbesondere über die erläuterten optischen Elemente.
Weiter kann das Mikroskop mindestens ein Objektiv umfassen. Dieses Objektiv kann eine reelle optische Abbildung eines Untersuchungsobjektes erzeugen. Das Objektiv kann hierbei optische Elemente zur Strahlführung und/oder -formung und/oder -lenkung umfassen.
Weiter kann das Mikroskop einen Mikroskopkörper umfassen. Der Mikroskopkörper kann hierbei weitere optische Elemente zur Strahlführung und/oder -formung und/oder - ablenkung umfassen. Es ist möglich, dass das Objektiv lösbar, also auch austauschbar, an dem Mikroskopkörper befestigt ist. Allerdings ist es auch möglich, dass das Objektiv fest in den oder an den Mikroskopkörper integriert ist. Hierbei kann das Objektiv ortsfest relativ zum Mikroskopkörper angeordnet sein. Weiter kann der Mikroskopkörper mindestens eine Befestigungsschnittstelle zur Befestigung, insbesondere zur lösbaren Befestigung, eines Tubus aufweisen oder ausbilden. Es ist möglich, dass der Mikroskopkörper mehrere, insbesondere zwei, derartige Befestigungsschnittstellen aufweist oder ausbildet. Dies ermöglicht die Befestigung von verschiedenen Tuben, insbesondere von Tuben mit verschiedenen Bauformen, an dem Mikroskopkörper. So kann z.B. ein so genannter Schwenktubus, ein so genannter Falttubus, ein so genannter Gradtubus oder weiteren Tuben an dem Mikroskopkörper befestigt werden.
Es ist möglich, dass das Okular bzw. der Tubus mit dem Okular mechanisch fest und gegebenenfalls nicht austauschbar mit dem Mikroskopkörper verbunden ist. Auch kann das Okular bzw. der Tubus mit dem Okular ortsfest relativ zum Mikroskopkörper angeordnet sein. Wie nachfolgend noch näher erläutert, ist das Okular bzw. der Tubus mit dem Okular jedoch vorzugsweise ebenfalls lösbar, also austauschbar, an dem Mikroskopkörper und/oder beweglich relativ zum Mikroskopkörper an diesem befestigt.
Weiter umfasst das Mikroskopiesystem ein Stativ zur Halterung des Mikroskops. Das Mikroskop, insbesondere der Mikroskopkörper, kann somit an dem Stativ mechanisch befestigt sein. Es ist möglich, dass das Mikroskop an einem freien Ende des Stativs befestigt ist, insbesondere beweglich, z.B. schwenkbar. Das Stativ ist hierbei derart ausgebildet, dass es eine Bewegung des Mikroskops im Raum ermöglicht, insbesondere mit mindestens einem Freiheitsgrad, vorzugsweise mit sechs Freiheitsgraden. Es ist selbstverständlich auch möglich, dass das Stativ derart ausgebildet ist, dass es eine Bewegung des Mikroskops im Raum mit einer beschränkten Anzahl von Freiheitsgraden ermöglicht, insbesondere also mit weniger als sechs Freiheitsgraden.
Ein Freiheitsgrad kann hierbei ein Translations- oder ein Rotationsfreiheitsgrad sein. Insbesondere kann eine Bewegung mit drei voneinander verschiedenen Translationsfreiheitsgraden und drei voneinander verschiedenen Rotationsfreiheitsgraden durch das Stativ ermöglicht werden.
Die Freiheitsgrade können sich hierbei auf ein Referenzkoordinatensystem beziehen. Eine Vertikalachse (z-Achse) dieses Referenzkoordinatensystems kann parallel zur Gravitationskraft und entgegengesetzt zu dieser orientiert sein. Eine Längsachse (x-Achse) des Referenzkoordinatensystems und eine Querachse (y-Achse) des Referenzkoordinatensystems können hierbei eine Ebene aufspannen, die senkrecht zur Vertikalachse orientiert ist. Weiter können auch die Längs- und die Querachse orthogonal zueinander orientiert sein. Somit kann das Referenzkoordinatensystem ein kartesisches Koordinatensystem sein.
Weiter umfasst das Stativ mindestens eine Antriebseinrichtung zur Bewegung des Mikroskops. Vorzugsweise umfasst das Stativ mehrere Antriebseinrichtungen. Eine Antriebseinrichtung bezeichnet hierbei eine Einrichtung zur Erzeugung einer Antriebskraft bzw. eines Antriebsmoments. Eine solche Antriebseinrichtung kann beispielsweise ein Servomotor sein. Selbstverständlich kann das Stativ auch Mittel zur Kraft-/ Momentenübertragung, z.B. Getriebeeinheiten, umfassen. Insbesondere ist es möglich, die mindestens eine Antriebseinrichtung derart anzusteuern, dass das Mikroskop eine gewünschte Bewegung und somit eine gewünschte Lageänderung im Raum ausführt oder eine gewünschte Lage im Raum einnimmt. Hierbei bezeichnet eine Lage eine Position und/oder eine Orientierung. Es ist hierbei möglich, dass eine Geschwindigkeit der Bewegung auf eine vorbestimmte Maximalgeschwindigkeit beschränkt ist. Es ist weiter möglich, dass eine Größe des Arbeitsraums des Stativs beschränkt ist.
Beispielsweise kann die mindestens eine Antriebseinrichtung derart angesteuert werden, dass eine optische Achse des Objektivs eine gewünschte Orientierung einnimmt. Weiter kann die mindestens eine Antriebseinrichtung derart angesteuert werden, dass ein Referenzpunkt des Mikroskops, z.B. ein Fokuspunkt, an einer gewünschten Position im Raum positioniert wird.
Eine Soll-Lage kann hierbei von einem Benutzer oder einem anderen übergeordneten System vorgegeben werden. Verfahren zur Steuerung der mindestens einen Antriebseinrichtung in Abhängigkeit einer Soll-Lage und einer kinematischen Struktur des Stativs sind hierbei dem Fachmann bekannt. Der Benutzer kann hierbei eine Person bezeichnen, die das Mikroskop bedient, insbesondere die in/durch das Okular schaut, um ein Objekt vergrößert zu betrachten. Es ist möglich, dass das Mikroskop ein sogenanntes Operationsmikroskop ist. In diesem Fall kann der Benutzer insbesondere ein Chirurg sein.
Weiter umfasst das Mikroskopiesystem mindestens eine Lageerfassungseinrichtung zur Erfassung einer Lage mindestens eines Targets. Die Lageerfassungseinrichtung umfasst das mindestens eine Target, wobei dieses mindestens ein Markerelement umfasst oder aufweist. Es ist möglich, dass das Target genau ein oder zwei oder mehr als zwei Markerelemente umfasst. Vorzugsweise umfasst das Target drei Markerelemente. Die Markerelemente können hierbei ortsfest relativ zueinander angeordnet sein. Eine Relativlage zwischen den Markerelementen kann hierbei vorbekannt sein. Die Markerelemente können hierbei nicht kollinear angeordnet sein. Es ist vorstellbar, dass ein Target einen Trägerkörper umfasst, wobei das mindestens eine Markerelement an dem Trägerkörper befestigt ist. Ein Markerelement kann hierbei ein optisch erfassbar und somit auch im Abbild detektierbar sein, insbesondere ein optisch erfassbares Muster aufweisen.
Das Markerelement ist bevorzugt ein passives Markerelement. Ein passiver Marker kann insbesondere ein Marker sein, der keine Energie verbraucht, um optisch erfassbar oder zuverlässig optisch erfassbar zu sein. Somit muss ein passiver Marker auch nicht mit Energie versorgt werden, z.B. aus einer Energiespeichereinrichtung wie einer Batterie oder aus einem Stromnetz. Dies wiederum ermöglicht eine Realisierung mit wenig Bauraumanforderungen.
Ein passiver Marker kann insbesondere kein Signal erzeugen und insbesondere emittieren, welches durch eine Empfangseinrichtung, insbesondere durch die Bilderfassungseinrichtung, empfangen wird. Insbesondere benötigten passive Marker also keine Energie, um die Erfassbarkeit durch die Bilderfassungseinrichtung zu ermöglichen. Hierdurch kann in vorteilhafter Weise ein Energieverbrauch beim Betrieb des Mikroskopiesystems minimiert wird. In einer weniger bevorzugten Ausführungsform kann ein Markerelement jedoch auch ein aktives Markerelement sein.
Es ist weiter möglich, dass das mindestens eine Markerelement ein nicht-reflektierendes und/oder ein nicht phosphorisierendes und/oder nicht fluoreszierendes Markerelement ist.
Weiter umfasst die Lageerfassungseinrichtung eine Bilderfassungseinrichtung, insbesondere genau eine Bilderfassungseinrichtung, zur optischen Erfassung des Targets und somit auch des mindestens einen Markerelements. Die Bilderfassungseinrichtung kann hierbei eine Kamera sein, beispielsweise eine CCD-Kamera oder eine CMOS-Kamera. Es ist selbstverständlich möglich, dass die Bilderfassungseinrichtung auch ein Objektiv umfasst, welches zur Abbildung von Objekten in einem Erfassungsbereich dieser Bilderfassungseinrichtung dient. Der Erfassungsbereich kann ein Sichtfeld (Field of View) der Bilderfassungseinrichtung bezeichnen.
Das Target und die Bilderfassungseinrichtung bilden somit Elemente der Lageerfassungseinrichtung.
Ein Element der Lageerfassungseinrichtung, bevorzugt das Target, ist hierbei patientennah anordenbar. Dies kann bedeuten, dass das Element in einem Halbraum anordenbar ist, der durch eine Ebene begrenzt ist, die senkrecht zu einer optischen Achse des Mikroskops orientiert ist und durch einen Schnittpunkt zwischen der optischen Achse und einem optischen oder einem transparenten Element des Mikroskops verläuft und der entlang der optischen Achse hinter dieser Ebene angeordnet ist. Ist das Mikroskop auf einen Patienten ausgerichtet, so ist die optische Achse vom Mikroskop hin zu dem Patienten orientiert und auch der Patient in diesem Halbraum angeordnet.
Insbesondere ist das Element an einem Körperteil des Benutzers, an einem Instrument, an einem Patienten oder an einem Operationssaal-Einrichtungsgegenstand befestigt oder befestigbar.
Das Instrument kann insbesondere eine medizinisches, weiter insbesondere ein chirurgisches, Instrument sein. Dies umfasst z.B. Instrumente wie Klemmen, Halter, Spritzen, Pinzetten, Löffel, Scheren, Skalpelle Wundhaken, Zangen, Sauger, Kauter, aber auch Retraktoren, z.B. einen Gehirn-Retraktor. Das Instrument kann insbesondere ein von der Hand eines Benutzers führbares Instrument sein. Ein Operationssaal-Einrichtungsgegenstand kann z.B. ein Operationstisch oder eine Mayfield-Klemme sein.
Das Element der Lageerfassungseinrichtung kann beispielsweise mittels einer entsprechenden Halteeinrichtung an einem Körperteil des Benutzers, an einem Instrument, an einem Patienten oder an einem Operationssaal-Einrichtungsgegenstand befestigt sein oder werden. Dem Fachmann ist in diesem Zusammenhang bewusst, dass diese Befestigung auf verschiedene Arten herstellbar ist.
Das Element der Bilderfassungseinrichtung kann hierbei insbesondere ortsfest relativ zum Körperteil, zum Instrument, zum Patienten oder zum Operationssaal-Einrichtungsgegenstand an diesem befestigbar sein. Die Lage kann hierbei in einem Koordinatensystem der Lageerfassungseinrichtung erfasst werden. Es ist dann möglich, die Lage im Koordinatensystem in eine Lage in dem vorhergehend erläuterten Referenzkoordinatensystem umzurechnen. So ist es z.B. möglich, dass eine geometrische Transformation von dem Koordinatensystem der Lageerfassungseinrichtung in das Referenzkoordinatensystem vorbekannt ist. Diese kann beispielsweise durch eine sogenannte Registrierung bestimmt werden.
Weiter ist das verbleibende Element der Lageerfassungseinrichtung, also das Target oder, bevorzugt, die Bilderfassungseinrichtung am Mikroskop angeordnet. Hierbei ist vorstellbar, dass das verbleibende Element mechanisch starr mit dem Mikroskop, insbesondere einem Teil des Mikroskops, verbunden ist. Mit anderen Worten kann das verbleibende Element ortsfest relativ zu einem Teil des Mikroskops an diesem Teil befestigt sein. Z.B. kann das verbleibende Element mechanisch mit dem Okular oder mit Tubus verbunden sein. Auch kann das verbleibende Element mit dem Mikroskopkörper verbunden sein.
Weiter ist es vorstellbar, fluoreszierende oder phosphorisierende Markerelemente zu nutzen. Auch sind OLED-Markerelemente, die von selbst leuchten, vorstellbar.
Insbesondere wenn die Bilderfassungseinrichtung an dem Mikroskop angeordnet ist, kann ein Erfassungsbereich des Mikroskops sich zumindest teilweise mit dem Erfassungsbereich der Bilderfassungseinrichtung zur optischen Erfassung des Targets überschneiden. Auch ist es möglich, dass der Erfassungsbereich der Bilderfassungseinrichtung vollständig innerhalb des Erfassungsbereichs des Mikroskops oder der Erfassungsbereich des Mikroskops vollständig innerhalb des Erfassungsbereichs der Bilderfassungseinrichtung angeordnet ist. Die Bilderfassungseinrichtung zur optischen Erfassung des Targets kann hierbei entsprechend an dem Mikroskop, insbesondere einem Mikroskopkörper, angeordnet sein. Weiter kann die Bilderfassungseinrichtung zur optischen Erfassung des Targets von einer Bilderfassungseinrichtung des Mikroskops verschieden sein. Die Bilderfassungseinrichtung des Mikroskops kann beispielsweise dazu dienen, Objekte im Erfassungsbereich des Mikroskops abzubilden und dann (vergrößert) auf einer entsprechenden Anzeigeeinrichtung zur Anzeige zu bringen. Mit anderen Worten kann das Mikroskopiesystem mindestens zwei voneinander verschiedene Bilderfassungseinrichtungen umfassen, nämlich einerseits die Bilderfassungseinrichtung des Mikroskops und andererseits die Bilderfassungseinrichtung zur optischen Erfassung des Targets.
Die Bilderfassungseinrichtung zur Lageerfassung kann insbesondere derart ausgebildet und/oder angeordnet sein, dass bei einem Arbeitsabstand von mindestens 200 mm ein sich in diesem Arbeitsabstand, insbesondere entlang der optischen Achse des Mikroskops, befindliches Objekt mit einem Durchmesser von mindestens 250 mm oder mindestens 300 mm abgebildet werden kann. Weiter kann die Bilderfassungseinrichtung der Lageerfassungseinrichtung insbesondere derart angeordnet und/oder ausgebildet sein, dass ein Markerelement bei einem Arbeitsabstand von höchstens 600 mm in einen Teilbereich des Abbilds mit einer vorbestimmten Minimalgröße abgebildet wird. Die Minimalgröße kann z.B. 10, 50 oder 100 Pixel betragen.
Es ist möglich, jedoch nicht zwingend, dass ein Element der Lageerfassungseinrichtung, insbesondere die Bilderfassungseinrichtung der Lageerfassungseinrichtung, ortsfest relativ zu dem Okular angeordnet ist. Insbesondere kann das Element mechanisch mit dem Okular verbunden sein. Vorzugsweise ist jedoch das Element der Lageerfassungseinrichtung im oder am Mikroskopkörper angeordnet, insbesondere in einem Gehäuse des Mikroskopkörpers, wobei in diesem Gehäuse auch optische Elemente zur Strahlführung und/oder -formung und/oder -lenkung angeordnet sein können.
Es ist weiter möglich, dass die Lageerfassungseinrichtung zur Erfassung der Lage des Targets relativ zur Bilderfassungseinrichtung dient. Mit anderen Worten kann also eine Relativlage zwischen Target und Bilderfassungseinrichtung bestimmt werden, wobei in Abhängigkeit dieser Relativlage die Lage des Targets und/oder der Bilderfassungseinrichtung im Referenzkoordinatensystem bestimmt werden kann.
Zur Lageerfassung kann ein in das Abbild abgebildetes Target, insbesondere das mindestens eine Markerelement des Targets, bildbasiert, also durch Bildauswertung, im Abbild detektiert werden, wobei dann in Abhängigkeit der Lage des Targets im Bildkoordinatensystems, also dessen Bildposition, die Relativlage zwischen Target und Bilderfassungseinrichtung bestimmt werden kann. Hierzu kann die Bilderfassungseinrichtung entsprechend kalibriert sein. Es ist selbstverständlich möglich, dass mehrere Targets abgebildet, also gleichzeitig detektiert, werden. In diesem Fall ist es möglich, diese mehreren Targets voneinander zu unterscheiden und deren Lagen zu bestimmen. Eine resultierende Lage kann dann in Abhängigkeit dieser mehreren Lagen bestimmt werden.
Ist ein Element der Lageerfassungseinrichtung, z.B. das Target, an einem Körperteil des Benutzers, an einem Instrument, an einem Patienten oder an einem Operationssaal-Einrichtungsgegenstand befestigbar, so kann es räumlich auch ortsfest relativ zu dem Körperteil des Benutzers, zu dem Instrument, zu dem Patienten oder zu dem Operationssaal-Einrichtungsgegenstand angeordnet werden. In diesem Fall kann aus der Lage des Elements die Lage des Körperteils des Benutzers, des Instruments, des Patienten oder des Operationssaal-Einrichtungsgegenstands, insbesondere die Lage eines entsprechenden Referenzpunkts, bestimmt werden. Die Lage des Referenzpunkts relativ zum Element der Lageerfassungseinrichtung kann hierbei vorbekannt sein und insbesondere durch eine entsprechende Kalibration bestimmt werden. Dies ist aber nicht zwingend, da für die Steuerung nur die Lage des Targets und somit nicht zwingend des Körperteils erfasst wird. So kann, insbesondere beim Aktivieren eines entsprechenden Betriebsmodus, davon ausgegangen werden, dass sich das Target in einer gewünschten Relativlage relativ zum Körperteil befindet. Weiter kann davon ausgegangen werden, dass sich die Relativposition zwischen Körperteil und Target im normalen Betrieb nicht verändert.
Mit anderen Worten kann aus der Relativlage zwischen Target und Bilderfassungseinrichtung auch die Lage des Körperteils des Benutzers, des Instruments, des Patienten oder des Operationssaal-Einrichtungsgegenstandsbestimmt werden, insbesondere im Referenzkoordinatensystem. Z.B. kann das Element der Lageerfassungseinrichtung an der Halteeinrichtung zur Halterung/Befestigung an einem Körperteil des Benutzers befestigt sein. Eine solche Halteeinrichtung kann beispielsweise ein Handschuh oder eine sonstige Halteeinrichtung sein. Auch kann das Element der Lageerfassungseinrichtung an der Halteeinrichtung zur Halterung/Befestigung an einem Instrument befestigt sein. Eine solche Halteeinrichtung kann beispielsweise eine Klemmhalterung sein.
Vorzugsweise wird die mindestens eine Bilderfassungseinrichtung derart an dem Mikroskop oder einem Teil davon befestigt, dass der Körperteil des Benutzers, insbesondere dessen Hand, oder ein vom Benutzer geführtes Instrument, der Patient oder der Operationssaal-Einrichtungsgegenstand (und somit auch ein daran befestigtes Target) sich in einem Erfassungsbereich der Bilderfassungseinrichtung befindet, wenn sich der Körperteil des Benutzers, das Instrument, der Patient oder der Operationssaal-Einrichtungsgegenstand bei einem bestimmungsgemäßen Gebrauch des Mikroskops im Erfassungsbereich des Mikroskops befinden.
Die Einrichtung zur Lageerfassung ermöglicht selbstverständlich auch die Bestimmung einer Lageänderung des Targets und somit auch des Körperteils/des Instruments/des Patienten/des Operationssaal-Einrichtungsgegenstands. Die Lage und/oder Lageänderung kann hierbei durch die Lageerfassungseinrichtung selbst oder durch eine mit dieser signal- und/oder datentechnisch verbundenen Auswerteeinrichtung bestimmt werden. Diese kann ebenfalls Teil des Mikroskopiesystems sein. Die Auswerteeinrichtung kann hierbei eine Recheneinrichtung sein, z.B. eine als Mikrocontroller ausgebildete Recheneinrichtung.
Weiter umfasst das Mikroskopiesystem mindestens eine Steuereinrichtung zur Steuerung des Betriebs des Mikroskopiesystems in Abhängigkeit der erfassten Lage des Targets und somit auch in Abhängigkeit der Lage des Körperteils/des Instruments/des Patienten/des Operationssaal-Einrichtungsgegenstands. Die Steuereinrichtung kann die Auswerteeinrichtung zur Bestimmung der Lageänderung ausbilden. Die Lageerfassungseinrichtung kann signal- und/oder datentechnisch mit der Steuereinrichtung verbunden sein. Mit anderen Worten ist das Mikroskopiesystem lagebasiert steuerbar. Dies wiederum ermöglicht in vorteilhafter Weise eine berührungslose Steuerung des Mikroskopiesystems.
Die Steuereinrichtung kann insbesondere eine Steuereinrichtung zur Steuerung der mindestens einen Antriebseinrichtung in Abhängigkeit der erfassten Lage, insbesondere in Abhängigkeit der bestimmten Lageänderung, des Targets sein. Mit anderen Worten kann die Steuereinrichtung Steuersignale für die mindestens eine Antriebseinrichtung in Abhängigkeit der erfassten Lage des Targets erzeugen, wobei diese Steuersignale dann an die Antriebseinrichtung übertragen werden können. Beispielsweise kann ein Soll-Bewegungsparameter für die Bewegung des Mikroskops in Abhängigkeit der erfassten Lage oder -änderung des Targets bestimmt werden. Ein Bewegungsparameter kann hierbei eine Soll-Lage, eine Soll-Lageänderung, eine Soll-Bewegungsrichtung, eine Soll-Geschwindigkeit oder eine Soll-Beschleunigung, eine maximal zulässige Bewegungsgeschwindigkeit, eine maximal zulässige Beschleunigung oder ein weiterer Bewegungsparameter sein.
Insbesondere ist es möglich, dass die Steuereinrichtung die mindestens eine Antriebseinrichtung derart in Abhängigkeit der erfassten Lage des Targets ansteuert, dass das Mikroskop einer Bewegung des Targets nachgeführt wird. Dies kann insbesondere bedeuten, dass eine Lageänderung des Targets bestimmt wird, wobei das Mikroskop die gleiche oder eine skalierte Lageänderung ausführt.
Alternativ oder kumulativ kann die Steuereinrichtung eine Steuereinrichtung zur Einstellung, insbesondere zur Veränderung, eines Betriebsparameters und/oder eines Bewegungsparameters und/oder eines Betriebsmodus des Mikroskops in Abhängigkeit der erfassten Lage, insbesondere in Abhängigkeit der bestimmten Lageänderung, des Targets sein. Ein Betriebsparameter des Mikroskopiesystems kann beispielsweise eine gewünschte Vergrößerung, eine Fokuslage, ein Zoomfaktor, eine Beleuchtungsstärke oder ein weiterer Betriebsparameter sein. Beispielhafte Bewegungsparameter wurden vorhergehend bereits erläutert. Insbesondere kann beispielsweise eine maximal zulässige Bewegungsgeschwindigkeit eingestellt werden. Beispielhafte Betriebsmodi werden nachfolgend noch näher erläutert. Ein Betriebsmodus kann auch ein Visualisierungsmodus oder ein Bedienmodus sein.
Die Steuereinrichtung kann insbesondere als Recheneinrichtung, z.B. als Mikrocontroller, ausgebildet sein oder eine solche Recheneinrichtung umfassen.
Erfindungsgemäß ist die Lageerfassungseinrichtung ausgebildet, die Lage des Targets durch Auswertung eines von der Bilderfassungseinrichtung der Lageerfassungseinrichtung erzeugten zweidimensionalen Abbilds zu bestimmen. Insbesondere kann also eine räumliche Lage, also eine dreidimensionale Position und eine dreidimensionale Orientierung, durch Auswertung eines zweidimensionalen Abbilds, insbesondere genau eines zweidimensionalen Abbilds, durch die Lageerfassungseinrichtung bestimmt werden. Dies kann auch als sogenannte monoskopische Lageerfassung bezeichnet werden. Insbesondere kann zur Bestimmung der Lage eine Auswertung von Intensitätswerten von Pixeln (Bildpunkten) des zweidimensionalen Abbilds durchgeführt werden.
Ein beispielhaftes Verfahren zur Erfassung der Lage eines Targets oder eines Markerelements durch Auswertung (genau) eines zweidimensionalen Abbilds einer Bilderfassungseinrichtung ist beispielsweise in der einleitend angeführten US 2017/258531 A1 beschrieben.
Hierdurch ergibt sich in vorteilhafter Weise eine genaue und zeitlich schnelle Lageerfassung des Targets mit einer geringen Anzahl von Komponenten, insbesondere nur einer Bilderfassungseinrichtung, bzw. mit einem reduzierten Rechenaufwand, da nur ein zweidimensionales Abbild zur Lageerfassung ausgewertet werden muss. Dies ermöglicht wiederum in vorteilhafter Weise, die Herstellungskosten für das vorgeschlagene Mikroskopiesystem zu reduzieren sowie Bauraumanforderungen eines Mikroskopiesystems mit einer Lageerfassungsfunktion zu reduzieren, insbesondere im Vergleich zu stereoskopischen Lageerfassungseinrichtungen, die mindestens zwei Bilderfassungseinrichtungen benötigen.
Es ist somit möglich, ein an einem Instrument, beispielsweise einem chirurgischen Instrument, wie z.B. einem Sauger oder einem sogenannten Pointer, befestigtes Target mittels der Bilderfassungseinrichtung zu erfassen. Somit kann die räumliche Lage des Targets und auch die des Saugers und insbesondere auch Änderungen dieser räumlichen Lage erfasst werden. Es ist auch möglich, ein an einem Körperteil eines Benutzers, beispielsweise eines Chirurgen, befestigtes Target zu erfassen. Beispielsweise kann das Target an einer Hand, einem Handschuh oder einem Unterarm des Benutzers befestigt sein. Hierdurch ist es möglich, eine Lage und Lageänderungen des Targets und somit auch des Körperteils zu erfassen. Umgekehrt ist es aber auch möglich, durch eine an dem Instrument oder dem Körperteil des Benutzers befestigte Bilderfassungseinrichtung ein an dem Mikroskop angeordnetes Target zu erfassen und somit eine räumliche Relativlage zu bestimmen.
Dies wiederum ermöglicht in vorteilhafter Weise, dass der Betrieb und insbesondere eine räumliche Bewegung des Mikroskops in Abhängigkeit der erfassten Lage, insbesondere der erfassten Lageänderung, gesteuert wird. Insbesondere kann das Mikroskop in einem Lageverfolgemodus derart gesteuert werden, dass es die gleichen Lageänderungen wie das Target ausführt.
Insgesamt ergibt sich in vorteilhafter Weise ein Mikroskopiesystem, mit dem ein Betrieb des Mikroskopiesystems, insbesondere eine Bewegung des Mikroskops und/oder die Einstellung von Betriebsparametern des Mikroskops, zuverlässig, genau und schnell in Abhängigkeit von den Bewegungen eines Körperteils, insbesondere einer Hand, eines Benutzers, eines vom Benutzer bewegten Instruments, einer Lage oder Lageänderung eines Patienten oder einer Lage oder Lageänderung eines Operationssaal-Einrichtungsgegenstands gesteuert werden kann. Insbesondere wird eine berührungslose Steuerung ermöglicht, die einen Komfort bei der Bedienung des Mikroskops erhöht und Zeitverluste bei der Bedienung, insbesondere der Positionierung, reduziert sowie ein Infektionsrestrisiko für den Patienten bei einer manuellen Steuerung des Mikroskopiesystems weiter verringern kann. So ergibt sich insbesondere die Möglichkeit, mit Hilfe von Hand- oder Instrumentenbewegungen das Mikroskopiesystem zu steuern. Dies wiederum ermöglicht in vorteilhafter Weise ein leichtes Umpositionieren des Mikroskops, beispielsweise um die Sicht auf eine andere zu behandelnde Region zu ermöglichen, um eine Tiefenwahrnehmung eines Benutzers zu verbessern, um auf eine Umpositionierung des Patienten relativ zum Mikroskop zu reagieren oder um eine Bewegung des Situs, z.B. durch Brain-Shift oder Atmung, zu kompensieren. Allerdings kann nicht nur eine Bewegungssteuerung des Mikroskopiesystems erfolgen, sondern es können auch in einfacher Weise und ohne unerwünscht hohen Zeitverlust weitere Betriebsparameter des Mikroskopiesystems, beispielsweise ein Zoom, eingestellt werden.
In einer weiteren Ausführungsform ist die Steuereinrichtung eine Steuereinrichtung zur Steuerung der mindestens einen Antriebseinrichtung in Abhängigkeit der erfassten Lage des Targets und/oder eine Steuereinrichtung zur Einstellung mindestens eines Betriebs- und/oder Bewegungsparameters und/oder zur Einstellung eines Betriebsmodus des Mikroskops. Dies wurde vorhergehend bereits erläutert.
In einer weiteren Ausführungsform ist die Bilderfassungseinrichtung der Lageerfassungseinrichtung derart im oder am Mikroskop angeordnet, dass durch die Bilderfassungseinrichtung erfasste Strahlen durch mindestens ein optisches Element des Mikroskops verlaufen. Ein optisches Element des Mikroskops kann insbesondere ein Element zur Strahlführung und/oder -formung und/oder -lenkung sein. Das optische Element des Mikroskops bezeichnet ein Element, welches zur Darstellung, insbesondere zur vergrößernden Darstellung, durch das Mikroskop genutzt wird. Insbesondere kann ein optisches Element eine Linse sein. Somit ist es möglich, dass Objekte im Erfassungsbereich der Bilderfassungseinrichtung der Lageerfassungseinrichtung durch ein optisches Element des Mikroskops vergrößert oder verkleinert abgebildet werden. Beispielsweise kann die Bilderfassungseinrichtung hierzu in einem Gehäuse des Mikroskops, insbesondere in einem Gehäuse des Mikroskopkörpers, angeordnet sein, wobei mindestens ein optisches Element des Mikroskops zwischen der Bilderfassungseinrichtung der Lageerfassungseinrichtung und dem abzubildenden Erfassungsbereich angeordnet ist. Hierdurch ergibt sich in vorteilhafter Weise eine weitere Reduzierung von benötigten Komponenten für eine zuverlässige Lageerfassung, da bereits vorhandene Elemente des Mikroskops genutzt werden können. Ebenfalls ergibt sich somit eine wenig Bauraum benötigende Integration der Lageerfassungsfunktion in das Mikroskopiesystem.
Es ist in diesem Fall möglich, dass durch die Bilderfassungseinrichtung erfasste Strahlen zusätzlich durch mindestens ein optisches Element verlaufen, welches kein optisches Element des Mikroskops ist, also welches nicht zur Darstellung durch das Mikroskop dient. Insbesondere kann ein solches optisches Element Teil eines optischen Systems der Bilderfassungseinrichtung der Lageerfassungseinrichtung sein.
In einer alternativen Ausführungsform ist die Bilderfassungseinrichtung der Lageerfassungseinrichtung derart im oder am Mikroskop angeordnet, dass durch die Bilderfassungseinrichtung erfasste Strahlen nicht durch mindestens ein optisches Element des Mikroskops verlaufen. Auch in diesem Zusammenhang kann das optische Element ein Element zur Strahlführung und/oder -formung und/oder -lenkung bezeichnen. Insbesondere ist also kein optisches Element des Mikroskops zwischen der Bilderfassungseinrichtung der Lageerfassungseinrichtung und dem abzubildenden Erfassungsbereich angeordnet.
Diese Ausführungsform kann jedoch eine Anordnung der Bilderfassungseinrichtung derart in oder am Mikroskop umfassen, dass durch die Bilderfassungseinrichtung erfasste Strahlen durch mindestens ein transparentes Element des Mikroskops, welches jedoch nicht zur Strahlführung und/oder -formung und/oder -lenkung dient, verlaufen. Ein solches Element kann beispielsweise eine Glasscheibe sein. Das transparente Element kann im oder am Mikroskop, insbesondere im oder am Mikroskopkörper, angeordnet sein.
Auch in diesem Fall ist es aber möglich, dass durch die Bilderfassungseinrichtung erfasste Strahlen zusätzlich durch mindestens ein optisches Element verlaufen, welches kein optisches Element des Mikroskops ist, also welches nicht zur Darstellung durch das Mikroskop dient. Insbesondere kann ein solches optisches Element Teil eines optischen Systems der Bilderfassungseinrichtung der Lageerfassungseinrichtung sein.
Hierdurch ergibt sich in vorteilhafter Weise ein Schutz der Bilderfassungseinrichtung vor Verschmutzung und Feuchtigkeit bei gleichzeitiger einfacher Integration dieser zusätzlichen Bilderfassungseinrichtung in das Mikroskopiesystem, da optische Parameter der Bilderfassungseinrichtung nicht an die optische Eigenschaften von optischen Elementen des Mikroskops angepasst werden müssen.
In einer weiteren Ausführungsform ist ein transparentes Element des Mikroskops zwischen der Bilderfassungseinrichtung der Lageerfassungseinrichtung und dem abzubildenden Erfassungsbereich angeordnet. Mit anderen Worten kann die Bilderfassungseinrichtung in Strahlrichtung von einem abzubildenden Objekt zum Mikroskop hinter einem transparenten Abdeckelement des Mikroskops angeordnet. Die entsprechenden Vorteile wurden vorhergehend bereits erläutert.
In einer weiteren Ausführungsform ist die Lageerfassung bzw. die Lagebestimmung in Abhängigkeit einer Sequenz von mindestens oder genau zwei, vorzugsweise in Abhängigkeit von genau oder mindestens drei Abbildern, durchführbar. Die Abbilder bezeichnen hierbei zweidimensionale Abbilder, die zeitlich zu verschiedenen Zeitpunkten, insbesondere zeitlich nacheinander oder unmittelbar nacheinander, durch dieselbe Bilderfassungseinrichtung erzeugt werden. Vorzugsweise werden die Abbilder der Sequenz innerhalb eines (kurzen) Zeitraums aufgenommen, beispielsweise mit einem zeitlichen Abstand, der nicht länger als eine Mikrosekunde oder nicht länger als eine Millisekunde ist. Auch kann ein zeitlicher Abstand zwischen zeitlich nacheinander oder unmittelbar nacheinander erzeugten Abbildern beispielsweise in einem Bereich von 10 ms bis 35 ms liegen. Allerdings ist zu beachten, dass dieser zeitliche Abstand von einer gewünschten Belichtungszeitdauer bei der Erzeugung eines Abbilds abhängt und somit von der Sensorgröße und anderen Rahmenbedingungen abhängig sein kann.
Insbesondere kann/können (ein) Markerelemente in jedem der Abbilder bildbasiert detektiert und somit für jedes Abbild eine abbildspezifische Lage in einem Bildkoordinatensystem bestimmt werden. Eine resultierende Lage eines Markerelements in einem Bildkoordinatensystem, die dann zur Bestimmung der Lage des Targets ausgewertet wird, in Abhängigkeit der abbildspezifischen Lagen bestimmt, z.B. durch eine Mittelung oder andere geeignete Datenfusionsverfahren. Da angenommen werden kann, dass sich die Lage der Markerelemente in dem Zeitraum der Erzeugung der Sequenz nicht oder nicht mehr als ein vorbestimmtes Maß verändert hat, wird auch die Genauigkeit der Lageerfassung nicht oder nicht mehr als ein vorbestimmtes Maß beeinflusst wird.
Hierdurch ergibt sich in vorteilhafter Weise, dass die Genauigkeit der Lageerfassung auch bei für die Lageerfassung ungünstigen Beleuchtungsbedingungen gewährleistet werden kann.
So kann z.B. ein Erfassungsbereich des Mikroskops derart beleuchtet sein, dass dieser verschiedene Beleuchtungsbereiche, also Bereiche mit verschiedenen Beleuchtungsintensitäten, umfasst. So kann beispielsweise ein erster Beleuchtungsbereich ein Beleuchtungskegel sein, der mit einer Beleuchtungsintensität über einem ersten vorbestimmten Schwellwert ausgeleuchtet ist. Ein zweiter Beleuchtungsbereich kann ein Bereich außerhalb dieses ersten Beleuchtungsbereichs sein, der mit einer Beleuchtungsintensität unter einem weiteren vorbestimmten Schwellwert ausgeleuchtet wird. Ein dritter Beleuchtungsbereich kann ein Übergangsbereich zwischen dem ersten und dem zweiten Beleuchtungsbereich sein. Das Target, insbesondere Markerelemente des Targets, können hierbei in diesen verschiedenen Beleuchtungsbereichen angeordnet sein. Insbesondere ist es möglich, dass verschiedene Markerelemente eines Targets in verschiedenen Beleuchtungsbereichen angeordnet sind. Dies erschwert jedoch die Bildauswertung eines einzelnen Abbilds zur Bestimmung der Lage. Insbesondere kann in einem solchen Szenario die Wahl von bestimmten Bilderfassungsparametern, beispielsweise einer Beleuchtungszeit, einer Blende und weiteren Aufnahmeparametern, dazu führen, dass bestimmte Markerelemente aufgrund einer Überbelichtung oder einer Unterbelichtung bildbasiert nicht oder nur schwer detektierbar sind. Dies kann beispielsweise dazu führen, dass in dem Übergangsbereich eine Identifikation von Markerelementen im Abbild, die z.B. auf einer Kantendetektion und -extraktion basieren kann, durch die aufgrund der Beleuchtung beeinflussten Intensitätsverläufe erschwert wird.
Es ist auch möglich, die verschiedenen Abbilder der Sequenz mit voneinander verschiedenen Bilderfassungsparametern und/oder mit verschiedenen Beleuchtungsparametern zu generieren.
Durch die Wahl verschiedener Bilderfassungsparametern und/oder Beleuchtungsparameter für die Erzeugung der einzelnen Abbilder der Sequenz kann es dann möglich sein, Markerelemente in den vorhergehend erläuterten verschiedenen Beleuchtungsbereichen zuverlässig zu identifizieren und die entsprechenden Informationen zur Lagebestimmung zu nutzen.
In einer weiteren Ausführungsform ist die Sequenz in einem HDR (High Dynamic Range)-Verfahren erzeugbar. Dies bedeutet, dass die Abbilder sogenannte HDR-Abbilder sind. Auch hierdurch ergibt sich in vorteilhafter Weise eine verbesserte Zuverlässigkeit der bildbasiert erfolgenden Identifizierung von Markerelementen, insbesondere in verschiedenen Beleuchtungsbereichen.
In einer weiteren umfasst das Target ein Markerelement, wobei das Markerelement einen elliptischen Markerkörper oder eine elliptische Markerfläche und ein geometrisches Zentrum dieses Markerkörpers oder dieser Markerfläche aufweist. Hierbei umfasst der Begriff „elliptisch“ auch eine kreisförmige Ausbildung.
Der Markerkörper oder die Markerfläche, die auch als innerer Markerkörper bzw. als innerer Markerkörper bezeichnet werden kann, ist gefüllt mit Farbspektrumspunkten, die radial mit Bezug auf das geometrische Zentrum verteilt sind. Ein Farbwert von jedem Farbspektrumspunkt des Markerkörpers/der Markerfläche in Abhängigkeit eines Winkels zwischen einer horizontalen Linie durch das geometrische Zentrum und einer weiteren Linie durch das geometrische Zentrum und den entsprechenden Farbspektrumspunkt bestimmt. Mit anderen Worten kann eine Zuordnung, insbesondere eine eineindeutige Zuordnung, z.B. ein funktioneller Zusammenhang, zwischen dem Farbspektrumswert und dem Winkel sowie dem Abstand des Farbspektrumspunkt vom geometrischen Zentrum existieren. Der Winkel und Abstand können in Form von Polarkoordinaten gegeben sein.
Werden mindestens zwei derartig ausgebildete Markerelemente, insbesondere eines Targets, in dem Abbild abgebildet, so können in einem weiteren Verfahrensschritt bildbasiert Kanten dieser mindestens zwei Markerelemente, insbesondere der Markerkörper bzw. Markerflächen, detektiert werden. In einem weiteren Verfahrensschritt können dann Blobs in der Menge der detektierten Kanten detektiert werden. Blobs können hierbei zusammenhängende Regionen in dem Abbild bezeichnen.
Weiter können in der Menge von detektierten Blobs Ellipsen detektiert werden. In einem weiteren Verfahrensschritt können sinusförmige Muster in jeder detektierten Ellipse ausgewertet werden. Weiter kann dann auf Grundlage dieser Auswertung eine zweidimensionale Position der mindestens zwei Markerelemente bestimmt und dann eine dreidimensionale Position in Abhängigkeit der zweidimensionalen Dimensionen bestimmt werden.
In den notwendigen Schritte zur Detektion, insbesondere von Kanten, Blobs, Ellipsen und sinusförmigen Mustern, können Verfahren der Bildverarbeitung angewendet werden, die dem Fachmann bekannt sind.
Eine derartige Bestimmung der dreidimensionalen Position ist in der eingangs erläuterten US 2017/258531 A1 beschrieben, wobei auf die entsprechende Offenbarung vollumfänglich Bezug genommen wird. Mit anderen Worten ist der Offenbarungsgehalt der US 2017/258531 A1 vollumfänglich Bestandteil dieser Offenbarung.
Hierdurch ergibt sich in vorteilhafter Weise eine einfache, zuverlässige, genaue und rechentechnische unaufwendige Lageerfassung.
In einer weiteren Ausführungsform ist die lagebasierte Steuerung in Echtzeit durchführbar. Dies bedeutet, dass ein von der erfassten Lage abhängiges Steuersignal zur Steuerung des Betriebs in einem Zeitraum von weniger als 100 ms oder 10 ms oder 1 ms nach der Erfassung der Lage des Targets erzeugt wird oder ein durch ein solches Steuersignal bedingter Prozess in einem Zeitraum von weniger als 100 ms oder 10 ms oder 1 ms nach der Erfassung der Lage des Targets durchgeführt wird oder beendet ist. Hierdurch ergibt sich in vorteilhafter Weise eine zeitlich schnelle lagebasierte Steuerung.
In einer weiteren Ausführungsform umfasst das Mikroskopiesystem mindestens eine Beleuchtungseinrichtung zur Beleuchtung des Targets. Insbesondere kann die Lageerfassungseinrichtung die mindestens eine Beleuchtungseinrichtung umfassen. Die Beleuchtungseinrichtung kann hierbei mit dem Stativ oder, vorzugsweise, mit dem Mikroskop mechanisch verbunden sein. Es ist z.B. möglich, dass die Beleuchtungseinrichtung ortsfest relativ zu dem Okular oder ortsfest relativ zu dem Mikroskopkörper an diesem angeordnet ist. Es ist z.B. möglich, dass die Beleuchtungseinrichtung ortsfest relativ zur Bilderfassungseinrichtung angeordnet ist. So kann die Beleuchtungseinrichtung z.B. auch an der Bilderfassungseinrichtung befestigt sein.
Bevorzugt ist die Beleuchtungseinrichtung hierbei derart ausgebildet und/oder angeordnet, dass das Target bei einem bestimmungsgemäßen Gebrauch des Mikroskopiesystems in dem Beleuchtungsbereich der Beleuchtungseinrichtung angeordnet ist. Insbesondere kann die Beleuchtungseinrichtung hierbei derart ausgebildet und/oder angeordnet sein, dass sich der Beleuchtungsbereich dieser Einrichtung und der Erfassungsbereich der Bilderfassungseinrichtung der Lageerfassungseinrichtung vollständig oder zumindest teilweise überlappen.
Die Beleuchtungseinrichtung kann hierbei insbesondere mindestens eine LED umfassen. Vorzugsweise unterscheidet sich die Wellenlänge der von der Beleuchtungseinrichtung emittierten Strahlung von Wellenlängen anderer Einrichtungen im Umfeld, beispielsweise im Operationssaal, des Mikroskopiesystems.
Hierdurch wird in vorteilhafter Weise die Zuverlässigkeit einer bildbasierten Erfassung/Detektion des Targets erhöht, insbesondere in Betriebsszenarien, in denen nur wenig Umgebungslicht zur Verfügung steht. Insbesondere kann auch in Beleuchtungsszenarien, in denen wenig Licht mit Wellenlängen aus dem sichtbaren Bereich zur Verfügung steht, beispielsweise in abgedunkelten Operationssälen, eine zuverlässige optische Erfassung des Targets gewährleistet werden.
In einer weiteren Ausführungsform erzeugt die Beleuchtungseinrichtung Licht mit einer Wellenlänge außerhalb des sichtbaren (Wellenlänge-)Bereichs. Vorzugsweise erzeugt die Beleuchtungseinrichtung Licht mit einer Wellenlänge aus dem Infrarotbereich. Es ist möglich, dass die Beleuchtungseinrichtung hierbei kein Licht mit einer Wellenlänge aus dem sichtbaren Bereich erzeugt. Allerdings ist es auch möglich, dass die Beleuchtungseinrichtung sowohl Licht mit einer Wellenlänge des sichtbaren Bereichs als auch Licht mit einer Wellenlänge außerhalb des sichtbaren Bereichs erzeugt. Beispielsweise kann die Beleuchtungseinrichtung Licht in einem Wellenlängenbereich von 780 nm (einschließlich oder ausschließlich) bis 1 mm (einschließlich oder ausschließlich) erzeugen.
Hierdurch ergibt sich in vorteilhafter Weise, dass die optische Erfassung der Markerelemente nicht durch Licht im sichtbaren Bereich, welches sich in verschiedenen Beleuchtungsszenarien der Umgebung des Mikroskopiesystems verändern kann, gestört wird. Somit kann beispielsweise die vorhergehend erläuterte Zuverlässigkeit der optischen Erfassung gewährleistet werden, ohne dass ein Benutzer des Mikroskopiesystems oder eine weitere Person durch sichtbares Licht der Beleuchtungseinrichtung gestört wird.
In einer weiteren Ausführungsform ist die Intensität der Beleuchtung in Abhängigkeit des Abstands des Targets von der Bilderfassungseinrichtung einstellbar. Der Abstand kann beispielsweise in Abhängigkeit der erfassten Lage des Targets, mit anderen Worten also der Relativlage zwischen Bilderfassungseinrichtung und Target, bestimmt werden. Insbesondere kann also ein von der Bilderfassungseinrichtung erzeugtes Abbild genutzt werden, um den Abstand eines Targets oder eines Markerelements des Targets von der Bilderfassungseinrichtung zu bestimmen. Beispielsweise kann die Intensität der Beleuchtung proportional zum Abstand erhöht werden. Selbstverständlich sind jedoch auch andere funktionelle oder vordefinierte Zusammenhänge zwischen Abstand und Intensität der Beleuchtung vorstellbar, beispielsweise in Form einer Zuordnung. Hierdurch ergibt sich in vorteilhafter Weise eine zuverlässige Erfassung des Targets durch die Bilderfassungseinrichtung für verschiedene Abstände zwischen Target und Bilderfassungseinrichtung.
Alternativ oder kumulativ ist ein Arbeitsabstand, z.B. in Form einer Fokuslage, der Bilderfassungseinrichtung in Abhängigkeit des Abstands des Targets von der Bilderfassungseinrichtung, der auch als Targetabstand bezeichnet werden kann, einstellbar. Insbesondere kann der Arbeitsabstand derart proportional zum Targetabstand eingestellt werden, dass mit zunehmendem Targetabstand auch der Erfassungsbereich der Bilderfassungseinrichtung verkleinert wird. Vorzugsweise wird der Arbeitsabstand dem Targetabstand nachgeführt. Dies kann bedeuten, dass bei einer Veränderung des Targetabstands auch der Arbeitsabstand verändert wird, z.B. in proportionaler oder invers proportionaler Weise. Insbesondere erfolgt die Veränderung derart, dass das Target trotz begrenzter Tiefenschärfe der Bilderfassungseinrichtung scharf abgebildet werden kann. Der Arbeitsabstand kann hierbei elektronisch oder durch eine Veränderung der optischen Strecke, also von optischen Elementen zur Strahlführung und/oder -formung verändert werden. Auch hierdurch wird in vorteilhafter Weise die Zuverlässigkeit der Erfassung des Targets verbessert.
Weiter alternativ oder kumulativ ist eine Belichtungszeit der Bilderfassungseinrichtung in Abhängigkeit des Targetabstands einstellbar. Insbesondere kann die Belichtungszeit derart proportional oder in potenzieller Abhängigkeit, z.B. mit einem Exponenten von 2 oder 4, zum Targetabstand eingestellt werden, dass mit zunehmendem Targetabstand auch die Belichtungszeit verlängert wird. Auch hierdurch wird in vorteilhafter Weise die Zuverlässigkeit der Erfassung des Targets verbessert.
In einer weiteren Ausführungsform umfasst das Mikroskopiesystem mindestens ein Mittel zur Filterung der durch die Bilderfassungseinrichtung erfassten Strahlung, also der Strahlung, die zur Erzeugung des Abbilds genutzt wird. Das Mittel zur Filterung kann beispielsweise ein Spektralfilter sein. Beispielsweise kann das Mittel zur Filterung durchlässig für Licht aus dem Infrarotlängenbereich und nicht oder weniger durchlässig für Licht mit Wellenlängen außerhalb des Infrarotwellenlängenbereichs sein. Durch das Mittel zur Filterung wird also die Strahlung gefiltert, die dann zur Erzeugung des Abbilds der Bilderfassungseinrichtung genutzt wird. Das Mittel zur Filterung kann hierbei an dem Mikroskop, insbesondere an dem Mikroskopkörper oder an dem Okular, oder an der Bilderfassungseinrichtung befestigt sein.
Alternativ oder kumulativ erfasst die Bilderfassungseinrichtung zur Erzeugung des Abbilds nur Strahlung einer bestimmten Wellenlänge oder eines vorbestimmten Wellenlängenbereichs, insbesondere des vorhergehend erläuterten Infrarotlängenbereichs. In diesem Fall kann beispielsweise ein Sensor der Bilderfassungseinrichtung derart ausgebildet sein, dass dieser nur Licht des vorbestimmten Wellenlängenbereichs erfasst und in Abhängigkeit dieser erfassten Strahlung dann das Abbild erzeugt.
Alternativ oder kumulativ ist die Bilderfassungseinrichtung eine Monochrom-Bilderfassungseinrichtung. Diese kann Intensitäts-Abbilder, insbesondere Graustufen-Abbilder, aufgrund von Strahlung mit Wellenlängen aus einem großen Wellenlängenbereich, insbesondere allen erfassbaren Wellenlängen, erzeugen. Hierdurch ergibt sich in vorteilhafter Weise, dass im Vergleich zu Farbkameras für den Sensor der Bilderfassungseinrichtung mehr Strahlungsleistung zur Erzeugung des Abbilds genutzt werden kann und dieser somit empfindlicher gegenüber Intensitätsänderungen ist. Auch kann in diesem Fall der Sensor der Bilderfassungseinrichtung mit einer geringeren Fläche als bei der Verwendung einer Farbkamera ausgebildet werden, was die Herstellungskosten reduziert.
Hierdurch ergibt sich in vorteilhafter Weise, insbesondere in Verbindung mit der erläuterten Beleuchtungseinrichtung, eine weitere Verbesserung der Zuverlässigkeit der Erfassung des Targets, da sich verändernde Lichtintensitäten von Licht im sichtbaren Bereich die Zuverlässigkeit der Erfassung und somit die Lageerfassung nicht beeinflussen. Weiter ergibt sich in vorteilhafter Weise eine vereinfachte Datenverarbeitung zur Auswertung der erzeugten Abbilder.
In einer weiteren Ausführungsform umfasst das Mikroskopiesystem ein Mittel zur Aktivierung einer lagebasierten Steuerung des Mikroskopiesystems. Das Mittel zur Aktivierung der lagebasierten Steuerung kann somit auch ein Mittel zur Aktivierung der berührungslosen Steuerung des Mikroskopiesystems bilden. Das Mittel zur Aktivierung kann eine Schnittstelle zur Eingabe eines Aktivierungssignals durch den Benutzer umfassen. Beispielsweise kann die Eingabe durch eine Betätigung, beispielsweise durch einen Fuß oder eine Hand, erfolgen. So kann das Mikroskopiesystem beispielsweise einen handbetätigbaren oder fußbetätigbaren Schalter umfassen. Auch vorstellbar ist ein Mundschalter zur Aktivierung. Auch vorstellbar ist eine akustische Eingabe, beispielsweise in Form eines Sprachbefehls. In diesem Fall kann das Mittel zur Aktivierung ein Mikrofon umfassen. Selbstverständlich sind auch andere Ausbildungen des Mittels zur Aktivierung vorstellbar.
Wird das Mittel zur Aktivierung betätigt, so wird das Mikroskopiesystem in einen lagebasiert steuerbaren Zustand versetzt. In diesem Zustand erfolgt dann die vorhergehend erläuterte lagebasierte Steuerung.
Selbstverständlich kann das Mikroskopiesystem auch ein Mittel zur Deaktivierung der lagebasierten Steuerung umfassen. Dieses Mittel zur Deaktivierung kann das Mittel zur Aktivierung bilden oder aber auch davon verschieden ausgebildet sein. Wird das Mittel zur Deaktivierung betätigt, so wird das Mikroskopiesystem in einen nichtlagebasiert steuerbaren Zustand versetzt. In dem nicht lagebasiert steuerbaren Zustand wird die Lage des Targets nicht zur Steuerung des Mikroskopiesystems genutzt. Selbstverständlich kann die Lageinformation jedoch für andere Anwendungen genutzt werden, z.B. zur raumrichtigen Darstellung eines Instruments in einem virtuellen Abbild des Situs. Hierdurch ergibt sich in vorteilhafter Weise, dass das Mikroskopiesystem in verschiedenen Betriebsmodi bestrieben werden kann, wodurch in vorteilhafter Weise ein Anwendungsspektrum erhöht wird.
In einer weiteren Ausführungsform ist die Bilderfassungseinrichtung eine Weitwinkelkamera. Eine Weitwinkelkamera kann hierbei eine Kombination aus Kamera und Weitwinkelobjektiv bezeichnen. Eine Weitwinkelkamera kann hierbei einen Bildwinkel aufweisen, der größer ist als ein Bildwinkel von 50° (ausschließlich) ist, insbesondere bei Brennweiten im Bereich zwischen 28 mm (einschließlich) bis 38 mm (einschließlich). Hierbei ist zu beachten, dass auch andere Brennweiten gewählt werden können.
Insbesondere ist der Bildwinkel einer Weitwinkelkamera größer als die einer Kamera mit einem Normalobjektiv, das einen Bildwinkel im Bereich von etwa 40° bis 50° aufweist, und deren Abbildung am ehesten der perspektivischen Wahrnehmung des Menschen entspricht. Weiter kann eine Brennweite einer Weitwinkelkamera kürzer als eine Brennweite einer Kamera mit Normalobjektiv sein. Weit entfernte Gegenstände werden durch eine Weitwinkelkamera kleiner abgebildet, insbesondere verkleinert also eine Weitwinkelkamera bei gleicher Motiventfernung den Bildmaßstab. Daraus ergibt sich in der Praxis auch die für Weitwinkelfotos charakteristische große Schärfentiefe. Ein Weitwinkelobjektiv hat somit die entgegengesetzten Eigenschaften des Teleobjektivs. Zu den Weitwinkelobjektiven zählen ebenfalls die Fischaugenobjektive.
Hierdurch ergibt sich in vorteilhafter Weise eine verbesserte Erfassung der Lage des Targets und insbesondere des Abstands des Markers von der Bilderfassungseinrichtung entlang einer optischen Achse der Bilderfassungseinrichtung. Es kann nämlich davon ausgegangen werden, dass mit ansteigendem Bildwinkel der Bilderfassungseinrichtung sich auch die Größe des abgebildeten Markers im Abbild bei Abstandsänderungen stärker verändert, was zu einer genaueren Bestimmung des Abstands genutzt werden kann. Auch können in vorteilhafter Weise zuverlässig sehr nah an der Bilderfassungseinrichtung angeordnete Objekte erfasst werden. Dies ist vorteilhaft, da ein Target regelmäßig nah an der Bilderfassungseinrichtung angeordnet sein kann.
Erfindungsgemäß ist einem Markerelement eine Identität, insbesondere eine eineindeutige Identität, zugeordnet, wobei diese Identität bildbasiert identifizierbar ist. Eine bildbasierte Identifizierung kann hierbei die Bestimmung der Identität durch Auswertung der Bilddaten bedeuten. Hierdurch können in vorteilhafter Weise verschiedene Markerelemente voneinander unterschieden werden. Dies wiederum vergrößert ein Anwendungsspektrum des Mikroskopiesystems bei Verwendung von Markerelementen mit solchen verschiedenen und bildbasiert bestimmbaren Identitäten. Beispielhafte Anwendungen werden nachfolgend näher erläutert.
Weiter erfindungsgemäß ist ein Betrieb des Mikroskopiesystems in Abhängigkeit der identifizierten Identität steuerbar. Hierbei wird ein vorbestimmter Betriebsmodus oder werden mehrere vorbestimmte Betriebsmodi nur dann aktiviert, falls ein Markerelement mit einer vorbestimmten Identität identifiziert wird. Beispielsweise kann ein Lageverfolgungsmodus nur dann aktiviert werden, wenn ein entsprechendes Markerelement identifiziert wird. So kann beispielsweise eine Zuordnung zwischen Identität und dem mindestens einen zu aktivierenden Betriebsmodus existieren.
Weiter kann mindestens einer der vorhergehend bereits erläuterten Betriebsparameter des Mikroskopiesystems in Abhängigkeit der Identität eingestellt werden, z.B. auf einen vorbestimmten Wert. Alternativ oder kumulativ kann mindestens einer der vorhergehend bereits erläuterten Bewegungsparameter des Mikroskopiesystems in Abhängigkeit der Identität eingestellt werden, z.B. auf einen vorbestimmten Wert.
So kann beispielsweise eine Zuordnung zwischen Identität und dem mindestens einen einstellbaren Betriebs- und/oder Bewegungsparameter existieren. Diese Zuordnung kann beispielsweise in Form eines Nutzerprofils gegeben sein, welches einer vorbestimmten Identität eines Markerelements zugeordnet ist und welches z.B. durch eine Nutzereingabe erzeugt werden kann. In diesem Nutzerprofil können Parameter entsprechend den Präferenzen eines Benutzers gespeichert werden, die dann nach der Identifikation des entsprechenden Markerelements eingestellt werden. Hierdurch ergibt sich in vorteilhafter Weise ein komfortables und nur wenig Nutzereingaben erforderndes Einstellen von Parametern und somit ein verbesserter Betrieb des Mikroskopiesystems.
Auch kann ein Gesamtbetrieb des Mikroskopiesystems, z.B. also auch die vergrößerte Darstellung, nur dann aktiviert werden, wenn ein entsprechendes Markerelement identifiziert wird.
Hierdurch ergibt sich in vorteilhafter Weise die Verhinderung einer unautorisierten Benutzung des Mikroskopiesystems oder vorbestimmter Betriebsmodi oder sogar eine Art Diebstahlschutz. Insgesamt wird also eine Betriebssicherheit des Mikroskopiesystems in vorteilhafter Weise verbessert.
Weiter alternativ ist es möglich, dass vorbestimmten Identitäten von Markerelementen verschiedenen Benutzer, z.B. Chirurgen, zugeordnet sind. Dann kann die Identität eines identifizierten Markerelements gespeichert werden, insbesondere in Zusammenhang mit einem Zeitraum der Identifizierung. Dies ermöglicht wiederum in vorteilhafter Weise die Protokollierung der Benutzung des Mikroskopiesystems durch einen oder mehrere Benutzer. Beispielsweise kann im Nachhinein festgestellt werden, welcher Chirurg zu welchem Zeitpunkt das Mikroskopiesystem benutzt hat.
In einer weiteren Ausführungsform erfolgt eine Steuerung oder Regelung der Bewegung des Mikroskops in Abhängigkeit mindestens eines Betriebsparameters des Mikroskops. Alternativ oder kumulativ erfolgt eine Steuerung oder Regelung der Bewegung des Mikroskops in Abhängigkeit mindestens eines Betriebsparameters der Bilderfassungseinrichtung der Lageerfassungseinrichtung.
Dies kann bedeuten, dass mindestens ein Bewegungsparameter des Mikroskops in Abhängigkeit von einem oder mehreren Betriebsparametern des Mikroskops und/oder der Bilderfassungseinrichtung eingestellt wird. Hierbei können Bewegungsparameter von den Betriebsparametern verschieden sein. Es ist jedoch auch vorstellbar, dass ein Parameter sowohl ein Bewegungs- als auch ein Betriebsparameter bildet. So kann beispielsweise eine Zuordnung oder eine weiterer vorbekannter Zusammenhang, z.B. eine funktionelle Zuordnung, zwischen verschiedenen Betriebsparametern oder -mengen und einem Bewegungsparameter oder eine Bewegungsparametermenge existieren, wobei diese Zuordnung oder dieser Zusammenhang genutzt wird, um die Bewegungsparameter einzustellen. Selbstverständlich können auch andere Parameter der Steuerung oder Regelung, beispielsweise Reglerparameter, Grenzwerte oder sonstige Parameter der Bewegung in Abhängigkeit von mindestens einem Betriebsparameter des Mikroskops eingestellt werden.
Betriebsparameter des Mikroskops wurde vorhergehend bereits erläutert. Ein Betriebsparameter der Bilderfassungseinrichtung ist beispielsweise ein einstellbarer Arbeitsabstand der Bilderfassungseinrichtung. Ein Betriebsparameter des Okulars oder des Tubus ist beispielsweise eine Relativlage zwischen Okular und Mikroskopkörper.
Beispielsweise kann eine Geschwindigkeit, insbesondere eine Maximalgeschwindigkeit oder eine maximal zulässige Geschwindigkeit, der Bewegung in Abhängigkeit einer aktuell eingestellten Vergrößerung des Mikroskops eingestellt werden. Insbesondere kann die Maximalgeschwindigkeit oder die maximal zulässige Geschwindigkeit einer Bewegung sich proportional zum Anstieg der Vergrößerung verringern.
Hierdurch ergibt sich in vorteilhafter Weise eine erhöhte Betriebssicherheit sowie eine Verbesserung der Nutzerfreundlichkeit des Betriebs des Mikroskopiesystems.
In einer weiteren Ausführungsform ist eine Anzahl der für die Bewegung des Mikroskops freigegebenen Freiheitsgrade einstellbar. Beispielsweise kann/können ein, zwei, drei, vier, fünf oder sechs Freiheitsgrade der Bewegung des Mikroskops freigegeben werden. Alternativ, vorzugsweise jedoch kumulativ, ist auch eine Art der freigegebenen Freiheitsgrade einstellbar. Beispielsweise kann ein ausgewählter Translationsfreiheitsgrad und/oder ein ausgewählter Rotationsfreiheitsgrad freigegeben werden. Ist ein solcher Freiheitsgrad freigegeben, so ist die Bewegung des Mikroskops mit einem solchen Freiheitsgrad möglich. Es ist möglich, dass nur Rotationsfreiheitsgrade oder nur Translationsfreiheitsgrade freigegeben werden.
Weiter ist es möglich, dass auch ein freiheitsgradspezifisches Koordinatensystem einstellbar ist, wobei die Anzahl der für die Bewegung des Mikroskops freigegebenen Freiheitsgrade bezogen auf oder relativ zu diesem Koordinatensystem einstellbar ist. Das freiheitsgradspezifische Koordinatensystem kann insbesondere das vorhergehend erläuterte Referenzkoordinatensystem oder ein fokuspunktfestes Koordinatensystem sein. Selbstverständlich können auch andere Koordinatensysteme verwendet werden.
Beim fokuspunktfesten Koordinatensystem kann ein Ursprung des Koordinatensystems im Fokuspunkt liegen. Eine Vertikalachse kann entlang der optischen Achse des Mikroskops verlaufen. Die beiden verbleibenden Achsen können eine Ebene aufspannen und jeweils senkrecht zur Vertikalachse und zueinander orientiert sein. In diesem Fall ist z.B. ein so genannter Point-Lock-Betrieb möglich, wobei in diesem die Lage des Fokuspunkts im Referenzkoordinatensystem ortsfest ist und nur die für die Rotation um die Achsen des fokuspunktfesten Koordinatensystems benötigten Freiheitsgrade freigegeben werden. In diesem Fall müssen die Freiheitsgrade nicht mit mechanisch vom Stativ bereitgestellten Freiheitsgraden übereinstimmen und können somit auch als virtuelle Freiheitsgrade bezeichnet werden. So ist es vorstellbar, dass für eine Bewegung nur zwei virtuelle Freiheitsgrade freigegeben sind, aber trotzdem eine Bewegung des Stativs um alle für das Stativ möglichen Freiheitsgrade erfolgt.
Hierbei ist es möglich, dass die Anzahl und/oder Art der freigegebenen Freiheitsgrade in Abhängigkeit der erfassten Lage eingestellt werden. Beispielsweise ist vorstellbar, dass mittels des Targets eine vorbestimmte Bewegung ausgeführt wird, wobei diese Bewegung durch die Lageerfassung erfasst und dann die dieser Bewegung zugeordnete Anzahl und/oder Art von freizugebenden Freiheitsgraden freigegeben wird. Auch kann in Abhängigkeit der Lage ein vorbestimmter Betriebsmodus des Mikroskopiesystems aktiviert werden, wobei in diesem Betriebsmodus die Anzahl und/oder Art der freigegebenen Freiheitsgrade vorgeben ist. Ein solcher Betriebsmodus kann z.B. als eingeschränkter Bewegungsmodus bezeichnet werden.
Alternativ ist vorstellbar, dass die Anzahl und/oder Art der freigegebenen Freiheitsgrade in Abhängigkeit der identifizierten Identität zumindest eines Markerelements eingestellt wird. Hierbei können verschiedene Anzahlen und/oder verschiedene Arten von freigegebenen Freiheitsgraden verschiedenen Markerelementen zugeordnet sein.
Es ist auch möglich, dass Betriebsparameter und/oder Bewegungsparameter, insbesondere auch Steuer- oder Regelparameter für die Steuerung oder Regelung, der Bewegung des Mikroskops in Abhängigkeit der erfassten Lage oder in Abhängigkeit eines lagebasiert eingestellten Betriebsmodus eingestellt wird.
Hierdurch ergibt sich in vorteilhafter Weise eine erhöhte Betriebssicherheit des Mikroskopiesystems, da in vorbestimmte Betriebsszenarien die Anzahl und/oder die Art der freigegebenen Freiheitsgrade und somit auch die Bewegbarkeit des Mikroskops eingeschränkt werden kann. Hierdurch kann in vorteilhafter Weise z.B. ein Kollisionsrisiko, insbesondere mit einem Menschen, reduziert werden.
In einer weiteren Ausführungsform ist eine Größe eines Arbeitsraums des Mikroskopiesystems einstellbar, insbesondere in Abhängigkeit der erfassten Lage und/oder in Abhängigkeit der identifizierten Identität mindestens eines Markerelements. Der Arbeitsraum kann hierbei einen räumlichen Bereich bezeichnen, in dem das Mikroskop des Mikroskopiesystems bewegt werden kann. Der Arbeitsraum kann hierbei einen Raum um einen Referenzpunkt sein, wobei der Referenzpunkt z.B. durch eine aktueller Raumposition des Mikroskops (oder eines Referenzpunkts des Mikroskops) bei der Aktivierung eines Betriebsmodus mit einer vorgegebenen Größe des Arbeitsraums gebildet wird. Insbesondere kann der Referenzpunkt ein geometrischer Mittelpunkt des Arbeitsraums sein.
Hierdurch ergibt sich in vorteilhafter Weise eine weitere Verbesserung der Betriebssicherheit durch die Verringerung eines Kollisionsrisikos.
Alternativ oder kumulativ ist eine zulässige Maximalgeschwindigkeit der Bewegung einstellbar, insbesondere in Abhängigkeit der erfassten Lage und/oder der identifizierten Identität mindestens eines Markerelements. Dies und entsprechende Vorteile wurden vorgehend bereits erläutert. Auch hierdurch ergibt sich in vorteilhafter Weise eine erhöhte Betriebssicherheit, insbesondere da ungewünschte Bewegungen aufgrund der festgelegten maximal zulässigen Geschwindigkeit rechtzeitig durch einen Benutzer unterbrochen werden können.
Auch in diesem Fall kann in Abhängigkeit der Lage ein vorbestimmter Betriebsmodus des Mikroskopiesystems aktiviert werden, wobei in diesem Betriebsmodus die Größe des Arbeitsraums des Mikroskopiesystems und/oder die zulässige Maximalgeschwindigkeit vorgeben ist.
In einer weiteren Ausführungsform wird eine grafische Benutzerschnittstelle in Abhängigkeit der Lage des Targets bedient. Dies kann insbesondere in einem Bedienmodus erfolgen. Wird ein solcher Bedienmodus aktiviert, z.B. in Abhängigkeit der Lage des Targets, so kann die grafische Benutzerschnittstelle in Abhängigkeit der Lage des Targets bedient werden.
Die grafische Benutzerschnittstelle kann eine Benutzerschnittstelle einer Anwendung sein, insbesondere einer computergestützt durchführbaren Anwendung. Z.B. kann die Benutzerschnittstelle eine Benutzerschnittstelle zur Steuerung des Mikroskopiesystems sein, z.B. zur Einstellung von Betriebs- und/oder Bewegungsparametern.
Die Benutzerschnittstelle kann durch eine Anzeigeeinrichtung, z.B. ein Display, angezeigt wird. Die Anzeigeeinrichtung kann hierbei simultan zur Darstellung des vom Mikroskop erzeugten (vergrößernden) Abbilds dienen. In diesem Fall können Verfahren zur Darstellung einer so genannten Augmented Reality eingesetzt werden. Allerdings ist es auch möglich, dass die Benutzerschnittstelle auf einer Anzeigeeinrichtung angezeigt wird, die nicht simultan zur Darstellung des vom Mikroskop erzeugten (vergrößernden) Abbilds dient.
Z.B. kann die Bedienung erfolgen, indem die Lage eines Bildelements in Abhängigkeit der Lage des Targets eingestellt wird. Das Bildelement kann z.B. ein Cursor sein. Das Bildelement kann hierbei Teil der Benutzerschnittstelle sein. Insbesondere kann eine Lage des Bildelements im Abbild in Abhängigkeit einer Lageveränderung des Targets verändert werden. So kann beispielsweise das Bildelement entlang einer vorbestimmten Bildrichtung, z.B. entlang einer Bildachse, bewegt werden, wenn das Target entlang einer vorbestimmten Raumrichtung bewegt wird. So kann beispielsweise eine Bewegung oder ein Anteil der Bewegung des Targets entlang einer Querachse des Referenzkoordinatensystems oder eines Koordinatensystems der Bilderfassungseinrichtung der Lageerfassungseinrichtung zu einer Bewegung des Bildelements entlang einer Querachse im Abbild führen.
Weiter ist es möglich, dass vorbestimmte Bedienbefehle, z.B. eine Aktivierung bzw. Ausführung einer ausgewählten Funktion oder eine Vergrößerung/Verkleinerung der Anzeige, in Abhängigkeit der Lage, insbesondere der Lageänderung, des Targets durchgeführt werden. Hierzu können Bedienbefehle zu Lagen bzw. Lageänderungen zugeordnet sein. Beispielsweise kann eine (ausgewählte) Funktion ausgeführt werden, wenn die Lageänderung des Targets einer Bewegung in Form eines Doppelklicks entspricht, also zwei Teilbewegungen umfasst, die sich nicht mehr als ein vorbestimmtes Maß voneinander unterscheiden.
Dies ermöglicht in vorteilhafter Weise eine interaktive Bedienung, z.B. eine Auswahl eines gewünschten Befehls aus einem Menü, von Computerprogrammen.
Es ist möglich, dass der aktivierte Modus oder die in dem aktivierten Modus durchgeführte Steuerung, z.B. die erläuterte Lageverfolgung, unterbrochen wird, falls das Target nicht mehr oder nicht mehr vollständig erfasst wird. Eine Wiederaufnahme des unterbrochenen Modus oder der entsprechenden Steuerung kann erfolgen, wenn das Target vor Ablauf einer vorbestimmten Zeitdauer wieder, insbesondere vollständig, erfasst wird. Erfolgt keine erneute Erfassung vor Ablauf der vorbestimmten Zeitdauer, so kann eine erneute Aktivierung des unterbrochenen Modus erforderlich sein, wobei diese erneute Aktivierung nicht oder nicht ausschließlich durch eine erneute Erfassung des Targets erfolgt. Z.B. kann eine manuelle Aktivierung erforderlich sein. Es ist aber auch möglich, dass eine Wiederaufnahme des unterbrochenen Modus oder der entsprechenden Steuerung unabhängig von der vergangenen Zeit erfolgt, wenn das Target wieder, insbesondere vollständig, erfasst wird. Bei einer Wiederaufnahme kann es hierbei insbesondere nicht erforderlich sein, eine erneute Initialisierung durchzuführen, die z.B. bei der Anfangsaktivierung des entsprechenden Modus erfolgt.
Weiter vorgeschlagen wird ein Verfahren zum Betrieb eines Mikroskopiesystems gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen. Somit ist das Mikroskopiesystem derart konfiguriert, dass ein solches Verfahren mit dem Mikroskopiesystem ausgeführt werden kann.
In dem Verfahren wird eine Lage des mindestens einen Targets relativ zu der mindestens einen Bilderfassungseinrichtung der Lageerfassungseinrichtung bestimmt. Selbstverständlich ist es auch möglich, eine Lage des Targets in dem vorhergehend erläuterten Referenzkoordinatensystem zu bestimmen, insbesondere unter Anwendung der ebenfalls vorhergehend erläuterten Transformationsvorschriften. In Abhängigkeit der derart bestimmten Lage kann auch eine Lage oder Lageänderung eines Körperteils eines Benutzers, insbesondere einer Hand, d eines vom Benutzer bewegten Instruments, eines Patienten oder eines Operationssaal-Einrichtungsgegenstands bestimmt werden.
Weiter wird ein Betrieb des Mikroskopiesystems in Abhängigkeit der bestimmten Lage oder der derart bestimmten Lageänderung gesteuert. Insbesondere kann eine Bewegung, insbesondere des Mikroskops, in Abhängigkeit der bestimmten Lage gesteuert. Auch kann ein Betriebs- und/oder ein Bewegungsparameter des Mikroskops in Abhängigkeit der Lage eingestellt werden. Auch kann ein Betriebsmodus des Mikroskops in Abhängigkeit der Lage aktiviert oder deaktiviert werden.
So können z.B. verschiedene Betriebsmodi des Mikroskopiesystems existieren. So kann z.B. ein Bewegungssteuerungsmodus existieren, wobei in diesem Bewegungssteuerungsmodus eine Bewegung in Abhängigkeit der bestimmten Lage gesteuert wird. Hierzu kann die mindestens eine Antriebseinrichtung derart angesteuert werden, dass das Mikroskop eine gewünschte Bewegung, d.h. eine Bewegung mit gewünschten Bewegungsparametern, ausführt. Ein spezieller Bewegungssteuerungsmodus kann der vorhergehend erläuterte Lageverfolgungsmodus sein. Insbesondere kann die mindestens eine Antriebseinrichtung in einem Lageverfolgungsmodus derart angesteuert werden, dass eine Relativbewegung zwischen dem Target und der Bilderfassungseinrichtung zur Lageerfassung kompensiert wird. Dies kann bedeuten, dass das Mikroskop eine Bewegung mit den gleichen Bewegungsparametern dieser Relativbewegung, insbesondere der gleichen Trajektorie, ausführt. Insbesondere kann eine Lageänderung der Relativlage bestimmt werden, wobei die Lage des Mikroskops entsprechend diesen Lageänderung verändert wird. Auch kann dies bedeuten, dass das Mikroskop in Abhängigkeit einer bestimmten Lage, insbesondere der bestimmten Lageänderung, derart angesteuert werden, dass die relative Lage zwischen dem Target oder dem Objekt, an dem das Target angeordnet ist, und dem Mikroskop konstant bleibt oder nicht mehr als ein vorbestimmtes Maß von einer gewünschten, beispielsweise einer Ausgangslage, abweicht. Auch kann dies bedeuten, dass eine so genannte Trajektorienfolgeregelung durchgeführt wird. Dies dient zum Ausgleich von Abweichungen. Bei einer Trajektorienverfolgung folgt das Mikroskop der Bewegung des Targets relativ zur Bilderfassungseinrichtung. In diesem Fall wird nicht zwangsläufig die Trajektorie dieser Bewegung kopiert. So kann z.B. eine Geschwindigkeit oder eine Beschleunigung der Bewegung des Mikroskops beschränkt sein. Dies kann dazu führen, dass sich das Mikroskop bei der Trajektorienverfolgung entlang einer von der Trajektorie der Bewegung des Targets abweichenden Trajektorie bewegt wird, z.B. auf einer Kreisbahn mit einem geringeren Durchmesser als eine Kreisbahn entlang derer das Target bewegt wird.
Ein weiterer Bewegungsmodus kann der vorhergehend erläuterte eingeschränkte Bewegungsmodus sein.
In einem Lageverfolgungsmodus und auch in davon verschiedenen Bewegungssteuerungsmodi kann eine entsprechende Regelung erfolgen. Diese Regelung kann insbesondere durch eine entsprechende Rechnereinheit, die entsprechende Algorithmen durchführt, durchgeführt werden. Hierdurch wird in vorteilhafter Weise ermöglicht, dass ein Nutzer problemlos stets in gewünschter Weise in das Okular des Mikroskops schauen kann.
Auch kann ein Parametereinstellmodus existieren, wobei in diesem Modus ein Betriebs- und/oder ein Bewegungsparameter des Mikroskops in Abhängigkeit der Lage eingestellt wird. Wie vorhergehend erläutert, kann in dem Verfahren ein Betriebsparameter und/oder ein Bewegungsparameter des Mikroskopiesystems auch in Abhängigkeit einer Identität eines identifizierten Markerelements eingestellt werden. Beispielsweise kann ein Bewegungsanteil des Targets, der parallel zu der optischen Achse des Mikroskops orientiert ist, zur Einstellung eines Betriebsparameters des Mikroskopiesystems, beispielsweise des Fokus, genutzt werden. Beispielsweise kann eine Bewegung auf das Mikroskop zu einen Fokuswert verringern, während eine Bewegung von dem Mikroskop weg den Fokuswert erhöht.
Ein weiterer Bewegungsanteil des Targets, z.B. ein Anteil der quer zu der optischen Achse des Mikroskops orientiert ist, kann zur Einstellung eines weiteren Betriebsparameters des Mikroskopiesystems, beispielsweise des Zoomwerts, genutzt werden.
In einem weiteren Betriebsmodus können der Lageverfolgungsmodus und der Parametereinstellmodus kombiniert werden. Beispielsweise kann ein Bewegungsanteil des Targets, der parallel zu der optischen Achse des Mikroskops orientiert ist, zur Einstellung eines Betriebsparameters des Mikroskopiesystems, beispielsweise des Fokus, genutzt werden, wobei Bewegungsanteile senkrecht zu dieser optischen Achse für die Lageverfolgung genutzt werden. Ein weiterer Betriebsmodus kann der vorhergehend erläuterte Bedienmodus sein.
Ein Modus, insbesondere ein Bewegungsmodus, kann hierbei durch entsprechende Mittel zur Aktivierung aktiviert und durch entsprechende Mittel zur Deaktivierung deaktiviert werden. So ist z.B. eine manuelle Aktivierung und Deaktivierung möglich, z.B. über eine hand- oder fußbetätigbare Schnittstelle. Wie vorhergehend erläutert ist auch eine targetlagebasierte Aktivierung/Deaktivierung möglich.
Weiter beschrieben wird ein Programm, welches, wenn es auf oder durch einen Computer ausgeführt wird, den Computer veranlasst, einen, mehrere oder alle Schritte des in dieser Offenbarung dargestellten Verfahrens zum Betrieb eines Mikroskopiesystems durchzuführen. Alternativ oder kumulativ wird ein Programmspeichermedium beschrieben, auf oder in dem das Programm gespeichert ist, insbesondere in einer nicht vorübergehenden, z.B. in einer dauerhaften, Form. Alternativ oder kumulativ wird ein Computer beschrieben, der dieses Programmspeichermedium umfasst. Weiter alternativ oder kumulativ wird ein Signal beschrieben, beispielsweise ein digitales Signal, welches Informationen codiert, die das Programm repräsentieren und welches Code-Mittel umfasst, die adaptiert sind, einen, mehrere oder alle Schritte des in dieser Offenbarung dargestellten Verfahrens zum Betrieb eines Mikroskopiesystems durchzuführen. Das Signal kann ein physikalisches Signal, zum Beispiel ein elektrisches Signal sein, welches insbesondere technisch oder maschinell erzeugt wird.
Weiter kann das Verfahren zum Betrieb eines Mikroskopiesystems ein computerimplementiertes Verfahren sein. So können zum Beispiel ein, mehrere oder alle Schritte des Verfahrens durch einen Computer ausgeführt werden. Eine Ausführungsform für das computerimplementierte Verfahren ist die Benutzung des Computers zur Durchführung einer Datenverarbeitungsmethode. Der Computer kann zum Beispiel zumindest eine Recheneinrichtung, insbesondere ein Prozessor, und zum Beispiel zumindest eine Speichereinrichtung umfassen, um die Daten, insbesondere technisch, zu verarbeiten, zum Beispiel elektronisch und oder optisch. Ein Computer kann hierbei jede Art von Datenverarbeitungsgerät sein. Ein Prozessor kann ein halbleiterbasierter Prozessor sein. Die Recheneinrichtung kann hierbei die vorhergehend erläuterte Steuereinrichtung sein oder umfassen.
Die Erfindung wird anhand von Ausführungsbeispielen näher erläutert. Die Figuren zeigen:

1 eine schematische Ansicht eines erfindungsgemäßen Mikroskopiesystems in einer ersten Ausführungsform,
2 eine schematische Ansicht eines erfindungsgemäßen Mikroskopiesystems in einer weiteren Ausführungsform,
3 eine schematische Ansicht eines erfindungsgemäßen Mikroskopiesystems in einer weiteren Ausführungsform,
4 eine perspektivische Ansicht eines Targets,
5a-5d eine schematische Draufsicht auf Markerelemente und
6 ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens.

Nachfolgend bezeichnen gleiche Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
In 1 ist ein erfindungsgemäßes Mikroskopiesystem 1 bei einer Anwendung in einem Operationsumfeld dargestellt. Das Mikroskopiesystem 1 umfasst ein Operationsmikroskop 2, welches an einem Stativ 3 zur Halterung des Mikroskops 2 angeordnet ist, insbesondere an einem freien Ende des Stativs 3. Das Stativ 3 ermöglicht eine Bewegung des Mikroskops 2 zur Veränderung der Lage, also der Position und/oder Orientierung des Mikroskops 2. Dargestellt ist ein Referenzkoordinatensystem mit einer Vertikalachse z und einer Längsachse x. Die Vertikalachse z ist hierbei parallel zur Richtung einer Gravitationskraft und entgegengesetzt zu dieser orientiert. Die Längsachse x ist senkrecht zur Vertikalachse z orientiert. Eine nicht dargestellte Querachse des Referenzkoordinatensystem ist hierbei senkrecht zur Längs- und Vertikalachse x, z orientiert, wobei die Achsen x, z ein kartesisches Koordinatensystem bilden.
Das dargestellte Stativ 3 stellt eine exemplarische kinematische Struktur zur Halterung und Bewegung des Mikroskops 2 dar. Dem Fachmann ist selbstverständlich bekannt, dass auch andere kinematische Strukturen verwendet werden können.
Das Stativ 3 umfasst nicht dargestellte Antriebseinrichtungen zur Bewegung des Mikroskops 2. Hierbei können die Antriebseinrichtungen beispielsweise eine Drehbewegung von beweglichen Teilen des Stativs 3 um Drehachsen 4, 5, 6 und eine Drehachse parallel zur Vertikalachse z ermöglichen. Weiter dargestellt ist eine Steuereinrichtung 7, die zur Steuerung der nicht dargestellten Antriebseinrichtungen dient. Mittels der Steuereinrichtung 7 können die Antriebseinrichtungen insbesondere derart angesteuert werden, dass das Mikroskop 2 eine gewünschte Bewegung ausführt, insbesondere im Referenzkoordinatensystem. Beispielsweise ist es möglich, das Mikroskop 2 in eine gewünschte Raumposition mit einer gewünschten Orientierung zu positionieren. Weiter kann die Steuereinrichtung 7 auch zur Einstellung von Betriebs- und/oder Bewegungsparametern des Mikroskops 2 dienen, beispielsweise von einem Zoom des Mikroskops 2. Hierzu kann die Steuereinrichtung 7 signal- und/oder datentechnisch mit dem Mikroskop 2 und/oder mit den Antriebseinrichtungen verbunden sein. Weiter kann die Steuereinrichtung 7 auch zur Einstellung eines gewünschten Betriebsmodus, beispielsweise eines Bewegungsmodus, des Mikroskops 2 dienen.
Das Mikroskopiesystem 1 umfasst weiter eine Lageerfassungseinrichtung zur Erfassung einer Lage eines Instruments 19, welches von einem Benutzer 8 gehalten und bewegt werden kann. Der Benutzer 8 kann beispielsweise ein Chirurg sein. Die Lageerfassungseinrichtung umfasst mindestens ein Target 9 mit mindestens einem Markerelement 22 (siehe z.B. 4) und mindestens eine Bilderfassungseinrichtung 10 zur Erfassung des Targets. Mittels der Lageerfassungseinrichtung kann eine Lage des Targets 9 relativ zur Bilderfassungseinrichtung bestimmt werden, insbesondere in einem Koordinatensystem der Lageerfassungseinrichtung. Hierbei umfasst das Target 9 mindestens ein passives Markerelement 22, vorzugsweise drei passive Markerelemente 22.
In 1 ist dargestellt, dass das Target 9 an dem Instrument 19 befestigt ist. Zur Befestigung dient eine geeignete Halteeinrichtung, z.B. eine Klemmhalteeinrichtung, mit der das Target 9 ortsfest relativ zum Instrument 19 an diesem befestigt ist. Das Instrument 19 kann z.B. als Sauger ausgebildet sein. Das Instrument 19 wird hierbei derart vom Benutzer 8 gehalten, dass das Target 9 i in einem Erfassungsbereich der Bilderfassungseinrichtung 10 angeordnet ist.
Die Lage des Instruments 19 kann mit der Lagerfassungseinrichtung erfasst werden, indem die Lage des Targets 9, insbesondere bildbasiert, bestimmt wird, wobei dann aufgrund der ortsfesten Anordnung des Targets 9 an dem Instrument 19 auch die Lage des Instruments 19 bestimmt werden kann. Eine Relativlage zwischen Target 9 und Instrument 19 kann hierbei vorbekannt sein und z.B. durch eine Registrierung bestimmt werden. Sollen nur Lageänderungen des Kopfes erfasst werden, ist diese Registrierung nicht zwingend notwendig.
Weiter dargestellt ist eine Bilderfassungseinrichtung 10 des Mikroskopiesystems 1, beispielsweise eine CCD-Kamera. Diese Bilderfassungseinrichtung 10 ist in einem Mikroskopkörper 16 des Mikroskops 2 angeordnet. Insbesondere ist die Bilderfassungseinrichtung in einem Gehäuse des Mikroskopkörpers 16 angeordnet. Weiter insbesondere ist die Bilderfassungseinrichtung 10 mechanisch starr an einem Teil des Mikroskops 2 und somit ortsfest relativ zu diesem Teil angeordnet.
Weiter dargestellt ist eine signal- und/oder datentechnische Verbindung 12 zwischen der Bilderfassungseinrichtung 10 und der Steuereinrichtung 7. Mittels der Steuereinrichtung 7 oder mittels einer nicht dargestellten Auswerteeinrichtung, die beispielsweise Teil der Lageerfassungseinrichtung sein kann, kann eine Relativlage zwischen Target 9 und Bilderfassungseinrichtung 10 in einem dreidimensionalen Koordinatensystem der Lageerfassungseinrichtung bestimmt werden. So kann z.B. die Lage des Targets 9 in einem zweidimensionalen Bildkoordinatensystem der Bilderfassungseinrichtung 10 bestimmt werden und in Abhängigkeit dieser Lage dann eine Lage in dem Koordinatensystem der Lageerfassungseinrichtung. Hierbei kann sowohl eine Position als auch eine Orientierung in dem dreidimensionalen Koordinatensystem der Lageerfassungseinrichtung bestimmt werden. Durch die Befestigung des Targets 9 an dem Instrument 19 kann somit auch eine Lage Instruments 19 im Koordinatensystem der Lageerfassungseinrichtung und somit auch im Referenzkoordinatensystem bestimmt werden. Insbesondere kann mittels der Lageerfassungseinrichtung auch eine Lageänderung des Targets 9 und somit auch eine Lageänderung des Instruments 19 erfasst werden.
Zeitlich vor dem Betrieb des Mikroskopiesystems 1 kann das Koordinatensystem der Lageerfassungseinrichtung mit dem dargestellten Referenzkoordinatensystem registriert werden. Mit anderen Worten kann eine Transformationsvorschrift zur Transformation der Lage im Koordinatensystem der Lageerfassungseinrichtung in das Referenzkoordinatensystem bestimmt werden.
Die Erfassung der Lage des Targets 9 kann durch Auswertung genau eines zweidimensionalen Abbilds der Bilderfassungseinrichtung 10 erfolgen.
Weiter ist die dargestellte Steuereinrichtung 7, die beispielsweise einen Mikrocontroller umfassen kann, derart ausgebildet, dass diese die mindestens eine Antriebseinrichtung des Stativs 3 in Abhängigkeit der erfassten Lage des Targets 9 bzw. in Abhängigkeit der erfassten Lageänderung des Targets 9 und somit des Instruments ansteuern kann. Alternativ oder kumulativ kann durch die Steuereinrichtung 7, wie vorhergehend erläutert, mindestens ein Betriebs- und/oder eine Bewegungsparameter des Mikroskops 2 oder ein Betriebsmodus des Mikroskops 2 in Abhängigkeit der erfassten Lage des Targets 9 bzw. in Abhängigkeit der erfassten Lageänderung des Targets 9 und somit des Instruments 19 eingestellt werden.
Weiter dargestellt ist ein Patient 13, der auf einem Operationstisch 14 liegt. Weiter dargestellt ist, dass das Mikroskop 2 ein Okular 15 umfasst, in welches der Benutzer 8 hineinschaut, um durch das Mikroskop 2 einen Teilbereich des Patienten 13 zu betrachten, insbesondere in vergrößernder Art und Weise.
Dargestellt ist auch eine optische Achse 17 des Mikroskops 2. In einer Strahlrichtung entlang dieser optischen Achse vom Patienten 13 zum Mikroskop 2 ist die Bilderfassungseinrichtung 10 hinter einer Glasscheibe 18 des Mikroskops 2 angeordnet, die das Innere des Gehäuses des Mikroskopkörpers 16 gegenüber der äußeren Umgebung abschließt. Somit ist die Glasscheibe 18 zwischen der Bilderfassungseinrichtung 10 und dem zu betrachtenden Patienten 13 angeordnet.
Weiter dargestellt ist eine Ebene E, die einen Halbraum HB begrenzt. Diese Ebene E ist senkrecht zu der optischen Achse 17 des Mikroskops 2 orientiert und verläuft durch einen Schnittpunkt zwischen der optischen Achse 17 und der Glasscheibe 18. Der Halbraum HB ist entlang der optischen Achse 17 hinter dieser Ebene E angeordnet ist, wobei die optische Achse 17 vom Mikroskop 2 hin zu dem Patienten 13 orientiert ist. Der Patient 13 als auch das Target 9 sind in diesem Halbraum HB angeordnet. Dies kann als patientennahe Anordnung des Targets 9 bezeichnet werden.
Es ist möglich, jedoch nicht dargestellt, dass die Bilderfassungseinrichtung 10 auch derart innerhalb des Gehäuses des Mikroskopkörpers 16 angeordnet ist, dass es in der Strahlrichtung hinter eine Linse des Mikroskops 2 angeordnet ist. In diesem Fall ist sowohl die Linse als auch die Glasscheibe 18 zwischen der Bilderfassungseinrichtung 10 und dem zu betrachtenden Patienten 13 angeordnet.
Ein Erfassungsbereich der Bilderfassungseinrichtung 10 zur Lageerfassung überlappt hierbei zumindest teilweise mit einem Erfassungsbereich des Mikroskops zur vergrößerten Darstellung des Patienten oder Körperbereichen des Patienten 13.
Es ist möglich, dass der Benutzer 8 durch die Bewegung des Instruments 19, beispielsweise mit seinen Händen, das Target 9 bewegt und somit dessen Lage ändert. Die Lageänderung kann hierbei durch die Lageerfassungseinrichtung erfasst werden, wobei dann die Steuereinrichtung 7 einen Betrieb des Mikroskopiesystems 1, insbesondere der mindestens einen Antriebseinrichtung und/oder des Mikroskops 2, in Abhängigkeit der erfassten Lage des Targets 9 steuert. Insbesondere kann die Bewegung des Mikroskops 2 der Bewegung des Instruments 19 nachgeführt werden.
2 zeigt eine schematische Darstellung eines erfindungsgemäßen Mikroskopiesystems 1 in einer weiteren Ausführungsform. Das in 2 dargestellte Mikroskopiesystem 1 ist hierbei im Wesentlichen wie das in 1 dargestellte Mikroskopiesystem 1 ausgebildet, wodurch auf die Erläuterungen zu 1 verwiesen werden kann. Im Unterschied zu der in 1 dargestellten Ausführungsform ist die Bilderfassungseinrichtung 10 an und somit nicht im Gehäuse des Mikroskopkörpers 16 angeordnet. Mit anderen Worten ist die Bilderfassungseinrichtung 10 außerhalb des Gehäuses angeordnet. Insbesondere ist keine Glasscheibe 18 (siehe 1) und/oder kein optische Element des Mikroskops 2 zwischen der Bilderfassungseinrichtung 10 und dem zu betrachtenden Patienten 13 angeordnet.
Hierbei ist die Bilderfassungseinrichtung 10 derart am Mikroskop 2 angeordnet, dass der Bilderfassungsbereich sich zumindest teilweise oder vollständig mit dem Bilderfassungsbereich des Mikroskops 2 zur vergrößerten Darstellung überlappt.
3 zeigt eine schematische Ansicht eines erfindungsgemäßen Mikroskopiesystems 1 in einer weiteren Ausführungsform. Diese Ausführungsform ist im Wesentlichen wie die in 1 dargestellte Ausführungsform ausgebildet, wodurch auf die entsprechende Erläuterung zu 1 verwiesen werden kann. Im Unterschied zu der in 1 dargestellten Ausführungsform umfasst das Mikroskopiesystem 1 eine Beleuchtungseinrichtung 20. Die Beleuchtungseinrichtung 20 kann insbesondere eine Beleuchtungseinrichtung 20 sein, die Licht mit einer Wellenlänge außerhalb des sichtbaren Bereichs, insbesondere im Infrarotwellenlängenbereich, erzeugt. Ein Beleuchtungsbereich der Beleuchtungseinrichtung 20 kann sich hierbei mit einem Bilderfassungsbereich der Bilderfassungseinrichtung 10 zumindest teilweise überlappen. Somit kann ein im Bilderfassungsbereich angeordnetes Target 9 auch durch die Beleuchtungseinrichtung 20 beleuchtet werden.
In 4 ist perspektivisch ein Target 9 mit drei Markerelementen 22 dargestellt. Hierbei ist dargestellt, dass die Markerelemente 22 auf einem Trägerkörper 23 angeordnet sind. Insbesondere sind die Markerelemente 22 nicht kollinear angeordnet. Die Markerelemente 22 sind hierbei kreisförmig ausgebildet bzw. weisen eine kreisförmige innere Markerfläche sowie ein geometrisches Zentrum dieser Markerfläche auf.
Die innere Markerfläche weist variierende Farb- oder Grauwerte auf. Insbesondere ist diese gefüllt mit Farbspektrumspunkten, die radial mit Bezug auf das geometrische Zentrum verteilt sind. Ein Farb- oder Grauwert von jedem Farbspektrumspunkt der Markerfläche ist in Abhängigkeit eines Winkels zwischen einer horizontalen Linie durch das geometrische Zentrum und einer weiteren Linie durch das geometrische Zentrum und den entsprechenden Farbspektrumspunkt festgelegt und somit bestimmbar.
Die 5a, 5b, 5c, 5d zeigen verschiedene Ausführungsformen von Markerelementen 22, nämlich ein erstes Markerelement 22a, ein zweites Markerelement 22b, ein drittes Markerelement 22c und ein viertes Markerelement 22d. Diese Markerelemente 22a,..., 22d weisen jeweils voneinander verschiedene Farb- oder Grauwertverteilungen auf. Dies ermöglicht in vorteilhafter Weise, dass einem Markerelement 22, 22a, ..., 22d eine Identität, insbesondere eine eindeutige Identität, zugeordnet werden kann, die bildbasiert, also durch Auswertung des von der Bilderfassungseinrichtung 10 erzeugten Abbilds, identifizierbar ist.
Es ist dann weiter möglich, das in 1 dargestellte Mikroskopiesystem 1 in Abhängigkeit der identifizierten Identität des Markerelements 22, 22a, ..., 22d zu steuern. Beispielsweise können durch die Steuereinrichtung 7 Betriebs- und/oder Bewegungsparameter des Mikroskops 2 und/oder ein Betriebsmodus des Mikroskops 2 eingestellt werden, die/der einem identifizierten Markerelement 22a,..., 22d zugeordnet sind/ist. Hierbei können verschiedenen Markerelementen 22a,..., 22d verschiedene Parameterwerte zugeordnet sein.
6 zeigt ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer ersten Ausführungsform. In einem ersten Schritt S1 wird eine Lage mindestens eines Targets 9 (siehe z.B. 1) relativ zu mindestens einer Bilderfassungseinrichtung 10 des in 1 dargestellten Mikroskopiesystems 1 erfasst. Es ist möglich, dass hierbei auch eine Lageänderung erfasst wird. In Abhängigkeit dieser Lage kann dann eine räumliche Lage eines an einem Körperteil oder an einem Instrument 19 befestigten Targets 9 bestimmt. Es ist möglich, dass das Target 9 auch an dem Patienten 13 oder an dem Operationstisch 14 befestigt wird. In diesem Fall kann in Abhängigkeit der Lage des Targets 9 eine räumliche Lage des Patienten 13 oder des Operationstischs 14 bestimmt werden.
Die räumliche Lage kann hierbei in einem Referenzkoordinatensystem (siehe Erläuterungen zu 1) bestimmt werden. In einem zweiten Schritt S2 kann dann ein Betrieb der Mikroskopieeinrichtung 1 in Abhängigkeit der derart bestimmten Lage gesteuert werden. Dies wurde vorhergehend erläutert.
Insbesondere kann eine Bewegung des Mikroskops 2 lagebasiert gesteuert werden, insbesondere derart, dass eine optische Achse 17 des Mikroskops 2 in einer gewünschten Orientierung ausgerichtet wird.
Alternativ oder kumulativ können Betriebsparameter des Mikroskops, beispielsweise ein Zoom und/oder ein Fokus, in Abhängigkeit der erfassten Lage, insbesondere der erfassten Lageänderung, und/oder ein Betriebsmodus des Mikroskops 2 eingestellt werden.
In einem Parametereinstellmodus kann z.B. Abhängigkeit der erfassten Relativlage ein Zoom des Mikroskops 2 eingestellt werden. In einem Bewegungssteuerungsmodus kann eine Antriebseinrichtung eines Stativs 3 des Mikroskopiesystems 1 derart angesteuert, dass das Mikroskop 2 mit einer gewünschten Bewegung gesteuert wird. Insbesondere kann eine Lageänderung des Targets 9 bestimmt werden, wobei dann die Antriebseinrichtung derart angesteuert werden kann, dass das Mikroskop 2 die gleiche Lageänderung ausführt (Lageverfolgungsmodus).
Weiter kann auch ein Betrieb einer Beleuchtungseinrichtung 20 (siehe 3), beispielsweise eine Intensität der erzeugten Strahlung, und/oder ein Betrieb der Bilderfassungseinrichtung 10 gesteuert werden. So ist es möglich, dass ein Abstand zwischen Target 9 und Bilderfassungseinrichtung 10 in dem zweiten Schritt S2 bestimmt wird, wobei eine Intensität der Beleuchtung durch die Beleuchtungseinrichtung 10 und/oder ein Arbeitsabstand der Bilderfassungseinrichtung 10 in Abhängigkeit des Abstands verändert wird.
Weiter ist es möglich, dass im zweiten Schritt S2 eine Identität eines Markerelements identifiziert wird, wobei dann der Betrieb des Mikroskopiesystems 1, insbesondere auch die Bewegung, in Abhängigkeit der identifizierten Identität gesteuert wird.
7 zeigt ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens in einer weiteren Ausführungsform. Hierbei wird in einem Initialschritt S0, der zeitlich vor dem ersten Schritt S1 ausgeführt wird, eine lagebasierte Steuerung des Mikroskopiesystems 1 aktiviert. Dies kann beispielsweise durch Betätigung eines Aktivierungsmittels, beispielsweise eines Fußschalters, erfolgen.
Es ist möglich, dass das in 1 dargestellte Mikroskopiesystem 1 hierzu ein nicht dargestelltes Aktivierungsmittel zur Aktivierung der lagebasierten Steuerung des Mikroskopiesystems 1 und/oder ein Mittel zur Aktivierung eines gewünschten Betriebsmodus umfasst.
Insbesondere in diesem Fall kann zeitlich vor oder in dem zweiten Schritt S2 ausgewertet werden, welcher Betriebsmodus aktiviert ist. Weiter kann ausgewertet werden, ob und welcher Betriebsmodus aktiviert ist. In Abhängigkeit des aktivierten Betriebsmodus können dann weitere Schritte des Verfahrens durchgeführt werden. Insbesondere wird im zweiten Schritt S2 eine Bewegungssteuerung nur dann durchgeführt, falls sich das Mikroskopiesystem 1 in einem lagebasiert steuerbaren Bewegungsmodus befindet.
Die Aktivierung der lagebasierten Steuerung oder eines gewünschten Betriebsmodus kann beispielsweise durch Betätigen eines Schalters, beispielsweise eines Fußschalters, durch den Benutzer 8 erfolgen, durch Auswertung einer Lage oder einer Lageänderung und/oder durch Identifizierung eines Markerelements 22.
Weiter kann im Initialschritt S0 eine Anzahl und/oder eine Art der für eine Bewegung des Mikroskops 2 freigegebenen Freiheitsgrade festgelegt werden.
Bezüglich des ersten und des zweiten Schritts S1, S2 kann auf die Erläuterungen zu 6 verwiesen werden. Soll keine lagebasierte Steuerung des Mikroskopiesystems 1 mehr erfolgen, so kann in einem dritten Schritt S3 die lagebasierte Steuerung des Mikroskopiesystems 1 deaktiviert werden, beispielsweise durch die Betätigung eines entsprechenden Deaktivierungsmittels. Das Deaktivierungsmittel kann hierbei gleich dem Aktivierungsmittel sein.
Es ist möglich, dass die Lageerfassung in Abhängigkeit einer Sequenz von mindestens zwei, vorzugsweise drei, zeitlich nacheinander durch die Bilderfassungseinrichtung 10 (siehe 1) erzeugten Abbildern durchgeführt wird. Hierzu kann im ersten Schritt S1 in einem ersten Teilschritt ein erstes Abbild, in einem zeitlich nachfolgenden zweiten Teilschritt ein zweites Abbild und in einem zeitlich nachfolgenden dritten Teilschritt ein drittes Abbild erzeugt werden. Diese Abbilder können mit voneinander verschiedenen Abbildungsparametern oder Betriebsparametern der Bilderfassungseinrichtung 10, beispielsweise mit verschiedenen Blenden, erzeugt werden.
Bezugszeichenliste

1: Mikroskopiesystem
2: Mikroskop
3: Stativ
4: Drehachse
5: Drehachse
6: Drehachse
7: Steuereinrichtung
8: Benutzer
9: Target
10: Bilderfassungseinrichtung
12: signal- und/oder datentechnische Verbindung
13: Patient
14: Operationstisch
15: Okular
16: Mikroskopkörper
17: optische Achse
18: Glasscheibe
19: Instrument
20: Beleuchtungseinrichtung
22: Markerelement
22a: Markerelement
22b: Markerelement
22c: Markerelement
22d: Markerelement
23: Trägereinrichtung
S0: Initialschritt
S1: erster Schritt
S2: zweiter Schritt
S3: dritter Schritt
E: Ebene
HB: Halbraum

Claims

Mikroskopiesystem, umfassend: - ein Mikroskop (2), - ein Stativ (3) zur Halterung des Mikroskops (2), wobei das Stativ (3) mindestens eine Antriebseinrichtung zur Bewegung des Mikroskops (2) umfasst, - mindestens eine Lageerfassungseinrichtung zur Erfassung einer räumlichen Lage eines Targets (9), wobei die Lagererfassungseinrichtung das mindestens eine Target (9) mit mindestens einem Markerelement (22, 22a, ..., 22d) und eine Bilderfassungseinrichtung (10) zur optischen Erfassung des Targets (9) umfasst, - mindestens eine Steuereinrichtung (7) zur Steuerung des Betriebs des Mikroskopiesystems (1) in Abhängigkeit der erfassten Lage des Targets (9), wobei die Lagererfassungseinrichtung ausgebildet ist, die Lage des Targets (9) durch Auswertung eines von der Bilderfassungseinrichtung (10) der Lageerfassungseinrichtung erzeugten zweidimensionalen Abbilds zu bestimmen, wobei einem Markerelement (22, 22a, ..., 22d) eine Identität zugeordnet ist, wobei diese Identität bildbasiert identifizierbar ist, dadurch gekennzeichnet, dass ein Betrieb des Mikroskopiesystems (1) in Abhängigkeit der identifizierten Identität steuerbar ist, wobei in Abhängigkeit der Identität ein vorbestimmter Betriebsmodus aktiviert wird.
Mikroskopiesystem nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung (7) eine Steuereinrichtung (7) zur Steuerung der mindestens einen Antriebseinrichtung in Abhängigkeit der erfassten Lage des Targets (9) und/oder eine Steuereinrichtung zur Einstellung mindestens eines Betriebs- und/oder Bewegungsparameters und/oder eines Betriebsmodus des Mikroskops (2) ist.
Mikroskopiesystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (10) der Lageerfassungseinrichtung derart im oder am Mikroskop (2) angeordnet ist, dass durch die Bilderfassungseinrichtung (10) erfasste Strahlen durch mindestens ein optisches Element des Mikroskops (2) verlaufen.
Mikroskopiesystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (10) der Lageerfassungseinrichtung derart im oder am Mikroskop (2) angeordnet ist, dass durch die Bilderfassungseinrichtung (10) erfasste Strahlen nicht durch mindestens ein optisches Element des Mikroskops (2) verlaufen.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein transparentes Element des Mikroskops (2) zwischen der Bilderfassungseinrichtung (10) der Lageerfassungseinrichtung und dem abzubildenden Erfassungsbereich angeordnet ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Lageerfassung in Abhängigkeit einer Sequenz von mindestens zwei Abbildern durchführbar ist.
Mikroskopiesystem nach Anspruch 6, dadurch gekennzeichnet, dass die Sequenz in einem HDR-Verfahren erzeugbar ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Markerelement (22, 22a, ..., 22d) einen elliptischen Markerkörper oder eine elliptische Markerfläche und ein geometrisches Zentrum dieses Markerkörpers oder dieser Markerfläche aufweist, wobei der Markerkörper oder die Markerfläche mit Farbspektrumspunkten gefüllt ist, die radial mit Bezug auf das geometrische Zentrum verteilt sind, wobei ein Farbwert von jedem Farbspektrumspunkt des Markerkörpers/der Markerfläche in Abhängigkeit eines Winkels zwischen einer horizontalen Linie durch das geometrische Zentrum und einer weiteren Linie durch das geometrische Zentrum und den entsprechenden Farbspektrumspunkt bestimmt ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die lagebasierte Steuerung in Echtzeit durchführbar ist, wobei ein von der erfassten Lage abhängiges Steuersignal zur Steuerung des Betriebs in einem Zeitraum von weniger als 100 ms nach der Erfassung der Lage des Targets (9) erzeugt wird oder ein durch ein solches Steuersignal bedingter Prozess in einem Zeitraum von weniger als 100 ms nach der Erfassung der Lage des Targets (9) durchgeführt wird oder beendet ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Mikroskopiesystem (1) eine Beleuchtungseinrichtung (20) zur Beleuchtung des Targets umfasst.
Mikroskopiesystem nach Anspruch 10, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (20) Licht mit einer Wellenlänge außerhalb des sichtbaren Bereichs, insbesondere im Infrarotwellenlängenbereich, erzeugt.
Mikroskopiesystem nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Intensität der Beleuchtung und/oder ein Arbeitsabstand und/oder eine Belichtungszeit der Bilderfassungseinrichtung (10) in Abhängigkeit des Abstands des Targets (9) von der Bilderfassungseinrichtung (10) einstellbar ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Mikroskopiesystem (1) mindestens ein Mittel zur Filterung der durch die Bilderfassungseinrichtung (10) erfassten Strahlung umfasst und/oder dass die Bilderfassungseinrichtung (10) nur Strahlung einer bestimmten Wellenlänge oder eines Wellenlängenbereichs, insbesondere des Infrarotwellenlängenbereichs, erfasst und/oder dass die Bilderfassungseinrichtung (10) eine Monochrom-Bilderfassungseinrichtung ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Mikroskopiesystem (1) ein Mittel zur Aktivierung einer lagebasierten Steuerung des Mikroskopiesystems umfasst.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (10) eine Weitwinkelkamera ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Steuerung oder Regelung der Bewegung des Mikroskops (2) in Abhängigkeit mindestens eines Betriebsparameters des Mikroskops (2) und/oder mindestens eines Betriebsparameters der Bilderfassungseinrichtung (10) der Lageerfassungseinrichtung erfolgt.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Anzahl und/oder eine Art der freigegebenen Freiheitsgrade der Bewegung des Mikroskops (2) einstellbar ist.
Mikroskopiesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Größe eines Arbeitsraums des Mikroskopiesystems (1) und/oder eine zulässige Maximalgeschwindigkeit der Bewegung einstellbar ist.
Verfahren zum Betrieb eines Mikroskopiesystems (1) nach einem der Ansprüche 1 bis 18, wobei eine Lage des mindestens einen Targets (9) relativ zu der mindestens einen Bilderfassungseinrichtung (10) der Lageerfassungseinrichtung bestimmt wird, wobei ein Betrieb des Mikroskopiesystems (1) in Abhängigkeit der bestimmten Lage gesteuert wird, wobei einem Markerelement (22, 22a, ..., 22d) eine Identität zugeordnet ist, wobei diese Identität bildbasiert identifiziert wird, wobei ein Betrieb des Mikroskopiesystems (1) in Abhängigkeit der identifizierten Identität gesteuert wird, wobei in Abhängigkeit der Identität ein vorbestimmter Betriebsmodus aktiviert wird.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass in einem Bedienmodus eine grafische Benutzerschnittstelle des Mikroskopiesystems (1) in Abhängigkeit der Lage des Targets (9) bedient wird.