DE102022112158A1

DE102022112158A1 - Verfahren zum Erstellen eines Kameramodells für eine Kamera eines Operationsmikroskops und Anordnung mit einem Operationsmikroskop

Info

Publication number: DE102022112158A1
Application number: DE102022112158.5A
Authority: DE
Inventors: Richard Bäumer
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2021-05-17
Filing date: 2022-05-16
Publication date: 2022-11-17
Also published as: US20220368884A1

Abstract

Es wird ein Verfahren zum Erstellen eines Kameramodells für eine Kamera 103 eines Operationsmikroskops 100 vorgeschlagen. Das Verfahren weist die folgenden Schritte auf: S1: Positionieren eines Kalibrierobjekts 300 in einer Initialpose P0 in einem Beobachtungsbereich 302 einer Kamera 103 des Operationsmikroskops100, S2: Ermitteln eines Posendeltas deltaP zum Erreichen einer ersten Pose P1 für das Kalibrierobjekt 300 in einem Messraum 301 der Kamera 103 ausgehend von der Initialpose P0, S3: Positionieren des Kalibrierobjekts 300 in der ersten Pose P1 entsprechend dem ermittelten Posendeltas deltaP, S4: Anfertigen einer Aufnahme des Kalibrierobjekts 300 in der ersten Pose P1 mittels der Kamera 103, S5: Positionieren des Kalibrierobjekts 300 in mindestens einer weiteren Pose P2, P3, ..., PN im Messraum 301 der Kamera 103, S6: Anfertigen einer Aufnahme des Kalibrierobjekts 300 in der mindestens einen weiteren Pose P2, P3, ..., PN mittels der Kamera 103 und S7: Erstellen eines Kameramodells basierend auf den angefertigten Aufnahmen, wobei die erste Pose P1 und die mindestens eine weitere Pose P2, P3, ..., PN derart verteilt im Messraum 301 ausgewählt werden, dass ein bezogen auf den gesamten Messraum 301 repräsentatives Kameramodell erhalten wird.

Description

Die Erfindung betrifft ein Verfahren zum Erstellen eines Kameramodells für eine Kamera eines Operationsmikroskops, ein Verfahren zum Schätzen einer Pose eines Objekts in einem Messraum einer Kamera eines Operationsmikroskops, ein Verfahren zum Überprüfen eines Kameramodells, eine Anordnung mit einem Operationsmikroskop, ein Computerprogramm sowie ein computerlesbares Medium.
Operationsmikroskope kommen in verschiedenen medizinischen Disziplinen, wie z. B. der Ophthalmo-, Dental- oder Neurochirurgie, zum Einsatz. Aufgrund der steigenden Komplexität von Operationsmikroskopen besteht ein zunehmender Bedarf an Test-, Justage- und Kalibrierverfahren, um die Funktionsfähigkeit zu prüfen und ggf. Veränderungen oder spezifische Einstellungen vornehmen zu können. Diese Verfahren, die nachfolgend insgesamt mit dem Begriff Kalibrierverfahren bezeichnet werden, können während des bestimmungsgemäßen Gebrauchs des Operationsmikroskops, aber auch im Rahmen der Fertigung sowie Wartung und Instandhaltung durchgeführt werden.
Zu den Kalibrierverfahren im o. g. Sinne können u. a. zählen: Dioptrieeinstellung am Okular, Überprüfen und Einstellen der X, Y, Z-Stellung von Kameras und anderen optischen Komponenten, Überprüfen und Einstellen intrinsischer Kameraparameter, zeitliche Kalibrierung von Kameras, Überprüfen und Einstellen von Zoom und Autofokus, Feststellen der absoluten Fluoreszenzintensität, Überprüfen und Einstellen der Kinematik des Stativs zur Verbesserung der absoluten Positioniergenauigkeit.
Beispielsweise wird die Genauigkeit von Posenschätzungen maßgeblich von der intrinsischen Kalibrierung der Kamera beeinflusst. Bei der intrinsischen Kalibrierung werden wichtige Parameter, z. B. die Lage des Kamerachips zur optischen Achse des Kamerasystems und Verzeichnungskoeffizienten, anhand von Aufnahmen eines Kalibrierobjekt, auch als Kalibrierstandard, Kalibriertarget oder Marker bezeichnet, ermittelt. Die Güte der Parameterermittlung, d. h. das Maß für die Abweichung des ermittelten vom tatsächlichen Parameter, ist u. a. davon abhängig, aus welcher Pose die Aufnahmen aufgezeichnet werden.
Für das Überprüfen und Einstellen der Umfeldkamera für die Nachverfolgung von Instrumenten wird das nachzuverfolgende (handgehaltene) chirurgische Instrument mit einem zweidimensionalen (2D) Kalibrierobjekt versehen. Das Kalibrierobjekt wird durch eine am Mikroskop angebrachte Kamera gefilmt und seine Lage im Operationsfeld berechnet. Mittels entsprechender Ansteuerung des motorischen Stativs des Mikroskops kann die optische Achse des Mikroskops der Spitze des chirurgischen Instruments nachgeführt werden.
Um dies zu ermöglichen ist die intrinsische Kalibrierung der Umfeldkamera erforderlich. Die intrinsischen Parameter dienen der Wiederherstellung des Zusammenhangs zwischen dem Kamera- und dem Bildkoordinatensystem. Außerdem können die Verzeichnungskoeffizienten der Optik bestimmt werden.
Eine weitere Voraussetzung für die Nachverfolgung von Instrumenten ist die Kalibrierung zwischen dem Koordinatenursprung der Umfeldkamera und einem physischen Punkt am Mikroskop, da die in der Umfeldkamera erkannte Bewegung des Instruments im Koordinatensystem des Mikroskops durchgeführt werden muss. Aufgrund dessen, dass der Koordinatenursprung der Umfeldkamera keinem physischen Punkt an der Umfeldkamera entspricht, kann dies nicht geometrisch vermessen werden. Es sind daher Verfahren wie die Hand-Auge-Kalibrierung zur Durchführung dieser Kalibrierung notwendig.
Zum Überprüfen und Einstellen interner Kameras, z. B. zur topographischen Rekonstruktion der Oberfläche des Situs mittels mindestens zweier Kameras eines stereoskopischen Mikroskops oder für erweiterte Darstellungen (Augmentierung), sind eine intrinsische Kalibrierung (siehe vorstehende Erläuterung) sowie eine extrinsische Kalibrierung erforderlich. Bei der extrinsischen Kalibrierung wird die räumliche Anordnung der Kameras, also deren Rotation und Translation, zueinander ermittelt. Da bei einem Operationsmikroskop die Kameras im optischen Pfad hinter einem beweglichen Linsensystem für Zoom und Fokus angeordnet sind, liegt eine besondere Herausforderung darin, die Kalibrierung für beliebige Zoom- und Fokuswerte durchzuführen und Toleranzen in den Motoren, die die Linsen für Zoom und Fokus bewegen, auszugleichen. Eine genaue Kalibrierung ist auch erforderlich, wenn Bilddaten einer Kamera auf Bilddaten einer anderen Kamera überlagert bzw. augmentiert werden sollen.
Die Qualität der Ergebnisse einiger Anwendungen ist von der absoluten Positioniergenauigkeit des Stativs des Mikroskops abhängig. Beispiele hierfür sind die Pivotierung des Mikroskops um den Fokuspunkt oder die Offline-Positionierung zu bestimmten Posen im Raum, z. B. beim Tool-Tracking. Die absolute Positioniergenauigkeit des Stativs ist wiederum abhängig von der exakten Kenntnis der kinematischen Parameter des Stativs, die aufgrund von üblichen Montage- und Fertigungstoleranzen von den nominellen Werten abweichen können.
Die Stativkinematik kann z. B. kalibriert werden, indem ein oder mehrere definierte Punkte im Raum mit verschiedenen Orientierungen des Stativs angefahren werden. Am konkreten Beispiel eines Operationsmikroskops kann dies realisiert werden, indem die Optik des Operationsmikroskops zu einem Kalibrierobjekt ausgerichtet wird. Zusammen mit der Kamerakalibrierung kann dann die tatsächliche Pose und Orientierung des Operationsmikroskops relativ zum Kalibrierobjekt bestimmt werden. In Kenntnis der Tatsache, dass das Kalibrierobjekt bei allen Posen an der gleichen Stellen angeordnet ist, stellt die Abweichung der tatsächlichen von der nominellen Pose des Operationsmikroskops die zu minimierende Größe des Kalibrieralgorithmus dar. Um einen größeren Arbeitsbereich kalibrieren zu können, können auch mehrere Kalibrierobjekte mit fester und bekannter Pose zueinander verwendet werden.
Die aus dem Stand der Technik bekannten Kalibriermethoden beruhen auf zufälligen Aufnahmen des Kalibrierobjekts, mit denen mehr oder weniger erfolgreich versucht wird, den Messraum der Kamera abzubilden. Hierfür wird ein Kalibrierobjekt in dem mit der Kamera beobachtbaren Volumen unabhängig von der Größe und Position des Messraums angeordnet. Dies führt dazu, dass ein auf solchen Aufnahmen basierendes Kameramodell den gesamten Messraum nicht reproduzierbar abbildet. Es kommt zu Ungenauigkeiten in den unterrepräsentierten Bereichen des Messraums. Zudem erlauben die derzeit vorhandenen Methoden keine automatisierte Kalibrierung eines Operationsmikroskops im Einsatzbereich.
Lediglich aus der nachveröffentlichen deutschen Patentanmeldung der Anmelderin der vorliegenden Anmeldung mit dem Aktenzeichen 10 2019 131 646.4 , Anmeldetag: 22.11.2019 ist bekannt, für Kalibrierungen Aufnahmen aus unterschiedlichen Betrachtungswinkeln und/oder verschiedenen Entfernungen anzufertigen. Dieser Vorgang kann automatisiert erfolgen, indem z. B. ein robotisches Stativ zur Ausrichtung der optischen Beobachtungseinheit genutzt wird.
Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung, ein Verfahren anzugeben, mit dem ein Kameramodell für eine Kamera eines Operationsmikroskops erstellt werden kann, das eine hohe Genauigkeit im gesamten Messraum aufweist. Weitere Aufgaben der vorliegenden Erfindung sind das Angeben eines Verfahrens zum Schätzen einer Pose eines Objekts in einem Messraum einer Kamera eines Operationsmikroskops, eines Verfahrens zum Überprüfen eines Kameramodells, einer Anordnung sowie eines Computerprogramms.
Gelöst werden diese Aufgaben durch die Gegenstände der unabhängigen Ansprüche. Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erstellen eines Kameramodells für eine Kamera eines Operationsmikroskops. Das Verfahren weist die folgenden Verfahrensschritte auf: Positionieren eines Kalibrierobjekts in einer Initialpose in einem Beobachtungsbereich einer Kamera des Operationsmikroskops, Ermitteln eines Posendeltas zum Erreichen einer ersten Pose für das Kalibrierobjekt in einem Messraum der Kamera ausgehend von der Initialpose, Positionieren des Kalibrierobjekts in der ersten Pose entsprechend dem ermittelten Posendelta, Anfertigen einer Aufnahme des Kalibrierobjekts in der ersten Pose mittels der Kamera, Positionieren des Kalibrierobjekts in mindestens einer weiteren Pose im Messraum der Kamera, Anfertigen einer Aufnahme des Kalibrierobjekts in der mindestens einen weiteren Pose mittels der Kamera und Erstellen eines Kameramodells basierend auf den angefertigten Aufnahmen. Hierbei werden die erste Pose und die mindestens eine weitere Pose derart verteilt im Messraum ausgewählt, dass ein bezogen auf den gesamten Messraum repräsentatives Kameramodell erhalten wird.
Das Verfahren kann computerimplementiert durchgeführt werden, d. h. mindestens ein Verfahrensschritt kann unter Verwendung eines Computerprogramms ausgeführt werden.
Ein Kameramodell ist dann bezogen auf den gesamten Messraum repräsentativ, wenn mit Hilfe dieses Modells eine Posenschätzung eines Objektes, dessen Geometrie und tatsächliche Pose bekannt sind, so durchgeführt werden kann, dass der Fehler der Posenschätzung, also die Abweichung der geschätzten Pose von der tatsächlichen Pose, im geforderten Messraum unterhalb eines Zielgrenzwertes liegt, also eine vorgebbare Güte des Kameramodells erreicht wird. Sollte ein Fehler in der Posenschätzung vorliegen, so ist dieser vorzugsweise im gesamten Messraum gleich groß.
In einer typischen Ausgestaltung weist das Operationsmikroskop ein oder mehrere Kameras mit zugehörigen Stativen auf. Mittels der Kameras können Foto- oder Filmaufnahmen eines Beobachtungsobjekts oder Beobachtungsbereichs, z. B. des Situs, generiert werden. Hierzu weist die Kamera einen Bildsensor bzw. Bildchip und ein Objektiv auf. Bei der Kamera kann es sich um eine Umfeldkamera, beispielsweise um eine Umfeldkamera mit fester Fokusweite und ohne Zoomsystem, oder eine Mikroskopkamera handeln.
Unter einer Umfeldkamera kann eine Kamera verstanden werden, deren Messraum die Umgebung des Operationsorts abbildet und beispielsweise für das Tool-Tracking genutzt werden kann. Unter einer Mikroskopkamera kann eine Kamera verstanden werden, die den unmittelbaren Operationsort abbildet, insbesondere vergrößert abbildet. Die Mikroskopkamera kann auch als Hauptbeobachter bezeichnet sein oder werden. Üblicherweise weist der Messraum der Mikroskopkamera ein geringeres Volumen als der Messraum der Umfeldkamera auf. Beispielsweise kann der Durchmesser eines zylinderförmigen Messraums der Mikroskopkamera kleiner als der Durchmesser eines zylinderförmigen Messraums der Umfeldkamera sein.
Folglich kann das vorgeschlagene Verfahren zum Erstellen eines Kameramodells einer Umfeldkamera oder eine Mikroskopkamera genutzt werden. Optional kann das vorgeschlagene Verfahren zum Erstellen eines Kameramodells sowohl für die Umfeldkamera als auch die Mikroskopkamera genutzt werden. Für letztere Variante kann zunächst ein Kameramodell für die Umfeldkamera gemäß dem vorgeschlagenen Verfahren und anschließend ein Kameramodell für die Mikroskopkamera gemäß dem vorgeschlagenen Verfahren erstellt werden, wobei die Reihenfolge auch umgekehrt gewählt werden kann. Darüber hinaus besteht die Möglichkeit, zunächst für eine der beiden Kameras, d. h. die Umfeldkamera oder die Mikroskopkamera, ein Kameramodell gemäß dem vorgeschlagenen Verfahren zu erstellen und basierend auf diesem zuerst erstellten Kameramodell ein Kameramodell für die jeweils andere der beiden Kameras zu erstellen, in dem eine geometrische Transformation des Koordinatensystems der einen Kamera in das Koordinatensystem der anderen Kamera vorgenommen wird.
Ein Stativ dient dem Positionieren, Ausrichten und Halten einer Kamera. Hierfür kann die Kamera mittels einer Aufhängung mit dem Stativ verbunden werden. Zum Erfüllen dieser Aufgabe soll einerseits die von dem Stativ gehaltene Kamera möglichst widerstandsfrei positioniert werden können.
Andererseits soll die einmal positionierte Kamera sicher in ihrer Position gehalten werden können. Daneben kann das Stativ weitere Aufgaben erfüllen, z. B. eine Nachverfolgung von Instrumenten ermöglichen, indem die Kamera mittels des Stativs gezielt bewegt wird.
Um diese Aufgaben erfüllen zu können, weist das Stativ mehrere fest oder gelenkig miteinander verbundene Stativglieder auf, z. B. eine höhenverstellbare Stativsäule, einen Tragarm, einen Federarm und eine Aufhängung für die optische Beobachtungseinheit. Zudem kann ein Stativfuß vorgesehen sein, an dessen Unterseite Einrichtungen, z. B. Rollen, zum Verfahren des Stativs angebracht sein können. Die konkrete Ausgestaltung des Stativs ist u. a. abhängig von den Abmessungen der Kamera, der gewünschten Anwendung, z. B. während einer Operation, und dem zur Verfügung stehenden Platzangebot am Aufstellort.
Das Stativ kann motorisch betrieben ausgebildet sein, so dass eine Positionierung und Ausrichtung der Kamera durch entsprechende Steuerung der Motoren des Stativs ermöglicht werden kann. Zu diesem Zweck kann das Stativ mit einer Steuerungseinheit signalübertragend verbunden sein.
Mittels Bewegung des Stativs kann die Kamera folglich ebenfalls bewegt werden, so dass verschiedene Beobachtungspositionen eingenommen werden können.
Optional kann das Operationsmikroskop eine Steuereinheit aufweisen, die dazu eingerichtet und ausgebildet ist, Steuersignale an das Stativ und/oder die Kamera auszugeben, beispielsweise zur Durchführung des vorgeschlagenen Verfahrens zum Erstellen eines Kameramodells oder des nachfolgend beschriebenen Verfahrens zum Kalibrieren eines Operationsmikroskops.
Hierfür kann die Steuereinheit in einer signaltechnischen Wirkverbindung mit Motoren des Stativs und/oder Einstelleinrichtungen der Kamera stehen, sodass Steuersignale ausgegeben werden können, die eine bestimmte Positionierung des Stativs und der Kamera bewirken.
Die Ausgabe der Steuersignale kann beispielsweise als Folge einer Eingabe mittels einer mit der Steuereinheit verbundenen Eingabeeinheit erfolgen, z. B. falls ein Nutzer eines der genannten Verfahren manuell durch eine entsprechende Eingabe initiiert. Alternativ können die Steuersignale als Antwort auf das Vorhandensein anderer Trigger ausgegeben werden, z. B. Ablauf einer vorgebbaren Zeitdauer, Ablauf einer vorgebbaren Nutzdauer des Operationsmikroskops, Änderung des Standorts des Operationsmikroskops, zu große Abweichung eines Ist-Werts von einem Soll-Wert etc.
Die Steuereinheit ermöglicht eine teil- oder vollautomatisierte Durchführung der genannten Verfahren, so dass diese mit geringem zeitlichen und personellen Aufwand, z. B. auch ohne Anwesenheit des Nutzers, durchgeführt werden kann. So können Kalibrierverfahren auch außerhalb des Nutzungszeitraums des Operationsmikroskops, z. B. nachts oder am Wochenende, durchgeführt werden. Zudem wird durch die Automatisierung die Anzahl an Fehlerquellen verringert, da ein Nutzereingriff nicht oder nur noch in geringem Umfang erforderlich ist. Die Zuverlässigkeit und Reproduzierbarkeit der mit dem Operationsmikroskop erhältlichen Messergebnisse kann dadurch erhöht werden.
Ein Kalibrierobjekt weist im Zusammenhang mit der vorliegenden Erfindung mindestens eine, vorzugsweise einer Vielzahl von charakteristischen Markierungen, z. B. Eckpunkte eines Schachbrettmusters, auf, deren Eigenschaften, z. B. Größe, Abstand und Ausrichtung genau bekannt sind. Das Kalibrierobjekt kann beispielsweise als zweidimensionales Kalibriermuster oder dreidimensionaler Kalibrierkörper ausgebildet sein.
Ein zweidimensionales Kalibriermuster kann beispielsweise als Schachbrettmuster, Punktemuster, QR-Code, Logo o.ä. ausgebildet sein. Ein solches Kalibriermuster lässt sich einfach und kostengünstig herstellen und optional auch an einem Stativ des Operationsmikroskops anordnen, z. B. mittels Aufdrucken, Lasergravieren oder Aufkleben. Weiterhin besteht die Möglichkeit ein zweidimensionales Kalibriermuster kostengünstig auf einem Monitor darzustellen, wodurch ein einfacher Wechsel zwischen verschiedenen Kalibriermustern möglich ist. Zudem können für die Darstellung bereits vorhandene Monitore genutzt werden.
Ein dreidimensionaler Kalibrierkörper kann einen im genutzten Spektralbereich, also z. B. im sichtbaren Spektralbereich, transparenten Grundkörper und ein oder mehrere im Grundkörper angeordnete nichttransparente Kalibriermarken aufweisen. Ein solcher Kalibrierkörper ermöglicht ein Kalibrieren in drei Dimensionen. Bezüglich weiterer Details möglicher dreidimensionaler Kalibrierkörper wird auf die deutsche Patentanmeldung DE10 2018 115 824 A1 verwiesen, die sich detailliert mit solchen Kalibrierkörpern beschäftigt.
Das Kalibrierobjekt kann derart ausgebildet sein, dass die charakteristischen Markierungen im sichtbaren Spektralbereich, z. B. in einem üblichen Weißlichtbild, sichtbar sind. Zusätzlich oder alternativ zum sichtbaren Spektralbereich können die charakteristischen Markierungen in einem anderen Spektralbereich, z. B. im infraroten Spektralbereich, sichtbar sein.
Das Kalibrierobjekt kann passiv, also stets vorhanden, z. B. als aufgedrucktes Muster, oder aktivierbar und deaktivierbar ausgebildet sein. Aktivierbar bzw. deaktivierbar bedeutet, dass das Kalibrierobjekt bzw. die für die Kalibrierung genutzten Strukturen, Marken etc. bedarfsgerecht aktiviert bzw. deaktiviert werden können, z. B. durch gezielte Ansteuerung von Leuchtdioden oder in Form eines Kalibriermusters, welches dynamisch auf einem Monitor angezeigt wird.
Im Zusammenhang mit der vorliegenden Erfindung wird unter dem Begriff „Pose“ die Kombination der Position und der Orientierung der genannten Objekte oder Bauteile oder Bezugsachsen im dreidimensionalen Raum verstanden (siehe auch DIN EN ISO 8373). Die Position einer punktförmigen Masse in Relation zu einem kartesischen Koordinatensystem definiert sich danach durch die Abstände entlang den Koordinatenrichtungen x, y, z. Spannt man an diesem Massepunkt ein zweites kartesisches Koordinatensystem auf, so definiert sich die Orientierung dieses Koordinatenkreuzes durch den Winkelversatz seiner Koordinatenachsen in Bezug zu den entsprechenden Achsen des Basiskoordinatensystems. Es sind zusätzlich drei Winkel notwendig, die die Lage des neuen Koordinatensystems bezogen auf das Basiskoordinatensystem beschreiben.
Unter dem Begriff „Messraum“ wird vorliegend das mittels der Kamera zu beobachtende Volumen verstanden, d. h. der Bereich, in dem die zu betrachtenden Vorgänge stattfinden und für den eine Kalibrierung vorliegen muss, um z. B. Abstände eindeutig bestimmten zu können. Derjenige Bereich, der mit der Kamera maximal abgebildet werden kann, kann demgegenüber größer sein, d. h. der Messraum beschränkt sich auf einen Teil des überhaupt mit der Kamera beobachtbaren Volumens. Das mit der Kamera beobachtbare Volumen wird vorliegend als „Beobachtungsbereich“ bezeichnet.
Der Messraum kann im Koordinatensystem derjenigen Kamera definiert sein, für die ein Kameramodell gemäß dem vorgeschlagenen Verfahren erstellt wird. Alternativ kann der Messraum im Koordinatensystem einer weiteren Kamera des Operationsmikroskops definiert sein. Für letztere Alternative muss bekannt sein, wie diese weitere Kamera bezüglich der Kamera, für die das Kameramodell erstellt wird, positioniert ist, d. h. die geometrische Transformation vom Koordinatensystem der weiteren Kamera, z. B. der Mikroskopkamera, zum Koordinatensystem der Kamera, für die das Kameramodell erstellt wird, z. B. der Umfeldkamera, muss bekannt sein.
Der Messraum kann beispielsweise eine Zylinderform aufweisen. Je nach Abstand zur Kamera kann der Messraum in einen Nahbereich und einen Fernbereich unterteilt werden. Beispielsweise kann der Nahbereich zwischen 0 % und 30 % der Längsausdehnung des Messraums entlang der optischen Achse der Kamera lokalisiert sein, der Fernbereich hingegen zwischen 70 % und 100 %.
Im ersten Verfahrensschritt des vorgeschlagenen Verfahrens wird ein Kalibrierobjekt in einer Initialpose im Beobachtungsraum der Kamera positioniert, d. h. das in der Initialpose positionierte Kalibrierobjekt kann auch außerhalb des Messraums liegen, solange es von der Kamera erfassbar ist. Die Initialpose kann beliebig im Beobachtungsbereich gewählt werden. Die Initialpose kann mittels eines Initialkameramodells bzw. Nominalkameramodells geschätzt werden.
Im nächsten Schritt wird das Posendelta zwischen der Initialpose und einer ersten Pose ermittelt, also das Posendelta, das ausgehend von der Initialpose für das Erreichen der ersten Pose erforderlich ist. Das Posendelta entspricht dabei dem Vektor, gemäß dem das Kalibrierobjekt bewegt werden muss, um aus der Initialpose in die erste Pose überführt zu werden. Je nachdem, im Koordinatensystem welcher Kamera der Messraum definiert ist, ist ggf. eine Transformation der Koordinatensysteme zueinander zu berücksichtigen. Anschließend wird das Kalibrierobjekt entsprechend dem ermittelten Posendelta in der ersten Pose positioniert. Hierfür kann beispielsweise das Posendelta mittels des Stativs des Operationsmikroskops kommandiert werden, um die Kamerapose und damit indirekt die Pose des Kalibrierobjekts zu ändern. Im Unterschied zur Initialpose befindet sich das in der ersten Pose positionierte Kalibrierobjekt zwingend zumindest teilweise im Messraum.
In einem weiteren Schritt wird eine Aufnahme, z. B. eine Foto- oder Filmaufnahme, des Kalibrierobjekts angefertigt. Optional kann vor dem Anfertigen der Aufnahmen ein Aktivieren des Kalibrierobjekts erfolgen, indem das Kalibrierobjekt z. B. beleuchtet wird oder ein selbstleuchtendes Kalibrierobjekt zum Leuchten aktiviert wird.
Anschließend werden diese beiden Schritte für mindestens eine weitere Pose wiederholt. Die Gesamtanzahl der Posen ist dabei u. a. abhängig von der Anzahl charakteristischer Markierungen auf dem Kalibrierobjekt (je mehr Markierungen, desto weniger Posen sind erforderlich), der Größe des Messraums (je größer der Messraum, desto mehr Posen sind erforderlich) und der geforderten Genauigkeit bzw. Güte des Kameramodells (je größer die Genauigkeit, desto mehr Posen sind erforderlich). Die Gesamtanzahl der Posen kann beispielsweise zwischen 20 und 25 liegen.
Die angefertigten Aufnahmen werden anschließend ausgewertet und basierend auf der Gesamtheit der angefertigten Aufnahmen wird ein Kameramodell erstellt. Das Kameramodell beschreibt unter anderem die Eigenschaften des Bildsensors der Kamera und der Kameraoptik sowie die Anordnung von Bildsensor und Optik zueinander. Hierfür umfasst das Kameramodell Werte für Kalibrierparameter, d. h. Korrekturfaktoren, mit denen der Zusammenhang zwischen einem Strahl im Messraum des Operationsmikroskops, genauer im Messraum der Kamera des Operationsmikroskops, und einem Punkt auf dem Bildsensor der Kamera berücksichtigt werden kann. Grundlage hierfür kann ein Lochkameramodell bilden, d. h. mittels der im Kameramodell enthaltenen Kalibrierparameter kann eine Abweichung von einem Nominallochkameramodell ausgeglichen werden. Mit anderen Worten kann das Kameramodell Werte für Kalibrierparameter, d. h. Korrekturfaktoren, mit denen der Zusammenhang zwischen der Position des optischen Zentrums gemäß dem Lochkameramodell und einem Punkt auf dem Bildsensor der Kamera berücksichtigt werden kann. Zudem kann das Kameramodell Korrekturfaktoren, mit denen Verzeichnungen korrigiert werden können, sog. Verzeichnungskoeffizienten, umfassen.
Beispielsweise kann das Kameramodell Werte für folgende Kalibrierparameter umfassen: Abstand zwischen Bildsensor der Kamera und optischem Zentrum in x-Richtung, y-Richtung und z-Richtung sowie Verzeichnungskoeffizienten.
Optional kann vorgesehen sein, dass der Wert eines Güteparameters für das aus der Gesamtheit der angefertigten Aufnahmen erstellte Kameramodell ermittelt wird. Dieser Wert des Güteparameters kann beispielsweise verwendet werden, um eine bestimmte Tracking- oder Dateneinspiegelungsgüte sicherzustellen. Hierfür kann der ermittelte Wert des Güteparameters mit einem vorgebbaren Zielwert oder Grenzwert verglichen werden.
Zur Erstellung des Kameramodells können die charakteristischen Markierungen des Kalibrierobjekts in einer Aufnahme des Kalibrierobjekts mit Hilfe von geeigneten Algorithmen erkannt und einander zugeordnet werden. Bekannt sind also die den charakteristischen Markierungen entsprechenden Punkte im Bild der Aufnahme und die Geometrie des Kalibrierobjekts. Mittels eines Optimierungsalgorithmus können daraus die Kalibrierparameter ermittelt werden, sodass das Kameramodell die Transformation des Kalibrierobjekts auf den Bildsensor der Kamera möglichst gut abbildet. Der Optimierungsalgorithmus kann dabei nicht nur eine Aufnahme, sondern mehrere oder alle Aufnahmen des Kalibrierobjekts in den verschiedenen Posen berücksichtigen.
Die Auswertung der angefertigten Aufnahmen kann computerimplementiert bzw. softwarebasiert erfolgen, entweder im Operationsmikroskop selbst oder mittels einer externen Auswerteeinheit, die signalübertragend mit dem Operationsmikroskop verbunden ist.
Es ist vorgesehen, dass die erste Pose und die mindestens eine weitere Pose derart verteilt im Messraum ausgewählt, d. h. gezielt festgelegt, werden, dass ein bezogen auf den gesamten Messraum repräsentatives Kameramodell erhalten wird.
Mit anderen Worten werden nicht lediglich eine bestimmte Anzahl an Posen des Kalibrierobjekts festgelegt und entsprechende Aufnahmen angefertigt, sondern die einzunehmenden Posen werden gezielt dahingehend ermittelt, dass der Messraum an allen Stellen hinreichend genau repräsentiert wird, also kein Bereich des Messraums über- oder untergewichtet wird. Hinreichend genau bedeutet, dass die Genauigkeit für eine Posenschätzung, für welche das Kameramodell verwendet wird, oberhalb eines gewissen Grenzwertes liegt, d. h., dass der Fehler der Posenschätzung im geforderten Messraum unterhalb eines Zielgrenzwertes liegt. Hierbei können Symmetrien des Messraums berücksichtigt werden.
Dadurch wird vorteilhaft ein Kameramodell mit einer hohen Genauigkeit bzw. Kalibriergüte erstellt werden, da die Werte für die Kalibrierparameter besser, d. h. genauer, und mit höherer Reproduzierbarkeit für den gesamten Messraum geschätzt werden können. Dies wirkt sich unmittelbar auf die Qualität der mit einem solchen Kameramodell durchgeführten Posenschätzungen und Messungen aus, die entsprechend ebenfalls genauer sind und eine höhere Reproduzierbarkeit aufweisen.
Das gezielte Festlegen der Posen ermöglicht zudem eine Automatisierung des Verfahrens, da kein manuelles Bewegen des Kalibrierobjekts und/oder des Operationsmikroskops notwendig ist. Auch dies kann zu einer Erhöhung der Reproduzierbarkeit gegenüber zufälligen Aufnahmen beitragen. Zudem kann das Verfahren auch durch Nicht-Fachpersonal, beispielsweise durch eine Operationsschwester, gestartet werden, z. B. durch Betätigen eines einfachen Starttasters. Ebenfalls möglich ist die Durchführung des Verfahrens im Rahmen einer Fernwartung.
Vorzugsweise kann das Kameramodell mittels eines einzigen Kalibrierobjekts erstellt werden, da dieses mehrfach in verschiedenen Posen verwendbar ist.
Zudem kann das Kalibrierobjekt transportabel ausgebildet sein, also nicht mit dem Operationsmikroskop, z. B. dessen Stativ, verbunden sein. Auch eine Verbindbarkeit des Kalibrierobjekts mit dem Operationsmikroskop oder einem ortsfest bezüglich des Operationsmikroskops angeordneten Körpers, z. B. einer Wand etc., zur Ermöglichung einer bestimmten Pose bezüglich des Operationsmikroskops ist nicht notwendig, da die Pose des Kalibrierobjekts nicht bekannt sein muss. Mit anderen Worten kann das Kalibrierobjekt frei im Raum, also mit unbekannter Pose, positioniert werden, beispielsweise auf einer Tischplatte abgelegt werden.
Das Erstellen des Kameramodells bei freiem Positionieren des Kalibrierobjekts im Raum kann erreicht werden, indem die, aufgrund der freien Positionierung zunächst unbekannte, Initialpose (Kalibrierobjekt zu Kamera) geschätzt oder berechnet wird. Mit anderen Worten umfasst bei einer Positionierung des Kalibrierobjekts frei im Raum der Verfahrensschritt des Positionierens des Kalibrierobjekts in einer Initialpose in einem Beobachtungsbereich der Kamera des Operationsmikroskops ein Schätzen, z. B. mittels eines Initialkameramodells bzw. Nominalkameramodells, oder Berechnen der Initialpose.
Anschließend kann das Posendelta zum Erreichen der ersten Pose ermittelt und, wie bereits erläutert, das Kalibrierobjekt in der ersten Pose entsprechend dem ermittelten Posendelta positioniert werden, z. B. mittels entsprechendem Verfahren der Kamera durch die Stativrobotik.
Bei aus dem Stand der Technik bekannten Kalibrierverfahren wird hingegen stets eine feste Trajektorie abgefahren. Dies setzt voraus, dass die geometrische Transformation der Pose des Kalibrierobjekts zu einem Bezugspunkt, z. B. dem Stativfuß, und damit die Initialpose bereits anfänglich bekannt ist, also gerade keine freie Positionierung des Kalibrierobjekts im Raum möglich ist.
Dasselbe Kalibrierobjekt kann auch zum Erstellen der Kameramodelle mehrerer Operationsmikroskope oder anderer optischer Beobachtungsgeräte genutzt werden. Beispielsweise ist es daher ausreichend, wenn ein Techniker ein einziges Kalibrierobjekt mit sich führt, das er zum Erstellen der Kameramodelle verschiedener Operationsmikroskope oder optischer Beobachtungsgeräte, z. B. an unterschiedlichen Standorten, nutzen kann. Dadurch können Kosten für weitere Kalibrierobjekte eingespart werden und Nutzungseinschränkungen durch am optischen Gerät angeordnete Kalibrierobjekte können vermieden werden.
Das Erstellen des Kameramodells kann beispielsweise erstmalig bei Inbetriebnahme des Operationsmikroskops und nachfolgend in bestimmten zeitlichen Abständen oder in Abhängigkeit bestimmter Ereignisse, z. B. Transport, Temperaturschwankung, durchgeführt werden, um stets genaue und zuverlässige Messergebnisse oder Posenschätzung mittels der Kamera erhalten zu können.
Das erstellte Kameramodell kann in einer Speichereinheit gespeichert werden. Beispielsweise kann das Kameramodell auf einem computerlesbaren Medium gespeichert werden.
Optional kann das Verfahren ein oder mehrere Überprüfungsschritte vorsehen, in denen geprüft wird, ob die erste oder weitere Pose tatsächlich erreicht wurde. Bei einer Abweichung kann eine entsprechende Korrektur oder Wiederholung erfolgen. Das Verfahren kann auch insgesamt mehrmals durchgeführt werden, um eine höhere Genauigkeit zu erreichen. Hierbei kann als Initialkameramodell das jeweils zuvor erstellte Kameramodell genutzt werden.
Gemäß verschiedenen Ausführungsvarianten kann eine erste Anzahl an Posen im Nahbereich der Kamera und eine zweite Anzahl an Posen im Fernbereich der Kamera liegen. Bevorzugt kann hierbei die Anzahl der Posen im Nahbereich der Anzahl der Posen im Fernbereich entsprechen.
Um möglichst gute Kalibrierergebnisse zu erzielen, sollten Aufnahmen im gesamten Messraum möglichst gleichverteilt aufgenommen werden, idealerweise in jedem Messpunkt ein Bild. Dies würde einen jedoch einen hohen zeitlichen und rechentechnischen Aufwand hervorrufen. Um den Aufwand zu reduzieren, den Messraum aber dennoch repräsentativ abzubilden, können Aufnahmen z. B. nur in einer Ebene, vorzugsweise bei einem mittleren Abstand, aufgenommen werden. Nachteil hierbei wäre, dass die Verzeichnung, welche vor allem im Nahbereich (geringer Abstand von Kamera zu Kalibrierobjekt verursacht Verzeichnungen vor allem im Randbereich) auftritt, unterrepräsentiert wird. Um diesen Effekt zu reduzieren, können Aufnahmen in zwei oder mehr Ebenen, z. B. im Nahbereich und Fernbereich, aufgenommen werden.
Durch Verwendung von Posen im Nahbereich und Fernbereich wird eine hohe Genauigkeit des Kameramodells auch in diesen Bereichen erreicht. Indem die Anzahl der Posen im Nahbereich und Fernbereich gleich ist, wird sichergestellt, dass kein Bereich übergewichtet wird. Es kann, sofern die geforderte Genauigkeit des Kameramodells bzw. Kalibriergüte bereits erreicht wird, auf Posen zwischen dem Nah- und Fernbereich verzichtet werden. Hierdurch kann die Gesamtanzahl der Posen verringert werden, so dass das Kameramodell schneller und mit geringerem rechentechnischem Aufwand erstellt werden kann.
Gemäß weiteren Ausführungsvarianten können die Posen derart ausgewählt werden, dass das Kalibrierobjekt in jeder Pose vollständig im Messraum positioniert ist. Mit anderen Worten können sich bevorzugt alle auszuwertenden charakteristischen Markierungen im Messraum befinden.
Dadurch wird das Kalibrierobjekt vorteilhaft nur im geforderten Messraum auf dem Bildsensor der Kamera abgebildet werden. Charakteristische Markierungen des Kalibrierobjekts außerhalb des Messraums werden bei der Erstellung des Kameramodells folglich nicht berücksichtigt, was eine Verfälschung des Kameramodells verhindert und zu einer höheren Genauigkeit des Kameramodells beitragen kann.
Sollte es dennoch vorkommen, dass charakteristische Markierungen des Kalibrierobjekts außerhalb des Messraums lokalisiert sind und vom Bildsensor der Kamera aufgezeichnet werden, so können diese charakteristischen Markierungen im Rahmen einer Nachberechnung eliminiert werden und bei der Erstellung des Kameramodells sowie nachfolgenden Kalibrierungen unberücksichtigt bleiben.
Gemäß weiteren Ausführungsvarianten kann das Kalibrierobjekt durch Veränderung der Position der Kamera im Messraum positioniert werden.
Mit anderen Worten besteht die Möglichkeit, nicht das Kalibrierobjekt selbst zur Änderung der Pose gegenüber der Kamera bzw. des Messraums zu bewegen, sondern den Messraum durch Bewegung der Kamera entsprechend zu verschieben.
Dadurch kann das vorgeschlagene Verfahren vereinfacht werden, da es ausreichend ist, dass Kalibrierobjekt einmalig zu positionieren, z. B. auf einer Tischplatte aufzulegen. Das Einnehmen der Posen kann dann durch Variation der Kameraposition mittels des Stativs erfolgen. Dies entspricht auch der üblichen Handhabungsweise des Operationsmikroskops, da beispielsweise während einer Operation nicht die Position des Situs verändert wird, sondern die Kameraposition. Durch Verwendung eines robotischen Stativs ist zudem eine Automatisierung des Verfahrens möglich, mit der die vorstehend bereits beschriebenen Vorteile verbunden sind.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Schätzen einer Pose eines Objekts in einem Messraum einer Kamera eines Operationsmikroskops. Hierbei wird die Pose des Objekts, z. B. eines chirurgischen Instruments, beispielsweise im Rahmen des sog. Tool-Tracking, unter Verwendung eines Kameramodells für die Kamera des Operationsmikroskops, welches mittels eines Verfahrens gemäß vorstehender Beschreibung erstellt wurde, geschätzt. Folglich sind mit dem Verfahren zur Posenschätzung die Vorteile des Kameramodells sowie des Verfahrens zum Erstellen eines Kameramodells entsprechend verbunden, so dass auf die diesbezüglichen Ausführungen verwiesen werden kann.
Die Verwendung eines solchen Kameramodells ermöglicht vorteilhaft eine Posenschätzung mit hoher Genauigkeit. Außerdem kann die Posenschätzung ganz oder teilweise computerimplementiert und folglich ganz oder teilweise automatisiert durchgeführt werden. Hierfür kann das Kameramodell aus einer Speichereinheit abgerufen werden, in der es gespeichert ist. Eine solche Speichereinheit kann in das Operationsmikroskop integriert sein oder mit dem Operationsmikroskop signalübertragend verbunden sein.
Alternativ oder zusätzlich kann das mittels eines der vorstehend beschriebenen Verfahren erstellte Kameramodell zur Dateneinspiegelung verwendet werden. Hierfür können in eine Kameraaufnahme unter Verwendung des erstellten repräsentativen Kameramodells präoperative Daten eingespiegelt werden. Die Verwendung eines mittels eines der vorstehend beschriebenen Verfahren erstellten Kameramodells ermöglicht vorteilhaft eine Dateneinspiegelung mit hoher Genauigkeit.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Überprüfen eines Kameramodells, welches mittels eines Verfahrens gemäß vorstehender Beschreibung erstellt wurde.
Das Überprüfungsverfahren weist auf: Ermitteln einer aktuellen Pose eines in einem Messraum einer Kamera des Operationsmikroskops positionierten Kalibrierobjekts, Festlegen einer Zielpose für das Kalibrierobjekt, Ermitteln eines Posendeltas zum Erreichen der Zielpose ausgehend von der aktuellen Pose, Ändern der aktuellen Pose des Kalibrierobjekts entsprechend dem ermittelten Posendelta, Ermitteln einer Abweichung zwischen der festgelegten Zielpose und der tatsächlichen Zielpose und Vergleichen der ermittelten Abweichung mit einem Grenzwert für eine maximal zulässige Abweichung.
Die Änderung der Position des Kalibrierobjekts entsprechend dem ermittelten Posendelta kann manuell erfolgen, indem z. B. das ermittelte Posendelta an einem Monitor angezeigt wird und die Kamera mittels des Stativs manuell durch den Nutzer, z. B. Servicemitarbeiter, Krankenhauspersonal, Montagepersonal in der Fertigungslinie, verfahren wird. Alternativ kann die Positionsänderung automatisiert erfolgen, indem das Posendelta von der Stativrobotik umgesetzt wird.
Der Grenzwert kann je nach Anwendung individuell festgelegt sein und einen absoluten oder relativen Wert aufweisen.
Optional können die Verfahrensschritte wiederholt werden, um die Abweichung für verschiedene Zielposen, z. B. im Nahbereich und Fernbereich, ermitteln zu können. Dies kann eine genauere Überprüfung des Kameramodells ermöglichen.
Das Überprüfungsverfahren ermöglicht eine einfache und schnelle Überprüfung des Kameramodells. Es kann beispielsweise in bestimmten zeitlichen Abständen oder in Abhängigkeit bestimmter Ereignisse, z. B. Transport, Temperaturschwankung, durchgeführt werden. Sollte die ermittelte Abweichung über dem Grenzwert liegen, so kann umgehend ein neues Kameramodell erstellt werden, so dass Ausfallzeiten reduziert werden können und zudem stets zuverlässige und reproduzierbare Messergebnisse erhalten werden können.
Bei der Erstellung eines neuen Kameramodells besteht dabei die Möglichkeit, die Gesamtanzahl der Posen zu reduzieren, so dass die für das Erstellen des Kameramodells benötigte Zeit reduziert werden kann.
Ein weiterer Aspekt der Erfindung betrifft eine Anordnung, die ein Operationsmikroskop mit einer Kamera und Mittel aufweist, die geeignet sind, eines der vorstehend erläuterten Verfahren, d. h. ein Verfahren zum Erstellen eines Kameramodells, ein Verfahren zum Kalibrieren des Operationsmikroskops und/oder ein Verfahren zum Überprüfen einer Kalibrierung, durchzuführen.
Folglich sind mit der Anordnung die Vorteile der Verfahren entsprechend verbunden. Es wird auf die vorstehenden Erläuterungen verwiesen.
Bei der Kamera kann es sich beispielsweise um eine Umfeldkamera oder eine Mikroskopkamera handeln. In einer bevorzugten Ausführungsform kann das Operationsmikroskop sowohl eine Mikroskopkamera als auch eine Umfeldkamera aufweisen.
Optional kann das Operationsmikroskop ein Stativ aufweisen, wie ebenfalls vorstehend erläutert, so dass eine Automatisierung ermöglicht ist. Die Mittel zur Durchführung der Verfahren können eine Steuereinheit, eingerichtet und ausgebildet zum Ausgeben von Steuersignalen an das Stativ und/oder die Kamera zur Durchführung eines der genannten Verfahren, beispielsweise zum Positionieren des Kalibrierobjekts und/oder Ändern der aktuellen Pose des Kalibrierobjekts entsprechend einem ermittelten Posendelta, eine Speichereinheit zur Speicherung des Kameramodells und optional der Aufnahmen sowie eine Verarbeitungseinheit zur Verarbeitung der angefertigten Aufnahmen, d. h. zum Erstellen des Kameramodells basierend auf den Aufnahmen, aufweisen. Optional kann die Verarbeitungseinheit zum Schätzen einer Pose eines Objekts im Messraum mittels des Kameramodells ausgebildet sein. Weiter optional kann die Verarbeitungseinheit zum Festlegen einer Zielpose für das Kalibrierobjekt, Ermitteln eines Posendeltas zum Erreichen der Zielpose ausgehend von der aktuellen Pose, Ermitteln einer Abweichung zwischen der festgelegten Zielpose und der tatsächlichen Zielpose und Vergleichen der ermittelten Abweichung mit einem Grenzwert für eine maximal zulässige Abweichung ausgebildet sein, so dass ein Überprüfen des Kameramodells ermöglicht ist.
Ist ein Erstellen des Kameramodells ausgehend von einer Positionierung des Kalibrierobjekts frei im Raum vorgesehen, so kann die Anordnung Mittel zum Schätzen oder Berechnen der Initialpose aufweisen. Beispielsweise kann die Anordnung eine Verarbeitungseinheit aufweisen, die zum Schätzen der Initialpose eingerichtet und ausgebildet ist. Hierfür kann die Verarbeitungseinheit ein Initialkameramodell bzw. Nominalkameramodell nutzen, das in der Speichereinheit gespeichert ist und aus dieser abgerufen wird, wofür die Verarbeitungseinheit und die Speichereinheit in einer signaltechnischen Wirkverbindung zueinander stehen können.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm, das Befehle umfasst, die bewirken, dass eine Anordnung gemäß vorstehender Beschreibung eines der vorstehend erläuterten Verfahren, d. h. ein Verfahren zum Erstellen eines Kameramodells, ein Verfahren zum Schätzen einer Pose eines Objekts in einem Messraum einer Kamera eines Operationsmikroskops und/oder ein Verfahren zum Überprüfen eines Kameramodells, ausführt.
Unter einem Computerprogramm kann ein auf einem geeigneten Medium speicherbarer und/oder über ein geeignetes Medium abrufbarer Programmcode verstanden werden. Folglich kann das Computerprogramm auf einem computerlesbaren Medium, z. B. einem computerlesbaren Datenträger gespeichert sein. Weiterhin kann ein Datenträgersignal gebildet sein, das das Computerprogramm überträgt.
Zum Speichern des Programmcodes kann jedes zum Speichern von Software geeignete Medium, beispielsweise ein in einem Steuergerät verbauter nichtflüchtiger Speicher, eine DVD, ein USB-Stick, eine Flashcard oder dergleichen, Verwendung finden. Das Abrufen des Programmcodes kann beispielsweise über das Internet oder ein Intranet erfolgen oder über ein anderes geeignetes drahtloses oder kabelgebundenes Netzwerk.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.

1 zeigt ein beispielhaftes Operationsmikroskop mit einem Stativ und einer Kamera.
2 zeigt die Freiheitsgrade, die das Stativ aus 1 und dessen Aufhängung zur Verfügung stellen.
3 zeigt ein Ablaufschema eines beispielhaften Verfahrens zum Erstellen eines Kameramodells und Schätzen einer Pose.
4 zeigt eine schematische Darstellung eines Operationsmikroskops und eines Kalibrierobjekts in einer Initialpose.
5 zeigt eine schematische Darstellung eines Operationsmikroskops und eines Kalibrierobjekts während des Erstellens eines Kameramodells.
6 zeigt eine schematische Darstellung des Operationsmikroskops während des Erstellens des Kameramodells mit verschiedenen Posen des Kalibrierobjekts.
7a-d zeigt verschiedene Posen des Kalibrierobjekts im Nahbereich.
8a-d zeigt verschiedene Posen des Kalibrierobjekts im Fernbereich.
9 zeigt ein Ablaufschema eines beispielhaften Verfahrens zum Überprüfen eines Kameramodells.
10 zeigt eine schematische Darstellung eines Operationsmikroskops und eines Kalibrierobjekts in einer aktuellen Pose.
11 zeigt eine schematische Darstellung des Operationsmikroskops und des Kalibrierobjekts in einer Zielpose.
12 zeigt eine schematische Darstellung einer beispielhaften Anordnung.
13 zeigt eine schematische Darstellung zu einer alternativen Definition des Messraums.

In 1 ist ein Operationsmikroskop 100 mit einem motorisch angetriebenen Stativ 201 und einer an dem Stativ 201 befestigten optischen Beobachtungseinheit 102, die eine Kamera 103 und ein Okular 104 aufweist, dargestellt. Die Kamera 103 ist die Mikroskopkamera des Operationsmikroskops 100, d. h. der Hauptbeobachter. Alternativ kann die Kamera 103 eine Umfeldkamera sein. Optional kann das Operationsmikroskop 100 sowohl eine Kamera 103, z. B. eine Mikroskopkamera, als auch eine weitere Kamera 108 (siehe 13), z. B. eine Umfeldkamera, aufweisen. Durch die Eingabe von Navigationsdaten kann die optische Beobachtungseinheit 102 in ihrer Orientierung und ihrer Position automatisch eingestellt werden, was eine Positionierung und Orientierung der optischen Beobachtungseinheit 102 auch aus der Ferne derart ermöglicht, dass ein bestimmter Ausschnitt aus einem Objektfeld, z. B. der Situs, optimal dargestellt wird. Zu diesem Zweck ist dem Stativ 201 eine Steuereinheit 401 zugeordnet, die anhand von empfangenen Positions- und/oder Orientierungssteuerdaten die Positionierung bzw. Orientierung der optischen Beobachtungseinheit 102 vornimmt, indem Steuersignale 403, 404 an geeignete Stellmotoren ausgegeben werden.
Nachfolgend werden das Stativ 201 und die vom Stativ für die optische Beobachtungseinheit 102 ermöglichten Freiheitsgrade anhand der 1 und 2 näher beschrieben. In dem in 1 gezeigten Beispiel für ein Stativ 201 ruht das Stativ 201 auf einem Stativfuß 205, an dessen Unterseite Rollen 206 vorhanden sind, die ein Verfahren des Stativs 201 ermöglichen. Um ein ungewolltes Verfahren des Stativs 201 zu verhindern, besitzt der Stativfuß 205 eine Fußbremse 207.
Das eigentliche Stativ 201 umfasst als Stativglieder eine höhenverstellbare Stativsäule 208, einen Tragarm 209, einen Federarm 210 und eine Aufhängung für die optische Beobachtungseinheit 211, welche ihrerseits ein Verbindungselement 213, einen Schwenkarm 215 und einen Haltearm 214 umfasst. Die Freiheitsgrade, welche die Stativglieder zum Positionieren der optischen Beobachtungseinheit 102 zur Verfügung stellen, sind in 2 gezeigt. Der Tragarm 209 ist an seinem einen Ende um eine Achse A drehbar mit der Stativsäule 208 verbunden. Am anderen Ende des Tragarms 209 ist ein Ende des Federarms 210 um eine zur Achse A parallele Achse B drehbar befestigt, so dass der Tragarm 209 und der Federarm 210 einen Gelenkarm bilden. Das andere Ende des Federarms 210 ist von einem Kippmechanismus gebildet (nicht dargestellt), an dem die Aufhängung 211 befestigt ist und der ein Verkippen der Aufhängung 211 um die Achse C ermöglicht.
Die Aufhängung 211 weist eine Drehachse D, eine Schwenkachse E sowie eine Kippachse F auf, um die sich die optische Beobachtungseinheit 102 drehen, schwenken bzw. verkippen lässt. Mit einem Verbindungselement 213 ist die Aufhängung 211 am äußeren Ende des Federarms 210 um die Drehachse D drehbar befestigt. Die Drehachse D erstreckt sich entlang des Verbindungselementes 213. An das Verbindungselement 213 schließt sich ein Schwenkarm 215 an, mit dessen Hilfe sich die optische Beobachtungseinheit 102, genauer gesagt ein am Schwenkarm 215 angebrachter Haltearm 214, an dem die optische Beobachtungseinheit 102 mittels einer Halterung (nicht dargestellt) befestigt ist, um die Schwenkachse E schwenken lässt. Die Schwenkachse E erstreckt sich durch den Schwenkarm 215. Der Winkel zwischen Schwenkarm 215 und Verbindungselement 213, d. h. der Winkel zwischen der Schwenkachse E und der Drehachse D, kann mittels einem zwischen dem Verbindungsteil 213 und dem Schwenkarm 215 angeordneten Verstellmechanismus variiert werden.
Durch den Haltearm 214 verläuft senkrecht zur Darstellungsebene die Kippachse F, die ein Verkippen der optischen Beobachtungseinheit 102 ermöglicht. Die optische Beobachtungseinheit 102 ist mittels einer nicht dargestellten Halterung am Haltearm 214 befestigt.
Die Freiheitsgrade der Aufhängung 211 sowie die Einstellmöglichkeiten der optischen Beobachtungseinheit 102, z. B. Fokussierung, Schärfe, Vergrößerungsfaktor, etc., können über eine Stelleinrichtung 202 eingestellt werden, die im vorliegenden Ausführungsbeispiel als Fußschaltpult dargestellt ist. Die Stelleinrichtung 202 kann aber auch als Handschaltelement oder als Kombination von Fuß- und Handschaltelement realisiert sein. Zudem kann eine Fernsteuerung ermöglicht sein.
Auch wenn das Stativ 201 anhand eines konkreten Beispiels beschrieben worden ist, wird ein Fachmann erkennen, dass auch anders geartete Stative Verwendung finden können.
Die Kamera 103 des beispielhaft unter Bezugnahme auf die 1 und 2 beschriebenen Operationsmikroskops 100 muss für verschiedene Messverfahren intrinsisch kalibriert werden, d. h. es muss ein Kameramodell erstellt werden. Optional kann das zu erstellende Kameramodell für weitere Kalibrierungen, z. B. eine Hand-Auge-Kalibrierung der Kamera 103 oder eine Kalibrierung der Kinematik des Stativs 201 genutzt werden.
Unter Bezugnahme auf die 3 bis 8 werden nachfolgend ein beispielhaftes Verfahren zum Erstellen eines Kameramodells sowie ein Verfahren zum Schätzen einer Pose eines Objekts erläutert. 3 zeigt ein diesbezügliches Ablaufschema, wobei in den Verfahrensschritte S1 bis S7 das Kameramodell erstellt und im Verfahrensschritt S8 das erstellte Kameramodell zur Posenschätzung verwendet wird.
Als Kalibrierobjekt 300 dient im Ausführungsbeispiel ein zweidimensionales Kalibriermuster, das als Schachbrettmuster ausgebildet ist. Für die Erstellung des Kameramodells nutzbare charakteristische Markierungen sind beispielsweise diejenigen Punkte des Schachbrettmusters, an denen schwarze und weiße Felder aneinandergrenzen. Zudem können für die Erstellung des Kameramodells auch die Abmessungen und Winkel der schwarzen bzw. weißen Felder genutzt werden.
Der Messraum 301 der Kamera 103 ist im Ausführungsbeispiel kreiszylinderförmig ausgebildet, wobei die Längsachse des Zylinders der optischen Achse der Kamera 103 entspricht. Folglich ist der Messraum 301 rotationssymmetrisch bezüglich der optischen Achse OA. Der Messraum 301 weist einen Nahbereich 105 und einen Fernbereich 106 (siehe 6) auf. Zwischen dem Nachbereich 105 und dem Fernbereich 106 befindet sich ein mittlerer Bereich 107. Der Messraum 301 liegt innerhalb des Beobachtungsbereichs 302 der Kamera 103. Die Grenzen des Beobachtungsbereichs 302 sind in 4 mittels einer Strich-Punkt-Linie angedeutet. In den übrigen Figuren ist der Beobachtungsbereich 302 zur Vereinfachung der Darstellung nicht eingezeichnet.
Insgesamt können drei verschiedene Koordinatensysteme definiert werden, das Basiskoordinatensystem 501, das Kamerakoordinatensystem 502 und das Koordinatensystem des Kalibrierobjekts 503. Die Lage und Ausrichtung des Messraums 301 im Kamerakoordinatensystem 502 bleibt stets unverändert. Zur Erstellung des Kameramodells wird der Vektor Kamera zu Kalibrierobjekt 504, also der Vektor zwischen dem Koordinatenursprung des Kamerakoordinatensystems 502 und dem Koordinatenursprung des Koordinatensystems des Kalibrierobjekts 503 mittels einer Posenschätzung und eines beliebig festzulegenden Initialkameramodells, z. B. eines Nominallochkameramodells, das die Pose des Kalibrierobjekts 300 bezüglich der Kamera 103 für eine Initialpose P0 angibt, geschätzt. Der Vektor Kamera zu Kalibrierobjekt 504 definiert die Initialpose P0 sowie die Posen P1, P2, P3, ..., PN des Kalibrierobjekts 300.
Nach dem Start des Verfahrens wird das Kalibrierobjekt 300 im Verfahrensschritt S1 in einer Initialpose P0 in einem Beobachtungsbereich 302 der Kamera 103 des Operationsmikroskops 100 positioniert (siehe 4). Die Initialpose P0 wird durch den zugehörigen Vektor zwischen dem Koordinatenursprung des Kamerakoordinatensystems 502 und dem Koordinatenursprung des Koordinatensystems des Kalibrierobjekts 503 definiert. Im Ausführungsbeispiel befindet sich das in der Initialpose P0 angeordnete Kalibrierobjekt 300 im Messraum 301. Es wäre jedoch auch eine Positionierung außerhalb des Messraums 301 möglich, solange sich das Kalibrierobjekt 300 im Beobachtungsbereich 302 der Kamera 103 befindet.
Optional kann das Kalibrierobjekt 300 frei im Raum positioniert, z. B. auf einem Tisch abgelegt werden. In diesem Fall wird die Initialpose P0 mittels eines Initialkameramodells geschätzt.
Im Verfahrensschritt S2 wird anschließend das Posendelta deltaP ermittelt, welches zum Erreichen der ersten Pose P1 im Messraum 301 ausgehend von der Initialpose P0 erforderlich ist. Im Verfahrensschritt S3 wird das Kalibrierobjekt 300 in der ersten Pose P1 positioniert. Hierfür wird die Kamera 103 gemäß dem Posendelta deltaP bewegt, so dass sich die Pose des Kalibrierobjekts 300 entsprechend ändert.
Anschließend wird im Verfahrensschritt S4 eine Aufnahme des Kalibrierobjekts 300 in der ersten Pose P1 mittels der Kamera 103 angefertigt. Anhand der Aufnahme lassen sich nachfolgend im Rahmen der Erstellung des Kameramodells die charakteristischen Markierungen des Kalibrierobjekts 300 identifizieren und auswerten.
Danach wird das Kalibrierobjekt 300 in einer weiteren Pose P2 im Messraum 301 positioniert (Verfahrensschritt S5) und es wird erneut eine Aufnahme des Kalibrierobjekts 300 mittels der Kamera 103 angefertigt (Verfahrensschritt S6). Die Verfahrensschritte S5 und S6 werden solange wiederholt, bis das Kalibrierobjekt 300 in der gewünschten Anzahl an Posen P1, P2, P3, ..., PN positioniert wurde und die entsprechenden Aufnahmen angefertigt wurden.
Im sich anschließenden Verfahrensschritt S7 wird das Kameramodell basierend auf den angefertigten Aufnahmen erstellt. Hierfür werden wichtige Parameterwerte, z. B. der Abstand des Bildsensors der Kamera 103 vom optischen Zentrum und die Verzeichnungskoeffizienten, ermittelt. Im Verfahrensschritt S7 werden das Kameramodell bzw. die darin enthaltenen Parameter für das Schätzen einer Pose eines Objekts im Messraum 301 der Kamera 103 genutzt.
Unter Bezugnahme auf die 6 bis 8 wird nachfolgend die Auswahl der Posen P1, P2, P3, ..., PN näher erläutert. Erfindungsgemäß ist vorgesehen, dass die erste Pose P1 und die weiteren Posen P2, P3, ..., PN derart verteilt im Messraum 301 ausgewählt werden, dass ein bezogen auf den gesamten Messraum 301 repräsentatives Kameramodell erhalten wird. Die konkrete Reihenfolge, in der die Posen P1, P2, P3, ..., PN eingenommen werden, ist für das zu erstellende Kameramodell nicht relevant, da die Aufnahmen aller Posen P1, P2, P3, ..., PN gleichwertig im Kameramodell berücksichtigt werden. Eine bevorzugte Reihenfolge der Posen P1, P2, P3, ..., PN kann sich jedoch aus Gründen der Zeitersparnis ergeben, d. h. es kann vorteilhaft sein, als nächste Pose P1, P2, P3, ..., PN diejenige Pose mit dem geringsten Abstand zur aktuellen Pose P1, P2, P3, ..., PN zu verwenden. Prinzipiell kann jede der Posen P1, P2, P3, ..., PN als erste Pose P1 verwendet werden.
Dies wird im Ausführungsbeispiel dadurch erreicht, dass das Kalibrierobjekt 300 in insgesamt acht Posen P1, P2, P3, P4, P5, P6, P7, P8 positioniert wird und entsprechende Aufnahmen angefertigt werden. Hiervon befinden sich vier Posen P1, P2, P3, P4 im Nahbereich 105 (siehe 7a - d) und vier Posen P5, P6, P7, P8 im Fernbereich 106 (siehe 8a - d). Die vier Posen P1, P2, P3, P4 im Nahbereich 105 bzw. vier Posen P5, P6, P7, P8 im Fernbereich sind in einer Ebene angeordnet. Jeweils zwei Posen P1, P2, P3, P4, P5, P6, P7, P8 sind zudem rotationssymmetrisch bezüglich der optischen Achse OA angeordnet (Posen P1 und P4 sowie Posen P2 und P3 in 7 und Posen P5 und P6 sowie Posen P7 und P8 in 8). Indem für die Erstellung des Kameramodells gleich viele Aufnahmen im Nahbereich 105 und Fernbereich 106 genutzt werden, wird ein gemitteltes Kameramodell erstellt, in dem kein Bereich übergewichtet ist.
Optional können zusätzlich Posen P9, P10, P11, P12 im mittleren Bereich 107 aufgenommen werden (siehe 6), um ein robusteres Kameramodell erhalten zu können. Die Gesamtanzahl der im Ausführungsbeispiel genutzten Posen P1, P2, P3, P4, P5, P6, P7, P8 ist lediglich als beispielhaft zu verstehen. Je nach geforderter Güte des Kameramodells können insgesamt mehr oder weniger Posen P1, P2, P3, ..., PN genutzt werden, solange diese derart ausgewählt werden, dass ein bezogen auf den gesamten Messraum repräsentatives Kameramodell erhalten wird.
Alle Posen P1, P2, P3, ..., PN werden im Ausführungsbeispiel zudem derart ausgewählt, dass das Kalibrierobjekt 300 in jeder Pose P1, P2, P3, ..., PN vollständig im Messraum 301 positioniert ist. Die verschiedenen Posen P1, P2, P3, ..., PN werden durch Veränderung der Position der Kamera 103 im Messraum 301 positioniert. Dies bedeutet, dass die Pose P1, P2, P3, ..., PN des Kalibrierobjekts 300 bezüglich des Basiskoordinatensystems 501 unverändert bleibt, jedoch die Position der Kamera 103 geändert wird, um die Position des Messraums 301 und somit auch die Pose P1, P2, P3, ..., PN des Kalibrierobjekts 300 im Messraum 301 zu ändern. Die Position der Kamera 103 wird, wie unter Bezugnahme auf die 1 und 2 beschrieben, mittels des Stativs 201 geändert. Dies ermöglicht eine Automatisierung des Verfahrens zum Erstellen des Kameramodells.
Unter Bezugnahme auf die 9 bis 11 wird nachfolgend ein beispielhaftes Verfahren zum Überprüfen eines Kameramodells beschrieben. Hierbei kann es sich beispielsweise um das vorstehend unter Bezugnahme auf die 3 bis 8 erhaltene Kameramodell handeln. Zur Erläuterung des Operationsmikroskops 100 wird auf die Ausführungen zu den 1 und 2 verwiesen.
In einem ersten Verfahrensschritt S9 wird die aktuelle Pose P_akt des im Messraum 301 der Kamera 103 des Operationsmikroskops 100 positionierten Kalibrierobjekts 300 ermittelt. Mit anderen Worten wird die aktuelle Relativpose des Kalibrierobjekts 300 zur Kamera 103 basierend auf einem vorhandenen Kameramodell, das überprüft werden soll, ermittelt (siehe 10). Im nächsten Verfahrensschritt S10 wird eine gewünschte Zielpose P_ziel für das Kalibrierobjekt 300 im Messraum 301 festgelegt. Die Verfahrensschritte S9 und S10 können auch in umgekehrter Reihenfolge oder zeitgleich durchgeführt werden.
Im Verfahrensschritt S11 wird anschließend das Posendelta deltaP zum Erreichen der Zielpose P_ziel ausgehend von der aktuellen Pose P_akt ermittelt. Mit anderen Worten wird derjenige Vektor bestimmt, dementsprechend das Kalibrierobjekt 300 bewegt werden muss, um aus der aktuellen Pose P_akt in die Zielpose P_ziel überführt zu werden.
Im Verfahrensschritt S12 wird die aktuelle Pose P_akt des Kalibrierobjekts 300 entsprechend dem ermittelten Posendelta deltaP geändert. Dies kann wahlweise manuell oder automatisiert erfolgen. Bei einer manuellen Ausführung kann das ermittelte Posendelta deltaP an einem Monitor angezeigt werden. Anschließend wird die Kamera 103 derart manuell durch einen Nutzer, z. B. Servicemitarbeiter, Krankenhauspersonal, Montagemitarbeiter, verfahren, dass das Kalibrierobjekt 300 gemäß der Zielpose P_ziel im Messraum 301 positioniert wird. Bei einer automatisierten Ausführung wird das Posendelta deltaP mittels des robotischen Stativs 201 kommandiert, welches die Kamera 103 entsprechend bewegt. 11 zeigt das Kalibrierobjekt 300 in der tatsächlich erreichten Zielpose P_ziel_tat und den Bewegungspfad (gestrichelter Pfeil) der Kamera 103 für das Erreichen der tatsächlichen Zielpose P_ziel_tat.
Danach wird im Verfahrensschritt S13 die Abweichung zwischen der festgelegten Zielpose P_ziel und der tatsächlichen Zielpose P_ziel_tat ermittelt und mit einem Grenzwert für eine maximal zulässige Abweichung verglichen (Verfahrensschritt S14). Mit anderen Worten wird überprüft, ob die tatsächliche Zielpose P_ziel_tat den gewünschten Wert aufweist, d. h. ob die Differenz zwischen der Zielpose P_ziel und der tatsächlichen Zielpose P_ziel_tat unterhalb eines festgelegten Grenzwerts bzw. innerhalb eines vorgegebenen Toleranzbereichs liegt. Die ermittelte Abweichung kann als Maß für die Güte des Kameramodells angesehen werden.
Die Verfahrensschritte S9 bis S14 können anschließend für eine vorgebbare Anzahl an Zielposen P_ziel wiederholt werden, um zuverlässigere Aussagen über die aktuelle Kalibrierung erhalten zu können. Hierfür können Zielposen P_ziel im Nahbereich 105 und im Fernbereich 106, optional zusätzlich im mittleren Bereich 107, ausgewählt werden. Die Reihenfolge der Zielposen P_ziel kann frei gewählt werden. Die Reihenfolge der Zielposen P_ziel kann bevorzugt derart gewählt werden, dass die Dauer für eine Kalibrierfahrt, also die Zeitdauer für das Anfahren aller gewünschten Zielposen P_ziel, möglichst kurz ist.
Wird der Grenzwert überschritten, d. h. wird die geforderte Güte nicht erreicht, kann das Kameramodell erneut erstellt werden, beispielsweise unter Nutzung des vorstehend unter Bezugnahme auf die 3 bis 8 erläuterten Verfahrens.
12 zeigt eine beispielhafte Anordnung 400 in einer schematischen Darstellung. Diese Anordnung 400 kann zur Durchführung der vorstehend unter Bezugnahme auf die 3 bis 11 beschriebenen Verfahren genutzt werden und entsprechend ausgebildet sein.
Die Anordnung 400 weist ein Operationsmikroskop 100 mit einer Kamera 103 und einem Stativ 201 auf. Zur näheren Erläuterung wird beispielhaft auf die 1 und 2 samt zugehöriger Beschreibung verwiesen. Des Weiteren weist die Anordnung Mittel 410 auf, die geeignet sind, die Schritte eines Verfahrens zum Erstellen eines Kameramodells für eine Kamera eines Operationsmikroskops 100, eines Verfahrens zum Schätzen einer Pose eines Objekts in einem Messraum 301 der Kamera 103 des Operationsmikroskops 100 und eines Verfahrens zum Überprüfen des Kameramodells auszuführen. Diese Mittel 410 umfassen eine Steuereinheit 401, eine Verarbeitungseinheit 405 und eine Speichereinheit 406, die in einer signaltechnischen Wirkverbindung zueinander stehen, in 11 durch Doppelpfeile angedeutet.
Wie unter Bezugnahme auf die 1 und 2 bereits erläutert, kann die Steuereinheit 401 Steuersignale 403, 404 an die Kamera 103 und das Stativ 201 ausgeben. Dadurch wird einerseits das für das Anfertigen der Aufnahmen des Kalibrierobjekts 300 erforderliche Auslösen der Kamera 103 und andererseits die Positionierung der Kamera 103 durch entsprechende Bewegung des Stativs 201 ermöglicht. Weiterhin besteht eine signaltechnische Wirkverbindung zwischen der Kamera 103 und den Mitteln 410, um beispielsweise Aufnahmen der Kamera 103 in der Speichereinheit 406 speichern und in der Verarbeitungseinheit 405 verarbeiten zu können.
Die Signalübertragung kann jeweils kabelgebunden oder kabellos, z. B. unter Nutzung von Funksignalen erfolgen. Entsprechende Sende- und Empfangseinrichtungen sind in 12 nicht gezeigt, sie können jedoch fachüblich ausgebildet sein. Die Mittel 410 müssen folglich nicht notwendigerweise räumlich benachbart zum Operationsmikroskop angeordnet sein, sondern können auch entfernt, z. B. zentralisiert, vorhanden sein. Dies ermöglicht auch eine gemeinsame Nutzung der Mittel 410 für mehrere Operationsmikroskope 100. Auch die Mittel 410 müssen nicht notwendigerweise räumlich benachbart angeordnet sein. Beispielsweise besteht die Möglichkeit, dass die Steuereinheit 401 räumlich benachbart zum Operationsmikroskop 100 (siehe 1) angeordnet ist, während die Speichereinheit 406 und die Verarbeitungseinheit 405 räumlich entfernt angeordnet sein können.
13 zeigt ein Operationsmikroskop 100, das zusätzlich zur Kamera 103, die die Mikroskopkamera ist, eine weitere Kamera 108 aufweist. Die weitere Kamera 108 ist eine Umfeldkamera mit einem zugeordneten Koordinatensystem 505. Der Beobachtungsbereich 303 der weiteren Kamera 108 ist in 13 durch eine Strich-Punkt-Linie dargestellt. Die Kamera 103 und die weitere Kamera 108 sind mittels einer Verbindung 109 fest miteinander verbunden, so dass die Pose der beiden Kameras 103, 108 zueinander unveränderlich ist und eine rigide Transformation zwischen beiden Kameras 103, 108 ermöglicht ist.
Für die Kamera 103 kann wie vorstehend beschrieben ein Kameramodell erstellt werden. Optional kann zusätzlich ein Kameramodell für die weitere Kamera 108 erstellt werden, indem eine geeignete geometrische Transformation vom Koordinatensystem 502 der Kamera 103 zum Koordinatensystem 505 der weiteren Kamera 108 vorgenommen wird.
Insgesamt bietet die vorliegende Erfindung unter anderem folgende Vorteile:

- Der Prozess zum Erstellen des Kameramodells ist vollständig automatisierbar. Dadurch kann eine höhere Reproduzierbarkeit gegenüber zufälligen Aufnahmen erreicht werden.
- Gezielt gewählte Aufnahmen des Kalibrierobjekts im Messraum ermöglichen die Erstellung eines Kameramodells, welches für gesamten Messraum repräsentativ ist.
- Die Genauigkeit des Kameramodells kann erhöht werden, da Posen des Kalibrierobjekts (Vektor Kamera zu Kalibrierobjekt) gezielt angefahren werden können.
- Für das vorgeschlagene Verfahren zum Erstellen des Kameramodells ist nur ein Kalibrierobjekt mit bekannter Geometrie notwendig. Das Kalibrierobjekt kann auch auf einem Monitor abgebildet werden.
- Sollte sich das Kameramodell durch Temperatureinflüsse oder Transport verändern, so kann im Feld eine automatisierte Überprüfung des Kameramodells, z. B. durch das Krankenhauspersonal oder im Rahmen einer Fernwartung, erfolgen. Die Anzahl der Posen könnte hierzu verringert werden. Dies reduziert die benötigte Zeit.
- Bei Automatisierung ist kein manuelles Bewegen des Kalibrierobjekts oder des Operationsmikroskops notwendig.

Die vorliegende Erfindung wurde zu Erläuterungszwecken anhand von Ausführungsbeispielen im Detail erläutert. Ein Fachmann erkennt jedoch, dass er von Details dieser Ausführungsbeispiele abweichen kann.
Da für einen Fachmann erkennbar von den einzelnen beschriebenen Ausführungsbeispielen abgewichen werden kann, soll die vorliegende Erfindung nicht durch die beschriebenen Ausführungsbeispiele beschränkt sein, sondern lediglich durch die beigefügten Ansprüche.
Der hier verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeutet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elemente verwendet werden.
Bezugszeichenliste

100: Operationsmikroskop
102: optische Beobachtungseinheit
103: Kamera
104: Okular
105: Nahbereich
106: Fernbereich
107: mittlerer Bereich
108: weitere Kamera
109: Verbindung
201: Stativ
202: Stelleinrichtung
205: Stativfuß
206: Rollen
207: Fußbremse
208: Stativsäule
209: Tragarm
210: Federarm
211: Aufhängung für die optische Beobachtungseinheit
213: Verbindungselement
214: Haltearm
215: Schwenkarm
300: Kalibrierobjekt
301: Messraum
302: Beobachtungsbereich der Kamera
303: Beobachtungsbereich der weiteren Kamera
400: Anordnung
401: Steuereinheit
403: Steuersignal
404: Steuersignal
405: Verarbeitungseinheit
406: Speichereinheit
410: Mittel
501: Basiskoordinatensystem
502: Kamerakoordinatensystem
503: Koordinatensystem des Kalibrierobjekts
504: Vektor Kamera zu Kalibrierobjekt
505: Koordinatensystem der weiteren Kamera
A: Drehachse
B: Drehachse
C: Kippachse
D: Drehachse
E: Schwenkachse
F: Kippachse
OA: optische Achse
P0: Initialpose
P1, P2, ..., PN: Pose
P_akt: aktuelle Pose
P_ziel: festgelegte Zielpose
P_ziel_tat: tatsächliche Zielpose
deltaP: Posendelta
S1 bis S14: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019131646 [0012]
DE 102018115824 A1 [0032]

Claims

Verfahren zum Erstellen eines Kameramodells für eine Kamera (103) eines Operationsmikroskops (100), das Verfahren aufweisend die Schritte: - S1: Positionieren eines Kalibrierobjekts (300) in einer Initialpose (P0) in einem Beobachtungsbereich (302) einer Kamera (103) des Operationsmikroskops (100), - S2: Ermitteln eines Posendeltas (deltaP) zum Erreichen einer ersten Pose (P1) für das Kalibrierobjekt (300) in einem Messraum (301) der Kamera (103) ausgehend von der Initialpose (P0), wobei der Messraum (301) als das mittels der Kamera (103) zu beobachtende Volumen definiert ist, - S3: Positionieren des Kalibrierobjekts (300) in der ersten Pose (P1) entsprechend dem ermittelten Posendeltas (deltaP), - S4: Anfertigen einer Aufnahme des Kalibrierobjekts (300) in der ersten Pose (P1) mittels der Kamera (103), - S5: Positionieren des Kalibrierobjekts (300) in mindestens einer weiteren Pose (P2, P3, ..., PN) im Messraum (301) der Kamera (103), - S6: Anfertigen einer Aufnahme des Kalibrierobjekts (300) in der mindestens einen weiteren Pose (P2, P3, ..., PN) mittels der Kamera (103) und - S7: Erstellen eines Kameramodells basierend auf den angefertigten Aufnahmen, wobei die erste Pose (P1) und die mindestens eine weitere Pose (P2, P3, ..., PN) derart verteilt im Messraum (301) ausgewählt werden, dass ein bezogen auf den gesamten Messraum (301) repräsentatives Kameramodell erhalten wird.
Verfahren nach Anspruch 1, wobei eine erste Anzahl an Posen (P1, P2, P3, ..., PN) im Nahbereich (105) der Kamera (103) liegt und eine zweite Anzahl an Posen (P1, P2, P3, ..., PN) im Fernbereich (106) der Kamera (103) liegt.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Anzahl der Posen (P1, P2, P3, ..., PN) im Nahbereich (105) der Anzahl der Posen (P1, P2, P3, ..., PN) im Fernbereich (106) entspricht.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Posen (P1, P2, P3, ..., PN) derart ausgewählt werden, dass das Kalibrierobjekt (300) in jeder Pose (P1, P2, P3, ..., PN) vollständig im Messraum (301) positioniert ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei außerhalb des Messraums (301) lokalisierte charakteristische Markierungen des Kalibrierobjekts (300) bei dem Erstellen des Kameramodells unberücksichtigt bleiben.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Kalibrierobjekt (300) durch Veränderung der Position der Kamera (103) im Messraum (301) positioniert wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei der Messraum (301) eine Zylinderform oder Quaderform aufweist.
Verfahren nach einem der vorstehenden Ansprüche, aufweisend: - Verwenden des erstellten Kameramodells zum Erstellen eines Kameramodells einer weiteren Kamera (108) des Operationsmikroskops (100).
Verfahren nach einem der vorstehenden Ansprüche, wobei das Kalibrierobjekt (300) frei im Raum positioniert wird.
Verfahren zum Schätzen einer Pose eines Objekts in einem Messraum (301) einer Kamera (103) eines Operationsmikroskops (100), wobei die Pose unter Verwendung eines Kameramodells für die Kamera (103) des Operationsmikroskops (100) geschätzt wird (S8), wobei das Kameramodell mittels eines Verfahrens nach einem der Ansprüche 1 bis 9 erstellt wurde.
Verfahren zum Überprüfen eines Kameramodells, wobei das Kameramodell mittels eines Verfahrens nach einem der Ansprüche 1 bis 9 erstellt wurde, das Verfahren aufweisend: - S9: Ermitteln einer aktuellen Pose (P_akt) eines in einem Messraum (301) einer Kamera (103) des Operationsmikroskops (100) positionierten Kalibrierobjekts (300), - S10: Festlegen einer Zielpose (P_ziel) für das Kalibrierobjekt (300), - S11: Ermitteln eines Posendeltas (deltaP) zum Erreichen der Zielpose (P_ziel) ausgehend von der aktuellen Pose (P_akt), - S12: Ändern der aktuellen Pose (P_akt) des Kalibrierobjekts (300) entsprechend dem ermittelten Posendelta (deltaP), - S13: Ermitteln einer Abweichung zwischen der festgelegten Zielpose (P_ziel) und der tatsächlichen Zielpose (P_ziel_tat) und - S14: Vergleichen der ermittelten Abweichung mit einem Grenzwert für eine maximal zulässige Abweichung.
Anordnung (400), aufweisend: - ein Operationsmikroskop (100) mit einer Kamera (103) und - Mittel (410), die geeignet sind, die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen.
Anordnung nach Anspruch 12, wobei die Kamera (103) eine Umfeldkamera oder eine Mikroskopkamera ist.
Computerprogramm, umfassend Befehle, die bewirken, dass eine Anordnung (400) nach Anspruch 12 oder 13 ein Verfahren nach einem der Ansprüche 1 bis 11 ausführt.
Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.