-
Die Erfindung betrifft ein Verfahren zur bildbasierten Kalibrierung von Mehrkamerasystemen, insbesondere von Operationsmikroskopen mit Mehrkamerasystemen, mit veränderbaren Einstellparametern wie Fokus und Zoom. Das Ziel einer solchen Kalibration ist eine Modellierung des bildgebenden Systems, um dieses für eine 3D-Rekonstruktion von Oberflächen mittels stereoskopischer Verfahren verwenden zu können. Dabei steht eine geometrische Modellierung der Strahlengänge des Mehrkamerasystems im Vordergrund, da diese für die 3D Rekonstruktion zwingend erforderlich ist.
-
Ein Verfahren zur Kalibrierung von Mehrkamerasystemen ist beispielsweise aus der Veröffentlichung ”Modeling and calibration of automated zoom lenses”, Ph. D. dissertation, R. G. Wilson, The Robotics Institute, Carnegie Mellon Univ. Pittsburgh, PA, 1994 (nachfolgend: WILSON), bekannt. Zur Erzeugung eines kontinuierlichen Modells für die Kalibrierparameter wird in WILSON eine iterative Approximation durch Polynome vorgenommen, wobei ein Parameter nach dem anderen optimiert wird und in jedem Iterationsschritt für die aufgenommenen Bilder mit dem Modell des vorgehenden Iterationsschrittes die jeweils noch freien, nicht approximierten Parametern berechnet werden. Nachteilig an dem beschriebenen Verfahren ist jedoch, dass die Grundproblematik der geringeren Genauigkeit zwischen den abgetasteten Positionen ist nach wie vor vorhanden ist. Außerdem erfolgt die Berechnung nur anhand eines einzigen radialen Verzeichnungskoeffizient. Das in WILSON beschriebene Verfahren ist zudem sehr aufwändig, da für alle Objektiveinstellungen, also Fokus und Zoomstellungen des Operationsmikroskops, Kameramatrizen und Verzeichnungsparameter separat bestimmt werden müssen. Dazu sind für jede Einstellung, d. h. jede Kombination aus Fokus und Zoom, separat Kalibrieraufnahmen erforderlich. Ferner ist das in WILSON beschriebene Verfahren fehleranfällig in einigen Einstellbereichen, da die Hauptstrahlen des Objektivsystems bei hohen Zoomstellungen nahezu parallel verlaufen. Bereits kleine laterale Fehler der im Bild detektierten Kalibrierpunkte können zu starken Abweichungen in den berechneten Kalibrierdaten führen (Kameramatrizen, Verzeichnungsparameter, Rotation, Translation). Aus diesem Grund ist das beschriebene Lösungsverfahren numerisch instabil, da es mehrere Kombinationen von Kalibrierparametern geben kann, die auf ähnliche Werte der Kostenfunktion führen. Schließlich weist das in WILSON beschriebene Verfahren eine ungenügende Kalibriergenauigkeit an Einstellpositionen außerhalb des abgetasteten Einstellbereichs auf. Generell ergeben sich starke Abweichungen der berechneten Kalibrierdaten zwischen benachbarten Zoom- oder Fokusstellungen im abgetasteten Gebiet, die dazu führen, dass Objektiveinstellungen, die zwischen den abgetasteten Einstellpositionen liegen, sich nicht durch einfache Interpolation oder Approximation mit derselben Genauigkeit bestimmen lassen wie die abgetasteten Einstellpositionen. Selbst eine sehr feine Abtastung des Einstellbereichs hat solche Schwankungen zur Folge. Schließlich liefert die in WILSON offenbarte Methode keine absolut referenzierbaren Messwerte für eine darauf aufsetzende 3D Rekonstruktion.
-
Ein weiteres Verfahren zur Kalibrierung von Mehrkamerasystemen ist aus der
WO 2013/103 870 A1 bekannt. In diesem Verfahren wird über die Einstellpositionen hinweg kein kontinuierliches Modell für einzelne Parameter bestimmt, sondern es werden Verzeichnungskarten für benachbarte Einstellpositionen interpoliert. Nachteile an dem Verfahren ist, dass Verzeichnungskarten anfällig für Fehler an einzelnen Kalibrierpunkten im Bild sind und einen hohen Speicherbedarf haben, da für sehr viele mögliche Einstellpositionen des OPMIs jeweils eine bildfeldfüllende Karte aus 2D-Translationsvektoren gespeichert werden muss (Vektorfeldmodellierung). Auch Vektorfeldmodelle für Verzeichnung weisen eine 2D-Rotation und Translation als freie Parameter auf, das heißt es ist eine Mehrdeutigkeit in der Darstellung gegeben. Dies wird in der WO 2013/103 870 A1 dadurch gelöst, dass die Kalibrierung in zwei Schritten mit unterschiedlichen Kalibrierobjekten durchgeführt wird. Im ersten Schritt wird eine Kalibrierung an einer einzigen Einstellposition (Referenz-Setting ”S0”) nach dem Modell 'Lochkamera und radiale Verzeichnung' durchgeführt, wozu ein 3D-Kalibrierobjekt benötigt wird. Im zweiten Schritt werden die Verzeichnungskarten für viele Einstellpositionen ermittelt. Dieser Prozess ist sehr aufwändig, da die extrinsische Kalibrierung zum einen auf den naturgemäß geringeren Genauigkeiten des ersten Kalibrierschritts basiert, aber im ersten Schritt noch keine genauen Verzeichnungskarten während des Kalibrierprozesses bekannt sind. Außerdem sind für Einstellpositionen außerhalb des Referenz-Settings keine explizite Kameraabbildung angegeben, so dass dort auch keine 3D Strahlgeometrie kalibriert wird. Das bedeutet, dass die WO 2013/103 870 A1 auf einem über den gesamten Fokus- und Zoombereich festen optischen Zentrum der Strahlengänge basiert, so dass sie auf Operationsmikroskope nicht anwendbar ist, weil die Knotenpunkte der Strahlengänge über den Fokus-/Zoombereich zum Teil erheblich voneinander abweichen können.
-
Nachteilig an dem in der
WO 2013/103 870 A1 beschriebenen Verfahren ist ferner, dass für die Berechnung von Verzeichnungsmodellen mit vielen Parametern viele im Bild detektierbare Punkte des Kalibriermusters erforderlich sind, wobei die Punkte im gesamten zu kalibrierenden Bildbereich sichtbar sein müssen. Bei einem Schachbrettmuster sind dies beispielsweise die Eckpunkte der Kästchen, bei einem Punktemuster die Schwerpunkte der Punkte selbst. Da bei Operationsmikroskopen eine Gesamtvergrößerung über den Fokus- und Zoombereich stark variiert, sind viele solche Kalibriermuster mit jeweils verschiedenen Elementgrößen und Elementabständen notwendig. Für WILSON gilt dies in entsprechend abgeschwächter Form ebenso.
-
Aus
US 2005/0280709 A1 ist ein Verfahren zur bildbasierten Kalibrierung von Mehrkamerasystemen bekannt, bei welchem ein Lochkameramodell für extrinsische und intrinsische Kalibrierung für verschiedene Zoom- und/oder Fokuseinstellungen des Mehrkamerasystems angesetzt wird. Dabei kommen transparente Kalibriervorrichtungen zum Einsatz, die vor der jeweiligen Kamera platziert werden.
-
Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren für eine bildbasierte Kalibrierung von Mehrkamerasystemen anzugeben, welches sich durch eine hohe Genauigkeit der kalibrierten Strahlengänge im Objektraum über den gesamten Einstellbereich (insbesondere Fokus- und Zoombereich) auszeichnet. Das Verfahren soll sich ferner durch eine gute Robustheit, also eine korrekte Ermittlung der Parameter auch in den Randbereichen der Einstellpositionen, sowie Stabilität und gute Handhabbarkeit auszeichnen. Insbesondere soll ein Verfahren bereitgestellt werden, dass in einem einfachen Prozess mit wenigen Aufnahmen und unter Berücksichtigung einer geringen Anzahl von Einstellpositionen eine stabile Kalibrierung ermöglicht, wobei nur auf eine geringe Anzahl verschiedener Kalibrierobjekte zurückgegriffen werden soll.
-
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ein erfindungsgemäßes Verfahren zur bildbasierten Kalibrierung von Mehrkamerasystemen mit einstellbarem Fokus und/oder Zoom umfasst folgende Verfahrensschritte: Berechnung einer Anzahl von Strahlbündeln aus einer Optiksimulation für unterschiedliche Fokus und/oder Zoomeinstellungen oder Kombinationen aus Fokus- und Zoomeinstellungen; Auslesen der Fokus und/oder Zoomeinstellungen und Speichern dieser Werte mit den Strahlbündeln, so dass eine eindeutige Zuordnung gewährleistet ist; Parametrierung eines kontinuierlichen Lochkameramodells für extrinsische und intrinsische Kalibrierung für verschiedene Zoom- und/oder Fokuseinstellungen des Mehrkamerasystems basierend auf den Daten der Optiksimulation.
-
In einer Ausgestaltung der Erfindung erfolgt eine Parametrierung eines kontinuierlichen Lochkameramodells für extrinsische Kalibrierung aus Bilddaten eines Kalibrierobjekts für mehrere Fokus- und/oder Zoompositionen des Mehrkamerasystems.
-
In einer weiteren Ausgestaltung der Erfindung werden aus den gegebenen Parametern des kontinuierlichen Modells für intrinsische und extrinsische Kalibrierung und aus am Mehrkamerasystem eingestellten Fokus- und/oder Zoomeinstellungen mittels einer Auswertefunktion Kalibrierdaten für die Fokus- und Zoomeinstellungen berechnet.
-
Die Erfindung wird nachfolgend anhand der Figuren näher erläutert. Dabei zeigen im Einzelnen
-
1 ein Mikroskop zur Durchführung des erfindungsgemäßen Verfahrens;
-
2 einen Ablaufplan eines ersten Ausführungsbeispiels für das erfindungsgemäße Verfahren;
-
3 ein Ausführungsbeispiel für einen Kalibrierablauf;
-
4 ein Ausführungsbeispiel für einen Kalibrierkörper; und
-
5 weitere Ausführungsbeispiele für Kalibrierkörper.
-
In 1 ist ein Operationsmikroskopsystem mit einem Stereo-Operationsmikroskop 1 und einem Stereo-Kamerasystem 2 dargestellt. Das Operationsmikroskopsystem umfasst einen Computer 3 mit einer Datenverbindung zum Operationsmikroskop, zum Beispiel in Form eines Framegrabbers oder einer direkte Kabelverbindung, oder über eine Computerschnittstelle wie GigE oder USB.
-
In 2 ist ein Ablaufplan eines ersten Ausführungsbeispiels für ein erfindungsgemäßes Verfahren dargestellt. In dem Verfahren werden Daten aus der Optiksimulation, Einstellungen des Operationsmikroskops und reale Bildaufnahmen mit dem zu kalibrierenden Operationsmikroskop zu einem Arbeitsablauf verbunden, bei dem die Optiksimulation die Basis für die intrinsische Kalibrierung, also der Bestimmung der Kameraparameter für das Lochkameramodell und der Parameter der Verzeichnungsabbildung, bildet, um auf diese Weise die Genauigkeit und Robustheit einer Strahlrekonstruktion zu erhöhen.
-
Hierfür werden für jede Kalibrieraufnahme und für jede spätere Aufnahme von Bildpaaren für die Rekonstruktion Fokus- und Zoomstellungen des Operationsmikroskops mit Hilfe der Schnittstelle ermittelt und zusammen mit den Bilddaten gespeichert, so dass eine eindeutige Zuordnung gewährleistet ist.
-
Aus einem Optikdesign-Modell sind die Parameter des optischen Systems des Mikroskops wie Positionen, Radien, Brechungsindizes aller verwendeten optischen Bauelemente bzw. Linsen bekannt. Diese Modelle sind parametrisierbar, das heißt, es ist möglich, Baugruppen auf der Basis von Einstellparametern zu verschieben. Im vorliegenden Ausführungsbeispiel ist das optische System durch die Parameter Fokus und Zoom bestimmt. Aus den Parametern des optischen Systems ist mit Hilfe eines Simulationsprogramms zu jeder Einstellposition ein Strahlbündel im Objektraum berechenbar. Üblicherweise erfolgt dies mittels einer Raytracing-Methode. Als Ergebnis erhält man ein Strahlbündel, das die geometrische Abbildung für jedes Kamerapixel beschreibt, also für jedes Kamerapixels den zugehörigen Sichtstrahl im Objektraum vor dem Mikroskop. Sichtstrahlen können dabei bespielweise jeweils durch Aufpunkt und Richtungsvektor im Raum bestimmt sein. In einer Ausgestaltung der Erfindung wird dabei nicht für jedes einzelne Kamerapixel diese Information ermittelt, sondern es erfolgt aus Rechenzeitgründen eine Abtastung des Kamerabildes, so dass Sichtstrahlen für ausgewählte Pixelpositionen des Kamerabildes bestimmt werden.
-
Im ersten Schritt werden zu gegebenem Optikdesign und Einstellbereich des Operationsmikroskops Strahlbündeln für eine Anzahl an Einstellpositionen berechnet, das heißt es erfolgt eine feine Abtastung innerhalb des Einstellbereichs des Operationsmikroskops mit dem Ziel, daraus intrinsische und extrinsische Parameter für ein Lochkameramodell mit Verzeichnung zu bestimmen.
-
Das Lochkameramodell mit ist dabei definiert als Abbildung von 3D-Punkten im Objektraum (Raum vor dem Mikroskop) in den Bildraum (Pixelkoordinaten der Kamera) mittels
- (1) einer Transformationsabbildung im Raum bestehend aus Rotation und Translation, durch die ein Referenzkoordinatensystem der simulierten Strahlenbündel in ein Kamerakoordinatensystem bestehend aus optischer Achse und optischem Zentrum nach dem Lochkameramodell überführbar ist,
- (2) einer Zentralprojektion entlang von Strahlen durch den Ursprung (0, 0, 0) des Kamerakoordinatensystems (optisches Zentrum) in eine virtuelle Ebene im Abstand z = 1 vom Ursprung,
- (3) einer Verzeichnungsabbildung D mit Verzeichnungsparametern (d1, ..., dk) und
- (4) einer affinen Abbildung mit der Kameramatrix K in homogenen Koordinaten mit den Parametern: optisches Zentrum im Bild (u0, v0), Vergrößerungsfaktoren fx in x- und fy in y-Richtung und der Scherung s, Verzeichnungskoeffizienten k1, ... kn, sowie als extrinsische Parameter drei Rotationwinkel, die eine 3×3 Rotationsmatrix eindeutig beschreiben, und einen Translationsvektor drei Translationsparametern.
-
Die Verzeichnungsabbildung kann dabei sowohl über aus dem maschinellen Sehen bekannte Modelle der radialen und tangentialen Verzeichnung erfolgen oder wie in der
WO13103870A1 beschrieben über eine Verzeichnungskarte, d. h. ein Vektorfeldmodell. Für Verzeichnungskarten sind zur Kodierung der Verzeichnungsabbildung sehr viele Parameter notwendig, im Extremfall die x- und y-Ablagen für jedes Bildpixel des Kamerabildes. Weniger speicherintensiv ist eine Kodierung der Verzeichnung in Form von Koeffizienten geeigneter Basisfunktionen, z. B. Polynomfunktionen, in 2 Veränderlichen (z. B. 2D Tensorprodukt) oder in Form von B-Splines (Basisfunktionen eines polynomiellen Splineraums).
-
Berechnet wird für jedes Strahlbündel aus der Optiksimulation ein Satz von Parametern des Lochkameramodells mit Verzeichnung so dass zu Kamerapixeln zugehörige Sichtstrahlen im interessierenden Objektbereich die Strahlen aus der Optiksimulation möglichst gut approximieren, d. h. mit möglichst geringer Abweichung zwischen approximierten und simulierten Strahlen nach einem geometrischen Fehlermaß im Raum. Die Qualität der Approximation kann beispielsweise durch Minimierung nach dem least squares Verfahren oder durch Minimierung des maximalen Abstands oder einer anderen Metrik jeweils mittels Methoden der nicht-linearen Optimierung optimiert werden.
-
Nachfolgend werden Parameter eines kontinuierlichen Modells für jeden freien Kameraparameter des Lochkameramodells und jeden Verzeichnungsparameter über alle Zoom- und Fokuseinstellungen berechnet. Das kontinuierliche Modell kann dabei z. B. als Polynomfunktion oder Splinefunktion definiert sein, welche jeder Kombination aus Fokus und Zoomwert einen solchen Modellparameter zuweisen.
-
Bei gegebener intrinsischer Kalibrierung und gegebener Fokusposition erfolgt anschließend eine extrinsische Kalibrierung. Bei einem Stereosystem wird hierfür typischerweise eine Transformationsabbildung zwischen den beiden Kamerasystemen mittels Rotationmatrix und Translationsvektor kodiert, wofür 6 freie Parameter erforderlich sind. In dem vorliegenden Ausführungsbeispiel ist es jedoch ausreichend, nur die Abweichung zur extrinsischen Kalibrierung auf Basis der simulierten Daten zu kodieren, was mit wesentlich weniger Parametern erfolgen kann. Im vorliegenden Fall genügt als einziger freier Parameter ein Basisabstand der beiden Kamerapositionen in Abhängigkeit der Fokusposition. Daraus wird bevorzugt mittels einer Approximation mit einem Polyom- oder Spline-Modell eine kontinuierliche Repräsentation mit wenigen Parametern berechnet. Bei einer Anwendung, zu Beispiel bei einer Durchführung einer 3D-Rekonstruktion für ein Bildpaar des Operationsmikroskops, wird bei gegebenem Bildpaar und gegebenem Zoom- und Fokuswert eine intrinsische und extrinsische Kalibrierung mittels eines Auswertemoduls aus den Parametern der kontinuierlichen Repräsentation der Kalibrierung berechnet. Dazu wird die jeweilige Darstellung für jeden Kalibrierparameter nach dem Lochkameramodell mit Verzeichnung ausgewertet (3).
-
Zur Kalibrierung wird für jede Fokus- und Zoomeinstellung ein Kalibrierobjekt mit Merkmalen oder Mustern benötigt, die in beiden Kamerabildern sichtbar sind. Bei entsprechender Ausgestaltung kann dasselbe Kalibrierobjekt auch für mehrere Fokus- und Zoomstellungen ähnlicher Gesamtvergrößerung verwendet werden. Geeignete Kalibrierobjekte können zum Beispiel als Satz von planaren Schachbrettmustern ausgestaltet sein.
-
Als Muster für Kalibrierobjekte können beliebige von der Bildverarbeitung auswertbare Muster für Kalibrierobjekte verwendet werden (4 und 5). Für die extrinsische Kalibrierung ist eine eindeutige Zuordnung von Position und Orientierung des Musters im Bild zur 3D Geometrie des Musters notwendig. Dazu werden im Muster spezielle eindeutig zuzuordnende Bereiche angebracht. In 5 wurde beispielsweise ein 3-Punkt-Marker verwendet.
-
Ferner sind auch Glasplatte hoher Ebenheit oder Masken mit vorgegebenem Muster auf transparenter Folie die mittels Laser-Fotoplot erstellt wurden, vorstellbar. Ein Vorteil derartiger Kalibrierobjekte besteht darin, dass bei Durchlichtbetrachtung des Musters keine Schattenwürfe des Musters und somit keine schattierungsbedingten Kantenverschiebungen zwischen den beiden Bildkanälen (Linker/rechter Kanal des Stereo-Operationsmikroskops) auftreten.
-
In einem weiteren Ausführungsbeispiel wird ein Display, z. B. TFT oder LCD Display oder Microdisplay, mit einstellbarer Ortfrequenz des dargestellten Musters als Kalibrierobjekt verwendet. Dabei werden sinusförmige Intensitätsverläufe mit einstellbarer Wellenlänge auf dem Display dargestellt. Dieses Ausführungsbeispiel bietet den Vorteil, dass mit Hilfe sehr vieler phasengeschobener Aufnahmen mit mehreren Wellenlängen eine subpixelgenaue und eindeutige Zuordnung der beobachteten Pixel im Kamerabild zu realen 3D Positionen auf dem Display berechnet werden kann. Dazu werden Phasenschiebealgorithmen wie in der Deflektometrie üblich verwendet. Die Sichtscheibe (vordere Glasscheibe) des Displays sollte dabei eine bekannte und konstante Dicke, eine hohe Ebenheit und einen bekannten Brechungsindex aufweisen.
-
In weiteren Ausführungsbeispielen ist das Kalibrierobjekt als eloxierte Metallplatte hoher Ebenheit mit Bohrungen an bekannten Positionen vorgesehen. Bei einem planaren Kalibrierobjekt ist bevorzugt eine Verfahreinheit in z-Richtung des Optiksystems vorhanden, um eine Kalibrierung über den kompletten Zoom-/Fokusbereich des Operationsmikroskops vornehmen zu können.
-
Es sind auch 3D Kalibrierobjekt für extrinsische Kalibrierungen vorstellbar, mit denen viele Fokus- und Zoomeinstellung kalibriert werden können, ohne dass eine Verfahreinheit zwingend erforderlich ist. Solche 3D-Kalibrierobjekte können beispielsweise schichtweise mit planaren Mustern in mehreren Ebenen aufgebaut sein. Alternativ können sie auch als Kugeln mit bekanntem Durchmesser in verschiedenen Höhen an Stäben (Mehrkugeltarget, 5) ausgebildet sein. Der Vorteil dieser 3D Kalibrierobjekte besteht darin, dass die Kugeln auch bei unscharfer Abbildung im Kamerabild mittels Kreis-Fit oder Schwerpunktsmethode (bei kleinen Kugeln) detektierbar sind, so dass die Positionen subpixelgenau bestimmt werden werden. Voraussetzung hierfür ist ein ausreichender Kontrast zwischen Kugel und Hintergrund (Farbe der Kugel zu Farbe der Grundplatte).
-
Die Erfindung zeichnet sich durch eine Kombination aus Simulation, Auslesen des Fokusparameters und wenigen Aufnahmen zur extrinsischen Kalibration mit dem Ziel, die Kalibrierung genauer und weniger anfällig gegen Fehler zu gestalten, aus. Wie aus 2 ersichtlich wird die intrinsische Kalibrierung anhand von simulierten Strahldaten der Haupt- oder der Schwerstrahlen des Optiksystems durchgeführt. Aauch die Verzeichnungsparameter können sehr genau aus den Strahldaten berechnet werden. Dazu wird die Abweichung der berechneten Strahlen des Lochkameramodells mit Verzeichnung zu den gegebenen Strahlen aus der Simulation nach einem geometrischen Fehlermaß minimiert.
