-
Die Erfindung betrifft ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und ein medizinisches Mikroskop.
-
Ein Ziel der digitalen Visualisierung in der Chirurgie und Mikrochirurgie ist es, einem Chirurgen während einer Operation eine optimale dreidimensionale Abbildung eines Operationsfeldes sowie gegebenenfalls eine optimale dreidimensionale Überlagerung von generierten Informationen auf ein Sichtfeld an Anzeigeeinrichtungen (z.B. Monitoren oder Displays) des medizinischen Mikroskops bereitzustellen. Eine hierfür benötigte optimale Überlagerung der Abbildungen von Kameras eines Stereokamerasystems wird über eine digitale Kalibrierung der Kameras erreicht.
-
Durch die Anwendung optimierter Kalibrierdatensätze kann vermieden werden, dass es zu fehlerhaften dreidimensionalen Informationsüberlagerungen oder zu einer unangenehmen Darstellung der Abbildungen, verbunden mit z. B. Frustration und Ermüdungserscheinungen für den Chirurgen kommt. Wichtig ist hierbei insbesondere, dass die Kalibrierdaten immer aktuell sind, um eine Verschlechterung der dreidimensionalen Visualisierung zu vermeiden.
-
Verfahren zur internen und externen Kalibrierung von Kameras eines Stereokamerasystems, insbesondere zur Optimierung einer dreidimensionalen Überlagerung von externen Informationen, sind bekannt, beispielsweise aus
DE 10 2019 131 646 A1 und
EP 3 682 424 B1 .
-
Was die Verfahren jedoch nicht berücksichtigen ist, dass die Kalibrierdaten sich mit der Zeit durch verschiedene Einflüsse verschlechtern oder sogar ungültig werden können, was zu einer Verschlechterung der dreidimensionalen Visualisierung führt. Gründe hierfür können insbesondere externe Faktoren, wie Stöße (oft wird ein medizinisches Mikroskop zwischen verschiedenen Operationssälen hin- und herbewegt) und Temperaturwechsel, aber auch interne Faktoren, wie größer werdende Toleranzen in einer Mechanik von Optikkomponenten, sein. Diese Faktoren führen zu Verschiebungen in den optischen Abbildungspfaden des medizinischen Mikroskops, sodass die zur dreidimensionalen Bildoptimierung verwendeten Kalibrierdaten sukzessive schlechter oder sogar ungültig werden.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und ein medizinisches Mikroskop zu schaffen, mit denen verschlechterte und/oder ungültige Kalibrierdaten, insbesondere im regulären Betrieb im Feld, erkannt werden können.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein medizinisches Mikroskop mit den Merkmalen des Patentanspruchs 13 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Es ist einer der Grundgedanken der Erfindung, verschlechterte und/oder ungültige Kalibrierdaten anhand von mindestens einem Merkmal zu erkennen, das in Erfassungsbereichen von Kameras eines Stereokamerasystems angeordnet ist oder angeordnet wird. Ein Erfassungsbereich einer Kamera soll hierbei insbesondere alles umfassen, was im Sichtfeld der jeweiligen Kamera erfasst werden kann. Von dem mindestens einen Merkmal werden miteinander korrespondierende Abbildungen mittels der Kameras erfasst und mittels einer merkmalsbasierten Bildverarbeitung ausgewertet. Im Rahmen der Bildverarbeitung wird das mindestens eine Merkmal in den erfassten Abbildungen erkannt, wobei hierzu insbesondere an sich bekannte Verfahren der Computer Vision, der Mustererkennung und/oder der Künstlichen Intelligenz (insbesondere Maschinenlernverfahren) zum Einsatz kommen können. Anhand des erkannten mindestens einen Merkmals wird eine Dejustage und/oder eine Dekalibrierung der Kameras des Stereokamerasystems erkannt. Hierzu wird insbesondere eine Position des mindestens einen Merkmals in den erfassten miteinander korrespondierenden Abbildungen bestimmt und ausgewertet. In Abhängigkeit von, das heißt, basierend auf, einem Auswertungsergebnis wird mindestens eine Maßnahme durchgeführt. In einem einfachen Fall kann eine Maßnahme beispielsweise ein Ausgeben des Auswertungsergebnisses umfassen, um einem Nutzer den aktuellen Zustand des medizinischen Mikroskops mitzuteilen. Wird keine Dejustage und/oder Dekalibrierung erkannt, so wird insbesondere keine Maßnahme veranlasst bzw. die Maßnahme beinhaltet keine Aktion.
-
Insbesondere wird ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops zur Verfügung gestellt, wobei verschlechterte und/oder ungültige Kalibrierdaten erkannt werden, wobei hierzu
- - miteinander korrespondierende Abbildungen von mindestens einem in Erfassungsbereichen von Kameras eines Stereokamerasystems des medizinischen Mikroskops angeordneten Merkmals mittels der Kameras erfasst werden,
- - die erfassten Abbildungen mittels einer merkmalsbasierten Bildverarbeitung ausgewertet werden, wobei das mindestens eine Merkmal hierbei in den erfassten Abbildungen erkannt wird und anhand des erkannten mindestens einen Merkmals eine Dejustage und/oder eine Dekalibrierung der Kameras des Stereokamerasystems erkannt wird, und
wobei mindestens eine Maßnahme in Abhängigkeit von einem Auswertungsergebnis durchgeführt wird.
-
Ferner wird insbesondere ein medizinisches Mikroskop, insbesondere ein stereoskopisches medizinisches Mikroskop, geschaffen, umfassend ein Stereokamerasystem mit Kameras, die zum Erfassen von jeweils miteinander korrespondierenden Abbildungen von Erfassungsbereichen der Kameras eingerichtet sind, und eine Bildverarbeitungseinrichtung, die zum Verarbeiten der erfassten Abbildungen eingerichtet ist, wobei die Bildverarbeitungseinrichtung ferner dazu eingerichtet ist, verschlechterte und/oder ungültige Kalibrierdaten zu erkennen und hierzu ein Erfassen von miteinander korrespondierenden Abbildungen von mindestens einem in den Erfassungsbereichen der Kameras des Stereokamerasystems angeordneten Merkmals zu veranlassen, die erfassten miteinander korrespondierenden Abbildungen mittels einer merkmalsbasierten Bildverarbeitung auszuwerten, wobei das mindestens eine Merkmal hierbei in den erfassten Abbildungen erkannt wird und anhand des erkannten mindestens einen Merkmals eine Dejustage und/oder eine Dekalibrierung der Kameras des Stereokamerasystems erkannt wird, und mindestens eine Maßnahme in Abhängigkeit von einem Auswertungsergebnis zu veranlassen.
-
Das Verfahren und das medizinische Mikroskop ermöglichen es, eine Qualität von erfassten Abbildungen und/oder Kalibrierdaten der Kameras des medizinischen Mikroskops im regulären Betrieb des medizinischen Mikroskops, das heißt, im Feld, das heißt, an einem regulären Betriebsort, zu überprüfen und in Abhängigkeit von einer solchen Überprüfung notwendige Maßnahmen zu ergreifen, beispielsweise Maßnahmen, die eine Nachkalibrierung der Kameras und/oder eine Korrektur der Kalibrierdaten umfassen. Das Verfahren kann flexibel, regelmäßig und automatisiert im Feld eingesetzt werden, sodass insbesondere eine Qualität einer dreidimensionalen Visualisierung fortlaufend überwacht und konstant gehalten werden kann. Ein regulärer Betrieb ist insbesondere ein Betrieb des medizinischen Mikroskops an einem regulären Betriebsort in einem Operationssaal oder in einem Untersuchungsraum. Ein regulärer Betrieb ist insbesondere ein Betrieb während einer Untersuchung oder während einer Operation an einem Patienten.
-
Ein medizinisches Mikroskop ist insbesondere ein Operationsmikroskop. Ein medizinisches Mikroskop kann jedoch auch ein Mikroskop sein, das für medizinische Untersuchungen und/oder zu Diagnosezwecken verwendet wird, beispielsweise im Bereich der Augenheilkunde oder auf anderen Gebieten.
-
Verschlechterte Kalibrierdaten umfassen insbesondere Kalibrierdaten, mit denen zwar ein Arbeiten noch möglich ist, eine dreidimensionale Visualisierung und/oder Überlagerung aber qualitativ bereits eingeschränkt ist. Ungültige Kalibrierdaten umfassen insbesondere Kalibrierdaten, mit denen eine zufriedenstellende dreidimensionale Visualisierung und/oder Überlagerung überhaupt nicht mehr erreicht werden kann. Hierbei kann auch mindestens ein Qualitätskriterium (z.B. in Form von Grenzwerten für einen Versatz und/oder eine Rotation etc.) verwendet werden, um verschlechterte und/oder ungültige Kalibrierdaten zu erkennen.
-
Das mindestens eine Merkmal kann beispielsweise ein Merkmal eines in dem Erfassungsbereich angeordneten (künstlichen) Objektes sein. Das mindestens eine Merkmal kann auch ein Merkmal in einem Operationsfeld sein. Ferner kann das mindestens eine Merkmal auch ein virtuelles Merkmal sein, das beispielsweise in einen Erfassungsbereich eingeblendet und/oder projiziert wird oder in einen Strahlengang eingespiegelt wird.
-
Das Auswerten mittels der merkmalsbasierten Bildverarbeitung kann beispielsweise mittels eines Verfahrens der Künstlichen Intelligenz und/oder mittels klassischer Bildverarbeitung erfolgen. Nachfolgend werden kurz drei Beispiele beschrieben.
-
Im ersten Beispiel umfasst das mindestens eine Merkmal ein Schachbrettmuster, das in den Abbildungen erfasst wird. Ein trainiertes Verfahren der Künstlichen Intelligenz, beispielsweise ein trainiertes Neuronales Netz, erhält als Eingangsdaten die erfasste linke Abbildung und die erfasste rechte Abbildung des Schachbrettmusters. Als Ausgangsdaten liefert das trainierte Verfahren der Künstlichen Intelligenz beispielsweise eine Wahrscheinlichkeit und einen Wert für einen Versatz, beispielsweise in x- und/oder y-Richtung, und/oder eine Rotation (insbesondere einen Rotationswinkel bzw. Rotationsdifferenzwinkel). Während einer Trainingsphase wurde das Verfahren der Künstlichen Intelligenz mit Hilfe von Trainingsdaten trainiert, die durch gezielte Dekalibrierung der Kameras des Stereokamerasystems erhalten wurden, und für die ein Ausmaß der Dekalibrierung, beispielsweise ein Versatz, aufgrund der gezielt vorgenommenen Dekalibrierung als jeweilige Grundwahrheit bekannt ist.
-
Im zweiten Beispiel umfasst das mindestens eine Merkmal ebenfalls ein Schachbrettmuster, das von den Kameras erfasst wird. Sowohl in der erfassten linken Abbildung als auch in der erfassten rechten Abbildung werden mittels klassischer Bildverarbeitung Schnittpunkte von Feldern des Schachbrettmusters bestimmt, beispielsweise mittels eines Kantenfilters. Anschließend werden miteinander korrespondierende Schnittpunkte in der linken und rechten Abbildung bestimmt. Für die jeweils miteinander korrespondierenden Schnittpunkte wird jeweils beispielsweise ein euklidischer Abstand (mit Bezug auf die Koordinatensysteme von Bildelementen in den erfassten Abbildungen) bestimmt. Anhand der bestimmten euklidischen Abstände wird beispielsweise ein Fehlermaß für einen Versatz und/oder eine Rotation bestimmt und als Auswertungsergebnis bereitgestellt. Hierbei kann auch das Random Sample Consensus-(RANSAC)-Verfahren zum Einsatz kommen, um zum Beispiel Ausreißer zu identifizieren.
-
Im dritten Beispiel wird in den Abbildungen eine Operationsszene erfasst. In den erfassten Abbildungen werden Schlüsselpunkte (engl. Keypoints) bestimmt und mit Hilfe von Merkmalen beschrieben (z.B. mit Hilfe von Speeded Up Robust Features [SURF], Scale-Invariant Feature Transform [SIFT], Features from accelerated segment test [FAST], Binary Robust Independent Elementary Features [BRIEF] und/oder Oriented FAST and rotated BRIEF [ORB] etc.). Korrespondierende Schlüsselpunkte werden in der linken und der rechten Abbildung bestimmt. Anschließend werden insbesondere Abstände zwischen den jeweiligen Merkmalsvektoren von miteinander korrespondierenden Schlüsselpunkten in der linken und der rechten Abbildung bestimmt. Anhand der bestimmten Abstände wird beispielsweise ein Fehlermaß für einen Versatz und/oder eine Rotation und/oder eine Skalierung bestimmt und als Auswertungsergebnis bereitgestellt. Auch hier kann das RANSAC-Verfahren zum Einsatz kommen, um Ausreißer zu identifizieren.
-
Teile des medizinischen Mikroskops, insbesondere die Bildverarbeitungseinrichtung und/oder eine Steuereinrichtung des medizinischen Mikroskops, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind.
-
In einer Ausführungsform ist vorgesehen, dass beim Auswerten anhand des erkannten mindestens einen Merkmals ein Versatz zumindest in einer Richtung zwischen den erfassten miteinander korrespondierenden Abbildungen bestimmt und als Auswertungsergebnis bereitgestellt wird. Hierdurch kann ein Versatz mit in die Auswertung einbezogen werden. Über den Versatz kann eine Dekalibrierung besonders einfach festgestellt werden. Beispielsweise kann ein Versatz in y-Richtung, das heißt, ein Versatz des mindestens einen Merkmals in der Zeile der Bildelemente in den erfassten (linken und rechten) Abbildungen bestimmt werden und in Abhängigkeit von dem bestimmten Versatz in y-Richtung eine Maßnahme durchgeführt werden. Beispielsweise kann der bestimmte Versatz in y-Richtung durch Anpassen der Kalibrierdaten der Kameras korrigiert werden, sodass das mindestens eine Merkmal in beiden Abbildungen wieder in der gleichen Zeile erscheint. Ferner kann alternativ oder zusätzlich auch ein Versatz in x-Richtung bestimmt und im Rahmen einer Maßnahme korrigiert werden. Das Vorgehen ist hierbei grundsätzlich analog, wobei stets die Besonderheiten des stereoskopischen Abbildungspfades berücksichtigt werden (insbesondere eine gewünschte Parallaxe).
-
In einer Ausführungsform ist vorgesehen, dass beim Auswerten anhand des erkannten mindestens einen Merkmals eine Rotation (insbesondere ein Rotationswinkel bzw. Rotationsdifferenzwinkel) zwischen den erfassten miteinander korrespondierenden Abbildungen bestimmt und als Auswertungsergebnis bereitgestellt wird. Hierdurch kann eine Rotation mit in die Auswertung einbezogen werden. Beispielsweise können in Abhängigkeit von der bestimmten Rotation im Anschluss als Maßnahme Kalibrierdaten der Kameras des Stereokamerasystems derart angepasst werden, dass die Rotation zwischen den Abbildungen kompensiert ist.
-
In einer Ausführungsform ist vorgesehen, dass zum Überprüfen einer Fokuslagenkalibrierung eine Schärfe des mindestens einen Merkmals in den jeweils von den Kameras erfassten Abbildungen bestimmt wird, wobei eine Differenz zwischen den bestimmten Schärfen bestimmt wird und als Auswertungsergebnis bereitgestellt wird. Hierdurch kann eine Fokuslage mit in die Auswertung einbezogen werden. In einer anschließenden Maßnahme können die Fokuslagen der Kameras durch Anpassen der Kalibrierdaten angepasst werden und/oder es kann eine Nachkalibrierung und/oder Nachjustierung veranlasst werden.
-
In einer Ausführungsform ist vorgesehen, dass beim Erfassen der Abbildungen das mindestens eine Merkmal mittels mindestens einer Einspiegelungseinrichtung des medizinischen Mikroskops in einen jeweiligen Erfassungsbereich und/oder einen jeweiligen Strahlengang der Kameras des Stereokamerasystems eingespiegelt wird. Hierdurch kann das Merkmal in virtueller Form bereitgestellt werden. Ferner kann ein geeignetes Merkmal in beliebiger Form erzeugt werden, da das Merkmal digital erzeugt wird. Das Verfahren wird hierdurch flexibler. Insbesondere kann eine Überprüfung der Kalibrierdaten bzw. einer Qualität der erfassten Abbildungen ohne weitere Maßnahmen im regulären Betrieb erfolgen, da das mindestens eine Merkmal zu jeder Zeit und, darüber hinaus, auch nur für eine kurze Dauer eingespiegelt werden kann. Die mindestens eine Einspiegelungseinrichtung kann beispielsweise eine in den jeweiligen Strahlengang integrierte Dateneinspiegelungseinrichtung sein (z.B. ein Integrated Data Injection System, IDIS), welche an sich bekannt ist. Die Kameras erfassen dann jeweils auch eine eingespiegelte Information, insbesondere das eingespiegelte mindestens eine Merkmal. Beispielsweise kann das mindestens eine Merkmal hierzu ein Schachbrettmuster, Striche und/oder farbige Muster mit definierten horizontalen und vertikalen Kanten und Strukturen aufweisen. Ferner ist es hierdurch möglich, dass das Merkmal nur für eine derart kurze Dauer eingespiegelt wird, dass ein menschlicher Betrachter dieses nicht bewusst wahrnehmen kann (z.B. für eine Dauer von <50 ms). Das Einspiegeln kann auch während eines Leerlaufs und/oder beim Hoch- und/oder Herunterfahren des medizinischen Mikroskops erfolgen.
-
In einer Ausführungsform ist vorgesehen, dass das mindestens eine Merkmal zum Erfassen mittels einer Merkmalsaktorik automatisiert in den Erfassungsbereichen und/oder in einer Zwischenbildebene des medizinischen Mikroskops angeordnet wird und/oder dass das Stereokamerasystem zum Erfassen automatisiert mittels einer Aktorik bewegt wird, sodass das mindestens eine Merkmal in den Erfassungsbereichen angeordnet ist. Hierdurch kann ein physisch ausgebildetes Merkmal bereitgestellt werden. Insbesondere kann hierdurch eine vollständige optische Abbildungsstrecke überprüft werden. Es kann hierbei auch vorgesehen sein, dass die Aktorik das Stereokamerasystem derart bewegt, dass ein auf einer Anzeigeeinrichtung (z.B. einem Monitor) des medizinischen Mikroskops angezeigtes Merkmal und/oder ein an einem Stativ und/oder einer Konsole des medizinischen Mikroskops angeordnetes Merkmal (z.B. Kalibrierobjekt oder Herstellerlogo) erfasst werden kann. Wird das mindestens eine Merkmal in einer Zwischenbildebene des medizinischen Mikroskops angeordnet, so ist es nicht außerhalb des medizinischen Mikroskops angeordnet, sondern innerhalb des Abbildungspfades.
-
In einer Ausführungsform ist vorgesehen, dass das Erfassen der Abbildungen, das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme automatisiert beim Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops durchgeführt wird. Hierdurch kann eine Überprüfung einer Verschlechterung und/oder einer Gültigkeit der Kalibrierdaten und/oder einer Qualität der erfassten Abbildungen regelmäßig durchgeführt werden, sodass fortlaufend eine Qualität von erfassten Abbildungen und einer dreidimensionalen Visualisierung überprüft werden kann. Beispielsweise kann vorgesehen sein, bei jedem Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops das mindestens eine Merkmal mittels der mindestens einen Einspiegelungseinrichtung einzuspiegeln, Abbildungen hierzu zu erfassen und diese wie beschrieben auszuwerten.
-
In einer Ausführungsform ist vorgesehen, dass das Erfassen der Abbildungen, das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme während eines regulären Betriebs des medizinischen Mikroskops durchgeführt wird. Hierdurch kann auch während eines regulären Betriebs des medizinischen Mikroskops eine Justage und/oder eine Kalibrierung der Kameras des Stereokamerasystems überprüft werden und eine Dejustage und/oder Dekalibrierung erkannt werden. Die erfassten Abbildungen können insbesondere auch erfasste Live-Abbildungen während einer Operation sein.
-
In einer Ausführungsform ist vorgesehen, dass das Auswertungsergebnis mit mindestens einem vorgegebenen Grenzwert verglichen wird, wobei die mindestens eine Maßnahme in Abhängigkeit von einem Vergleichsergebnis ausgewählt wird. Hierdurch können grenzwertabhängige Maßnahmen veranlasst werden. Insbesondere können mehrere Grenzwerte vorgesehen sein, sodass eine Abstufung von verschiedenen Maßnahmen vorgenommen werden kann. Der mindestens eine vorgegebene Grenzwert kann beispielsweise durch Definition und/oder mit Hilfe von empirischen Versuchen und/oder Simulationen bestimmt werden. Ferner kann auch ein Verfahren der Künstlichen Intelligenz verwendet werden, um ausgehend von einer Rückmeldung von Chirurgen, ab wann eine verschlechterte Qualität bei der dreidimensionalen Visualisierung als störend empfunden wird, den mindestens einen Grenzwert zu bestimmen, insbesondere zu schätzen. Der mindestens eine vorgegebene Grenzwert kann beispielsweise einen Versatz und/oder eine Rotation zwischen den erfassten Abbildungen und/oder eine Differenz der Fokuslagen der Kameras betreffen.
-
In einer Ausführungsform ist vorgesehen, dass ein erster Grenzwert vorgegeben ist oder vorgegeben wird, wobei als Maßnahme Kalibrierdaten bestimmt und/oder angepasst werden, wenn das Auswertungsergebnis größer gleich dem vorgegebenen ersten Grenzwert ist.
-
In einer Ausführungsform ist vorgesehen, dass das Auswertungsergebnis in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert wird, wenn das Auswertungsergebnis unterhalb des vorgegebenen ersten Grenzwertes liegt. Hierdurch kann insbesondere durch eine Trendanalyse von im Zeitverlauf gespeicherten Vergleichsergebnissen vorausschauend ein Wartungstermin abgeschätzt werden. Insbesondere kann hierdurch bereits frühzeitig reagiert werden, wenn die Trendanalyse ergibt, dass sich die Kalibrierdaten zunehmend verschlechtern. Die Wartungsdatenbank kann beispielsweise in einem Speicher einer Steuereinrichtung des medizinischen Mikroskops hinterlegt sein und/oder von einem zentralen Server und/oder über eine cloudbasierte Lösung, bereitgestellt werden.
-
In einer Ausführungsform ist vorgesehen, dass ein zweiter Grenzwert vorgegeben ist oder vorgegeben wird, wobei als Maßnahme eine Servicemeldung erzeugt und angezeigt und/oder versandt wird, wenn das Auswertungsergebnis größer gleich dem vorgegebenen zweiten Grenzwert ist. Hierdurch kann beispielsweise bei einem besonders großen Versatz und/oder einer besonders großen Rotation zwischen den erfassten Abbildungen und/oder einer besonders großen Differenz der Fokuslagen der Kameras des Stereokamerasystems eine Servicemaßnahme veranlasst werden. Die Servicemeldung wird beispielsweise über eine Kommunikationsverbindung an einen zentralen Server, beispielsweise einen zentralen Server eines Herstellers des medizinischen Mikroskops, übermittelt.
-
Weitere Merkmale zur Ausgestaltung des medizinischen Mikroskops ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des medizinischen Mikroskops sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform des medizinischen Mikroskops;
- 2 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines stereoskopischen medizinischen Mikroskops.
-
Die 1 zeigt eine schematische Darstellung einer Ausführungsform des medizinischen Mikroskops 1. Das medizinische Mikroskop 1 umfasst ein Stereokamerasystem 2 mit einer linken Kamera 2l und einer rechten Kamera 2r. Ferner umfasst das medizinische Mikroskop 1 eine Bildverarbeitungseinrichtung 3. Die Bildverarbeitungseinrichtung 3 umfasst eine Recheneinrichtung 3-1 und einen Speicher 3-2. Die Bildverarbeitungseinrichtung 3 kann Teil einer Steuereinrichtung 4 des medizinischen Mikroskops 1 sein und/oder von dieser bereitgestellt werden. Das medizinische Mikroskop 1 ist beispielsweise ein Operationsmikroskop. Das in dieser Offenbarung beschriebene Verfahren wird nachfolgend anhand des medizinischen Mikroskops 1 näher erläutert.
-
Grundsätzlich können die Steuereinrichtung 4 und/oder die Bildverarbeitungseinrichtung 3 auch als mikroskopexterne Einrichtungen ausgebildet sein, welche beispielsweise mittels einer externen Datenverarbeitungseinrichtung, beispielsweise mittels eines Desktop-, Laptop- oder Tabletcomputers oder auch mittels einer cloudbasierten Lösung, bereitgestellt werden.
-
Die linke Kamera 21 erfasst über eine stereoskopische Abbildungsoptik 5 eine linke eines linken Erfassungsbereichs 301 und die rechte Kamera 2r erfasst eine hiermit korrespondierende rechte eines rechten Erfassungsbereichs 30r. Insbesondere ist vorgesehen, dass die Kameras 2l, 2r mittels Bildsensoren Rohsignale erzeugen, aus denen signaltechnisch die , erzeugt werden, wobei hierbei Kalibrierdaten berücksichtigt werden, welche beispielsweise einen Versatz und/oder eine Rotation zwischen den erfassten , signaltechnisch korrigieren. Die erfassten , können anschließend auf einer Anzeigeeinrichtung 6 des medizinischen Mikroskops 1 angezeigt werden.
-
Die Bildverarbeitungseinrichtung 3 ist zum Verarbeiten der erfassten , eingerichtet. Die Bildverarbeitungseinrichtung 3 ist ferner dazu eingerichtet, verschlechterte und/oder ungültige Kalibrierdaten zu erkennen und hierzu ein Erfassen von miteinander korrespondierenden , von mindestens einem in den Erfassungsbereichen der Kameras 2l, 2r des Stereokamerasystems 2 angeordneten Merkmals 31 zu veranlassen. Die Bildverarbeitungseinrichtung 3 wertet die erfassten miteinander korrespondierenden , aus, wobei das mindestens eine Merkmal 31 hierbei in den erfassten , erkannt wird und anhand des erkannten mindestens einen Merkmals 31 eine Dejustage und/oder eine Dekalibrierung der Kameras 2l, 2r des Stereokamerasystems 2 erkannt wird. In Abhängigkeit von einem erhaltenen Auswertungsergebnis 15 veranlasst die Bilderverarbeitungseinrichtung 3 mindestens eine Maßnahme 20.
-
Es kann vorgesehen sein, dass beim Auswerten anhand des erkannten mindestens einen Merkmals 31 ein Versatz 15-1 zumindest in einer Richtung zwischen den erfassten miteinander korrespondierenden , mittels der Bildverarbeitungseinrichtung 3 bestimmt und als Auswertungsergebnis 15 bereitgestellt wird. Der Versatz 15-1 umfasst beispielsweise eine Differenz zwischen Positionen von Bildelementen, die mit dem mindestens einen Merkmal 31 in den erfassten , korrespondieren. Beispielsweise kann zumindest eine Zeilendifferenz (Versatz in y-Richtung) bestimmt werden. Es kann jedoch zusätzlich oder alternativ auch eine Spaltendifferenz (Versatz in x-Richtung) bestimmt werden. Ferner können auch andere Fehlermaße bestimmt werden, beispielsweise ein euklidischer Abstand zwischen diesen Bildelementen in den beiden erfassten , .
-
Es kann vorgesehen sein, dass beim Auswerten anhand des erkannten mindestens einen Merkmals 31 eine Rotation 15-2, insbesondere ein Rotationswinkel bzw. Rotationsdifferenzwinkel, zwischen den erfassten miteinander korrespondierenden , bestimmt und als Auswertungsergebnis 15 bereitgestellt wird. Die Rotation 15-2 bezeichnet hierbei insbesondere eine Rotation 15-2 um einen Bildmittelpunkt der , . Zum Bestimmen der Rotation 15-2 können an sich bekannte Verfahren aus dem Bereich der Computer Vision und/oder Verfahren der Künstlichen Intelligenz eingesetzt werden.
-
Es kann vorgesehen sein, dass zum Überprüfen einer Fokuslagenkalibrierung eine Schärfe des mindestens einen Merkmals 31 in den jeweils von den Kameras 2l, 2r erfassten , bestimmt wird, wobei eine Differenz 15-3 zwischen den bestimmten Schärfen bestimmt wird und als Auswertungsergebnis 15 bereitgestellt wird.
-
Es kann vorgesehen sein, dass beim Erfassen der , das mindestens eine Merkmal 31 mittels einer linken Einspiegelungseinrichtung 7l und einer rechten Einspiegelungseinrichtung 7r des medizinischen Mikroskops 1 in einen jeweiligen Erfassungsbereich 30l, 30r und/oder einen jeweiligen Strahlengang der Kameras 21, 2r des Stereokamerasystems 2 eingespiegelt wird. Es kann grundsätzlich auch nur eine (gemeinsame) Einspiegelungseinrichtung verwendet werden, welche sich in einem gemeinsamen optischen Pfad der Kameras 21, 2r befindet. Das mindestens eine Merkmal 31 wird insbesondere an der Position der Einspiegelungseinrichtungen 7l, 7r (mittels eines halbdurchlässigen Spiegels) in einen jeweiligen Strahlengang der Abbildungsoptik 5 eingespiegelt, sodass dieses jeweils von Bildsensoren der Kameras 2l, 2r erfasst werden kann. Die Einspiegelungseinrichtungen 7l, 7r werden beispielsweise mittels der Steuereinrichtung 4 des medizinischen Mikroskops 1 angesteuert. Die einzuspiegelnden Informationen, insbesondere das einzuspiegelnde mindestens eine Merkmal 31, werden ebenfalls von der Steuereinrichtung 4 erzeugt und bereitgestellt.
-
Eine Einspiegelungseinrichtung kann beispielsweise ein Integrated Data Injection System (IDIS) der Firma Carl Zeiss Meditec AG sein.
-
Es kann vorgesehen sein, dass das mindestens eine Merkmal 31 zum Erfassen mittels einer Merkmalsaktorik (nicht gezeigt) automatisiert in den Erfassungsbereichen 30l, 301 angeordnet wird und/oder dass das Stereokamerasystem 2 zum Erfassen automatisiert mittels einer Aktorik 8 bewegt wird, sodass das mindestens eine Merkmal 31 in den Erfassungsbereichen 30l, 30r angeordnet ist. Die Aktorik 8 wird hierzu mittels der Steuereinrichtung 4 angesteuert. Die Merkmalsaktorik zum Anordnen des mindestens einen Merkmals 31 in den Erfassungsbereichen 30l, 30r kann beispielsweise einen Schwenkarm umfassen, mit dem ein Kalibrierobjekt mit dem mindestens einen Merkmal 31 in die Erfassungsbereiche 30l, 30r eingeschwenkt werden kann.
-
Es kann vorgesehen sein, dass das Erfassen der , , das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme 20 automatisiert beim Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops 1 durchgeführt wird. Dies kann von der Steuereinrichtung 4 und/oder von der Bildverarbeitungseinrichtung 3 ausgelöst werden. Beispielsweise kann das Überprüfen der Kalibrierung ein fest in einen Ablauf des Hochfahrens und/oder Herunterfahrens des medizinischen Mikroskops 1 integrierter Prozess sein. Ein Leerlauf kann beispielsweise erkannt werden mittels der Bildverarbeitungseinrichtung 3, wobei diese hierzu fortlaufend erfasste , auswertet und das Überprüfen (insbesondere immer dann) veranlasst, wenn sich der in den , abgebildete Inhalt für eine vorgegebene Mindestdauer nicht verändert. Ferner kann ein Leerlauf auch erkannt werden, indem Parameter bzw. Parameteränderungen des medizinischen Mikroskops 1 überwacht werden. Werden für eine vorgegebene Zeit keine Parameter, insbesondere keine Steuerparameter einer Aktorik des medizinischen Mikroskops 1, geändert, so wird ein Leerlauf erkannt. Ferner kann auch eine Softwareabfrage erfolgen, bei der festgestellt wird, ob sich das medizinische Mikroskop 1 in einem Leerlauf befindet oder nicht. Ein Leerlauf kann insbesondere erkannt auch werden, wenn für eine vorgegebene Dauer keine Interaktion mit dem medizinischen Mikroskop 1 erfolgt.
-
Es kann auch vorgesehen sein, dass das Erfassen der , , das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme 20 während eines regulären Betriebs des medizinischen Mikroskops 1 durchgeführt wird.
-
Es kann vorgesehen sein, dass das Auswertungsergebnis 15 mit mindestens einem vorgegebenen Grenzwert 16 verglichen wird, wobei die mindestens eine Maßnahme 20 in Abhängigkeit von einem Vergleichsergebnis ausgewählt wird. Ein Grenzwert 16 kann beispielsweise für einen Versatz 15-1, eine Rotation 15-2, eine Differenz 15-3 zwischen den bestimmten Schärfen (Fokuslage) und/oder für einen sonstiges Fehlermaß vorgegeben sein bzw. vorgegeben werden. Das Vergleichen erfolgt in der Bildverarbeitungseinrichtung 3 und/oder in der Steuereinrichtung 4.
-
Es kann vorgesehen sein, dass ein erster Grenzwert 16-1 vorgegeben ist oder vorgegeben wird, wobei als Maßnahme 20 Kalibrierdaten bestimmt und/oder angepasst werden, wenn das Auswertungsergebnis 15 größer gleich dem vorgegebenen ersten Grenzwert 16-1 ist.
-
Es kann ferner vorgesehen sein, dass das Auswertungsergebnis 15 in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert wird, wenn das Auswertungsergebnis 15 unterhalb des vorgegebenen ersten Grenzwertes 16-1 liegt.
-
Es kann vorgesehen sein, dass ein zweiter Grenzwert 16-2 vorgegeben ist oder vorgegeben wird, wobei als Maßnahme 20 eine Servicemeldung erzeugt und angezeigt und/oder versandt wird, wenn das Auswertungsergebnis 15 größer gleich dem vorgegebenen zweiten Grenzwert 16-2 ist.
-
In der 2 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines stereoskopischen medizinischen Mikroskops gezeigt. Das medizinische Mikroskop ist beispielsweise wie die in der 1 gezeigte Ausführungsform ausgestaltet.
-
Das Verfahren wird in einem Verfahrensschritt 100 gestartet, wenn das medizinische Mikroskop für einen (regulären) Betrieb hochfährt und/oder wenn das medizinische Mikroskop nach einem (regulären) Betrieb herunterfährt.
-
In einem Verfahrensschritt 101 wird mindestens ein Merkmal in Strahlengänge von Kameras eines Stereokamerasystems mittels Einspiegelungseinrichtungen (z.B. IDIS) eingespiegelt. Das mindestens eine Merkmal umfasst beispielsweise ein Schachbrettmuster. Das Schachbrettmuster wird dann in den linken und in den rechten Strahlengang (oder alternativ in einen gemeinsamen Strahlengang/Pfad) eingespiegelt, sodass die jeweiligen Schachbrettmuster von der linken und der rechten Kamera erfasst werden können.
-
In einem Verfahrensschritt 102 werden miteinander korrespondierende Abbildungen von dem mindestens einen in den Erfassungsbereichen der Kameras des Stereokamerasystems des medizinischen Mikroskops angeordneten Merkmals mittels der Kameras erfasst. Insbesondere werden die jeweils in die Strahlengänge eingespiegelten Schachbrettmuster erfasst. Die erfassten Abbildungen werden mittels einer merkmalsbasierten Bildverarbeitung ausgewertet. Insbesondere werden hierbei Positionen der einzelnen Schachbrettkästchen in den Schachbrettmustern, beispielsweise mit Hilfe von Kantenfiltern, bestimmt.
-
In Verfahrensschritt 103 wird ein x-/y-Versatz und/oder eine Rotation, insbesondere ein Rotationswinkel, zwischen den erfassten Abbildungen und/oder, korrespondierend hiermit, zwischen den Kameras des Stereokamerasystems bestimmt und als Auswertungsergebnis bereitgestellt. Es kann auch vorgesehen sein, dass ein aggregiertes Fehlermaß bestimmt und als Auswertungsergebnis bereitgestellt wird, welches einen x-Versatz und/oder einen y-Versatz und/oder eine Rotation und/oder weitere Größen umfassen kann.
-
In Verfahrensschritt 104 wird das Auswertungsergebnis mit vorgegebenen Grenzwerten verglichen, um hierdurch Maßnahmen zu bestimmen, die durchgeführt und/oder veranlasst werden sollen. Der Verfahrensschritt 104 umfasst die Verfahrensschritte 105-110. Es kann hierbei vorgesehen sein, dass die in Verfahrensschritt 103 bestimmten Größen mit jeweiligen vorgegebenen Grenzwerten verglichen werden oder dass ein (einziges) aggregiertes Fehlermaß mit jeweiligen vorgegeben Grenzwerten verglichen wird.
-
In Verfahrensschritt 105 wird überprüft, ob das Auswertungsergebnis (einzelner Wert bzw. aggregiertes Fehlermaß) kleiner als ein erster vorgegebener Grenzwert ist. Ist dies der Fall, so wird das Auswertungsergebnis in Verfahrensschritt 106 in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert.
-
In Verfahrensschritt 107 wird überprüft, ob das Auswertungsergebnis (einzelner Wert bzw. aggregiertes Fehlermaß) größer gleich dem ersten vorgegebenen Grenzwert ist. Ist dies der Fall, so werden in einem Verfahrensschritt 108 Kalibrierdaten in an sich bekannter Weise bestimmt und/oder angepasst. Es kann ferner vorgesehen sein, dass nach einem Bestimmen und/oder Anpassen der Kalibrierdaten das mindestens eine Merkmal, insbesondere die eingespiegelten Schachbrettmuster, erneut erfasst und ausgewertet werden, um eine Wirksamkeit der bestimmten und/oder angepassten Kalibrierdaten zu überprüfen.
-
In Verfahrensschritt 109 wird überprüft, ob das Auswertungsergebnis (einzelner Wert bzw. aggregiertes Fehlermaß) kleiner als ein zweiter vorgegebener Grenzwert ist. Der zweite vorgegebene Grenzwert ist hierbei insbesondere größer gewählt als der erste vorgegebene Grenzwert. Ist dies der Fall, so wird in Verfahrensschritt 110 eine Servicemeldung erzeugt und angezeigt und/oder versandt, beispielsweise an einen zentralen Server eines Herstellers des medizinischen Mikroskops und/oder eines Wartungsdienstleisters. Auf diese Weise kann bei einer sehr starken Dejustage und/oder Dekalibrierung automatisiert ein Service-Einsatz veranlasst werden.
-
Anschließend ist das Verfahren beendet 111.
-
Einer der Vorteile des in dieser Offenbarung beschriebenen Verfahrens und des medizinischen Mikroskops ist die Möglichkeit, eine Qualität von erfassten Abbildungen der Kameras des Stereokamerasystems automatisiert und fortlaufend zu überwachen und bei einem Abfall dieser Qualität geeignete Maßnahmen ergreifen zu können. Insgesamt kann hierdurch eine dreidimensionale Visualisierung mit gleichbleibend hoher Qualität bereitgestellt werden.
-
Bezugszeichenliste
-
- 1
- Medizinisches Mikroskop
- 2
- Stereokamerasystem
- 2l
- linke Kamera
- 2r
- rechte Kamera
- 3
- Bildverarbeitungseinrichtung
- 3-1
- Recheneinrichtung
- 3-2
- Speicher
- 4
- Steuereinrichtung
- 5
- stereoskopische Abbildungsoptik
- 6
- Anzeigeeinrichtung
- 7l
- linke Einspiegelungseinrichtung
- 7r
- rechte Einspiegelungseinrichtung
- 8
- Aktorik
- 10l
- linke Abbildung
- 10r
- rechte Abbildung
- 15
- Auswertungsergebnis
- 15-1
- Versatz
- 15-2
- Rotation
- 15-3
- Differenz (Fokuslagen)
- 16
- Grenzwert
- 16-1
- erster Grenzwert
- 16-2
- zweiter Grenzwert
- 20
- Maßnahme
- 30l
- Erfassungsbereich (linke Kamera)
- 30r
- Erfassungsbereich (rechte Kamera)
- 31
- Merkmal
- 100-111
- Verfahrensschritte des Verfahrens
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019131646 A1 [0004]
- EP 3682424 B1 [0004]