DE102022200819A1 - Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop - Google Patents

Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop Download PDF

Info

Publication number
DE102022200819A1
DE102022200819A1 DE102022200819.7A DE102022200819A DE102022200819A1 DE 102022200819 A1 DE102022200819 A1 DE 102022200819A1 DE 102022200819 A DE102022200819 A DE 102022200819A DE 102022200819 A1 DE102022200819 A1 DE 102022200819A1
Authority
DE
Germany
Prior art keywords
feature
cameras
images
medical microscope
evaluation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022200819.7A
Other languages
English (en)
Inventor
Felicia Walz
Dominik Scherer
Stefan Saur
Marco Wörner
Lars Stoppe
Christian Platt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Priority to DE102022200819.7A priority Critical patent/DE102022200819A1/de
Priority to US18/100,886 priority patent/US20230236405A1/en
Publication of DE102022200819A1 publication Critical patent/DE102022200819A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops (1), wobei verschlechterte und/oder ungültige Kalibrierdaten erkannt werden, wobei hierzu miteinander korrespondierende Abbildungen (10l,10r) von mindestens einem in Erfassungsbereichen (30l,30r) von Kameras (2l,2r) eines Stereokamerasystems (2) des medizinischen Mikroskops (1) angeordneten Merkmals (31) mittels der Kameras (2l,2r) erfasst werden, die erfassten Abbildungen (10l,10r) mittels einer merkmalsbasierten Bildverarbeitung ausgewertet werden, wobei das mindestens eine Merkmal (31) hierbei in den erfassten Abbildungen (10l,10r) erkannt wird und anhand des erkannten mindestens einen Merkmals (31) eine Dejustage und/oder eine Dekalibrierung der Kameras (10l,10r) des Stereokamerasystems (2) erkannt wird; und wobei mindestens eine Maßnahme (20) in Abhängigkeit von einem Auswertungsergebnis (15) durchgeführt wird. Ferner betrifft die Erfindung ein medizinisches Mikroskop (1).

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und ein medizinisches Mikroskop.
  • Ein Ziel der digitalen Visualisierung in der Chirurgie und Mikrochirurgie ist es, einem Chirurgen während einer Operation eine optimale dreidimensionale Abbildung eines Operationsfeldes sowie gegebenenfalls eine optimale dreidimensionale Überlagerung von generierten Informationen auf ein Sichtfeld an Anzeigeeinrichtungen (z.B. Monitoren oder Displays) des medizinischen Mikroskops bereitzustellen. Eine hierfür benötigte optimale Überlagerung der Abbildungen von Kameras eines Stereokamerasystems wird über eine digitale Kalibrierung der Kameras erreicht.
  • Durch die Anwendung optimierter Kalibrierdatensätze kann vermieden werden, dass es zu fehlerhaften dreidimensionalen Informationsüberlagerungen oder zu einer unangenehmen Darstellung der Abbildungen, verbunden mit z. B. Frustration und Ermüdungserscheinungen für den Chirurgen kommt. Wichtig ist hierbei insbesondere, dass die Kalibrierdaten immer aktuell sind, um eine Verschlechterung der dreidimensionalen Visualisierung zu vermeiden.
  • Verfahren zur internen und externen Kalibrierung von Kameras eines Stereokamerasystems, insbesondere zur Optimierung einer dreidimensionalen Überlagerung von externen Informationen, sind bekannt, beispielsweise aus DE 10 2019 131 646 A1 und EP 3 682 424 B1 .
  • Was die Verfahren jedoch nicht berücksichtigen ist, dass die Kalibrierdaten sich mit der Zeit durch verschiedene Einflüsse verschlechtern oder sogar ungültig werden können, was zu einer Verschlechterung der dreidimensionalen Visualisierung führt. Gründe hierfür können insbesondere externe Faktoren, wie Stöße (oft wird ein medizinisches Mikroskop zwischen verschiedenen Operationssälen hin- und herbewegt) und Temperaturwechsel, aber auch interne Faktoren, wie größer werdende Toleranzen in einer Mechanik von Optikkomponenten, sein. Diese Faktoren führen zu Verschiebungen in den optischen Abbildungspfaden des medizinischen Mikroskops, sodass die zur dreidimensionalen Bildoptimierung verwendeten Kalibrierdaten sukzessive schlechter oder sogar ungültig werden.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und ein medizinisches Mikroskop zu schaffen, mit denen verschlechterte und/oder ungültige Kalibrierdaten, insbesondere im regulären Betrieb im Feld, erkannt werden können.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein medizinisches Mikroskop mit den Merkmalen des Patentanspruchs 13 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Es ist einer der Grundgedanken der Erfindung, verschlechterte und/oder ungültige Kalibrierdaten anhand von mindestens einem Merkmal zu erkennen, das in Erfassungsbereichen von Kameras eines Stereokamerasystems angeordnet ist oder angeordnet wird. Ein Erfassungsbereich einer Kamera soll hierbei insbesondere alles umfassen, was im Sichtfeld der jeweiligen Kamera erfasst werden kann. Von dem mindestens einen Merkmal werden miteinander korrespondierende Abbildungen mittels der Kameras erfasst und mittels einer merkmalsbasierten Bildverarbeitung ausgewertet. Im Rahmen der Bildverarbeitung wird das mindestens eine Merkmal in den erfassten Abbildungen erkannt, wobei hierzu insbesondere an sich bekannte Verfahren der Computer Vision, der Mustererkennung und/oder der Künstlichen Intelligenz (insbesondere Maschinenlernverfahren) zum Einsatz kommen können. Anhand des erkannten mindestens einen Merkmals wird eine Dejustage und/oder eine Dekalibrierung der Kameras des Stereokamerasystems erkannt. Hierzu wird insbesondere eine Position des mindestens einen Merkmals in den erfassten miteinander korrespondierenden Abbildungen bestimmt und ausgewertet. In Abhängigkeit von, das heißt, basierend auf, einem Auswertungsergebnis wird mindestens eine Maßnahme durchgeführt. In einem einfachen Fall kann eine Maßnahme beispielsweise ein Ausgeben des Auswertungsergebnisses umfassen, um einem Nutzer den aktuellen Zustand des medizinischen Mikroskops mitzuteilen. Wird keine Dejustage und/oder Dekalibrierung erkannt, so wird insbesondere keine Maßnahme veranlasst bzw. die Maßnahme beinhaltet keine Aktion.
  • Insbesondere wird ein Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops zur Verfügung gestellt, wobei verschlechterte und/oder ungültige Kalibrierdaten erkannt werden, wobei hierzu
    • - miteinander korrespondierende Abbildungen von mindestens einem in Erfassungsbereichen von Kameras eines Stereokamerasystems des medizinischen Mikroskops angeordneten Merkmals mittels der Kameras erfasst werden,
    • - die erfassten Abbildungen mittels einer merkmalsbasierten Bildverarbeitung ausgewertet werden, wobei das mindestens eine Merkmal hierbei in den erfassten Abbildungen erkannt wird und anhand des erkannten mindestens einen Merkmals eine Dejustage und/oder eine Dekalibrierung der Kameras des Stereokamerasystems erkannt wird, und
    wobei mindestens eine Maßnahme in Abhängigkeit von einem Auswertungsergebnis durchgeführt wird.
  • Ferner wird insbesondere ein medizinisches Mikroskop, insbesondere ein stereoskopisches medizinisches Mikroskop, geschaffen, umfassend ein Stereokamerasystem mit Kameras, die zum Erfassen von jeweils miteinander korrespondierenden Abbildungen von Erfassungsbereichen der Kameras eingerichtet sind, und eine Bildverarbeitungseinrichtung, die zum Verarbeiten der erfassten Abbildungen eingerichtet ist, wobei die Bildverarbeitungseinrichtung ferner dazu eingerichtet ist, verschlechterte und/oder ungültige Kalibrierdaten zu erkennen und hierzu ein Erfassen von miteinander korrespondierenden Abbildungen von mindestens einem in den Erfassungsbereichen der Kameras des Stereokamerasystems angeordneten Merkmals zu veranlassen, die erfassten miteinander korrespondierenden Abbildungen mittels einer merkmalsbasierten Bildverarbeitung auszuwerten, wobei das mindestens eine Merkmal hierbei in den erfassten Abbildungen erkannt wird und anhand des erkannten mindestens einen Merkmals eine Dejustage und/oder eine Dekalibrierung der Kameras des Stereokamerasystems erkannt wird, und mindestens eine Maßnahme in Abhängigkeit von einem Auswertungsergebnis zu veranlassen.
  • Das Verfahren und das medizinische Mikroskop ermöglichen es, eine Qualität von erfassten Abbildungen und/oder Kalibrierdaten der Kameras des medizinischen Mikroskops im regulären Betrieb des medizinischen Mikroskops, das heißt, im Feld, das heißt, an einem regulären Betriebsort, zu überprüfen und in Abhängigkeit von einer solchen Überprüfung notwendige Maßnahmen zu ergreifen, beispielsweise Maßnahmen, die eine Nachkalibrierung der Kameras und/oder eine Korrektur der Kalibrierdaten umfassen. Das Verfahren kann flexibel, regelmäßig und automatisiert im Feld eingesetzt werden, sodass insbesondere eine Qualität einer dreidimensionalen Visualisierung fortlaufend überwacht und konstant gehalten werden kann. Ein regulärer Betrieb ist insbesondere ein Betrieb des medizinischen Mikroskops an einem regulären Betriebsort in einem Operationssaal oder in einem Untersuchungsraum. Ein regulärer Betrieb ist insbesondere ein Betrieb während einer Untersuchung oder während einer Operation an einem Patienten.
  • Ein medizinisches Mikroskop ist insbesondere ein Operationsmikroskop. Ein medizinisches Mikroskop kann jedoch auch ein Mikroskop sein, das für medizinische Untersuchungen und/oder zu Diagnosezwecken verwendet wird, beispielsweise im Bereich der Augenheilkunde oder auf anderen Gebieten.
  • Verschlechterte Kalibrierdaten umfassen insbesondere Kalibrierdaten, mit denen zwar ein Arbeiten noch möglich ist, eine dreidimensionale Visualisierung und/oder Überlagerung aber qualitativ bereits eingeschränkt ist. Ungültige Kalibrierdaten umfassen insbesondere Kalibrierdaten, mit denen eine zufriedenstellende dreidimensionale Visualisierung und/oder Überlagerung überhaupt nicht mehr erreicht werden kann. Hierbei kann auch mindestens ein Qualitätskriterium (z.B. in Form von Grenzwerten für einen Versatz und/oder eine Rotation etc.) verwendet werden, um verschlechterte und/oder ungültige Kalibrierdaten zu erkennen.
  • Das mindestens eine Merkmal kann beispielsweise ein Merkmal eines in dem Erfassungsbereich angeordneten (künstlichen) Objektes sein. Das mindestens eine Merkmal kann auch ein Merkmal in einem Operationsfeld sein. Ferner kann das mindestens eine Merkmal auch ein virtuelles Merkmal sein, das beispielsweise in einen Erfassungsbereich eingeblendet und/oder projiziert wird oder in einen Strahlengang eingespiegelt wird.
  • Das Auswerten mittels der merkmalsbasierten Bildverarbeitung kann beispielsweise mittels eines Verfahrens der Künstlichen Intelligenz und/oder mittels klassischer Bildverarbeitung erfolgen. Nachfolgend werden kurz drei Beispiele beschrieben.
  • Im ersten Beispiel umfasst das mindestens eine Merkmal ein Schachbrettmuster, das in den Abbildungen erfasst wird. Ein trainiertes Verfahren der Künstlichen Intelligenz, beispielsweise ein trainiertes Neuronales Netz, erhält als Eingangsdaten die erfasste linke Abbildung und die erfasste rechte Abbildung des Schachbrettmusters. Als Ausgangsdaten liefert das trainierte Verfahren der Künstlichen Intelligenz beispielsweise eine Wahrscheinlichkeit und einen Wert für einen Versatz, beispielsweise in x- und/oder y-Richtung, und/oder eine Rotation (insbesondere einen Rotationswinkel bzw. Rotationsdifferenzwinkel). Während einer Trainingsphase wurde das Verfahren der Künstlichen Intelligenz mit Hilfe von Trainingsdaten trainiert, die durch gezielte Dekalibrierung der Kameras des Stereokamerasystems erhalten wurden, und für die ein Ausmaß der Dekalibrierung, beispielsweise ein Versatz, aufgrund der gezielt vorgenommenen Dekalibrierung als jeweilige Grundwahrheit bekannt ist.
  • Im zweiten Beispiel umfasst das mindestens eine Merkmal ebenfalls ein Schachbrettmuster, das von den Kameras erfasst wird. Sowohl in der erfassten linken Abbildung als auch in der erfassten rechten Abbildung werden mittels klassischer Bildverarbeitung Schnittpunkte von Feldern des Schachbrettmusters bestimmt, beispielsweise mittels eines Kantenfilters. Anschließend werden miteinander korrespondierende Schnittpunkte in der linken und rechten Abbildung bestimmt. Für die jeweils miteinander korrespondierenden Schnittpunkte wird jeweils beispielsweise ein euklidischer Abstand (mit Bezug auf die Koordinatensysteme von Bildelementen in den erfassten Abbildungen) bestimmt. Anhand der bestimmten euklidischen Abstände wird beispielsweise ein Fehlermaß für einen Versatz und/oder eine Rotation bestimmt und als Auswertungsergebnis bereitgestellt. Hierbei kann auch das Random Sample Consensus-(RANSAC)-Verfahren zum Einsatz kommen, um zum Beispiel Ausreißer zu identifizieren.
  • Im dritten Beispiel wird in den Abbildungen eine Operationsszene erfasst. In den erfassten Abbildungen werden Schlüsselpunkte (engl. Keypoints) bestimmt und mit Hilfe von Merkmalen beschrieben (z.B. mit Hilfe von Speeded Up Robust Features [SURF], Scale-Invariant Feature Transform [SIFT], Features from accelerated segment test [FAST], Binary Robust Independent Elementary Features [BRIEF] und/oder Oriented FAST and rotated BRIEF [ORB] etc.). Korrespondierende Schlüsselpunkte werden in der linken und der rechten Abbildung bestimmt. Anschließend werden insbesondere Abstände zwischen den jeweiligen Merkmalsvektoren von miteinander korrespondierenden Schlüsselpunkten in der linken und der rechten Abbildung bestimmt. Anhand der bestimmten Abstände wird beispielsweise ein Fehlermaß für einen Versatz und/oder eine Rotation und/oder eine Skalierung bestimmt und als Auswertungsergebnis bereitgestellt. Auch hier kann das RANSAC-Verfahren zum Einsatz kommen, um Ausreißer zu identifizieren.
  • Teile des medizinischen Mikroskops, insbesondere die Bildverarbeitungseinrichtung und/oder eine Steuereinrichtung des medizinischen Mikroskops, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind.
  • In einer Ausführungsform ist vorgesehen, dass beim Auswerten anhand des erkannten mindestens einen Merkmals ein Versatz zumindest in einer Richtung zwischen den erfassten miteinander korrespondierenden Abbildungen bestimmt und als Auswertungsergebnis bereitgestellt wird. Hierdurch kann ein Versatz mit in die Auswertung einbezogen werden. Über den Versatz kann eine Dekalibrierung besonders einfach festgestellt werden. Beispielsweise kann ein Versatz in y-Richtung, das heißt, ein Versatz des mindestens einen Merkmals in der Zeile der Bildelemente in den erfassten (linken und rechten) Abbildungen bestimmt werden und in Abhängigkeit von dem bestimmten Versatz in y-Richtung eine Maßnahme durchgeführt werden. Beispielsweise kann der bestimmte Versatz in y-Richtung durch Anpassen der Kalibrierdaten der Kameras korrigiert werden, sodass das mindestens eine Merkmal in beiden Abbildungen wieder in der gleichen Zeile erscheint. Ferner kann alternativ oder zusätzlich auch ein Versatz in x-Richtung bestimmt und im Rahmen einer Maßnahme korrigiert werden. Das Vorgehen ist hierbei grundsätzlich analog, wobei stets die Besonderheiten des stereoskopischen Abbildungspfades berücksichtigt werden (insbesondere eine gewünschte Parallaxe).
  • In einer Ausführungsform ist vorgesehen, dass beim Auswerten anhand des erkannten mindestens einen Merkmals eine Rotation (insbesondere ein Rotationswinkel bzw. Rotationsdifferenzwinkel) zwischen den erfassten miteinander korrespondierenden Abbildungen bestimmt und als Auswertungsergebnis bereitgestellt wird. Hierdurch kann eine Rotation mit in die Auswertung einbezogen werden. Beispielsweise können in Abhängigkeit von der bestimmten Rotation im Anschluss als Maßnahme Kalibrierdaten der Kameras des Stereokamerasystems derart angepasst werden, dass die Rotation zwischen den Abbildungen kompensiert ist.
  • In einer Ausführungsform ist vorgesehen, dass zum Überprüfen einer Fokuslagenkalibrierung eine Schärfe des mindestens einen Merkmals in den jeweils von den Kameras erfassten Abbildungen bestimmt wird, wobei eine Differenz zwischen den bestimmten Schärfen bestimmt wird und als Auswertungsergebnis bereitgestellt wird. Hierdurch kann eine Fokuslage mit in die Auswertung einbezogen werden. In einer anschließenden Maßnahme können die Fokuslagen der Kameras durch Anpassen der Kalibrierdaten angepasst werden und/oder es kann eine Nachkalibrierung und/oder Nachjustierung veranlasst werden.
  • In einer Ausführungsform ist vorgesehen, dass beim Erfassen der Abbildungen das mindestens eine Merkmal mittels mindestens einer Einspiegelungseinrichtung des medizinischen Mikroskops in einen jeweiligen Erfassungsbereich und/oder einen jeweiligen Strahlengang der Kameras des Stereokamerasystems eingespiegelt wird. Hierdurch kann das Merkmal in virtueller Form bereitgestellt werden. Ferner kann ein geeignetes Merkmal in beliebiger Form erzeugt werden, da das Merkmal digital erzeugt wird. Das Verfahren wird hierdurch flexibler. Insbesondere kann eine Überprüfung der Kalibrierdaten bzw. einer Qualität der erfassten Abbildungen ohne weitere Maßnahmen im regulären Betrieb erfolgen, da das mindestens eine Merkmal zu jeder Zeit und, darüber hinaus, auch nur für eine kurze Dauer eingespiegelt werden kann. Die mindestens eine Einspiegelungseinrichtung kann beispielsweise eine in den jeweiligen Strahlengang integrierte Dateneinspiegelungseinrichtung sein (z.B. ein Integrated Data Injection System, IDIS), welche an sich bekannt ist. Die Kameras erfassen dann jeweils auch eine eingespiegelte Information, insbesondere das eingespiegelte mindestens eine Merkmal. Beispielsweise kann das mindestens eine Merkmal hierzu ein Schachbrettmuster, Striche und/oder farbige Muster mit definierten horizontalen und vertikalen Kanten und Strukturen aufweisen. Ferner ist es hierdurch möglich, dass das Merkmal nur für eine derart kurze Dauer eingespiegelt wird, dass ein menschlicher Betrachter dieses nicht bewusst wahrnehmen kann (z.B. für eine Dauer von <50 ms). Das Einspiegeln kann auch während eines Leerlaufs und/oder beim Hoch- und/oder Herunterfahren des medizinischen Mikroskops erfolgen.
  • In einer Ausführungsform ist vorgesehen, dass das mindestens eine Merkmal zum Erfassen mittels einer Merkmalsaktorik automatisiert in den Erfassungsbereichen und/oder in einer Zwischenbildebene des medizinischen Mikroskops angeordnet wird und/oder dass das Stereokamerasystem zum Erfassen automatisiert mittels einer Aktorik bewegt wird, sodass das mindestens eine Merkmal in den Erfassungsbereichen angeordnet ist. Hierdurch kann ein physisch ausgebildetes Merkmal bereitgestellt werden. Insbesondere kann hierdurch eine vollständige optische Abbildungsstrecke überprüft werden. Es kann hierbei auch vorgesehen sein, dass die Aktorik das Stereokamerasystem derart bewegt, dass ein auf einer Anzeigeeinrichtung (z.B. einem Monitor) des medizinischen Mikroskops angezeigtes Merkmal und/oder ein an einem Stativ und/oder einer Konsole des medizinischen Mikroskops angeordnetes Merkmal (z.B. Kalibrierobjekt oder Herstellerlogo) erfasst werden kann. Wird das mindestens eine Merkmal in einer Zwischenbildebene des medizinischen Mikroskops angeordnet, so ist es nicht außerhalb des medizinischen Mikroskops angeordnet, sondern innerhalb des Abbildungspfades.
  • In einer Ausführungsform ist vorgesehen, dass das Erfassen der Abbildungen, das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme automatisiert beim Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops durchgeführt wird. Hierdurch kann eine Überprüfung einer Verschlechterung und/oder einer Gültigkeit der Kalibrierdaten und/oder einer Qualität der erfassten Abbildungen regelmäßig durchgeführt werden, sodass fortlaufend eine Qualität von erfassten Abbildungen und einer dreidimensionalen Visualisierung überprüft werden kann. Beispielsweise kann vorgesehen sein, bei jedem Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops das mindestens eine Merkmal mittels der mindestens einen Einspiegelungseinrichtung einzuspiegeln, Abbildungen hierzu zu erfassen und diese wie beschrieben auszuwerten.
  • In einer Ausführungsform ist vorgesehen, dass das Erfassen der Abbildungen, das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme während eines regulären Betriebs des medizinischen Mikroskops durchgeführt wird. Hierdurch kann auch während eines regulären Betriebs des medizinischen Mikroskops eine Justage und/oder eine Kalibrierung der Kameras des Stereokamerasystems überprüft werden und eine Dejustage und/oder Dekalibrierung erkannt werden. Die erfassten Abbildungen können insbesondere auch erfasste Live-Abbildungen während einer Operation sein.
  • In einer Ausführungsform ist vorgesehen, dass das Auswertungsergebnis mit mindestens einem vorgegebenen Grenzwert verglichen wird, wobei die mindestens eine Maßnahme in Abhängigkeit von einem Vergleichsergebnis ausgewählt wird. Hierdurch können grenzwertabhängige Maßnahmen veranlasst werden. Insbesondere können mehrere Grenzwerte vorgesehen sein, sodass eine Abstufung von verschiedenen Maßnahmen vorgenommen werden kann. Der mindestens eine vorgegebene Grenzwert kann beispielsweise durch Definition und/oder mit Hilfe von empirischen Versuchen und/oder Simulationen bestimmt werden. Ferner kann auch ein Verfahren der Künstlichen Intelligenz verwendet werden, um ausgehend von einer Rückmeldung von Chirurgen, ab wann eine verschlechterte Qualität bei der dreidimensionalen Visualisierung als störend empfunden wird, den mindestens einen Grenzwert zu bestimmen, insbesondere zu schätzen. Der mindestens eine vorgegebene Grenzwert kann beispielsweise einen Versatz und/oder eine Rotation zwischen den erfassten Abbildungen und/oder eine Differenz der Fokuslagen der Kameras betreffen.
  • In einer Ausführungsform ist vorgesehen, dass ein erster Grenzwert vorgegeben ist oder vorgegeben wird, wobei als Maßnahme Kalibrierdaten bestimmt und/oder angepasst werden, wenn das Auswertungsergebnis größer gleich dem vorgegebenen ersten Grenzwert ist.
  • In einer Ausführungsform ist vorgesehen, dass das Auswertungsergebnis in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert wird, wenn das Auswertungsergebnis unterhalb des vorgegebenen ersten Grenzwertes liegt. Hierdurch kann insbesondere durch eine Trendanalyse von im Zeitverlauf gespeicherten Vergleichsergebnissen vorausschauend ein Wartungstermin abgeschätzt werden. Insbesondere kann hierdurch bereits frühzeitig reagiert werden, wenn die Trendanalyse ergibt, dass sich die Kalibrierdaten zunehmend verschlechtern. Die Wartungsdatenbank kann beispielsweise in einem Speicher einer Steuereinrichtung des medizinischen Mikroskops hinterlegt sein und/oder von einem zentralen Server und/oder über eine cloudbasierte Lösung, bereitgestellt werden.
  • In einer Ausführungsform ist vorgesehen, dass ein zweiter Grenzwert vorgegeben ist oder vorgegeben wird, wobei als Maßnahme eine Servicemeldung erzeugt und angezeigt und/oder versandt wird, wenn das Auswertungsergebnis größer gleich dem vorgegebenen zweiten Grenzwert ist. Hierdurch kann beispielsweise bei einem besonders großen Versatz und/oder einer besonders großen Rotation zwischen den erfassten Abbildungen und/oder einer besonders großen Differenz der Fokuslagen der Kameras des Stereokamerasystems eine Servicemaßnahme veranlasst werden. Die Servicemeldung wird beispielsweise über eine Kommunikationsverbindung an einen zentralen Server, beispielsweise einen zentralen Server eines Herstellers des medizinischen Mikroskops, übermittelt.
  • Weitere Merkmale zur Ausgestaltung des medizinischen Mikroskops ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des medizinischen Mikroskops sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
    • 1 eine schematische Darstellung einer Ausführungsform des medizinischen Mikroskops;
    • 2 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines stereoskopischen medizinischen Mikroskops.
  • Die 1 zeigt eine schematische Darstellung einer Ausführungsform des medizinischen Mikroskops 1. Das medizinische Mikroskop 1 umfasst ein Stereokamerasystem 2 mit einer linken Kamera 2l und einer rechten Kamera 2r. Ferner umfasst das medizinische Mikroskop 1 eine Bildverarbeitungseinrichtung 3. Die Bildverarbeitungseinrichtung 3 umfasst eine Recheneinrichtung 3-1 und einen Speicher 3-2. Die Bildverarbeitungseinrichtung 3 kann Teil einer Steuereinrichtung 4 des medizinischen Mikroskops 1 sein und/oder von dieser bereitgestellt werden. Das medizinische Mikroskop 1 ist beispielsweise ein Operationsmikroskop. Das in dieser Offenbarung beschriebene Verfahren wird nachfolgend anhand des medizinischen Mikroskops 1 näher erläutert.
  • Grundsätzlich können die Steuereinrichtung 4 und/oder die Bildverarbeitungseinrichtung 3 auch als mikroskopexterne Einrichtungen ausgebildet sein, welche beispielsweise mittels einer externen Datenverarbeitungseinrichtung, beispielsweise mittels eines Desktop-, Laptop- oder Tabletcomputers oder auch mittels einer cloudbasierten Lösung, bereitgestellt werden.
  • Die linke Kamera 21 erfasst über eine stereoskopische Abbildungsoptik 5 eine linke eines linken Erfassungsbereichs 301 und die rechte Kamera 2r erfasst eine hiermit korrespondierende rechte eines rechten Erfassungsbereichs 30r. Insbesondere ist vorgesehen, dass die Kameras 2l, 2r mittels Bildsensoren Rohsignale erzeugen, aus denen signaltechnisch die , erzeugt werden, wobei hierbei Kalibrierdaten berücksichtigt werden, welche beispielsweise einen Versatz und/oder eine Rotation zwischen den erfassten , signaltechnisch korrigieren. Die erfassten , können anschließend auf einer Anzeigeeinrichtung 6 des medizinischen Mikroskops 1 angezeigt werden.
  • Die Bildverarbeitungseinrichtung 3 ist zum Verarbeiten der erfassten , eingerichtet. Die Bildverarbeitungseinrichtung 3 ist ferner dazu eingerichtet, verschlechterte und/oder ungültige Kalibrierdaten zu erkennen und hierzu ein Erfassen von miteinander korrespondierenden , von mindestens einem in den Erfassungsbereichen der Kameras 2l, 2r des Stereokamerasystems 2 angeordneten Merkmals 31 zu veranlassen. Die Bildverarbeitungseinrichtung 3 wertet die erfassten miteinander korrespondierenden , aus, wobei das mindestens eine Merkmal 31 hierbei in den erfassten , erkannt wird und anhand des erkannten mindestens einen Merkmals 31 eine Dejustage und/oder eine Dekalibrierung der Kameras 2l, 2r des Stereokamerasystems 2 erkannt wird. In Abhängigkeit von einem erhaltenen Auswertungsergebnis 15 veranlasst die Bilderverarbeitungseinrichtung 3 mindestens eine Maßnahme 20.
  • Es kann vorgesehen sein, dass beim Auswerten anhand des erkannten mindestens einen Merkmals 31 ein Versatz 15-1 zumindest in einer Richtung zwischen den erfassten miteinander korrespondierenden , mittels der Bildverarbeitungseinrichtung 3 bestimmt und als Auswertungsergebnis 15 bereitgestellt wird. Der Versatz 15-1 umfasst beispielsweise eine Differenz zwischen Positionen von Bildelementen, die mit dem mindestens einen Merkmal 31 in den erfassten , korrespondieren. Beispielsweise kann zumindest eine Zeilendifferenz (Versatz in y-Richtung) bestimmt werden. Es kann jedoch zusätzlich oder alternativ auch eine Spaltendifferenz (Versatz in x-Richtung) bestimmt werden. Ferner können auch andere Fehlermaße bestimmt werden, beispielsweise ein euklidischer Abstand zwischen diesen Bildelementen in den beiden erfassten , .
  • Es kann vorgesehen sein, dass beim Auswerten anhand des erkannten mindestens einen Merkmals 31 eine Rotation 15-2, insbesondere ein Rotationswinkel bzw. Rotationsdifferenzwinkel, zwischen den erfassten miteinander korrespondierenden , bestimmt und als Auswertungsergebnis 15 bereitgestellt wird. Die Rotation 15-2 bezeichnet hierbei insbesondere eine Rotation 15-2 um einen Bildmittelpunkt der , . Zum Bestimmen der Rotation 15-2 können an sich bekannte Verfahren aus dem Bereich der Computer Vision und/oder Verfahren der Künstlichen Intelligenz eingesetzt werden.
  • Es kann vorgesehen sein, dass zum Überprüfen einer Fokuslagenkalibrierung eine Schärfe des mindestens einen Merkmals 31 in den jeweils von den Kameras 2l, 2r erfassten , bestimmt wird, wobei eine Differenz 15-3 zwischen den bestimmten Schärfen bestimmt wird und als Auswertungsergebnis 15 bereitgestellt wird.
  • Es kann vorgesehen sein, dass beim Erfassen der , das mindestens eine Merkmal 31 mittels einer linken Einspiegelungseinrichtung 7l und einer rechten Einspiegelungseinrichtung 7r des medizinischen Mikroskops 1 in einen jeweiligen Erfassungsbereich 30l, 30r und/oder einen jeweiligen Strahlengang der Kameras 21, 2r des Stereokamerasystems 2 eingespiegelt wird. Es kann grundsätzlich auch nur eine (gemeinsame) Einspiegelungseinrichtung verwendet werden, welche sich in einem gemeinsamen optischen Pfad der Kameras 21, 2r befindet. Das mindestens eine Merkmal 31 wird insbesondere an der Position der Einspiegelungseinrichtungen 7l, 7r (mittels eines halbdurchlässigen Spiegels) in einen jeweiligen Strahlengang der Abbildungsoptik 5 eingespiegelt, sodass dieses jeweils von Bildsensoren der Kameras 2l, 2r erfasst werden kann. Die Einspiegelungseinrichtungen 7l, 7r werden beispielsweise mittels der Steuereinrichtung 4 des medizinischen Mikroskops 1 angesteuert. Die einzuspiegelnden Informationen, insbesondere das einzuspiegelnde mindestens eine Merkmal 31, werden ebenfalls von der Steuereinrichtung 4 erzeugt und bereitgestellt.
  • Eine Einspiegelungseinrichtung kann beispielsweise ein Integrated Data Injection System (IDIS) der Firma Carl Zeiss Meditec AG sein.
  • Es kann vorgesehen sein, dass das mindestens eine Merkmal 31 zum Erfassen mittels einer Merkmalsaktorik (nicht gezeigt) automatisiert in den Erfassungsbereichen 30l, 301 angeordnet wird und/oder dass das Stereokamerasystem 2 zum Erfassen automatisiert mittels einer Aktorik 8 bewegt wird, sodass das mindestens eine Merkmal 31 in den Erfassungsbereichen 30l, 30r angeordnet ist. Die Aktorik 8 wird hierzu mittels der Steuereinrichtung 4 angesteuert. Die Merkmalsaktorik zum Anordnen des mindestens einen Merkmals 31 in den Erfassungsbereichen 30l, 30r kann beispielsweise einen Schwenkarm umfassen, mit dem ein Kalibrierobjekt mit dem mindestens einen Merkmal 31 in die Erfassungsbereiche 30l, 30r eingeschwenkt werden kann.
  • Es kann vorgesehen sein, dass das Erfassen der , , das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme 20 automatisiert beim Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops 1 durchgeführt wird. Dies kann von der Steuereinrichtung 4 und/oder von der Bildverarbeitungseinrichtung 3 ausgelöst werden. Beispielsweise kann das Überprüfen der Kalibrierung ein fest in einen Ablauf des Hochfahrens und/oder Herunterfahrens des medizinischen Mikroskops 1 integrierter Prozess sein. Ein Leerlauf kann beispielsweise erkannt werden mittels der Bildverarbeitungseinrichtung 3, wobei diese hierzu fortlaufend erfasste , auswertet und das Überprüfen (insbesondere immer dann) veranlasst, wenn sich der in den , abgebildete Inhalt für eine vorgegebene Mindestdauer nicht verändert. Ferner kann ein Leerlauf auch erkannt werden, indem Parameter bzw. Parameteränderungen des medizinischen Mikroskops 1 überwacht werden. Werden für eine vorgegebene Zeit keine Parameter, insbesondere keine Steuerparameter einer Aktorik des medizinischen Mikroskops 1, geändert, so wird ein Leerlauf erkannt. Ferner kann auch eine Softwareabfrage erfolgen, bei der festgestellt wird, ob sich das medizinische Mikroskop 1 in einem Leerlauf befindet oder nicht. Ein Leerlauf kann insbesondere erkannt auch werden, wenn für eine vorgegebene Dauer keine Interaktion mit dem medizinischen Mikroskop 1 erfolgt.
  • Es kann auch vorgesehen sein, dass das Erfassen der , , das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme 20 während eines regulären Betriebs des medizinischen Mikroskops 1 durchgeführt wird.
  • Es kann vorgesehen sein, dass das Auswertungsergebnis 15 mit mindestens einem vorgegebenen Grenzwert 16 verglichen wird, wobei die mindestens eine Maßnahme 20 in Abhängigkeit von einem Vergleichsergebnis ausgewählt wird. Ein Grenzwert 16 kann beispielsweise für einen Versatz 15-1, eine Rotation 15-2, eine Differenz 15-3 zwischen den bestimmten Schärfen (Fokuslage) und/oder für einen sonstiges Fehlermaß vorgegeben sein bzw. vorgegeben werden. Das Vergleichen erfolgt in der Bildverarbeitungseinrichtung 3 und/oder in der Steuereinrichtung 4.
  • Es kann vorgesehen sein, dass ein erster Grenzwert 16-1 vorgegeben ist oder vorgegeben wird, wobei als Maßnahme 20 Kalibrierdaten bestimmt und/oder angepasst werden, wenn das Auswertungsergebnis 15 größer gleich dem vorgegebenen ersten Grenzwert 16-1 ist.
  • Es kann ferner vorgesehen sein, dass das Auswertungsergebnis 15 in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert wird, wenn das Auswertungsergebnis 15 unterhalb des vorgegebenen ersten Grenzwertes 16-1 liegt.
  • Es kann vorgesehen sein, dass ein zweiter Grenzwert 16-2 vorgegeben ist oder vorgegeben wird, wobei als Maßnahme 20 eine Servicemeldung erzeugt und angezeigt und/oder versandt wird, wenn das Auswertungsergebnis 15 größer gleich dem vorgegebenen zweiten Grenzwert 16-2 ist.
  • In der 2 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines stereoskopischen medizinischen Mikroskops gezeigt. Das medizinische Mikroskop ist beispielsweise wie die in der 1 gezeigte Ausführungsform ausgestaltet.
  • Das Verfahren wird in einem Verfahrensschritt 100 gestartet, wenn das medizinische Mikroskop für einen (regulären) Betrieb hochfährt und/oder wenn das medizinische Mikroskop nach einem (regulären) Betrieb herunterfährt.
  • In einem Verfahrensschritt 101 wird mindestens ein Merkmal in Strahlengänge von Kameras eines Stereokamerasystems mittels Einspiegelungseinrichtungen (z.B. IDIS) eingespiegelt. Das mindestens eine Merkmal umfasst beispielsweise ein Schachbrettmuster. Das Schachbrettmuster wird dann in den linken und in den rechten Strahlengang (oder alternativ in einen gemeinsamen Strahlengang/Pfad) eingespiegelt, sodass die jeweiligen Schachbrettmuster von der linken und der rechten Kamera erfasst werden können.
  • In einem Verfahrensschritt 102 werden miteinander korrespondierende Abbildungen von dem mindestens einen in den Erfassungsbereichen der Kameras des Stereokamerasystems des medizinischen Mikroskops angeordneten Merkmals mittels der Kameras erfasst. Insbesondere werden die jeweils in die Strahlengänge eingespiegelten Schachbrettmuster erfasst. Die erfassten Abbildungen werden mittels einer merkmalsbasierten Bildverarbeitung ausgewertet. Insbesondere werden hierbei Positionen der einzelnen Schachbrettkästchen in den Schachbrettmustern, beispielsweise mit Hilfe von Kantenfiltern, bestimmt.
  • In Verfahrensschritt 103 wird ein x-/y-Versatz und/oder eine Rotation, insbesondere ein Rotationswinkel, zwischen den erfassten Abbildungen und/oder, korrespondierend hiermit, zwischen den Kameras des Stereokamerasystems bestimmt und als Auswertungsergebnis bereitgestellt. Es kann auch vorgesehen sein, dass ein aggregiertes Fehlermaß bestimmt und als Auswertungsergebnis bereitgestellt wird, welches einen x-Versatz und/oder einen y-Versatz und/oder eine Rotation und/oder weitere Größen umfassen kann.
  • In Verfahrensschritt 104 wird das Auswertungsergebnis mit vorgegebenen Grenzwerten verglichen, um hierdurch Maßnahmen zu bestimmen, die durchgeführt und/oder veranlasst werden sollen. Der Verfahrensschritt 104 umfasst die Verfahrensschritte 105-110. Es kann hierbei vorgesehen sein, dass die in Verfahrensschritt 103 bestimmten Größen mit jeweiligen vorgegebenen Grenzwerten verglichen werden oder dass ein (einziges) aggregiertes Fehlermaß mit jeweiligen vorgegeben Grenzwerten verglichen wird.
  • In Verfahrensschritt 105 wird überprüft, ob das Auswertungsergebnis (einzelner Wert bzw. aggregiertes Fehlermaß) kleiner als ein erster vorgegebener Grenzwert ist. Ist dies der Fall, so wird das Auswertungsergebnis in Verfahrensschritt 106 in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert.
  • In Verfahrensschritt 107 wird überprüft, ob das Auswertungsergebnis (einzelner Wert bzw. aggregiertes Fehlermaß) größer gleich dem ersten vorgegebenen Grenzwert ist. Ist dies der Fall, so werden in einem Verfahrensschritt 108 Kalibrierdaten in an sich bekannter Weise bestimmt und/oder angepasst. Es kann ferner vorgesehen sein, dass nach einem Bestimmen und/oder Anpassen der Kalibrierdaten das mindestens eine Merkmal, insbesondere die eingespiegelten Schachbrettmuster, erneut erfasst und ausgewertet werden, um eine Wirksamkeit der bestimmten und/oder angepassten Kalibrierdaten zu überprüfen.
  • In Verfahrensschritt 109 wird überprüft, ob das Auswertungsergebnis (einzelner Wert bzw. aggregiertes Fehlermaß) kleiner als ein zweiter vorgegebener Grenzwert ist. Der zweite vorgegebene Grenzwert ist hierbei insbesondere größer gewählt als der erste vorgegebene Grenzwert. Ist dies der Fall, so wird in Verfahrensschritt 110 eine Servicemeldung erzeugt und angezeigt und/oder versandt, beispielsweise an einen zentralen Server eines Herstellers des medizinischen Mikroskops und/oder eines Wartungsdienstleisters. Auf diese Weise kann bei einer sehr starken Dejustage und/oder Dekalibrierung automatisiert ein Service-Einsatz veranlasst werden.
  • Anschließend ist das Verfahren beendet 111.
  • Einer der Vorteile des in dieser Offenbarung beschriebenen Verfahrens und des medizinischen Mikroskops ist die Möglichkeit, eine Qualität von erfassten Abbildungen der Kameras des Stereokamerasystems automatisiert und fortlaufend zu überwachen und bei einem Abfall dieser Qualität geeignete Maßnahmen ergreifen zu können. Insgesamt kann hierdurch eine dreidimensionale Visualisierung mit gleichbleibend hoher Qualität bereitgestellt werden.
  • Bezugszeichenliste
  • 1
    Medizinisches Mikroskop
    2
    Stereokamerasystem
    2l
    linke Kamera
    2r
    rechte Kamera
    3
    Bildverarbeitungseinrichtung
    3-1
    Recheneinrichtung
    3-2
    Speicher
    4
    Steuereinrichtung
    5
    stereoskopische Abbildungsoptik
    6
    Anzeigeeinrichtung
    7l
    linke Einspiegelungseinrichtung
    7r
    rechte Einspiegelungseinrichtung
    8
    Aktorik
    10l
    linke Abbildung
    10r
    rechte Abbildung
    15
    Auswertungsergebnis
    15-1
    Versatz
    15-2
    Rotation
    15-3
    Differenz (Fokuslagen)
    16
    Grenzwert
    16-1
    erster Grenzwert
    16-2
    zweiter Grenzwert
    20
    Maßnahme
    30l
    Erfassungsbereich (linke Kamera)
    30r
    Erfassungsbereich (rechte Kamera)
    31
    Merkmal
    100-111
    Verfahrensschritte des Verfahrens
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102019131646 A1 [0004]
    • EP 3682424 B1 [0004]

Claims (13)

  1. Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops (1), wobei verschlechterte und/oder ungültige Kalibrierdaten erkannt werden, wobei hierzu - miteinander korrespondierende Abbildungen (10l,10r) von mindestens einem in Erfassungsbereichen (30l,30r) von Kameras (2l,2r) eines Stereokamerasystems (2) des medizinischen Mikroskops (1) angeordneten Merkmals (31) mittels der Kameras (2l,2r) erfasst werden, - die erfassten Abbildungen (10l,10r) mittels einer merkmalsbasierten Bildverarbeitung ausgewertet werden, wobei das mindestens eine Merkmal (31) hierbei in den erfassten Abbildungen (10l,10r) erkannt wird und anhand des erkannten mindestens einen Merkmals (31) eine Dejustage und/oder eine Dekalibrierung der Kameras (10l,10r) des Stereokamerasystems (2) erkannt wird, und wobei mindestens eine Maßnahme (20) in Abhängigkeit von einem Auswertungsergebnis (15) durchgeführt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Auswerten anhand des erkannten mindestens einen Merkmals (31) ein Versatz (15-1) zumindest in einer Richtung zwischen den erfassten miteinander korrespondierenden Abbildungen (10l,10r) bestimmt und als Auswertungsergebnis (15) bereitgestellt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass beim Auswerten anhand des erkannten mindestens einen Merkmals (31) eine Rotation (15-2) zwischen den erfassten miteinander korrespondierenden Abbildungen (10l,10r) bestimmt und als Auswertungsergebnis (15) bereitgestellt wird.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zum Überprüfen einer Fokuslagenkalibrierung eine Schärfe des mindestens einen Merkmals (31) in den jeweils von den Kameras (2l,2r) erfassten Abbildungen (10l,10r) bestimmt wird, wobei eine Differenz (15-3) zwischen den bestimmten Schärfen bestimmt wird und als Auswertungsergebnis (15) bereitgestellt wird.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass beim Erfassen der Abbildungen (10l,10r) das mindestens eine Merkmal (31) mittels mindestens einer Einspiegelungseinrichtung (7l,7r) des medizinischen Mikroskops (1) in einen jeweiligen Erfassungsbereich (30l,30r) und/oder einen jeweiligen Strahlengang der Kameras (2l,2r) des Stereokamerasystems (2) eingespiegelt wird.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Merkmal (31) zum Erfassen mittels einer Merkmalsaktorik automatisiert in den Erfassungsbereichen (30l,30r) und/oder in einer Zwischenbildebene des medizinischen Mikroskops (1) angeordnet wird und/oder dass das Stereokamerasystem (2) zum Erfassen automatisiert mittels einer Aktorik (8) bewegt wird, sodass das mindestens eine Merkmal (31) in den Erfassungsbereichen (30l,30r) angeordnet ist.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erfassen der Abbildungen (10l,10r), das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme (20) automatisiert beim Hochfahren und/oder Herunterfahren und/oder während eines Leerlaufs des medizinischen Mikroskops (1) durchgeführt wird.
  8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erfassen der Abbildungen (10l,10r), das Erkennen der verschlechterten und/oder ungültigen Kalibrierdaten und das Durchführen der mindestens einen Maßnahme (20) während eines regulären Betriebs des medizinischen Mikroskops (1) durchgeführt wird.
  9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Auswertungsergebnis (15) mit mindestens einem vorgegebenen Grenzwert (16) verglichen wird, wobei die mindestens eine Maßnahme (20) in Abhängigkeit von einem Vergleichsergebnis ausgewählt wird.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass ein erster Grenzwert (16-1) vorgegeben ist oder vorgegeben wird, wobei als Maßnahme (20) Kalibrierdaten bestimmt und/oder angepasst werden, wenn das Auswertungsergebnis (15) größer gleich dem vorgegebenen ersten Grenzwert (16-1) ist.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das Auswertungsergebnis (15) in einer zur vorausschauenden Wartung betriebenen Wartungsdatenbank gespeichert wird, wenn das Auswertungsergebnis (15) unterhalb des vorgegebenen ersten Grenzwertes (16-1) liegt.
  12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass ein zweiter Grenzwert (16-2) vorgegeben ist oder vorgegeben wird, wobei als Maßnahme (20) eine Servicemeldung erzeugt und angezeigt und/oder versandt wird, wenn das Auswertungsergebnis (15) größer gleich dem vorgegebenen zweiten Grenzwert (16-2) ist.
  13. Medizinisches Mikroskop (1), umfassend: ein Stereokamerasystem (2) mit Kameras (2l,2r), eingerichtet zum Erfassen von jeweils miteinander korrespondierenden Abbildungen (10l,10r) von Erfassungsbereichen (30l,30r) der Kameras (2l,2r), und eine Bildverarbeitungseinrichtung (3), eingerichtet zum Verarbeiten der erfassten Abbildungen (10l,10r), wobei die Bildverarbeitungseinrichtung (3) ferner dazu eingerichtet ist, verschlechterte und/oder ungültige Kalibrierdaten zu erkennen und hierzu ein Erfassen von miteinander korrespondierenden Abbildungen (10l,10r) von mindestens einem in den Erfassungsbereichen (30l,30r) der Kameras (2l,2r) des Stereokamerasystems (2) angeordneten Merkmals (31) zu veranlassen, die erfassten miteinander korrespondierenden Abbildungen (10l,10r) mittels einer merkmalsbasierten Bildverarbeitung auszuwerten, wobei das mindestens eine Merkmal (31) hierbei in den erfassten Abbildungen (10l,10r) erkannt wird und anhand des erkannten mindestens einen Merkmals (31) eine Dejustage und/oder eine Dekalibrierung der Kameras (2l,2r) des Stereokamerasystems (2) erkannt wird, und mindestens eine Maßnahme (20) in Abhängigkeit von einem Auswertungsergebnis (15) zu veranlassen.
DE102022200819.7A 2022-01-25 2022-01-25 Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop Pending DE102022200819A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022200819.7A DE102022200819A1 (de) 2022-01-25 2022-01-25 Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop
US18/100,886 US20230236405A1 (en) 2022-01-25 2023-01-24 Method for operating a stereoscopic medical microscope, and medical microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022200819.7A DE102022200819A1 (de) 2022-01-25 2022-01-25 Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop

Publications (1)

Publication Number Publication Date
DE102022200819A1 true DE102022200819A1 (de) 2023-07-27

Family

ID=87068817

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022200819.7A Pending DE102022200819A1 (de) 2022-01-25 2022-01-25 Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop

Country Status (2)

Country Link
US (1) US20230236405A1 (de)
DE (1) DE102022200819A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2569953B1 (de) 2010-06-18 2013-11-27 Hella KGaA Hueck & Co. Optische selbstdiagnose eines stereoskopischen kamerasystems
DE102018119343A1 (de) 2018-08-08 2020-02-13 Carl Zeiss Meditec Ag Verfahren zur Kalibrierung von Objekten in einem Referenzkoordinatensystem und Verfahren zum Tracking von Objekten
DE102018125422A1 (de) 2018-10-15 2020-04-16 Karl Storz Se & Co. Kg Prüfvorrichtung für eine Stereo-Bilderfassungsvorrichtung
DE102018133196A1 (de) 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Bildbasierte wartungsvorhersage und detektion von fehlbedienungen
EP3682424B1 (de) 2018-11-23 2021-02-17 Brainlab AG Bestimmung der relativen position von nicht überlappenden kameras
DE102019131646A1 (de) 2019-11-22 2021-05-27 Carl Zeiss Meditec Ag Stativ für eine optische Beobachtungseinheit, optisches Beobachtungsgerät, Verfahren zum Kalibrieren eines optischen Beobachtungsgeräts sowie Computerprogramm

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2569953B1 (de) 2010-06-18 2013-11-27 Hella KGaA Hueck & Co. Optische selbstdiagnose eines stereoskopischen kamerasystems
DE102018119343A1 (de) 2018-08-08 2020-02-13 Carl Zeiss Meditec Ag Verfahren zur Kalibrierung von Objekten in einem Referenzkoordinatensystem und Verfahren zum Tracking von Objekten
DE102018125422A1 (de) 2018-10-15 2020-04-16 Karl Storz Se & Co. Kg Prüfvorrichtung für eine Stereo-Bilderfassungsvorrichtung
EP3682424B1 (de) 2018-11-23 2021-02-17 Brainlab AG Bestimmung der relativen position von nicht überlappenden kameras
DE102018133196A1 (de) 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Bildbasierte wartungsvorhersage und detektion von fehlbedienungen
DE102019131646A1 (de) 2019-11-22 2021-05-27 Carl Zeiss Meditec Ag Stativ für eine optische Beobachtungseinheit, optisches Beobachtungsgerät, Verfahren zum Kalibrieren eines optischen Beobachtungsgeräts sowie Computerprogramm

Also Published As

Publication number Publication date
US20230236405A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
DE102008040985B4 (de) Verfahren zur Kalibrierung eines Mehrkamerasystems
EP3121556B1 (de) Verfahren zur korrektur eines oct-bildes und mikroskop
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102016217792A1 (de) Justiersystem
EP3089106A1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
DE112015003148T5 (de) Sichtlinieneingabeparameterkorrekturvorrichtung und Sichtlinieneingabevorrichtung
DE102021204033B3 (de) Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop
WO2015106829A1 (de) Bildaufnahmesimulation in einem koordinatenmessgerät
EP3248173A1 (de) Assistenzeinrichtung und verfahren zur bildgebenden unterstützung eines operateurs während eines chirurgischen eingriffs unter verwendung mindestens eines medizinischen instrumentes
DE102007058164B4 (de) Überwachungsvorrichtung zur Überwachung einer Anzeigevorrichtung
DE102022200819A1 (de) Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop
EP1548485B1 (de) Verfahren zur Korrektur der Drift bei einem optischen Gerät
DE102016108664A1 (de) Digitales Stereo-Operationsmikroskop für mehrere Benutzer und Verfahren zur Darstellung mindestens zweier Ansichten eines Objektes
DE102020209379A1 (de) Verfahren und Vorrichtung zur Einstellung und Kontrolle von Parametern des Beleuchtungsfeldes ophthalmologischer Geräte
DE102020123562A1 (de) Mikroskopiesystem und verfahren zum überprüfen einer mikroskopkalibrierung
DE102022210623A1 (de) Verfahren zum Kalibrieren von Kameras eines mehrkanaligen medizinischen Visualisierungssystems und medizinisches Visualisierungssystem
DE102022200821B9 (de) Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und medizinische Mikroskopanordnung
EP1475748B1 (de) Verfahren und Anordnung zur Erfassung von Objekten
DE102022200823B3 (de) Verfahren zum Bestimmen einer optischen Achse einer Hauptbeobachterkamera eines medizinischen Mikroskops in einem Referenzkoordinatensystem und medizinisches Mikroskop
DE102019008892A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einem kameragestützten Bildstitching oder einem merkmalsgestützten Bildstitching, sowie Kamerasystem
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug
DE102023200474A1 (de) Verfahren zum Justieren und/oder Kalibrieren eines medizinischen Mikroskops und medizinisches Mikroskop
DE102021005212B4 (de) Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102022115795A1 (de) Operationsmikroskopsystem und Verfahren zur Bestimmung eines Fehlers in einem Bild eines Operationsgebietes
DE102022120240A1 (de) Verfahren zum Erzeugen von Trainingsdaten durch Bildtransformation, Verfahren zum Trainieren eines Maschinenlernmodells und Assistenzsystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication