DE102020128199A1 - Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten - Google Patents

Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten Download PDF

Info

Publication number
DE102020128199A1
DE102020128199A1 DE102020128199.4A DE102020128199A DE102020128199A1 DE 102020128199 A1 DE102020128199 A1 DE 102020128199A1 DE 102020128199 A DE102020128199 A DE 102020128199A DE 102020128199 A1 DE102020128199 A1 DE 102020128199A1
Authority
DE
Germany
Prior art keywords
landmarks
reference model
specific
generic reference
specific operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020128199.4A
Other languages
English (en)
Inventor
Stefan Saur
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Priority to DE102020128199.4A priority Critical patent/DE102020128199A1/de
Priority to US17/451,383 priority patent/US20220125516A1/en
Publication of DE102020128199A1 publication Critical patent/DE102020128199A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Ein generisches Referenzmodell (500) für eine geplante Operation definiert eine Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025), welche die geplante Operation beschreiben. Während des Durchführens einer konkreten Operation auf Grundlage der geplanten Operation werden Zustandsdaten (501, 502), die eine konkrete Operation beschreiben, empfangen, beispielsweise von einem Operationsmikroskop. Dann wird das generische Referenzmodell (500) in Bezug auf die konkrete Operation individualisiert basierend auf den Zustandsdaten (501, 502), indem eine oder mehrere Landmarken der Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) an die konkrete Operation angepasst werden.

Description

  • TECHNISCHES GEBIET
  • Verschiedene Beispiele der Offenbarung betreffen Techniken, um eine Operation in Übereinstimmung mit einem entsprechenden generischen Referenzmodell durchzuführen. Verschiedene Beispiele der Offenbarung betreffen insbesondere Techniken, um das generische Referenzmodell zu individualisieren, basierend auf Zustandsdaten, die die Operation beschreiben.
  • HINTERGRUND
  • Im Stand der Technik sind Operationsmikroskope bekannt, die einem Benutzer, in der Regel dem Operateur (Chirurg), verschiedenste Informationen im Okular darbieten. Die DE 10203215 A1 beschreibt beispielsweise ein Operationsmikroskop, das eine Kamera hat, welche ein elektronisches Bildsignal erzeugt. Das Bildsignal wird auf einem elektronischen Okular angezeigt, das eine entsprechende Anzeigevorrichtung für die elektronischen Bilddaten hat. Dort können auch weitere Informationen ausgegeben werden. Ein Operationsmikroskop ist auch bekannt aus DE 10 2014 113 935 A1 .
  • US 2019/0066314 A1 offenbart, dass ein bildgeführtes chirurgisches Navigationssystem von medizinischem Fachpersonal verwendet werden kann, um dem medizinischen Fachpersonal während eines medizinischen Eingriffs Hilfestellung zu leisten. Das bildgeführte chirurgische Navigationssystem kann Information aus einem präoperativen Bild, etwa einem 3-D MRI Bild, verwenden, um das medizinische Personal während des medizinischen Eingriffs zu führen. Beispielsweise kann das 3-D MRI Bild mehrere Referenzmarkierungen, die an einem relevanten Bereich angebracht sind, oder ein oder mehrere Landmarken-Merkmale darstellen.
  • Eine solche Technik weist den Nachteil auf, dass präoperative Bilder erforderlich sind, um während der Operation eine Interaktion mit dem Operateur durchzuführen. Es kann aufwendig sein, präoperative Bilder zu erfassen.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Entsprechend liegt verschiedenen Beispielen die Aufgabe zugrunde, eine intraoperative Interaktion mit einem Operateur besonders robust und flexibel und zuverlässig zu gestalten.
  • Diese Aufgabe wird gelöst von den Merkmalen der unabhängigen Patentansprüche. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
  • Mittels der hierin beschriebenen Techniken ist es möglich, unter Verwendung von Sensoren (z.B. Bildsensoren) eines Operationsmikroskops oder anderer Sensoren in einem Operationssaal kontinuierlich Landmarken eines Referenzmodells während eines mikrochirurgischen Eingriffs oder einer anderen Operation an die aktuellen Gegebenheiten anzupassen. Damit ist es möglich, anhand der angepassten Landmarken das Referenzmodell zur Analyse des Operationsverhaltens zu individualisieren. Dadurch wird eine Benutzerinteraktion unabhängiger von präoperativen Daten und kann sich den aktuellen Gegebenheiten besser anpassen. Ferner ist eine zeitliche Individualisierung auf charakteristische Aktionen bei der Benutzung eines Operationsmikroskops oder anderer medizinischer Gerätschaften möglich.
  • Dazu kann ein Algorithmus in einer Datenverarbeitungseinheit verwendet werden, der Zugriff auf Sensoren etwa des Operationsmikroskops oder anderer medizinischer Gerätschaften besitzt, diese in (nahezu) Echtzeit analysiert, um Landmarken des Referenzmodells räumlich und/oder zeitlich anzupassen. Die Anpassung kann dabei abhängig oder unabhängig von der Historie bisheriger Daten und Entscheidungen erfolgen. Z.B. könnte eine Hierarchie zwischen den Landmarken existieren und die Anpassung der Landmarken unter Berücksichtigung der Hierarchie erfolgen.
  • Ein Verfahren umfasst das Erhalten eines generischen Referenzmodells für eine geplante Operation. Das generische Referenzmodell definiert eine Vielzahl von Landmarken. Die Landmarken der Vielzahl von Landmarken beschreiben die geplante Operation. Das Verfahren umfasst auch das Empfangen von Zustandsdaten. Die Zustandsdaten beschreiben eine konkrete Operation. Die Zustandsdaten werden während des Durchführens der konkreten Operation empfangen. Dabei wird die konkrete Operation auf Grundlage der geplanten Operation durchgeführt. Außerdem umfasst das Verfahren das Individualisieren des generischen Referenzmodells in Bezug auf die konkrete Operation basierend auf den Zustandsdaten. Dies erfolgt, indem ein oder mehrere Landmarken der Vielzahl von Landmarken an die konkrete Operation angepasst werden.
  • Das generische Referenzmodell kann also allgemein ein oder mehrere Abläufe der geplanten Operation beschreiben. Dabei kann eine Variabilität vorgesehen sein, innerhalb derer die konkrete Operation variieren kann.
  • Die konkrete Operation kann eine konkrete Instanz der geplanten Operation gemäß einem bestimmten Ablauf sein. Die konkrete Operation kann sich damit grundsätzlich an der geplanten Operation orientieren, aber ein oder mehrere individuelle Abweichungen aufweisen.
  • Das Individualisieren des generischen Referenzmodells kann bedeuten, dass ein oder mehrere Landmarken der Vielzahl von Landmarken konkretisiert oder verändert werden. Dies bedeutet, dass die ein oder mehreren Landmarken die konkrete Operation angepasst werden. Dadurch können Unterschiede oder individuelle Eigenheiten der konkreten Operation im Vergleich zur generischen geplanten Operation berücksichtigt werden.
  • Mittels solcher Techniken kann es entbehrlich sein, eine Individualisierung des generischen Referenzmodells im Vorfeld der geplanten Operation durchzuführen, beispielsweise basierend auf präoperativen Bilddaten. Vielmehr kann dynamisch, während dem Durchführen der konkreten Operation auf konkrete Vorfälle / Situationen reagiert werden. Dies reduziert sowohl den präoperativen Aufwand. Außerdem wird die Flexibilität bei der Individualisierung erhöht. Dies kann wiederum die Genauigkeit erhöhen.
  • Das Anpassen der ein oder mehreren Landmarken kann dabei zum Beispiel Patienten-spezifisch erfolgen. Dies bedeutet, dass ein oder mehrere Landmarken im Zusammenhang mit konkreten Eigenschaften des Patienten angepasst werden können. Zum Beispiel könnte eine Position und/oder Orientierung (Positionierung) von anatomischen Merkmalen entsprechend in den Landmarken hinterlegt werden. Typische Eigenschaften von anatomischen Merkmalen könnten angegeben werden, z.B. wie anatomische Merkmale beim konkreten Patienten ausgebildet sind.
  • Die ein oder mehreren Landmarken können alternativ oder zusätzlich Operateur-spezifisch angepasst werden. Zum Beispiel könnte eine bestimmte Variante eines Ablaufs der konkreten Operation, die vom jeweiligen Operateur ausgewählt wird, in ein oder mehreren Landmarken hinterlegt werden. Es wäre denkbar, dass bestimmtes vom Operateur verwendetes medizinisches Gerät - zum Beispiel Operationsbesteck - ausgewählt wird.
  • Alternativ oder zusätzlich könnte auch eine Anpassung der ein oder mehreren Landmarken an die verwendete medizinische Gerätschaft erfolgen. Zum Beispiel kann es vorkommen, dass in unterschiedlichen Operationssälen unterschiedliche medizinische Gerätschaften vorhanden sind. Entsprechend könnte eine Anpassung der ein oder mehreren Landmarken erfolgen.
  • Mehrere Landmarken der Vielzahl von Landmarken können zumindest teilweise hierarchisch voneinander abhängen. Dies bedeutet, dass es höherhierarchische und niederhierarchische Landmarken geben kann. Wird eine höhere hierarchische Landmarke angepasst, so kann dies Auswirkungen auf ein oder mehrere niederhierarchische Landmarken haben.
  • Durch ein solches Anpassen der Landmarken können verschiedenste Aspekte der konkreten Operation individualisiert werden. Dies ermöglicht eine genaue Anpassung der konkreten Operation an das vorliegende Umfeld.
  • Zum Beispiel kann das Anpassen einer ersten Landmarke davon abhängen, wie eine zweite Landmarke, die hierarchisch höher als die erste Landmarke angeordnet ist, angepasst wird. Dies könnte zum Beispiel insbesondere dann relevant sein, wenn unterschiedliche Landmarken relevant für einen bestimmten Verlauf der konkreten Operation sind, der aus mehreren möglichen Verläufen ausgewählt werden kann. Wird dann der bestimmte Verlauf der Operation ausgewählt, können die entsprechenden, diesen bestimmten Verlauf beschreibenden Landmarken entsprechend angepasst werden.
  • Dadurch kann es möglich sein, komplexe Zusammenhänge und Abhängigkeiten der Operation im Rahmen des Referenzmodells zu berücksichtigen und trotzdem eine effiziente individuelle Anpassung an die konkrete Operation zu erreichen.
  • Die Vielzahl von Landmarken des generischen Referenzmodells können ein oder mehrere anatomische Merkmale und optional eine jeweils zugehörige Variabilität umfassen. Das bedeutet, dass die anatomischen Merkmale optional zusammen mit einer Variationsbandbreite hinterlegt sein können.
  • Es wäre dann möglich, dass die Zustandsdaten Bilddaten umfassen, die während der Operation erfasst werden, und die einen Zielbereich der konkreten Operationen einem Patienten der konkreten Operation beschreiben. Das Individualisieren des generischen Referenzmodells kann das Patienten-spezifische Anpassen der ein oder mehreren anatomischen Merkmale - z.B. innerhalb der Variabilität - basierend auf den Bilddaten des Patienten umfassen.
  • Die Variabilität kann zum Beispiel eine zulässige Variabilität oder eine typische Variabilität beschreiben. Die Variabilität kann typische individuelle Anpassungen von anatomischen Merkmalen, wie sie aufgrund von Literatur wissen bekannt sind, beschreiben.
  • Die Bilddaten könnten zum Beispiel von einem Operationsmikroskop empfangen werden. Es könnten z.B. auch intraoperativ erfasste Röntgenbilder verwendet werden.
  • Derart kann es also möglich sein, konkrete individuelle anatomische Merkmale des Patienten - gegebenenfalls auch ohne präoperative Bilddaten - im Rahmen des generischen Referenzmodells zu berücksichtigen.
  • Es wäre möglich, dass die Vielzahl von Landmarken des generischen Referenzmodells ein oder mehrere Verzweigungen zwischen unterschiedlichen Operationsverläufen der geplanten Operation umfasst. Dies bedeutet, dass an bestimmten Punkten innerhalb der geplanten Operation unterschiedliche Verläufe ausgewählt werden können, die sich zum Beispiel hinsichtlich der verwendeten medizinischen Gerätschaft oder der Art des chirurgischen Eingriffs unterscheiden können. Bestimmt Landmarken können dann eine Abzweigung/einen Entscheidungspunkt zwischen diesen unterschiedlichen Operationsverläufen bezeichnen.
  • Es ist möglich, dass das Individualisieren des generischen Referenzmodells das Operateur-spezifische Auswählen eines Operationsverlaufs der unterschiedlichen Operationsverläufe umfasst.
  • Beispielsweise könnte das Eintreten von bestimmten Triggern, die indikativ für den einen oder den anderen Operationsverlaufs sind, überwacht werden. Wenn ein solcher Trigger erkannt wird, dann kann im Rahmen der Anpassung der entsprechenden Landmarke hinterlegt werden, dass der eine oder der andere Operationsverlauf eingeschlagen wurde.
  • Solche Techniken haben den Vorteil, dass auch komplexe, unterschiedlich verlaufende Operationen berücksichtigt werden können. Insbesondere kann eine Möglichkeit eröffnet werden, dass der Operateur erst während des Durchführens der Operation den einen oder den anderen Operationsverlauf auswählt. Dadurch hat der Operateur eine große Flexibilität und ist es nicht erforderlich, entsprechende Eigenschaften präoperativ zu parametrieren. Derart kann gut auf konkrete Vorgänge oder Vorfälle während der Operation reagiert werden.
  • Es ist möglich, dass die Vielzahl von Landmarken des generischen Referenzmodells einen Zeitablauf von Operationsaktionen für einen oder mehrere Operationsverläufe der geplanten Operation umfasst. Es können also Zeitreferenzen angegeben werden, die indizieren, wann bestimmte Operationsaktionen typischerweise durchgeführt werden. Es können Soll-Werte hinterlegt sein.
  • Das Individualisieren des generischen Referenzmodells kann dann das Operateur-spezifische Anpassen des Zeitablaufs umfassen. Zum Beispiel können entsprechende Zeitwert in den entsprechenden Landmarken hinterlegt werden.
  • Durch solche Techniken ist es möglich, ein individuelles Tempo des Operateurs bei der konkreten Operation zu überwachen. Zielabweichungen können festgestellt werden. Problempunkte können identifiziert werden.
  • Es wäre zum Beispiel möglich, dass zumindest ein Teil der Zustandsdaten aus folgender Gruppe ausgewählt ist: Bild- und/oder Sensordaten eines Operationsmikroskops; Umfeld Überwachungsdaten eines Operationsmikroskops; Bilddaten eines Operationssaals; Audiodaten aus einem Operationssaal; Benutzereingabe, die von einer Mensch-Maschinen-Schnittstelle zum Operateur empfangen wird; Einstellungen von ein oder mehreren medizinischen Gerätschaften der konkreten Operation; und/oder relative Positionierung zwischen medizinischen Gerätschaften und dem Situs des Patienten.
  • Beispielsweise könnte das Operationsmikroskop ein Okular umfassen. Das Operationsmikroskop könnte alternativ oder zusätzlich ein Objektiv mit einer Kamera umfassen. Entsprechend können Bilddaten digital erfasst werden. Das Operationsmikroskop könnte zum Beispiel ein oder mehrere Sensoren wie zum Beispiel Tiefensensoren, Wärmebildsensoren, Röntgendetektoren usw. umfassen.
  • Die Bilddaten könnten durch ein oder mehrere Kameras, die im Operationssaal verteilt sind, erfasst werden.
  • Audiodaten können über ein oder mehrere Mikrofone erfasst werden, die Operationssaal angeordnet sind, zum Beispiel am Operationsmikroskop.
  • Eine Umfeldüberwachung des Operationsmikroskops kann allgemein Daten bezeichnen, die von ein oder mehreren Sensoren erfasst werden, die sensitiv für Vorgänge weg vom Patienten sind.
  • Durch solche Zustandsdaten können besonders genaues Zustandsbild von der konkreten Operation ausgebildet werden. Dadurch kann die Individualisierung besonders genau erfolgen.
  • Das generische Referenzmodell kann auf unterschiedliche Arten implementiert werden. Zum Beispiel könnte das generische Referenzmodell als Entscheidungsbaum oder künstliches neuronales Netzwerk implementiert werden. Der Entscheidungsbaum könnte eine Vielzahl von Landmarken als Knoten aufweisen. Das künstliche neuronalen Netzwerk könnte zum Beispiel als Faltungsnetzwerk mit ein oder mehreren Faltungsschichten ausgebildet sein. Das künstliche neuronale Netzwerk kann Aktivierungsschichten (nichtlineare Aktivierungsfunktionen), Pooling-Schichten, usw. umfassen.
  • Solche Arten von Referenzmodellen weisen eine große Flexibilität auf, im Zusammenhang mit der Anpassung der Landmarken. Auch komplexe Vorgänge können hinterlegt werden. Dadurch kann eine genaue Individualisierung erfolgen.
  • Basierend auf dem individualisierten Referenzmodell könnte das Verfahren weiterhin das Auslösen einer Interaktion mit einem Operateur der konkreten Operation umfassen. Die Interaktion könnte zum Beispiel ausgewählt sein aus einer Gruppe, die umfasst: Benutzerführung für den Operateur; Anomaliedetektion von Abweichungen gegenüber einem vorgesehenen Verlauf der konkreten Operation; und/oder Qualitätsbewertung.
  • Ein Computerprogramm oder ein Computer-Programmprodukt oder ein computerlesbares Speichermedium umfasst Programmcode. Der Programmcode kann von einem Prozessor geladen und ausgeführt werden. Dies bewirkt, dass der Prozessor ein Verfahren ausführt. Das Verfahren umfasst das Erhalten eines generischen Referenzmodells für eine geplante Operation. Das generische Referenzmodell definiert eine Vielzahl von Landmarken. Die Landmarken der Vielzahl von Landmarken beschreiben die geplante Operation. Das Verfahren umfasst auch das Empfangen von Zustandsdaten. Die Zustandsdaten beschreiben eine konkrete Operation. Die Zustandsdaten werden während des Durchführens der konkreten Operation empfangen. Dabei wird die konkrete Operation auf Grundlage der geplanten Operation durchgeführt. Außerdem umfasst das Verfahren das Individualisieren des generischen Referenzmodells in Bezug auf die konkrete Operation basierend auf den Zustandsdaten. Dies erfolgt, indem ein oder mehrere Landmarken der Vielzahl von Landmarken an die konkrete Operation angepasst werden.
  • Ein Gerät umfasst eine Prozessoreinheit. Die Prozessoreinheit ist eingerichtet, um basierend auf Programmcode die folgenden Schritte auszuführen: Erhalten eines generischen Referenzmodells für eine geplante Operation. Das generische Referenzmodell definiert eine Vielzahl von Landmarken, welche die geplante Operation beschreiben. Außerdem ist die Prozessoreinheit eingerichtet, um während des Durchführens einer konkreten Operation auf Grundlage der geplanten Operation Zustandsdaten zu empfangen, die die konkrete Operation beschreiben; sowie das generische Referenzmodell in Bezug auf die konkrete Operation zu individualisieren, basierend auf den Zustandsdaten und in dem ein oder mehrere Landmarken der Vielzahl von Landmarken an die konkrete Operation angepasst werden.
  • Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
  • Figurenliste
    • 1 illustriert schematisch ein Operationsmikroskop gemäß verschiedenen Beispielen.
    • 2 illustriert ein Gerät für die Datenverarbeitung gemäß verschiedenen Beispielen.
    • 3 ist ein Flussdiagramm eines beispielhaften Verfahrens.
    • 4 illustriert schematisch ein generisches Referenzmodell gemäß verschiedenen Beispielen.
    • 5 illustriert schematisch einen beispielhaften Arbeitsablauf vor und während dem Durchführen einer konkreten Operation gemäß verschiedenen Beispielen.
  • DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
  • Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
  • Verschiedene Beispiele betreffen allgemein Techniken, um einen Operateur beim Durchführen einer Operation zu unterstützen und/oder zu überwachen. Das wird nachfolgend als „Interaktion mit dem Operateur“ bezeichnet. Beispiele für Interaktionen mit einem Operateur sind zum Beispiel die Ausgabe einer Benutzerführung an den Operateur. Zum Beispiel können Sprachanweisungen ausgegeben werden. Es könnte auch eine grafische Benutzerführung ausgegeben werden, zum Beispiel als Einspiegelung in einer VR-Brille. Es könnte Information in einen Bildschirm eines Operationsmikroskops eingeblendet werden, beispielsweise als Überlagerung auf abgebildete anatomische Merkmale; es könnte auch ein externer Bildschirm verwendet werden. Es könnten auch Steuerdaten ausgegeben werden, um ein oder mehrere medizinische Gerätschaften (semi-)automatisch zu steuern. Es wäre zum Beispiel möglich, Anomaliedetektion von Abweichungen gegenüber einem vorgesehenen Ablauf der Operation durchzuführen. Derart können zum Beispiel neu auftretende oder erstmalig beobachtete Abweichungen erkannt werden. Ein weiteres Beispiel betreffe zum Beispiel eine Qualitätsbewertung. Beispiel könnte überprüft werden, ob bestimmte Zielvorgaben erzielt werden, zum Beispiel Dauer der Operation nicht länger als eine vorgegebene Zeitdauer oder Menge von entferntem gesundem Gewebe kleiner als vorgegebenen Wert. Es könnte ein Guidancesystem für einen unerfahrenen Chirurgen bereitgestellt werden. Es wäre möglich, eine statistische Analyse des OP-Verlaufs für ein Qualitätsmanagement Reporting zu implementieren. Es könnte eine automatische Berichterstellung erfolgen, z.B. also ein Reporting-Template für einen Arztbrief automatisch ausgefüllt werden.
  • Gemäß den verschiedenen Beispielen kann eine Interaktion mit dem Operateur ausgelöst werden, d.h. z.B. können entsprechende Steuerdaten an eine Mensch-Maschinen-Schnittstelle gesendet werden.
  • Als allgemeine Regel können die hierin beschriebenen Techniken im Zusammenhang mit unterschiedlichen Operationen durchgeführt werden. Beispielsweise können die hierin beschriebenen Techniken im Zusammenhang von mikrochirurgischen Operationen, beispielsweise im Schädelbereich, durchgeführt werden. Zum Beispiel können Operationen zur Entfernung von Tumoren oder Stabilisierung von Blutgerinnsel von den hierin beschriebenen Techniken profitieren. Chirurgische Eingriffe in die Wirbelsäule, Auge, Zahnbereich, HNO-Bereich oder im Zusammenhang mit der plastisch-rekonstruktiven Chirurgie wären ein weiteres Beispiel.
  • In den verschiedenen hierin beschriebenen Beispielen können Zustandsdaten empfangen werden, die die Operation beschreiben. Die Zustandsdaten können intra-operativ bestimmt werden. Das bedeutet, dass die Zustandsdaten die konkrete Operation beschreiben. Die Zustandsdaten können zum Beispiel Sensordaten umfassen. Die Zustandsdaten könnten auch durch eine Benutzer Eingabe eines Benutzers, beispielsweise des Operateurs, erhalten werden. Nachfolgend werden einige Beispiele für Zustandsdaten beschrieben, die in den verschiedenen hierin beschriebenen Beispielen verwendet werden können.
    Kurzbeschreibung Beispielhafte Details
    I Zustandsdaten von einem Operationsmikroskop Zum Beispiel kann das Operationsmikroskop eine Kamera und/oder andere Sensoren umfassen. Beispiele für andere Sensoren wären zum Beispiel Abstandssensoren, beispielsweise TOF-Kameras oder LIDAR-Sensoren oder Stereokameras. Diese können Bilder mit Tiefeninformation bereitstellen. Das Operationsmikroskop könnte zum Beispiel auch ein Mikrofon beinhalten, um Audiosignal aus seiner Umgebung zu empfangen.
    Die entsprechenden Sensoren können in einem dem Patienten zugewendeten Bereich des Operationsmikroskops angebracht sein, um Information bereitzustellen, die sich auf den Patienten bezieht. Es könnten aber auch Umfeldüberwachungsdaten des Operationsmikroskops erhalten werden, die sich primär auf Vorgänge im Operationssaal beziehen.
    Es könnten auch Steuerdaten des Operationsmikroskops empfangen werden, die zum Beispiel eine gegenwärtige Einstellung der Optik und/oder eine gegenwärtige Positionierung - d.h. z.B. Abstand und/oder Orientierung - des Operationsmikroskops beschreiben.
    II Bilddaten aus dem Operationssaal Es wäre möglich, dass an ein oder mehreren Stellen im Operationssaal Kameras angebracht sind, die Bilddaten aus dem Operationssaal bereitstellen. Diese Bilddaten können zum Beispiel Informationen betreffend eine Anzahl von Operateuren und/oder medizinischem Personal im Operationssaal beinhalten. Solche Bilddaten könnten zum Beispiel dazu verwendet werden, zu überprüfen, welche Operationsgerätschaften gegenwärtig gewendet werden und/oder welche Personen gerade dem Patienten zugewendet sind.
    III Audiodaten aus dem Operationssaal Es können ein oder mehrere Mikrofone verwendet werden, um eine Audioaufzeichnung von Gesprächen im Operationssaal durchzuführen. Es wäre möglich, entsprechende Audiodaten automatisch zu transkribieren, um einen textuellen Inhalt zu bestimmen.
    IV Benutzereingabe Über eine Mensch-Maschinen-Schnittstelle kann eine Benutzereingabe von medizinischem Personal, beispielsweise dem Operateur empfangen werden. Eine solche Benutzereingabe kann zum Beispiel in einer grafischen Schnittstelle - etwa des Operationsmikroskops - durchgeführt werden, die Eingaben Zusammenhang mit dem Zustand der Operation ermöglicht. Weitere Möglichkeiten für die Benutzereingabe wären z.B. Handeingriffe am Operationsmikroskop; ein Fußschaltpult am Operationsmikroskop; usw.
    V Geräte-Einstellungen Typischerweise werden bei Operationen verschiedene Geräte verwendet, etwa um den Eingriff selbst durchzuführen und/oder um eine Überwachung des Zustands des Patienten zu ermöglichen. Es ist möglich, dass solche Geräte Steuerdaten bereitstellen, die indikativ für ein oder mehrere Einstellungen des Betriebs dieser Geräte sind. Ein Beispiel wäre zum Beispiel die Indikation des Durchflusses von einer Flüssigkeit mit Betäubungsmittel, usw.
    VI Relative Positionierung von Geräten in Bezug auf Patienten Es wäre möglich, dass eine relative Positionierung - das heißt zum Beispiel Abstand und/oder Orientierung - von ein oder mehreren medizinischen Gerätschaften in Bezug auf den Patienten im Rahmen der Zustandsdaten erhalten wird. Eine Positionierung in Bezug auf den Patienten kann in einem Patientenkoordinatensystem bestimmt sein. Das Patientenkoordinatensystem kann zum Beispiel eine definierte Position von unterschiedlichen anatomischen Landmarken des Patienten (Citrus) beinhalten. Derart kann also die relative Positionierung von Gerätschaften Bezug auf beispielsweise eine Zielregion des operativen Eingriffs der Operation bestimmt werden.
    Dabei gibt es unterschiedliche Möglichkeiten, um eine solche relative Positionierung zu bestimmen. Es können insbesondere Navigationssysteme verwendet werden, die zum Beispiel eine Positionierung der medizinischen Gerätschaften in dem Operationssaal bestimmen, wobei gleichzeitig das Patientenkoordinatensystem im Operationssaal registriert ist. Es wäre aber auch möglich, dass direkt die Positionierung in Bezug auf das Patientenkoordinatensystem bestimmt wird, zum Beispiel indem eine Pose einer Kamera, die in der entsprechenden medizinischen Gesellschaft befestigt ist, in Bezug auf ein oder mehrere anatomische Landmarken des Patienten basierend auf entsprechenden Bilddaten der Kamera bestimmt wird.
    Die Zustandsdaten können in diesem Beispiel auch als Trackingdaten bezeichnet werden, die zum Beispiel Position (xyz) und Orientierung (Rotationen in xyz) zwischen Fokuspunkt (Tool-Center-Point) des Operationsmikroskop und einem anatomischen Merkmal des Patienten. Derart kann z.B. die Orientierungen des Operationsmikroskops auf den Patienten eingestellt werden.
  • TAB. 1: verschiedene Beispiele für intraoperativ bestimmte Zustandsdaten, die eine konkrete Operation an einem Patienten beschreiben. In den verschiedenen Beispielen ist es möglich, dass solche Zustandsdaten miteinander kombiniert werden. Die Verfügbarkeit der verschiedenen Zustandsdaten während einer Operation kann variieren.
  • Verschiedene Beispiele der Erfindung betreffen die Verwendung von generischen Referenzmodellen für eine geplante Operation. Das generische Referenzmodell kann in anderen Worten die geplante Operation beschreiben, d.h. z.B. deren Ablauf, durchzuführende Eingriffe, usw. Eine solche Beschreibung kann abstrakt von einer konkreten Instanz der geplanten Operation (konkrete Operation) sein. Das bedeutet, dass zum Beispiel die konkrete Anatomie des individuellen Patienten im generischen Referenzmodell unspezifiziert verbleiben kann. Außerdem könnte der konkrete Operateur, der die konkrete Operation durchführt, unspezifiziert verbleiben. Es wäre auch möglich, dass keine Vorfestlegung im Zusammenhang mit den verwendeten medizinischen Gerätschaften im Zusammenhang mit dem generischen Referenzmodell getroffen wird. Das bedeutet also, dass die geplante Operation eine Menge von möglichen konkreten Operationen beschreiben kann. Entsprechend ist es möglich, dass das generische Referenzmodell eine Variabilität im Zusammenhang beispielsweise mit der Anatomie der Patientin und/oder unterschiedlichen Operateur-spezifischen Verläufen der Operation und/oder unterschiedlichen verwendeten medizinischen Gerätschaften vorsieht. Dies würde bedeuten, dass das generisches Referenzmodell bestimmte Abwandlungen - zum Beispiel typische Abwandlungen oder auch zulässige Abwandlungen - vorsieht, die im Zusammenhang mit der Individualisierung der geplanten Operation, d.h. bei der konkreten Operation, auftreten können. Dies könnte zum Beispiel durch Vorsehen von entsprechenden Wertebereichen für verschiedene Parameter implementiert werden. Dies könnte durch Vorsehen verschiedener alternativer Instanzen für eine Landmarke des generischen Referenzmodells umgesetzt sein.
  • Dabei gibt es als allgemeine Regel unterschiedliche Möglichkeiten, das Referenzmodell zu implementieren. Beispielsweise könnte das Referenzmodell als Entscheidungsbaum implementiert werden. Der Entscheidungsbaum könnte eine Vielzahl von Landmarken als Knoten aufweisen. Es wäre aber auch denkbar, dass das Referenzmodell als maschinengelerntes Modell implementiert wird, etwa als künstliches neuronales Netzwerk. Das künstliche neuronale Netzwerk könnte dann als Eingabe Zustandsdaten empfangen und als Ausgabe angepasste Landmarken bereitstellen. Die Landmarken können auf die konkreten Zustandsdaten angepasst werden. [Patentanspruch 8]. Das Referenzmodell könnte als statistischer Atlas implementiert werden, der also bestimmte Landmarken mit Auftrittswahrscheinlichkeiten verknüpft und Zusammenhänge zwischen den Landmarken beschreibt.
  • Das generische Referenzmodell kann Landmarken verwenden, um die geplante Operation zu beschreiben. Eine Landmarke beschreibt dabei allgemein einen bestimmten Status, den die Operation einnehmen kann. Beispiele für unterschiedliche Landmarken sind im Zusammenhang mit TAB. 2 beschrieben.
    Kurzbeschreibung Beispielhafte Details
    I Anatomische Landmarke Eine anatomische Landmarke kann einen Typ und eine Anordnung von bestimmten anatomischen Merkmalen des Patienten beschreiben. Beispielsweise könnte die anatomische Landmarke die Lage von Blutgefäßen beschreiben. Eine anatomische Landmarke könnte eine Anzahl von Blutgefäßen und deren relative Orientierung zueinander beschreiben. Die anatomische Landmarke könnte die Lage eines Tumors oder eines Fremdkörpers im Patienten beschreiben. Die anatomische Landmarke könnte Gefäßverzweigungen beschreiben.
    II Verlauf-Landmarke Eine Verlauf-Landmarke kann den Ablauf der Operation beschreiben. Derart könnten zum Beispiel eine Abfolge von Handlungen des Operateurs bzw. operativen Eingriffen beschrieben werden.
    Eine spezielle Form von Verlauf-Landmarken beschreibt eine Verzweigung zwischen unterschiedlichen Operationsverläufen. Beispielsweise könnten unterschiedliche Operationsverläufe mit unterschiedlichen Arten von Handlungen assoziiert sein. Die entsprechende Verzweigung kann dann vorgeben, wie der konkrete Verlauf der Operation aussieht.
    Z.B. könnte eine Verlauf-Landmarke beschreiben, wann ein bestimmter Betriebsmodus des Operationsmikroskops aktiviert wird, z.B. der Fluoreszenzmodus.
    Z.B. könnte eine Verlauf-Landmarke beschreiben, wann ein bestimmter Eingriff - z. B. Öffnung der Kopfhaut - durchgeführt wird.
    Eine Verlauf-Landmarke könnte z.B. kombiniert sein mit ein oder mehreren anatomischen Landmarken. Derart kann z.B. eine operative Handlung in Bezug auf ein oder mehrere anatomische Merkmale definiert sein.
    III Zeit-Landmarke Eine Zeit-Landmarke kann zum Beispiel gepaart mit der Verlauf-Landmarke eine Zeitdimension für die Abfolge von bestimmten Handlungen beschreiben.
    Beispielsweise könnten anhand von Zeit-Landmarken unterschiedliche Zeitpunkte von Phasen der Operation (OP-Phase) beschrieben werden.
    IV Interaktion-Landmarke Eine Landmarke kann auch Interaktionspunkte mit dem Operateur oder andere medizinischem Personal beschreiben. Beispielsweise könnte eine Interaktion-Landmarke die Ausgabe einer Anweisung oder eines Status-Updates an den Operateur beschreiben. Es wäre auch denkbar, die Rückmeldung eines Operateurs betreffend die konkrete Operation abzufragen.
    V Gerätenutzung-Landmarke Es wäre denkbar, dass die Verwendung von bestimmten Geräten und/oder bestimmten Geräteeigenschaften als Geräte Nutzung-Landmarke im Referenzmodell hinterlegt ist. Zum Beispiel wäre es denkbar, dass eine entsprechende Gerätenutzung-Landmarke die Verwendung charakteristischer Funktionen des Operationsmikroskops, wie zum Beispiel bestimmte Fluoreszenz-Betriebsmodi, angibt. Die Beendigung einer gewissen Operationsphase könnte durch das Abschalten oder Umschalten eines Geräts indiziert werden.
  • TAB. 2: Beispiele für unterschiedliche Arten von Landmarken eines generischen Referenzmodells für eine geplante Operation. Die unterschiedlichen Arten von Landmarken können miteinander kombiniert werden, um das generische Referenzmodell zu definieren. Die verschiedenen Landmarken können jeweils assoziiert sein mit einer Variabilität. Das bedeutet, dass Abweichungen von einem konkreten Wert der entsprechenden beschriebenen Größe als zulässig oder unzulässig beschrieben werden können.
  • Verschiedene hierin beschriebenen Techniken ermöglichen es, die Zustandsdaten, die die konkrete Operation beschreiben (vgl. TAB. 1), dazu zu verwenden, ein generisches Referenzmodell, dass im Zusammenhang mit einer geplanten Operation beschrieben ist, zu individualisieren. Eine solche Individualisierung kann darin bestehen, dass ein oder mehrere Landmarken des generischen Referenzmodell (vergleiche Tab. 2) an die konkrete Operation angepasst werden. [Patentanspruch 1].
  • Ein solches Anpassen der ein oder mehreren Landmarken an die konkrete Operation kann zum Beispiel bedeuten, dass innerhalb einer Variabilität der entsprechenden Landmarke ein konkreter Wert für die von der entsprechenden Landmarke beschriebene Größe ausgewählt wird.
  • Als allgemeine Regel kann basierend auf den Zustandsdaten der Zustand der konkreten Operation bestimmt werden und mit den Landmarken des generischen Referenzmodells verglichen werden. Dann können basierend auf einem solchen Vergleich ein oder mehrere der Landmarken angepasst werden. Z.B. kann ein durch die Landmarken indizierter Status in Übereinstimmung mit dem Zustand der Zustandsdaten ausgewählt werden.
  • Basierend auf dem detektierten Zustand der konkreten Operation könnten ein oder mehrere der folgenden Operationen zum Anpassen der ein oder mehreren Landmarken durchgeführt werden: (i) Die räumliche Position und/oder Orientierung (Positionierung) einer anatomischen Landmarke kann basierend auf der konkreten und/oder Orientierung Position eines anatomischen Merkmals angepasst werden. Eine anatomische Landmarke könnte derart angepasst werden, dass diese auf eine bestimmte Variante einer anatomischen Variation konkretisiert wird. (ii) Die zeitliche Position einer Zeit-Landmarke des Referenzmodells kann auf die konkrete Zeitinstanz der entsprechenden Handlung gesetzt werden. (iii) Der Typ einer anatomischen Variation kann bestimmt werden. (iv) Ein bestimmter OP-Verlauf kann aus mehreren Operationsverläufen ausgewählt werden.
  • Das bedeutet, dass die ein oder mehreren Landmarken zum Beispiel Patienten-spezifisch für einen Patienten der konkreten Operation angepasst werden. Dies würde zum Beispiel für eine anatomische Landmarke (vergleiche TAB. 2: Beispiel I) gelten. Es wäre auch möglich, dass ein oder mehrere Landmarken Operateur-spezifisch für den Operateur der konkreten Operation angepasst werden. Dies würde zum Beispiel gelten für Verlauf-Landmarken und/oder Zeit-Landmarken gelten (vergleiche TAB. 2: Beispiel II oder Beispiel III). Ein weiteres Beispiel betrifft die Geräte-spezifische Anpassung von ein oder mehreren Landmarken (vergleiche TAB. 2: Beispiel IV).
  • Durch ein solches Individualisieren des generischen Referenzmodells in Bezug auf die konkrete Operation basierend auf den Zustandsdaten kann eine besonders genaue und zuverlässige Interaktion mit dem Operateur der Operation ermöglicht werden. Werden zum Beispiel unterstützende Anweisungen an den Operateur der Operation ausgegeben, so können diese unterstützenden Anweisungen speziell für den konkreten Verlauf der konkreten Operation aussagekräftig sein. Die Überwachung der Operation - zum Beispiel im Zusammenhang mit außergewöhnlichen Ereignissen - kann zielgerichtet für die konkrete Operation erfolgen. Gleichzeitig kann es aber entbehrlich sein, die Individualisierung des generischen Referenzmodells präoperativ durchzuführen. Beispielsweise kann es entbehrlich sein, Bilddaten der Anatomie des Patienten präoperativ zu erfassen und für die Individualisierung des generischen Referenzmodells zu verwenden. Beispielsweise kann es entbehrlich sein, dass der Verlauf der konkreten Operation präoperativ durch einen Benutzer parametriert wird. Dies reduziert einerseits den Aufwand für die manuelle Individualisierung des generischen Referenzmodells. Andererseits kann flexibel und zügig auf intraoperative Vorkommnisse reagiert werden.
  • Mittels der Individualisierung des Referenzmodells ist es möglich, eine Vergleichbarkeit zwischen verschiedenen Operationen und Patienten zu ermöglichen. Dabei sind die anatomischen Variationen im menschlichen Körper zu berücksichtigen. Beispielhaft können die Anzahl der Gefäße, die Anzahl und Lage der Verzweigungen (Bifurkation, Trifurkation,...) sowie deren Längen variieren. Sinnvolle Individualisierungen erfolgen daher an wiedererkennbaren Landmarken (z.B. anatomische Landmarken) anhand derer dann das Referenzmodell normiert werden kann (sowohl in räumlicher Lage und optional auch im zeitlichen Verlauf der OP).
  • Nachfolgend werden einige Beispiele im Zusammenhang mit der Anpassung von anatomischen Landmarken gegeben. Wenn zum Beispiel eine anatomische Landmarke mehrere zulässige Ausgestaltungen eines entsprechenden anatomischen Merkmals beschreibt, könnte eine konkrete Ausgestaltung aus der Menge von zulässigen Ausgestaltungen ausgewählt werden. Ein Beispiel für unterschiedliche Ausgestaltungen des anatomischen Merkmals „Mittlere Gehirnschlagader (Arteria cerebri media)“ sind z.B. „Bifurkation - gleiche Stämme“; „Bifurkation - inferior Stamm dominant“; „Bifurkation - superior Stamm dominant“; „Trifurkation“; „Quadrifurkation“; „duplizierte Hauptschlagader“; „unterstützende Hauptschlagader“. Das ist nur ein Beispiel und, je nach anatomischen Merkmal, können unterschiedlichste Arten der Ausgestaltung auftreten.
  • Beispielsweise wäre es denkbar, dass Zustandsdaten während der Operation erfasste Bilddaten eines Zielbereichs der konkreten Operation im Patienten umfassen. Dann kann das Individualisieren des generischen Referenzmodells das Patienten-spezifische Anpassen von ein oder mehreren anatomischen Merkmalen innerhalb der Variabilität basierend auf diesen Bilddaten des Patienten umfassen.
  • Neben der oben beschriebenen Individualisierung durch Anpassen von anatomischen Landmarken besteht eine weitere Möglichkeit der Individualisierung des Referenzmodells darin, charakteristische Aktionen des Verlaufs der Operation zu berücksichtigen und Landmarken dahingehend anzupassen, d.h. eine Individualisierung von Verlauf-Landmarken und/oder Zeit-Landmarken (vgl. TAB. 2, Beispiel II und Beispiel III). Das Individualisieren des generischen Referenzmodell kann also das Operateur-spezifische Auswählen eines Operationsverlaufs und/oder das Operateur-spezifische anpassen des Zeitablaufs der Operation umfassen. Wenn zum Beispiel eine Verlauf-Landmarke (vergleiche Tab. 2: Beispiel II) eine Verzweigung zwischen unterschiedlichen Verläufen der Operation beschreibt, dann könnte ein bestimmter Verlauf ausgewählt werden.
  • 1 zeigt schematisch ein Operationsmikroskop 801 für die Chirurgie. Das Operationsmikroskop 801 verfügt im dargestellten Beispiel über ein Okular 803. Der Operateur kann durch das Okular 803 vergrößerte Bilder von einem Objekt, dass sich in einem Sichtfeld 804 des Operationsmikroskops 801 befindet, betrachten. Im dargestellten Beispiel handelt es sich um einen Patienten 805, der auf einer Patientenliege liegt.
  • Alternativ oder zusätzlich zu einem optischen Okular könnte auch eine Kamera vorgesehen sein, die Bilder an einen Bildschirm überträgt (digitales Operationsmikroskop).
  • Es ist auch eine Bedieneinrichtung 808 als Mensch-Maschine-Schnittstelle vorgesehen, die beispielsweise als Handgriff oder Fußschalter ausgebildet sein kann. In der dargestellten Ausführungsform der 1 ist es ein Handgriff. Durch die Bedieneinrichtung 808 kann das an Traversen 850 befestigte Okular 803 bewegt werden. Es können Motoren vorgesehen sein, um die Bewegung basierend auf Steuerdaten automatisch durchzuführen. Die Motoren könnten die durch den Handgriff 808 veranlasste Bewegung auch unterstützen.
  • Weiter ist für das Operationsmikroskop 801 eine Steuergerät 809 vorgesehen, die den Betrieb des Kombinationsmikroskops steuert. Das Steuergerät 809 kann eine Interaktion mit dem Operateur durchführen. Das Steuergerät 809 kann Zustandsdaten bereitstellen, etwa zur relativen Positionierung (Abstand und/oder Orientierung) des Okulars 803 zum Patienten 805 oder allgemein in einem Bezugskoordinatensystem, oder zum Betriebsmodus der Bildgebung usw. Das Steuergerät 809 könnte auch Bilder aus optionalen Sensoren 860 (z.B. Tiefensensor, Umfeldsensor wie z.B. Umfeldkamera) als Zustandsdaten bereitstellen. Das Steuergerät 809 könnte auch über Steuerdaten verschiedene Einstellungen verändern, z.B. einen Bildgebungsmodus oder die relative Positionierung.
  • Während im Beispiel der 1 ein Operationsmikroskop 801 als ein Beispiel für eine medizinische Gerätschaft dargestellt ist, kann als allgemeine Regel in den verschiedenen hierin beschriebenen Beispielen zusätzlich oder alternativ für das Operationsmikroskop 801 auch weitere oder andere medizinische Gerätschaft zum Einsatz kommen. Solche medizinischen Gerätschaften können Zustandsdaten bereitstellen, die indikativ für den Zustand der Operation sind. Diese Zustandsdaten können dann weiterverarbeitet werden, etwa von einem Gerät 90 wie es in 2 dargestellt ist.
  • 2 illustriert schematisch ein Gerät 90, dass in den verschiedenen hierin beschriebenen Beispielen für die Datenverarbeitung verwendet werden kann. Das Gerät 90 könnte zum Beispiel ein PC sein oder ein Cloud-Server. Das Gerät 90 umfasst eine Prozessoreinheit 91 und einen nichtflüchtigen Speicher 92. Die Prozessoreinheit 91 kann Programmcode aus dem nichtflüchtigen Speicher 92 laden und ausführen. Dies bewirkt, dass die Prozessoreinheit 91 Techniken gemäß den hierin beschriebenen Beispielen ausführt, zum Beispiel erhalten eines generischen Referenzmodell (zum Beispiel von einer Datenbank, über eine Kommunikationsschnittstelle 93, oder aus dem Speicher 92 oder über die Kommunikationsschnittstelle 93 von einer Mensch-Maschinen-Schnittstelle); Empfangen von Zustandsdaten, die eine konkrete Operation beschreiben, etwa über die Kommunikationsschnittstelle 93, beispielsweise von dem Operationsmikroskop 801; Individualisieren des generischen Referenzmodell basierend auf den Zustandsdaten; Anpassen von ein oder mehreren Landmarken des generischen Referenzmodell basierend auf den Zustandsdaten; etc.
  • Nachfolgend werden weitere Details zur beispielhaften Datenverarbeitung des Geräts 90 beschrieben, im Zusammenhang mit dem Flussdiagramm der 3.
  • 3 ist ein Flussdiagramm eines beispielhaften Verfahrens. Zum Beispiel könnte das Verfahren aus 3 von dem Gerät 90 ausgeführt werden. Insbesondere könnte das Verfahren gemäß 3 von der Prozessoreinheit 91 ausgeführt werden, basierend auf Programmcode, der aus dem Speicher 92 geladen wird.
  • In Box 3010 wird ein Referenzmodell erhalten. Das Referenzmodell kann zum Beispiel aus einer Datenbank geladen werden. Die Datenbank kann mehrere Kandidaten-Referenzmodelle abspeichern. Das Referenzmodell könnte basierend auf entsprechenden Anweisungen eines Benutzers geladen werden. Das Referenzmodell könnte z.B. basierend auf einem OP-Belegungsplan ausgewählt werden.
  • Das Referenzmodell kann eine generische Operation beschreiben. Das Referenzmodell kann eine Vielzahl von Landmarken (vergleiche TAB. 2) umfassen. Das Referenzmodell kann zum Beispiel zu Beginn einer konkreten Operation erhalten werden, wobei die konkrete Operation eine spezifische Instanz der generischen Operation darstellt.
  • Es sind unterschiedliche algorithmisch Implementierungen für das generische Referenzmodell denkbar. Zum Beispiel könnten deterministischen Entscheidungsbaum verwendet werden. Es könnten aber auch Maschinen-gelernte Modelle verwendet werden.
  • Anschließend werden in Box 3015 Zustandsdaten empfangen. Dabei kann es mehrere Quellen für die Zustandsdaten geben. Außerdem können unterschiedliche Arten von Zustandsdaten empfangen werden (vergleiche TAB. 1), beispielsweise Sensordaten und/oder Steuerdaten.
  • Dann erfolgt in Box 3020 das Individualisieren des Referenzmodells basierend auf den Zustandsdaten. Dazu können ein oder mehrere Landmarken einer Vielzahl von Landmarken des Referenzmodells angepasst werden, basierend auf den Zustandsdaten und an die konkrete Operation, die durch die Zustandsdaten beschrieben wird. Diese Anpassung könnte Patienten-spezifisch und/oder Operateur-spezifisch und/oder Geräte-spezifisch erfolgen.
  • Das Anpassen einer Landmarke kann konkret bedeuten, dass ein durch die Landmarke parametrisierter Zustand auf einen konkreten Zustand der konkreten Operation gesetzt wird. Dies könnte auch als Konkretisierung der Landmarke bezeichnet werden. Ein weiteres Beispiel für das Anpassen der Landmarke wäre zum Beispiel, dass die Landmarke bereits einen konkreten Zustand beschreibt, der aber abweicht von tatsächlich beobachteten konkreten Zustand der konkreten Operation. Dann könnte der konkrete Zustand der Landmarke verändert werden, so dass er den konkreten Zustand der konkreten Operation korrekt wiedergibt. Dies kann auch als Verändern der Landmarke bezeichnet werden.
  • Es wäre es denkbar, dass die verschiedenen Landmarken voneinander abhängen. Zum Beispiel könnte eine Zeit-Landmarke abhängig sein von einer Verlauf-Landmarke. Das bedeutet, dass unterschiedliche Verläufe der Operation mit unterschiedlichen Zeitachsen assoziiert sein können. Es wäre auch möglich, dass unterschiedliche anatomische Landmarken voneinander abhängen. Zum Beispiel könnte eine anatomische Landmarke im Zusammenhang mit der Hauptschlagader das anatomische Merkmal „Bifurkation“ beschreiben. Dann kann zwei abhängige anatomische Landmarken geben, die beschreiben: „Bifurkation - inferior Stamm dominant“ sowie „Bifurkation - superior Stamm dominant“, also weitere konkrete Ausbildungen des allgemeinen anatomischen Merkmals. Verlauf-Landmarken können sequentiell voneinander abhängen, um den Fortschritt der Operation zu beschreiben. In solchen Szenarien ist es denkbar, dass das Anpassen einer ersten Landmarke davon abhängen, wie eine zweite Landmarke, die hierarchisch höher als die erste Landmarke angeordnet ist, angepasst wird. Derart kann erreicht, dass ein iterativ zunehmender Grad der Individualisierung mit einer großen Genauigkeit erreicht werden kann. Komplexe Zusammenhänge, die den fortschreitenden Verlauf der Operation beschreiben, können berücksichtigt werden.
  • Dann kann in der optionalen Box 3025 eine Interaktion mit dem Benutzer durchgeführt werden. Dies kann zum Beispiel das Ausgeben einer Benutzerführung an den Operateur beinhalten. Es wäre auch möglich, die Handlungen des Operateurs basierend auf dem Individualisierten Referenzmodell zu überwachen, beispielsweise eine Anomaliedetektion durchzuführen, die Abweichungen gegenüber einem vorgesehenen Verlauf der konkreten Operation spezifizieren kann. Der vorgesehene Verlauf der Operation kann definiert sein durch das individualisierte Referenzmodell. Auch eine Qualitätsbewertung wäre denkbar.
  • Aus diesen Beispielen ist ersichtlich, dass basierend auf einer Individualisierung des Referenzmodells eine Interaktion mit dem Operateur ermöglicht wird. Nachfolgend wird diese Individualisierung des Referenzmodells näher beschrieben im Zusammenhang mit dem Beispiel der 4.
  • 4 illustriert ein beispielhaftes Referenzmodell 500. Das Referenzmodell 500 ist im Beispiel der FIG. vier als Entscheidungsbaum ausgebildet. Das Referenzmodell 500 umfasst mehrere Landmarken 5005, 5010,5011-5013, 5015, 5020, 5025.
  • Die Landmarken 5005, 5010, 5015, 5020, sowie 5025 beschreiben dabei den Verlauf der Operation, das heißt den Verlauf-Landmarken, vergleiche TAB. 2: Beispiel II. Zum Beispiel könnte die Verlauf-Landmarke 5005 („öffne Hirnhaut“) assoziiert sein mit einer Zeit-Landmarke, die einen Zeitgeber initialisiert, der eine maximale Öffnungszeit der Hirnhaut bis zu einem Verschluss durch den Operateur (in FIG. vier nicht dargestellt) bemisst.
  • Basierend auf dem Referenzmodell kann überwacht werden, ob die konkrete Operation den entsprechenden Zustand, der durch die Verlauf-Landmarke 5005 beschrieben ist, auch tatsächlich erreicht. Das Eintreten des Verlaufspunkts „Öffnung der Hirnhaut“ im Zusammenhang mit der Verlauf-Landmarke 5005 kann z.B. durch eine Objekterkennung auf Grundlage von Bilddaten des Operationsmikroskops 801 erkannt werden; diese Bilddaten sind ein Beispiel für Zustandsdaten 501, die die konkrete Operation beschreiben. Zum Beispiel könnte ein entsprechendes künstliches neuronales Netzwerk trainiert sein, um die Öffnung der Hirnhaut in den Bilddaten zu erkennen. Alternativ oder zusätzlich könnte zum Beispiel ein Audio-Stream überwacht werden und ein Stichwort - etwa „Hirnhaut geöffnet“ - im Audio-Stream erkannt werden. Entsprechende Zustandsdaten 501 sind in 4 illustriert.
  • Die Verlauf-Landmarke 5010 („Annäherung Arteria cerebri media“) definiert eine Verzweigung zwischen unterschiedlichen Operationsverläufen, die durch die Verlauf-Landmarken 5015, 5020 und 5025 beschrieben sind. Dabei wird zwischen den verschiedenen Operationsverläufen in Abhängigkeit von anatomischen Landmarken 5011, 5012, 5013 ausgewählt. Insbesondere wird die anatomische Landmarke „Hauptarterie“ konkretisiert, indem die spezielle Ausbildung „Bifurkation“, „Trifurkation“ oder „Quadrifurkation“ ausgewählt wird. Das kann zum Beispiel auf Bilddaten aus dem Operationsmikroskop 801 basieren. In 5 sind entsprechende Zustandsdaten 502 dargestellt.
  • Das ist ein Anwendungsbeispiel. Nachfolgend wird ein weiteres konkretes Beispiel beschrieben, nämlich Verwendung einer automatisch erkannten anatomischen Landmarke zum räumlichen Individualisieren eines Referenzmodells. Für das Setzen eines Aneurysma-Clips bei der Arteria communicans posterior wird zunächst der optische Nerv identifiziert. Dies kann beispielhaft basierend auf einer Objekterkennung in Bilddaten des Operationsmikroskops 801 erfolgen, z.B. Objekterkennung mittels maschinellen Lernens. Außerdem wird durch das Operationsmikroskop der relative Abstand zum erkannten optischen Nerv bestimmt, also z.B. mit einem integrierter Tiefensensor wie TOF oder LIDAR, Stereoskopie, Navigation, etc.. Diese relative räumliche Lage wird nun zur Individualisierung des Referenzmodells verwendet. Die beispielhaften Operationsphasen können durch Verlauf-Landmarken beschrieben werden: (I) Identifikation des optischen Nervs; (II) Platzierung des frontal Retraktors; (III) aufteilen der Fissura Sylvii; (IV) Öffnen des Optikus-Karotis-Dreiecks; (V) Proximale Steuerung; (VI) Freisetzen der proximalen Arteria carotis interna; (VII) Identifizieren des Punkts zwischen dem Ursprung der Arteria communicans posterior und dem proximalen Ansatz; (VIII) Verfolgen des distalen Verlaufs der Arteria communicans posterior; (IX) Identifizieren des Punkts zwischen Arteria choroidea anterior und dem distalen Ansatz; (X) Freisetzen der Anhaftungen des Tentorium. Mittels Bildverarbeitung auf dem Videostrom des Operationsmikroskops wird nun die Phase (IV) automatisch erkannt (z.B. über einen Ansatz des maschinellen Lernens), da das „optic-carotid triangle“ eindeutig im Bild identifiziert werden kann. Die Erkennung dieses anatomischen Merkmals kann nun dazu verwendet werden, die entsprechende zeitliche Landmarke zur OP-Phase (IV) zur Individualisierung eines Referenzmodells auf den konkreten Zeitpunkt der Beobachtung zu setzen.
  • 5 illustriert einen Arbeitsablauf im Zusammenhang mit der Planung und der Durchführung einer konkreten Operation.
  • In Box 8005 werden Daten von früheren Operationen gesammelt. In Box 8010 erfolgt das Parametrisieren eines generischen Referenzmodells basierend auf den Daten der früheren Operationen. Dies könnte zum Beispiel das Trainieren eines künstlichen neuronalen Netzwerks oder das Konfigurieren eines Entscheidungsbaums umfassen. Dann wird in Box 8015 eine entsprechende Datenbank, die mehrere generische Referenzmodelle für unterschiedliche Typen von Operationen beinhaltet befüllt. Die Boxen 8005-8010-8015 beschreiben also Techniken, um ein generisches Referenzmodell zu erstellen. Grundsätzlich sind entsprechende Techniken bekannt, so dass hier keine weiteren Details beschrieben werden müssen. Ein Beispiel ist z.B. beschrieben in Jin, Yueming, et al. „Multi-task recurrent convolutional network with correlation loss for surgical video analysis.“ Medical image analysis 59 (2020): 101572.
  • Dann kann in Box 8150 vor dem Durchführen einer konkreten Operation bei Box 8200 ein geeignetes generisches Referenzmodell aus der Datenbank geladen werden. Das geeignete generische Referenzmodell kann zum Beispiel gefunden werden, indem eine entsprechende Anfrage aus dem IT-System des Krankenhauses basierend auf dem OP-Plan erhalten wird, Box 8100. Diese kann angefragt werden oder in einer Push-Kommunikation bereitgestellt werden. Daraus kann der Typ der anstehenden konkreten Operation bestimmt werden, Box 8105.
  • Manchmal können für einen Operationstyp auch mehrere generische Referenzmodelle verfügbar sein. Dann wäre es denkbar, dass zum Beispiel basierend auf präoperativen Bilddaten, die in Box 8050 erfasst werden, eine anatomische Klassifikation in Box 8055 automatisch durchgeführt wird und/oder ein entsprechender manueller Input bei Box 8060 von einem Benutzer erhalten wird. Dann kann die konkret vorliegende anatomische Variation des speziellen Patienten bei Box 8065 bestimmt werden und das geeignete generische Referenzmodell bei Box 8150 basierend auf dieser Information ausgewählt werden, aus einer Menge von Kandidaten-Referenzmodellen.
  • In Box 8200 wird dann eine konkrete Operation durchgeführt. Gleichzeitig werden während der Operation Zustandsdaten erfasst, die den aktuellen Zustand Operation beschreiben. Dies entspricht der Überwachung der OP in Box 8205. Die Zustandsdaten können Beispiel zwei seinen Fortschritt der Operation beschreiben. Die Zustandsdaten können beschreiben, welche Geräte während Operation verwendet werden. Die Zustandsdaten können bestimmte Handlungen beschreiben. Beispiele für die Zustandsdaten wurden obenstehend im Zusammenhang mit TAB. 1 beschrieben.
  • Dann erfolgt in Box 8210 das Individualisieren des generischen Referenzmodells, welches in Box 8150 geladen wurde.
  • Die Individualisierung des Referenzmodells in Box 8210 wurde schon obenstehend im Detail beschrieben. Kurz gefasst kann dort eine Position einer anatomischen Landmarke auf die konkrete Position des entsprechenden anatomischen Merkmals registriert werden. Es könnten anatomische Variationen bestimmt werden. Es könnte ein bestimmter Operationsverlauf erkannt werden. Es könnte eine Normalisierung auf einen bestimmten Zeitablauf erfolgen. Dies könnte zum Beispiel auf charakteristischen Interaktionsmustern mit medizinischer Gerätschaft erfolgen.
  • Als allgemeine Regel kann das Individualisieren des Referenzmodells das Anpassen von Landmarken des Referenzmodells auf die konkrete Operation, basierend auf der Überwachung in BOX 8205, umfassen. Die Anpassung der Landmarken kann (i) eine Konkretisierung einer Landmarke beinhalten, d.h. das Setzen auf einen bestimmten Wert/Zustand etwa innerhalb einer vorgegebenen Variabilität; oder (ii) das Verändern eines bestimmten Werts/Zustands.
  • Basierend auf dem individualisierten Referenzmodell kann dann eine Analyse des Operationsverhaltens durchgeführt werden. Zum Beispiel könnten Abweichungen vom individualisierten Referenzmodell bestimmt werden. Es könnten auch nächste anstehende Handlungen der Operation bestimmt werden.
  • Basierend auf der Analyse der konkreten Operationen Box 8215 können dann ein oder mehrere unterschiedliche Anwendungen ausgeführt werden. In 5 sind drei beispielhafte Anwendungen dargestellt, nämlich die Ausgabe von Anweisungen an den Operateur in Box 8250, die Auswertung der Qualität der Operationen Box 8255 und/oder eine Anomaliedetektion in Box 8260.
  • Es ist möglich, dass ein oder mehrere dieser Anwendungen eine Rückkopplung zur Durchführung der Operationen Box 8200 auslösen, das heißt eine kontinuierliche Mensch-Maschinen-Interaktion. Zum Beispiel könnte basierend auf der Anweisung aus Box 8250 der Operateur weitere Handlungsschritte der Operation durchführen. Wenn eine Anomaliedetektion ausgelöst wird, Box 8260, könnte dies auch eine entsprechende Handlung des Operateurs nach sich ziehen.
  • Zusammenfassend wurden voranstehend Techniken beschrieben, die es insbesondere ermöglichen, die Sensoren (inkl. Bildsensoren) eines Operationsmikroskops zur kontinuierlichen Erkennung von Landmarken während eines mikrochirurgischen Eingriffs zu verwenden, um basierend auf dieser Information, Referenzmodelle zur Analyse des Operationsverhaltens zu individualisieren.
  • Es wird also eine intraoperative Analyse des Benutzungsverhaltens eines Operationsmikroskops während einer Operation, z.B. eines mikrochirurgischen Eingriffes, durch Vergleich mit einem vorab definierten Referenzmodell ermöglicht. Benutzungsverhalten beinhaltet hierbei sowohl die Ausrichtung des Geräts auf eine Anatomie (z.B. Fokuspunkt Operationsmikroskop auf den Situs) als auch die Verwendung des Gerätes (Anzahl Interaktionen, Bewegungen, Fokussierungen etc.) selbst.
  • Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
  • Beispielsweise wurden voranstehend Techniken beschrieben, bei denen eine Vorab-Individualisierung des Referenzmodells zum Beispiel basierend auf präoperativen Bilddaten oder anderer präoperativ erhobener Information nicht notwendig ist. Dies bedeutet, dass in den verschiedenen Varianten ein Starten im „Blindflug“ möglich ist, basierend auf dem generischen Referenzmodell. Dann kann die Individualisierung des Referenzmodells während der Operation erfolgen. In anderen Beispielen wäre es aber auch denkbar, dass zumindest ein Teil des generischen Referenzmodells auf Grundlage von präoperativ erhobenen Informationen individualisiert wird. Solche Informationen könnten zum Beispiel durch händische Eingabe erhalten werden. Es ist dann denkbar, dass eine solche vorab erfolgte Individualisierung ergänzt wird und/oder ersetzt wird durch eine präoperative Anpassung entsprechende Landmarken im dann (teilweise) individualisierten Referenzmodell.
  • Außerdem wurden voranstehend Techniken beschrieben, bei denen ein Referenzmodell individualisiert wird, das heißt Landmarken zum Beispiel innerhalb einer vorgegebenen Variabilität angepasst werden. Es kann dabei vorkommen, dass - basierend auf intraoperativen Zustandsdaten - festgestellt wird, dass eine bestimmte im Referenzmodell vorgesehene Variabilität nicht ausreichend ist, um eine Individualisierung des Referenzmodells derart durchzuführen, dass der tatsächliche Zustand der konkreten Operation korrekt abgebildet wird. In einem solchen Fall könnte es möglich sein, dass anstatt einer Individualisierung des Referenzmodells ein gänzlich anderes Referenzmodell aus einer Menge von Kandidaten-Referenzmodellen geladen wird, welches dann anschließend basierend auf den Zustandsdaten individualisiert wird. Das bedeutet, dass basierend auf einem Vergleich zwischen den Zustandsdaten und einer vorgesehenen Variabilität des Referenzmodells wahlweise ein anderes Referenzmodell geladen werden kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10203215 A1 [0002]
    • DE 102014113935 A1 [0002]
    • US 2019/0066314 A1 [0003]

Claims (11)

  1. Verfahren, das umfasst: - Erhalten eines generischen Referenzmodells (500) für eine geplante Operation, wobei das generische Referenzmodell (500) eine Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) definiert, welche die geplante Operation beschreiben, - während des Durchführens einer konkreten Operation auf Grundlage der geplanten Operation: Empfangen von Zustandsdaten (501, 502), die eine konkrete Operation beschreiben, und - Individualisieren des generischen Referenzmodells (500) in Bezug auf die konkrete Operation basierend auf den Zustandsdaten (501, 502), indem eine oder mehrere Landmarken der Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) an die konkrete Operation angepasst werden.
  2. Verfahren nach Anspruch 1, wobei die eine oder mehreren Landmarken Patienten-spezifisch für einen Patient der konkreten Operation und/oder Operateur-spezifisch für einen Operateur der konkreten Operation und/oder Geräte-spezifisch für eine medizinische Gerätschaft der konkreten Operation angepasst werden.
  3. Verfahren nach Anspruch 1 oder 2, wobei mehrere Landmarken der Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) zumindest teilweise hierarchisch voneinander abhängen, wobei das Anpassen einer ersten Landmarke der mehreren Landmarken davon abhängt, wie eine zweite Landmarke der mehreren Landmarken, die hierarchisch höher als die erste Landmarke angeordnet ist, angepasst wird.
  4. Verfahren nach einem der voranstehenden Ansprüche, wobei die Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) des generische Referenzmodells (500) ein oder mehrere anatomische Merkmale und eine jeweils zugehörige Variabilität umfasst, wobei die Zustandsdaten (501, 502) während der Operation erfasste Bilddaten eines Zielbereichs der konkreten Operation in einem Patienten der konkreten Operation umfassen, wobei das Individualisieren des generischen Referenzmodells (500) das Patienten-spezifische Anpassen der ein oder mehreren anatomischen Merkmale innerhalb der Variabilität basierend auf den Bilddaten des Patienten umfasst.
  5. Verfahren nach einem der voranstehenden Ansprüche, wobei die Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) des generischen Referenzmodells (500) ein oder mehrere Verzweigungen zwischen unterschiedlichen Operationsverläufen der geplanten Operation umfasst, wobei das Individualisieren des generischen Referenzmodells (500) das Operateur-spezifische Auswählen eines Operationsverlaufs der unterschiedlichen Operationsverläufe umfasst.
  6. Verfahren nach einem der voranstehenden Ansprüche, wobei die Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) des generischen Referenzmodells (500) einen Zeitablauf von Operationsaktionen für einen oder mehrere Operationsverläufe der geplanten Operation umfasst, wobei das Individualisieren des generischen Referenzmodells (500) das Operateur-spezifische Anpassen des Zeitablaufs umfasst.
  7. Verfahren nach einem der voranstehenden Ansprüche, wobei zumindest ein Teil der Zustandsdaten (501, 502) aus folgender Gruppe ausgewählt ist: - Bild- und/oder Sensordaten eines Operationsmikroskops (801) der konkreten Operation ; - Umfeldüberwachungsdaten eines Operationsmikroskops (801) der konkreten Operation; - Bilddaten eines Operationsaals der konkreten Operation; - Audiodaten aus einem Operationssaal der konkreten Operation; - Benutzereingabe, die von einer Mensch-Maschinen-Schnittstelle zum Operateur empfangen wird; - Einstellungen von ein oder mehreren medizinischen Gerätschaften der konkreten Operation; und/oder - Relative Positionierung zwischen medizinischen Gerätschaften und dem Situs des Patienten.
  8. Verfahren nach einem der voranstehenden Ansprüche, wobei das generische Referenzmodell (500) zumindest eines von einem Entscheidungsbaum, der die Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) als Knoten aufweist, oder einem künstlichen neuronalen Netzwerk, das als Eingabe die Zustandsdaten (501, 502) empfängt und als Ausgabe angepasste Landmarken der Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) bereitstellt, umfasst.
  9. Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: - basierend auf dem individualisierten Referenzmodell (500), Auslösen einer Interaktion mit einem Operateur der konkreten Operation, wobei die Interaktion optional ausgewählt ist aus folgender Gruppe: Benutzerführung für den Operateur; Anomaliedetektion von Abweichungen gegenüber einem vorgesehenen Verlauf der konkreten Operation; und/oder Qualitätsbewertung.
  10. Gerät (90) mit einer Prozessoreinheit (91), die eingerichtet ist, um basierend auf Programmcode die folgenden Schritte auszuführen: - Erhalten eines generischen Referenzmodells (500) für eine geplante Operation, wobei das generische Referenzmodell (500) eine Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) definiert, welche die geplante Operation beschreiben, - während des Durchführens einer konkreten Operation auf Grundlage der geplanten Operation: Empfangen von Zustandsdaten (501, 502), die die konkrete Operation beschreiben, und - Individualisieren des generischen Referenzmodells (500) in Bezug auf die konkrete Operation basierend auf den Zustandsdaten (501, 502), indem eine oder mehrere Landmarken der Vielzahl von Landmarken (5005, 5010, 5011-5013, 5015, 5020, 5025) an die konkrete Operation angepasst werden.
  11. Gerät (90) nach Anspruch 10, wobei die Prozessoreinheit (91) eingerichtet ist, um das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
DE102020128199.4A 2020-10-27 2020-10-27 Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten Pending DE102020128199A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102020128199.4A DE102020128199A1 (de) 2020-10-27 2020-10-27 Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten
US17/451,383 US20220125516A1 (en) 2020-10-27 2021-10-19 Individualizing Generic Reference Models For Operations On The Basis Of Intraoperative State Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020128199.4A DE102020128199A1 (de) 2020-10-27 2020-10-27 Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten

Publications (1)

Publication Number Publication Date
DE102020128199A1 true DE102020128199A1 (de) 2022-04-28

Family

ID=81076980

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020128199.4A Pending DE102020128199A1 (de) 2020-10-27 2020-10-27 Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten

Country Status (2)

Country Link
US (1) US20220125516A1 (de)
DE (1) DE102020128199A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10203215A1 (de) 2002-01-28 2003-08-07 Zeiss Carl Jena Gmbh Mikroskop, insbesondere Operationsmikroskop
DE10357205A1 (de) 2003-12-08 2005-07-14 Siemens Ag Verfahren zur Erzeugung von Ergebnis-Bildern eines Untersuchungsobjekts
DE102014113935A1 (de) 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
US20190066314A1 (en) 2017-08-23 2019-02-28 Kamyar ABHARI Methods and systems for updating an existing landmark registration
US20190090954A1 (en) 2017-09-28 2019-03-28 General Electric Company Workflow assistant for image guided procedures
US20200069372A1 (en) 2018-09-05 2020-03-05 Orthosoft Ulc Method and system for navigating a bone model in computer-assisted surgery
US20200121402A1 (en) 2018-10-18 2020-04-23 Luiz Lanat Pedreira de Cerqueira Filho Active system for robotic surgery

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013158683A1 (en) * 2012-04-18 2013-10-24 Oncofluor, Inc. Light emitting diode endoscopic devices for visualization of diseased tissue in humans and animals
CN104780826B (zh) * 2013-03-12 2016-12-28 奥林巴斯株式会社 内窥镜系统
US10716630B2 (en) * 2016-07-15 2020-07-21 Mako Surgical Corp. Systems and methods for a robotic-assisted revision procedure
US10238455B2 (en) * 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
US11259874B1 (en) * 2018-04-17 2022-03-01 Smith & Nephew, Inc. Three-dimensional selective bone matching
AU2019396551C1 (en) * 2018-12-14 2023-05-25 Mako Surgical Corp. Systems and methods for preoperative planning and postoperative analysis of surgical procedures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10203215A1 (de) 2002-01-28 2003-08-07 Zeiss Carl Jena Gmbh Mikroskop, insbesondere Operationsmikroskop
DE10357205A1 (de) 2003-12-08 2005-07-14 Siemens Ag Verfahren zur Erzeugung von Ergebnis-Bildern eines Untersuchungsobjekts
DE102014113935A1 (de) 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
US20190066314A1 (en) 2017-08-23 2019-02-28 Kamyar ABHARI Methods and systems for updating an existing landmark registration
US20190090954A1 (en) 2017-09-28 2019-03-28 General Electric Company Workflow assistant for image guided procedures
US20200069372A1 (en) 2018-09-05 2020-03-05 Orthosoft Ulc Method and system for navigating a bone model in computer-assisted surgery
US20200121402A1 (en) 2018-10-18 2020-04-23 Luiz Lanat Pedreira de Cerqueira Filho Active system for robotic surgery

Also Published As

Publication number Publication date
US20220125516A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
DE102004058911B4 (de) Reaktives Arbeitsablaufsystem und -verfahren
EP2926733B1 (de) Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
DE10357203B4 (de) Verfahren und Steuereinrichtung zum Betrieb eines Magnetresonanztomographie-Geräts sowie Magnetresonanztomographie-Gerät
EP2449997B1 (de) Medizinischer Arbeitsplatz
EP3332730B1 (de) Verfahren und trackingsystem zum nachverfolgen eines medizinischen objekts
DE102020214610A1 (de) Verfahren zum Steuern eines Mikroskops und Mikroskop
DE10257743B4 (de) Vorrichtung zur Bestimmung der Perfusion in einem Gewebebereich und des Blutflusses durch einzelne Blutgefäße
DE102011006574B4 (de) Verfahren und System zur Unterstützung des Arbeitsablaufs in einer Operationsumgebung
DE102005029242B4 (de) Verfahren zur Aufnahme und Auswertung von Bilddaten eines Untersuchungsobjekts und dazugehörige Einrichtung
DE4417944A1 (de) Verfahren zum Korrelieren verschiedener Koordinatensysteme in der rechnergestützten, stereotaktischen Chirurgie
EP1065966A1 (de) Vorrichtung und verfahren zur untersuchung von biologischen gefässen
EP3412242A1 (de) Ausgabe von positionsinformationen eines medizintechnischen instruments
DE102011002928A1 (de) Verfahren zur rechnergestützten Konfiguration einer medizinischen Bildgebungsvorrichtung
DE102012210821A1 (de) Verfahren zu einer Kommunikation zwischen einer Steuereinheit und einem Patienten und/oder einem Bedienpersonal sowie eine medizinische Bildgebungsvorrichtung hierzu
DE102009030731A1 (de) Verfahren zum Erzeugen von Positionsdaten eines Instrumentes
EP3567598A1 (de) Prüfung eines interventionellen superpositionsbildes
DE102016224774B3 (de) Verfahren zur Programmierung eines Messroboters und Programmiersystem
EP3441977A1 (de) Verfahren und system zur unterstützung von medizinischem personal
DE102014113935A1 (de) Operationsmikroskop und Betriebsverfahren dafür
DE102011006537A1 (de) Verfahren zur Registrierung eines ersten Koordinatensystems einer ersten medizinischen Bildgebungseinrichtung mit einem zweiten Koordinatensystem einer zweiten medizinischen Bildgebungseinrichtung und/oder einem dritten Koordinatensystem eines medizinischen Instruments bezüglich einer medizinischen Navigationseinrichtung und medizinisches Untersuchungs- und/oder Behandlungssystem
EP0681251A2 (de) Verfahren zum Betrieb eines Operationsmikroskopes
DE102020214654A1 (de) Fern-Kommunikation mit einer medizintechnischen Einrichtung mit Hilfe eines digitalen Zwillings
DE102020128199A1 (de) Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten
EP3626176B1 (de) Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
WO2019215061A1 (de) Vorrichtung und verfahren zur bildgebung bei der implantation von retinaimplantaten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0034200000

Ipc: A61B0034100000

R016 Response to examination communication