-
Die vorliegende Erfindung betrifft ein robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, die Verwendung eines robotischen Telemanipulationssystems zur Durchführung eines medizinischen Eingriffs, insbesondere im Bereich der Weichteilchirurgie, sowie ein autonomes medizinisches Robotersystem für Diagnostik und/oder Therapie.
-
Ein allgemeiner Trend in der Chirurgie ist das Bestreben, das durch Vornahme eines medizinischen Eingriffs verursachte Trauma zu minimieren, um dem Patienten Schmerzen zu ersparen und die Heilung zu beschleunigen. Dies ist vorteilhaft für den Patienten, bedingt aber komplexe Techniken bei den medizinischen Eingriffen, wie beispielsweise von Operationen und eine noch weiter zunehmende Technisierung des Operationssaals, da dem ausführenden medizinischen Personal wie dem Chirurgen der direkte Zugang zum Operationsfeld verloren geht. Durch diese Rahmenbedingungen ist das ausführende medizinische Personal kognitiv immer stärker gefordert, wodurch in kritischen Situationen und bei unerfahrenerem Personal unter Umständen die Gefahr der Überforderung besteht.
-
Eine Entlastung des medizinischen Personals, wie beispielsweise eines Chirurgen, durch technische Systeme wäre somit wünschenswert. Eine solche technische Lösung muss allerdings aufgrund der kritischen Anwendung hohen Sicherheitsanforderungen genügen sowie angesichts des zunehmenden Kostendrucks dem medizinischen Personal und/oder den behandelten Patienten einen klaren Mehrwert bieten.
-
Medizinische Robotersysteme haben durch die Kombination von sensorischen und Manipulationsmöglichkeiten das Potential, das medizinische Personal intraoperativ zu entlasten. Bei den derzeit kommerziell erhältlichen medizinischen Robotersystemen für den Bereich der Weichteilchirurgie (da Vinci X, da Vinci Xi, Senhance) handelt es sich allerdings um reine Telemanipulationssysteme. Autonome Medizinrobotiksysteme sind derzeit beispielsweise für den Bereich der Orthopädie (ROBODOC) und der Strahlentherapie (Cyberknife) kommerziell erhältlich, wobei die Referenzierung des Patienten einfacher und die manipulierten Strukturen unbeweglicher gegenüber beispielsweise dem Bereich der Chirurgie und/oder der Weichteilchirurgie sind.
-
US 9,867,668 B2 beschreibt ein robotisches System mit mindestens einer Kamera, mit welchem die mechanischen Eigenschaften des Gewebes, wie z.B. dessen Steifigkeit, anhand eines Gewebemodells und des Gewebeverhaltens bei der Interaktion mit einem Endeffektor des Roboters errechnet und als Eigenschaftskarte visualisiert werden. Diese Eigenschaftskarte wird mit dem eigentlichen Kamerabild zu einer kombinierten Darstellung vereinigt, welche dem Chirurgen bzw. medizinischen Personal auf einem Bildschirm angezeigt wird.
-
Die
US 10/383,694 B1 beschreibt ein Machine-Learning basiertes System, um aus endoskopischem Bildmaterial ein haptisches Feedback zu generieren. Hierzu werden im Endoskopvideostream bestimmte Instrument-Gewebe-Interaktionen identifiziert. Diesen werden dann bestimmte Kräftelevel zugeordnet, welche zuvor für vergleichbare Interaktionen annotiert wurden. Diese Kräftelevel werden dann dem Chirurgen als haptisches Feedback zurückgemeldet.
-
Die
US 2019/0175062 A1 beschreibt eine Navigationshilfe für ein endoskopisches Instrument in dem medizinischen Bereich der Bronchoskopie. Basierend auf Daten eines geeigneten Sensors wird die Position und Orientierung der Instrumentenspitze errechnet und in einem auf präoperativen Daten basierenden 3D-Modell des Hohlorgans und der Zielstruktur visualisiert. Dabei kann die Perspektive des Renderings von der Perspektive des endoskopischen Instrumentes abweichen.
-
US 10/229,753 B2 beschreibt eine Gestensteuerung für die Navigation durch medizinische Bilddatensätze, wie beispielsweise Daten aus dem Bereich der Computertomographie. Die Verknüpfung zwischen Gesten und Bildbewegungen/Bildmanipulationen erfolgt benutzerspezifisch über eine Datenbank mit Voreinstellungen.
-
Ebenso beschreibt die
US 2020/0205914 A1 ein Interaktionskonzept mit einem virtuellen dreidimensionalen Patientenmodell an einem Touchscreen, welcher optional zusätzlich mit einer Gestenerkennung kombiniert werden kann. Der Benutzer kann hierbei das Modell verschieben und rotieren, Kontrast und Transparenz anpassen, einzelne Objekte ausblenden oder hervorheben.
-
US 10/786,315 B2 beschreibt die Steuerung der graphischen Benutzeroberfläche eines Trainingssimulators mit Hilfe der Eingabegeräte an einer Chirurgenkonsole des da Vinci Xi Systems von Intuitive Surgical. Hierbei können für die Navigation in der Benutzeroberfläche Freiheitsgrade der Handcontroller gesperrt werden, so dass nur eine Bewegung in der Ebene möglich ist. Diese ist bevorzugt so gewählt, dass die Hand-Auge-Koordination erhalten bleibt. Wahlweise bieten die Handcontroller haptisches Feedback (z.B. über rotatorisch und/oder translatorisch angetriebene Vibrationseinrichtungen), wenn mit dem Benutzerinterface interagiert wird.
-
WO 2019/136342 A1 beschreibt ein Userinterface für die Steuerung eines robotischen Endoskops. Dieses umfasst zwei höhenverstellbare (um dem Chirurgen ein Arbeiten im Sitzen und im Stehen zu ermöglichen) Handcontroller, Fußpedale sowie ein User interface, bestehend aus einem Display/Touchscreen und weiteren Eingabegeräten wie Tastatur, Maus oder Mikrofon.
-
WO 2019/117926 A1 beschreibt eine grafische Benutzeroberfläche für ein Medizinrobotiksystem. Diese kann dem Benutzer neben dem Endoskopbild auch Art und Zustand der verwendeten Instrumente, Informationen zu den einzelnen OP-Schritten, präoperative Bilddaten wie CT- oder Ultraschallbilder, Auszüge aus der Patientenakte oder Informationen zum robotischen System (Setup, OP-Zeit etc.) anzeigen und ermöglicht das Markieren und Annotieren von Bereichen im Endoskopbild.
-
Die
US 2009/088,774 A1 offenbart eine Interaktionsmöglichkeit mit einem Medizinrobotiksystem, bei der durch dedizierte Betätigung des Handcontrollers (zweimaliges Schließen innerhalb von kurzer Zeit, dann vollständiges Schließen) einzelne Freiheitsgrade gesperrt werden können. Dadurch kann z.B. ein Greifer zum Festhalten von Gewebe arretiert werden, oder ein Greifer mit Kauterfunktion für die Dauer des Kautervorganges geschlossen werden. Das Entsperren der Freiheitsgrade und der Wechsel zur normalen Steuerung erfolgen wiederum durch ein vollständiges Schließen und ein anschließendes zweimaliges Schließen.
-
US 2018/353,245 A1 beschreibt die Visualisierung der Bewegungsmöglichkeiten der Endeffektoren eines Single-Port-Systems mit Hilfe einer grafischen Benutzeroberfläche. Dabei wird einerseits eine 2D-Projektion des Arbeitsraumes in Richtung des Positionierungsmechanismus genutzt, andererseits eine Linearskala entlang der Achse des Positionierungsmechanismus. Alternativ kann eine Kombination aus schematischer Ansicht des Single-Port-Systems und 2D-Projektion des Arbeitsraumes für das linke und das rechte Instrument verwendet werden.
-
Reine robotische Telemanipulationssysteme, wie sie in der Laparoskopie üblich sind, verbessern zwar für den Chirurgen als Benutzer des Systems die Ergonomie und die Manipulationsmöglichkeiten im Patienten, entlasten diesen jedoch nicht kognitiv, zumal zuvor die Steuerung des Systems ebenfalls erlernt werden muss.
-
Bei autonom agierenden Medizinrobotersystemen hat der Arzt als medizinisches Personal nur noch eine überwachende Funktion, die eigentliche Patienteninteraktion erfolgt allein durch den Roboter. Dies kann sich einerseits negativ auf die Akzeptanz auswirken, andererseits wird eine Abweichung vom geplanten Ablauf oftmals nur schwer erkannt, da der Arzt nicht mehr aktiv in den Prozessablauf eingebunden ist (out-of-the-loop-Problem). Selbstständig können die derzeit existierenden robotischen Systeme oftmals nur unzureichend auf Abweichungen des realen medizinischen Eingriffes vom geplanten Ablauf reagieren.
-
Wünschenswert ist demgegenüber ein hybrides Gesamtsystem aus Mensch und robotischem System, welches die jeweiligen Stärken (robotisches System: Faktenwissen, Kontinuität, Präzision, Wiederholbarkeit, Optimierfähigkeit, analytisch, rational, objektiv ⇔ Mensch: Nutzung (impliziten) Erfahrungswissens, Flexibilität, Adaptivität, Reaktionsfähigkeit auf unvorhergesehene Ereignisse, Assoziation, Kognition, Intuition) kombiniert.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein robotisches Telemanipulationssystem sowie die Verwendung eines robotischen Telemanipulationssystems zur Durchführung eines medizinischen Eingriffs, insbesondere im Bereich der Weichteilchirurgie, sowie ein autonomes medizinisches Robotersystem für Diagnostik und/oder Therapie dahingehend zu verbessern, bei diesem den Autonomiegrad deutlich verbessert anpassen zu können.
-
Erfindungsgemäß gelöst wird die vorgenannte Aufgabe durch ein robotisches Telemanipulationssystem gemäß Anspruch 1, die Verwendung eines vorgenannten Telemanipulationssystems gemäß Anspruch 10, durch ein autonomes medizinisches Robotersystem gemäß dem Anspruch 11 sowie durch eine Steuerungseinrichtung für ein robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad gemäß Anspruch 12. Die Unteransprüche betreffen vorteilhafte Ausgestaltungen der jeweiligen erfindungsgemäßen Gegenstände.
-
Ein erfindungsgemäßes robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad umfasst eine Steuerungseinrichtung für einen Benutzer, mindestens eine Manipulationseinrichtung und eine bidirektionale Datenübertragungseinrichtung. Die Steuerungseinrichtung ist dabei derart ausgestaltet, um Benutzereingaben in Steuersignale zur Steuerung der Manipulationseinrichtung umzuwandeln und die Steuersignale über die Datenübertragungseinrichtung an die Manipulationseinrichtung zu übertragen. Die Manipulationseinrichtung ist ausgestaltet, um die Steuersignale von der bidirektionalen Datenübertragungseinrichtung zu empfangen, die Steuersignale in Aktionen der Manipulationseinrichtung umzusetzen und Rückmeldungssignale über die Datenübertragungseinrichtung an die Steuerungseinrichtung zurückzuleiten. Die Steuerungseinrichtung ist weiterhin ausgestaltet, die Rückmeldungssignale der Manipulationseinrichtung an den Benutzer auszugeben, wobei die Steuerungseinrichtung eine Datenbank und/oder eine Datenbankschnittstelle und eine Kontrolleinheit umfasst.
-
Die Kontrolleinheit ist derart ausgestaltet, Informationen von der Datenbank und/oder einer Datenbankschnittstelle empfangen und/oder zweite Informationen in der Datenbank abzuspeichern und/oder an die Datenbankschnittstelle zur Speicherung zu übergeben.
-
Die Kontrolleinheit ist weiterhin dahingehend ausgestaltet, dass diese in Abhängigkeit der ersten Information den Autonomiegrad für die Umwandlung der Benutzereingaben in die Steuersignale der Manipulationseinrichtung wählt.
-
Bei der Phase kann es sich beispielsweise um eine aktuelle Phase einer Operation bzw. eines medizinischen Eingriffes, welcher durch die Manipulationseinrichtung beispielsweise an einem menschlichen oder tierischen Körper durchgeführt wird, handeln. Das System ist in der Lage, anhand seiner Sensordaten (Posen und Bewegungen der Manipulationseinrichtung, wie beispielsweise Roboter) gemessene Kräfte auf die Manipulationseinrichtung und daran angeschlossene verwendete medizinische Instrumente und anhand von formalisiertem Vorwissen (Art der aktuellen Operationsphase des medizinischen Eingriffs, Arbeitsschritte bei diesen medizinischen Eingriffen) die aktuelle Phase des medizinischen Eingriffs zu erkennen, um dem Benutzer aus einer Vielzahl möglicher Unterstützungsfunktionen die gerade relevanten Funktionen anbieten zu können.
-
Der Autonomiegrads des Systems kann sich je nach Systemkenntnis und Präferenz des Benutzers über die Dauer der Zusammenarbeit mit dem jeweiligen Benutzer, wie beispielsweise einem Chirurgen, der sich dem Robotersystem gegenüber mittels seines persönlichen Benutzerprofils identifiziert hat, verändern.
-
In einem Prozess des reziproken Lernens agiert das robotische Telemanipulationssystem zunächst wenig oder nicht autonom, um einerseits dem Benutzer das Kennenlernen und Verstehen der Systemfunktionen zu erleichtern, und andererseits die Präferenzen des Benutzers zu erlernen. Im Laufe der Zeit kennt das System die Präferenzen des Benutzers immer besser und kann hierdurch autonomer agieren, ohne dass das Systemverhalten für den Benutzer störend wird. Umgekehrt kennt der Benutzer die Eigenschaften und Abläufe der Systemfunktionen so gut, dass auch ein autonomes Abarbeiten dieser Funktionen nicht zu einem intransparenten Systemverhalten führt.
-
Die Änderung des Autonomiegrades kann auch anhand der Aufgabe erfolgen, derart, dass bei kritischen Aufgaben wie bei der Präparation von Strukturen mittels der Manipulationseinrichtung während eines chirurgischen Eingriffs ein geringerer Autonomiegrad, d.h. eine stärkere Beteiligung des Nutzers bei der Aufgabenstellung, angeboten wird, als bei unkritischen Aufgaben, wie beispielsweise bei der Führung eines Endoskops durch die Manipulationseinrichtung oder der Führung einer Absaugeinrichtung über die Manipulationseinrichtung.
-
Bevorzugt kann die erste Information zur Wahl des Autonomiegrades anhand der Kriterien aus der Gruppe von: einer aktuellen Phase einer durch die Manipulationseinrichtung auszuführenden Aufgabe, der Systemkenntnis und Präferenz des Benutzers und/oder der durch die Manipulationseinrichtung auszuführenden Aufgabe ausgewählt werden.
-
Besonders bevorzugt kann der Autonomiegrad ausgewählt werden aus der Gruppe von: einer manuellen Steuerung, einer Aktionsunterstützung, einer Stapelverarbeitung, einer gemeinsamen Steuerung, einer Entscheidungsunterstützung, einer gemischten Entscheidungsfindung, eines starren Systems, einer automatisierten Entscheidungsfindung, einer übergeordneten Steuerung oder einer Vollautomatisierung.
-
Bei den vorgenannten Definitionen entspricht Manual Control = manuelle Steuerung, Action Support = Aktionsunterstützung, Batch Processing = Stapelverarbeitung, Shared Control = gemeinsame Steuerung, Decision Support = Entscheidungsunterstützung, Blended Decision Making = gemischte Entscheidungsfindung, Rigid System = starres System, Automated Decision Making = automatisierte Entscheidungsfindung, Supervisory Control = übergeordnete Steuerung und Full Automation = Vollautomatisierung.
-
Bei der Zusammenarbeit von Menschen mit (teil-)autonomen technischen Systemen lassen sich unterschiedliche Autonomiegrade unterscheiden. Endsley und Kaber betrachten die vier Aufgaben Überwachung (Aufnahme aller Informationen, die für die Wahrnehmung des Systemstatus relevant sind), Generierung (Formulierung von Optionen oder Strategien zur Zielerreichung), Auswahl (Entscheidung über eine Option oder Strategie treffen) und Implementierung (Durchführung und Umsetzung der ausgewählten Option durch Kontrollmaßnahmen an einer Schnittstelle) von Aktionen, um darauf basierend zehn Autonomiegrade technischer Systeme zu unterscheiden.
[Kaber DB, Endsley MR. The effects of level of automation and adaptive automation on human performance, situation awareness and workload in a dynamic control task. Theoretical Issues in Ergonomics Science 2004; 5(2): 113-53.]
-
Wie in 2 dargestellt, unterscheiden sich die vorbezeichneten Autonomiegrade in der Handlungsträgerschaft der beiden Akteure Mensch (M) und Computer (C). Anstelle von Computern kann man in der vorliegenden Anwendung auch Medizinrobotiksysteme einsetzen. Der Akteur Mensch wird durch den Benutzer des Medizinrobotiksystems eingenommen und der Computer durch die Kombination der Steuerungseinrichtung mit der mindestens einen Manipulationseinrichtung eingenommen. Die in der 2 fett markierten Autonomiegrade 2 Action Support, 6 Blended Decision Making und 9 Supervisory Control werden im Folgenden für verschiedene Aufgaben in den Bereichen Navigation und Endoskopführung vorgestellt:
- Action Support: Der Computer unterstützt den Menschen bei der Durchführung ausgewählter Aktionen. Dies erfordert menschliche Kontrollaktionen. Ein gängiges Beispiel hierfür ist ein Teleoperationssystem, bei dem der Manipulator auf der Grundlage menschlicher Eingaben durch einer Steuerungseinrichtung arbeitet.
-
Blended Decision Making: Der Computer generiert eine Liste von Entscheidungsoptionen, aus der er eine Option auswählt und bei Zustimmung des Menschen ausführt. Der Mensch kann alternativ eine andere, durch den Computer erzeugte, Option auswählen oder selbst Optionen erstellen. Der Computer führt die ausgewählte Aktion, beispielsweise mittels einer Manipulationseinrichtung, aus.
-
Supervisory Control: Der Computer generiert Optionen, wählt eine Option zur Umsetzung aus und führt diese aus. Der Mensch überwacht die Aktionen und greift nur bei Bedarf ein. Bei einer Intervention wählt der Menschen eine andere, vom Computer oder dem Menschen selbst erzeugte, Option aus.
-
Beim reziproken Lernen eines Robotersystems ändern sich sowohl das Verhalten des Systembenutzers als auch das Verhalten des robotischen Systems über die Dauer der Zusammenarbeit. Dadurch verändert sich, wie in 3 gezeigt, anhand der beiden Funktionen intraoperative Navigation, wie in 3a dargestellt und Endoskopführung, wie in 3b dargestellt, im Laufe der Zeit die Aufteilung der Handlungsträgerschaft zwischen Mensch und robotischem System. Bei einer komplementären Funktionsgestaltung wie im Falle der intraoperativen Navigation werden zunehmend Handlungen, welche ursprünglich der Mensch durchgeführt hat, durch das System übernommen. Bei einer kontextsensitiven Funktionsgestaltung wie im Falle der Endoskopführung agiert das System bereits von Anfang an weitgehend autonom (Supervisory Control), verbessert aber im Laufe der Zeit sein autonomes Verhalten durch Erlernen der individuellen Gewohnheiten und Präferenzen des Chirurgen.
-
Telemanipulierbarkeit: Der Benutzer muss das System bei kritischen OP-Schritten, bei Komplikationen oder einer unklaren OP-Situation sowie bei möglichen Fehlfunktionen vollständig telemanipulieren können. Hierzu sind einerseits entsprechende Eingabemöglichkeiten und Ausgabemöglichkeiten vorzusehen, wie sie zum Teil auch schon bei momentan erhältlichen kommerziellen Systemen angeboten werden. Zum anderen muss der Benutzer das autonome Bearbeiten von Aufgaben jederzeit pausieren und/oder vollständig abbrechen können.
-
Nutzung verschiedener Inputmodalitäten: Abhängig von den zu steuernden Aufgaben sollen verschiedene Eingabemöglichkeiten genutzt werden. Oberstes Ziel ist dabei eine leichte Handhabung und intuitive Verständlichkeit. Während für präzise Bewegungen Handcontroller oder mit Einschränkungen (keine haptische Rückmeldung, exakte Bewegungen über längere Zeit schwierig) Gestenerkennung genutzt werden können, erlauben Knöpfe, Schalter und/oder Fußpedale das dedizierte Auslösen von Funktionen (z.B. Aktivieren von Kauterstrom zum Veröden von Gefäßen).
-
Touchscreens und Spracheingabeeinrichtungen eignen sich insbesondere für das intraoperative Interagieren mit dem robotischen System (z.B. Markieren und Benennen von Strukturen, Aktivieren von Unterstützungsfunktionen). Für das Bewegen der Endoskopkamera stellt Eye Tracking eine mögliche Alternative zur Steuerung per Handcontroller dar.
-
Nutzung verschiedener Feedbackmodalitäten: Analog sollen je nach Art der Rückmeldung an den Benutzer verschiedene Ausgabemöglichkeiten genutzt werden. Diese können den visuellen (Anzeige auf dem (3D-)Display, Status LEDs), auditiven (Warntöne, Aufmerksamkeitston nach Aktivieren der Spracheingabe) oder haptischen (Force Feedback oder vibrotaktiles Feedback durch die Handcontroller oder zusätzliche Devices wie das Vibrotac-Armband) Sinneskanal des Benutzers stimulieren. Dabei ist darauf zu achten, dass weder ein Sinneskanal überlastet wird noch der Benutzer durch eine Vielzahl an Meldungen kognitiv überfordert wird. Letzteres erfordert eine klare Priorisierung und Kennzeichnung der Meldungen (z.B. mit aufsteigender Wichtigkeit: Hinweis => Warnung => Gefahrenwarnung ⇒ Kritische Warnung).
-
Erfindungsgemäß können verschiedene Datenbanken bzw. Schnittstellen zu Datenbanken Verwendung finden, wie insbesondere:
- Eine Funktionsdatenbank: Diese bereits im Neuzustand des Systems vorhandene und nachträglich durch den Benutzer und/oder den Systemhersteller erweiterbare, dauerhafte Datenbank speichert das vorhandene Vorwissen zu den einzelnen Eingriffen. Hierzu zählt beispielsweise Vorwissen zur Anatomie (um z.B. Gefäße automatisch benennen zu können), Prozessmodelle für den Ablauf der verschiedenen chirurgischen Eingriffe sowie die Beschreibung der einzelnen elementaren Aktionen (z.B. Knoten zuziehen). Bevorzugt sind diese elementaren Aktionen parametrierbar beschrieben, um sie durch das Laden entsprechender Parametersätze an einzelne Chirurgen und Eingriffe anpassen zu können.
-
Eine Benutzerdatenbank: Diese durch die Systemnutzer und das System befüllte, dauerhafte Datenbank speichert die vom Chirurgen gewünschten Unterstützungsfunktionen, welche der Chirurg über ein Graphical User Interface (GUI) auswählen und ändern kann. Zudem speichert sie die erlernten Präferenzen des Chirurgen, beispielsweise als Parametersätze für elementare Aktionen in der Funktionsdatenbank.
-
Ein Externes Gedächtnis: Diese temporäre Datenbank für intraoperative Daten speichert Informationen wie vom Chirurgen angelegte Markierungen und Timer. Zusätzlich sind die verwendeten Materialien und Instrumente, entnommene Gewebeproben und eine vorläufige Version des OP-Protokolls dort abgelegt und können durch den Chirurgen und/oder das OP-Personal jederzeit eingesehen und angepasst werden.
-
Eine Schnittstelle zur Patientendatenbank einer medizinischen Einrichtung, wie einer Klinik: Diese Anbindung dient einerseits dazu, Patientendaten (z.B. präoperative Bilddaten) direkt am System verfügbar zu machen. Andererseits erfolgt über sie der Export aller Informationen aus dem externen Gedächtnis, welche auch nach dem Eingriff dauerhaft verfügbar sein sollen, wie das OP-Protokoll, Videoaufnahmen, Fotos des Eingriffes oder mitgeloggte Systemdaten des Roboters.
-
Die Steuerungseinrichtung kann bevorzugt weiterhin mindestens eine Eingabeschnittstelle zur Entgegennahme von Benutzereingaben und mindestens eine Ausgabeschnittstelle zur Ausgabe von Rückmeldungssignalen der Manipulationseinrichtung an den Benutzer umfassen.
-
Die mindestens eine Eingabeschnittstelle kann mindestens aus einem Element, ausgewählt aus der Gruppe von einem Handcontroller, einem System zur Gestenerkennung, einem System zur Nachverfolgung der Augen bzw. Augenbewegung des Benutzers, Schaltern, Knöpfen, Fußpedalen, Touchscreens und/oder einer Spracheingabe gebildet werden.
-
Die mindestens eine Ausgabeschnittstelle kann mindestens ein Element ausgewählt aus der Gruppe von einer visuellen Ausgabeeinrichtung, einer auditiven Ausgabeeinrichtung und/oder einer haptischen Ausgabeeinrichtung gebildet werden.
-
Erfindungsgemäß können insbesondere auch mehrere Ein- und Ausgabeschnittstehen vorgesehen werden. So können beispielsweise zusätzliche Schnittstellen für das sterile OP-Personal am OP-Tisch, beispielsweise in Form von: RGB-Leds am Roboter als Ausgabe sowie am Roboter integrierte Buttons und Drehmoment-Sensoren als Eingabe zur direkten Steuerung des Roboters (Hands-On-Betrieb) vorgesehen werden. In dem erfindungsgemäßen System ist bei der Vorsehung von mehreren Eingabeeinrichtungen eine Priorisierung vorgegeben, wie die unterschiedlichen Eingaben zu priorisieren bzw. ggf. zu blockieren sind (damit beispielsweise nicht der Assistenzarzt am Tisch durch Bewegen des Roboters die Telemanipulation des Chirurgen stört).
-
Die Datenbank kann mindestens aus einem Element ausgewählt aus der Gruppe von einer Funktionsdatenbank, einer Benutzerdatenbank und/oder einem externen Gedächtnis bzw. externen Datenspeicher gebildet werden.
-
Die Datenbankschnittstelle kann durch eine Schnittstelle zu einer Patientendatenbank einer medizinischen Einrichtung, wie beispielsweise einer Klinik, gebildet werden.
-
Die Schnittstelle zur Patientendatenbank der Klinik dient einerseits dazu, die Patientendaten, z.B. prä-operative Bilddaten, direkt am robotischen Telemanipulationssystem verfügbar zu machen. Andererseits erfolgt über sie der Export aller Informationen aus dem externen Gedächtnis bzw. externen Datenspeicher, welche auch nach dem Eingriff dauerhaft verfügbar sein sollen, wie beispielsweise das Protokoll des medizinischen Eingriffs, Videoaufnahmen oder Fotos des Eingriffs oder mitgespeicherte gelockte Systemdaten der Telemanipulationseinrichtung, wie beispielsweise einem Roboter.
-
Die mindestens eine Manipulationseinrichtung kann zur Durchführung von medizinischen Eingriffen, insbesondere für therapeutische Maßnahmen und/oder chirurgische Eingriffe am tierischen und/oder menschlichen Körper, ausgestaltet werden.
-
Erfindungsgemäß kann auch die Verwendung eines robotischen Telemanipulationssystems gemäß dem ersten Aspekt der vorliegenden Erfindung zur Durchführung eines medizinischen Eingriffs, insbesondere im Bereich der Weichteilchirurgie, vorgesehen werden. Insbesondere kann weiterhin ein autonomes medizinisches Robotersystem für die Durchführung von diagnostischen Aufgaben und/oder medizinischen Therapien umfassend ein robotisches Telemanipulationssystem gemäß dem ersten Aspekt der vorliegenden Erfindung vorgesehen werden.
-
Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung eine Steuerungseinrichtung für ein robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, wobei die Steuerungseinrichtung derart ausgestaltet ist, um Benutzereingaben in Steuersignale zur Steuerung einer Manipulationseinrichtung umzuwandeln und die Steuersignale über eine Datenübertragungseinrichtung an die Manipulationseinrichtung zu übertragen.
-
Die Steuerungseinrichtung ist weiterhin derart ausgestaltet, Rückmeldungssignale der Manipulationseinrichtung an den Benutzer auszugeben und wobei die Steuerungseinrichtung eine Datenbank und/oder eine Datenbankschnittstelle und eine Kontrolleinheit umfasst, wobei die Kontrolleinheit derart ausgestaltet ist, erste Informationen von der Datenbank und/oder einer Datenbankschnittstelle zu empfangen und/oder zweite Informationen in der Datenbank abzuspeichern und/oder an die Datenbankschnittstelle zur Speicherung zu übergeben. Die Kontrolleinheit wählt in Abhängigkeit der ersten Informationen einen Autonomiegrad für die Umwandlung der Benutzereingaben in die Steuersignale der Manipulationseinrichtung.
-
Die vorbezeichnete Steuerungseinrichtung kann die gleichen optionalen Merkmale aufweisen wie zuvor bereits im Hinblick auf das robotische Telemanipulationssystem ausgeführt wurde.
-
Im Folgenden wird ein Ausführungsbeispiel der Erfindung für die minimalinvasive Chirurgie beschrieben. Die grundlegenden Konzepte der Erfindung sind jedoch auch für Robotiksysteme zur Diagnostik und Therapie in anderen medizinischen Fachbereichen (z.B. Orthopädie oder Neurochirurgie) anwendbar. Bei dem beschriebenen Chirurgen handelt es sich um den Benutzer des erfindungsgemäßen robotischen Telemanipulationssystems mit adaptierbarem Autonomiegrad, bei dem der Chirurg über die Steuerungseinrichtung Eingaben zur Steuerung des Telemanipulationssystems vornimmt.
-
Die 1 zeigt schematisch ein Medizinrobotiksystem für die minimalinvasive Chirurgie: Einer oder mehrere Roboter als Manipulationseinrichtungen in der Nähe des Patienten auf dem OP-Tisch (rechts) bewegen während des chirurgischen Eingriffes das Endoskop und die chirurgischen Instrumente. Hierbei werden sie durch einen Chirurgen als Benutzer an einer Steuerungseinrichtung in Form einer Konsole gesteuert (links). Oftmals befindet sich der Chirurg während des Eingriffes im gleichen OP-Saal wie der Patient, da dies die Koordination mit dem übrigen OP-Personal vereinfacht. Allerdings funktioniert die Teleoperation auch bei einer räumlichen Trennung von Chirurgen und Patient, so dass beispielsweise mit geringem Aufwand ein weit entfernter Experte zu einem komplexen Eingriff hinzugezogen werden kann. Zwischen der Chirurgenkonsole als Steuerungseinrichtung und den Robotern als Manipulationseinrichtungen findet eine bidirektionale Datenübertragung statt: Einerseits werden Steuerbefehle des Chirurgen an die Roboterarme übertragen, welche daraufhin bestimmte Manipulationsaufgaben durchführen. Andererseits werden Informationen aus dem OP-Feld (z.B. die Aufnahmen der Endoskopkamera oder Gewebeinteraktionskräfte) an die Steuerungseinrichtung beispielsweise in Form der Chirurgenkonsole übertragen und dem Chirurgen als Benutzer in geeigneter Weise (z.B. visuell oder haptisch) zurückgemeldet.
-
Für eine rasche und intuitive Navigation durch die Anwendung sollte möglichst eine flache Interaktionsarchitektur genutzt werden (vgl. 4). Im vorliegenden Anwendungskonzept erfolgt die Steuerung des Systems über die drei Ebenen Benutzerprofil, Eingriffsübersicht und Homebildschirm: Über das Benutzerprofil können individuelle Präferenzen und der Workflow des Chirurgen festgelegt sowie der Lernstatus des Systems aufgerufen werden. Die Eingriffsübersicht enthält alle relevanten Informationen und Daten über den Patienten und den Eingriff. Zusätzlich ist die Auswahl der präoperativen Daten und die Referenzierung des Patienten über diese Ebene möglich. Die 4 wurde zur besseren Erkennbarkeit der Merkmale auf zwei Figurenseiten aufgeteilt, wobei die beiden Figurenteile im Bereich der strichpunktierten Linien aneinander anschließen.
-
Der in den 5a bis 5d gezeigte Homescreen bildet das Hauptinterface des Systems für die intraoperative Phase. Hier kann der Chirurg sämtliche Systemfunktionen für die intraoperative Phase aufrufen. Das Interface des Homescreens tritt visuell in den Hintergrund und stellt immer nur die situativ notwendigen Informationen dar, um die Aufmerksamkeit des Chirurgen nicht von der primären Aufgabe des Operierens abzulenken.
-
Der HOMEBAR enthält alle Informationen und Funktionen, die für den Chirurgen konstant zur Verfügung stehen müssen. Dazu zählt sowohl der Instrumenten- und Endoskopstatus als auch Eingriffsmöglichkeiten in die autonome Endoskopführung. Diese werden mit Hilfe der Sprachsteuerung bedient. Der SCHNELLZUGRIFF besteht aus den drei Hauptfunktionen Overlay setzen, Overlay ein- oder ausblenden und manuelle Endoskopführung, welche häufig eingesetzt werden und daher schnell aufrufbar sein müssen. Wie der Homebar wird auch der Schnellzugriff über Sprachsteuerung bedient. Er ist im Standardzustand ausgeblendet und wird erst über ein Codewort eines Sprachbefehls eingeblendet und aktiviert.
-
Über den SIDEBAR RECHTS können die Unterfunktionen der jeweiligen Hauptfunktion des Schnellzugriffs aufgerufen werden. Hierfür wird ein Handcontroller als Ein- und Ausgabeschnittstelle eingesetzt. Hinter jeder Sidebar befindet sich ein ELEMENTVERZEICHNIS, welches die während des Eingriffs erstellten Elemente, wie beispielsweise Markierungen, Linien oder Sperrungen, verwaltet und strukturiert. Dieses kann durch ein doppeltes Schließen des Handcontrollers geöffnet werden. Das DIREKTAUSWAHLFENSTER enthält sämtliche Einstellungen, welche für eine jeweilige Overlayart (Linie, Markierung, Punkt) eingesetzt werden können. Es erscheint nach dem Setzen eines Overlays beziehungsweise durch die Auswahl eines bestehenden Overlays durch einen Klick.
-
Die SIDEBAR LINKS bietet Zugriff auf die in der Eingriffsübersicht geladenen präoperativen Bilddaten und die dazugehörigen Bearbeitungs- und Manipulationstools. Auch die linke Sidebar verfügt über ein dazugehöriges Elementverzeichnis, welches beispielsweise durch einen Doppelklick am linken Bildschirmrand geöffnet werden kann und weitere Bilddaten und vorhandene Elemente verwaltet.
-
Die 6 bis 20 beschreiben Methoden zum Interagieren des Benutzers mit dem robotischen System auf den drei verschiedenen Autonomiestufen Action Support, Blended Decision und Supervisory Control.
-
Der in 6 gezeigte Ablauf der Eingriffsvorbereitung ist für die verschiedenen Autonomiestufen des robotischen Systems identisch. Zur Registrierung des Patienten gegenüber dem robotischen System bewegt der Chirurg im Hands-On Modus den Roboterarm bzw. die Manipulationseinrichtung wie unter Referenzierung beschrieben. Dabei wird er durch eine Visualisierung der anzufahrenden Punkte unterstützt.
-
In der Autonomiestufe Action Support wird das System vollständig manuell durch den Chirurgen angewiesen und gesteuert. Funktionen werden manuell ausgewählt und durchgeführt. Das System unterstützt den Chirurgen dabei lediglich passiv, beispielsweise durch Sicherheitsfeatures. In dieser Phase lernt der Chirurg die Funktionen, ihre Vorteile und ihren Einsatz kennen.
-
7 zeigt den Arbeitsablauf der autonomen Endoskopführung für die Autonomiestufe Action Support. Die beiden Screenshots zeigen beispielhaft die Visualisierung des aktuellen (oben) und des nächsten Fokusbereiches (unten), welche den Chirurgen über die vom System geplante Endoskopbewegung (Ausrichtungsänderung und Vergrößerung/Verkleinerung des Abstandes zum OP-Feld) informiert. Das Einhalten der Trokarbedingung für das Endoskop wird hierbei automatisch durch das robotische System sichergestellt.
-
8 beschreibt die beiden möglichen Vorgehensweisen zum manuellen Steuern des Endoskops in der Autonomiestufe Action Support: Entweder aktiviert der Chirurg die manuelle Endoskopführung per Sprachbefehl und kann dann die Endoskopbewegungen direkt über die Handcontroller steuern. Alternativ kann der Chirurg gespeicherte Endoskop-Positionen anfahren, welche zuvor über den Befehl „MIRO - Speichern“ gesichert wurden. Hierfür wird durch „MIRO - Freigeben“ die Freigabe der Handcontroller angewiesen und durch eine aufsteigende Vibrationsfrequenz bestätigt. Anschließend kann durch Klicken die rechte Sidebar eingeblendet werden. Durch einen Doppelklick (d.h. doppeltes Schließen der Handcontroller) wird das Elementverzeichnis ausgeklappt. Nach einem erneuten Doppelklick auf die entsprechende gespeicherte Position wird diese durch das Endoskop angefahren.
-
Auf der Autonomiestufe Action Support erfordert das Sperren eines Sicherheitsbereiches per Overlay, wie in 9 dargestellt, zahlreiche manuelle Schritte des Chirurgen: Nach dem Aktivieren der Overlayfunktion werden zunächst durch das robotische System die Handcontroller und die Instrumente entkoppelt und dem Chirurgen eine Schnellzugriffleiste mit vorselektiertem Markierungswerkzeug gezeigt. Durch Schließen und anschließendes Bewegen eines Handcontrollers (typischerweise die Führungshand des Chirurgen, alternativ ist nach einer Kopplung beider Handcontroller auch ein beidhändiges Bewegen möglich), markiert der Chirurg im Endoskopbild den gewünschten Overlay-Bereich. Dieser wird nach Öffnen des Handcontrollers gespeichert (hierbei wird die zweidimensionale Markierung des Chirurgen auf die im Endoskopbild darunter liegenden dreidimensionalen anatomischen Strukturen im Patienten gemappt) und dem Chirurgen ein Direktauswahlfenster mit Manipulationsmöglichkeiten für die Markierung angezeigt. Darin kann der Chirurg die Markierung benennen, festlegen, ob diese im OP-Verlauf automatisch erweitert werden soll, und die Art der Sperrung (No-Go-Area oder Vibrationssperrung) festlegen. Im ersten Fall verhindert eine abstoßende Virtual Fixture (vgl. 10a) ein Eindringen der chirurgischen Werkzeuge in den Bereich, im zweiten Fall erhält der Chirurg lediglich einen Vibrationsalarm (also ein vibrotaktiles Feedback) als Warnung beim Eindringen in das Gebiet. Die Visualisierung des Sperrgebietes per Overlay unterscheidet sich je nach Art der Sperrung und kann durch den Chirurgen jederzeit eingeblendet (dann ist die Sperrung als farbiges Overlay permanent sichtbar; in den Figuren wird ein hellblaues Overlay genutzt, da diese Farbe im Körperinneren nicht vorkommt) oder ausgeblendet (dann wird die Sperrung nur bei Verletzung des gesperrten Gebietes in der Umgebung des verletzenden Instrumentes angezeigt) werden.
-
Die 10a bis 10d geben einen Überblick über die verschiedenen Formen von Virtual Fixtures: Einerseits kann zwischen Regional Constraints (10a), welche den Bewegungsraum des Benutzers beschränken, und Guiding Constraints ( 10b), welche den Benutzer entlang eines vorgegebenen Pfades führen, unterschieden werden. Letztere werden dabei durch die Benutzer oftmals als dominanter wahrgenommen. Andererseits kann hinsichtlich der Art der Bewegungsbeeinflussung zwischen Attractive (10c), also anziehenden, und Repulsive (10d), also abstoßenden, Constraints unterschieden werden. Im Falle der No-Go-Area werden beispielsweise Repulsive Regional Constraints benutzt. Je nach Parametrierung der Virtual Fixtures können sich diese sehr steif anfühlen („virtuelle Wand“/„Führungsschiene“) oder die Bewegungen des Chirurgen nur leicht beeinflussen. Ebenso ist es möglich, diese Fixtures übersteuerbar zu gestalten, sie also zu deaktivieren, sobald der Chirurg ihre Grenze weit genug überschritten hat, so dass man von einer bewussten Handlung des Chirurgen ausgehen kann. Die geeignete Parametrierung der Virtual Fixtures ist eine komplexe Aufgabe, welche von zahlreichen objektiven Faktoren (z.B. Größe und Lage der Geometrien, Ablauf des Eingriffs) ebenso beeinflusst wird wie von subjektiven Präferenzen des Chirurgen.
-
Das in 11 gezeigte Overlay des Endoskopbildes mit einer Fluoreszenzansicht, wobei die Fluoreszenzansicht das gesamte Endoskopbild überlagert, in der 11 sind stark durchblutete Bereich der Fluoreszenzansicht dargestellt als schraffierte Bereiche. Das Overlay erlaubt das Erkennen von oberflächennahen durchbluteten Strukturen, wie z.B. großen Gefässen. Beim Autonomiegrad Action Support wird zum (De)Aktivieren dieser Ansicht die Side Bar (rechts) per Stimmkommando geöffnet und die Option für die Fluoreszenzansicht manuell mit Hilfe der Handcontroller ausgewählt. Beim Autonomiegrad Blended Decision wählt das System nach dem Stimmkommando des Benutzers selbsttätig die Fluoreszenzansicht als am besten geeignete Option aus. Beim Autonomiegrad Supervisory Control wird sowohl die Entscheidung über das Einblenden eines Overlays als auch die Auswahl der Overlays autonom durch das System getroffen.
-
12 beschreibt die Vorgehensweise zum Anlegen von mit Strukturen oder Objekten verknüpften Erinnerungsmeldungen für die Autonomiestufe Action Support. Der Chirurg aktiviert die Overlayfunktion per Stimmkommando, wählt dann mittels der von den Instrumenten entkoppelten Handcontroller das Punkttool in der Sidebar aus und bewegt dieses anschließend auf die gewünschte Struktur/das gewünschte Objekt. Durch Schließen des Handcontrollers wird die Struktur/das Objekt ausgewählt und kann z.B. per Spracheingabe benannt werden. Optional kann zusätzlich noch ein Timer aktiviert werden, um beispielsweise beim Abklemmen von Gefäßen die Ischämiezeiten permanent im Blick zu haben. Solange der Timer aktiv ist, wird er dem Chirurgen oberhalb des Homebars angezeigt, sein Ablaufen wird dem Chirurgen visuall und haptisch signalisiert.
-
Wie in 13 ersichtlich, erfolgt in der Autonomiestufe Action Support das optimierte Ausrichten der Bilddaten in zwei Phasen. Zunächst wird das aus den präoperativen Bilddaten errechnete 3D-Modell des OP-Bereiches anhand der präoperativen Referenzierung (vgl. 6) grob ausgerichtet. Soll die Ausrichtung weiter verbessert werden, muss der Chirurg in einer zweiten Phase (beispielsweise während des chirurgischen Eingriffes) zusätzliche Referenzpunkte auf dem 3D-Modell und im Endoskopbild auswählen. Die Ausrichtung des 3D-Modells wird nach Setzen jedes Referenzpunktes optimiert, indem die Abweichung zwischen realen und virtuellen Strukturen über alle Referenzpunkte hinweg minimiert wird. Ein Setzen oder Löschen von Referenzpunkten ist intraoperativ jederzeit möglich. Alternativ wäre es möglich, die Optimierung der Ausrichtung nicht automatisch nach dem Setzen der Referenzpunkte, sondern erst auf Anforderung des Benutzers hin durchzuführen. Dies ist insbesondere dann sinnvoll, wenn die Optimierung eine vergleichsweise hohe Rechenzeit erfordert.
-
Sobald die präoperativen Bilddaten zum Endoskopbild referenziert sind, können diese, wie in den 14a bis 14d gezeigt, dem Chirurgen auf vielfältige Weise direkt auf dem Homescreen zur Verfügung gestellt werden: Der Chirurg kann gezielt einzelne Strukturen in den Datensätzen hervorheben sowie das 3D-Modell frei bewegen und vermessen. Auch ein direkter Zugriff auf die 2D-Daten ist möglich.
-
Auf der Autonomiestufe Blended Decision macht das robotische System dem Benutzer eigenständig Vorschläge, welche dieser entweder direkt bestätigen oder modifizieren kann.
-
Wie der Vergleich von 15 und 9 verdeutlicht, schlägt das System beim Definieren und Sperren des Overlay-Bereiches im Szenario Blended Decision selbstständig Manipulationsfunktionen, die Erweiterung des Sperrbereiches und die geeignete Art der Sperrung vor. Der Chirurg kann diese Vorschläge bestätigen oder anpassen.
-
Im Vergleich zu 12 wählt das System beim Definieren von Erinnerungen im Szenario Blended Decision (siehe 16) automatisch das situativ passende Overlaytool aus, ebenso legt das System selbstständig die geeignete Art der Erinnerung (z.B. Timer) fest.
-
Bei der in 17 gezeigten Referenzierung der präoperativen Bilddaten im Szenario Blended Decision aktiviert das System die grobe globale Ausrichtung standardmäßig und blendet bevorzugte Bearbeitungsoptionen automatisch ein. Bei Aktivierung des Referenzierungstools schlägt das System automatisch zwei zueinander passende Referenzpunkte im 3D-Modell und im Endoskopbild vor, welche der Chirurg entweder anpassen oder direkt übernehmen kann.
-
Ab der Autonomiestufe Blended Decision hat der Benutzer Zugriff auf den Lernstatus des Systems. Hierbei kann er in einer Überblicksansicht (vgl. 18) über die autonom durchgeführten Aktionen des Systems einzelne Aktionen deaktivieren oder löschen (im Beispiel das automatische Sperren markierter Bereiche, der Schiebeschalter dient zum Deaktivieren, das Kreuz zum Löschen).
-
Auf der Autonomiestufe Supervisory Control führt das System einen Großteil der Funktionen nach einem Initiativbefehl des Chirurgen selbstständig aus. Der Chirurg wird lediglich durch die visuellen Auswirkungen einer Aktion informiert. Soll eine Aktion verändert oder rückgängig gemacht werden, ist ein bewusstes Eingreifen des Chirurgen notwendig.
-
Im Falle des Overlays (19) kann das System in der Autonomiestufe Supervisory Control die einmal gewählten Einstellungen zu Art der Sperrung und Sichtbarkeit intraoperativ je nach Bedarf intelligent der jeweiligen OP-Situation anpassen (z.B. automatische Änderung der Sperrung zu Vibration, wenn der Chirurg laut OP-Ablaufplan die gesperrte Struktur manipulieren muss). Zudem können definierte Sperrbereiche automatisch um frei präparierte Bereiche vergrößert werden, d.h. die Sperrung wächst ausgehend von der ursprünglichen Struktur im Laufe des Eingriffes immer weiter mit.
-
Die Ausrichtung der präoperativen Bilddaten erfolgt im Szenario Supervisory Control automatisch (vgl. 20): Im Verlauf des Eingriffs setzt das System selbstständig und im Hintergrund weitere Referenzpunkte und aktualisiert die Ausrichtung des 3D-Modells, um stets eine bestmögliche Ausrichtung der präoperativen Bilddaten zu erreichen. Außerdem ist die globale Ausrichtung standardmäßig aktiviert und bevorzugte Bearbeitungsoptionen sind automatisch eingeblendet. Dies gilt ebenfalls für alle zweidimensionalen Bilddaten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 9867668 B2 [0005]
- US 10383694 B1 [0006]
- US 2019/0175062 A1 [0007]
- US 10229753 B2 [0008]
- US 2020/0205914 A1 [0009]
- US 10786315 B2 [0010]
- WO 2019/136342 A1 [0011]
- WO 2019/117926 A1 [0012]
- US 2009088774 A1 [0013]
- US 2018353245 A1 [0014]
