-
Technisches Gebiet
-
Die vorliegende Offenbarung betrifft ein medizinisches, insbesondere chirurgisches, Roboter-Führungssystem für einen medizinischen Vorgang, insbesondere chirurgischen Eingriff, bei einem Patienten. Das Roboter-Führungssystem weist dafür einen Roboter mit einem an einer Roboterbasis beweglich angebundenen Roboterarm und einem an dem Roboterarm endständig angebundenen Roboterkopf auf. Insbesondere weist der Roboterkopf einen Endeffektor auf oder ein Endeffektor bildet selbst den Roboterkopf aus. Ferner weist das Roboter-Führungssystem eine (zentrale) Steuereinheit (insbesondere mit einem Prozessor und einer Speichereinheit) auf, die dafür angepasst ist, zumindest den Roboter, insbesondere den Roboterarm und den Roboterkopf (und damit insbesondere den Endeffektor) zu steuern und zu bewegen. Ferner weist das Roboter-Führungssystem zumindest ein Touchdisplay/ Touchscreen/ einen berührungsempfindlichen Bildschirm auf, das/der dafür angepasst ist, zumindest ein Bedienungsmenü (zur Steuerung) visuell auszugeben, und eine berührungsempfindliche Eingabe als Bedieneingabe zu erfassen und diese an die Steuereinheit zu senden, um insbesondere den Roboter zu steuern. Daneben betrifft die Offenbarung ein (Roboter-)Bedienungsverfahren und ein computerlesbares Speichermedium gemäß den Oberbegriffen der nebengeordneten Ansprüche.
-
Hintergrund der Offenbarung
-
Chirurgische Führungssysteme finden bei einem Eingriff, insbesondere einem minimalinvasiven Eingriff, zunehmend Verwendung. Durch die technologische Weiterentwicklung und eine voranschreitende Spezialisierung von verschiedenen (Sub-)System mit entsprechender Einbindung, nimmt die Anzahl an Funktionen der medizinischen Systeme stark zu.
-
Die fortscheitende Erweiterung der Führungssysteme um diese Vielzahl an unterschiedlichen Funktionalitäten erschwert zunehmend, dass dem Nutzer eine solche zentrale Bedienung bzw. Bedienungsmodalität zur Verfügung gestellt wird, welche es ihm erlaubt, den Überblick über die Funktionen und eine Kontrolle beizubehalten.
-
Für eine Bedienung eines robotischen Führungssystems werden nach dem Stand der Technik aktuell Touchdisplays auf beispielsweise einem medizinischen Wagen, einem medizinischen Turm oder an einer Basis eines medizinischen (Operations-)Mikroskops vorgesehen, über das ein medizinisches Fachpersonal mittels einer Führung durch ein (Bedien-/Bedienungs-)Menü eine (Bedien-)Eingabe für eine entsprechende Steuerung tätigen kann.
-
Ein Problem hierbei ist jedoch, dass das Touchdisplay nicht zentral im Bereich des Eingriffs angeordnet ist, sondern entfernt zu diesem. Dieser Umstand erschwert einerseits eine Erreichbarkeit und andererseits eine Hygieneanforderung, da das Touchdisplay nicht steril vorgesehen ist. Aufgrund der Entfernung einerseits und der Sterilitätsanforderung andererseits kann ein den Eingriff leitender Operateur das Touchdisplay meist nicht selbst bedienen.
-
Die
US 2005/0041282 A1 offenbart etwa ein Operationsmikroskop als Roboter-Führungssystem mit einem Touchdisplay, welches an einer Basis/ einem Wagen des Operationsmikroskops starr befestigt ist. Mittels dem berührungsempfindlichen Display können über unterschiedliche Bereiche des Displays unterschiedliche Funktionen gesteuert werden. Aufgrund dieser Konfiguration muss der Operateur jedoch einem weiteren medizinischen Fachpersonal eine Anweisung für eine Steuerung einer Funktion geben, dass dieses Fachpersonal dann die Steuerung ausführt.
-
Zusammenfassung der Offenbarung
-
Es ist daher die Aufgabe der vorliegenden Offenbarung, die Nachteile aus dem Stand der Technik zu vermeiden oder zumindest zu vermindern und insbesondere ein medizinisches Roboter-Führungssystem und ein Bedienungsverfahren zur Verfügung zu stellen, das einem Nutzer, wie einem medizinischen Fachpersonal, insbesondere einem Operateur, eine intuitive und übersichtliche Bedienung mit intuitiver Bedienoberfläche zur Verfügung stellt, die bei einem medizinischen Vorgang wie einem Eingriff ihm die volle Kontrolle über das eingesetzte System oder mehrere eingesetzte Systeme ermöglichen. Insbesondere soll die Bedienung unterschiedliche Bedienmodalitäten zentral zusammenführen und vorzugsweise an einem für den Operateur gut erreichbaren Bereich vorgesehen sein.
-
Die Aufgaben der vorliegenden Offenbarung werden hinsichtlich eines gattungsgemäßen Roboter-Führungssystems erfindungsgemäß durch die Merkmale des Anspruchs 1 gelöst, hinsichtlich eines gattungsgemäßen Bedienungsverfahrens erfindungsgemäß durch die Merkmale des Anspruchs 11 gelöst, und hinsichtlich eines computerlesbaren Speichermediums erfindungsgemäß durch die Merkmale des Anspruchs 13 gelöst.
-
Ein Grundgedanke der vorliegenden Offenbarung sieht also vor, eine Bedienmodalität, wie eine Steuerung des Roboters, im Bereich eines Roboterkopfs bzw. eines Endeffektors vorzusehen. Im Unterschied zum Stand der Technik wird das Touchdisplay als Ein- und Ausgabeeinheit nicht an einer separaten, entfernten Stelle vorgesehen, etwa an einem medizinischen Turm oder ähnlichem, sondern direkt an einem beweglichen Part des Roboters, nämlich an dem endständigen Roboterkopf und damit im Bereich des Endeffektors.
-
Mit anderen Worten ist das zumindest eine Touchdisplay an dem Roboterkopf, insbesondere an dem Endeffektor, starr befestigt/angebracht/fixiert und bewegt sich mit diesem mit. Statt ein statisches Touchdisplay an der Roboterbasis vorzusehen, etwa an einem Wagen eines robotergestützten Operationsmikroskops, wird gemäß der vorliegenden Offenbarung das Touchdisplay am Roboterkopf dynamisch mitbewegt. Da der Endeffektor an dem Roboterkopf angeordnet ist oder der Endeffektor selbst den Roboterkopf ausbildet, ist die Bedienmodalität in Form des Touchdisplays direkt in dem Bereich des Endeffektors angeordnet und für einen Operateur einfach und sicher zu erreichen. Über das dynamisch sich mitbewegende Touchdisplay kann der Operateur dann verschiedene Funktionen der Bedienmodalitäten gewissermaßen zentral steuern bzw. es wird ihm die Möglichkeit bereitgestellt, die Steuerung von zumindest einer Bewegung des Roboters und damit des Roboterkopfs zentral im Bereich des Endeffektors zu steuern. Insbesondere kann der Operateur über das Touchdisplay unterschiedliche Funktionen steuern, indem etwa ein zugehöriges Bedienmenü für die entsprechende Funktion angezeigt wird.
-
Mit noch anderen Worten beschreibt die Offenbarung ein Touchdisplay/ einen Touchscreen/ einen berührungsempfindlichen Bildschirm, das/der in ein robotergestütztes Führungssystem/ Roboter-Führungssystem für medizinische Eingriffe eingebettet ist. Das Touchdisplay ist dabei datentechnisch mit einer zentralen Steuereinheit (als Ausführungseinheit für eine Software) verbunden und ermöglicht eine flexible Steuerung verschiedener Funktionen, etwa in unsteriler und steriler Umgebung, sowie eine Visualisierung von Informationen. Das Roboter-Führungssystem kann beispielsweise sowohl eine visualisierungsbasierte Führung (beispielsweise ein Operationsmikroskop) als auch eine Führung von Instrumenten (beispielsweise eines Trokars) umfassen.
-
Mit noch weiter anderen Worten wird vorliegend ein eingebettetes Touchdisplay auf oder an einem robotischen Endeffektor (an oder als Roboterkopf) vorgeschlagen, das es einem Benutzer ermöglicht, sowohl in steriler als auch in unsteriler Umgebung (etwa über einen externen Monitor) flexibel Informationen zur Verfügung zu stellen und verschiedene Steuerungsoptionen anzubieten. Das Touchdisplay ist starr mit dem Roboter-Endeffektor verbunden und insbesondere so ausgerichtet, dass der Chirurg in den gängigsten chirurgischen Positionen (insbesondere Lagen) des Führungssystems einen guten Blickwinkel hat. Das Touchdisplay kann sowohl interaktive Inhalte (etwa das Bedienmenü) als auch nicht-interaktive Inhalte (etwa eine Annotation) zeigen. Die visualisierten Inhalte können beispielsweise dieselben Inhalte wie ein (nicht am Roboterarm angeordneter) größerer Hauptmonitor des Chirurgen oder wie andere Kontrolldisplays, die nicht am Steuergerät angebracht sind, anzeigen. Alternativ oder zusätzlich können vorzugsweise auch eigenständige Inhalte, die situationsabhängig sein können, durch das Touchdisplay dargestellt werden.
-
Der Begriff „Position“ meint eine geometrische Position im dreidimensionalen Raum, der insbesondere mittels Koordinaten eines kartesischen Koordinatensystems angegeben wird. Insbesondere kann die Position durch die drei Koordinaten X, Y und Z angegeben werden.
-
Der Begriff „Orientierung“ wiederum gibt eine Ausrichtung (etwa an der Position) im Raum an. Man kann auch sagen, dass durch die Orientierung eine Ausrichtung angegeben wird mit Richtungs-bzw. Drehungsangabe im dreidimensionalen Raum. Insbesondere kann die Orientierung mittels drei Winkeln angegeben werden.
-
Der Begriff „Lage“ umfasst sowohl eine Position als auch eine Orientierung. Insbesondere kann die Lage mittels sechs Koordinaten angegeben werden, drei Positionskoordinaten X, Y und Z sowie drei Winkelkoordinaten für die Orientierung.
-
Eine Bedieneingabe kann beispielsweise ein zu einer Auswahl des Bedienungsmenüs zugehöriger Steuerbefehl sein, der an die Steuereinheit gesendet wird, sodass diese die entsprechende Funktion unmittelbar oder mittelbar über etwa eine Steuereinheit eines Subsystems ausführt. Beispielsweise kann eine zentrale Steuereinheit über eine Sub-Steuereinheit eines Visualisierungssystems dieses mittelbar steuern oder sie kann über eine Sub-Steuereinheit eines Navigationssystems dieses mittelbar steuern und beispielsweise einen Wegpunkt setzen lassen.
-
Vorteilhafte Ausführungsformen sind in den Unteransprüchen beansprucht und werden insbesondere nachfolgend erläutert.
-
Gemäß einer Ausführungsform kann das Roboter-Führungssystem in Form eines (chirurgischen) Operationsmikroskops mit einem an dem Roboterarm angebundenen Mikroskopkopf als Roboterkopf oder in Form eines Navigationssystems mit einem an dem Roboterarm angebundenen Kamerasystem, insbesondere mit einem Lasersystem, ausgeführt sein. Der Mikroskopkopf kann aktiv gesteuert und verfahren werden und ein Operateur kann direkt an dem Mikroskopkopf über das Touchdisplay Bedieneingaben vornehmen, beispielsweise hinsichtlich eines Zooms, einer Ausrichtung und/oder einer Beleuchtung und/oder einer Bewegung/einem Verfahren des Mikroskopkopfs (Lageänderung). Im Falle eines Navigationssystems kann beispielsweise die Ansicht des Touchdisplays und/oder die Ansicht auf dem Navigationsmonitor geändert und angepasst werden, um einen besseren Überblick zu erhalten oder um Instrumente noch besser nachverfolgen zu können.
-
Insbesondere kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay eine Menüstruktur zum Zugriff auf verschiedene Funktionalitäten anzeigen zu lassen. Exemplarische Anwendungsfälle des Touch-Displays sind insbesondere nachstehend angeführt. Auf dem Touchdisplay kann also nicht nur ein einziges Bedienungsmenü oder eine einzige Anzeige angezeigt werden, sondern es wird dem Operateur eine Vielzahl an Bedienungsmenüs zur Verfügung gestellt, um verschiedene Funktionen zu steuern. Insbesondere kann von einer Obermenüstruktur in mehrere Untermenüstrukturen und zurück wechseln.
-
Vorzugsweise kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Roboter-Steuerungs-Menü als Bedienungsmenü auszugeben, um über eine Bedieneingabe (eine Bewegung) den Roboter zu steuern, insbesondere um eine Roboterbewegung in sechs Freiheitsgraden zu steuern, beispielsweise in sechs translatorische Richtungen (jeweils zwei entgegengesetzte Richtungen eines kartesischen Koordinatensystems +X/-X, +Y/-Y, +Z/-Z) und/oder sechs rotatorische Richtungen (Drehungen im Uhrzeigersinn oder gegen Uhrzeigersinn um die jeweilige Achse). Mit anderen Worten kann das Touchdisplay angepasst sein, eine (Bedien)Menüstruktur zum Zugriff auf die Funktion anzuzeigen, die zur Steuerung von Roboterbewegungen insbesondere sechs Freiheitsgraden angepasst ist.
-
Insbesondere kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Visualisierungs-Steuerungs-Menü als Bedienungsmenü auszugeben, um Einstellungen eines Visualisierungssystems zu steuern /ändern, insbesondere einen Zoom, einen Fokus und/oder eine Beleuchtungsintensität (als Einstellungen). Mit anderen Worten kann das Touchdisplay angepasst sein, eine Menüstruktur zum Zugriff auf die Funktion anzuzeigen: Festlegen von Einstellungen eines Visualisierungssystems (etwa eines Operationsmikroskops) wie beispielsweise Zoom, Fokus und Lichtintensität über insbesondere eine Touch-Bar/einen Schieberegler.
-
Gemäß einer weiteren Ausführungsform kann das Roboter-Führungssystem dafür angepasst sein, zwischen zumindest zwei verschiedenen Steuerungs-Menüs zu wechseln, insbesondere zwischen zumindest einem Roboter-Steuerungs-Menü und einem Visualisierungs-Steuerungs-Menü, um zumindest zwei verschiedene Funktionen des Roboter-Führungssystems zu steuern, insbesondere eine Bewegung des Roboters als eine erste Funktion und eine Visualisierung als eine zweite Funktion.
-
Insbesondere kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Visualisierungs-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von verschiedenen Licht-/Bildgebungsmodi des Visualisierungssystems erlaubt, insbesondere eine Steuerung von einer Fluoreszenz für insbesondere ICG (Indocyaningrün), 5-ALA (5-Aminolävulinsäure).
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das ein Speichern von Wegpunkten und/oder Roboterkonfigurationen und/oder Navigationspositionen in Bezug auf den Patienten (bzw. eine Patientenlage) erlaubt und insbesondere eine sogenannte „Hold and Drive“ Funktion bereitstellt, in welcher durch ein langes Drücken auf eine der gespeicherten und angezeigten Daten ein Anfahren der gespeicherten Punkten oder vordefinierten Positionen erfolgt.
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von Navigationsabläufen, insbesondere einer Punktdigitalisierung und -verifizierung zur Patientenregistrierung und Kalibrierung/Aktivierung von Werkzeugen, erlaubt bzw. bereitstellt.
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Instrumenten-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von Instrumentenführungsfunktionen wie beispielsweise ein Fahren des Roboters bzw. des Instruments als Endeffektor auf einer Zieltrajektorie erlaubt oder ein Ein- oder Ausschalten einer Instrumentenfunktion bereitstellt.
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Medien-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung der Aufzeichnung von Bildaufnahmen (etwa als aktuelle Schnappschüsse) und/oder Videodaten eines Visualisierungssystems erlaubt. Damit kann der Operateur beispielsweise durch eine Bedieneingabe eine Aufnahme zu einem ersten Zeitpunkt erstellen und zu einem späteren Zeitpunkt diese Aufnahme auf dem Touchdisplay oder einem externen Monitor ausgeben lassen, etwa um einen Vergleich Vorher-Nachher anzustellen oder um Informationen zu der Eingriffsstelle aufzurufen.
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Medien-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung der Wiedergabe und Verwaltung der aufgezeichneten Mediendaten erlaubt, wobei das wiedergegebene Video insbesondere auf anderen Displays (zusätzlich oder alternativ zu dem Touchdisplay) gezeigt werden kann.
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von Einstellungen für die Informationen, die auf dem Visualisierungsmonitor dargestellt werden, festzulegen erlaubt bzw. bereitstellt, insbesondere geplante Trajektorien, Operationsziele oder andere Navigationsinformationen zeigen und ausblenden lässt.
-
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung einer Umschaltung zwischen verschiedenen Monitorlayouts des Hauptvisualisierungsmonitors bereitstellt.
-
Insbesondere können zusätzlich situationsabhängige Inhalte auf Basis von Informationen aus der Steuereinheit/ dem Steuergerät gezeigt werden, um dem Benutzer Zeit zu sparen, durch das Bedienmenü zu navigieren. Insbesondere können folgende situationsabhängige Inhalte (beispielsweise abhängig von einer Roboterkonfiguration oder einem aktuellen Status eines Operationsplans) angezeigt werden, einzeln oder in auswählbarer Kombination miteinander:
- - Einstellungen eines Visualisierungssystems können hervorgehoben werden, nachdem das Führungssystem neu positioniert wurde, um eine schnelle Anpassung der Visualisierungsparameter an die neue Position zu ermöglichen;
- - Wenn eine Bewegung eines navigierten Instruments erkannt wird, können die Einstellungen der Instrumentenführung hervorgehoben werden;
- - Visualisierung eines aktuellen Zustands/ einer aktuellen Funktion von Mehrzweck-Hardwaretasten, die sich in der Umgebung des Displays befinden;
- - Darstellung einer Sicherheits-Stopp-Taste auf dem Touchdisplay zum Unterbrechen automatisierter Roboterbewegungen;
- - Zeigen von Benachrichtigungen an den Benutzer (wie beispielsweise Informationen, Warnungen und Fehler) sowohl mit als auch ohne Aufforderung zur Benutzerrückmeldung;
- - Visualisierung einer Entfernung zum Ziel für eine Instrumentenführung mit Tiefenverfolgung/ Tiefenangabe;
- - Rendering eines Bildes eines Visualisierungssystems zur (groben) Positionierung des Systems;
- - Insbesondere kann ein Anzeigemodus des Touchdisplays auf einen sogenannten „Trackpad“-Modus umgeschaltet werden, in welchem:
- ◯ ein Maussymbol auf dem Hauptvisualisierungsbildschirm, insbesondere einem OP-Monitor, aktiviert und damit dem Benutzer die Betätigung des Visualisierungsbildschirms als Computerbildschirm mit einem Maus/Laptop-Trackpad (über das Touchdisplay) ermöglicht; oder
- ◯ es dem Benutzer ermöglicht, durch die Navigationsansichten/Scheiben (Segmentierungen) auf dem Hauptvisualisierungsbildschirm, insbesondere dem OP-Monitor, zu blättern.
-
Insbesondere kann das an dem Roboterkopf fixierte Touchdisplay eine sterile Ummantelung aufweisen, die vorzugsweise austauschbar gestaltet ist, um gegenüber einer sterilen Eingriffsstelle eine Sterilbarriere vorzusehen. Beispielsweise kann für eine Bedienung in einer sterilen Umgebung das Touchdisplay mit einem medizinischen (Operations-)Tuch mit Transparenz abgedeckt werden, wobei insbesondere Anbindungspunkte/Koppelpunkte für das Operationstuch vorgesehen sind.
-
Gemäß einer weiteren Ausführungsform kann an oder in dem Roboterkopf ferner eine inertiale Messeinheit (inertial measurement unit; IMU) vorgesehen werden, insbesondere an oder in dem Touchdisplay vorgesehen oder an dem Endeffektor befestigt sein, um eine Position und/oder Orientierung des Touchdisplays oder des Roboterkopfs zu erfassen, und das Roboter-Führungssystem, insbesondere die Steuereinheit, dafür angepasst sein, basierend auf der erfassten Position und/oder Orientierung eine Ausrichtung einer visuellen Ausgabe des Touchdisplays anzupassen, insbesondere eine Ausgabe (etwa des Bedienungsmenüs) so anzupassen, dass diese stets in gleichbleibender horizontaler Ausrichtung angezeigt wird. Mit anderen Worten kann optional eine Inertiale Messeinheit (IMU) an das Touchdisplay oder den Roboterkopf oder den Endeffektor angeschlossen werden, um die Ausrichtung der visualisierten Inhalte in unterschiedlichen Positionen und/oder Orientierungen, insbesondere Extrempositionen, des Führungssystems ändern zu können. Alternativ oder zusätzlich kann vorzugsweise über eine Roboterkinematik bzw. eine zeitaktuelle Konfiguration des Roboters mit seinen Roboterarmsegmenten und seinem Roboterkopf als Endeffektor oder mit angebundenem Endeffektor eine Position und/oder Orientierung des Touchdisplays oder des Roboterkopfs erfasst werden. Ferner kann vorzugsweise eine Position und/oder Orientierung des Touchdisplays oder des Roboterkopfs über die Navigationskamera des Navigationssystems und entsprechende datentechnische Verarbeitung erfasst werden. Insbesondere kann die Steuereinheit dafür angepasst sein, auf Basis der erfassten Lage des Touchdisplays eine Anzeige so anzupassen, dass diese gegenüber einer vorbestimmen Position im Raum, nämlich der Position an welcher sich der Kopf eines Operateurs befindet (beispielsweise kann diese Position durch eine Navigationskamera erfasst werden), optimal angezeigt wird. Dies kann insbesondere eine Drehung der Ansicht des Touchdisplays umfassen, so dass die Ansicht vorzugsweise näherungsweise horizontal gegenüber einem Boden eines Operationssaals, und damit gegenüber dem Operateur angezeigt wird, als auch eine Streckung oder Stauchung der Ansicht, um eine möglichst neutrale, natürliche Ansicht in der erfassten Position des Operateurs bereitzustellen (ähnlich Pfeile oder Beschriftungen auf einer Fahrbahn bzw. einer Fahrbahnmarkierung, welche für einen Fahrer angepasst (gestreckt) sind, so dass dieser möglichst gut die Informationen erkennen kann). Insbesondere kann die Steuereinheit oder das Touchdisplay dafür angepasst sein, über das Touchdisplay eine solche Projektion auf eine virtuelle Fläche auszugeben, wobei die Fläche senkrecht auf einer Sichtachse zwischen dem Operateur und dem Touchdisplay liegt, dass der Operateur keine verzerrte Darstellung sieht (wenn das Touchdisplay schräg zu einer Sichtlinie steht), sondern eine solche Darstellung ähnlich als wenn er senkrecht auf das Touchdisplay schauen würde.
-
Vorzugsweise kann das Touchdisplay über ein Funkverbindungsmodul verfügen, um (eigenständig) eine kabellose Datenverbindung zu der Steuereinheit aufzubauen, insbesondere über WLAN oder Bluetooth. Gemäß einer alternativen Ausführungsform kann das Touchdisplay auch über ein Datenkabel an die Steuereinheit angebunden sein. Mit anderen Worten kann zur Steuerung verschiedener Funktionalitäten des Führungssystems zur situationsabhängigen Darstellung von Inhalten, das Touchdisplay über ein Touchdisplay-Steuergerät per Kabel oder drahtlos (mit Funkverbindungsmodul) mit der Steuereinheit (als Computersystem) verbunden werden. Insbesondere weist das Touchdisplay selbst eine eigenständige Sub-Steuereinheit als Computersystem auf, um autark eine eigenständige Steuer-Komplemente auszubilden, welche in das Gesamtsystem eingebunden werden kann und mit der (zentralen) Steuereinheit datentechnisch koppelbar ist.
-
Weiter vorzugsweise kann das Touchdisplay eine Display-Diagonale oder einen Display-Durchmesser von mindestens 4 cm und/oder maximal 20 cm aufweisen. Mit anderen Worten kann die Größe des Touchdisplays zwischen 4 cm und 20 cm liegen. Insbesondere kann das Touchdisplay einen quadratischen, rechteckigen oder runden Formfaktor haben. Diese Größe und die Form kann sich beispielsweise an der Anzahl der Funktionen und der Größe des angeschlossenen Roboter-Effektors orientieren. Die Größe und Form hilft einer vorteilhaften Integration des Touchdisplays in den Bereich des Endeffektors.
-
Gemäß einer Ausführungsform kann der Roboterkopf zumindest eine (physische) Betätigungstaste (Hardwaretaste), vorzugsweise drei Betätigungstasten, aufweisen und das Touchdisplay direkt benachbart zu der Taste angeordnet und dafür angepasst sein, den aktuellen Funktions-Status (/die aktuelle Funktionsweise) der Taste anzuzeigen. Damit wird eine Mehrzwecktaste oder eine Mehrfunktionentaste geschaffen, welche für unterschiedliche Bedienmenüs unterschiedliche Bedieneingaben erfassen kann. Dies kann auch insbesondere eine Sicherheit zu erhöhen, falls etwa eine Eingabe über das Touchdisplay ausfällt oder eine Eingabe aufgrund von verschmutzten OP-Handschuhen nicht genau erfolgen kann.
-
Insbesondere hat das Touchdisplay ein Farb-Display, um farbliche Bedienmenüs und/oder Informationen anzuzeigen.
-
In einer weiteren Ausführungsform kann zusätzlich zu dem Touchdisplay am Roboterkopf ein Touchdisplay an dem Roboterarm und/oder an einer Roboterbasis vorgesehen sein.
-
Insbesondere kann das Roboter-Führungssystem als Roboterführungseinheit ausgebildet sein und alle Komponenten in dieser Einheit bzw. einem einzigen Modul integriert sein. Insbesondere kann das Roboter-Führungssystem mobil ausgebildet sein und autark in einem Operationssaal vorgesehen und verschoben werden, etwa als ein mobiles Operationsmikroskop ausgebildet sein, an dessen Mikroskopkopf (als Roboterkopf und Endeffektor) das Touchdisplay angeordnet ist.
-
Die Aufgaben werden hinsichtlich eines medizinischen Roboter-Bedienungsverfahren, insbesondere für ein Roboter-Führungssystem gemäß der vorliegenden Offenbarung, durch die Schritte gelöst: Ausgeben zumindest eines visuellen Bedienmenüs über einen Touchdisplay, das an einem Roboterkopf eines Roboters starr befestigt ist; Erfassen einer berührungsempfindlichen Eingabe als Bedieneingabe über das Touchdisplay; Senden der Bedieneingabe an eine Steuereinheit, die dafür angepasst ist, zumindest den Roboter zu steuern; Steuern auf Basis der Bedieneingabe einer Funktion, insbesondere einer Bewegung eines Roboters, durch die Steuereinheit. Durch diesen Schritt können, wie vorstehend beschrieben, eine flexible und zentrale Bedienungsmethode bereitgestellt werden, mittels welcher der Operateur unterschiedliche Funktionen, beispielsweise eine Bewegung eines Roboters oder eine Einstellung eines Visualisierungssystems, vornehmen kann.
-
Vorzugsweise kann das (Bedienungs-)Verfahren ferner die Schritte aufweisen:
- Erfassen einer (Änderung einer) Position und Orientierung des Roboterkopfs, insbesondere durch eine inertiale Messeinheit (IMU) oder durch eine erfasste Roboterkinematik oder durch eine Navigationskamera eines Navigationssystems; Senden der erfassten Position und Orientierung an die Steuereinheit; Berechnen einer an die Position und Orientierung angepassten Ausrichtung des visuellen Bedienmenüs; und Ausgeben der angepassten visuellen Darstellung des Bedienmenüs. Auf diese Weise kann dem Operateur die bestmögliche bzw. bestangepasste visuelle Ausgabe bereitgestellt werden und er muss insbesondre nicht den Kopf verdrehen, um eine Beschriftung oder eine Information zu lesen oder sich neu positionieren, um bei einer schrägen Draufsicht auf das Touchdisplay die Informationen der Darstellung, etwa einen Text gut zu erkennen.
-
Hinsichtlich eines computerlesbaren Speichermediums werden die Aufgaben gelöst, indem dieses Befehle umfasst, die bei einer Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des Bedienungsverfahrens gemäß der vorliegenden Offenbarung auszuführen. Insbesondere kann die Steuereinheit des Roboter-Führungssystems ein solches computerlesbares Speichermedium umfassen.
-
Jegliche Offenbarung im Zusammenhang mit dem Roboter-Führungssystem gemäß der vorliegenden gilt auch für das Bedienungsverfahren der vorliegenden Offenbarung, wie auch umgekehrt.
-
Kurzbeschreibung der Figuren
-
Die vorliegende Erfindung wird nachfolgend anhand bevorzugter Ausführungsformen unter Bezugnahme auf die begleitenden Figuren näher erläutert. Es zeigen:
- 1 eine schematische Frontansicht eines Roboter-Führungssystems gemäß einer bevorzugten Ausführungsform der vorliegenden Offenbarung;
- 2 eine schematische Ansicht eines Funktionszusammenhangs von Touchdisplay, Steuereinheit und IMU eines Roboter-Führungssystems gemäß einer weiteren bevorzugten Ausführungsform;
- 3a und 3b eine beispielhafte Ansicht eines Bedienmenüs in tabellenförmiger Anordnung und in kreisförmiger Anordnung;
- 4 eine schematische Ansicht eines beispielhaften Untermenüs eines Visualisierungs-Steuerungs-Menüs zur Einstellung einer Lichtintensität;
- 5 eine schematische Ansicht eines beispielhaften Untermenüs eines Medien-Steuerungs-Menüs für eine Verwaltung und Wiedergabefunktion eines aufgezeichneten Videos;
- 6 eine schematische Ansicht eines Bedienmenüs mit lediglich einem Stop-Button als interaktive Eingabe;
- 7 eine schematische Frontansicht eines Roboterkopfs bzw. Endeffektors mit drei Tasten und einem Touchdisplay; und
- 8 ein Flussdiagramm eines Bedienverfahrens gemäß einer bevorzugten Ausführungsform.
-
Die Figuren sind lediglich schematischer Natur und sollen nur dem Verständnis der Erfindung dienen. Gleiche Elemente sind mit denselben Bezugszeichen versehen. Die Merkmale der verschiedenen Ausführungsformen können untereinander ausgetauscht werden.
-
Detaillierte Beschreibung bevorzugter Ausführungsformen
-
1 zeigt eine schematische Frontansicht eines medizinisches Roboter-Führungssystem 1 (nachstehend nur Führungssystem genannt) für einen chirurgischen Eingriff bei einem Patienten P. Das Führungssystem 1 weist einen Roboter 2 mit einem beweglichen Roboterarm 4 und einem an dem Roboterarm 4 endständig angebundenen Roboterkopf 6 auf. In dieser Ausführungsform ist das Führungssystem 1 in Form eines robotergeführten Operationsmikroskops gestaltet. An dem Roboterarm 4 mit mehreren Roboterarm-Segmenten ist als Roboterkopf der Mikroskopkopf vorgesehen. Daher kann auch der Roboterkopf bzw. Mikroskopkopf insgesamt als Endeffektor 8 des Operationsmikroskops bezeichnet werden.
-
Um den Roboter 2 und dessen Roboterarm 4 zu steuern und den Mikroskopkopf als Endeffektor 8 in einer Position und Orientierung einzustellen, weist das Führungssystem 1 eine Steuereinheit 10 auf. Die Steuereinheit 10 kann als zentrale Steuereinheit gestaltet sein, etwa als Computersystem, das unterschiedliche Funktionen bearbeiten und steuern kann, oder es kann ein Subsystem einer Roboter-Steuereinheit aufweisen, um den Roboter entsprechend anzusteuern.
-
Ferner weist das Führungssystem 1 ein Touchdisplay 12 als Eingabe und Ausgabeeinheit auf. Dieses ist dafür angepasst unterschiedliche Bedienungsmenüs 14 und Anzeigen für unterschiedliche Funktionen visuell auszugeben, und eine berührungsempfindliche Eingabe als Bedieneingabe zu erfassen und diese an die Steuereinheit 10 zu senden, um sowohl den Roboter 2 zu steuern als auch Einstellungen am Visualisierungssystem vorzunehmen.
-
Im Unterschied zum Stand der Technik ist jedoch das Touchdisplay zur Steuerung nicht an einer statischen Basis des Führungssystems 1 befestigt, sondern das Touchdisplay 12 ist direkt an dem Roboterkopf 6 bzw. an dem Endeffektor 8 starr fixiert und bewegt sich mit diesem mit.
-
Auf diese Weise bewegt sich das Touchdisplays 12 im Bereich des Eingriffs und der Operateur hat eine zentrale Visualisierung von unterschiedlichen Bedienungsmenüs 14 und kann flexible über ein einziges Touchdisplay die unterschiedlichen Funktionen von unterschiedlichen Sub-Systemen Steuern. In dieser Ausführungsform kann der Operateur aus zumindest einem Roboter-Steuerungs-Menü und Visualisierung-Steuerungs-Menü auswählen bzw. zwischen den einzelnen Steuerungs-Menüs als Bedienungsmenüs 14 wechseln. Über das Roboter-Steuerungs-Menü kann der Operateur etwa eine Instrumentenführung bewirken oder den Roboterkopf 6 so verfahren, dass sich der Endeffektor 8 in einer besseren Lage für den Eingriff befindet. Vorliegend kann der Mikroskopkopf als Endeffektor manuell oder automatisch über die Bedieneingabe des Touchdisplays 12 in eine solche Lage verfahren werden, die eine bessere Sicht zulässt.
-
Über einen externen (OP-)Monitor 15 können weitere Aufnahmen ausgegeben werden, wobei eine Medienausgabe durch ein weiteres Medien-Steuerungs-Menü über das Touchdisplay 12 steuerbar ist. Beispielsweise kann eine zeitaktuelle Aufnahme des Mikroskops über den OP-Monitor 15 ausgegeben werden, wobei über ein Medien-Steuermenü eine Helligkeit oder ein Farb-Kontrast einstellbar ist.
-
Dem Operateur werden bei dem Roboter-Führungssystem 1 gemäß der ersten Ausführungsform also zumindest die drei Steuerungs-Menüs: Roboter-Steuerungs-Menü, Visualisierungs-Steuerungs-Menü und Medien-Steuerungs-Menü bereitgestellt, welche er zentral bedienen kann, um verschiedene Funktionen flexibel und sicher zu steuern.
-
2 zeigt eine schematische Funktionsansicht einer Wechselwirkung zwischen einzelnen Modulen eines Führungssystems 1 gemäß einer weiteren, zweiten bevorzugten Ausführungsform. Hierbei ist eine inertiale Messeinheit (IMU) 16 direkt an dem Touchdisplay 12 angeordnet, um eine Bewegung (bzw. eine Änderung einer Bewegung über eine Beschleunigung) zu erfassen und auf Basis einer initialen Lage eine neue Position und Orientierung des Touchdisplays 12 nach einer Bewegung des Roboters zu bestimmen. Die Daten des IMU werden direkt an eine zentrale Steuereinheit 12 gesendet. Zudem empfängt die zentrale Steuereinheit 10 Daten einer Endeffektor-Steuereinheit 18 (als Substeuereinheit). Ferner steht die zentrale Steuereinheit 12 mit einer Touchdisplay-Steuereinheit (als Substeuereinheit) in wechselseitiger Datenverbindung. Diese zentrale Steuereinheit 12 berechnet dann auf Basis dieser Daten eine visuelle Ausgabe, welches auf dem Touchdisplay 12 dann ausgegeben wird.
-
Insbesondere kann auf diese Weise eine für den Operateur günstigste Ansicht berechnet und entsprechend ausgegeben werden. Da nun im Gegensatz zum Stand der Technik das Touchdisplay nicht mehr statisch angeordnet ist, sondern sich dynamisch mit dem Endeffektor 8 mitbewegt, ändert sich relativ zu dem Operateur auf eine Ausrichtung der Anzeige. Wenn beispielsweise in 1 der Roboterarm 4 um 90° nach oben geschwenkt wird, so würde ohne Korrektur die visuelle Ansicht des Touchdisplays 12 auch um 90° gegen den Uhrzeiger relativ zum Operateur gedreht werden.
-
Um jedoch den Operateur weiterhin die visuelle Anzeige gut ablesen zu lassen, berechnet die Steuereinheit 12 eine solche Ausrichtung, bei obigem Beispiel eine Drehung der Anzeige gegenüber dem Touchdisplay um 90° im Uhrzeigersinn, sodass sich die Drehung und Gegendrehung aufheben und eine intuitive Ablese durch den Operateur zulassen. Mit anderen Worten berechnet die Steuereinheit bei einer Bewegung des Roboters 2 eine solche Ausrichtung der Anzeige, die dem Operateur möglichst gleichbleibend erscheint und gewissermaßen eine gleichbleibende Relation von Anzeige des Touchdisplays relativ gegenüber dem Operateur ermöglicht.
-
In einer Ausführungsform kann beispielsweise bei einer Änderung von einer Frontansicht auf das Touchdisplay 12 (also senkrechten Ansicht) hin zu einer schrägen Ansicht die visuelle Ausgabe auch entsprechend verzerrt dargestellt werden (ähnlich einer Straßenmarkierung in Form einer Beschriftung, die ebenfalls längsgestreckt dargestellt wird, um dem Fahrer eine möglichst gute Ansicht zu bieten).
-
3a und 3b sind beispielhafte Ansichten eines durch das Touchdisplay dargestellten Bedienmenüs, wobei in 3a eine tabellenförmige Anordnung mit rechteckförmigen, symbolbeschrifteten (Touch-)Buttons/Knöpfen gezeigt ist und in 3b eine kreisförmige Anordnung symbolbeschrifteter (Touch-)Buttons/Knöpfen. Über diese kann der Nutzer beispielsweise ein Sub-Menü auswählen, welches in 4 und 5 abgebildet und nachstehend erläutert ist.
-
4 zeigt ein Sub-Menü einer Beleuchtungs-Steuerungs-Menü bei Auswahl der symbolbeschrifteten Glühbirne im Hauptmenü. In dieser Ausführungsform kann der Nutzer eine Helligkeit eines Weißlichts einstellen, als auch eine Intensität einer UV-Strahlung und einer IR-Strahlung.
-
Wenn in dem Hauptmenü aus 3a oder 3b das Videosymbol durch den Nutzer ausgewählt wurde, so springt das Menü in das in 5 gezeigte Sub-Menü der Videofunktion, in welcher eine Verwaltung von Videodaten als auch Wiedergabefunktionen ausgewählt werden können. Hierbei kann auf einem externen OP-Monitor (hier nicht dargestellt) das Video entsprechend abgespielt werden.
-
6 zeigt in einer schematischen Ansicht einen (digitalen) Stopp-Knopf auf dem Touchdisplay 12, um während einer Bewegung des Roboters 2 bzw. des Roboterarms 4 diese Bewegung zu stoppen (Art Notfallknopf).
-
7 zeigt eine Frontansicht auf einen Endeffektor eines Roboter-Führungssystems 1 einer weiteren bevorzugten Ausführungsform. In dieser sind an dem Endeffektor 8 auf einer Geraden drei zueinander gleich beabstandete physische Drucktasten/ Taster/ Betätigungstasten 22 vorgesehen. Parallel zu der geradlinigen Anordnung der drei Betätigungstasten 22 und oberhalb derer ist ein Touchdisplay 12 an dem Endeffektor befestigt, welches jeweils oberhalb der entsprechenden Betätigungstaste 22 der Funktions-Status darstellt. Auf diese Weise können den drei betätigungstasten 22 mehrere Funktionen zugeordnet und durch das Touchdisplay entsprechend visualisiert werden.
-
Beispielsweise kann die Steuereinheit 12 zu verschiedenen Schritten im Operationsplan den Betätigungstasten unterschiedliche Funktionen zuweisen und über das Touchdisplay ausgeben lassen.
-
8 zeigt in einem Flussdiagramm ein Bedienungsverfahren gemäß einer bevorzugten Ausführungsform.
-
In einem ersten Schritt S1 wird ein Bedienmenü14 durch das Touchdisplay 12 ausgegeben.
-
Konkret wird in dieser Ausführungsform des Bedienverfahrens die Ausgabe des Bedienmenüs durch die nachstehenden Subschritte gelöst. In einem ersten Subschritt S1.1 eine Position und eine Orientierung (also die Lage) des Touchdisplays 12 (vorzugsweise auch mittelbar über den Roboterkopf 6), insbesondere durch eine inertiale Messeinheit (IMU) 16 erfasst. Alternativ kann die Lage auch über eine erfasste (mechanische) Roboterkinematik oder durch eine Trackingkamera/ Navigationskamera eines Navigationssystems erfasst werden.
-
Hiernach wird die Lage des Touchdisplays 12 im Subschritt S1.2 an die Steuereinheit 12 weitergegeben.
-
Diese berechnet dann in Subschritt S1.3 eine angepasste Ausrichtung für die Ausgabe und gibt diese angepasste Darstellung dann in Subschritt S1.4 durch das Touchdisplay 12 aus.
-
In einem darauffolgenden zweiten Schritt S2 erfolgt dann ein Erfassen einer Eingabe des Touchdisplays 12.
-
In einem dritten Schritt S3 erfolgt dann die Sendung der erfassten Bedieneingabe an die Steuereinheit 12.
-
Schließlich wird dann in Schritt S4 eine entsprechende Funktion, wie sie auf dem Touchdisplay 12 angezeigt und angewählt wurde, gesteuert.
-
Insbesondere kann dies eine Steuerung des Roboters 2 sein.
-
Bezugszeichenliste
-
- 1
- Medizinisches Roboter-Führungssystem
- 2
- Roboter
- 4
- Roboterarm
- 6
- Roboterkopf
- 8
- Endeffektor
- 10
- Steuereinheit
- 12
- Touchdisplay
- 14
- Bedienungsmenü
- 15
- Externer Monitor
- 16
- Intertiale Messeinheit (IMU)
- 18
- Endeffektor-Steuereinheit
- 20
- Stop-Taste
- 22
- Betätigungstaste
- P
- Patient
- S1
- Schritt Ausgeben eines Bedienmenüs durch das Touchdisplay
- S1.1
- Schritt Erfassen Position und Orientierung durch IMU
- S1.2
- Schritt Senden an Steuereinheit
- S1.3
- Schritt Berechnen angepasste Ausrichtung
- S1.4
- Schritt Ausgeben der angepassten Darstellung
- S2
- Schritt Erfassen einer Eingabe des Touchdisplays
- S3
- Schritt Senden Bedieneingabe an Steuereinheit
- S4
- Schritt Steuern einer Funktion
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2005/0041282 A1 [0006]