DE102014212632B4

DE102014212632B4 - Verfahren zum Überwachen eines Betriebs eines Medizingeräts

Info

Publication number: DE102014212632B4
Application number: DE102014212632.0A
Authority: DE
Inventors: Stephan Schröder; Max Heinrich Laves
Original assignee: Trumpf Medizin Systeme GmbH and Co KG
Current assignee: Trumpf Medizin Systeme GmbH and Co KG
Priority date: 2014-06-30
Filing date: 2014-06-30
Publication date: 2023-05-04
Anticipated expiration: 2034-07-01
Also published as: DE102014212632A1

Abstract

Verfahren zum Überwachen eines Betriebs von mindestens einem Medizingerät mittels eines Erfassungssystems, aufweisend die Schritte- Erfassen einer Szene mit einer aktuellen Position und einer aktuellen Orientierung des mindestens einen Medizingeräts in einem Raum mittels eines 3D-Sensors (4), und Erstellen eines aktuellen Bilddatensatzes daraus;- Ausführen einer Objekterkennung durch Ausführen einer Registrierung über Ermittlung einer mathematischen Transformation, die den aktuellen Bilddatensatz mit einem in dem Erfassungssystem abgespeicherten Bilddatensatz in eine bestmögliche Übereinstimmung bringt, wodurch ein dem mindestens einen Medizingerät entsprechender Datensatz mit dessen Position und dessen Orientierung in dem Raum ermittelt wird;- Zuordnen eines in dem Erfassungssystem abgespeicherten kinematischen Modells, das dem mindestens einem Medizingerät entsprechenden Datensatz zugeordnet ist, wobei das kinematische Modell die Kinematik, die Position und die Orientierung des mindestens einen Medizingeräts in einem Referenzkoordinatensystem abbildet;- Erfassen der aktuellen Position, der aktuellen Orientierung und der aktuellen Konfiguration des mindestens einen Medizingeräts über jeweils eine Stellung von einzelnen zueinander beweglichen Komponenten des mindestens einen Medizingeräts;- Ausführen der Objekterkennung für die einzelnen Komponenten des mindestens einen Medizingeräts;- Bestimmen einer aktuellen Konfiguration des mindestens einen Medizingeräts und von Stellungen der beweglichen Komponenten;- Abgleichen der aktuellen Konfiguration des mindestens einen Medizingeräts mit in dem Erfassungssystem abgespeicherten Konfigurationen des Medizingeräts;- Prüfen der aktuellen Konfiguration auf Zulässigkeit.

Description

Die Erfindung betrifft ein Verfahren zum Überwachen eines Betriebs eines Medizingeräts, insbesondere ein Verfahren zum Überwachen eines Betriebs von mindestens einem Medizingerät mittels eines Erfassungssystems.
Es sind Verfahren zum Überwachen eines Betriebs eines Medizingeräts, insbesondere eines Operationstischs, bekannt, bei denen eine Bewegung des Operationstischs eingeschränkt wird. Diese Einschränkung erfolgt durch eine Vorgabe von Positionen und Orientierungen des Operationstischs im Raum oder eine Vorgabe von Anbausegmenten und ein Auslesen von Motorpositionen. Jedoch besteht hier eine geringe Flexibilität des Systems. Eine alternative Einschränkung kann über eine Identifikation der Anbausegmente über codierte Koppelstellen oder RFID-Tags erfolgen, wobei eine Näherung einer Lage und Position von Tischsegmenten durch das Auslesen der Motorpositionen und von geometrischen Eigenschaften der Tischsegmente möglich ist. Diese Einschränkungen jedoch sind nur sehr ungenau festzulegen und sehr aufwändig.
Eine andere Möglichkeit zur Überwachung eines Betriebs eines Medizingeräts z.B. hinsichtlich einer Kollisionsüberwachung ist die Verwendung von Lichtschranken oder Näherungsschaltern. Jedoch ist auch diese Möglichkeit aufwändig, unflexibel und außerdem mit Fehlern behaftet.
Die Offenlegungsschrift DE 10 2007 028 731 A1 offenbart eine Vorrichtung und ein Verfahren zur Zuordnung von Daten. Bei dieser Vorrichtung und dem dazugehörigen Verfahren werden dreidimensionale Bilddaten von Örtlichkeiten erfasst und Objekte/Geräte separiert, wobei aus den vorliegenden und zuordenbaren Datensätzen Bewegungsabläufe ermittelt werden sowie in Bedienfunktionen steuernd eingegriffen werden kann.
Es ist Aufgabe der Erfindung, ein Verfahren bereitzustellen, das nicht mit den obigen Nachteilen behaftet ist, und das eine flexible Überwachung eines Betriebs eines Medizingeräts ermöglicht.
Die Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst. Weiterentwicklungen der Erfindung sind Gegenstand der Unteransprüche.
Durch das Verfahren gemäß Anspruch 1 besteht die Möglichkeit ein im Voraus definiertes Medizingerät zu erkennen, Parameter für dessen Betrieb festzulegen und Wechselwirkungen mit anderen Medizingeräten oder Gegenständen in einer Umgebung des Medizingeräts zu überwachen.
Die Erfindung wird anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen erläutert.
Insbesondere zeigen

1 eine Situation in einem Operationssaal mit einem Operationstisch und einer Operationsleuchte;
2 eine Darstellung eines Bilddatensatzes des Operationstischs, in der die Patientenlagerungsplatte mittels sogenanntem „Template matching“ nicht erkannt wurde;
3 eine Darstellung eines Bilddatensatzes des Operationstischs, in der eine Patientenlagerungsplatte und eine Tischsäule über eine Objekterkennung mittels dem sogenannten „Template matching“ erkannt wurden; und
4 ein kinematisches Modell des Operationstischs mit anderen Stellungen von zueinander beweglichen Komponenten des Operationstischs als in den Darstellungen der 1, 2 und 3.

In 1 ist eine Situation in einem Operationssaal mit einem Operationstisch 1 und einer Operationsleuchte 2 als beispielhafte Medizingeräte gezeigt. Der Operationstisch 1 weist eine Patientenlagerungsplatte 6 und eine Tischsäule 7 auf. Die Patientenlagerungsplatte 6 weist die Sitzplatte 10 und optional anbringbare Plattensegmente „Kopfplatte“ 8, „Rückenplatte“ 9, „Sitzplatten-Verlängerung“ 11 und „Beinplatten“ 12 auf. Der Operationstisch 1 weist ferner eine Operationstischsteuerungseinrichtung 13 auf und Antriebe 14, mit denen motorisch bewegbare Komponenten des Operationstischs 1, beispielsweise in Form einer Translation oder eines Verkippens der Patientenlagerungsplatte 6 selbst oder eines Verschwenkens ihrer Plattensegmente zueinander angesteuert werden können.
Die Medizingeräte können optional mit einer Steuerungsvorrichtung 3 verbunden sein, mit der die Medizingeräte angesteuert werden können.
Ferner ist ein 3D-Sensor 4 mit der Steuerungsvorrichtung 3 verbunden, die außerdem ein Erfassungssystem zum Überwachen eines Betriebs bzw. von Bewegungen des Medizingeräts aufweist.
Neben dem 3D-Sensor 4 ist auch eine Anzeigeeinrichtung 5 mit der Steuerungsvorrichtung 3 verbunden. Die Anzeigeeinrichtung 5 dient entweder nur als Display zur Anzeige beispielsweise von Abbildern von kinematischen Modellen oder weist eine graphische Benutzerschnittstelle auf, mit der zumindest eines der Medizingeräte gesteuert werden kann.
Mittels des 3D-Sensors 4 und des Erfassungssystem wird eine Szene in einem Raum erfasst. Die Szene umfasst ein Abbild der tatsächlichen Situation und somit auch eine aktuelle Position und eine aktuelle Orientierung von mindestens einem Medizingerät. Hier ist der Operationstisch 1 in der Szene enthalten.
Aus dem Abbild wird ein Bilddatensatz erstellt. Dazu wird beispielsweise aus den einzelnen aufgenommenen Punkten eine Punktwolke erstellt. Hierfür werden für jeden Punkt die Koordinaten und die Indizes der Punkte gespeichert. Über die Indizes werden Zugehörigkeiten, beispielsweise welcher Punkt neben dem nächsten liegt oder welcher Punkt zu einem Körper oder zum Hintergrund gehört, angezeigt.
Um aus dem aktuellen Datensatz zu erkennen, welches Medizingerät in der Szene enthalten ist und welche Position und welche Orientierung des Medizingeräts vorliegen, wird im Voraus eine Reihe von Aufnahmen des Medizingeräts angefertigt und für die spätere Verwendung gespeichert. In den Aufnahmen wird das Medizingerät freigeschnitten, d.h. Bildpunkte, die nicht das Medizingerät darstellen, werden weggelassen, und aus den verbleibenden Bildpunkten, die nunmehr nur das Medizingerät darstellen, wird jeweils ein sogenanntes Template erzeugt, das in einer Punktwolke abgespeichert wird.
Die Templates können alternativ auch aus einem CAD-Datensatz oder mittels Stiching-Algorithmen aus 3D-Scans abgeleitet werden.
Die Templates werden dann verwendet, um eine sogenannte Registrierung durchzuführen. Bei der Registrierung wird über einen speziellen Algorithmus eine Transformation ermittelt, die die Bilddaten des aktuellen Bilddatensatzes und die die Bilddaten des Templates in eine bestmögliche Übereinstimmung bringt („Template matching“). Dadurch wird ein dem Medizingerät entsprechender Datensatz ermittelt, in dem das entsprechende Medizingerät identifiziert ist und seine Position und Orientierung beschrieben ist. Dabei werden beispielsweise der „Iterative Closest Point“-Algorithmus, die „nearest neighbor search“ oder das „Sample Consensus Initial Alignment“ angewendet.
In 2 ist eine Darstellung gezeigt, in der eine Registrierung noch nicht erfolgte oder fehlgeschlagen ist. Es ist zu sehen, dass ein Template 15 der Patientenlagerungsplatte nicht mit dem Bilddatensatz der Patientenlagerungsplatte 6 in der aktuellen Szene übereinstimmt.
In 3 wurde durch den Algorithmus sowohl das Template 15 der Patientenlagerungsplatte als auch ein Template 16 der Tischsäule in Übereinstimmung mit dem aktuellen Bilddatensatz gebracht und somit sowohl die Patientenlagerungsplatte 6 als auch die Tischsäule 7 (1) registriert.
In dem Erfassungssystem ist den Templates jeweils ein kinematisches Modell zugeordnet, das die Kinematik, also die Bewegungsmöglichkeiten abbildet. Für Medizingeräte ohne zueinander bewegbaren Komponenten ist lediglich eine Translation abgebildet, wohingegen später beschriebene komplexere Medizingeräte, die aus zueinander beweglichen Komponenten bestehen, auch komplexere Bewegungen ausführen. Durch die Zuordnung zu dem registrierten Medizingerät sind dann die Kinematik, die Position und die Orientierung des Medizingeräts in einem Referenzkoordinatensystem abgebildet.
Die einzelnen zueinander beweglichen Komponenten des Medizingeräts werden in einer Szene in gleicher Weise wie das Medizingerät selbst durch den 3D-Sensor 4 erfasst und die Registrierung der Komponenten wird mittels Templates von den einzelnen Komponenten durchgeführt. Hier ist dann den einzelnen Komponenten ihre Position und Orientierung, also ihre Stellung zugeordnet.
In 4 ist das kinematische Modell des Operationstischs in einem Referenzkoordinatensystem gezeigt. Die Darstellung des Operationstischs in 4 unterscheidet sich von dem in 1 dargestellten Operationstisch 1 dahingehend, dass hier lediglich die Beinplatten (hier: a; 1: 12), die Sitzplatte (hier: b; 1: 10), die Rückenplatte (hier: c; 1: 9) und die Kopfplatte (hier: d; 1: 8) gezeigt sind und die Sitzplattenverlängerung (1: 11) nicht gezeigt ist. Außerdem befinden sich die Komponenten in anderen Stellungen zueinander.
Die Bewegungsmöglichkeit zwischen den Beinplatten a und der Sitzplatte b ist mit dem Winkel α angegeben. Die Bewegungsmöglichkeit zwischen der Sitzplatte b und der Rückenplatte c ist mit dem Winkel β angegeben. Die Bewegungsmöglichkeit zwischen der Rückenplatte c und der Kopfplatte d ist mit dem Winkel γ angegeben. Eine Höhenverstellung der Säule (hier: e; 1: 7) ist ebenfalls dargestellt.
Im Betrieb wird im Voraus eine Reihe von Aufnahmen des Medizingeräts angefertigt und gespeichert. Aus den Aufnahmen wird das Medizingerät freigeschnitten, d.h. Bildpunkte, die nicht das Medizingerät darstellen, werden weggelassen, und aus den verbleibenden Bildpunkten, die nunmehr nur das Medizingerät darstellen, wird jeweils ein sogenanntes Template von dem Medizingerät erzeugt, das in einer Punktwolke abgespeichert wird.
Zur Erkennung des aktuellen Medizingeräts wird über den 3D-Sensor 4 die Szene mit dem Medizingerät erfasst. Aus den erfassten Daten der Szene wird ein Bilddatensatz des Medizingeräts in seiner aktuellen Position und Lage in Form einer Punktwolke erstellt. Die Darstellung kann beispielsweise in einem Komponenten-Koordinatensystem oder einem Initial-Komponentensystem erfolgen.
Mit Hilfe der Templates wird dann durch einen der o.a. Algorithmen die sogenannte Registrierung durchgeführt und die Bilddaten des Templates und die Bilddaten des aktuellen Bilddatensatzes in eine bestmögliche Übereinstimmung gebracht, wodurch ein dem Medizingerät entsprechender Datensatz bestimmt wird, in dem das entsprechende Medizingerät identifiziert ist und die Position und Orientierung beschrieben sind.
Dem nun bestimmten Medizingerät wird durch das Erfassungssystem jeweils ein kinematisches Modell zugeordnet, das die Kinematik, also die Bewegungsmöglichkeiten abbildet. Durch die Zuordnung sind die Kinematik, die Position und die Orientierung des Medizingeräts in dem Referenzkoordinatensystem abgebildet.
In einer Weiterbildung des Verfahrens zum Überwachen des Betriebs wird dann auch die Bewegung des Medizingeräts durch den 3D-Sensor erfasst. Für Medizingeräte ohne zueinander bewegbaren Komponenten wird lediglich eine Translation oder Rotation des gesamten Medizingeräts erfasst, wohingegen bei Medizingeräten mit zueinander bewegbaren Komponenten auch diese Bewegungen erfasst werden.
Das Medizingerät wird erst unter Verwendung eines groben Templates des gesamten Medizingeräts in der Szene ermittelt und dann wird unter Verwendung von genaueren Templates der Komponenten und einer für jedes Template berechneten Transformationsmatrix die Bewegung des Medizingeräts nachverfolgt. Dann wird die erfasste Bewegung über eine Koordinatentransformation auf das kinematische Modell übertragen.
Um eine Kollisionsüberwachung der Medizingeräte auszuführen, werden erst mehrere Medizingeräte und optional auch Nicht-Medizingeräte um das zu bewegende Medizingerät herum erfasst. Dann wird die Kollisionsüberwachung mittels des in dem Erfassungssystem gespeicherten kinematischen Modells ausgeführt. Optional wird die Bewegung mit Hilfe der Transformationsmatrix extrapoliert, so dass eine Kollision bereits im Voraus erkannt werden kann.
Die erkannte bevorstehende Kollision wird optional an den entsprechenden Antrieb 14 des Medizingeräts so weitergegeben, dass eine Anweisung zum Stoppen einer durch den entsprechenden Antrieb ausgeführten Bewegung an die Operationstischsteuerungseinrichtung 13 übermittelt wird.
Bei dem Medizingerät mit mehreren zueinander bewegbaren Komponenten werden die aktuelle Position, die aktuelle Orientierung und eine Konfiguration des Medizingeräts erfasst. Über die Registrierung des gesamten Medizingeräts und seiner Komponenten wird eine Objekterkennung ausgeführt, nämlich welche Komponenten an dem Medizingerät vorhanden sind, wobei die Konfiguration des Medizingeräts erkannt wird, und ferner erkannt wird, welche Stellung die zueinander beweglichen Komponenten des Medizingeräts haben.
Um optional zu prüfen, ob die Konfiguration zulässig ist, wird die erfasste Konfiguration mit einer in dem Erfassungssystem gespeicherten Konfiguration verglichen. Damit können unzulässige Konfigurationen verhindert werden, die beispielsweise die Sicherheit des Betriebs des Operationstischs 1 als das Medizingerät herabsetzen und eine Gefährdung für den Patienten oder den Nutzer durch Kippen des Operationstischs 1 oder Abbrechen von Halterungen herbeiführen.
Darüber hinaus kann hier optional geprüft werden, ob die Stellungen der einzelnen zueinander beweglichen Komponenten des Operationstischs 1 als das Medizingerät zulässig sind. Zum einen wird auch hier ein Kippen des Operationstischs oder eine Beschädigung von Halterungen verhindert, zum anderen können auch Lagerungen des Patienten verhindert werden, die ihm einen körperlichen Schaden, wie zum Beispiel ein Abklemmen von Blutgefäßen, zuführen würden.
Auf der Anzeigeeinrichtung 5 wird optional ein Abbild des kinematischen Modells gezeigt, das wiederum realitätsnah sein kann.
Ferner kann das Abbild des kinematischen Modells angezeigt werden, wenn die Anzeigeeinrichtung 5 als die Graphische-Benutzerschnittstelle ausgebildet ist, wobei das Medizingerät dann optional damit bedient werden kann.
Auf der Anzeigeeinrichtung 5 kann auch dargestellt sein, wenn eine Kollision erfolgt ist oder optional dargestellt sein, ob eine Kollision bevorsteht, so dass die Bewegung, die die Kollision verursacht, rechtzeitig gestoppt werden kann, so dass keine Beschädigung des Medizingeräts auftritt bzw. die Kollision verhindert werden kann.
Auch können eine unzulässige Konfiguration des Medizingeräts oder unzulässige Stellungen der Komponenten auf der Anzeigeeinrichtung 5 dargestellt sein, so dass der Nutzer darüber informiert ist, dass eine potentielle Gefährdung vorliegt.
Die unzulässige Konfiguration oder die unzulässigen Stellungen werden optional an den entsprechenden Antrieb des Medizingeräts so weitergegeben, dass eine Bewegung nicht ausgeführt wird oder eine Anweisung zum Stoppen einer durch den entsprechenden Antrieb ausgeführten Bewegung an die Operationstischsteuerungseinrichtung übermittelt wird.
Die einzelnen Ausführungsformen können miteinander kombiniert sein.

Claims

Verfahren zum Überwachen eines Betriebs von mindestens einem Medizingerät mittels eines Erfassungssystems, aufweisend die Schritte - Erfassen einer Szene mit einer aktuellen Position und einer aktuellen Orientierung des mindestens einen Medizingeräts in einem Raum mittels eines 3D-Sensors (4), und Erstellen eines aktuellen Bilddatensatzes daraus; - Ausführen einer Objekterkennung durch Ausführen einer Registrierung über Ermittlung einer mathematischen Transformation, die den aktuellen Bilddatensatz mit einem in dem Erfassungssystem abgespeicherten Bilddatensatz in eine bestmögliche Übereinstimmung bringt, wodurch ein dem mindestens einen Medizingerät entsprechender Datensatz mit dessen Position und dessen Orientierung in dem Raum ermittelt wird; - Zuordnen eines in dem Erfassungssystem abgespeicherten kinematischen Modells, das dem mindestens einem Medizingerät entsprechenden Datensatz zugeordnet ist, wobei das kinematische Modell die Kinematik, die Position und die Orientierung des mindestens einen Medizingeräts in einem Referenzkoordinatensystem abbildet; - Erfassen der aktuellen Position, der aktuellen Orientierung und der aktuellen Konfiguration des mindestens einen Medizingeräts über jeweils eine Stellung von einzelnen zueinander beweglichen Komponenten des mindestens einen Medizingeräts; - Ausführen der Objekterkennung für die einzelnen Komponenten des mindestens einen Medizingeräts; - Bestimmen einer aktuellen Konfiguration des mindestens einen Medizingeräts und von Stellungen der beweglichen Komponenten; - Abgleichen der aktuellen Konfiguration des mindestens einen Medizingeräts mit in dem Erfassungssystem abgespeicherten Konfigurationen des Medizingeräts; - Prüfen der aktuellen Konfiguration auf Zulässigkeit.
Verfahren gemäß Anspruch 1, mit den zusätzlichen Schritten - Bewegen des mindestens einen Medizingeräts; - Erfassen der Bewegung des mindestens einen Medizingeräts mittels des 3D-Sensors; und - Übertragen der Bewegung durch Koordinatentransformation auf das kinematische Modell.
Verfahren gemäß Anspruch 2, mit den zusätzlichen Schritten - Erfassen von mehreren Medizingeräten; - Ausführen einer Kollisionsüberwachung der Medizingeräte über die in dem Erfassungssystem gespeicherten kinematischen Modelle, wobei eine erfolgte Kollision erkannt wird, und/oder wobei die Bewegung des bewegten Medizingeräts extrapoliert wird, wobei eine bevorstehende Kollision erkannt wird.
Verfahren gemäß Anspruch 3, wobei das bewegte Medizingerät eine Steuerungseinrichtung (13) und einen Antrieb (14) für die kollisionsauslösende Bewegung aufweist, und eine Anweisung zum Stoppen der Bewegung an eine Steuerungseinrichtung (13) des Medizingeräts übermittelt wird, wenn die erfolgte oder bevorstehende Kollision erkannt wird.
Verfahren gemäß einem der vorangehenden Ansprüche mit den Schritten - Abgleichen der Stellungen der einzelnen zueinander beweglichen Komponenten mit in dem Erfassungssystem gespeicherten Stellungen von kinematischen Modellen der Komponenten, die die Kinematik der Medizingeräte abbilden - Prüfen der aktuellen Stellungen auf Zulässigkeit.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei ein Abbild des kinematischen Modells auf einem Display (5) angezeigt wird.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei ein Abbild des kinematischen Modells auf einer Graphische-Benutzerschnittstelle (5) angezeigt wird.
Verfahren gemäß einem der Ansprüche 3 oder 4 und einem der Ansprüche 6 oder 7, wobei die erfolgte oder bevorstehende Kollision auf dem Display (5) oder der Graphische-Benutzerschnittstelle (5) angezeigt wird.
Verfahren gemäß einem der Ansprüche 6 bis 8, wobei eine unzulässige Konfiguration des mindestens einen Medizingeräts auf dem Display (5) oder der Graphische-Benutzerschnittstelle (5) angezeigt wird.
Verfahren gemäß einem der Ansprüche 6 bis 9, wobei eine unzulässige Stellung der Komponenten des Medizingeräts auf dem Display (5) oder der Graphische-Benutzerschnittstelle (5) angezeigt wird.
Verfahren gemäß einem der Ansprüche 5 bis 10, wobei das bewegte Medizingerät eine Steuerungseinrichtung (13) und einen Antrieb (14) für die Bewegung aufweist, und eine Anweisung zum Stoppen der Bewegung an die Steuerungseinrichtung (13) übermittelt wird, wenn die Konfiguration nicht zulässig ist.
Verfahren gemäß Anspruch 5 oder gemäß Anspruch 5 und einem der Ansprüche 6 bis 11, wobei das bewegte Medizingerät eine Steuerungseinrichtung (13) und einen Antrieb (14) für die Bewegung aufweist, und eine Anweisung zum Stoppen der Bewegung an die Steuerungseinrichtung (13) übermittelt wird, wenn die Stellung nicht zulässig ist.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei das Medizingerät ein Operationstisch (1) ist.