DE102004049258A1

DE102004049258A1 - Vorrichtung und Verfahren zur Steuerung von operationsunterstützenden Informationssystemen

Info

Publication number: DE102004049258A1
Application number: DE102004049258A
Authority: DE
Inventors: Jan Fischer; Dirk Dr. Bartz
Original assignee: Eberhard Karls Universitaet Tuebingen
Current assignee: Aesculap AG
Priority date: 2004-10-04
Filing date: 2004-10-04
Publication date: 2006-04-06
Anticipated expiration: 2024-10-05
Also published as: DE102004049258B4

Abstract

Die Erfindung betrifft eine Vorrichtung zur Steuerung von operationsunterstützenden medizinischen Informationssystemen mit einer Kamera, einem Zeigeinstrument und einem ersten Steuereinheitsabschnitt zum Erkennen und Zuordnen von mittels der Kamera erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen und einem zweiten Steuereinheitsabschnitt zum Auswerten der erkannten und zugeordneten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe, wobei der zweite Steuereinheitsabschnitt anhand vordefinierter Zeigeinstrumentpositionskriterien und Zeigeinstrumentbewegungsablaufkriterien Steuersignale für das Informationssystem erzeugt. DOLLAR A Verwendung z. B. zur menügeführten Steuerung von medizinischen operationsunterstützenden Navigationssystemen.

Description

Die Erfindung betrifft eine Vorrichtung zur Steuerung von operationsunterstützenden medizinischen Informationssystemen. Die Erfindung betrifft auch eine Steuereinheit für eine erfindungsgemäße Vorrichtung sowie ein Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen.

Operationsunterstützende medizinische Informationssysteme sind beispielsweise Systeme, die Informationen über einen Patienten während einer Operation bereitstellen, um einen Operateur dadurch zu unterstützen. Dies kann von der einfachen Anzeige von Text, Zahlen oder Grafikdaten bis hin zur Überlagerung von aktuellen Videoaufnahmen mit grafischen Patientendaten gehen, beispielsweise Darstellungen eines zu entfernenden Tumors. Überlagert werden können beispielsweise aber auch vor einer Operation erstellte grafische Darstellungen zur Planung des Operationsablaufs einem während der Operation aufgenommenen Videobild. Solche Systeme werden als "augmented reality (AR)-Systeme" bezeichnet, da virtuelle grafische Objekte der tatsächlich vorhandenen Umgebung eines Benutzers überlagert werden. Bekannt sind Videodurchsichtsysteme und optische Durchsichtsysteme (video seethrough and optical see-through). Optische AR-Durchsichtsysteme verwenden spezielle transparente Anzeigevorrichtungen, wohingegen AR-Videodurchsichtsysteme die darzustellenden grafischen Informationen einem kontinuierlich aufgenommenen Videobild überlagern.

Solche medizinischen Informationssysteme werden beispielsweise über eine Tastatur, über eine Maus oder auch über sogenannte "Touchscreens" gesteuert, beispielsweise um einen Anzeigemodus zu ändern oder um andere Informationen anzeigen zu lassen. Nachteilig bei den bekannten Systemen ist, dass ein Operateur zur Steuerung des Informationssystems die Operationsumgebung wenigstens teilweise verlassen muss, indem er wenigstens seinen Blick von der operierten Stelle abwenden muss, um eine Eingabe zu machen.

Mit der Erfindung soll eine Vorrichtung, eine Steuereinheit und ein Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen bereitgestellt werden, durch die Benutzereingaben erleichtert werden.

Erfindungsgemäß ist hierzu eine Vorrichtung zur Steuerung von operationsunterstützenden medizinischen Informationssystemen mit einer Kamera, einem Zeigeinstrument und einer Steuereinheit mit einem ersten Steuereinheitsabschnitt zum Erkennen und Zuordnen von mittels der Kamera erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen und einem zweiten Steuereinheitsabschnitt zum Auswerten der erkannten und zugeordneten Zeigeinstrumentposition und Zeigeinstrumentbewegungsabläufe vorgesehen, wobei der zweite Steuereinheitsabschnitt anhand vordefinierter Zeigeinstrumentpositionskriterien und Zeigeinstrumentbewegungsablaufkriterien Steuersignale für das Informationssystem erzeugt.

Indem zur Steuerung Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe verwendet werden, kann ein Operateur eine Steuerung des Informationssystems dadurch bewirken, dass er mit einem Zeigeinstrument bestimmte vordefinierte Bewegungen ausführt und/oder das Zeigeinstrument in eine bestimmte Position bringt. Da die Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe mittels einer Kamera erfasst werden, sind weder Zeigeinstrumentposition noch Zeigeinstrumentbewegungsablauf an Bestandteile des Informationssystems gebunden, sondern können vielmehr frei im Raum liegen. Damit können die Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe auch unmittelbar im Operationsumfeld liegen, solange sie nur von der Kamera erfasst werden können. Dadurch wird es aber möglich, dass ein Operateur Benutzereingaben vornehmen kann, ohne das Operationsumfeld verlassen zu müssen. Beispielsweise kann er, ohne den Blick von der geraden operierten Stelle abwenden zu müssen, durch Bewegen eines Zeigeinstruments an eine bestimmte Position in der näheren Umgebung der operierten Stelle und beispielsweise durch Ausführen eines bestimmten Zeigeinstrumentbewegungsablaufs einen Steuerbefehl für das Informationssystem erzeugen.

In Weiterbildung der Erfindung sind wenigstens eine Steuermarke und Mittel vorgesehen, um eine Steuermarkenposition innerhalb des Erfassungsbereichs der Kamera zu erfassen und als vordefinierte Zeigeinstrumentposition in der Steuereinheit abzuspeichern.

Durch Vorsehen wenigstens einer Steuermarke wird einem Operateur eine weitere Hilfe dadurch gegeben, dass eine Zeigeinstrumentposition, die zum Auslösen eines Steuersignals verwendet wird, deutlich gekennzeichnet ist. Es ist dabei festzuhalten, dass die Steuermarkenposition frei wählbar ist und lediglich im Erfassungsbereich der Kamera liegen muss. Beispielsweise kann eine Steuermarke dadurch unmittelbar auf den Patienten neben die zu operierende Stelle gelegt werden, so dass Benutzereingaben für das Informationssystem möglich werden, ohne dass der Blick von der zu operierenden Stelle abgewendet werden muss. Es ist dabei einerseits möglich, die Steuermarkenposition durch das System dadurch zu erfassen, dass das Zeigeinstrument auf die Steuermarke aufgesetzt wird und im System dann die aktuelle Zeigeinstrumentposition auf der Steuermarke abgespeichert wird. Die Steuermarke selbst ist dem System dann nicht bekannt und dient lediglich als optische Erinnerungshilfe für einen Operateur. Andererseits ist es auch möglich, die Position der Steuermarken mittels einer Kamera zu erfassen und im System abzuspeichern. In diesem Fall ist dem System dann die Steuermarke und deren Position bekannt. Bei einem Versetzen der Steuermarke kann das System dann beispielsweise die abgespeicherte Steuermarkenposition automatisch korrigieren, ohne dass noch Bewegungen mit dem Zeigeinstrument erforderlich wären.

In Weiterbildung der Erfindung ist eine Steuermarkenposition in der Steuereinheit als Datensatz abgespeichert, der eine Lage eines Mittelpunkts der Steuermarke im Raum und einen Radius der Steuermarke enthält.

Mittels der Lage eines Mittelpunkts und einem Radius der Steuermarke ist deren Lage eindeutig definiert, wobei Versuche gezeigt haben, dass die sich dadurch ergebende kugelförmige Definition der Steuermarke im Raum für eine zuverlässige Bedienung ausreichend ist und dabei den Umfang der abzuspeichernden Daten klein hält. Auch hier kann als Steuermarkenposition lediglich eine Zeigeinstrumentposition abgespeichert werden, wenn das System ohne Kenntnis der Steuermarke arbeitet.

In Weiterbildung der Erfindung ist die Steuermarke flächig ausgebildet und der Datensatz enthält eine Flächenorientierung der Steuermarke im Raum.

Auf diese Weise kann die Definition der Steuermarkenposition der tatsächlichen körperlichen Ausdehnung der Steuermarke angepasst werden, wodurch die Gefahr von Fehlauslösungen weiter verringert wird.

In Weiterbildung der Erfindung enthält der Datensatz einen Namen der Steuermarke und eine Beschreibung der mit der Steuermarke verknüpften Steuersignale.

Auf diese Weise kann eine einfache Zuordnung von Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen mit den dadurch auszulösenden Steuersignalen erfolgen.

In Weiterbildung der Erfindung sind mehrere Steuermarken auf einer gemeinsamen Platte angeordnet.

Auf diese Weise können mehrere unterschiedliche Steuerbefehle von einem Operateur auf einfache Weise ausgelöst werden, indem er mit einem Zeigeinstrument auf die unterschiedlichen Steuermarken auf der gemeinsamen Platte deutet und gegebenenfalls vordefinierte Bewegungsabläufe ausführt. Eine solche gemeinsame Platte kann dann unmittelbar neben die zu operierende Stelle gelegt werden.

In Weiterbildung der Erfindung ist die Steuermarke aus sterilisierbarem Material hergestellt.

Auf diese Weise kann die Steuermarke gefahrlos im unmittelbaren Operationsumfeld eingesetzt werden. Ein Sterilisieren der Steuermarke ist problemlos möglich, da diese ja keinerlei signalweiterleitende oder signalverarbeitende Funktionen erfüllen, sondern lediglich eine vom Bediener erkennbare und gegebenenfalls auch von einer Kamera erfassbare optische Marke darstellen muss.

In Weiterbildung der Erfindung ist die Kamera als Infrarotkamera ausgebildet.

Auf diese Weise lassen sich bereits existierende operationsunterstützende Systeme einsetzen, die mit Infrarotkameras arbeiten und deren Zuverlässigkeit im medizinischen Bereich außer Frage steht.

Indem ein erster Steuereinheitsabschnitt zum Erkennen und Zuordnen von mittels der Kamera erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen sowie ein zweiter Steuereinheitsabschnitt zum Auswerten der erkannten und zugeordneten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe vorgesehen ist, können die Funktionen des Erkennens und Zuordnens und die Funktion des Auswertens in unterschiedlichen Steuereinheitsabschnitten durchgeführt werden. Dadurch wird die Möglichkeit geschaffen, bereits existierende und anerkanntermaßen zuverlässig arbeitende operationsunterstützende medizinische Informationssysteme zum Erkennen und Zuordnen von Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen zu verwenden. Lediglich das Auswerten der erkannten und zugeordneten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe wird dann in einem zusätzlichen Modul mit dem zweiten Steuereinheitsabschnitt realisiert.

In Weiterbildung der Erfindung ist das Zeigeinstrument als medizinisches Instrument ausgebildet und mit einem von der Kamera erfassbaren und der Steuereinheit erkennbaren Marker versehen.

Auf diese Weise kann ein vom Operateur ohnehin verwendetes medizinisches Instrument, beispielsweise ein Skalpell, als Zeigeinstrument verwendet werden. Der Operateur wird dadurch in die Lage versetzt, durch Bewegen seines Skalpells in bestimmte Positionen und/oder durch Ausführen bestimmter Bewegungsabläufe mit seinem Skalpell Benutzereingaben für das Informationssystem zu bewirken.

In Weiterbildung der Erfindung ist eine vordefinierte Zeigeinstrumentposition als Position einer Spitze eines Zeigeinstruments abgespeichert.

Dadurch kann mittels einfachem Aufsetzen der Spitze des Zeigeinstruments auf eine vordefinierte Position, beispielsweise auf eine Steuermarke, ein Steuerbefehl ausgelöst werden.

In Weiterbildung der Erfindung ist ein vordefinierter Zeigeinstrumentbewegungsablauf als Bewegung eines einer Spitze des Zeigeinstruments gegenüberliegenden Endes des Zeigeinstruments entlang einer Kreisbahn oder kreisähnlichen Bahn um einen vordefinierten Umfangswinkel bei ruhender Spitze des Zeigeinstruments abgespeichert.

Mittels einer solchen Definition eines Zeigeinstrumentbewegungsablaufs kann eine gleichzeitig sehr störsichere und dabei einfach auszulösende Erzeugung von Benutzereingaben realisiert werden. Es ist praktisch ausgeschlossen, dass eine solche Bewegung, bei der die Spitze des Zeigeinstruments ruht und das hintere Ende gleichzeitig eine kreisartige Bewegung ausführt, zufällig ausgelöst wird. Eine Auswertung kann dann in einfacher Weise anhand einer betragsmäßigen Bewertung eines Richtungsvektors des Zeigeinstruments unter der Randbedingung erfolgen, dass sich eine Position der Spitze des Zeigeinstruments nicht verändert.

In Weiterbildung der Erfindung ist der erste Steuereinheitsabschnitt Teil eines medizinischen operationsunterstützenden Navigationssystems.

Auf diese Weise ist es möglich, ein an und für sich konventionelles und im medizinischen Umfeld bereits bewährtes System zum Erkennen und Zuordnen von Zeigeinstrumentpositionen und Zeigeinstrumentbewe gungsabläufen zu verwenden. Solche Navigationssysteme sind üblicherweise auch bereits mit einer Kamera ausgerüstet, so dass lediglich für das Erzeugen von Steuersignalen gemäß der Erfindung durch Auswerten von Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen ein zusätzliches Modul erforderlich ist. Dadurch können bereits vorhandene Navigationssysteme funktionell erweitert werden.

Das der Erfindung zugrundeliegende Problem wird auch mittels einer Steuereinheit für eine erfindungsgemäße Vorrichtung gelöst, wobei die Steuereinheit eine Schnittstelle zum Übernehmen von Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen von einem medizinischen operationsunterstützenden Navigationssystem, Auswertemittel zum Auswerten der übernommenen Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe anhand abgespeicherter vordefinierter Kriterien und Signalerzeugungsmittel zum Erzeugen von Steuersignalen in Abhängigkeit der Auswertung durch die Auswertemittel aufweist.

Mittels einer solchen erfindungsgemäßen Steuereinheit wird ein Erweiterungsmodul für ein medizinisches operationsunterstützendes Navigationssystem geschaffen. Wesentlich ist dabei, dass die grundlegenden, bewährten Funktionen des Navigationssystems beibehalten werden können und lediglich über die in der Steuereinheit vorhandene Schnittstelle vom Navigationssystem bereits erfasste Daten übernommen werden müssen. In umgekehrter Richtung werden dem Navigationssystem dann Steuersignale übergeben.

Das der Erfindung zugrundeliegende Problem wird auch mittels eines Verfahrens zur Steuerung von operationsunterstützenden medizinischen Informationssystemen mit folgenden Schritten gelöst:
Erfassen von Positionen und Bewegungsabläufen eines Zeigeinstruments mittels einer Kamera, Auswerten von erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen anhand vordefinierter Kriterien und Erzeugen von Steuersignalen für das Informationssystem in Abhängigkeit des Auswertens.

Das erfindungsgemäße Verfahren ermöglicht es somit, nach dem Erstellen von vordefinierten Kriterien für Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe Steuersignale alleine durch Anfahren bestimmter Positionen und/oder Ausführen bestimmter Bewegungsabläufe eines Zeigeinstruments zu erzeugen.

In Weiterbildung der Erfindung ist ein Schritt des Erfassens einer Steuermarkenposition und ein Schritt des Abspeicherns der Steuermarkenposition als vordefiniertes Kriterium für eine Zeigeinstrumentposition vorgesehen.

Das der Erfindung zugrunde liegende Problem wird auch durch ein digitales Speichermedium mit elektronisch auslesbaren Steuersignalen gelöst, die so mit einem programmierbaren Computer zusammenwirken können, dass das erfindungsgemäße Verfahren ausgeführt wird.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus den folgenden Ansprüchen und der nachfolgenden Beschreibung einer bevorzugten Ausführungsform der Erfindung im Zusammenhang mit den Zeichnungen.
In den Zeichnungen zeigen:
1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung,
2 eine Draufsicht auf Steuermarken, wie sie bei der Vorrichtung gemäß 1 verwendet werden,
3 eine perspektivische Darstellung eines Zeigeinstruments, wie es bei der Vorrichtung der 1 verwendet wird,
4 eine schematische Darstellung der verschiedenen Schritte, die zur Erzeugung eines Steuersignals erforderlich sind und
5 ein Ablaufdiagramm eines erfindungsgemäßen Programms zur Auswertung von Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen.
In der Darstellung der 1 ist eine Vorrichtung 10 zur Steuerung von operationsunterstützenden medizinischen Informationssystemen dargestellt. Ein medizinisches Informationssystem selbst ist abschnittsweise mittels eines Bildschirms 12 dargestellt, der mehrere Eingabetasten 14 aufweist und darüber hinaus als Touch-Screen ausgebildet ist, um die Darstellung von Informationen in konventioneller Weise zu steuern. Die Vorrichtung 10 weist eine Kamera 16 auf, deren Erfassungsbereich mittels gestrichelter Linien angedeutet ist. Die Vorrichtung 10 weist weiterhin eine Steuereinheit mit einem ersten Steuereinheitsabschnitt 18 und einem zweiten Steuereinheitsabschnitt 20 auf. Die Kamera 16 kann Bewegungen und Positionen eines Zeigeinstruments 22 erfassen, das mit einem Marker 24 versehen ist. Der Marker 24 hat die Form dreier im Raum voneinander beabstandeter Kugeln und ermöglicht es dem ersten Steuereinheitsabschnitt 18, anhand der von der Kamera 16 gelieferten Bilddaten des Zeigeinstruments 22 dessen Lage im Raum zu erkennen und in Raumkoordinaten umzusetzen.
Die Anzeigeeinheit 12, der erste Steuereinheitsabschnitt 18 und die Kamera 16 sind Bestandteil eines medizinischen operationsunterstützen den Navigationssystems 26, wobei dies mittels einer strichpunktierten Linie angedeutet ist.
Ein zu operierender Patient 28 ist lediglich schematisch angedeutet. Auf dem Patienten und in unmittelbarer Umgebung einer zu operierenden Stelle ist eine Platte 30 aufgelegt, die mehrere Steuermarken aufweist und in der Darstellung der 2 detaillierter dargestellt ist. Die Platte 30 mit den Steuermarken dient zur Markierung von festgelegten Positionen des Zeigeinstruments 22 in der Weise, dass dann, wenn das Zeigeinstrument 22 in definierter Art und Weise auf den Steuermarken der Platte 30 bewegt wird, bestimmte Steuersignale ausgelöst werden. In diesem Fall dienen die Steuermarken nur als optische Erinnerung für einen Operateur, wo die vordefinierten Zeigeinstrumentpositionen liegen. Die Steuermarke selbst ist dem System dann nicht bekannt. Alternativ kann die Platte 30 auch von der Kamera 16 erfasst werden und die Positionen der Steuermarken auf der Platte 30 werden dann als vordefinierte Kriterien abgespeichert.
Das Erfassen und Erkennen von Positionen und Bewegungsabläufen des Zeigeinstruments 22, das beispielsweise ein medizinisches Skalpell sein kann, wird dabei innerhalb des Navigationssystems 26 mittels der Kamera 16 und dem ersten Steuereinheitsabschnitt 18 bewirkt. Die im ersten Steuereinheitsabschnitt 18 erkannten Positionen und Bewegungsabläufe des Zeigeinstruments 22 werden dann über eine Schnittstelle an den zweiten Steuereinheitsabschnitt 20 übergeben. Bei Verwendung mehrerer Zeigeinstrumente nimmt der erste Steuereinheitsabschnitt 18 auch eine Zuordnung von erkannten Positionen und Bewegungsabläufen auf die einzelnen Zeigeinstrumente vor. Im zweiten Steuereinheitsabschnitt 20 werden die erkannten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe dann ausgewertet. Anhand vordefinierter Kriterien werden dann gegebenenfalls Steuersignale erzeugt. Die Steuersignale werden dann an das Navigationssystem 26 übergeben, um die Anzeigeeinheit 12 in bestimmter Weise anzusteuern. Ausgehend von einem Navigationssystem 26 muss damit lediglich noch der zweite Steuereinheitsabschnitt 20 vorgesehen werden, um erfindungsgemäß in erleichterter Art und Weise Benutzereingaben zur Steuerung des Navigationssystems 26 oder zur Steuerung der Anzeige grafischer Informationen auf der Anzeigeeinheit 12 zu bewirken.
Nach Auflegen der Platte 30 innerhalb eines geeigneten Bereichs auf den Patienten 28 wird das Zeigeinstrument 22 zunächst auf jede der Steuermarken gesetzt und die zugehörigen Zeigeinstrumentpositionen werden als vordefinierte Kriterien abgespeichert. Alternativ werden in einem ersten Schritt zunächst die Position der Platte 30 sowie der auf der Platte 30 vorhandenen Steuermarken mittels der Kamera erfasst und jeder Steuermarke wird ein Datensatz zugeordnet, der dann in dem zweiten Steuereinheitsabschnitt 20 abgelegt wird. Jeder Datensatz, egal ob zu einer Zeigeinstrumentposition oder einer Steuermarkenposition, enthält eine Lage des Mittelpunkts einer jeweiligen Steuermarke im Raum in Form von Raumkoordinaten, einen Radius der Steuermarke, eine Bezeichnung der Steuermarke und eine Beschreibung der mit der Steuermarke verknüpften Steuersignale oder Steuerfunktionen. Jede Steuermarke auf der Platte 30 ist dadurch mittels einer im Raum definierten Kugel bestimmt. Alternativ kann zusätzlich noch eine Flächenorientierung der Steuermarke im Raum mit abgespeichert werden.
Die mit den einzelnen Steuermarken beziehungsweise Zeigeinstrumentpositionen verknüpften Steuersignale und Steuerfunktionen können beispielsweise mittels einer grafischen Benutzeroberfläche verändert werden. Nach dem ersten Einbringen der Platte 30 in den Erfassungsbereich der Kameras 16 und nach jedem Umsetzen der Platte 30 können die neuen Steuermarkenpositionen jeweils durch Aufsetzen des Zeigeinstruments 22 auf die Steuermarken und Ausführen eines vordefinierten Bewegungsablaufs, einer sogenannten "click gesture", definiert und dem jeweiligen Datensatz der Steuermarken zugeordnet werden.
Nachdem die Lage der Steuermarken auf der Platte 30 im zweiten Steuereinheitsabschnitt 20 abgelegt ist, kann ein Operateur mittels definierter Bewegungen, sogenannter "click gestures", des Zeigeinstruments 22 Steuersignale für das Navigationssystem 26 erzeugen. Dies geschieht dadurch, dass er das Zeigeinstrument 22 auf eine jeweilige Steuermarke auf der Platte 30 bewegt und gegebenenfalls zusätzlich einen bestimmten Bewegungsablauf mit dem Zeigeinstrument 22 ausführt. Ein solcher bestimmter Bewegungsablauf kann beispielsweise ein sogenannter „angle click" oder ein „still click" sein, wie nachfolgend noch erläutert wird. Die Kamera 16 erfasst dabei fortlaufend Position und Bewegungsabläufe des Zeigeinstruments 22 und der erste Steuereinheitsabschnitt 18 setzt die erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe in Daten um. Gegebenenfalls kann mittels des ersten Steuereinheitsabschnitts 18 auch eine Zuordnung von Positionen und Bewegungsabläufen zwischen mehreren verwendeten Zeigeinstrumenten durchgeführt werden. Nach Übergabe der zu den Zeigeinstrumentpositionen und Bewegungsabläufen gehörenden Datensätze an den zweiten Steuereinheitsabschnitt 20 wertet dieser die erhaltenen Datensätze anhand vordefinierter Kriterien aus und erzeugt entsprechend Steuersignale für das Navigationssystem 26 oder die Darstellung von Informationen auf der Anzeigeeinheit 12.
Die Darstellung der 2 zeigt die Platte 30 in einer Draufsicht. Wie zu erkennen ist, sind auf der Platte 30 vier Steuermarken 32, 34, 36 und 38 vorgesehen. Die Steuermarken 32, 34, 36, 38 sind in dem dargestellten Beispiel dafür vorgesehen, Steuersignale zu erzeugen, die bei der Vorbereitung der Operation das Erstellen von Freihandzeichnungen und deren Darstellung auf der Anzeigevorrichtung 12 erlauben.
So kann mittels der Steuermarke 32 ein Freihandmodus eingestellt werden, in dem eine Position der Spitze des Zeigeinstruments 22 fortlaufend aufgezeichnet wird und auf der Anzeigeeinrichtung 12 als Freihandlinie dargestellt wird. Dadurch kann ein Operateur bei der Vorbereitung beispielsweise die Lage von Schnitten anzeichnen und später, während der tatsächlichen Operation, wird ihm die zuvor angezeichnete Lage der Schnitte auf der Anzeigeeinrichtung 12 angezeigt, wobei in der Anzeigeeinrichtung 12 gleichzeitig ein mittels der Kamera 16 oder einer weiteren Kamera aufgenommenes Videobild vom Patienten überlagert wird. Der Operateur kann dadurch auf der Anzeigeeinrichtung 12 feststellen, ob die Lage der tatsächlich ausgeführten Schnitte der während der Vorbereitung angezeichneten Freihandlinie entspricht.
Die Steuermarke 34 dient dazu, einzelne Punkte einzuzeichnen.
Die Steuermarke 36 dient dazu, die in der Darstellung auf der Anzeigevorrichtung 12 gegenwärtig gewählte Farbe zu wechseln, beispielsweise dann, wenn während der Vorbereitung unterschiedlich tiefe Schnitte mit unterschiedlich farbigen Linien angezeigt werden sollen.
Die Steuermarke 38 dient dazu, zwischen mehreren Zeichenebenen zu wechseln. Beispielsweise können nacheinander vorgesehene Schnitte während der Vorbereitung in unterschiedlichen Zeichenebenen abgelegt werden und dann während der Operation auch nacheinander wieder aufgerufen werden.
Die Darstellung der 3 zeigt in perspektivischer Ansicht das Zeigeinstrument 22 detaillierter. Gut zu erkennen sind die drei, in ihrer Lage zueinander fixierten Kugeln des Markers 24, die wiederum fest mit dem Zeigeinstrument 22 verbunden sind.
In der Darstellung der 3 ist auch ein für das Auslösen von Ansteuersignalen vorteilhafter Bewegungsablauf des Zeigeinstruments 22 dargestellt. Dieser Bewegungsablauf ist dadurch gekennzeichnet, dass eine Spitze des Zeigeinstruments unbeweglich auf einem Punkt 40 verbleibt, wohingegen das der Spitze gegenüberliegende Ende eine kreisähnliche Rotationsbewegung ausführt. Die Rotationsbewegung erfolgt dabei zweckmäßigerweise lediglich über einen Abschnitt einer Kreisbahn. beispielsweise zeigt ein Operateur mit der Spitze des Zeigeinstruments 22 auf den Mittelpunkt einer Steuermarke 32 und bewegt dann das der Spitze gegenüberliegende Ende des Zeigeinstruments 22 gemäß dem Pfeil 42, wobei die Spitze unverändert am Punkt 40 verbleibt. Ein solcher Bewegungsablauf ist einfach und schnell auszuführen und weist darüber hinaus den Vorteil auf, dass die Wahrscheinlichkeit äußerst gering ist, einen solchen Bewegungsablauf zufällig oder unabsichtlich auszuführen. Mittels eines solchen vordefinierten Bewegungsablaufs kann daher in sehr zuverlässiger und störungssicherer Weise ein den Steuermarken 32, 34, 36 bzw. 38 zugeordnetes Steuersignal ausgelöst werden. Der in der 3 dargestellte Bewegungsablauf des Zeigeinstruments 22 wird als "angle click" bezeichnet. Währen des sogenannten "angle clicks" bleibt die Spitze des Zeigeinstruments 22 unverändert auf dem Punkt 40. Ruht die Spitze des Zeigeinstruments für einen vorbestimmten Zeitraum, wird dies als "still click" bezeichnet und kann ebenfalls dazu verwendet werden, bestimmte Steuersignale zu erzeugen. Ein "angle click" besteht somit stets aus einem "still click" und der in 3 gezeigten Bewegung entlang dem Pfeil 42.
Die Darstellung der 4 zeigt schematisch eine Sequenz von Verfahrensschritten, um mit der erfindungsgemäßen Vorrichtung 10 der 1 eine Freihandlinie auf dem Patienten 28 zu erfassen und abzuspeichern. In einem ersten Schritt 44 wird das System in einen sogenannten Freihandmodus versetzt, in dem das System auf ein Steuersignal wartet, um den Beginn einer Freihandlinie zu erfassen. Dieser Freihandmodus wird dadurch eingestellt, dass die Spitze des Zeigeinstruments 22 auf die Steuermarke 32 aufgesetzt wird und das Ende des Zeigeinstruments 22 wenigstens abschnittsweise auf einer Kreisbahn bewegt wird, so dass ein "angle click" erkannt wird.
Nach Einstellen des Freihandmodus wartet das System im Schritt 46 auf einen sogenannten "still click". Ein "still click" wird, wie bereits erwähnt, dadurch ausgeführt, dass die Spitze des Zeigeinstruments 22 auf den vorgesehenen Beginn der Freihandlinie gesetzt wird und die Spitze dann für einen vordefinierten Zeitraum unbeweglich gelassen wird. Nachdem der "still click" erkannt wurde, wird nachfolgend im Schritt 48 die Position der Spitze des Zeigeinstruments 22 fortlaufend erfasst und die aufeinanderfolgenden Positionen werden als Freihandlinie abgespeichert und gegebenenfalls gleichzeitig auf der Anzeigevorrichtung 12 dargestellt. Während der Anzeige auf der Anzeigevorrichtung 12 kann die Freihandlinie zweckmäßigerweise einem mittels der Kamera 16 oder einer zusätzlichen Kamera aufgenommenem Nenn-Videobild des Operationsbereichs auf den Patienten 28 überlagert werden. Ein weiterer "still click" beendet den Freihandmodus im Schritt 50 und wird entsprechend dadurch bewirkt, dass die Spitze des Zeigeinstruments am Ende der Freihandlinie für einen vorbestimmten Zeitraum unbeweglich auf derselben Stelle gehalten wird.
In dem Ablaufdiagramm der 5 ist die Vorgehensweise beim Erkennen von sogenannten "still clicks" und "angle clicks" dargestellt. Der in der 5 dargestellte Programmablauf wird mittels der in 1 dargestellten Steuereinheit 20 ausgeführt und dient dazu, die mittels der Kamera 16 und dem ersten Steuereinheitsabschnitt 18 erfassten und gegebenenfalls zugeordneten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe auszuwerten und dementsprechend Steuersignale zu erzeugen. Das erfindungsgemäße Verfahren wird zeitschrittbasiert durchgeführt und die Darstellung der 5 zeigt die innerhalb ei nes Zeitschrittes ablaufenden Prüfungen. In jedem Zeitschritt wird die Position pos_t und der Richtungsvektor dir_t des nachverfolgten Zeigeinstruments von dem ersten Steuereinheitsabschnitt 18 an den zweiten Steuereinheitsabschnitt 20 übergeben. Das erfindungsgemäße Verfahren, das mittels einem im zweiten Steuereinheitsabschnitt 20 hinterlegten Programm ausgeführt wird, erlaubt eine maximale Bewegung der Spitze des Zeigeinstruments 22 threshold_pos pro Zeitschritt. Da das Koordinatensystem der Infrarotkamera 16 so kalibriert ist, dass eine Einheit die Länge von einem Millimeter hat, ist der Wert threshold_pos auch in Millimetern definiert. Ein typischer Wert für threshold_pos ist weniger als ein Millimeter. Ein zweiter Schwellenwert threshold_dir bestimmt die minimale Änderung des Richtungsvektors, die für einen gültigen "AngleClick" erforderlich ist. Die Anzahl aufeinanderfolgender Zeitschritte, während der die jeweiligen Positions- und Bewegungsablaufbedingungen für das Zeigeinstrument 22 erfüllt sein müssen, sind als der Parameter "clickDuration" bestimmt. Die Schwellenwerte und die Werte für den Parameter "clickDuration" können während der Laufzeit neu konfiguriert werden.
Bei Schritt 50 wird die Information vom ersten Steuereinheitsabschnitt 18 betreffend Position und Richtung des Zeigeinstruments vom ersten Steuereinheitsabschnitt 18 heruntergeladen und im zweiten Steuereinheitsabschnitt 20 gegebenenfalls bereits vorhandene Daten zu diesem Zeigeinstrument zugeordnet.
Während eines Schritts 54 wird abgeprüft, ob seit dem letzten Zeitschritt eine signifikante Bewegung der Spitze des Zeigeinstruments zu beobachten war. Hierzu wird der Betrag aus der Differenz der Positionen des vergangenen Zeitschritts und des aktuellen Zeitschritts gebildet und mit dem Schwellwert "threshold_pos" bewertet. Falls eine signifikante Bewegung der Spitze des Zeigeinstruments 22 oberhalb des Schwellwerts "threshold_pos" seit dem letzten Zeitschritt festgestellt wird, werden im Schritt 56 zwei Zähler auf null gesetzt, nämlich ein Zähler "numStep_still" für die Anzahl der Zeitschritte ohne signifikante Bewegung der Spitze und ein Zähler "numSteps_angle" für die Anzahl der Zeitschritte mit einer Änderung des Richtungsvektors oberhalb der Schwelle threshold_dir. Nach dem Schritt 56 wird der Algorithmus für diesen Zeitschritt bei 58 beendet. Dies bedeutet, dass während des aktuellen Zeitschritts kein gültiger "still click" oder "angle click" mehr erfasst werden kann. Eine Auswertung von Bewegungsabläufen und Positionen des Zeigeinstruments kann somit erst wieder im nächsten Zeitschritt erfolgen.
Ist das Ergebnis der Abfrage im Schritt 54, dass seit dem letzten Zeitschritt keine signifikante Bewegung der Spitze des Zeigeinstruments stattgefunden hat, wird der Zähler "numSteps_still" für die Anzahl der Zeitschritte ohne signifikante Bewegung der Spitze des Zeigeinstruments 22 bei 60 um eins erhöht. Im Schritt 62 wird dann abgeprüft, ob sich ein Richtungsvektor des Zeigeinstruments 22 seit dem letzten Zeitschritt verändert hat. Ein Richtungsvektor des Zeigeinstruments 22 ist dabei durch eine Linie zwischen der Spitze und dem gegenüberliegenden Ende des Zeigeinstruments 22 definiert. Hierzu wird im Schritt 60 der Betrag aus der Differenz der Richtungsvektoren aus den vorhergehenden Zeitschritten und dem aktuellen Zeitschritt gebildet und anhand eines Schwellwerts "threshold_dir" bewertet. Ist der Betrag dieser Differenz kleiner als der Schwellwert, kann festgestellt werden, dass keine signifikante Richtungsänderung seit dem letzten Zeitschritt aufgetreten ist und im Schritt 64 wird dann der Zähler "numSteps_angle" für die Anzahl der Zeitschritte mit einer Richtungsänderung oberhalb des Schwellwerts "thereshold_dir" auf null gesetzt. Ergibt die Abfrage im Schritt 62, dass der Betrag der Differenz nicht kleiner ist als der Schwellwert "thereshold_dir", kann auf eine signifikante Änderung der Richtung des Zeigeinstruments geschlossen werden und im Schritt 66 wird der Zähler "numSteps_angle" um eins hochgesetzt.
Nachdem nun die Positionsänderungen und Richtungsänderungen des Zeigeinstruments 22 bewertet wurden, wird abgeprüft, ob die Bedingungen für das Auslösen eines „still click" oder eines „angle click" erfüllt sind.
In einem Schritt 68 wird dazu abgefragt, ob der Zählerstand des Zählers "numSteps_still" größer oder gleich einem vorbestimmten Wert ist. Wenn dies der Fall ist, wird in einem Schritt 70 der Zähler "numSteps_still" wieder auf null gesetzt und in einem Schritt 72 wird noch abgeprüft, ob sich die Position der Spitze des Zeigeinstruments 22, die während der vergangenen Zeitschritte erkannt wurde, sich von der Position der Spitze des Zeigeinstruments während des letzten "still click" unterscheidet. Nur dann, wenn sich diese Positionen unterscheiden, wird in einem Schritt 74 ein "still click" ausgelöst und ein entsprechendes Signal ausgegeben. Hat die Prüfung im Schritt 72 ergeben, dass die Position der Spitze des Zeigeinstruments 22 während des letzten "still click" sich nicht von der Position der Spitze des Zeigeinstruments 22 während der aktuell bewerteten Zeitschritte unterscheidet, wird das Auslösen eines "still click" unterdrückt. Dadurch können aufeinanderfolgende "still clicks" an derselben Position der Spitze des Zeigeinstruments unterdrückt werden. Dies ist beispielsweise dann von Bedeutung, wenn das Zeigeinstrument 22 lediglich abgelegt wird. In diesem Fall müssen aufeinanderfolgende "still clicks" unterdrückt werden, da ein Benutzer das Zeigeinstrument ja abgelegt hat und keine Benutzereingaben mehr tätigen will. Die Position des Zeigeinstruments 22 während des letzten "still clicks" ist in einem Vektor "lastStillClick" abgelegt. Eine Differenz des Vektors "lastStillClick" und eines Vektors "pos_t" mit der Position im aktuellen Zeitschritt wird betragsmäßig mit dem Schwellwert "threshold_pos" bewertet, um eine Aussage über die Positionsveränderung treffen zu können.
Abschließend wird geprüft, ob die Bedingungen für das Auslösen eines "angle clicks" erfüllt sind.
In einem Schritt 76 wird hierzu abgeprüft, ob der Zählerstand des angle-click-Zählers "numSteps_angle" größer oder gleich dem vorbestimmten Wert "clickDuration" ist. Dadurch kann abgeprüft werden, ob die Rotationsbewegung des der Spitze gegenüberliegenden Ende des Zeigeinstruments 22 lange und ausgeprägt genug war, um von einer definierten, gewollten angle-click-Bewegung auszugehen. Wird diese Prüfung im Schritt 76 bejaht, wird in einem Schritt 78 der angle-click-Zähler "numSteps_angle" auf null gesetzt und in einem Schritt 80 wird abgeprüft, ob sich die Position des letzten "angle clicks" von der Position der aktuell zu bewertenden Zeigeinstrumentbewegung unterscheidet. Nur dann, wenn sich diese Positionen unterscheiden, wird im Schritt 82 ein "angle click" ausgelöst und gegebenenfalls wird ein entsprechendes Steuersignal erzeugt. Falls sich die Position des vorangegangenen "angle clicks" nicht von der aktuellen Position des Zeigeinstruments unterscheidet, wird kein "angle click" ausgelöst und bei 84 wird der Algorithmus für den aktuellen Zeitschritt beendet. Durch die Prüfung im Schritt 80 wird verhindert, dass bei besonders ausgeprägter Rotationsbewegung des Zeigeinstruments 22 unbeabsichtigt zwei oder mehrere "angle clicks" nacheinander ausgelöst werden. Die Position des Zeigeinstruments 22 während des letzten "angle clicks" ist in einem Vektor "lastAngleClick" abgelegt. Eine Differenz des Vektors "lastAngleClick" und des Vektors "pos_t" mit der Position im aktuellen Zeitschritt wird betragsmäßig mit dem Schwellwert "threshold_pos" bewertet, um eine Aussage über die Positionsveränderung treffen zu können.
Die Erfindung ermöglicht es somit einem Operateur, in besonders einfacher Weise unmittelbar und ohne Zuhilfenahme von zusätzlichem Personal, Benutzereingaben für ein medizinisches Informationssystem, insbesondere ein operationsunterstützendes Navigationssystem, zu erzeugen. Die Benutzereingaben können dabei in besonders einfacher Weise durch vordefinierte Positionen und Bewegungen eines Zeigeinstruments, beispielsweise eines medizinischen Instruments, erzeugt werden. Die Lage dieser vordefinierten Zeigeinstrumentposition und Bewegungsabläufe im Raum ist dabei beliebig wählbar, so dass auch Steuermarken in das unmittelbare Operationsumfeld gelegt werden können. Durch Zeigen auf diese Steuermarken kann ein Operateur damit das Informationssystem steuern, ohne seinen Blick von der Operationsstelle abwenden zu müssen.

Claims

Vorrichtung zur Steuerung von operationsunterstützenden medizinischen Informationssystemen, mit einer Kamera (16), einem Zeigeinstrument (22) und einer Steuereinheit mit einem ersten Steuereinheitsabschnitt (18) zum Erkennen und Zuordnen von mittels der Kamera (16) erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen und einem zweiten Steuereinheitsabschnitt (20) zum Auswerten der erkannten und zugeordneten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe, wobei der zweite Steuereinheitsabschnitt (20) anhand vordefinierter Zeigeinstrumentpositionskriterien und Zeigeinstrumentbewegungsablaufkriterien Steuersignale für das Informationssystem erzeugt.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens eine Steuermarke (32, 34, 36, 38) vorgesehen ist, deren Position innerhalb des Erfassungsbereichs der Kamera (16) erfasst und als vordefinierte Zeigeinstrumentposition in dem zweiten Steuereinheitsabschnitt (20) abspeicherbar ist.
Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Position der wenigstens einen Steuermarke (32, 34, 36, 38) in dem zweiten Steuereinheitsabschnitt (20) als Datensatz abgespeichert ist, der eine Lage eines Mittelpunkts der Steuermarke (32, 34, 36, 38) im Raum und einen Radius der Steuermarke (32, 34, 36, 38) enthält.
Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Steuermarke (32, 34, 36, 38) flächig ausgebildet ist und der Datensatz eine Flächenorientierung der Steuermarke (32, 34, 36, 38) im Raum enthält.
Vorrichtung nach wenigstens einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der Datensatz einen Namen der Steuermarke (32, 34, 36, 38) und eine Beschreibung der mit der Steuermarke (32, 34, 36, 38) verknüpften Steuersignale enthält.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche 2 bis 5, dadurch gekennzeichnet, dass mehrere Steuermarken (32, 34, 36, 38) auf einer gemeinsamen Platte (30) angeordnet sind.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche 2 bis 6, dadurch gekennzeichnet, dass die Steuermarke (32, 34, 36, 38) aus sterilisierbarem Material hergestellt ist.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (16) als Infrarotkamera ausgebildet ist.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Zeigeinstrument als medizinisches Instrument ausgebildet und mit einem von der Kamera erfassbaren und der Steuereinheit erkennbaren Marker (24) versehen ist.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine vordefinierte Zeigeinstrumentposition als Position einer Spitze eines Zeigeinstruments (22) abgespeichert ist.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass ein vordefinierter Zeigein strumentbewegungsablauf als Bewegung eines einer Spitze des Zeigeinstruments (22) gegenüberliegenden Endes des Zeigeinstruments entlang einer Kreisbahn oder kreisähnlichen Bahn (42) um einen vordefinierten Umfangswinkel bei ruhender Spitze des Zeigeinstruments (22) abgespeichert ist.
Vorrichtung nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der erste Steuereinheitsabschnitt (18) Teil eines medizinischen operationsunterstützenden Navigationssystems (26) ist.
Steuereinheit (20) für eine Vorrichtung nach wenigstens einem der vorstehenden Ansprüche, mit einer Schnittstelle zum Übernehmen von Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen von einem medizinischen operationsunterstützendem Navigationssystem (26), Auswertemitteln zum Auswerten der übernommenen Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufe anhand abgespeicherter vordefinierter Kriterien und Signalerzeugungsmitteln zum Erzeugen von Steuersignalen in Abhängigkeit der Auswertung durch die Auswertemittel.
Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen mit folgenden Schritten: Erfassen von Positionen und Bewegungsabläufen eines Zeigeinstruments mittels einer Kamera (16), Auswerten von erfassten Zeigeinstrumentpositionen und Zeigeinstrumentbewegungsabläufen anhand vordefinierter Kriterien und Erzeugen von Steuersignalen für das Informationssystem in Abhängigkeit des Auswertens.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass ein Schritt des Erfassens einer Steuermarkenposition und ein Schritt des Abspeicherns der Steuermarkenposition als vordefiniertes Kriterium für eine Zeigeinstrumentposition vorgesehen ist.
Digitales Speichermedium, insbesondere Diskette, mit elektronisch auslesbaren Steuersignalen, die so mit einem programmierbaren Computersystem, insbesondere mit einem organisationsunterstützenden medizinischen Informationssystem, zusammenwirken können, dass ein Verfahren nach Anspruch 14 oder 15 ausgeführt wird.