-
Die
vorliegende Erfindung bezieht sich allgemein auf die visuelle Unterstützung von
Chirurgen während
einer Operation insbesondere bei Verwendung Kopf-fixierter Visualisierungseinrichtungen (engl.
Head Mounted Displays HMD). Dabei bezieht sich die vorliegende Erfindung
insbesondere auf ein System zur Echtzeit-basierten visuellen Unterstützung sowie
zur Echtzeit-basierten Dokumentation und Archivierung der visuellen
Eindrücke
des Chirurgen.
-
Es
gibt unterschiedliche visuelle Unterstützungen eines Chirurgen im
Operationssaal (im Folgenden als OP abgekürzt), die je nach Aufwand unterschiedlich
ausgestaltet sind. In einem vergleichsweise modernen System (1, wird später noch ausführlicher
dargestellt) ist der OP ausgestattet mit mehreren Modalitäten 1 (z.B.
Röntgen-C-Bogen,
Ultraschall, MRT) sowie mit (mehreren) Videokameras 2 und
einem oder mehreren Monitoren, unter Umständen von Patientenüberwachungs-Geräten (Patientenüberwachungs-Komponenten:
z.B. EKG, EEG usw.), die jeweils mit einem OP-Rechner 4 verbunden
sind. Ferner trägt
der Chirurg 13 vor den Augen eine brillenförmige Visualisierungseinrichtung 5,
die mit einer in Blickrichtung ausrichtbaren Video-Brillen-Kamera 3 versehen
ist. Die beiden optischen Systeme -Visualisierungseinrichtung 5 und
Video-Brillen-Kamera 3 – sind entweder über Kabel oder
Funk ebenfalls mit dem OP-Rechner 4 verbunden.
-
Als
Visualisierungseinrichtung werden verschiedene Technologien eingesetzt,
z.B. ein vor den Augen des Chirurgen 13 fixierter Laser
der virtuelle Daten in Form einer virtuellen Anzeige (engl. Display) auf
die Retina des Chirurgen projiziert und dort eine virtuelle Benutzerschnittstelle
(engl. User Interface UI) erzeugt. Diese Technologie ist beispielsweise
bekannt unter dem Namen "Retina
Scanning Display" RSD
von der Firma Microvision. Weitere Technologien sind beispielsweise
an den Kopf des Chirurgen montierbare Mini-Displays die entweder in Brillengläser integriert
sind (Operations Microscope OPMI Pencho von Zeiss) oder dem Chirurgen
vor dessen Augen virtuelle Bilder liefern (Head-Up-Display). In allen
Fällen
folgt das erzeugte Display, durch welches Daten im Blickfeld des
Chirurgen dargestellt werden, der Kopfbewegung des Chirurgen, weshalb alle
aufgeführten
Ausführungsformen
der Visualisierungseinrichtung im Folgenden als "Kopf-fixierte Displays", engl.: Head-Mounted-Displays,
mit dem Acronym "HMD" bezeichnet werden.
Weitere Visualisierungseinrichtungen können sein ein Operations-Mikroskop
oder aber auch nur ein zentrales Display welches über dem
OP-Tisch hängt.
-
Die
visuelle Unterstützung
des Chirurgen 13 im OP erfolgt dadurch, dass durch die
Unterstützung (Bild-)Daten
generiert und in das HMD 5 des Chirurgen 13 eingespielt
werden. Die Vorbereitung erfolgt durch medizinisches Personal bzw.
den Chirurgen 13 selbst vor der Operation am OP-Rechner 4.
-
Bei
einfacher gearteten visuellen Unterstützungssystemen, beispielsweise
bei einer differenzierten Datendarstellung ausschließlich auf
unterschiedlichen Monitoren kann eine Koordination der operativen
Eingriffe auf Basis einer Bildnavigation in den vorbereiteten Bildern
(z.B. mit der Maus, über Stimmenerkennungssoftware,
mittels Fußbewegung, etc.)
und Bildanalyse nur sequentiell erfolgen, da der Chirurg während der
Operation die Blickrichtung ändern
muss und dadurch den Operationsbereich aus dem Auge verliert.
-
Eine
visuelle Unterstützung
mit HMD 5 ermöglicht
es dem Chirurgen 13 Daten (Bilddaten, Informationsdaten,
Signale, etc.) in einer Weise darzustellen die seine benötigte Aufmerksamkeit
während der
Operation nicht ablenkt.
-
Derzeit
sieht der Chirurg 13 durch den Einsatz eines HMD 5 über einen
OP-Rechner 4 bzw. über
einen oder mehrere innerhalb oder außerhalb des Operationssaales
verteilte Rechner verfügbare Patientenbilder,
die verhältnismäßig kurz
vor der Operation – unter
Umständen
mit unterschiedlichen Modalitäten 1 – akquiriert
worden sind und möglicherweise
auf dem jeweiligen Rechner (Modalitäten-Rechner, Bildarbeitsplatz-Rechner)
so nachverarbeitet wurden, dass sie dem Chirurgen 13 während der
Operation eine optimale anatomische Orientierung ermöglichen.
Dabei ist es bereits technisch möglich,
mehrere Bilddaten in unterschiedlichen Fenstern nebengeordnet oder überlappend
mit dem HMD 5 darzustellen. Dem Chirurgen 13 stehen
Analysefunktionen und Navigationsmittel zur Verfügung, um die Datendarstellung
auf dem HMD 5 seinen Bedürfnissen optimal anzupassen.
-
Ein
visuelles OP-Unterstützungssystem
mit HMD nach dem Stand der Technik ist grob schematisch in 1A dargestellt. Ein zentraler
OP-Rechner 4 weist zumindest ein sogenanntes Front-End 6 auf (andere
Bezeichnung: Graphische Benutzerschnittstelle, engl.: Graphical-User-Interface,
GUI), über das
im Vorfeld der Operation geladene KIS-Daten (Krankenhaus-Informations-System,
KIS), RIS-Daten (Radiologisches-Informations-System,
RIS) und PACS-Daten (engl. Picture Archiving and Communication System,
PACS) koordiniert und mittels Visualisierungseinrichtung (HMD) 5 der
Koordination entsprechend dargestellt werden. Auch während der Operation
mit unterschiedlichen Modalitäten 1 (CT, MRT,
US) aufgenommene Bilder (Schnittbilder, 3D-Datensätze) können unverändert oder
nachgearbeitet in das (bzw. in ein) Front-End 6 aufgenommen und
in das HMD 5 eingespielt werden. Das Front-End kann als
Rechnereinheit bzw. als konfigurierende Software-Komponente betrachtet
werden, welche die Datendarstellung mittels HMD 5 steuert.
Der OP-Rechner 4 weist ferner ein sogenanntes Back- End 7 auf, über die
der OP-Rechner mit der KIS-, RIS- und PACS-Datenquelle (z.B. Festplatten-Datei,
Datenbank, etc.) verbunden ist und über das sämtliche an der Operation beteiligten
Bilddaten zu Lehr-, Demonstrations-, Dokumentations oder Reproduktionszwecke
archiviert werden. Beteiligte Bilddaten sind Bilder oder Filme aller
im OP befindlichen Videokameras 2 (z.B. Kamera 2 in 1) einschließlich der Video-Brillen-Kamera 3 (HMD-Kamera,
Kamera 1 in 1), sämtliche
während
der Operation aufgenommenen unveränderten und nachgearbeiteten
Modalitäten-Bilder
sowie der gesamte Ablauf der dem Chirurgen während der gesamten Operation mittels
HMD 5 visualisiert worden ist. Auch das Back-End 7 stellt
eine Rechnereinheit dar und kann als Verwaltungseinheit für die angebundenen
Datenquellen betrachtet werden.
-
1B zeigt stark vereinfacht
die Funktionsweise eines HMD-gestützten Visualisierungssystems in
der OP-Chirurgie nach dem Stand der Technik. Relevante Daten (beispielsweise
KIS-, RIS-, PACS-Daten) werden über
das Back-End 7 in das jeweilige Front-End (GUI) 6 geladen
in dem diese dann in einer spezifischen Software-Umgebung visualisiert
werden können.
Welche Daten letztendlich mittels Visualisierungseinrichtung beispielsweise
auf einem HMD dargestellt werden, d.h. welches GUI 6 schließlich aktiv zum
Einsatz kommt, wird vom Chirurgen durch (beispielsweise Maus-basiertes)
Betätigen
eines Umschalters entschieden.
-
Ein
modernes visuelles Unterstützungssystem,
wie es eingangs beschrieben wurde und anhand der 1A und 1B schematisch
dargestellt ist, hat verschiedene Nachteile:
- 1.
Sämtliche
Daten die über
das HMD (im weiteren Verlauf allgemein als Visualisierungseinrichtung
bezeichnet) zur Anzeige gelangen sollen, müssen auf dem OP-Rechner oder
auf einem mit dem OP-Rechner verbundenen Rechner vor oder während der
Operation voraus berechnet, also aufbereitet werden. Die Aufbereitung
betrifft die Auswahl der Daten und damit die Anzahl der anzuzeigenden
Datenfelder, die Anordnungsgröße und Auflösung des
jeweiligen Datenfeldes, usw. Der Chirurg ist – zumindest im Rahmen eines
verhältnismäßig großen Zeitfensters – auf die
auf dem OP-Rechner vorliegenden Informationen beschränkt. Tritt
eine Situation ein die nicht vorhersehbar war, ist es dem Chirurgen
mit einem derzeitigen visuellen Unterstützungssystem nicht möglich auf
der Visualisierungseinrichtung sofort weitere Informationen die
das Back-End bzw. Front-End nicht bereitstellt, visuell angezeigt
zu bekommen. Hinweise von außen – beispielsweise durch
nicht am Standort befindliche, die Operation mitverfolgende Experten-Kollegen – können nur akustisch
oder an einem separaten Monitor vermittelt werden, was den Chirurgen
veranlaßt
seinen Arbeitsablauf zu unterbrechen.
- 2. Es ist derzeit nicht möglich,
eine Echtzeit-basierte Wiedergabe-Zeit-Synchronisation bzw. eine Dokumentations-Synchronisation durchzuführen. D.h.
es ist derzeit nicht gewährleistet,
dass die mittels Visualisierungseinrichtung visualisierten Daten
auch exakt die gleiche physikalische Situation zum aktuellen Zeitpunkt
beschreiben, was ferner dazu führt,
dass die durch das Back-End archivierten Daten nicht zeitlich synchron
dokumentiert werden und damit der tatsächliche Operationsablauf nicht
exakt nachvollzogen werden kann.
Letzteres ist im Falle einer
Operation mit schlechtem Ausgang wichtig, bei der eine Reproduktion des
Operationsverlaufs mit allen dem Chirurgen visualisierten Daten
(Informationen) vor Gericht verwendet werden und den Verantwortlichen
entlasten kann.
- 3. Bei einem derzeitigen visuellen Unterstützungssystem kann es vorkommen,
dass der Chirurg das reale Bild des Operationsbereiches aus den
Augen verliert indem beispielsweise die offene Stelle durch seine
eigenen Hände
bzw. durch seine Instrumente verdeckt wird und er gezwungen ist,
seinen Blick zu wenden und seinen Eingriff nur indirekt auf dem
Monitor über eine
weitere im OP befindliche Kamera zu verfolgen, die für diesen
Fall den besten Blick auf die offene Körperstelle liefert.
- 4. Die Vorausberechnung und Archivierung von Daten derzeitiger
visueller Unterstützungssysteme
stellt aus klinischer Sicht eine redundante Datenhaltung der, da
derzeit jedes Bild komplett (z.B. im DICOM-Format) bzw. der komplette
Film jeder einzelnen Videokamera auf dem OP-Rechner abgespeichert
wird.
- 5. Die auf dem HMD oder einer anderen Visualisierungseinrichtung
zu visualisierenden Daten können
derzeit nur in ihrer jeweiligen Visualisierungssoftware-Umgebung
(d.h. in einem Fenster des jeweiligen Front-Ends) in die Visualisierungseinrichtung
eingespielt werden, was dazu führt, dass
außer
dem jeweils interessierenden Bildes oder Signalverlaufes die entsprechende
graphische Benutzeroberfläche
des jeweiligen Front-Ends mit eingeblendet werden muß und damit
wertvoller Speicherplatz der Visualisierungseinrichtung durch eine
Vielzahl von Elementen (Buttons, Menüleisten, Bildlaufleisten, etc)
belegt wird.
-
Aufgabe
der vorliegenden Erfindung ist es daher, ein System und ein Computersoftwareprodukt zur
visuellen Unterstützung
von Chirurgen im OP zu realisieren, welches die genannten Probleme
umgeht und eine Lösung
bereitstellt, um eine Visualisierungseinrichtungs-Unterstützung situationsgemäß zu gestalten
und Echtzeit-fähig
beeinflussbar zu machen.
-
Diese
Aufgabe wird gemäß der vorliegenden Erfindung
durch die Merkmale des unabhängigen Anspruches
gelöst.
Die abhängigen
Ansprüche
bilden den zentralen Gedanken der Erfindung in besonders vorteilhafter
Weise weiter.
-
Erfindungsgemäß wird ein
System beansprucht zur visuellen Situations-bedingten Echtzeit-basierten
Unterstützung
eines Chirurgen während
einer Operation sowie zur Echtzeit- basierten Dokumentation und Archivierung
der während
der Operation vom Chirurgen visuell wahrgenommenen Unterstützungsgenerierten
Eindrücke,
aufweisend
eine
Visualisierungseinrichtung (z.B. ein HMD) zur Ausgabe von Daten,
eine
an der Visualisierungseinrichtung fixierte erste Videokamera (die
in Blickrichtung bzw. Kopfrichtung des Chirurgen ausgerichtet ist),
zumindest
eine den Operationsbereich aus einem von der Videokamera der Visualisierungseinrichtung verschiedenen
Blickwinkel fokussierende zweite Videokamera (welche die operative
Stelle aus anderer Blickrichtung zeigt),
zumindest eine mit
der Visualisierungseinrichtung, den Videokameras, Operations-Überwachungs-Komponenten
sowie Recheneinrichtungen über
ein medizinisches Informationssystem verbundene zentrale Recheneinheit,
dadurch
gekennzeichnet, dass die zentrale Recheneinheit einen Front-End-Merger
aufweist, der die visuelle Darstellung von Daten der Visualisierungseinrichtung
steuert.
-
Erfindungsgemäß schaltet
der Front-End-Merger im Verdeckungsfall durch Objekte im Sichtfeld
der ersten Kamera auf die zweite Kamera um die den unverdeckten
Operationsbereich erfaßt
und diese Darstellung in Form einer Ausgabe der Visualisierungseinrichtung
erwirkt.
-
Weiterhin
weist die zentrale Recheneinheit oder einer der Recheneinrichtungen
einen Back-End-Merger auf, der relativ zu einer zentralen eindeutigen
Systemzeit den zeitlichen Ablauf der visuellen Darstellung der Daten
durch die Visualisierungseinrichtung zentral und/oder dezentral
archiviert.
-
Erfindungsgemäß erfolgt
eine dezentrale Archivierung auf Basis der Verwaltung von zeitmarkierten
Verweisadressen.
-
Das
erfindungsgemäße System
ist vorteilhaft so ausgestaltet, dass der Back-End-Merger ein Dokumentations-Dokument
erstellt welches die zeitmarkierten Verweisadressen der ausgegebenen
Daten und/oder die zeitmarkierten über die Visualisierungseinrichtung
ausgegebenen Daten selbst enthält.
-
Ferner
bewirkt der Front-End-Merger erfindungsgemäß eine Zeit-synchronisierte
Darstellung der von der Visualisierungseinrichtung ausgegebenen
Daten.
-
Welche
Daten zu welchem Zeitpunkt relativ zur Systemzeit von der Visualisierungseinrichtung ausgegebenen
werden sollen, entscheidet der Front-End-Merger erfindungsgemäß anhand
einer Entscheidungs-Tabelle.
-
Ebenso
nimmt der Front-End-Merger vorteilhaft Einfluss auf die Art der
Darstellung der von der Visualisierungseinrichtung ausgegebenen
Daten.
-
Hierbei
stammen die von der Visualisierungseinrichtung ausgegebenen Daten
erfindungsgemäß
- – von
aktuellen oder archivierten Original- oder nachverarbeiteten Daten
unterschiedlicher Bildgebungsmodalitäten und/oder
- – von
weiteren Operations-Überwachungs-Komponenten
und/oder
- – von
auswärtigen
die Operation beobachtenden Ärzten
bzw. Experten.
-
Die
Visualisierungseinrichtung wiederum ist erfindungsgemäß
- – als
an dem Kopf des Anwenders fixierte Anzeigeeinrichtung und/oder
- – als
fixierter in die Retina des Anwenders Daten-projizierender Laser und/oder
- – als
ein Operationsmikroskop und/oder
- – als
eine über
den OP-Tisch hängende
zentrale Anzeige ausgebildet.
-
Vorteilhafterweise
bewirkt der Front-End-Merger ausschließlich die Anzeige der interessierenden
Daten in Form von Bildern, Signalen, Signalverläufe etc. und unterdrückt die
Anzeige der graphischen Benutzeroberflächen der jeweiligen Bild- bzw.
Signal-erzeugenden graphischen Benutzerschnittstelle.
-
Die
erwähnten
weiteren Operations-Überwachungs-Komponenten
stellen beispielsweise ein EKG-Gerät, ein EEG-Gerät, ein Blutdruck-Meßgerät, ein Laparoskop,
ein Endoskop, eine Atmungs-Überwachungs-Einrichtung,
ein Operationsmikroskop usw. dar.
-
Vorteilhaft
und wesentlicher Bestandteil der Erfindung ist es weiterhin, die
von der Visualisierungseinrichtung ausgegebenen Daten als KIS-Daten,
RIS-Daten, SAP-Daten oder PACS-Daten über ein Informationsnetz abzurufen
und in Echtzeit zur Verfügung
zu stellen.
-
Schließlich wird
erfindungsgemäß ein Computersoftwareprodukt
beansprucht, welches so ausgebildet ist, dass es die Funktionsweise
eines Systems nach einem der vorhergehenden Ansprüche ermöglicht,
wenn es auf einer zentralen Recheneinheit gemäß des ersten Anspruches läuft.
-
Weitere
Vorteile, Merkmale und Eigenschaften der vorliegenden Erfindung
werden im Folgenden anhand von Ausführungsbeispielen bezugnehmend auf
die begleitenden Zeichnungen näher
erläutert.
-
1A zeigt
schematisch die Wechselwirkung der Komponenten eines HMD-gestützten Visualisierungssystems
in der OP-Chirurgie nach dem Stand der Technik,
-
1B zeigt
schematisch die Datenquellen-Anbindung eines HMD-gestützten Visualisierungssystems
in der OP-Chirurgie
nach dem Stand der Technik,
-
2 zeigt
schematisch ein erfindungsgemäßes HMD-gestütztes Visualisierungssystem
in der OP-Chirurgie,
-
3A zeigt
schematisch die Datenquellen-Anbindung eines erfindungsgemäßen HMD-gestützten Visualisierungssystems
in der OP-Chirurgie, und
-
3B zeigt
schematisch die Funktionsweise bzw. die Komponenten-Verknüpfung des
erfindungsgemäßen Visualisierungsystems.
-
Die
vorliegende Erfindung besteht darin, dem Chirurgen im Rahmen eines
visuellen Unterstützungssystems,
wie es in der Beschreibungseinleitung ausführlich beschrieben wurde, einerseits
eine situationsgerechte (Echtzeit-basierte) Daten- bzw. Informationsbereitstellung
zu sichern und andererseits alle abgerufenen bzw. visualisierten
Daten zeitsynchron zu archivieren. Dazu wird der OP-Rechner 4 erfindungsgemäß dahingehend
erweitert, dass zwei neue Schnittstellen 10, 11 geschaffen
werden, über die
der OP-Rechner mit internen und/oder externen Datenquellen und anderen
Daten-beliefernden externen Rechnern online kommuniziert und dadurch
zu einem Echtzeitfähigen
OP-Zentralrechner 9 wird. Weitere Daten-beliefernde externe
Rechner sind beispielsweise PCs oder (Mikro-) Prozessoren von HMDs,
(Video-) Kameras, Modalitäten,
Bildbearbeitungsplätzen
die über
Krankenhaus-interne oder aber auch über weltweite (medizinische)
Netzwerke (KIS, RIS, PACS, Internet usw.) mit dem OP-Rechner – bzw. der
oder die Rechner innerhalb oder außerhalb des Operationssaales,
nunmehr OP-Zentralrechner 9 genannt – verbunden
sind.
-
Die
erste der beiden Schnittstellen dient einer online-basierten Informations-Bereitstellung
mittels einer Visualisierungseinrichtung (HMD) 5 und wird
als "Front-End-Merger" 10 bezeichnet,
da dieses Modul ausschließlich
die aktuellen interessierenden Daten (Bilder, Signale, etc.) unterschiedlicher Front-Ends
(z.B. KIS-Daten GUI 1, RIS-Daten GUI 2, PACS-Daten GUI 3, etc.) auf dem HMD fusioniert bzw.
benachbart oder überlappend
zusammenführt (engl.
Merge = zusammenführen),
wie in den 2, 3A und 3B dargestellt
ist.
-
Die
zweite der beiden Schnittstellen dient einer optimierten zeitsynchronisierten
Dokumentation bzw. Archivierung sämtlicher mittels Visualisierungseinrichtung
(HMD) 5 visualisierten Daten und wird als "Back-End-Merger" 11 bezeichnet,
da dieses Modul dem Back-End 7 vorgeschaltet wird (ebenso
in den 2, 3A und 3B dargestellt).
-
Beide
oben genannten Merkmale (Front-End-Merger und Back-End-Merger) sind rechnerintern – entweder über Back-End 7 oder Front-End 6 oder
aber direkt – miteinander
verbunden, so dass es letztlich an der Software-Architektur des
OP-Zentralrechners 9 liegt,
wie die Eingangsdaten externer Rechner auf beide Schnittstellen
verteilt und rechnerintern bearbeitet werden.
-
Durch
die erfindungsgemäße Konfiguration des
OP-Zentralrechners 9 mittels
Back-End-Merger 11 und Front-End-Merger 10 und deren Netzzugängen 12,
wie sie in 3B dargestellt sind, können Zugangsdaten
entweder während
der Operation von dem Chirurgen 13 selbst bzw. von an der
Operation beteiligtem Personal (Assistent, Anästhesist, MTA, etc.) über den
OP-Zentralrechner 9 angefordert und in die Visualisierungseinrichtung
(HMD) 5 eingespielt werden. Derartige Eingangsdaten sind
beispielsweise (siehe 3B) archivierte KIS-Daten 8,
RIS-Daten 15, PACS-Daten 16, Video-Bilder oder – Filme 17 von
verschiedenen Kameras (beispielsweise von vorangegangenen laparoskopischen
Untersuchungen) oder aber aktuelle Bilder unterschiedlicher Modalitäten 18 (US,
Röntgen-C-Bogen, etc.).
-
Weitere
Eingangsdaten können
Text- und Sound-Daten oder markierte Bilddaten sein, durch die sich
ein die Operation über
Video mitverfolgender auswärtiger
Experte 19 oder beispielsweise ein externes Ärzteteam 20 (Arzt
1, Arzt 2) spontan artikuliert, um dem operierenden Chirurgen 13 über die
Visualisierungseinrichtung (HMD) 5 Hilfestellung zu geben.
-
Eingangsdaten
können
ferner aktuelle wichtige physikalische Werte bzw. Signalverläufe 21 (3B:
Signal 1, Signal 2) der den Patientenzustand überwachenden Geräte darstellen
(Blutdruck, EKG, EEG, Atmung, etc.).
-
Die
erfindungsgemäß erhöhte Zugriffsmöglichkeit
auf diese Fülle
möglicher
Eingangsdaten, deren übersichtliche
zeitsynchronisierte Darstellung mittels Visualisierungseinrichtung
(HMD) 5, sowie eine zeitsynchronisierte Archivierung der
dem Chirurgen 13 während
der Operation tatsächlich
visualisierten Daten, erfordert eine umfangreiche Erweiterung des
Visualisierungsystems bzw. die Implementierung einer Reihe von (Software-)
Komponenten in den OP-Zentralrechner 9, was im Folgenden
ausführlich beschrieben
wird:
- A) Aus dem Pool der verfügbaren Informationen (Daten,
Eingangsdaten) müssen
diese Daten nach medizinischen Aspekten situationsgerecht favorisiert
und mittels Visualisierungseinrichtung (HMD) 5 selektiv
dargestellt werden, einerseits um eine Überfrachtung (engl. Informations
Overload) und damit eine Unübersichtlichkeit
des Bildes der Visualisierungseinrichtung (HMD-Bildes) 22 zu
vermeiden, andererseits um eine optimale, der aktuellen Situation
entsprechende, sinnvolle zeitsynchrone Darstellung hinsichtlich
Anordnung, Größe, Auflösung usw.
zu erzielen.
-
Das
Modul welches dies ermöglicht
ist der Front-End-Merger 10. Der Front-End-Merger 10 trifft eine
Auswahl aus den verfügbaren,
angeforderten oder anstehenden Daten auf Basis einer Entscheidungsmatrix 23 (siehe
Entscheidungstabelle 23 in 3B), die
nach vorbestimmten Regeln eine Priorisierung der Zugriffsreihenfolge
(im Rahmen einer gegebenen Netzwerkbandbreite und Serverperformance)
definiert.
-
Die
Entscheidungsmatrix 23, die den Datenzugriff und damit
die Darstellung durch die Visualisierungseinrichtung (HMD-Darstellung) 22 beeinflußt und regelt,
wird bei der Installation des OP-Zentralrechners 9 vom
Hersteller in Absprache mit dem Anwender (OP-Team) konfiguriert
und ist daher nicht nur abhängig
vom Anwendungsfall (Operationstyp, Art des Eingriffs) sondern kann
durchaus von Krankenhaus zu Krankenhaus bzw. sogar von OP-Team zu
OP-Team variieren da der gleiche operative Eingriff – abhängig von
der zur Verfügung
stehenden Technik und den jeweiligen Erfahrungswerten des OP-Teams – einen
durchaus unterschiedlichen Verlauf nehmen kann. Es kann auch sein,
dass der operierende Chirurg 13 vor eine neue nicht vorhersehbare
Situation gestellt wird (beispielsweise notwendige oder unbeabsichtigte
Verletzung eines Organs oder Blutgefäßes). In einem solchen Fall
ist es notwendig, die Regelbeschreibung Echtzeit-fähig änderbar
zu halten, um dem Chirurgen 13 die Möglichkeit zu geben, beispielsweise
die Ausführungsrechte
zu ändern,
externe Hilfe anzufordern, sich Patientenüberwachungsdaten 21 einblenden
zu lassen, auf eine andere Video-Kamera 2 umzuschalten
usw.
-
Durch
eine derart flexible Ansteuerungsmöglichkeit der Visualisierungseinrichtung
(des HMD's) 5 ist
es nicht nur notwendig seitens des Front-End-Mergers 10 eine
Umgestaltung des Bildes der Visualisierungseinrichtung (des HMD-Bildes) 22 vorzunehmen,
sondern diese neue Bildanordnung neuen Auflösungsanforderungen anzupassen
indem die Zielauflösung
einem Auflösungswandler übergeben wird.
Ein solcher Auflösungsanpassungsalgorithmus kann
vorteilhaft an ein Segmentierungsverfahren gekoppelt sein, welches
gemäß der situationsbedingten Datenanforderung
nur das für
den Chirurgen 13 momentan wichtige Teilsegment (z.B. nur
Blutgefäße oder
ausschließlich
Knochengewebe einer CT-Aufnahme) darstellt.
- B)
Die während
einer visuell unterstützten
Operation auf der Visualisierungseinrichtung (auf dem HMD) 5 eingeblendeten
fusionierten Daten sollen zu Dokumentationszwecken zeitsynchronisiert
archiviert werden.
-
Das
Modul welches dies ermöglicht
ist der Back-End-Merger 11.
-
Der
Back-End-Merger 11 legt im Rahmen eines Archivierungsvorganges
eine Datencontainer-Datei (ein Dokumentations-Dokument) an, welche dokumentiert welcher
Datensatz wann und wie lange während
der Operation mittels HMD 5 visualisiert wurde.
-
Zu
diesem Zweck wird jeder angezeigte Datensatz unter einer Informations-Kennnummer
(engl. Identification-Number, ID) registriert, die mit weiteren zusätzlichen
Attributen versehen und in der Datencontainer-Datei abgespeichert
wird. Derartige Attribute sind ein Zeitstempel der an eine OP-zentrale Uhrzeit
gekoppelt ist und beispielsweise von einem Agenten der Datenquelle
bei der Datenübertragung (engl.
Routing) vergeben wird, sowie ein Attribut ob und wo eine Information
angezeigt wurde (mittels HMD 5 oder an einem anderen Monitor
im OP) und ein Attribut ob, wann und von wem diese Information (dieser
Datensatz) unterdrückt
wurde.
-
Im
Falle einer Operation unter Modalitäteneinsatz können für alle direkt
aus der Modalität 1, 18 kommenden
Datensätze – falls
Erstellungsdatum und Bereitstellungszeit (Sichtungsdatum) gleich
ist – als
Attributeintrag die DICOM-Spezifikationen
verwendet werden. DICOM (engl. Digital Imaging and Communication)
standardisiert die Struktur der Formate und beschreibenden Parameter
für radiologische
Bilder sowie Kommandos zum Austausch dieser Bilder und hat ein Feld
in welches das Erstellungsdatum eingetragen wird. Für Datensätze die aus
dem PACS kommen, gibt es derzeit keine Möglichkeit das Sichtungsdatum
zu registrieren. Bei Datensätzen,
die aus Informationssystemen wie KIS, RIS oder SAP abgerufen werden
besteht die Möglichkeit
den Zeitstempel über
den Prüfpfad
(engl. Audit-Trail) eines weiteren Standards, nämlich HL7, zu vergeben. Ziel
des Patentes ist es auch diesen Zeitstempel mitzuspeichern (in welchem
Format ist dabei nicht wichtig).
-
Die
Information an welchem Monitor oder HMD der jeweilige Datensatz
erschienen ist und ob dieser Datensatz aktiv oder automatisch unterdrückt wurde,
kann derzeit weder in DICOM noch in HL7 abgespeichert werden. Falls
die Attribute (Zeitstempel, Anzeigeort, etc.) nicht in der Datensatz-Datei
(dem Informationsfile) selbst verwaltet werden können, ist es jedoch möglich, diese
in der bereits erwähnten Datencontainer-Datei
abzuspeichern. Es sei erwähnt,
dass eine Attribut-Vergabe ausschließlich über eine Datencontainer-Datei
durch eine mögliche Erweiterung
der System-Standards (DICOM, HL7, etc.) umgangen werden kann. Sinnvoll
ist es auch Speicher-Redundanz dadurch zu vermeiden, dass die Datencontainer-Datei
nur Verweise (bzw. Verweisadressen, engl.: links) enthält (welcher
Datensatz wann und wo visualisiert wurde), der Datensatz selbst
also nicht ein zweites Mal abgespeichert wird sondern in sämtlichen
Informations-Systemen einzigartig ist.
-
Ebenfalls
aus Archivierungsplatzgründen aber
auch aus Übersichtsgründen wird
erfindungsgemäß durch
den Front-End-Merger 10 und den Back-End-Merger 11,
bzw. durch eine Kombination der beiden, ein Automatismus realisiert,
um aus den Videoströmen
mehrerer Videokameras ein einziges Video zu erzeugen welches letztendlich
archiviert wird. Die Logik der Auswahl zwischen den verschiedenen
Videoströmen
wird erfindungsgemäß so gestaltet,
dass das archivierte Video vorwiegend den unverdeckten Blick des
Chirurgen 13 aufzeigt.
-
Wird
die offene Körperstelle
durch die Hände des
Chirurgen 13 oder durch ein Instrument verdeckt (Verdeckungssituation),
so wird unter Einbeziehung von festgelegten Regeln eine für den Betrachter
beste Sicht generiert und diese in seine Visuali sierungseinrichtung
(HMD) 5 eingespielt. Im Rahmen der vorliegenden Erfindung
werden diese Regeln operationsspezifisch, bzw. bezogen auf das die
Operation durchführende
Team, festgelegt.
-
Anhand
zweier Fallbeispiele, wie sie im OP tatsächlich auftreten können, soll
erläutert
werden, wie das erfindungsgemäße System
in Wechselwirkung mit den an der Operation beteiligten Personen reagiert
(siehe 3B):
Fall 1: In einer OP-Situation
wird dem Chirurgen 13 die Sicht auf die offene Stelle durch
seine eigenen Hände
verdeckt. Automatisch erscheint in seiner Visualisierungseinrichtung
(HMD) 5 ein Bild 24 von einer Kamera (Video 1),
die für
diesen Fall den besten Blick auf die offene Körperstelle liefert. Während er sich
mit Hilfe des Videobildes 24 (Video 1) im offenen Körperbereich
orientiert, bekommt er in der Visualisierungseinrichtung (im HMD) 5 (beispielsweise
in der oberen linken Display-Ecke 25, RIS) über das
radiologische Informationssystem zusätzlich die von einer CT-Aufnahme
stammenden Schnittbilder geliefert. Die Schnittbilder sind beispielsweise
zu der Spitze seines Skalpells ausgerichtet. Somit verfolgt er seinen
Eingriff in 3D ohne jedoch das reale Bild aus den Augen zu verlieren.
Ferner erscheinen auf der rechten Seite des HMD vertikal angeordnet
Meßwerte
des Patienten 21 (Signal 1: EKG, Signal 2: Blutdruck) die
seinen korrekten Eingriff bestätigen.
-
Fall
2: Nach der Operation wird in einer Sitzung des OP-Teams die Informationsversorgung während der
Operation kritisch diskutiert. Hierzu werden alle auf HMD 5,
Monitoren und Gerätedisplays dargestellten
Daten (Informationen) diskutiert die vorlagen, als die Pulsschlag-Frequenz
des Patienten 14 bei Minute 10.01 nach Operationsbeginn
enorm anstieg. Eine Intervention des Chirurgen 13 konnte bei
Minute 23.05 den Normalzustand des Patienten 14 wieder
herstellen. Das Dokumentationssystem liefert dazu alle Daten (Informationen)
von Minute 10.01 zu Minute 23.05. Die Daten werden auf Monitoren dargestellt
und zwar so wie sie vom Chirurgen 13 während der Operation über dessen
Visualisierungseinrichtung (HMD) 5 wahrgenommen wurden.
Des weiteren zeigt das System – unter
Umständen über mehrere
Monitore verteilt – alle
Daten an, die zu diesem Zeitpunkt bzw. während dieses kritischen Zeitfensters
verfügbar
waren. Daraufhin verändert
das OP-Team die Regeln (Entscheidungsmatrix 23) des HMD-Automatismus
derart, dass bei zukünftigen Operationen
dieser Art zusätzlich
die EKG-Werte in einem
Teilbereich des HMD erscheinen, wenn der Arzt das Skalpell in der
rechten Hand hält.
-
In 3B ist
dargestellt, dass der OP-Zentralrechner 9 nur mit Daten
versorgt wird, die auch mittels Visualisierungseinrichtung (HMD)
visualisiert werden können
(KIS-, RIS-, PACS-Daten,
Video, Modalitäten,
Experte). Einem sogenannten Expertensystem (Entscheidungssystem,
Regel-Logik) im OP-Zentralrechner 9 liegt
eine Entscheidungstabelle 23 zugrunde, die abhängig vom
OP-Team (engl. User-Profile) sowie vom Operationstyp Entscheidungsregeln
beinhaltet, nach welchen die Datenvisualisierung mittels Visualisierungseinrichtung
(HMD) 5 erfolgt. Die Entscheidungstabelle 23 kann
interaktiv während
der Operation geändert
werden. Auch hierzu gibt es eine Prioritätstabelle 20, die
unerwarteten Eingabedaten (beispielsweise spontanen Ratschlägen über Video
zugeschalteter externer Ärzte)
eine Rangordnung zuteilt: Arzt 1 hat erste Priorität, Arzt 2 hat
dritte Priorität,
usw. Ferner ist in 3B gezeigt, dass erst die im
OP-Zentralrechner 9 bereitgestellten erfindungsgemäßen Komponenten
Back-End-Merger 11 und Front-End-Merger 10 eine
Echtzeit-fähige Kombination
zwischen HMD 5 und der über
Netz 12 verfügbaren
Daten 15 bis 19 ermöglichen. Durch sie steuert
der OP-Zentralrechner 9 nicht nur die Visualisierung (Datenanordnung
durch das HMD 5 in geeigneter Auflösung), wertet unerwartete Eingabedaten aus
und beeinflußt
die Entscheidungsmatrix 23, sondern zeigt nur synchronisierte
Daten an indem er bei allen Datensätzen die Zeitstempel vergleicht.
Falls beispielsweise ein Ultraschall video nicht synchron zu dem
EKG-Verlauf einhergeht, erfolgt durch Auswertung der Erstellungszeiten
eine Synchronisierung. Bei Verwendung des bereits existierenden
Synchronisations-Standard
CCOW, der sich um Synchronisation zwischen unterschiedlichen Anwendungen
auf einem (Bild-)Arbeitsplatz (engl.: Workplace) bemüht, müssen allerdings
die Aspekte der oben erwähnten Dokumentations-Synchronisation
und Wiedergabe-Zeit-Synchronisation
mit aufgenommen werden.
-
Die
Kenntnis der Erstellungszeiten basiert auf einer geeigneten Agentensoftware
die in den den OP-Zentralrechner 9 beliefernden Rechnern (Quell-Rechnern) 8, 15 bis 19 oder
Geräteprozessoren
implementiert ist und dem OP-Zentralrechner 9 mitteilt
ob und wann eine Information übergeben
werden soll, wodurch ebenso die erforderliche Rechnerleistung und
Netzwerk-Übertragungsrate
verfügbar gehalten
wird. Die Agentensoftware jedes Quell-Rechners 8, 15 bis 19 hat
Kenntnis von den Grenzwerten der Entscheidungstabelle 23 und
sendet aktuelle Daten nur dann an den OP-Zentralrechner 9,
wenn diese Daten im Rahmen der Entscheidungsregeln relevant sind
oder relevant werden. Dazu stellen die Agenten der Quell-Rechner
eine Netzwerkverbindung her 12 (engl. Routing) und übertragen
nur die Daten, die aufgrund der Entscheidungstabelle angefordert
werden. Die Mitteilung, um welche Signale es sich handelt, liefert
der OP-Zentralrechner 9 im entscheidenden Moment an den
Agenten des jeweiligen Quell-Rechners 8, 15 bis 19.
-
In 3A ist
die erfinderische Funktionsweise bzw. eine mögliche erfinderische Komponenten-Verknüpfung des
erfindungsgemäßen Visualisierungsystems
nochmals in einer Übersicht
dargestellt:
Back-End-Merger 11 und Front-End-Merger 10 sind beispielsweise über das
Back-End 7 miteinander verbunden. Das Back-End 7 wie
auch der Back-End-Merger hat – z.B. über Netzwerke 12 – Zugriff
auf KIS-, RIS- und PACS-Daten die – bei Anforderung – mittels
spezifischer Front-Ends aufbereitet und dementspre chend im Rahmen
unterschiedlicher GUI's
(GUI 1, GUI 2, GUI 3) in Echtzeit bereitgestellt werden. Der Front-End-Merger 10 exportiert
die Bilder und Signalverläufe
der GUI's auf Basis
einer Entscheidungs-Tabelle bzw. auf Basis eines Regelwerks und
fusioniert diese nebengeordnet und/oder überlappend auf einer Visualisierungseinrichtung
(einem HMD) 5. Der Back-End-Merger erstellt ein Dokumentations-Dokument
in dem sämtliche
Verweisadressen (links) mit Zeitstempel der tatsächlich visualisierten Daten
der Visualisierungseinrichtung (HMD-Daten) archiviert sind und somit
die tatsächlich
erfolgte Visualisierung auf Basis des Dokumentations-Dokument zu
einem beliebigem späteren
Zeitpunkt exakt nachvollzogen werden kann.
-
Zusammengefasst
weist das erfindungsgemäße visuelle
Unterstützungssystem
folgende Vorteile auf:
- – Durch die Möglichkeit
während
der Operation beliebige (nicht eigens vorbereitete) Daten abrufen
und optimal darstellen zu können
(engl. Information on demand), wird die Qualität der Operation verbessert.
- – Eine
zeitsynchronisierte Dokumentation der gesamten Operation wird ermöglicht.
- – Der
Inhalt der dokumentierten Daten wird dadurch verbessert bzw. optimiert,
dass die Video-Abschnitte verschiedener Kameras selektiert werden.
- – Die
Videodaten der Kameras können
gemeinsam mit KIS-, RIS-, PACS-, SAP-Daten in einem gemeinsamen
Archiv archiviert werden.
- – Durch
Archivierung von Verweisadressen (engl. Links) in Container-Dateien
sind weniger zu archivierende Daten notwendig.
- – Da
Daten (Informationen) nur situationsbedingt angezeigt werden, ist
die Netzwerkbelastung im medizinischen (OP-) Netzwerk vergleichsweise gering.