DE102012025374A1

DE102012025374A1 - Augmented-Reality-System (Erweiterte Realität) durch direkte Bildprojektion für computergestützte und bildgeführte Neurochirurgie

Info

Publication number: DE102012025374A1
Application number: DE201210025374
Authority: DE
Inventors: Leila Besharati Tabrizi; Mehran Mahvash Mohammadi
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2014-07-17

Abstract

Zur Durchführung vieler Gehirnoperationen wird ein Neuronavigationssystem eingesetzt, wobei die praeoperative MRT und/oder CT Schichtaufnahmen mit dem Patienten registriert werden. Ein Problem des Navigationssystems mit Bildschirm besteht darin, dass der Operateur auf dem Bildschirm schauen und damit vom Operationsfeld wegschauen muss. Ein anderes Problem ist die Tatsache, dass die MRT und/oder CT Bilder mit der Lokalisation der Läsion Computer berechnete Schichtaufnahmen (2D Bild) in 3 Ebenen sind und ganz anders aussehen als die „Realität” des Patientenkopfes („3D Bild”) und dessen Oberfläche. Durch die vorgelegte Erfindung wird ein virtuelles durch Computer angefertigtes Bild, rekonstruiert aus den MRT und/oder CT Daten, mit der genauen Lokalisation der Läsion, im Sinne eines Systems der erweiterten Realität, direkt in das Operationsfeld projiziert. Das virtuelle Bild kann die Darstellung der Kopfoberfläche, der Gehirnoberfläche, funktionelle Areale, Hirngefäße, Hirnnerven und den segmentierten Bereich der Läsion enthalten. Die Projektion erfolgt durch einen Projektor, wobei das virtuelle Bild mit der Realität registriert wird. Die direkte Projektion des Bildes zeigt genau die Lokalisation der Läsion wie z. B. ein Hirntumor und ermöglicht die Planung des Hautschnitts, der Kraniotomie sowie Zugang ins Gehirn. Dadurch kann der Operateur durch den Blick auf dem Kopf des Patienten eine erweiterte Realität sehen, die sämtliche Information aus den MRT und/oder CT Daten beinhalten kann. Anwendungsgebiet ist die computergestützte und bildgeführte Chirurgie (Image Guided Surgery), insbesondere, jedoch nicht ausschließlich, der Neurochirurgie, wobei mit einem Augmented Reality System für Operationen die relevanten Strukturen visualisiert werden um eine navigierte Operation zu ermöglichen.

Description

Technisches Gebiet
Die Erfindung gehört zum technischen Gebiet der computergestützten und bildgeführten Chirurgie (Image Guided Surgery), insbesondere, jedoch nicht ausschliesslich, der Neurochirurgie, wobei mit einem Augmented Reality System für Operationen die relevanten Strukturen visualisiert werden um eine navigierte Operation zu ermöglichen.
Stand der Technik
Bei neurochirurgischen Erkrankungen wie Hirntumore, Epilepsie, Gefäßmissbildungen usw. werden vor der Operation unter anderem MRT und/oder CT Untersuchungen durchgeführt um in diesen Schichtaufnahmen die pathologische Läsion in drei Ebenen zu lokalisieren. Zusätzlich können mit Hilfe der MRT anatomische und funktionelle Strukturen identifiziert werden. Zur Durchführung vieler Gehirnoperationen wird ein Neuronavigationssystem eingesetzt, mit dem diese praeoperative Bilder mit dem Patienten registriert werden. Dies geschieht in der Regel durch Referenzmarker, die auf dem Kopf des Patienten angebracht werden um eine Punkt zu Punkt Registrierung zu ermöglichen. Durch die Registrierung wird das Koordinatensystem der Bilder in dem Koordinatensystem des Patienten integriert, sodass das System den Patienten im Raum erkennen kann und mit den praeoperativen Bildern während der Operation navigiert werden kann. Durch die Navigation kann die Läsion intraoperativ lokalisiert werden und die Operation geplant werden.
Zusätzlich wurden zu besseren Orientierung und Lokalisation der Hirnläsionen in einigen Studien Augmented Reality Systeme für bildgeführte Chirurgie entwickelt. Augmented Reality Systeme sind Systeme, die dem Benutzer ermöglichen ein virtuelles Bild in einer realen Umgebung zu sehen. Das resultierende Bild ist eine Kombination des realen und virtuellen Bildes in Echtzeit. Augmented-Reality-Systeme sind in verschiedenen Arten, als ein optisches oder ein Video basiertes System mit Head-Mounted Display (HMD) verfügbar. Darüber hinaus wurden Head-up-Displays und Monitor-basierte Konfigurationen für verschiedene technische Bereiche sowie für bildgeführte Chirurgie entwickelt.
Mängel des Stands der Technik
Eine Problem des Navigationssystems mit Bildschirm besteht darin, dass der Operateur während der Verwendung des Navigationssystems im Operationssaal auf dem Bildschirm des Navigationssystems schauen muss und damit vom Operationsfeld wegschauen muss. Bei Planung der Operation vor dem Hautschnitt bei Gehirnoperationen trifft dies gleichermaßen zu. Hierzu ist eine Unterbrechung der Operation notwendig, da der Operateur nicht auf dem OP Bereich schaut. Zusätzlich kann der Operateur den Touch Screen Bildschirm entweder nicht selbst bedienen, da er steril am OP Tisch stehen muss oder, wenn der Bildschirm steril abgedeckt ist, ist es durch die Abdeckung mühsam bestimmte Funktionen wie Kontrast und Farbeinstellung, Visualisierung von segmentierten Strukturen, Zoom Funktion usw. zu bedienen. Meistens ist eine zusätzliche Hilfe von einem Assistenzarzt oder OP Pfleger notwendig.
Ein anderes Problem ist die Tatsache, dass die MRT und/oder CT Bilder mit der Lokalisation der Läsion Computer berechnete Schichtaufnahmen (2D Bild) in 3 Ebenen sind und ganz anders aussehen als die „Realität” des Patientenkopfes („3D Bild”) und dessen Oberfläche. Hier ist ein Denkprozess durch den Operateur notwendig, indem er die registrierten Bilder vom Navigationsbildschirm auf den Patientenkopf mental übertragen muss.
Augmented Reality Systeme mit Head-Mounted Display (HMD) wurden in der bildgeführten Chirurgie beschrieben. Der Nachteil dieser Systemen ist die Abhängigkeit an speziellem Hardware (HMD), die teuer und unpraktisch für die routinemäßige klinische Anwendung sein können. Während der Operation muss der Operateur ein Head-Mounted Display auf sein Kopf tragen, wobei dadurch die gleichzeitige Verwendung des OP Mikroskops nicht möglich ist. Bei vielen mikrochirurgischen Operationen in der Neurochirurgie ist jedoch der Einsatz des Mikroskops unersetzlich.
Erfindung und Verbesserung des bekannten Standes der Technik
Durch die vorgelegte Erfindung wird ein virtuelles durch Computer angefertigtes Bild, rekonstruiert aus den MRT und/oder CT Daten, mit der genauen Lokalisation der Läsion, im Sinne eines Systems der erweiterten Realität, direkt in das Operationsfeld projiziert (1). Das virtuelle Bild kann die Darstellung der Kopfoberfläche, der Gehirnoberfläche, funktionelle Areale, Hirngefäße, Hirnnerven und den segmentierten Bereich der Läsion enthalten. Die Projektion erfolgt durch ein optisches gerät wie ein Projektor, wobei das virtuelle Bild mit der Realität also mit dem Patientenkopf registriert wird. Der Kopf des Patienten stellt die Projektionswand der Projektion dar. Die direkte Projektion des Bildes nach der Registrierung zeigt genau die Lokalisation der Läsion wie z. B. ein Hirntumor und ermöglicht dadurch die Planung des Hautschnitts, der Kraniotomie sowie Zugang ins Gehirn. Die Projektion erfolgt ebenfalls auf die Hirnoberfläche um den Zugang zu planen. Dadurch kann der Operateur durch den Blick auf dem Kopf des Patienten eine erweiterte Realität sehen, die sämtliche Information aus den MRT und/oder CT Daten beinhalten kann. Es ist nicht mehr notwendig auf ein Bildschirm zu schauen und damit vom OP Feld wegzuschauen um die Informationen aus den MRT und/oder CT Bildern zu verwerten. Durch eine Interface Anwendung kann das Projektionsbild verändert werden und mit zusätzlichen Informationen versehen werden. Mit dem Projektor können zusätzliche optische Geräte kombiniert werden. Eine Video Kamera in der Position des Projektors kann die visualisierte Augmented Reality Umgebung aufnehmen und für die weitere Verarbeitung in der Interface Anwendung bereitstellen.
Ausführungsbeispiel
Ein Ausführungsbeispiel der Erfindung kann wie folgt durchgeführt werden. Durch spezielles Software wird zunächst aus einem MRT Datensatz (mit Referenzmarker) ein 3D Model vom Kopf und Gehirn konstruiert. Der Hirntumor kann durch ein Software im Koordinatensystem des MRT Datensatzes segmentiert und auf dem MRT basierten 3D Model der Kopf- und Hirnoberfläche dargestellt werden. Zusätzlich können funktionelle Bereich anatomisch oder mit Hilfe der funktionellen MRT identifiziert und ebenfalls segmentiert werden. Zusätzlich können abhängig von der Operation Hirngefäße in MRA oder CTA segmentiert werden. Alternativ kann ein digitales Photo des Patientenkopfes oder der Hirnoberfläche verwendet werden, wobei die genannten Informationen auf das digitale Photo genau übertragen werden. Die genannten Schritte sind ohne Weiteres technisch möglich um mit Hilfe des Computers das virtuelle Bild, das projiziert werden soll, herzustellen. Nun wird ein Videoprojektor an den Computer angeschlossen. Das virtuelle Bild wird direkt auf den Kopf projiziert. Die Größe wird angepasst. Die Registrierung kann durch einen Punkt zu Punkt Registrierung durch Referenzmarker, die gleiche Punkte auf dem Kopf und im virtuellen Bild darstellen, genau erfolgen. Auf den Kopf des Patienten sieht man direkt die Ausdehnung des Hirntumors durch die direkte Projektion, Darstellung der konstruierten Hirnoberfläche und nach Bedarf weiter genannten Informationen wie funktionelle Bereiche. Der Operateur sieht eine verbesserte erweitere Realität mit den wichtigen Informationen, die er zur Planung und Durchführung der Operation benötigt (1).
Vorteile
Die Vorteile der Erfindung sind direkte Visualisierung von wichtigen Informationen, die für die Operation notwendig sind, direkt im Operationsfeld, also in der realen Umgebung. Die Orientierung und die Genauigkeit der Planung wird verbessert. Die wichtigen Informationen sind schneller mit einer genauen räumlichen Zuordnung abrufbar. Ein Wegschauen vom OP Feld wird unnötig. Durch die Projektion direkt auf die Hirnoberfläche wird die Ausdehnung von Hirntumoren direkt und genau visualisiert, insbesondere Hirntumore, die auf der Hirnoberfläche nicht zu sehen sind und sich unterhalb der Hirnrinde versteckt befinden. Der Hautschnitt und die Kraniotomie wird so klein wie nötig maßgeschneidert geplant. Die funktionellen Areale werden direkt visualisiert und bei der Operation geschont. Durch Darstellung der Hirngefäße werden diese geschont. Es wird ebenfalls möglich neben Hirntumoren, Gefäßmißbildungen wie Aneurysmen darzustellen und den Zugang genau zu planen. Bei epilepsiechirurgischen Eingriffen wird die epileptogene Zone auf dem virtuellen Bild festgelegt und geplant und durch die direkte Visualisierung auf der Hirnoberfläche während der OP dargestellt. Die Genauigkeit einer Operation wird dadurch erhöht.
Die Erfindung beschreibende 1 zeigt die Schematische Darstellung des Augmented-Reality Systems. (a) Praeoperative oder intraoperative Bildgebung (MRT, CT, fMRT, PET, Angiographie, Röntgen usw.), (b) Projektionsbild mit den nutzbaren Informationen über pathologische und anatomische Strukturen mit Referenzmarkern, (c) Computer mit Software und Interface Anwendung, (d) Interface Anwendung zur Bildverarbeitung und OP Planung, (e) Memory Funktion der Vorrichtung der Halterung der optischen Vorrichtungen, (f) Mechanische Halterung der optischen Vorrichtungen, (g) Optische Vorrichtung für die Bildprojektion (Projektor), (h) Optische Vorrichtung zur Aufnahme der Augmented Reality Umgebung (Kamera), (i) Reales Operationsfeld, (j) Direkte Projektion des Projektionsbildes auf das reale Operationsfeld mit der genauen Lokalisation des Tumor und anatomischer Strukturen nach Registrierung mit Referenzmarkern, (k) Integration des Augmented Reality Systems in den Navigationssystemen, (m) Integration des Augmented Reality Systems in dem Operationsmikroskop und intraoperativen Endoskop.

Claims

Ein Augmented-Reality System (Erweiterte Realität) zur computergestützten und bildgeführten (Navigation) Planung und Durchführung chirurgischer Eingriffe, insbesondere, jedoch nicht ausschliesslich, in der Neurochirurgie, dadurch gekennzeichnet, dass die nutzbaren Informationen der praeoperativen oder intraoperativen Bildgebung (MRT, CT, fMRT, PET, Angiographie, Röntgen usw.) (a), unter anderem die genaue Abgrenzung der pathologischen Region oder Läsion, anatomische Strukturen, Gefäße, funktionelle Bereiche, als mindestens ein Projektionsbild (b) mit mindestens einem optischen Gerät (Projektor) (g) direkt auf das Operationsgebiet (i) projiziert und mit dem räumlichen Koordinatensystem des Patienten registriert wird und dadurch für eine bildgeführte Planung, Durchführung und Kontrolle der Operation benutzt wird (j).
Ein System nach Anspruch 1, dadurch gekennzeichnet, dass eine pathologische Region oder Läsion genau im Bezug zum Koordinatensystem der praeoperativen Bildgebung im Computer (c) mit Hilfe einer Software segmentiert wird (b) und nach Registrierung auf das reale Operationsfeld (i) projiziert wird (j), wobei die visualisierte Augmented Reality Umgebung mit mindestens einem zusätzlichen optischen Gerät (Kamera) (h) aufgenommen wird und für eine Bearbeitung in der Interface Anwendung (d) bereitgestellt wird.
Ein System nach Anspruch 1 und 2, dadurch gekennzeichnet, dass eine Interface Anwendung (d) mit Softwarefunktionen zusätzliche Markierungen oder Veränderungen des Projektionsbildes ermöglicht, sowie Vorschläge für die Planung und Durchführung der Operation in der Interface Anwendung vorgegeben und visualisiert werden und als Projektionsbild im Sinne der erweiterten Realität auf die reale Umgebung projiziert werden (j).
Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die Projektionsbilder in dem Operationsmikroskop intraoperativ (m) oder in endoskopischen Vorrichtungen (m) sowie in den bestehenden Navigationssystemen (k) integriert und registriert werden und für eine gleichzeitige Visualisierung benutzt werden.
Ein System nach Anspruch 1, dadurch gekennzeichnet, dass für die Registrierung des Projektionsbildes mit dem Patienten eine Punkt zu Punkt Registrierung, auch durch Referenzmarker (b) (j), und/oder eine Oberflächenregistrierung benutzt wird und die Registrierung in der Interface Anwendung (d) gespeichert wird.
Ein System nach Anspruch 1 und 5, dadurch gekennzeichnet, dass die optischen Vorrichtungen (Projektor, Kamera) in einer mechanischen Halterung (f) befestigt sind, wobei diese flexibel sein kann und eine „Memory” Funktion (e) besitzt, dadurch, dass die Position der Halterung und der optischen Vorrichtungen im Raum, auch über eine Interface Anwendung, im Computer gespeichert werden und die optischen Vorrichtungen, auch nach deren Bewegung, beliebig häufig mit der Memory Funktion gesteuert werden, und mit der gespeicherten Registrierung das Projektionsbild eingesetzt wird.
Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die direkte Projektion von mindestens einem Projektionsbild (b) im Augmented Reality System in allen chirurgischen Gebieten eingesetzt wird.
Ein System nach Anspruch 1, dadurch gekennzeichnet, dass ein einheitliches Gerät hergestellt wird, in dem alle Komponenten dieses Augmented Reality Systems, aber nicht ausschliesslich nur diese Komponenten, integriert sind und benutzt werden: – Software und Interface zur Konstruktion und Herstellung eines Projektionsbildes (c) (b) – Vorrichtung zur Feststellung des Koordinatensystems des Patienten im Raum – Mindestens eine optische Vorrichtung zur Projektion von mindestens einem Projektionsbild (g) – Mechanische Halterung der optischen Vorrichtungen mit Memory Funktion (e) (f) – Registrierung der Projektionsbilder mit dem Patienten (j) – Interface Anwendung mit Möglichkeit der Bildverarbeitung (d) – Mindestens eine optische Vorrichtung zur Erfassung und Aufnahme der Augmented Reality Umgebung (h) – Vorrichtung zur erneuten Registrierung während der Operation.
Ein System nach Anspruch 1, dadurch gekennzeichnet, dass dieses System nicht nur für Operationen, sondern auch für die Simulation von Operationen als eine virtuelle Trainingsumgebung, sowie für Lernprogramme zum räumlichen Lernen der anatomischen Verhältnisse und pathologischen Strukturen genutzt wird (j).
Ein System nach Anspruch 1 dadurch gekennzeichnet, dass dieses System mit einem Roboterarm computergestützt verbunden und registriert wird und über eine Interface Anwendung und unter Verwendung des Systems gesteuert wird und dadurch die direkte Bildprojektion für eine robotergeführte Operationen genutzt wird.