-
Die
vorliegende Erfindung betrifft ein Verfahren zur intraoperativen
Registrierung intraoperativer Bilddatensätze mit präoperativen 3D-Bilddatensätzen. Dabei
bezieht sich die vorliegende Erfindung insbesondere auf ein Verfahren,
welches auf schneller optischer Oberflächenerkennung basiert.
-
In
der medizinischen Bildgebung stellt sich (häufig) das Problem, eine schnelle
aber dennoch exakte Registrierung intraoperativer Bilddatensätze mit präoperativen
3D-Bilddatensätzen
vornehmen zu müssen,
und zwar aus verschiedenen Gründen:
- 1. Intraoperative Bilddatensätze, die
als so genannte Echtzeitbilder während
einer Intervention üblicherweise
mit Hilfe fluoroskopischer Durchleuchtung gewonnen werden, dienen
in erster Linie zur Navigation von chirurgischen Instrumenten (z.B.
in Kopf oder Herz). Derartige fluoroskopische 2D-Bilder (beispielsweise
aufgenommen mit einem C-Bogen) sind schnell verfügbar, die Aufnahmetechnik minimiert
die Strahlenbelastung für
Patient und Arzt. Interventionelle Vorrichtungen (Operationsinstrumente,
Katheter, Führungsdrähte usw.)
werden hochaufgelöst
in Quasi-Echtzeit abgebildet. Allerdings zeigen solche Durchleuchtungsbilder – verglichen
mit Bildern von 3D-Bildgebungsmodalitäten (z.B.
CT, MRT, 3D-Angio) – keine
räumlichen
Details. Im Stand der Technik wird die räumliche Information dadurch
zurückgewonnen,
dass präoperativ
aufgenommene 3D-Bilder (beispielsweise aus einer CT-, 3D-Angio-
oder MR-Tomographie) mit den zweidimensionalen intraoperativen Durchleuchtungsbildern
registriert und diesen unterlegt werden, was auch als Co-Registrierung
bezeichnet wird. Bei einer solchen Registrierung muss bestimmt werden,
aus welcher Richtung ein 3D-Volumen projiziert werden muss, damit
es mit dem intraoperativen 2D-Bild zur Deckung gebracht werden kann.
- 2. Intraoperative Bilddatensätze
können
auch funktionelle nuklearmedizinische 3D-Bilddaten sein (z.B. PET-
oder SPECT-Bilder),
die eine Beschreibung Stoffwechselbasierter (metabolischer) Funktionen
bzw. Prozesse des Körpers
liefern. Solche Bilddaten werden unter anderem dazu verwendet, anatomische
Regionen, die abnormen Stoffwechsel (Metabolismus) aufweisen, wie
z.B. Tumore, zu visualisieren und deren Größe und Aktivität zu bestimmen.
Allerdings geben diese funktionellen 3D-Bilder wenig Aufschluss über die Patientenanatomie,
in der die pathogene Region (z.B. der Tumor) eingebettet ist, was
bei ausschließlicher
Verwendung solcher funktionalen (funktionellen) Bilddaten hinsichtlich
Diagnostik, Therapieplanung und Therapie problematisch ist, zumal
auch die räumliche
Auflösung
dieser Bilddaten stark begrenzt ist. So ist es schwierig, einen Tumor
unter alleiniger Verwendung von nuklearmedizinischen 3D-Bilddaten
(SPECT, PET) exakt zu lokalisieren, da in diesen die exakte räumliche Relation
zur Patienten-Anatomie fehlt. Allerdings kann diese räumliche
Relation auch wieder durch Registrierung (und Fusion) der funktionellen 3D-Bilddaten mit hochaufgelösten morphologischen
3D-Bilddaten hergestellt werden.
-
Das
Problem aus medizinisch technischer Sicht – bei 2D-Durchleuchtungsbildern
genauso wie bei funktionalen 3D-Bildern – besteht in der Registrierung
mit den hochaufgelösten
morphologischen 3D-Bildern. Hierfür gibt es nach dem Stand der
Technik verschiedene Ansätze,
die beispielsweise auf Benutzerinteraktion (Setzen von Landmarken
in beiden Bildern) oder etwa dem Minimieren von Intensitätsunterschieden
beruhen.
-
Insbesondere
das Problem der Registrierung von funktionalen 3D-Bilddaten mit
morphologischen 3D-Bilddaten wird derzeit auf verschiedene Weise gelöst:
- A) Die so genannte "Multi-Modality-3D-3D-Registrierung" kombiniert komplementäre Information, die
von verschiedenen Bildgebungsmodalitäten generiert wurde. So kann
beispielswei se anatomische Information von CT-, MR-, C-Bogen-Rotations-Angiographie- oder
3D-Ultraschall-Bilddaten mit funktionaler Information von fMRI-,
PET-, SPECT-Bilddaten oder von funktionellen Mapping-Modalitäten, wie
EEG oder MEG, kombiniert werden.
- B) Funktionelle und morphologische Bilddaten können (ebenfalls)
mit Hilfe Landmarken-basierter (feature-basierter) oder Bildbasierter
Registrierungsalgorithmen fusioniert werden, wobei dabei eine Software-Implementierung
von speziellen Algorithmen zugrunde gelegt wird.
Eine solche
Software-basierte Registrierung arbeitet nur dann zuverlässig, wenn
bezüglich
funktioneller und morphologischer Bilddaten genügend gemeinsame Bildinformation
vorhanden ist, was nicht immer der Fall ist. Zwar ist die Performanz
dieser Software-Registrierung für
diagnostische Anwendungen in der Regel befriedigend, eine Steigerung
wäre jedoch
wünschenswert.
Es sei auch erwähnt,
dass die Genauigkeit des individuellen Registrierungsergebnisses
im Einzelfall nicht quantitativ erfasst, sondern meist nur visuell beurteilt
werden kann, da das tatsächlich
gewünschte
Ergebnis a priori unbekannt ist.
- C) Um die Problematik des Lösungsansatzes
B) zu entschärfen
und um Verbesserungen bezüglich
des bildgebenden klinischen Arbeitsablaufes (engl. Workflow) zu
erreichen, sind mittlerweile Kombinationen von anatomischen Bildgebungsmodalitäten und
funktionellen Bildgebungsmodalitäten
kommerziell verfügbar:
z.B.
das "CT-PET Biograph-System" oder das "CT-SPECT Symbia-System" von Siemens.
-
Generell
vereinfacht sich die Aufgabenstellung der Registrierung bzw. der überlagerten
Darstellung (Fusion) von anatomischen und funktionellen 3D-Bilddaten
durch eine solche Modalitäten-Kombination
erheblich. Allerdings sind die Anschaf fungskosten für eine Modalitäten-Kombination
extrem hoch und zudem ist es derzeit nicht möglich, ausgefallenere aber
dennoch sinnvolle und gewünschte Kombinationen
(z.B. PET + MRT, SPECT + MRT, Ultraschall-Doppler + MRT, MEG + MRT
usw.) zu erwerben.
-
Nachteil
der bestehenden Verfahren ist einerseits eine gewisse nicht zu tolerierende
Ungenauigkeit und andererseits der mitunter hohe Zeitbedarf dieser
Verfahren. Es ist nämlich
wünschenswert, dass
diese Verfahren möglichst
exakt und schnell auf eventuelle Patientenbewegungen reagieren können. Exakte
und schnelle Registrierung, insbesondere von funktionellen mit morphologischen
3D-Bilddaten, stellt sich aber in der Praxis als ausgesprochen schwierig
dar, weil nur eine geringe Anzahl von Gemeinsamkeiten dieser beiden
komplementären
Bilddaten-Kategorien existiert.
-
Aufgabe
der vorliegenden Erfindung ist es, die Registrierung intraoperativer
fluoroskopischer oder funktioneller Bilddaten mit präoperativen
morphologischen 3D-Bilddaten weiter zu verbessern.
-
Diese
Aufgabe wird gemäß der vorliegenden Erfindung
durch die Merkmale der unabhängigen
Ansprüche
gelöst.
Die abhängigen
Ansprüche
bilden den zentralen Gedanken der Erfindung in besonders vorteilhafter
Weise weiter.
-
Erfindungsgemäß wird ein
Verfahren beansprucht, zur intraoperativen Registrierung intraoperativer
Bilddatensätze
mit präoperativen
3D-Bilddatensätzen,
aufweisend die folgenden Schritte:
- S1: räumliches
Kalibrieren eines optischen 3D-Sensor-Systems mit einer intraoperativen Bildgebungsmodalität,
- S2: intraoperatives Erfassen der Oberfläche eines interessierenden
Untersuchungsgebietes mit dem 3D-Sensor-System, wodurch eine intraoperative Oberflächenmaske
erhalten wird,
- S3: intraoperatives Aufnehmen des die intraoperative Oberflächenmaske
zumindest zum Teil enthaltenden interessierenden Untersuchungsgebietes
mit der intraoperativen Bildgebungsmodalität, wodurch ein intraoperativer
Bilddatensatz erhalten wird,
- S4: Berechnen der im Wesentlichen gleichen Oberfläche aus
einem die erfasste bzw. aufgenommene Oberfläche enthaltenden präoperativ gewonnenen
3D-Bilddatensatz, wodurch eine präoperative Oberflächenmaske
erhalten wird,
- S5: Registrieren der intraoperativen und präoperativen Oberflächenmaske
zueinander,
- S6: Ermitteln einer Abbildungsvorschrift zwischen präoperativem
3D-Bilddatensatz und intraoperativem Bilddatensatz auf Basis der
Kalibrierung und der Registrierung und
- S7: überlagertes
Visualisieren des intraoperativen Bilddatensatzes mit dem präoperativen
3D-Datensatz auf Basis der Abbildungsvorschrift.
-
Dabei
ist in einer mögliche
erfindungsgemäßen Ausgestaltung
der intraoperative Bilddatensatz ein 2D-Fluorobild eines Röntgen-C-Bogens
und die intraoperative Bildgebungsmodalität ein fMRT-Gerät, ein PET-Gerät, ein SPECT-Gerät oder eine
funktionale Mapping-Modalität
wie ein EEG oder ein MEG.
-
In
einer weiteren möglichen
Ausgestaltung der Erfindung entstammt der präoperative 3D-Bilddatensatz
einer morphologischen Bildgebungsmodalität in Form eines MRT-Gerätes, eines
CT-Gerätes,
eines C-Bogen-Rotationsangiographie-Gerätes oder eines 3D-Ultraschall-Gerätes.
-
Weiterhin
kann das intraoperative Erfassen vorteilhafterweise kurz vor einem
intraoperativen Aufnehmen oder periodisch während der Intervention erfolgen.
-
Insbesondere
bei periodischem Erfassen kann erfindungsgemäß auf Basis der Messergebnisse
des optischen 3D-Sensor-Systems ein Bewegungsfeld des Untersuchungsgebietes
berechnet werden, welches dazu verwendet wird, Bewegungsartefakte
in intraope rativen Aufnahmen zu reduzieren bzw. deren Auflösung zu
verbessern.
-
Ferner
wird eine Vorrichtung beansprucht die zur Durchführung eines Verfahrens nach
einem der vorhergehenden Ansprüche
geeignet ist.
-
Weitere
Vorteile, Merkmale und Eigenschaften werden nun anhand von Ausführungsbeispielen bezugnehmend
auf die begleitenden Zeichnungen näher erläutert.
-
1 zeigt
schematisch ein Flussdiagramm des erfindungsgemäßen Verfahrens,
-
2 zeigt
ein Prinzipschema des erfindungsgemäßen Verfahrens,
-
3 zeigt
mögliche
Oberflächen-Masken im
Detail,
-
4 zeigt
die Kombination eines PET-Systems mit einem optischen 3D-Sensor-System,
und
-
5 zeigt
die Fusion eines funktionellen mit einem morphologischen Bild am
Beispiel eines Nackentumors.
-
Die
vorliegende Erfindung beschreibt ein Verfahren, wie mittels optischer
Oberflächenerkennung
exakt, schnell und sicher die Patienten-Position erfasst und damit
ein intraoperativer 2D- oder 3D-Bilddatensatz mit einem präoperativen
3D-Bilddatensatz schnell und daher intraoperativ fusioniert werden
kann.
-
Optische
Oberflächenerkennung
ist Stand der Technik und wird kommerziell angeboten.
-
Basis
dieser Technologie ist ein optisches 3D-Sensor-System, das spezielle
Bilder eines oder mehrerer 3D-Sensoren geeignet verarbeitet. Dieser 3D-Sensor
beobachtet ein zu vermessendes Objekt von der Seite. Zur Vermessung
wird die Oberfläche des
Messobjektes nach einem patentierbaren Verfahren mittels Weißlicht-Projektor
mit einem Streifenmaster beleuchtet. Aus der sich bei seitlicher
Beobachtung ergebenden Verschiebung der Streifen wird die Oberflächenform
des Objektes berechnet und beispielsweise als Dreiecksmodell zur
weiteren Verfügbarkeit
abgespeichert. Die geringe Messzeit und die schnelle Auswertung
liefert innerhalb einer Sekunde eine hochgenaue Form-Erfassung von
Objekten verschiedener Art und Größe bei einer Auflösung bis
zu 200 μm.
-
Das
erfindungsgemäße Verfahren
verwendet dieses schnelle Oberflächenvermessungsverfahren
um im Gegensatz zu bisherigen Verfahren eine schnellere und exaktere
Registrierung von intraoperativen Bilddatensätzen mit präoperativen 3D-Datensätzen zu
ermöglichen.
Das erfindungsgemäße Verfahren
wird im Folgenden anhand der 1 und 2 erläutert.
-
Voraussetzung
für das
erfindungsgemäße Verfahren
sind ein optisches 3D-Sensor-System (wie oben beschrieben), eine
intraoperative Bildgebungsmodalität (z.B. C-Bogen, PET, SPECT
usw.) sowie ein präoperativer
3D-Bilddatensatz einer morphologischen Bildgebungsmodalität (z.B.
CT, MRT), welcher die Oberfläche
der intraoperativ darzustellenden interessierenden Region enthält.
-
Zunächst wird
das optische 3D-Sensor-System relativ zu der intraoperativen Bildgebungsmodalität (im Folgenden
wird ohne Beschränkung
der Allgemeinheit von einem C-Bogen oder einem PET gesprochen) so
positioniert, dass der Bereich des 3D-Sensors ein "freies Blickfeld" auf die Oberflache des
interessierenden und daher zu registrierenden Untersuchungsgebietes
hat. Bei Neurointerventionen im Bereich des Kopfes bietet sich beispielsweise
die Oberfläche
des Gesichtes an, so dass der 3D-Sensor über dem Patienten am C-Bogen
selbst oder an der Decke über
dem Kopfende der Patientenliege zu befestigen ist. In einem Schritt
S1 des Verfahrens wird das optische 3D-Sensor-System mit dem intraoperativen
System (C-Bogen) räum lich
kalibriert, so dass die Lage bzw. Blickrichtung der beiden Systeme
zueinander bekannt ist. Demzufolge ist die Relation beider Koordinatensysteme
(Koordinaten-Ursprung des Koordinatensystems des optischen 3D-Sensor-Systems
mit dem Koordinaten-Ursprung des Koordinatensystems des intraoperativen
Systems) durch diesen Schritt der einmaligen Kalibrierung bekannt,
was in 2 durch die waagrechte, mit "Kalibrierung" bezeichnete Verbindungslinie symbolisiert
ist.
-
In
einem zweiten Schritt S2 wird die Oberfläche des interessierenden Untersuchungsgebietes mit
dem 3D-Sensor-System intraoperativ erfasst und unmittelbar danach
ausgewertet, wodurch eine intraoperative Oberflächenmaske erhalten und beispielsweise
als Dreiecksmodell gespeichert wird. In 2 ist die
intraoperative Oberflächenmaske
als Kreis symbolisiert. Ein reales Dreiecksmodell eines Gesichtes
ist beispielhaft in 3 dargestellt.
-
In
einem Schritt S3 erfolgt das intraoperative Aufnehmen des die intraoperative
Oberflächenmaske
zumindest zum Teil enthaltenden interessierenden Untersuchungsgebietes
mit dem C-Bogen,
wodurch ein intraoperativer Bilddatensatz erhalten wird, der in 2 als
Rechteck symbolisiert ist und den Kreis (die Maske) zumindest zum
Teil enthält.
-
In
einem vierten Schritt S4 wird aus einem präoperativen 3D-Bilddatensatz des
interessierenden Untersuchungsgebietes die im wesentlichen gleiche
Oberfläche
berechnet (rein rechnerisch extrahiert), wodurch eine weitere, diesmal
allerdings eine präoperative
Oberflächenmaske
erhalten wird, in 2 ebenfalls durch einen Kreis
symbolisiert.
-
Beide
Oberflächenmasken
sind sich grundsätzlich
sehr ähnlich
(siehe 3), da keine große Oberflächenveränderung des Untersuchungsgebietes
im Zeitraum zwischen präoperativer
Aufnahme und intraoperativer Aufnahme (maximal wenige Tage) zu erwarten
ist. Aus diesem Grund können
in einem fünften
Schritt S5 beide Oberflächenmasken
zueinander ausgesprochen schnell und mit wenig Fehlertoleranz registriert
werden, im Gegensatz zu derzeitigen Registrierverfahren, die nur
wenige anatomische oder künstliche
Landmarken zur Verfügung
haben. Die Registrierung ist in 2 mit der
vertikalen Verbindungslinie zwischen beiden Masken symbolisiert.
-
Da
die Struktur beider Masken, insbesondere aber die der intraoperativen
Maske, in dem intraoperativen Bilddatensatz zumindest zum Teil enthalten ist
(symbolisiert durch den im Rechteck enthaltenen Teil-Kreis), kann
auf Basis der Kalibrierung und der Registrierung in einem Schritt
S6 eine Abbildungsvorschrift ermittelt werden, wie das präoperative
Bild gedreht und verschoben werden muss, um mit dem intraoperativen
Bild zur Deckung gebracht werden zu können (symbolisiert durch die
Schräge
Verbindungslinie in 2). Auf Basis dieser Abbildungsvorschrift
kann schließlich
der relevante Bereich des präoperativen
3D-Bilddatensatzes mit dem intraoperativen Bilddatensatz überlagert
und mit diesem gemeinsam auf einem Bildschirm in einem Schritt S7
visualisiert werden.
-
Es
sei bemerkt, dass die Schritte S2, S3 und S4 des Verfahrens in der
Rangfolge vertauscht werden können,
was in 2 durch eine Anordnung der Verfahrensschritte
auf einer Ebene symbolisiert worden ist. So kann beispielsweise
die Extraktion der Oberfläche
des präoperativen
3D-Bilddatensatzes sozusagen "offline" bereits vor dem
optischen intraoperativen Erfassen und auch vor dem intraoperativen Aufnehmen
erfolgen.
-
Die
optische Messung (Schritt S2) kann entweder immer kurz vor der Durchführung einer
intraoperativen Aufnahme und/oder periodisch während der Intervention erfolgen.
Wird die Oberfläche
des Untersuchungsgebietes mit Hilfe des optischen 3D-Sensor-Systems während der
Untersuchung mit einer intraoperativen funktionellen Bildgebungsmodalität (PET oder
SPECT) periodisch oder gar kontinuierlich erfasst, kann eine mögliche Bewegung
des Untersuchungsgebietes relativ zur PET- oder SPECT-Gantry detektiert
werden und ein sogenanntes Bewegungsfeld (Bewegungsverlauf bezüglich des
Untersuchungsgebietes) berechnet werden. Da nuklear-medizinische
Untersuchungsverfahren wie PET und SPECT mit einer verhältnismäßig langen Akquisitionszeit
von typischerweise wenigen Minuten (PET) bis zu mehr als 20 Minuten
(SPECT) verbunden sind, sind Bewegungsartefakte in der PET- und SPECT-Bildgebung
relativ häufig
gegeben bzw. die Auflösung
von PET- und SPECT ist wegen der Bild-Verschmierung durch Patientenbewegung
reduziert.
-
Das
mit Hilfe des optischen 3D-Sensor-System ermittelte Bewegungsfeld
kann in einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens dazu
verwendet werden, die durch Patientenbewegung fehlerhafte Ortsauflösung von
(metabolischen) Ereignissen zu korrigieren, um so Bewegungsartefakte
in PET- und SPECT-Aufnahmen
zu reduzieren bzw. deren Auflösung
zu verbessern.
-
Dabei
gibt es hinsichtlich der räumlichen
Anordnung des optischen 3D-Sensor-Systems relativ zur intraoperativen
Bildgebungsmodalität,
insbesondere des 3D-Sensors selbst, unterschiedliche Möglichkeiten,
an die das räumliche
Kalibrieren gemäß Schritt
S1 jeweils angepasst werden muss.
-
Besteht
eine feste räumliche
Beziehung zwischen dem Koordinatensystem des optischen 3D-Sensors
und dem Koordinatensystem der intraoperativen Bildgebungsmodalität, beispielsweise
indem der 3D-Sensor starr mit der intraoperativen Bildgebungsmodalität verbunden
ist oder indem der optische 3D-Sensor an einem festen Ort im Operationssaal
montiert ist (z.B. an der Decke), so reicht es die Kalibrierung
nur einmal vorzunehmen (z.B. bei oder nach der Montage). Mögliche Veränderungen,
z.B. Drehen des 3D-Sensors in seiner Verankerung, können über Drehsensoren
rückgemeldet
werden, wonach eine automatische Aktualisierung (engl. update) der
räumlichen
Beziehung beider Koordinatensysteme zueinander erfolgen kann.
-
Besteht
eine grundsätzlich
flexible Anordnung des 3D-Sensors zur intraoperativen Bildgebungsmodalität, beispielsweise
in dem der 3D-Sensor innerhalb des Operations-Saales auf einem mobilen
Stativ (ähnlich
einem Infusionsständer)
montiert frei bewegt werden kann oder in dem beide Systeme mobil
sind, so kann die Kalibrierung der räumlichen Beziehung beider Systeme
mittels Positions- und/oder Orientierungssensoren vorgenommen werden,
die sowohl am 3D-Sensor als auch an der intraoperativen Bildgebungsmodalität montiert
sind, um so die Bestimmung der Position und Lage beider Systeme
zueinander zu ermöglichen.
-
Zusammengefasst
besteht die vorliegende Erfindung in einem Verfahren zur verbesserten
intraoperativen Registrierung intraoperativer 2D-fluoro-Bilder oder
funktioneller 3D-Bilder mit (morphologischen) 3D-Bilddatensätzen, wobei
- – ein
optisches 3D-Sensor-System zur 3D-Oberflächenvermessung des Untersuchungsbereiches verwendet
wird,
- – die
räumliche
Beziehung zwischen dem Koordinatensystem des optischen 3D-Sensor-Systems und
der intraoperativen Bildgebungsmodalität durch Kalibrierung und gegebenenfalls
durch Verwendung von Positionssensoren bekannt ist, und wobei
- – die
berechnete (extrahierte) Oberflächenmaske der
(morphologischen) präoperativen
3D-Bilder mit der mittels optischem 3D-Sensor erfassten Oberflächenmaske
des Untersuchungsgebietes (oberflächenbasiert) registriert wird.
-
Im
Anschluss an Kalibrierung und Registrierung können folgende Darstellungs-Kombinationen realisiert
werden:
- a) 2D-Fluorobild + morphologisches
3D-Bild
- b) funktionelles 3D-Bild + morphologisches 3D-Bild
- c) intraoperative Oberflächenmaske
+ funktionelles 3D-Bild.
-
Im
Falle einer Darstellung funktioneller Foci einer PET- oder SPECT-Untersuchung
(beispielsweise durch farbkodierte Metabo lismen) gemeinsam mit der
(beispielsweise transparent dargestellten) optisch erfassten Oberfläche des
Untersuchungsgebietes (Kombination c)) erhält der Anwender zwar keine Abbildung
der funktionellen Foci relativ zur exakten Anatomie, aber immerhin
relativ zu einer Oberflächen-Repräsentation
des Untersuchungsgebietes. So kann die gemeinsame Visualisierung
von Oberfläche
und funktioneller 3D-Bilder für
die anatomische Beurteilung oberflächennaher Läsionen (z.B. Knochen-Tumore)
hilfreich sein.
-
Außerdem kann
diese Art der Visualisierung zur Planung minimalinvasiver Zugänge bei
Nadelbiopsie-Prozeduren oder bei der Einführung von Trokaren in der Gastroenterologie
verwendet werden.