-
Die
Erfindung betrifft ein Verfahren zur Navigation in 3-dimensionalen elektronischen
Bilddaten.
-
Elektronische
Bilddaten in mehr als zwei räumlichen
Dimensionen (2D) finden weit verbreitet für unterschiedlichste Anwendungszwecke
Verwendung. Bilddaten in drei räumlichen
Dimensionen (3D) werden zum Beispiel für 3D-Simulationen von Vorgängen, Design
und Konstruktion von räumlichen Objekten
und zur messtechnischen Erfassung und optischen Wiedergabe solcher
Objekte.
-
Eine
besondere Anwendung stellen Verfahren der bildgebenden Medizintechnik
dar, wo Patientenkörper,
zum Beispiel anhand radiologischer Bildgebungsverfahren, 3-dimensional
untersucht und die 3D-Untersuchungsdaten für weitere Verarbeitungsschritte
erfasst werden. In der Diagnostik können dabei zum einen untersuchte
Körpervolumina
von besonderem Interesse, so genannte Hot Spots, identifiziert werden.
Als Hot Spots werden in der Nuklearmedizin Bildbereiche mit erhöhter Intensität bezeichnet,
die auf das Vorhandensein eines Tumors in dem Bereich hindeuten
(erhöhte
Gewebeaktivität).
Zum anderen können
3D-Bilddaten desselben Körpers aus
verschiedenen Bildgebungsverfahren in einer gemeinsamen Darstellung
zusammengeführt
werden, ein Vorgang, der Fusion genannt wird, um einen informativeren,
aussagekräftigeren
Bilddatensatz zu erhalten. Bei der Fusion können Daten von Hot Spots eine
besondere Rolle spielen, da sie es ermöglichen, die Bilddaten ebendieser
Körpervolumina
aus einem Bildgebungsverfahren im Kontext der Bilddaten eines anderen
Bildgebungsverfahrens zu betrachten. Ein derart fusionierter Bilddatensatz
enthält
die Hot Spots als besonders kennzeichenbaren Teil-Bilddatensatz.
-
Ein
Beispiel hierfür
kann zum Beispiel die Fusion von Bilddaten aus einer Positronen-Emissions-Tomografie
(PET) und einer Computer-Tomografie (CT) sein. Die PET-Daten stellen
einen diagnostischen Datensatz dar, der Information über bestimmte Stoffwechsel-Funktionen
des Patientenkörpers
beinhaltet und daher auch als funktionale Bilddaten bzw. funktionaler
Datensatz bezeichnet wird. PET-Daten bilden im wesentlichen Weichteile
ab. Die CT-Daten bilden dagegen auch anatomische Merkmale, wie Knochenbau,
des Patientenkörpers
ab und ermöglichen
einem Betrachter daher eine deutlich bessere Orientierung anhand
der Anatomie des Patienten. Eine Fusion der funktionalen PET-Daten
mit den CT-Daten erleichtert daher wesentlich die anatomische Zuordnung
von mittels PET identifizierten Hot Spots.
-
Ein
besonderes Problem 3D-Bilddaten sämtlicher Anwendungen liegt
in den begrenzten optischen Darstellungsmöglichkeiten. Üblicherweise werden
2D-Darstellungsgeräte
verwendet, in der Regel Computer-Bildschirme, die nur eingeschränkte Möglichkeiten
der Visualisierung in 3D bieten. Bekannt sind zum Beispiel perspektivische
Darstellungen, Schnittbilder durch Ebenen des darzustellenden Objektes
oder rotierende Darstellungen des entweder teilweise transparent
oder vollständig
kompakt visualisierten Objektes. Für die Visualisierung von 3D-Objekten steht eine
Reihe von Techniken zur Verfügung,
die in der beschriebenen Weise eingesetzt werden können, und
die als Volume Rendering Technic (VRT, „Volumen-Wiedergabe-Verfahren") bezeichnet werden.
Unter anderem kann eine Maximum Intensity Projection (MIP) eingesetzt
werden, die jeweils den hellsten Bildpunkt entlang jedem vom (virtuellen)
Betrachter aus durch das 3D-Objekt gehenden Sehstrahl als 2D-Projektions-Bildpunkt
definiert. Oder es kann eine Multi-Planare Reformatierung (MPR) vorgenommen
werden, bei der unterschiedliche 2D-Projektionen des Objekts dargestellt werden,
zum Beispiel zu einander senkrechte Projektionen.
-
Die
begrenzten optischen Darstellungsmöglichkeiten für 3D-Bilddaten erschweren
zum einen die Orientierung in den dargestellten Objekten, da dem Betrachter
die Tiefen-Information nicht unmittelbar zugänglich ist, und damit einhergehend
zum anderen die Navigation innerhalb der Daten. Dieses Problem stellt
sich bei der Betrachtung, beispielsweise in der diagnostischen Auswertung,
wie bei der Erzeugung, beispielsweise in der 3D-Konstruktion, gleichermaßen.
-
In
der medizinischen Diagnostik gibt es Verfahren, die für die Navigation
ein rotierendes MIP eines funktionalen Datensatzes verwenden. Der
Nachteil daran ist, dass die anatomische Zuordnung dadurch noch
nicht immer eindeutig ist, zum Beispiel dann, wenn zwei Hot Spots
sehr dicht beieinander liegen. Deswegen erfordert diese Verfahren
ein zweistufiges und damit umständliches
Vorgehen: Erst wird auf dem rotierenden MIP eine Schnittebene durch
den interessierenden Hot Spot gelegt (1D-Information), dann muss
dieser Schnitt zusätzlich
dargestellt und darin die Position des Hot Spots bestimmt werden.
Erst dann liegt die 3D-Information über die Position vor.
-
Aus
der Diplomarbeit „3D-EXPLORATION VON
VOLUMENDATEN; Werkzeuge zur interaktiven Erkundung medizinischer
Bilddaten", 21.
Oktober 1998, von M. Jahnke sind Werkzeuge zur Exploration von Volumentdatensätzen bekannt,
die 2D- und 3D-Eingabegeräte umfassen.
Zum Beispiel wird ein 3D-Cursorobjekt vorgeschlagen, mittels dessen
ein Teil-Volumen eines Volumendatensatzes ausgewählt werden kann; dieses Teilvolumen
kann als Region of Interest (ROI) oder Voxel of Interest (VOI) aufgefasst werden.
Das derart ausgewählte
Teilvolumen kann im weiteren dann als eigenständiges Betrachtungsvolumen
verwendet werden, innerhalb dessen die Exploration fortgesetzt wird.
Ein weiteres dort vorgeschlagenes 3D-Objekt ist der sogenannte Prober,
der ein 3-dimensionales geometrisches Objekt, z.B. einen Würfel, darstellt.
Der Prober kann wie ein Cursor positioniert werden. Er dient dazu,
Abtastwerte des jeweils vom Prober umschlossenen Volumens zu ermitteln;
bei einem Würfel
können
diese Abtastwerte 2D-Projektionen des Volumens auf die Würfelflächen sein.
Die in der Arbeit von M. Jahnke vorgeschlagenen Werkzeuge dienen
jeweils der manuellen Exploration von Teilvolumina.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Navigation
in 3D-Bilddatensätzen anzugeben,
das das Auffinden und Bestimmen der 3D-Position von 3D-Teil-Bilddatensätzen von
besonderem Interesse sowie deren Visualisierung automatisiert und
dadurch erleichtert.
-
Die
Erfindung löst
diese Aufgabe durch ein Verfahren mit den Merkmalen des ersten Patentanspruchs.
-
Ein
Grundgedanke der Erfindung besteht darin, ein Verfahren zur Navigation
in 3-dimensionalen elektronischen Bilddatensätzen zu schaffen, bei dem die
Bilddatensätze
3-dimensionale Teil-Bilddatensätze
enthalten. Das Verfahren umfasst folgende Verfahrensschritte:
- – Optisches
Darstellen von mindestens einer 2-dimensionalen Projektion eines
Bilddatensatzes, die eine 2-dimensionale Teil-Projektion von mindestens
einem Teil-Bilddatensatz umfasst,
- – Optisches
Hervorheben der mindestens einen 2-dimensionalen Teil-Projektion,
- – Funktionalisieren
der mindestens einen optisch hervorgehobenen Teil-Projektion derart,
dass diese durch eine Nutzer-Eingabe
ausgewählt
werden kann,
- – Empfangen
einer auf die Auswahl mindestens einer derart funktionalisierten
Teil-Projektion gerichteten Nutzer-Eingabe und
- – in
Abhängigkeit
von der Nutzer-Eingabe automatisches optisches Darstellen von mindestens einer
weiteren 2-dimensionalen
Projektion des Bilddatensatzes, die eine 2-dimensionale Projektion des ausgewählten Teil-Bilddatensatz
umfasst.
-
Dadurch
ergibt sich der Vorteil, dass ein Nutzer anhand einer herkömmlichen
2-dimensionalen Projektion einen Teil-Bilddatensatz besonderen Interesses
auswählen
kann, und dadurch automatisch eine weitere Projektion des Bilddatensatzes
erhält, die
ebenfalls wieder den Teil-Bilddatensatz enthält. Die weitere Projektion
muss der Nutzer nicht erst manuell erzeugen, in dem er eine Schnittebene
in die ursprüngliche
Projektion legt. In diesem Sinne wird die Projektion des Teil-Bilddatensatzes gleichsam
als aktives Link verwendet, dass zum Beispiel durch den Nutzer mit
einer Maus oder einem sonstigen Zeigegerät ausgewählt, also angeklickt werden
kann. Die Erzeugung der zur Identifikation und zur Bestimmung der
Position des Teil-Bilddatensatzes benötigten Schnittbilder wird damit
intuitiv gestaltet und vereinfacht.
-
In
einer vorteilhaften Ausgestaltung der Erfindung wird ein Bilddatensatz
verwendet, der durch eine Fusion von mindestens zwei Ursprungs-Bilddatensätzen gebildet
wurde. Damit kann die Navigation für einen Nutzer insbesondere
in Bilddatensätzen, die
einen durch die Fusion erweiterten Informationsgehalt besitzen,
erleichtert werden. Der erweiterte Informationsgehalt wiederum kann
gerade dazu dienen, möglicherweise
interessierende Teil-Bilddatensätze
automatisch zu identifizieren, aus denen der Nutzer dann eine manuelle
Auswahl treffen kann.
-
In
einer weiteren vorteilhaften Ausgestaltung der Erfindung werden
Teil-Bilddatensätze
verwendet, die sämtlich
aus demselben Ursprungs-Bilddatensatz gebildet wurden. Damit können Usprungs-Bilddatensätze herangezogen
werden, die besonders geeignet zur Identifikation möglicherweise
interessierender Teil-Bilddatensätze
sind, und ein Nutzer weiß automatisch,
dass die Teil-Bilddatensätze
unter den besonderen Aspekten des zur Identifikation herangezogenen
Ursprungs-Bilddatensatzes
ausgewählt wurden.
-
In
einer weiteren vorteilhaften Ausgestaltung der Erfindung werden
als Ursprungs-Bilddatensätze zumindest
ein Bilddatensatz aus einem Computer-Tomografie-Verfahren und einer
aus einem Positronen-Emissions-Tomografie-Verfahren herangezogen.
Diese Kombination ist im Hinblick auf die medizinische Diagnostik
in der Krebs-Therapie von besonderem Interesse, da CT-Bilddatensätze einem Betrachter
eine besonders gute Orientierung innerhalb der Anatomie eines Patienten
ermöglichen, während PET-Bilddatensätze besonders
gut zur Identifikation möglicherweise
Krebs-gefährdeter
Körpervolumina
geeignet sind.
-
Das
Verfahren ist auf einer Computer ausführbar. Es kann dazu entweder
auf dem Computer installiert sein, oder es kann als Computer-Programm-Produkt
ausgebildet sein, dass eine Ausführung
oder Installation des Verfahrens auf einem Computer ermöglicht.
-
Weiter
vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den
abhängigen
Patentansprüchen
und der Figuren-Beschreibung.
-
Nachfolgend
werden Ausführungsbeispiele der
Erfindung anhand von Figuren näher
erläutert.
Es zeigen:
-
1 Bildschirmansicht
mit 2D-Projektionen eines 3D-Bilddatensatz,
-
2 Bildschirmansicht
mit Schnittebene und Hot Spots,
-
3 schematische
Ansicht einer Schnittebene mit Hot Spots,
-
4 Bildschirmansicht
mit Schnittschicht und Hot Spots,
-
5 schematische
Ansicht einer Schnittschicht mit Hot Spots,
-
6 schematische
Bildschirmansicht mit zufälligen
Schnittbildern,
-
7 schematische
Bildschirmansicht mit Schnittbildern durch Hot Spot,
-
8 schematische
Ansicht von zufälliger Schnittebene
und
-
9 schematische
Ansicht von Schnittebene durch Hot Spot.
-
In 1 ist
eine Bildschirmansicht eines medizinischen Bildverarbeitungs-Arbeitsplatzes
mit 2D-Projektionen eines 3D-Bilddatensatz dargestellt. Es wird
ein CT-Bilddatensatz gezeigt, der fusioniert wurde mit einem PET-Bilddatensatz.
Die Bilddatensätze
sind vorher registriert worden, das heißt maßstabs- und positionsrichtig
zueinander orientiert und mit allen 3D-Informationen erfasst worden.
Der CT-Datensatz steht beispielhaft für einen Volumendatensatz der
anatomische Information enthält,
der PET-Datensatz steht beispielhaft für einen Volumendatensatz des
gleichen Patienten mit funktionaler Information. Die dargestellte
Projektion wurde mit den Rendering Verfahren VRT und MIP gewonnen,
die beispielhaft für
jede Art von 3D Volumen-Rendering stehen, und mit dem Verfahren
MPR, das beispielhaft für
jede Art von Schnittebenen-Rendering steht.
-
Die
Verfahren unterstützen
zwei Formen von sogenannten Clipping Objekten: Clip Planes (Schnittebenen)
sowie Slabs (Schnittschichten definierter Dicke). Entsprechend dazu
können
die Bilder des funktionalen Datensatzes sowohl Schnittbilder (werden
auf die Schnittebene der Clip Plane bzw. des Slabs abgebildet) als
auch Volumenbilder sein, die dann in die Clip Plane bzw. das Slab
genau wie der anatomische Datensatz projiziert werden. Ein Benutzer
kann zwischen der Volumendarstellung (MIP) und der Schnittbilddarstellung
(MPR) hin- und herschalten.
-
Ein
wichtiger Aspekt sind auch die möglichen Parametereinstellung
der verwendeten Renderingverfahren. Bei VRT können im CT Parameter wie Farbe,
Durchsichtigkeit oder Gewebezuordnung jederzeit geändert werden,
um die optimale Ansicht auf den CT Datensatz zu erreichen. Bei MPR
oder MIP können
Parameter wie Fensterung, Color LUT, Masking (d.h. Schwellwerte
die die Sichtbarkeit von Informationsbestandteilen bestimmen) jederzeit
geändert werden.
Insbesondere das Masking ist sehr wichtig, um die Darstellung möglichst
nur auf die Hot Spots zu beschränken,
weitere Informationsbestandteile des Datensatzes, der die Hot Spots
enthält,
jedoch auszublenden (zu „masken"), um nicht zu viel
von der anatomischen Information des CT-Datensatzes zu verdecken.
Außerdem
kann ein Blending Faktor, der das Mischverhältnis von CT- und PET-Darstellung beschreibt
eingestellt werden. Auf die verschiedenen Parametereinstellungen
wird nachfolgend nicht weiter eingegangen.
-
Dargestellt
ist eine Bildschirmansicht 1 mit vier sogenannten Viewports 3, 4, 5, 6,
also Bildschirmsegmenten, die jeweils unterschiedliche Schnittebenen
oder Schnittschichten zeigen können. Anhand
dieser unterschiedlichen Projektionen, die von einem Nutzer anhand
der Werkzeuge und Buttons in dem Bildschirmsegment 7 manuell
ausgerichtet und erzeugt werden müs sen, kann ein Benutzer interessierende
Teil-Bilddatensätze
oder Hot Spots darstellen und deren 3D-Position ermitteln. Zur besseren
Orientierung bietet Viewport 6 eine manuell zu bedienende
Rotations-Sicht 8 des PET-Datensatzes.
-
In 2 ist
eine Bildschirmansicht 1 mit Schnittebene und Hot Spots
in einem wiederum aus CT- und PET-Daten fusionierten Datensatz dargestellt.
Der Bildschirm 1 zeigt nur einen einzigen Viewport 11,
in dem ein Schnittbild durch den fusionierten Bilddatensatz strichliert
angedeutet ist. Die Projektion im Viewport 11 umfasst einen
Hot Spot, der als optisch hervorgehobener Bildteil im Bauchraum
des abgebildeten Patientenkörpes
erkennbar ist. Der hervorgehobene Bildteil kann durch einen Nutzer
z.B. durch Mausklick ausgewählt
werden, um weitere Bildschirmansichten zu erzeugen. Weitere manuelle Aktionen
eines Nutzers werden nicht erforderlich, daher enthält das Bildschirmsegment 7 nur
eine reduzierte Anzahl von Buttons und Werkzeugen.
-
In 3 ist
die Projektion aus der vorangehenden Abbildung schematisch dargestellt.
Sie zeigt die Schnittebene 13 durch den fusionierten Bilddatensatz,
der aus einer Projektion des CT-Datensatz 14 und des PET-Datensatzes 15 besteht.
Innerhalb des PET-Datensatzes 15 sind Hot Spots 19 für einen Nutzer
erkennbar optisch hervorgehoben, z.B. durch besonders helle oder
auffällige
Farbgebung. Die dargestellte Schnittebene 13 ist so positioniert
und orientiert, dass ein Nutzer die Hot Spots 19 sehen
kann. Die Visualisierung der Hot Spots 19 ist in Art funktionalisiert,
dass der Nutzer einen davon manuell auswählen kann, z.B. durch anklicken
mit einer Maus. Die Hot Spots 19 liegen verhältnismäßig dicht
beieinander und sind daher nicht durch ein automatisiertes Verfahren
zu analysieren.
-
In
den 4 und 5 sind Darstellungen analog
zu den vorangehenden 2 und 3 unter
Verwendung der selben Bezugszeichen abgebildet. Anstelle einer Schnittebene
(Clip Plane) ist jedoch eine Schnittschicht 16 (Slab) dargestellt,
erkennbar an der Darstellung in 5 als Kasten.
Im übrigen
wird auf die Beschreibung der vorangehenden Figuren Bezug genommen.
-
In 6 ist
eine Bildschirmsicht 1 mit vier Viewports 3, 4, 5, 11 schematisch
dargestellt. Der Viewport 11 zeigt entsprechend der vorangehenden Beschreibung
eine funktionalisierte Projektion in so fern, als ein Nutzer die
Hot Spots 19 in der Schnittebene 13 z.B. durch
Mausklick auswählen
kann. Die Viewports 3, 4, 5 zeigen Schnittbilder 14, 15 des
fusionierten Datensatzes in zufällig
gewählten
Schnittebenen, die nicht die Hot Spots 19 enthalten. Diese sind
nur in dem Schnittbild 17 in der Schnittebene 13 enthalten.
Für eine
exakte Lokalisation der Hot Spots 19 muss eine Darstellung
gewählt
werden, die die Hot Spots 19 auch in den weiteren, unterschiedlichen Projektionen
in den Viewports 3, 4, 5 zeigt.
-
Dazu
wählt der
Benutzer zunächst
eine der oben beschriebenen Darstellungsformen aus, um eine optimale
Ansicht auf die Hot Spots 19 zu bekommen. Auf dem Viewport 11 ist
ein räumliches
Drehen in die richtige Ansicht und ein Verschieben der Schnittebene 13 möglich, um
in den Hot Spot 19 zu fokussieren. Auf diesem Navigationsbild
wird indirekt 3D-Tiefeninformation
bereitgestellt, die es möglich macht
mit einem Mausklick den Hot Spot 19 zu selektieren. Durch
einen Mausklick auf den Hot Spot 19 wird das so genannte
Volume Picking ausgelöst,
das die Bildschirmsicht 1 für den Benutzer automatisch auf
den Hot Spot 19 fokussiert. Zum einen wird die Clip Plane 13 oder
gegebenenfalls der Schwerpunkt des Slabs im Viewport 11 in
der Fusionsdarstellung in den angewählten Hot Spot 19 verschoben,
zum anderen werden alle sonstigen angezeigten Bilder in den anderen
Viewports 3, 4, 5 auf dem Bildschirm ebenfalls
in den Hot Spot 19 verschoben. Damit wird für den Nutzer
automatisch eine zur Identifizierung der Hot Spots 19 optimale
Bildschirmsicht 1 erzeugt, ohne dass er manuell in allen
Viewports 3, 4, 5 in Drehwinkel und Tiefe
geeignete Projektionen einstellen müsste. Im Ergebnis des Volume
Pickings werden die Bilder aus den Viewports 3, 4, 5 in
den ausgewählten
Hot Spot 19 verschoben, ebenso die Schnittebene 13 in
dem Viewport 11. Der Hot Spot 19 kann also sehr
einfach in dem Viewport 11 gesucht werden, und dann können mit
einem Mausklick alle vier Viewports 3, 4, 5, 6 auf
den Hot Spot 19 fokussiert werden.
-
In 7 ist
die als Ergebnis des Volume Picking erhaltene, im Hinblick auf den
vom Nutzer ausgewählten
Hot Spot 19 optimierte Bildschirmsicht 1 unter
Verwendung der selben Bezugszeichen wie in der vorangehenden Figur
dargestellt. Die Schnittebene 13 im Viewport 11 ist
so positioniert, dass das Schnittbild 17 eine Projektion
samt Hot Spot 19 zeigt. Die restlichen Bilder zeigen nun
andere sich gegenseitig referenzierende Schnittbilder entweder eines einzelnen
oder der fusionierten Datensätze,
die ebenfalls jeweils den Hot Spot 19 enthalten. Die Schnittbilder
referenzieren sich gegenseitig, was durch Markierungslinien A, B,
C angedeutet ist, die durch alle Viewports 3, 4, 5 hindurch
jeweils durch den ausgewählten
Hot Spot 19 verlaufen. Damit ist der Hot Spot 19 lokalisiert
und für
den Nutzer optimal einsehbar dargestellt.
-
In
den 8 und 9 ist der Vorgang des Fokussierens,
der in den vorangehenden 6 und 7 in Bezug
auf den dortigen Viewport 11 erläutert wurde, noch mal illustriert.
In 8 ist das Schnittbild des fusionierten Bilddatensatzes 14, 15,
der einen Hot Spot 19 enthält, dargestellt. Die Schnittebene 13 ist
zufällig
positioniert und enthält
keine Projektion des Hot Spots 19. In 9 wurde
die Schnittebene 13 so verschoben, dass sie den Hot Spot 19 schneidet
und eine Projektion 17 des fusionierten Bilddatensatzes
beinhaltet.