-
Die
vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung
zur Visualisierung von 3D-Bilddaten der tomographischen Bildgebung
mit einer Rendering-Technik, bei der jeder Bildpunkt durch Integration
oder Summation entlang jeweils eines Sehstrahls durch ein von den
3D-Bilddaten umfasstes Volumen berechnet wird.
-
Es
handelt sich hierbei um eine Technik der Volumenvisualisierung,
bei der Volumendaten, wie sie bspw. durch Computertomographie (CT)
oder Magnetresonanztomographie (MRT) erhalten werden, an einem Bildschirm
darstellbar sind. Bekannte Beispiele derartiger Visualisierungstechniken
sind unter den Begriffen Volumen-Rendering (VRT: Volume Rendering
Technique) oder Gradientenmagnituden-Rendering bekannt. Den 3D-Bilddaten,
die als eine Matrix von Skalarwerten vorliegen, müssen bei diesen
Rendering-Techniken optische Eigenschaften zugeordnet werden. Dies
erfolgt durch geeignete Wahl einer Transferfunktion, die die optische
Absorption und Emission in dem darzustellenden Volumen berücksichtigt.
Durch diese Transferfunktion kann auch festgelegt werden, welche
Teile des darzustellenden Volumens im Bild opak, semitransparent
oder transparent dargestellt werden. Weiterhin können einzelnen Volumenelementen
(Voxel) über
diese Transferfunktion bestimmte Farben zugeordnet werden.
-
Bei
der Darstellung von 3D-Volumendatensätzen der tomographischen Bildgebung,
insbesondere von MRT- oder CT-Bilddatensätzen mittels Volume-Rendering,
können
innen liegende interessierende Strukturen durch außen liegende
Bereiche, bspw. Knochen, verdeckt werden. So verdeckt bspw. der Schädelknochen
die Gehirnstrukturen in MR-Bildern. Durch eine Manipulation der
Transferfunktion besteht zwar die Möglichkeit, einzelne Bereiche
transparent zu schalten, allerdings lässt sich dies kaum zufriedenstellend
bei MR-Aufnahmen des Kopfes durchführen, da der Schädelknochen
in den 3D-Bilddaten nahezu die gleichen Intensitätswerte aufweist wie die Gehirnstrukturen.
Daher werden in diesem Fall häufig
Clipping-Techniken eingesetzt, bei denen der Schädelknochen aufwendig segmentiert
werden muss, um ihn anschließend
ausblenden zu können.
-
Eine
weitere Technik der Visualisierung von 3D-Bilddaten der tomographischen
Bildgebung mit einer Rendering-Technik ist aus Ch. Rezk-Salama et al., „Opacity
Peeling for Direct Volume Rendering", in: Computer Graphics Forum (Proc.
Eurographics), Vol. 25, Issue 3, Seiten 597 bis 606, 2006, bekannt. Bei
dem dort beschriebenen Verfahren wird eine Abtragungstechnik eingesetzt,
mit der äußere, nicht transparente
Schichten des dargestellten Volumens abgetragen bzw. transparent
geschaltet werden können.
Das Verfahren nutzt den bekannten Ray-Casting Algorithmus, bei dem
jeder Bildpunkt des Bildes durch Integration oder Summation entlang
eines Sehstrahls vom Auge des Betrachters durch das von den 3D-Bilddaten umfasste
Volumen berechnet wird. In der Summe bzw. dem Integral steckt dabei
die entsprechende Transferfunktion mit einem Emissions- und/oder
Absorptionsanteil. Es werden somit die Transparenzen der einzelnen
Voxel entlang des Sehstrahls aufaddiert. Bei Berechnung der einzelnen Bildpunkte
ausgehend vom Auge des Betrachters, d. h. in sog. front-to-back Composition,
wird dann ein Schwellwert für
die optische Tiefe gesetzt. Alle Beiträge der 3D-Bilddaten zur Transparenz
bis zum Erreichen des Schwellwertes werden auf Null gesetzt. Damit
wird ein äußerer Schichtbereich
des Volumens einer konstanten optischen Dichte abgetragen oder ausgeblendet,
die innere Bereiche verdecken würde. Diese
Technik wird auch als Opacity Peeling bezeichnet.
-
Sehr
dünne verbleibende
Schichten hoher Transparenz nach dem Schichtabtrag können bei dieser
Schwellwerttechnik allerdings im eingesetzten Pixelshader zu einem
störenden
Pixel-Flattern der gerenderten Bilddaten führen.
-
Die
US 6532017 B1 befasst
sich mit einer Volumen-Rendering-Pipeline
aus einem einzelnen integrierten Schaltkreis, der eine kostengünstige Volumen-Visualisierung
in Echtzeit gewährleisten
soll. Zur Visualisierung der 3D-Bilddaten wird auch bei dieser Druckschrift
eine Ray-Casting-Technik in Verbindung mit einer Transferfunktion
eingesetzt. Mit der Transferfunktion werden in üblicher Weise den einzelnen
Datenwerten Farben und Transparenzen zugeordnet.
-
Die
US 2007/0236496 A1 beschreibt
ein Verfahren zur künstlerischen
Darstellung von CT-Bildern, bei dem Techniken wie Duplizierung,
Symmetrieinversion, Kontrastinversion, Überlagerung mehrerer Bilder
oder Verformung des Bildinhalts, gegebenenfalls in Verbindung mit
einer Farbgebung angewendet werden, um ein künstlerisches Ergebnis der Bilddarstellung
zu erhalten.
-
Die
Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren
zur Visualisierung von 3D-Bilddaten der tomographischen Bildgebung
mit einer Rendering-Technik anzugeben, das einen Schichtabtrag störender Materialschichten
ermöglicht,
ohne die obigen Nachteile aufzuweisen.
-
Die
Aufgabe wird mit dem Verfahren und der Vorrichtung gemäß den Patentansprüchen 1 und
5 gelöst.
Vorteilhafte Ausgestaltungen des Verfahrens sowie der Vorrichtung
sind Gegenstand der Unteransprüche
oder lassen sich der nachfolgenden Beschreibung sowie dem Ausführungsbeispiel
entnehmen.
-
Bei
dem vorgeschlagenen Verfahren wird mit der eingesetzten Rendering-Technik
in bekannter Weise jeder Bildpunkt durch Integration oder Summation
entlang jeweils eines vom Auge des Betrachters ausgehenden Sehstrahls
durch das von den 3D-Bilddaten
umfasste Volumen berechnet. Dies entspricht der bekannten Ray-Casting
Technik. Das Verfahren zeichnet sich dadurch aus, dass zusätzlich eine
kontinuierliche Abtragungsfunktion als Integrand oder Summand in
die Integration oder Summation aufgenommen wird, durch die die 3D-Bilddaten
auf dem jeweiligen Sehstrahl bei einer front-to-back Composition
erst ab einem vorgebbaren Wert der optischen Eindringtiefe mit ihrem
vollen Datenwert zu einer Verringerung der optischen Transparenz
bei der Integration oder Summation beitragen. Die Abtragungsfunktion
ist dabei so gewählt,
dass in einem Übergangsbereich
vor Erreichen dieser Eindringtiefe die 3D-Bilddaten auf dem Sehstrahl
nur mit einem in Richtung des Sehstrahls zunehmenden Teil ihres
vollen Datenwertes zur Verringerung der optischen Transparenz beitragen,
so dass ein weicher Verlauf der Abtragung erzeugt wird. Der Übergangsbereich kann
sich hierbei über
den gesamten Integrations- oder Summationsbereich vor Erreichen
der Eindringtiefe oder auch nur über
einen Teil dieses Bereichs erstrecken, wobei die Werte der 3D-Bilddaten
dann im verbleibenden Teil auf Null gesetzt, d. h. voll transparent
geschaltet, werden.
-
Die
für die
Durchführung
des Verfahrens ausgebildete Vorrichtung weist zumindest einen Speicher
für die
3D-Bilddaten und eine Recheneinheit auf, die entsprechend zur Durchführung des
Verfahrens eingerichtet ist.
-
Mit
dem Verfahren ist es möglich,
Sicht behinderndes Material für
die Visualisierung der 3D-Bilddaten selektiv abzutragen. Das Verfahren wirkt
vergleichbar einem Sandstrahlgebläse, wobei die vorgebbare Eindringtiefe
festlegt, wie viel Material insgesamt abgetragen wird. Weicheres
Material, das hier dem Material einer höheren Transparenz entspricht,
wird stärker
erodiert als härteres
Material, das hier Material einer geringeren Transparenz entspricht.
-
Über eine
Anpassung der entsprechenden Transferfunktion kann in diesem Sinne
die Härte
des jeweiligen Materials über
dessen optische Dichte zusätzlich
eingestellt werden, um den Prozess der Abtragung, im Folgenden auch
als Erosion bezeichnet, zu beeinflussen. Stellt man bspw. die Härte des Schädelknochens
künstlich
auf sehr niedrige Härtegrade
ein, so wird automatisch das Gehirn freigelegt.
-
Das
Verfahren und die zugehörige
Vorrichtung ermöglichen
auch eine interaktive Steuerung, bei der für jeden möglichen Betrachterpunkt die
Eindringtiefe interaktiv verändert
und das Bildergebnis in Echtzeit berechnet und dargestellt werden
kann. Der Benutzer kann damit die Eindring- und somit die Abtragtiefe
für seine
Erfordernisse geeignet anhand der Darstellungen variieren oder einstellen.
-
Mit
dem Verfahren und der zugehörigen
Vorrichtung lassen sich Rendering-Artefakte an den Schichtgrenzen
vermeiden, da über
die Abtragungsfunktion keine harte Schichtgrenze sondern ein kontinuierlicher,
weicher Schichtübergang
erzeugt wird. Sowohl der Wert für
die Eindringtiefe als auch der für den
weichen Schichtübergang
eingesetzte Parameter der Abtragungsfunktion lassen sich interaktiv
festlegen. Insgesamt wird dies durch die kontinuierliche Umformung
des Strahlintegrals bzw. der Summation erreicht.
-
In
einer vorteilhaften Ausgestaltung wird die Abtragungsfunktion PF(d)
in Abhängigkeit
von der optischen Eindringtiefe d(l) so gewählt, dass PF(d) = min(d/c;
1)1/e, wobei c dem vorgebbaren Wert der
optischen Eindringtiefe und e einem den weichen Verlauf erzeugenden
vorgebbaren Wert entspricht. Das Verfahren lässt sich mit unterschiedlichen
Rendering-Techniken
einsetzen, die ein Strahlintegral oder eine entsprechende Summation
verwenden, insbesondere mit der Volumen-Rendering Technik oder mit der Gradientenmagnituden-Rendering
Technik.
-
Besonders
vorteilhafte Anwendungsgebiete des Verfahrens betreffen die Medizintechnik,
insbesondere die Visualisierung von 3D-Bilddaten der Computertomographie
oder der Magnetresonanztomographie. So lassen sich mit dem Verfahren
und der Vorrichtung besonders gut Bildaufnahmen des Gehirns oder
auch von Tumoren, wie bspw. eines Brusttumors, visualisieren. Ein
weiteres Anwendungsgebiet betrifft die Durchleuchtung von Gepäck, bspw.
auf Flughäfen.
Mit dem vorgeschlagenen Verfahren lässt sich der Inhalt eines Gepäckstücks unter Aufrechterhaltung
der meisten Details besser visualisieren als bei anderen bekannten
Verfahren, bspw. dem in der Beschreibungseinleitung genannten Abtragungsverfahren
durch Nutzung eines Schwellwerts.
-
Eine
vorteilhafte Möglichkeit
der Visualisierung von 3D-Bilddaten
besteht auch darin, den vorgebbaren Wert der optischen Eindringtiefe
automatisch durch die eingesetzte Recheneinheit während der
Bilddarstellung kontinuierlich oder in vorgebbaren Schritten erhöhen zu lassen.
In diesem Falle wird dem Betrachter eine Bildabfolge oder Bildveränderung
dargestellt, in der immer tiefer liegende Details des Volumens erkennbar
werden. Vorzugsweise hat der Betrachter dabei auch die Möglichkeit,
die Bildabfolge oder Bildveränderung
bzw. die automatische Änderung
des vorgebbaren Werts der Eindring tiefe bei der Bilddarstellung
zeitweise zu stoppen, um bestimmte Bilder eingehender analysieren
zu können, und
anschließend
wieder fortzusetzen.
-
Das
vorgeschlagene Verfahren wird nachfolgend anhand eines Ausführungsbeispiels
in Verbindung mit den Zeichnungen nochmals näher erläutert. Hierbei zeigen:
-
1 eine
schematische Darstellung des Verfahrensablaufes beim vorgeschlagenen
Verfahren; und
-
2 ein
Beispiel für
eine Darstellung der 3D-Bilddaten nach der Abtragung einer Schicht
gemäß dem vorgeschlagenen
Verfahren.
-
Für die Beschreibung
eines Beispiels des vorgeschlagenen Verfahrens wird zunächst der
hierbei eingesetzte Ray-Casting-Algorithmus
nochmals näher
erläutert.
Hierbei werden ausgehend vom Auge des Betrachters und in Abhängigkeit
von der Auflösung
Strahlen durch das darzustellende Volumen gezogen, auf denen jeweils
alle auf dem jeweiligen Sehstrahl liegenden Voxel mit ihrem Datenwert zu
einer Summe oder einem Integral über
den Strahl beitragen. Sei r(l) = ep + l·vd ein Strahl durch das Volumen,
wobei ep die Augenposition, vd die Blickrichtung und 1 der Betrachtungsabstand
sind, durch den der Strahl parametrisiert wird. Sei weiterhin s(l)
der Skalarwert des betrachteten Volumens an der entsprechenden Position
r(l) auf dem Strahl. Seien weiterhin TF
e(s)
der Emissionsteil der Transferfunktion und TF
a(s)
der Absorptionsteil der Transferfunktion, d. h. der relative Absorptionskoeffizient.
sei die optische Tiefe bei
der Entfernung l auf dem Strahl. Ferner sei t(l) = e
–a·d(l) die
akkumulierte Transparenz bei der Entfernung l auf dem Strahl mit
dem globalen Absorptionskoeffizienten a. Dann ergibt sich das Strahlintegral
-
Die
Diskretisierung dieses Integrals führt zu der Schritt-für-Schritt Formulierung, die
in den meisten front-to-back-Implementierungen
eines Ray-Casters eingesetzt werden. Für den Fall von vorberechnetem α zeigt der
folgende Pseudocode den Ray-Casting-Prozess für eine Reihe von m abgetasteten
Scalarwerten sn:
l0 =
0
I0 = (0, 0, 0)
for each n =
0 ... m do
ln+1 = ln +
TFa(sn)
In+1 = In + TFe(sn)·TFa(sn)·exp(–a·ln)
output color Im
-
Mit
der in der Beschreibungseinleitung erläuterten Technik des Opacity
Peeling von Rezk-Salama et al. würde
die mit obigen Berechnungen akkumulierte Opazität bei jedem Schritt überprüft und bei
Erreichung eines Schwellwertes auf 0 gesetzt werden. Durch diese
Schwellwerttechnik wird jedoch das bereits angeführte Pixel-Flattern verursacht.
Zur Vermeidung dieses Pixel-Flatterns wird gemäß dem vorgeschlagenen Verfahren
eine Abtragungsfunktion eingeführt,
die einen weichen Übergang
bei der Abtragung erzeugt.
-
Diese
Abtragungsfunktion PF(d) spezifiziert die Verringerung der Opazität in Abhängigkeit
von der optischen Tiefe d(l). PF(d) = 1 bedeutet in diesem Zusammenhang,
dass kein Material abgetragen wird. PF(d) = step
c(d)
würde bedeuten,
dass das gesamte Material abgetragen wird bis eine optische Tiefe
c erreicht ist. Sei
die vorintegrierte Abtragungsfunktion.
Sei d
p(l) = PPF(d(l)) die abgetragene optische
Tiefe und t
p(l) = e
–a·dp(l) die
abgetragene Transparenz bei der Entfernung l auf dem Strahl. Damit
ist
das abgetragene Strahlintegral.
Daraus ist ersichtlich, dass nicht nur die Absorption sondern auch
die Emission durch die Abtragungsfunktion verringert wird, da die
abgetragenen Bereiche nicht zur Emission beitragen.
-
Anstelle
der Spezifizierung eines harten Schwellwertes wird bei dem vorgeschlagenen
Verfahren eine Abtragungsfunktion gewählt, die eine weiche Degradation
der abgetragenen Schichten erzeugt. Hierzu wird im vorliegenden
Beispiel PF(d) = min(d/c; 1)1/e gewählt, wobei
c die beabsichtigte Abtragungstiefe der weichen Erosion angibt und
e einen die Weichheit der Grenzschichten des abgetragenen Bereiches
entsprechenden Parameter angibt. Der entsprechende Pseudocode lautet
dann wie folgt:
l0 = 0
I0 = (0, 0, 0)
for each n = 0 ... m do
ln+1 = ln + TFa(sn)
In+1 = In + TFe(sn)·TFa(sn)PFa(ln)·exp(–a·PPF(ln))
output color Im
-
Das
vorgeschlagene Verfahren lässt
sich neben der oben genutzten Volumen-Rendering Technik auch für die Gradientenmagnituden-Rendering
Technik einsetzen. Hierbei wird lediglich die folgende Modifikation
im Pseudocode durchgeführt:
ln+1 = ln + TFa(sn)·gradmag(xn)
In+1 = In + TFe(sn)·TFa(sn)·PF(ln)·exp(–a·PPF(ln))·gradmag(xn)
-
1 zeigt
beispielhaft den Verfahrensablauf bei der Durchführung des vorgeschlagenen Verfahrens.
Bei diesem Verfahrensablauf wird auf die 3D-Bilddaten 1 der
obige Ray-Casting-Algorithmus 2 angewendet,
dem die beabsichtigte Ein dringtiefe c und der Parameter e für die Bestimmung
der Weichheit des Übergangs
vorgegeben werden. Das damit erzeugte Bild wird dann an einem Monitor 3 dargestellt.
Der Benutzer kann nun interaktiv sowohl die Eindringtiefe c als
auch den Parameter e ändern,
so dass der Schritt 2 mit den neuen Parametern erneut durchgeführt und
das Ergebnis wiederum am Monitor 3 dargestellt wird. Auf
diese Weise lässt
sich interaktiv die gewünschte
Darstellung anpassen oder durch ständige Veränderung der Parameter eine
Visualisierung erzeugen, bei der sich der Benutzer durch die äußeren Bereiche
bis in den inneren Bereich des durch die 3D-Biddaten dargestellten
Volumens bewegt.
-
2 zeigt
ein Beispiel für
eine Bilddarstellung der 3D-Bilddaten
eines mittels MRT aufgezeichneten Bildes des Kopfes eines Patienten
in Seitenansicht und Rückansicht.
In dieser Darstellung wurde gemäß dem vorgeschlagenen
Verfahren die äußerste Schicht
mit dem Schädelknochen
weich abgetragen.
das abgetragene Strahlintegral. Daraus ist ersichtlich, dass nicht nur die Absorption sondern auch die Emission durch die Abtragungsfunktion verringert wird, da die abgetragenen Bereiche nicht zur Emission beitragen.