-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beeinflussung einer Darstellung eines dreidimensionalen, mittels Volume Rendering darstellbaren Objekts.
-
Die Erfindung liegt auf dem Gebiet des Volume Rendering, d. h. der Darstellung bzw. Visualisierung von dreidimensionalen Körpern bzw. Objekten. Die Modellierung, Rekonstruktion oder Visualisierung von dreidimensionalen Objekten hat einen weiten Anwendungsbereich in den Feldern Medizin (z. B. CT, PET, MR, Ultraschall), Physik (z. B. Elektronenstruktur großer Moleküle) oder Geophysik (Beschaffenheit und Lage von Erdschichten). Typischerweise wird das zu untersuchende Objekt bestrahlt (z. B. mittels elektromagnetischer Wellen oder Schallwellen), um seine Beschaffenheit zu untersuchen. Die gestreute Strahlung wird detektiert und aus den detektierten Werten werden Eigenschaften des Körpers ermittelt. Üblicherweise besteht das Ergebnis in einer physikalischen Größe (z. B. Dichte, Anteil von Gewebebestandteilen, Elastizität, Geschwindigkeit), deren Wert für den Körper ermittelt wird. Dabei verwendet man in der Regel ein virtuelles Gitter, an dessen Gitterpunkten der Wert der Größe ermittelt wird. Diese Gitterpunkte bzw. die Werte der Größe an diesen Orten werden üblicherweise als Voxel bezeichnet. Diese liegen häufig in der Form von sog. Grauwerten vor.
-
Mittels Volume Rendering wird aus den Voxeln eine dreidimensionale Darstellung des untersuchten Objekts bzw. Körpers auf einer zweidimensionalen Darstellungsfläche (z. B. Bildschirm) erzeugt. Dabei werden aus den Voxeln sog. Pixel erzeugt (häufig mit der Zwischenstufe von aus den Voxeln durch Interpolation gewonnenen Objektpunkten), aus welchen das Bild der zweidimensionalen Bildanzeige zusammengesetzt ist. Um auf einer zweidimensionalen Anzeige drei Dimensionen zu visualisieren, wird in der Regel ein sog. Alpha-Compositing bzw. eine Alpha-Zerlegung vorgenommen. Bei dieser Standardmethode werden Voxeln bzw. aus Voxeln gebildeten Volumenpunkten sowohl Farben als auch Durchlässigkeitswerte, genauer gesagt Werte für die Undurchlässigkeit bzw. Opazität (üblicherweise bezeichnet mit dem englischen Begriff Opacity, der die Durchlässigkeit bzw. die Deckkraft verschiedener Schichten des Körpers ausdrückt) zugeordnet. Konkreter werden einem Objektpunkt üblicherweise drei Farben in Form eines Drei-Tupels, der die Anteile der Farben rot, grün und blau kodiert (sog. RGB-Wert), und ein sog. Alpha-Wert, der die Undurchlässigkeit parametrisiert, zugeordnet. Zusammen bilden diese Größen einen Farbwert RGBA, der mit den Farbwerten anderer Objektpunkte zu einem Farbwert für das Pixel kombiniert bzw. gemischt werden (für die Visualisierung von teilweise transparenten Objekten üblicherweise mittels eines sog. alpha blending).
-
Für die Zuordnung eines passenden Farbwertes wird meist mit einem Beleuchtungsmodell gearbeitet. Dieses Beleuchtungsmodell berücksichtigt Lichteffekte (in der Regel Reflexionen des Lichtes an Oberflächen des Objektes; dabei kann es sich um die äußere Oberfläche oder um Oberflächen innere Schichten des untersuchten Objektes handeln) bei einer zum Zwecke der Visualisierung modellierten bzw. simulierten Bestrahlung des Objektes.
-
Es gibt in der Literatur eine Reihe von Beleuchtungsmodellen, die angewandt werden. Gebräuchlich ist z. B. das Phong- oder Blinn-Phong-Modell.
-
Eines der meistbenutzten Verfahren zum Volume Rendering ist das sog. Ray-Casting bzw. die Simulation einer Lichteinstrahlung zur Darstellung bzw. Visualisierung des Körpers.
-
Beim Ray-Casting werden imaginäre Strahlen, die vom Auge eines imaginären Betrachters ausgehen, durch den untersuchten Körper bzw. das untersuchte Objekt gesendet. Entlang der Strahlen werden für Abtastpunkte RGBA-Werte aus den Voxeln bestimmt und zu Pixeln für ein zweidimensionales Bild mittels Alpha Compositing bzw. Alpha Blending vereinigt. Beleuchtungseffekte werden dabei üblicherweise mittels eines der oben abgesprochenen Beleuchtungsmodelle im Rahmen eines mit „Shading” bezeichneten Verfahrens berücksichtigt.
-
Für das bessere Studium von Eigenschaften eines mit Volume Rendering dargestellten Objektes ist häufig eine geeignete Anpassung der Darstellung des Objektes erforderlich. Konkret soll es möglich sein, die Darstellung des auf einem Bildschirm dargestellten Objekts zu verändern oder zu beeinflussen, z. B. indem Teile des Objekts eingefärbt, entfernt oder vergrößert werden. Für derartige Manipulationen werden in der englischsprachigen Fachliteratur auch die Begriffe Volume Editing und Segmentation benutzt. Volume Editing bezieht sich dann auf Eingriffe wie Clipping, Cropping und Punching. Segmentation erlaubt die Klassifizierung von Objektstrukturen, wie z. B. anatomische Strukturen eines dargestellten Körperteils. Im Zuge der Segmentierung werden z. B. Objektbestandteile eingefärbt oder entfernt. Der Begriff Direct Volume Editing bezieht sich auf das interaktive Editieren bzw. Beeinflussen der Objektdarstellung mittels virtuellen Werkzeugen wie Pinsel (brushes), Meißel (chisels), Bohrer (drills) oder Messer (knifes). Zum Beispiel kann der Benutzer interaktiv das auf einem Bildschirm dargestellte Bild des Objektes durch Einfärben oder Wegschneiden an Objektteilen mittels einer Maus oder einem anderen haptischen oder anders funktionierenden Eingabemittel verändern.
-
Bei einer derartigen Bearbeitung des dargestellten Objekts ist es vielfach nicht ausreichend, die berechneten Pixel des Objektbildes zu verändern, sondern es muss eine Neuberechnung von Pixel erfolgen. D. h. bei vielen derartigen Manipulationen (Einfärbungen, Clippings, ...) muss das Volume Rendering bei jeder Änderung neu durchgeführt werden. Die Manipulation wird dann an den für das Volume Rendering verwendeten Volumendaten durchgeführt. Ein Verfahren dafür wurde von Bürger et al. [1] vorgeschlagen. Dieses Verfahren ermöglicht eine Manipulation der Darstellung über das direkte Editieren eines replizierten Volumens.
-
Es besteht ein Bedarf an flexiblen, aufwandsarmen Verfahren zur Manipulation der Darstellung von Objekten mittels Volume Rendering, wobei vor allem Speicher-, Rechen- und Bandbreitenanforderungen im Vergleich zu bekannten Verfahren reduziert werden sollten.
-
Die Erfindung hat eine flexible und aufwandsarme Anpassung bzw. Änderung der Darstellung eines Objektes mittels Volume Rendering zur Aufgabe.
-
Diese Aufgabe wird durch die Ansprüche gelöst.
-
Erfindungsgemäß wird eine (üblicherweise aus Pixel bestehende, auf einem Bildschirm anzeigbare) Darstellung eines dreidimensionalen, mittels Volume Rendering (z. B. Ray Casting) darstellbaren Objekts beeinflusst. Diese Beeinflussung besteht z. B. in einer Anpassung bzw. Änderung durch Einfärben oder Entfernen von Teilen des Objektes.
-
Dabei wird eine Repräsentation des Objekts verwendet, bei welcher an Raumpunkten des Objekts Werte einer das Objekt charakterisierenden Größe (z. B. eine physikalische Größe, wie die Dichte) gegeben sind. Diese Größe kann z. B. in der Form von Grauwerten vorliegen, die durch eine Messung mit einem Bildgebeverfahren (Kernsein, CT, Ultraschall, PET) erhalten wurden. Die Raumpunkte können z. B. im Zuge eines Volume Renderings verwendeten Abtastpunkten entsprechen, z. B. bei Ray Casting entlang eines simulierten Strahls definierten Abtastpunkten. Den Raumpunkten sind Farbwerte zuordenbar. Der Begriff „Farbwert” soll dabei die verschiedenen Formen von Farbdarstellung umfassen. Insbesondere soll dieser Begriff auch die Darstellung von Farbwerten in Form der vier RGBA-Werte und somit auch eine Opazitätsinformation beinhalten.
-
Für die Beeinflussung der Darstellung des Objektes ist die Eingabe einer im Raum der Repräsentation des Objektes definierten Punktemenge vorgesehen. Vorzugsweise ist diese Punktemenge durch Parameter definiert und über diese Parameter eingebbar bzw. festlegbar. Z. B. sind die Parameter durch Punkte der Punktemenge gegeben. Zudem kann eine Geometrie bzw. eine parametrisierte Beschreibung der Punktemenge festgelegt sein, so dass einzelne eingegebene Punkte die Punktmenge definieren. Gemäß einer Ausgestaltung des Erfindungsgegenstandes ist die Punktemenge durch Liniensegmente gegeben, deren Endpunkte eingegeben werden. D. h. die Parameter bzw. Punkte definieren wenigstens ein Liniensegment (dabei ist es sinnvoll, auch die Eingabe von Einzelpunkten sowie eines Segments oder mehrerer, evtl. zusammenhängender Segmente zuzulassen). Die eingegebenen Punkte können auf der Oberfläche des Objektes liegen, was in der Regel eine vernünftige Festlegung ist, weil an der Objektoberfläche diverse Manipulationen (Einfärben, Cutting) ansetzten. Z. B. werden mit einem Eingabemittel auf einem Bildschirm vorgenommene Bewegungen erfasst und Punkten auf der Oberfläche des Objekts zugeordnet (Picking), z. B. Erfassung der Endpunkte eines Strichs und Zuordnung eines entsprechenden Liniensegments.
-
Über die Punktemenge wird der beeinflusste bzw. veränderte Bereich des Objekts festgelegt. Dazu wird ein Abstand von durch die Repräsentation umfassten Raumpunkten zu der Punktemenge bestimmt und es wird eine Modifizierung von Raumpunkten zugeordneten Farbwerten oder Festlegung von Farbwerten nach Maßgabe des berechneten Abstandes vorgenommen. Dabei handelt es sich in der Regel um den minimalen Abstand, d. h. den Abstand zu dem am nächsten liegenden Punkt der Punktemenge. Der berechnete Abstand ist ein Kriterium für das weitere Vorgehen. Z. B. wird ein Schwellenwert für den Abstand zu der Punktemenge vorgegeben, und eine Modifikation bzw. Festlegung für den Farbwert eines Raumpunktes erfolgt dann, wenn der berechnete Abstand kleiner als der Schwellenwert ist. Der Schwellenwert ist vorzugsweise ein eingebbarere Parameter. Über diesen lässt sich z. B. die Breite des veränderten Bereichs des Objektes steuern.
-
Es ist aber auch denkbar, dass dieser Schwellenwertabstand gleich null ist. Z. B. ist eine Eingabeoption denkbar, bei der der Benutzer einen Bereich auf dem Bildschirm einkreist und die Punktemenge durch den Oberflächenbereich des Objekts gegeben ist, der dem eingekreisten Bildbereich entspricht. Ein entsprechender Bereich kann auch in einer parametrisierten Form definiert werden (z. B. mittels Festlegung eines Mittelpunkts und eines Radius). In dieser Konstellation kann evtl. auch der Schwellenwert parallel zum Bereich gleich null sein und nur eine Tiefe der Beeinflussung festgelegt werden.
-
Es ist sinnvoll, die Abstandsberechnung auf Raumpunkte zu beschränken, die von der Beeinflussung betroffen sein können. Z. B. können die Raumpunkte durch Abtastpunkte von bei einem Ray Casting verwendeten Strahlen gegeben sein. Dann kann ermittelt werden, welche Strahlen überhaupt betroffen sein können (z. B. mittels einer Bestimmung des minimalen Abstandes des gesamten Strahles zu der Punktemenge), und es erfolgt nur für betroffene Strahlen eine Abstandsberechnung für die Abtastpunkte. Es wird somit eine Teilmenge von Strahlen ermittelt für die das Ray Casting neu berechnet werden muss. Das Ergebnis für die anderen Strahlen kann dann beibehalten werden.
-
Die Beeinflussung erfolgt durch Änderung bzw. Festsetzung des Farbwertes. Dies kann einzelne Komponenten des RGBA-Wertes betreffen (eine Farbe, eine Durchlässigkeit oder beides) oder auch durch Vorgabe bzw. Festsetzung einer Transferfunktion geschehen.
-
Schließlich wird eine Berechnung einer Darstellung des Objekts mittels Volume Renderung (z. B. Ray Casting) mittels der Repräsentation des Objektes durchgeführt, wobei die Repräsentation die modifizierten Farbwerte umfasst. Dabei wird vorzugsweise mitlaufend mit der Eingabe von Parametern ein Rendering durchgeführt, das die bereits eingegebenen Parameter berücksichtigt. Auf diese Weise bekommt der Nutzer unmittelbar ein Feedback zu seiner jüngsten Änderung (Interaktivität).
-
Die Erfindung hat den Vorteil, dass aufwandsarm Änderungen der Darstellung vorgenommen werden. Es wird kein repliziertes Volumen benötigt, in welchem Änderungen stattfinden. Besonders vorteilhaft ist die vorgeschlagene parameterorientierte Eingabe von Änderungen. Damit können Eingaben leicht modifiziert oder rückgängig gemacht werden. Diese Darstellung ist nicht Voxel-orientiert, so dass auch einer bzgl. Voxelabständen feineren Skala (sub-voxel) gearbeitet werden kann.
-
Weitere vorteilhafte Ausgestaltungen des Erfindungsgegenstandes sind in Unteransprüchen angegeben.
-
Im Folgenden wird der Erfindungsgegenstand im Rahmen eines Ausführungsbeispiels anhand von Figuren näher erläutert. Es zeigen:
-
1: Wesentliche Schritte des erfindungsgemäßen Vorgehens.
-
2: Veränderungen einer Objektdarstellung mittels eines erfindungsgemäßen Verfahrens
-
3: Illustration einer erfindungsgemäßen Abstandsberechnung
-
4: Illustration von zwei erfindungsgemäß erzeugten Strichen
-
5: Illustration des Effektes von Boundary Gradient Impregnation
-
6: Verwendung des Verfahrens für einen zusammengesetzten Datensatz
-
7: Verwendung des Verfahrens zur Segmentierung
-
8 eine Hardwarestruktur zur Durchführung des erfindungsgemäßen Verfahrens
-
Der Ausgangspunkt ist die Repräsentation des Objekts mittels RGBA-Werten (Schritt 1 aus 1). Diese sind durch ein herkömmliches Verfahren (z. B. Segmentierung bzw. Klassifizierung und Shading von mittels Bildgebeverfahren für das Objekt gewonnenen Grauwerten) ermittelt worden. Z. B. sind diese RGBA-Werte an Abtastpunkten von im Rahmen eines Ray Casting erzeugten Strahlen gegeben.
-
Im Folgenden wird angenommen, dass aus dieser Repräsentation eine zweidimensionale Darstellung (z. B. mittels Ray Casting) erzeugt wurde, die z. B. aus Pixelwerten besteht und mittels welcher auf einem Bildschirm bzw. Monitor ein Bild des Objektes gezeigt wird.
-
Ein Beispiel eines Ausschnitts dieses auf dem Monitor gezeigten Bildes ist in 2 gezeigt. Dort sind neun Teilbilder zu sehen, welche das Vorgehen illustrieren.
-
Die ersten fünf Teilbilder (oberste Reihe sowie linkes und mittleres Bild der mittleren Reihe) zeigen die Modifizierung von Bereichen des Objektes mittels Streichbewegungen bzw. brush strokes. Durch die Streichbewegungen werden Liniensegmente definiert. Dieser Schritt (Schritt 2 aus 1) wird im Folgenden mit Hilfe der 3 und 4 näher erläutert.
-
Der Benutzer bzw. Anwender beschreibt zur Eingabe mit einem Eingabemittel (z. B. Computermaus) auf dem dargestellten Bild einen Strich. Dieser Strich wird registriert, d. h. die Position des Eingabemittels wird detektiert. Anfangs- und Endpunkt des Strichs werden den entsprechenden auf dem Monitor gezeigten Punkten auf der Oberfläche des Objektes zugeordnet. D. h. durch einen Strich werden zwei, auf der Oberfläche des Objektes liegende Punkte P1 und P2 im Raum der Repräsentation definiert. In dem mittleren Teilbild der oberen Reihe von 2 ist ein mittels eines Strichs modifiziertes Rendering gezeigt. Solange ein Eingabemodus (der z. B. dem Drücken einer Maustaste entspricht) beibehalten wird, können mehrere Striche nacheinander durchgeführt werden, um entsprechende Bereiche des Objektes zu modifizieren. Dies ist in den Teilbildern 3–5 aus 2 gezeigt. Dort werden insgesamt vier Striche aneinander anschließend durchgeführt, um einen Bereich des Objektes einzufärben. Diese vier Striche korrespondieren mit Punkten P1, P2, P3, P4 und P5 auf der Oberfläche des Objekts, wobei jeweils zwei aufeinanderfolgende Punkte ein Liniensegment definieren.
-
Vorzugsweise werden dabei eingegebene Informationen sofort mittels Rendering in eine entsprechend geänderte Darstellung des Objekts umgesetzt. In den ersten fünf Teilbildern der 2 handelt es sich um eine Einfärbung der durch die Eingabe bestimmten Regionen. Im ersten Teilbild ist lediglich der Punkt P1 erfasst, dessen Umgebung eingefärbt wurde. Im zweiten Teilbild ist das durch P1 und P2 definierte Liniensegment erfasst und entsprechend eingefärbt worden. Bei den Teilbildern 3–5 kommen die anderen Liniensegmente hinzu. Die mitlaufende Anpassung der Bilddarstellung auf dem Monitor (durch entsprechendes Rendering des Objektes) hat den Vor teil, dass der Nutzer bei der Eingabe direkt eine visuelle Rückmeldung erhält und diese für die weitere Eingabe verwenden kann.
-
Die Änderung der Darstellung erfolgt mittels Modifizierung von RGBA-Werten. Für die Bestimmung der zu modifizierenden RGBA-Werte wird ein Abstandskriterium verwendet. Durch die Eingabe entsprechend 2 sind entweder ein einzelner Punkt, ein Liniensegment (mit Randpunkten P1 und P2) oder eine Mehrzahl von Liniensegmenten definiert. Für Punkte, an denen RGBA-Werte gem. der Repräsentation gegeben sind, wird der minimale Abstand zu der entsprechenden Punktmenge (Punkt, Segment oder Mehrzahl von Segmenten) berechnet (Schritt 3 aus 1) Dies ist in 3 für das durch P1 und P2 definierte Liniensegment (Punkte P mit P = P1 + u * (P2 – P1), u aus [0, 1]) gezeigt. Für den Punkt P1RGBA ist der minimale Abstand d1 der Abstand zu dem Punkt P auf dem Segment. Dabei kann der Punkt P mit dem minimalen Abstand aus der Bedingung ermittelt werden, dass eine durch P und P2RGBA führende Gerade senkrecht zu dem durch P1 und P2 definierten Liniensegment ist. Mit dem Skalarprodukt von Vektoren kann diese Bedingung ausgedrückt werden als (P1RGBA – P) * (P2 – P1) = 0. Der Ansatz P = P1 + u * (P2 – P1) eingesetzt in diese Beziehung und Auflösen nach u liefert dann umin = (P1RGBA – P1) * (P2 – P1)/(P2 – P1) **2. Der Abstand d1 ist dann durch den Abstand der Punkte P1RGBA und P gegeben, wobei P durch umin bestimmt ist (P = P1 + umin * (P2 – P1)). Für die Punkte P2RGBA und P3RGBA sind die minimalen Abstände d2 und d3 die Abstände zu den Endpunkten des Segments P1 bzw. P2. Für eine Mehrzahl von Segmenten wird der minimale Abstand ermittelt durch das Minimum der minimalen Abstände zu den einzelnen Segmenten. Das Ergebnis ist die Veränderung der Darstellung des Objektes im Bereich der Segmente. Dies ist in 4 für zwei Fälle veranschaulicht. Oben ist eine aus sechs Segmentlinien erzeugte Einfärbung eines Bereichs und unten eine aus zwei Segmentlinien bestehende Einfärbung gezeigt. Dabei wurden unterschiedliche maximale Abstände (d1(MAX) bzw. d2(MAX)) verwendet, was zu unterschiedlichen Breiten der eingefärbten Bereiche führt. Diese Breite lässt sich gem. bestehender Anforderungen anpassen. Es ist auch denkbar, die Tiefe des Bereichs unabhängig von der Breite zu variieren. Z. B. können durch das Abstandskriterium die Strahlen eines Ray Castings definiert werden, für die eine RGBA-Wert-Anpassung erfolgt. Die Länge des Strahl (von der Oberfläche aus), für die die Anpassung erfolgt, kann nach einem andern Kriterium erfolgen. Dies kann ein Abstandskriterium sein. Sinnvoll kann es aber auch sein, eine Anpassung vorzunehmen, bis eine Gewebeänderung erfolgt, d. h. dem Strahl entlang RGBA-Werte für eine Gewebeklasse anzupassen. Dies ist für eine Entfernung einer Gewebeschicht an eingegebenen Stellen hilfreich.
-
Das Kriterium für die Änderung bzw. Modifizierung des RGBA-Werts an einem Punkt PRGBA ist, dass der minimale Abstand kleiner ist als ein Maximalabstand d(MAX).
-
4 zeigt verschiedene Einfärbungen. Diese weisen auf weitere Parameter hin, mit denen die Darstellung angepasst wird. Dieses betreffen die Modifikation, welche die RGBA-Werte erfahren (Schritt
4 in
1). Je nach Änderung des RGBA-Wertes wird ein Bereich eingefärbt, lichtundurchlässig gemacht oder entfernt. Bei einer Einfärbung kann z. B. ein RBG-Wert vorgegeben werden, mit dem der jeweilige RGBA-Wert z. B. durch Addition, Subtraktion, Multiplikation oder Substitution) modifiziert wird. Im Folgenden sind drei Beispiel für Parameter angegeben, auf Basis derer ein Rendering für eine entsprechend der Eingabe geänderte Darstellung durchgeführt werden kann.
| Stroke | Brush-RGBA | Brush-Radius | Brush-Points |
| 1 | (1., 0., 0., 1.) | 0.05 | (P1, P2, P3, P4, P5) |
| 2 | (0., 1., 0., 1.) | 0.2 | (P1, P2, P3) |
| 3 | (0., 0., 0., 0) | 0.15 | (P1, P2, P3, P4, P5, P6, P7, P8, P9) |
-
Der Parameter Brush-RGBA wird mit den an den zu verändernden Abtastpunkten gegebenen RGBA-Werten multipliziert. Dabei ist der letzte Wert des Parameters Brush-RGBA der Alpha-Wert, d. h. die Undurchlässigkeit. Dieser ist für die ersten beiden Eingaben gleich 1. D. h. hier handelt es sich um eine Einfärbung gem. der durch die RGB-Werte vorgegebenen Farben (d. h. rot bzw. grün). Dagegen handelt es sich beim letzten Eintrag um eine Entfernung (Cutting), den der Alpha-Wert ist gleich 0. Dies führt zu einer Undurchlässigkeit von 0, d. h. Transparenz der betroffenen Abtastpunkte. Eine weitere Möglichkeit liegt in der Vorgabe einer speziellen Transferfunktion für den Bereich.
-
Der Parameter Brush-Radius bestimmt die Breite (ggfl. auch die Tiefe) des veränderten Bereichs. Der letzte Parameter Stroke-Points definiert Liniensegmente (jeweils durch die Endpunkte) und somit zusammen mit dem Parameter Brush-Radius den gesamten manipulierten Bereich.
-
Diese Eingabe in Form von Parametern erlaubt auf einfache Weise durch Änderung der Parameter Eingaben rückgängig zu machen oder zu ändern. Zum Beispiel macht die Ersetzung (P1, P2, P3, P4, P5) → (P1, P2, P3, P4) beim Parameters Brush-Points den letzten Teil der Eingabe rückgängig (z. B. wird in
-
2 das mittlere Bild 5 durch das Bild 4 ersetzt) und die die Ersetzung (P1, P2, P3, P4, P5) → (P1, P2, P3, P4, P5') ändert diese Eingabe.
-
Ebenso kann der Typ einer Manipulation verändert werden. Z. B. wird zunächst ein Bereich eingefärbt und dann entfernt. Dies geschieht durch entsprechende Änderung des Parameters Brush-RGBA (Alpha-Wert = 0) und wurde in 2 beim Übergang von Teilbild 5 auf 6 durchgeführt. In Teilbild 7 der 2 sind die zugehörigen Liniensegmente eingezeichnet. Zusätzlich zu den Parametern der obigen Tabelle können weitere Parameter bzw. Einstellungen die Darstellung des Objektes bestimmen. Z. B. ist in Teilbild 8 der 2 der markierte Bereich nur bis zum Schädelknochen, d. h. zum nächsten Gewebebereich abgetragen. In Teilbild 9 ist der Parameter Brush-Radius verändert (vergrößert) worden, um den betroffenen Bereich zu erweitern.
-
Diese Manipulationen erfordern jeweils das Rendering des Objektes mit geänderten RGBA-Werten (Schritt 5 aus 1). Dies wird vorzugsweise mittels Ray Casting durchgeführt. Dabei brauchen nur Strahlen neu berechnet zu werden, die durch die Manipulation der Objektdarstellung beeinflusst werden. Daher werden im Zuge einer Weiterbildung derartige Strahlen identifiziert. Dies kann durch Berechnung des minimalen Abstandes vom Strahl zu der Punktemenge (bzw. den Liniensegmenten) geschehen. Ist dieser Abstand größer als der Parameter Brush-Radius, so ist der Strahl nicht betroffen. Eine andere Vorgehensweise ist, vor dem Rendering erst den gesamten betroffenen Bereich festzulegen und die Strahlen zu bestimmen, die den Bereich schneiden.
-
Eine Weiterbildung des Erfindungsgegenstandes betrifft die Darstellung der Oberfläche beim Entfernen (Cutting) eines Objektbereichs. Für die Darstellung von Oberflächen ist ein entsprechendes Shading erforderlich. Dieses hängt bei den gebräuchlichen Modellen von dem lokalen Gradienten ab. Bei einer Entfernung von einem Bereich mittels des dargestellten Verfahrens korrelieren diese lokalen Gradienten nicht mit der Tatsache, dass durch die Entfernung im betroffenen Bereich eine andere Oberfläche des Objektes dargestellt werden soll. Dies ist im Teilbild oben links von 5 dargestellt. Dort wurde mit zwei Strichoperationen Objektbereiche entfernt. Die jeweiligen Oberflächen sind nicht gut zu erkennen.
-
Um die Oberflächen bei Cutting besser darzustellen, kann ein mit Boundary Gradient Impregnation bezeichnetes Vorgehen verwendet werden. Dabei werden für eine Schicht unterhalb des Cutting-Bereichs die lokalen Gradienten mit Oberflächengradienten verknüpft. Dabei werden z. B. die Oberflächengradienten gewichtet und zu den lokalen Gradienten addiert. Das mittlere obere Teilbild zeigt den Effekt eines derartigen Vorgehens. Die Oberfläche ist nun gut zu erkennen. In dem rechten oberen Teilbild wurden zudem Schatten für die Oberflächen berechnet, was zu einer noch plastischeren Darstellung führt. Die unteren drei Teilbilder zeigen den Einfluss des Gewichtes, mit dem der Oberflächengradient eingeht. Dieses gewicht nimmt in den Bildern von links nach rechts zu.
-
Die erfindungsgemäße Vorgehensweise hat den Vorteil, dass sich ob der parametrisierten Darstellung relativ einfach der Oberflächengradient berechnen lässt. Wenn die entfernten Bereiche durch einen Radius um Liniensegmente herum bestimmt sind, kann der Oberflächengradient für einen Punkt der Oberfläche durch Bestimmung des minimalen Abstands zu den Liniensegmenten erhalten werden. Die Differenz des Punktes auf der Oberfläche und des Punktes der Liniensegmente mit minimalem Abstand ist nämlich dann parallel zum Oberflächengradienten. Dieses Vorgehen ist im Zuge der Festlegung des zu entfernenden Bereichs sowieso für Abtastpunkte durchzuführen (vgl. 3).
-
Das Verfahren lässt sich auch auf kombinierte Datensätze anwenden, z. B. mittels verschiedenen medizinischen Modalitäten erhaltenen und kombinierten Daten. 6 zeigt die Kombination eines MR Datensatzes, mit dem Haut und Bereich innerhalb des Schädels dargestellt werden und eines CT Datensatzes, mit dem Knochen dargestellt werden. Bei einem kombinierten Datensatz können konsekutiv Operationen jeweils für einen Datensatz durchgeführt werden, z. B. bei für den fall von 6 zunächst eine Cutting-Operation für die Haut für den MR-Datensatz und anschließend eine Cutting-Operation zur Entfernung von Knochen für den CT-Datensatz. Zu diesem Zweck kann ein zusätzlicher Parameter eingeführt werden, der den Datensatz bezeichnet, für den eine Operation durchgeführt wird.
-
In 7 ist gezeigt, dass sich das erfindungsgemäße Vorgehen auch zur interaktiven Segmentierung des Objektes eignet. Hierbei wird ein Cutting mit einem Schwellenwertverfahren zur Beseitigung einer Gewebeschicht (in der Figur des Halses) verknüpft. In der Figur wird so die Carotis (Halsschlagader) dargestellt. Der Schwellenwert wurde hierbei so gewählt, dass die niedrigen Grauwerte der Haut entfernt und die hohen der haut beibehalten wurden. Anschließend wurde die Carotis mit mehreren Strichen eingefärbt und somit segmentiert. In diesem Fall wurden die Parameter für das Rendering durch Schwellenwerte für eine untere/obere Schwelle für die Grauwerte ergänzt, bei welchen ein Cutting bzw. eine Einfärbung erfolgen soll.
-
Es versteht sich, dass die vorliegende Erfindung in verschiedenen Formen von Hardware, Software, Firmware, Spezialzweckprozessoren oder einer Kombination daraus implementiert werden kann. Bevorzugt ist eine Implementierung auf einer GPU (graphics processing unit) mit OpenGL (open graphics language) und der OpenGL Shading Language.
-
In einer Ausführungsform kann die vorliegende Erfindung in Software als ein Anwendungsprogramm implementiert werden. Das Anwendungsprogramm kann auf einer Maschine hochgeladen und auf ihr ausgeführt werden, die eine beliebige geeignete Architektur aufweist.
-
Unter Bezugnahme auf 8 kann gemäß einer Ausführungsform der vorliegenden Erfindung ein Computersystem 401 für GPU basiertes Raycasting unter anderem eine zentrale Verarbeitungseinheit (central processing unit; CPU) 402, einen Speicher 403, und eine Eingabe-/Ausgabe(E-/A-)Schnittstelle 404 aufweisen. Das Computersystem 401 ist im Allgemeinen über die E-/A-Schnittstelle 404 mit einer Anzeigevorrichtung 405 und diversen Eingabevorrichtungen 106 wie z. B. eine Maus oder eine Tastatur gekoppelt. Die Zusatzschaltkreise können Schaltkreise wie z. B. Cache, Stromversorgung, Taktschaltungen und eine Kommunikationssammelleitungen umfassen. Der Speicher 403 kann ein Schreib-Lese-Speicher (random acces memory, RAM), ein Lese-Speicher (read only memory, ROM), ein Diskettenlaufwerk, ein Bandlaufwerk, usw. oder eine Kombination davon umfassen. Die vorliegende Erfindung kann als ein Programmroutine 407, die im Speicher 403 gespeichert ist und von der CPU 402 ausgeführt wird, implementiert werden, um das Signal von der Signalquelle 408 zu verarbeiten. Das Computersystem 401 umfasst des Weiteren eine grafische Verarbeitungseinheit (graphic processing unit; GPU) 409, zur Verarbeitung von Graphikanweisungen, z. B. zur Verarbeitung der Signalquelle 408, die Bilddaten aufweist. Als solches ist das Computersystem 401 ein allgemeines Mehrzweck-Computersystem, das zu einem Spezialzweck-Computersystem wird, wenn es das Programm 407 der vorliegenden Erfindung ausführt.
-
Die Computerplattform 401 enthält auch ein Betriebssystem und einen Mikrobefehlscode. Die verschiedenen, hierin beschriebenen Verfahren und Funktionen können entweder Teil des Mikrobefehlscodes oder Teil des Anwendungsprogramms (oder einer Kombination davon) sein, das von dem Betriebssystem ausgeführt wird. Darüber hinaus können verschiedene andere Peripheriegeräte wie z. B. eine zusätzliche Datenspeichereinrichtung und eine Druckeinrichtungen an die Computerplattform angeschlossen werden.
-
Es versteht sich des Weiteren, dass, da einige der einzelnen Systemkomponenten und Verfahrensschritte, die in den beigefügten Figuren dargestellt sind, in Software implementiert werden können, die tatsächlichen Verbindungen zwischen den Systemkomponenten (oder zwischen den Prozessschritten) abweichen können, in Abhängigkeit der Art und Weise, in der die vorliegende Erfindung programmiert ist. Mit der angegebenen Lehre der vorliegenden Erfindung, die hierin vorgelegt wird, wird der einschlägige Fachmann imstande sein, diese und ähnliche Ausführungen oder Konfigurationen der vorliegenden Erfindung zu berücksichtigen.
-
Die Erfindung ist nicht auf die im Ausführungsbeispiel dargestellten Anwendungen beschränkt. Insbesondere ist vorstellbar, dass bei virtuellen Darstellungen in ganz anderen Bereichen als der Medizintechnik dieses Verfahren zum Einsatz kommt. Beispiele sind die Visualisierung von Produkten im Rahmen von Wirtschaft und Handel und Computerspiele.
- [1] K. Bürger, J. Krüger, R. Westermann, „Direct Volume Editing", IEEE Transactions an Visualization and Computer Graphics (Proceedings of IEEE Visualization 2008)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Bürger et al. [0009]
- K. Bürger, J. Krüger, R. Westermann, „Direct Volume Editing”, IEEE Transactions an Visualization and Computer Graphics (Proceedings of IEEE Visualization 2008) [0057]
