DE102007039034A1 - Verfahren zur Erzeugung von künstlichen Bildern aus einem Volumendatensatz - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung von künstlichen Bildern (12) aus einem Volumendatensatz (10) zur Registrierung mit einem aktuellen Bild (13) mit folgenden Schritten: a) Erfassen der Intensitäten J(x, y) der einzelnen Bildpunkte eines Röntgenbilddetektors (4), b) Bestimmung eines Mittelwerts (31) aus den Intensitäten J(x, y) in einem Teilbereich der künstlichen Bilder (12), c) Normalisierung der Intensitäten J(x, y), so dass der Mittelwert einem Sollwert Jsoll entspricht, d) Skalierung des errechneten Mittelwerts J auf den Sollwert Jsoll, e) Addition des Offset-Werts Joffset auf die resultierenden Werte (Global-Offset-Korrektur 33) und f) Umsetzen der Werte in endgülte Grauwerte. Derartige Registrierungen werden benötigt, wenn man ein präoperativ aufgenommenes Volumen mit einem intraoperativ aufgenommenen Röntgenbild auf einer C-Bogen-Anlage überlagern möchte.

Description

• Die Erfindung betrifft ein Verfahren zur Erzeugung von künstlichen Bildern aus einem Volumendatensatz zur Registrierung mit einem aktuellen Bild. Derartige Registrierungen werden benötigt, wenn man ein präoperativ aufgenommenes Volumen mit einem intraoperativ aufgenommenen Röntgenbild auf einer C-Bogen-Anlage überlagern möchte.
• Aus der US 2006/0120507 A1 ist eine derartige C-Bogen-Anlage für Angiographie bekannt, die beispielsweise in der 1 dargestellt ist, die einen an einem Ständer 1 drehbar gelagerten C-Bogen 2 aufweist, an dessen Enden eine Röntgenstrahlungsquelle 3, beispielsweise ein Röntgenstrahler, und ein Röntgenbilddetektor 4 angebracht sind.
• Der Röntgenbilddetektor 4 kann ein rechteckiger oder quadratischer, flacher Halbleiterdetektor sein, der vorzugsweise aus amorphem Silizium (aSi) erstellt ist.
• Im Strahlengang der Röntgenstrahlungsquelle 3 befindet sich ein Patientenlagerungstisch 5 zur Aufnahme beispielsweise eines Herzen eines zu untersuchenden Patienten. An der Röntgendiagnostikeinrichtung ist ein Bildsystem 6 angeschlossen, das die Bildsignale des Röntgenbilddetektors 4 empfängt und verarbeitet. Die Röntgenbilder können dann auf einem Monitor 7 betrachtet werden.
• Die Registrierung von Bilddaten ist ein sehr häufiges Problem in der medizinischen Bildverarbeitung. Es tritt immer dann auf, wenn verschiedene Bilddaten der gleichen Modalität oder von unterschiedlichen Modalitäten gleichzeitig genutzt werden sollen, da dadurch beispielsweise genauere Diagnosen erstellt werden können. Eine sinnvolle Nutzung verschiedener Bilddaten macht es aber unausweichlich, dass die Bilddaten zuvor in Be ziehung zueinander gesetzt werden. Eine Möglichkeit besteht darin, die Bilddaten zuvor korrekt zu überlagern. Das ist das Ziel eines Registrierungsverfahrens.
• Bei dem besonderen Fall der 2-D/3-D-Registrierung, welche in der 2 veranschaulicht ist, möchte man ein präoperativ aufgenommenes Volumen mit einem intraoperativ aufgenommenen Röntgenbild auf einer C-Bogen-Anlage überlagern. Dazu muss ein 3-D-Volumendatensatz 10 gegen die echte Patientenlage registriert werden. Um diese Registrierung zu realisieren, stehen an Daten der 3-D-Volumendatensatz 10 und ein echtes Röntgenbild 13 zur Verfügung.
• Während des Registrierungsvorgangs werden in einem Schritt DRR-Erzeugung 11 künstliche Röntgenbilder (Digitally Reconstructed Radiograph – DRR 12) aus dem 3-D-Volumendatensatz 10 erzeugt. Nach der DRR-Erzeugung 11 muss das DRR 12 mit dem echten Röntgenbild 13 verglichen werden. Für diesen Vergleich wird meistens ein intensitätsbasiertes Gütemaß 14 eingesetzt, das als Kostenfunktion für das Optimierungsverfahren 19 der Registrierung fungiert. Das Gütemaß liefert dabei einen numerischen Wert 15, der angibt, wie ähnlich sich beide Bilder 12 und 13 sind. Über den Wert 15 des Gütemaßes bekommt man eine Aussage darüber, ob das Volumen schon mit dem Röntgenbild deckungsgleich ist und ob eine Optimierung 16 bereits erfolgt ist. Ist dies nicht der Fall, so muss das Volumen durch Veränderung des Parametervektors 17 im dreidimensionalen Raum verschoben und rotiert werden, bevor eine weitere Iteration des Registrierungsverfahrens einsetzt. Andernfalls ist der Registrierungsvorgang beendet und man hat den optimalen Parametervektor 18 gefunden.
• Bei einem derartigen 2-D/3-D-Registrierverfahren ist die DRR-Erzeugung 11 ein wesentlicher Bestandteil.
• Das Problem besteht nun darin, dass es umso einfacher ist, das DRR und das Röntgenbild korrekt zu registrieren, je ähnlicher sich beide Bilder sind. Sind beide Bilder radiome trisch ähnlich, so können laut "Automatic Registration of Portal Images and Volumetric CT for Patient Positioning in Radiation Therapy" von All Khamene [1] außerdem einfache intensitätsbasierte Gütemaße wie die Summe der quadratischen Differenzen (sum of squared differences – SSD) gemäß "Image Enhancement in Digital X-Ray Angiography" von Erik Meijering [4] benutzt werden. Andernfalls müssen aufwändig zu berechnende, multimodale Gütemaße wie die Transformation gemäß "Alignment by Maximization of Mutual Information" von Paul Viola et al. [5] eingesetzt werden.
• Je mehr sich ein DRR 12 und ein Röntgenbild 13 ähneln, desto einfacher ist es, diese Bilder korrekt zu registrieren. Sind sich das DRR 12 und das Röntgenbild 13 nicht ähnlich, so muss entweder das DRR 12 oder das Röntgenbild 13 durch Vor- oder Nachbearbeitungsschritte an das andere Bild angeglichen werden.
• Es ist aber auch möglich, auf solche Angleichungsmaßnahmen zu verzichten. So wurde in "Registration of Tomographic Images to X-Ray Projections for Use in Image Guided Interventions" von Penney [3] der radiometrische Unterschied zwischen dem DRR und dem Röntgenbild ignoriert und dafür ein Skalierungsfaktor in einigen Gütemaßen eingeführt, der den radiometrischen Unterschied zwischen dem DRR 12 und dem Röntgenbild 13 ausgleichen soll. Dabei tritt aber das Problem auf, dass man nun diesen Skalierungsfaktor korrekt bestimmen muss. Für die Schätzung des korrekten Skalierungsfaktors muss beispielsweise ein aufwändiges Optimierungsverfahren eingesetzt werden.
• In "Automatic Registration of Portal Images and Volumetric CT for Patient Positioning in Radiation Therapy" von Khamene [1] wurde versucht, mit Hilfe einer radiometrischen Kalibrierung die DRRs so zu erzeugen, dass sie den Röntgenbildern (radiometrisch) ähnlich sind. Die radiometrische Kalibrierung ist aber aufwändig, da die Parameter der radiometrischen Kalibrierung erst in einem Optimierungsverfahren geschätzt werden müssen.
• Dagegen wurde in "Kombination verschiedener Ähnlichkeitsmaße für die 2-D/3-D Registrierung von Röntgenbildern" von Feldmann [2] eine Bildvorverarbeitung durchgeführt, um die Röntgenbilder 13 an die DRRs 12 anzugleichen. Dabei wurden die Röntgenbilder invertiert und die resultierenden Grauwerte über den gesamten Wertebereich skaliert. Diese Angleichung der Röntgenbilder 13 an die DRRs 12 ist aber nur für den konkreten Einsatzzweck zu gebrauchen und wird in anderen Kontexten nicht mehr funktionieren.
• Die Erfindung geht von der Aufgabe aus, ein Verfahren der eingangs genannten Art derart auszubilden, das es ermöglicht, auf einfache Weise und mit wenig Aufwand ein DRR zu erzeugen, das dem echten Röntgenbild, was Bildeindruck, wie beispielsweise Helligkeit und Kontrast, angeht, so ähnlich wie möglich ist, damit sich der nachfolgende Registrierungsaufwand verringert.
• Die Aufgabe wird erfindungsgemäß durch folgende Schritte gelöst.
• a) Erfassen der Intensitäten J(x, y) der einzelnen Bildpunkte eines Röntgenbilddetektors,
• b) Bestimmung eines Mittelwerts aus den Intensitäten J(x, y) in einem Teilbereich der künstlichen Bilder,
• c) Normalisierung der Intensitäten J(x, y), so dass der Mittelwert einem Sollwert J_soll entspricht,
• d) Skalierung des errechneten Mittelwerts J auf den Sollwert J_soll
• e) Addition des Offset-Werts J_offset auf die resultierenden Werte (Global-Offset-Korrektur) und
• f) Umsetzen der Werte in endgültige Grauwerte.
• Dadurch wird erreicht, dass die DRRs sehr realitätsnah sind.
• In vorteilhafter Weise kann als Schritt b) der Mittelwert im inneren Drittel der künstlichen Bilder bestimmt werden.
• Es hat sich als vorteilhaft erwiesen, wenn als Schritt b) ein Dexinom-Wert durch

  

  errechnet wird, wobei |Ω| die Anzahl der Punkte im inneren Drittel der künstlichen Bilder ist und Ω der betrachtete Bildbereich (z. B. inneres Drittel) selbst.
• Erfindungsgemäß kann als Schritt c) jede Intensität J(x, y) mit einem Faktor als Global-Gain-Korrektur gemäß folgender Gleichung multipliziert werden:

  
• In vorteilhafter Weise kann der Schritt f) aus folgenden Schritten bestehen:
• f1) Einsetzen in eine Lookup-Tabelle (LUT) der aus Schritt e) resultierenden Werte zur Umwandlung in endgültige Grauwerte und
• f2) Auslesen der umgewandelten Grauwerte.
• Das Verfahren lässt sich beschleunigen, wenn es auf einer Grafikkarte (GPU) eines Bildsystems durchgeführt wird.
• Erfindungsgemäß kann das künstliche Bild ein Röntgenbild sein, das mit einem aktuellen Röntgenbild registriert wird.
• Alternativ kann das Verfahren zur Erzeugung von künstlichen Bildern aus einem Volumendatensatz zur Registrierung mit einem aktuellen Bild folgende Schritte aufweisen:
• a) Erfassen der Intensitäten J(x, y) der einzelnen Bildpunkte eines Röntgenbilddetektors,
• b) Bestimmung eines Dexinom-Werts als Mittelwert aus den Intensitäten J(x, y) im inneren Drittel der künstlichen Bilder gemäß folgender Gleichung:
  
• c) Normalisierung der Intensitäten J(x, y), so dass ihr Mittelwert einem Sollwert J_soll gemäß
  
  entspricht,
• d) Addition des Offset-Werts J_offset auf die resultierenden Werte als Global-Offset-Korrektur gemäß J''(x, y) = J'(x, y) + Joffset,
• e) Einsetzen der Werte in eine Lookup-Tabelle (LUT) zur Umwandlung in endgültige Grauwerte J'''(x, y) = γ(J''(x, y)) und
• f) Auslesen der umgewandelten Grauwerte.
• Weiterhin kann erfindungsgemäß das Verfahren zur Erzeugung von realitätsnahen künstlichen Bildern aus einem Volumendatensatz zur Registrierung mit einem aktuellen Bild folgende Schritte aufweisen:
• a) Ausführung eines Programms (Shader) zur Erzeugung von einfachen künstlichen Bildern auf einer Grafikkarte,
• b) Bestimmung eines Dexinom-Werts aus den einfachen künstlichen Bildern,
• c) Ausmaskieren des inneren Drittels der künstlichen Bilder mit Hilfe des Stencil-Tests,
• d) Bestimmung von Mittelwerten mittels Mipmaps,
• e) Auslesen der Werte von der Grafikkarte (GPU) auf die Prozessorkarte (CPU),
• f) Berechnung des Mittelwerts,
• g) Multiplikation mit einem Faktor Neun und
• h) Ausführung des Programms (Shader) zur Erzeugung von künstlichen Bildern auf der Grafikkarte mit modellierten, elektronischen Verarbeitungsschritten.
• In vorteilhafter Weise kann die Programmausführung gemäß Schritt h) zur Erzeugung von künstlichen Bildern auf der Grafikkarte mit modellierten, elektronischen Verarbeitungsschritten mit einem skalaren Wert zur Global-Offset-Korrektur, einem weiteren Faktor zur Skalierung des gemessenen Dexinom-Werts auf den Sollwert und Übergabe einer eindimensio nalen Textur erfolgen, in welcher eine Lookup-Tabelle für eine Gamma-Korrektur gespeichert ist.
• Die künstlichen Bilder können schnell und sicher nach dem Ray-Casting-Verfahren erstellt werden.
• Die Erfindung ist nachfolgend anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert. Es zeigen:
• 1 eine Röntgendiagnostikeinrichtung zur Durchführung des Verfahrens,
• 2 eine bekannte 2-D/3-D-Registrierung,
• 3 Durchstrahlung verschiedener Gewebeschichten und die damit verbundene Abschwächung der Röntgenintensität,
• 4 eine schematisch vereinfachte Berechnung mit gleicher Ausdehnung für alle Voxel,
• 5 bestimmte elektronische Verarbeitungsschritte zur Abbildung der Intensität auf einen Grauwert,
• 6 schematische Darstellung zur Ermittlung des Dexinom-Werts,
• 7 das Prinzip des Ray-Casting-Verfahrens,
• 8 einen erfindungsgemäßen Verfahrensablauf,
• 9 ein realitätsnahes DRR eines Kopfes eines Patienten,
• 10 ein echtes Röntgenbild des Kopfes gemäß 9,
• 11 ein realitätsnahes DRR eines Thorax eines Patienten und
• 12 ein echtes Röntgenbild des Thorax gemäß 11.
• Statt durch aufwändige Vor- und Nachbearbeitungsschritte das DRR 12 oder das Röntgenbild 13 an das jeweilige andere Bild anzugleichen, kann man auf diese Angleichmaßnahmen verzichten, wenn man die DRRs 12 realitätsnah erzeugt. Deshalb wird im Folgenden die realitätsnahe DRR-Erzeugung auf der Grafikkarte (GPU) beschrieben. Dazu wird zunächst die Theorie der realitätsnahen DRR-Erzeugung erklärt und dann deren effiziente Umsetzung auf der GPU.
• Nach Penney [3] hängt der Wert eines Pixels im Röntgenbild von folgenden zwei Faktoren ab. Zum einen von der Intensität der einfallenden Röntgenstrahlung auf den Röntgenbilddetektor und zum anderen von den darauf folgenden elektronischen Verarbeitungsschritten, welche die Röntgenintensität in einen Grauwert konvertieren. Die elektronischen Verarbeitungsschritte werden in der C-Bogen-Anlage automatisch ausgeführt. Diese internen Verarbeitungsschritte werden im Gegensatz zu Penney [3] mit in das Modell der realitätsnahen DRR-Erzeugung aufgenommen. Deshalb wird im Folgenden die Berechnung der Intensität der einfallenden Röntgenstrahlung auf den Röntgenbilddetektor beschrieben. Anschließend wird die Modellierung der elektronischen Verarbeitungsschritte erläutert.
• 
• Die Intensität J der Röntgenstrahlen 20, die auf den Röntgenbilddetektor 4 auftreffen, hängt nach Penney [3] von folgenden drei Faktoren ab: Der Ausgangsintensität J₀ der Röntgenstrahlungsquelle 3, der Distanz zwischen der Röntgenstrahlungsquelle 3 und dem Röntgenbilddetektor 4 und der Abschwächung der Röntgenstrahlen 20 aufgrund des durchstrahlten Materials. Im einfachsten Fall werden Röntgenbilder erzeugt, indem ein Röntgenstrahl 20 von der Röntgenstrahlungsquelle 3 durch das Gewebe zum Röntgenbilddetektor ausgesendet wird. Der Röntgenstrahl 20 durchquert Knochen, Weichteile und Luftschichten und wird dabei unterschiedlich stark abgeschwächt, wie dies anhand der 3 schematisch dargestellt ist. Die Ausgangsintensität J₀ wird dabei durch die verschiedenen Gewebeschichten exponentiell gemäß Gleichung (1) zu der Intensität J abgeschwächt. Jede Gewebeschicht besitzt dabei einen eigenen Abschwächungskoeffizienten (μ_i), der den Grad der Abschwächung angibt, sowie eine bestimmte Ausdehnung (d_i). So weist die Gewebeschicht in einem ersten äußeren Bereich 21 höhere CT-Zahlen (HU-Werte) mit einem ersten Abschwächungskoeffizienten (μ₁), die Gewebeschicht in einem zweiten Bereich 22 mittlere CT-Zahlen mit einem zweiten Abschwächungskoeffizienten (μ₂) und die Gewebeschicht in einem dritten, inneren Bereich 23 niedrige CT-Zahlen (HU-Werte) mit einem dritten Abschwächungskoeffizienten (μ₃) auf, die somit schwächer absorbiert und dunkel dargestellt ist. Die Kurve 24 zeigt dabei den Verlauf der fortschreitenden Schwächung.
• In der Gleichung (1) sind dabei die exakte und die approximale Berechnungsvorschrift für die Intensität der Röntgenstrahlung auf dem Röntgenbilddetektor 4 angegeben. Die Durchstrahlung verschiedener Gewebeschichten und die damit verbundene Abschwächung der Röntgenintensität sind in der 3 dargestellt.
• Besteht das Volumen aus einem äquidistanten Gitter von diskreten Voxeln 25, so besitzt jedes Voxel 25 die gleiche Ausdehnung, auch wenn diese für jede Dimension unterschiedlich sein kann. Jede Gewebeart hat nun nicht mehr ihre eigene Ausdehnung, sondern immer die Ausdehnung eines Voxels (Δd). Deshalb lässt sich Gleichung (1) vereinfachen:

  
• Die vereinfachte Berechnung ist schematisch in der 4 dargestellt.
• Sobald die mit einer Ausgangsintensität J₀ von der Röntgenstrahlungsquelle 3 ausgegangenen Röntgenstrahlen 20 auf den Röntgenbilddetektor 4 aufgetroffen sind, wird ihre Intensität J(x, y) am Bildpunkt (x, y) des Röntgenbilddetektors 4 festgestellt. Diese Intensität J(x, y) kann aber erst auf einen Grauwert abgebildet werden, nachdem bestimmte elektronische Verarbeitungsschritte in der C-Bogen-Anlage 1 bis 4 abgelaufen sind. Diese Schritte werden nachfolgend anhand der 5 erläutert.
• Zunächst wird eine Normalisierung der Intensitäten J(x, y) durchgeführt, so dass ihr Mittelwert einem Sollwert J_soll entspricht. Dazu wird in einem Schritt der sogenannte Dexinom-Wert 31 berechnet, indem der Mittelwert im inneren Drittel 35 des DRRs 12 bestimmt wird:

  
• Dabei ist |Ω| die Anzahl der Punkte im inneren Drittel 35 eines DRRs 12 und Ω der betrachtete Bildbereich, beispielsweise das innere Drittel, selbst. Die Ermittlung des Dexinom-Werts ist in der 6 schematisch angedeutet.
• Der errechnete Mittelwert J muss nun auf den Sollwert J_soll skaliert werden. Jede Intensität J(x, y) wird deshalb in einem weiteren Schritt mit einem Faktor zur Global-Gain-Korrektur 32 multipliziert:

  
• Zusätzlich wird in einem Schritt der Offset-Wert J_offset auf die resultierenden Werte zur Global-Offset-Korrektur 33 aufaddiert. Dieser Offset-Wert wird in der C-Bogen-Anlage auf die Intensitäten addiert, um negative Grauwerte zu vermeiden. J''(x, y) = J'(x, y) + Joffset (5)Im letzten Schritt werden die aus Gleichung (5) resultierenden Werte in eine Lookup-Tabelle (LUT) 34 eingesetzt, um so die endgültigen Grauwerte zu erhalten: J'''(x, y) = γ(J''(x, y)) (6)
• Die Lookup-Tabelle 34 wurde von Visualisierungsexperten angefertigt und soll die Qualität der Röntgenbilder verbessern.
• Der Sollwert J_soll und der Offset-Wert J_offset sind auf der C-Bogen-Anlage in der dortigen Bildverarbeitungskette, beispielsweise dem Bildsystem, definiert, da sie u. a. für die DRR-Erzeugung 11 bekannt sein müssen.
• Für die Berechnung eines realitätsnahen DRRs 12 aus einem Volumendatensatz 10 wird meist ein Ray-Casting-Verfahren eingesetzt, dessen Prinzip in der 7 dargestellt ist. Bei dem Ray-Casting-Verfahren werden simulierte Sehstrahlen 41 von einem Augpunkt 40 des Betrachters aus durch die Pixel der Bildebene 42 geschickt und durchqueren das Volumen 43, wobei sie bei den Schnittpunkten 44 in das Volumen eintreten und bei den gegenüberliegenden Schnittpunkten 45 austreten. Dies ist beispielsweise in "Ray Tracing Volume Densities" von Kajiya [6] beschrieben. Um ein einfaches DRR 12 effizient auf der Grafikkarte zu erzeugen, kann der aus "Acceleration Techniques for GPU-based Volume Rendering" von Krüger et al. [7] bekannte texturbasierte Ansatz verwendet werden, bei dem das Volumen als 3-D-Textur vorliegt. Auf dieser 3-D-Textur werden nacheinander mehrere Programme (Shader) auf der Grafikkarte ausgeführt, die aus dem Volumen ein einfaches DRR 12 erzeugen, das dann als 2-D-Textur auf der Grafikkarte vorliegt. Das Ray-Casting-Verfahren kann deshalb effizient auf der Grafikkarte ausgeführt werden, da diese eine hohe Taktfrequenz und eine Parallel-Architektur besitzt.
• Im Folgenden wird zunächst das allgemeine Vorgehen zur Erzeugung eines einfachen DRRs 12 beschrieben, welches vor der Erzeugung eines realitätsnahen DRRs 12 einmalig berechnet werden muss. Bei dem einfachen DRR 12 werden die modellierten, elektronischen Verarbeitungsschritte nicht ausgeführt. Erst nach der Berechnung eines einfachen DRRs 12 kann das realitätsnahe DRR 12 berechnet werden, bei dem auch die modellierten, elektronischen Verarbeitungsschritte ausgeführt werden.
• Durch das Ray-Casting-Verfahren soll das physikalische Modell der Ausbreitung der Röntgenstrahlung simuliert werden. Dazu wird für jeden Texel der 2-D-Textur, die später das DRR 12 enthalten soll, ein Programm auf der Grafikkarte aufgerufen. Dieses Programm erhält als Eingabe das zu projizierende Volumen, den Ein- und Austrittspunkt des Röntgenstrahls sowie die exakte Größe eines Voxels im Volumen. Innerhalb des Programms wird aus dem Ein- und Austrittspunkt der normierte Richtungsvektor des Röntgenstrahls für den aktuellen Texel berechnet sowie die nicht-normierte Länge des Strahls im Volumen. Die exakte Länge des Röntgenstrahls im Volumen kann berechnet werden, da die Größe eines Voxels bekannt ist.
• In einer festgelegten Schrittweite wird nun das Volumen entlang der Richtung des Sehstrahls abgetastet. An der aktuellen Position im Volumen wird der Abschwächungskoeffizient des Voxels ausgelesen. Dabei interpoliert die Grafikkarte automatisch trilinear, falls die Zugriffsposition zwischen mehreren Voxeln liegt. Gewichtet mit der Länge des Sehstrahls werden die Abschwächungskoeffizienten entlang des Sehstrahls aufsummiert. Danach muss die aktuelle Position im Volumen entsprechend der berechneten Richtung des Sehstrahls 41 um die definierte Schrittweite weiter geschoben werden, bis der Sehstrahl 41 das Volumen 43 verlassen hat. Gemäß Gleichung (2) wird dann die resultierende Intensität berechnet. Der Ablauf des erfindungsgemäßen Programms zur DRR-Erzeugung auf der Grafikkarte zeigt das nachfolgende Struktogramm.
• Vor der Erzeugung eines realitätsnahen DRRs muss der Dexinom-Wert bekannt sein. Deshalb muss zunächst aus dem einfachen DRR der Dexinom-Wert gemäß Gleichung (3) bestimmt werden. Nachdem das Programm (Shader) zur DRR-Erzeugung ausgeführt wurde, liegt das einfache DRR als zweidimensionale Textur auf der Grafikkarte vor. Aus dieser Textur lässt sich der Dexinom-Wert bestimmen. Um den Mittelwert im inneren Drittel des DRRs zu berechnen, kann mit Hilfe des Stencil-Tests (siehe Rost, "OpenGL Shading Language" [8]) der Bereich außerhalb des inneren Drittels ausmaskiert werden. Für den Stencil-Test wird dazu ein rechteckiger Ausschnitt des Bildschirms definiert, in dem, wie gewohnt, gezeichnet werden soll. Fragmente außerhalb dieses Ausschnittes werden am Ende der Rendering-Pipeline verworfen. Das Ausmaskieren des inneren Drittels des DRRs kann auch mit einer Fallunterscheidung durchgeführt werden, so dass das Programm jeden Pixel auf den Wert 0 (schwarz) setzt, der sich außerhalb des inneren Drittels befindet. Die Pixel innerhalb des inneren Drittels bleiben dabei erhalten. Um den Mittelwert der Grauwerte im inneren Drittel zu erhalten, können aus "Techniques for Accelerating Intensity-Based Rigid Image Registration" von Chisu [9] bekannte Mipmaps eingesetzt werden. Mipmaps sind ein hardwarebasiertes Verfahren der Grafikkarte, durch das große Texturen unter Ausnutzung eines 2 × 2-Mittelwertfilters effizient verkleinert werden können. Nachdem die Textur ausreichend verkleinert wurde, wird sie von der GPU auf die CPU ausgelesen. Aus diesen Werten wird der Mittelwert berechnet und mit dem Faktor Neun multipliziert. Der Mittelwert muss deshalb mit dem Faktor Neun multipliziert werden, da beim Mipmapping die schwarzen Bereiche der Textur außerhalb des inneren Drittels mit einbezogen werden.
• Da der Dexinom-Wert nun bekannt ist, kann das realitätsnahe DRR erzeugt werden. Hierfür werden dieselben Programme (Shader) auf der Grafikkarte ausgeführt, die schon bei der Berechnung des einfachen DRRs zum Einsatz kamen. Das Programm zur Erzeugung des realitätsnahen DRRs erhält aber noch zusätzliche Eingaben. Dem Programm muss ein skalarer Wert zur Global-Offset-Korrektur und ein weiterer Faktor übergeben werden, mit welchem der gemessene Dexinom-Wert gemäß Gleichung (4) auf den Sollwert skaliert werden kann. Zusätzlich wird eine eindimensionale Textur übergeben, in welcher eine Lookup-Tabelle für die Gamma-Korrektur gemäß Gleichung (5) gespeichert ist.
• In der 8 ist das derartige Verfahren zur Erzeugung von realitätsnahen künstlichen Bildern 12 aus einem Volumendatensatz 10 zur Registrierung mit einem aktuellen Bild 13 mit folgenden Schritten dargestellt:

50

Ausführung eines Programms (Shader) zur Erzeugung von einfachen künstlichen Bildern 12 auf einer Grafikkarte,

51

Bestimmung eines Dexinom-Werts aus den einfachen künstlichen Bildern 12,

52

Ausmaskieren des inneren Drittels der künstlichen Bilder

12

mit Hilfe des Stencil-Tests,

53

Bestimmung von Mittelwerten mittels Mipmaps,

54

Auslesen der Werte von der Grafikkarte (GPU) auf die Prozessorkarte (CPU),

55

Berechnung des Mittelwerts,

56

Multiplikation mit einem Faktor Neun,

57

Ausführung des Programms (Shader) zur Erzeugung von künstlichen Bildern 12 auf der Grafikkarte mit modellierten, elektronischen Verarbeitungsschritten und

58

Eingabe für die modellierten, elektronischen Verarbeitungsschritte mit

59

einem skalaren Wert zur Global-Offset-Korrektur,

60

einem weiteren Faktor zur Skalierung des gemessenen Dexinom-Werts auf den Sollwert und

61

einer Übergabe einer eindimensionalen Textur, in welcher eine Lookup-Tabelle für eine Gamma-Korrektur gespeichert ist.

• Dadurch erhält man auf einfache Weise und mit wenig Aufwand eine – was den Bildeindruck (Helligkeit, Kontrast, etc) angeht – realitätsnahe DRR-Erzeugung auf der Grafikkarte (GPU) des Bildsystems 6, so dass sich der nachfolgende Registrierungsaufwand verringert.
• Das Ray-Casting-Verfahren, das Bestandteil des erfindungsgemäßen Verfahrens ist, ist zwar bekannt, auch auf GPU gibt es dies bereits. Mit diesem Ray-Casting Bestandteil alleine könnte man auch DRRs berechnen (siehe [3]), die aber dann nicht die Ähnlichkeiten (Helligkeit, Kontrast) zum echten Röntgenbild aufweisen, wie durch das erfindungsgemäße Verfahren erreicht wird. Das Wesentliche ist der Prozess, der um das Ray-Casting-Verfahren herum abläuft, die Simulation der Physik zusammen mit elektrischen Eigenschaften des Detektors zusammen mit Teilen der Bildverarbeitungskette. Dieser Prozess ist in einem Schritt auf der GPU realisiert. Das kann auch auf der CPU durchgeführt werden, ist aber auf der GPU schneller zu realisieren, da sich die für das erfindungsgemäße Verfahren hilfreichen Bestandteile der GPU-Architektur einsetzen lassen.
• Die resultierenden DRRs und die entsprechenden Röntgenbilder sind in den 9 bis 12 zu sehen.
• In der 9 ist ein DRR 12 und in 10 ein echtes Röntgenbild eines Kopfes dargestellt. Mit Ausnahme der Bereiche um den Kopf, der für die Registrierung nicht interessant ist, sind sich die beiden Bilder so ähnlich, dass auf dem DRR keine weiteren Anpassungsschritte bzgl. Helligkeit, Kontrast, usw. durchgeführt werden müssen.
• Die 11 zeigt ein DRR 12 und die 12 ein echtes Röntgenbild eines Thorax. Mit Ausnahme der Bereiche, die im 3-D-Volumen nicht enthalten sind, ähneln sich die beiden Bilder derart, dass keine weiteren Anpassungsschritte erforderlich waren.
• Im Folgenden ist ein Struktogramm wiedergegeben, mittels dessen sich das erfindungsgemäße Verfahren durchführen lässt. Struktogramm

  
• Die durch die erfindungsgemäßen Verfahren erstellten DRRs weisen folgende Vorteile auf:
• • DRR 12 und Röntgenbild 13 sehen optisch gleich aus und sind radiometrisch sehr ähnlich, also besitzen fast die gleichen Grauwerte.
• • Durch die gesteigerte Ähnlichkeit von DRR 12 und Röntgenbild 13 kann auf zeitaufwändige Vor- und Nachbearbeitungsschritte verzichtet werden.
• • Da das DRR 12 nach der realitätsnahen DRR-Erzeugung dem Röntgenbild 13 radiometrisch ähnlich ist, können auch einfache Gütemaße wie die Summe der quadratischen Differenzen (SSD) eingesetzt werden. Andernfalls müssten aufwändig zu berechnende, multimodale Gütemaße wie die Transformation gemäß "Alignment by Maximization of Mutual Information" von Paul Viola et al. [5] eingesetzt werden.
• • Durch die radiometrische Ähnlichkeit von DRR 12 und Röntgenbild 13 gestaltet sich der Registrierungsvorgang einfacher und kann so schneller erfolgreich beendet werden.
• • Indem der Prozess der Entstehung der Röntgenbilder in der C-Bogen-Anlage 1 bis 4 nachgebildet wird, wird eine allgemein einsetzbare Lösung geschaffen, um die radiometrischen Unterschiede zwischen dem DRR 12 und dem Röntgenbild 13 zu beseitigen. Durch Vor- und Nachbearbeitungsschritte werden nur die Unterschiede zwischen dem DRR 12 und dem Röntgenbild 13 für einen konkreten Anwendungsfall behoben.
• • Indem die DRR-Erzeugung auf der Grafikkarte ausgeführt wird, kann der ganze Vorgang enorm beschleunigt werden. Die hohe Ausführungsgeschwindigkeit auf der Grafikkarte lässt sich auf die hohe Taktfrequenz und die Parallel-Architektur der Grafikkarte zurückführen.
• • Durch die DRR-Erzeugung auf der Grafikkarte können nachfolgende Schritte, wie beispielsweise die Berechnung der Gütemaße, auch effizient auf der Grafikkarte ausgeführt werden, ohne dass Latenzen beim Datenaustausch zwischen der CPU und der Grafikkarte auftreten.
• Literatur:
• [1] Ali Khamene, "Automatic Registration of Portal Images and Volumetric CT for Patient Positioning in Radiation Therapy, Medical Image Analysis, 10, Seiten 96 bis 112, 2005.
• [2] Tobias Feldmann, "Kombination verschiedener Ähnlichkeitsmaße für die 2-D/3-D Registrierung von Röntgenbildern", Diplomarbeit, Universität Koblenz-Landau, 2005, Seiten 80 und 81.
• [3] Graeme P. Penney, "Registration of Tomographic Images to X-Ray Projections for Use in Image Guided Interventions", PhD thesis, King's College, London, 1999, Seite 72 und 80.
• [4] Erik Meijering, "Image Enhancement in Digital X-Ray Angiography", PhD thesis, University Medical Center Utrecht, 2000, Seite 19.
• [5] Paul Viola and William M. Wells III, "Alignment by Maximization of Mutual Information", International Journal of Computer Vision, 24(2): Seiten 137–154, 1997.
• [6] James T. Kajiya, "Ray Tracing Volume Densities" in Proc. of the llth Annual Conference an Computer Graphics and Interactive Techniques, Seiten 165 bis 174, ACM SIGGRAPH, ACM Press, 1984.
• [7] Jens Krüger and R. Westermann, "Acceleration Techniques for GPU-based Volume Rendering" in Proc. of the 14th IEEE Visualization 2003, Seiten 287 bis 292, Washington, DC, USA, 2003, IEEE Computer Society.
• [8] Randi J. Rost, "OpenGL Shading Language" Addison-Wesley, Reading, 2004, Seiten 16 und 525.
• [9] Razvan Chisu, "Techniques for Accelerating Intensity-Based Rigid Image Registration", Diplomarbeit, Technische Universität München, 2005, Seiten 27 bis 29.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• - US 2006/0120507 A1 [0002]
• Zitierte Nicht-Patentliteratur
• - "Automatic Registration of Portal Images and Volumetric CT for Patient Positioning in Radiation Therapy" von All Khamene [0009]
• - "Image Enhancement in Digital X-Ray Angiography" von Erik Meijering [0009]
• - "Alignment by Maximization of Mutual Information" von Paul Viola et al. [0009]
• - "Registration of Tomographic Images to X-Ray Projections for Use in Image Guided Interventions" von Penney [0011]
• - "Automatic Registration of Portal Images and Volumetric CT for Patient Positioning in Radiation Therapy" von Khamene [0012]
• - "Kombination verschiedener Ähnlichkeitsmaße für die 2-D/3-D Registrierung von Röntgenbildern" von Feldmann [0013]
• - "Ray Tracing Volume Densities" von Kajiya [0053]
• - "Acceleration Techniques for GPU-based Volume Rendering" von Krüger et al. [0053]
• - Rost, "OpenGL Shading Language" [0057]
• - "Techniques for Accelerating Intensity-Based Rigid Image Registration" von Chisu [0057]
• - Ali Khamene, "Automatic Registration of Portal Images and Volumetric CT for Patient Positioning in Radiation Therapy, Medical Image Analysis, 10, Seiten 96 bis 112, 2005 [0066]
• - Tobias Feldmann, "Kombination verschiedener Ähnlichkeitsmaße für die 2-D/3-D Registrierung von Röntgenbildern", Diplomarbeit, Universität Koblenz-Landau, 2005, Seiten 80 und 81 [0066]
• - Graeme P. Penney, "Registration of Tomographic Images to X-Ray Projections for Use in Image Guided Interventions", PhD thesis, King's College, London, 1999, Seite 72 und 80 [0066]
• - Erik Meijering, "Image Enhancement in Digital X-Ray Angiography", PhD thesis, University Medical Center Utrecht, 2000, Seite 19 [0066]
• - Paul Viola and William M. Wells III, "Alignment by Maximization of Mutual Information", International Journal of Computer Vision, 24(2): Seiten 137–154, 1997 [0066]
• - James T. Kajiya, "Ray Tracing Volume Densities" in Proc. of the llth Annual Conference an Computer Graphics and Interactive Techniques, Seiten 165 bis 174, ACM SIGGRAPH, ACM Press, 1984 [0066]
• - Jens Krüger and R. Westermann, "Acceleration Techniques for GPU-based Volume Rendering" in Proc. of the 14th IEEE Visualization 2003, Seiten 287 bis 292, Washington, DC, USA, 2003, IEEE Computer Society [0066]
• - Randi J. Rost, "OpenGL Shading Language" Addison-Wesley, Reading, 2004, Seiten 16 und 525 [0066]
• - Razvan Chisu, "Techniques for Accelerating Intensity-Based Rigid Image Registration", Diplomarbeit, Technische Universität München, 2005, Seiten 27 bis 29 [0066]

Claims (11)

1. Verfahren zur Erzeugung von künstlichen Bildern (12) aus einem Volumendatensatz (10) zur Registrierung mit einem aktuellen Bild (13) mit folgenden Schritten: a) Erfassen der Intensitäten J(x, y) der einzelnen Bildpunkte eines Röntgenbilddetektors (4), b) Bestimmung eines Mittelwerts (31) aus den Intensitäten J(x, y) in einem Teilbereich der künstlichen Bilder (12), c) Normalisierung der Intensitäten J(x, y), so dass der Mittelwert einem Sollwert J_soll entspricht, d) Skalierung des errechneten Mittelwerts J auf den Sollwert J_soll e) Addition des Offset-Werts J_offset auf die resultierenden Werte (Global-Offset-Korrektur 33) und f) Umsetzen der Werte in endgültige Grauwerte.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Schritt b) der Mittelwert (31) im inneren Drittel (35) der künstlichen Bilder (12) bestimmt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als Schritt b) ein Dexinom-Wert (31) durch

   

   errechnet wird, wobei |Ω| die Anzahl der Punkte im inneren Drittel (35) der künstlichen Bilder (12) ist und Ω der betrachtete Bildbereich (z. B. inneres Drittel) selbst.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass als Schritt c) jede Intensität J(x, y) mit einem Faktor als Global-Gain-Korrektur (32) gemäß folgender Gleichung multipliziert wird:

   
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Schritt f) aus folgenden Schritten besteht: f1) Einsetzen in eine Lookup-Tabelle (LUT) (34) der aus Schritt e) resultierenden Werte zur Umwandlung in endgültige Grauwerte und f2) Auslesen der umgewandelten Grauwerte.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Verfahren auf einer Grafikkarte (GPU) eines Bildsystems (6) durchgeführt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das künstliche Bild ein Röntgenbild (12) ist, das mit einem aktuellen Röntgenbild (13) registriert wird.
8. Verfahren zur Erzeugung von künstlichen Bildern (12) aus einem Volumendatensatz (10) zur Registrierung mit einem aktuellen Bild (13) mit folgenden Schritten: a) Erfassen der Intensitäten J(x, y) der einzelnen Bildpunkte eines Röntgenbilddetektors (4), b) Bestimmung eines Dexinom-Werts (31) als Mittelwert aus den Intensitäten J(x, y) im inneren Drittel (35) der künstlichen Bilder (12) gemäß folgender Gleichung:

   

   c) Normalisierung der Intensitäten J(x, y), so dass ihr Mittelwert einem Sollwert J_soll gemäß

   

   entspricht, d) Addition des Offset-Werts J_offset auf die resultierenden Werte als Global-Offset-Korrektur (33) gemäß J''(x, y) = J'(x, y) + Joffset, e) Einsetzen der Werte in eine Lookup-Tabelle (LUT) (34) zur Umwandlung in endgültige Grauwerte J'''(x, y) = γ(J''(x, y)) undf) Auslesen der umgewandelten Grauwerte.
9. Verfahren zur Erzeugung von realitätsnahen künstlichen Bildern (12) aus einem Volumendatensatz (10) zur Registrierung mit einem aktuellen Bild (13) mit folgenden Schritten: a) Ausführung (50) eines Programms (Shader) zur Erzeugung von einfachen künstlichen Bildern (12) auf einer Grafikkarte, b) Bestimmung eines Dexinom-Werts (51) aus den einfachen künstlichen Bildern (12), c) Ausmaskieren (52) des inneren Drittels der künstlichen Bilder (12) mit Hilfe des Stencil-Tests, d) Bestimmung (53) von Mittelwerten mittels Mipmaps, e) Auslesen (54) der Werte von der Grafikkarte (GPU) auf die Prozessorkarte (CPU), f) Berechnung (55) des Mittelwerts, g) Multiplikation (56) mit einem Faktor Neun und h) Ausführung (57) des Programms (Shader) zur Erzeugung von künstlichen Bildern (12) auf der Grafikkarte mit modellierten, elektronischen Verarbeitungsschritten.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Programmausführung gemäß Schritt h) zur Erzeugung von künstlichen Bildern (12) auf der Grafikkarte mit modellierten, elektronischen Verarbeitungsschritten mit einem skalaren Wert zur Global-Offset-Korrektur (59), einem weiteren Faktor zur Skalierung des gemessenen Dexinom-Werts auf den Sollwert (60) und Übergabe einer eindimensionalen Textur (61) erfolgt, in welcher eine Lookup-Tabelle für eine Gamma-Korrektur gespeichert ist.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die künstlichen Bilder (12) nach dem Ray-Casting-Verfahren erstellt werden.