DE102016101541A1 - Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering - Google Patents

Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering Download PDF

Info

Publication number
DE102016101541A1
DE102016101541A1 DE102016101541.5A DE102016101541A DE102016101541A1 DE 102016101541 A1 DE102016101541 A1 DE 102016101541A1 DE 102016101541 A DE102016101541 A DE 102016101541A DE 102016101541 A1 DE102016101541 A1 DE 102016101541A1
Authority
DE
Germany
Prior art keywords
volume
generating
cinematic
reconstructed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016101541.5A
Other languages
English (en)
Inventor
Klaus Engel
Shaohua Kevin Zhou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of DE102016101541A1 publication Critical patent/DE102016101541A1/de
Granted legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

Ein Verfahren und eine Vorrichtung zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering, wird offenbart. Ein Satz von 2D-Projektionsbildern des 3D-Volumens wird unter Verwendung von Cinematic Volumen Rendering erzeugt. Ein rekonstruiertes 3D-Volumen wird aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators erzeugt. Das rekonstruierte 3D-Volumen übernimmt die Rauschunterdrückung und die Strukturhervorhebung aus den Projektionsbildern, die unter Verwendung des Cinematic Renderings erzeugt wurden, und ist daher nichtlinear gefiltert. Echtzeit-Volumen Rendering kann an dem rekonstruierten 3D-Volumen unter Verwendung des volumetrischen Ray-Tracings ausgeführt werden, und jedes projizierte Bild des rekonstruierten 3D-Volumens ist eine Approximation eines gerenderten Cinematic Bildes des Originalvolumens.

Description

  • STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft die Bildfilterung zum Reduzieren von Rauschen in einem Bild und, spezieller, die 3D-Bildfilterung auf der Basis des Volumen Renderings zum Unterdrücken von Rauschen und zum Hervorheben von interessierenden Strukturen in einem 3D-Bild.
  • Bildrauschen ist jedem Abbildungsgerät inhärent. Bildrauschen in einem volumetrischen Bild zeigt unerwünschte Artefakte. Vorhandene Rauschreduzierungs- und Bildverstärkungsverfahren lösen dieses Problem nicht vollständig. Dementsprechend sind bessere Rauschreduzierungs- und Bildverstärkungsalgorithmen wünschenswert.
  • Herkömmliche Rauschreduzierungsverfahren basieren meistens auf Signalverarbeitungstheorien. Ein Glättungsfilter faltet das Originalbild mit einer Maske, die einen Tiefpassfilter darstellt, oder einer Glättungsoperation. Jedoch neigen Glättungsfilter dazu, das Bild zu verwischen. Das Verfahren der anisotropen Diffusion löst eine Glättungs-Partialdifferential-Gleichung ähnlich einer Wärmegleichung, um Rauschen zu entfernen, ohne die Kanten des Bildes zu verwischen. Ein Medianfilter ist ein Beispiel für einen nichtlinearen Filter und, falls ordnungsgemäß entworfen, ist sehr gut im Bewahren von Bilddetails. Jedoch arbeiten Medianfilter besser für Graustufen-Bildrauschen.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Die vorliegende Erfindung liefert ein Verfahren und ein System zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volume Rendering. Ausführungsformen der vorliegenden Erfindung führen Volumen Rendering auf der Basis der 3D-Bildfilterungs-Path-Tracing aus, um realistische Cinematic Rendering-Effekte zu erzeugen.
  • In einer Ausführungsform der vorliegenden Erfindung wird ein Satz von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering erzeugt. Ein rekonstruiertes 3D-Volumen wird aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators erzeugt.
  • Diese und andere Vorteile der Erfindung werden für Fachleute auf dem Gebiet durch Verweis auf die folgenden detaillierten Beschreibungen und die begleitenden Zeichnungen sichtbar.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt einen Vergleich von projizierten Bildern, die unter Verwendung des Ray-Tracing-Volumen Renderings und des Cinematic Volumen Renderings erzeugt wurden.
  • 2 illustriert ein Verfahren zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering gemäß einer Ausführungsform der vorliegenden Erfindung; und
  • 3 ist ein High-level-Blockdiagramm eines Computers, das in der Lage ist, die vorliegende Erfindung zu implementieren.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering. Ausführungsformen der vorliegenden Erfindung werden hierin beschrieben, um ein optisches Verständnis der Bildfilterung und der Echtzeit Cinematic Volumen Rendering Methode zu vermitteln. Ein digitales Bild ist oft aus digitalen Darstellungen von einem oder mehreren Objekten (oder Formen) zusammengesetzt. Die digitale Repräsentation eines Objektes wird oft hierin beschrieben in Bezug auf die Identifizierung und Manipulation der Objekte. Solche Manipulationen sind virtuelle Manipulationen, die im Speicher oder anderen Schaltungen/Hardware eines Computersystems erreicht werden. Dementsprechend versteht es sich, dass Ausführungsformen der vorliegenden Erfindung innerhalb eines Computersystems unter Verwendung von Daten ausgeführt werden können, die im Computersystem gespeichert sind.
  • Volumen Rendering bezieht sich auf Verfahren, die zum Anzeigen eines 2D-Projektionsbildes eines 3D-Volumens verwendet werden. Eine Art von Volumen Rendering beruht auf dem volumetrischen Ray-Tracing. Ray-Tracing Volumen Rendering wird ausgeführt durch Erzeugen eines Strahls für jedes Pixel im projizierten 2D-Bild unter Verwendung eines einfachen Kameramodells. Der Strahl wird in regelmäßigen oder adaptiven Intervallen im ganzen 3D-Bildvolumen abgetastet. Die Volumendaten werden an jedem Abtastpunkt interpoliert, eine Übertragungsfunktion wird an jedem einzelnen Abtastpunkt angewendet, um eine RGBA-(Rot-Grün-Blau-Alpha-)Probe zu bilden, die Probe ist aus dem akkumulierten RGBA des Strahls zusammengesetzt, und der Prozess wird für jeden Abtastpunkt wiederholt, bis der Strahl das Volumen verlässt. Das akkumulierte RGBA des Strahls wird in eine RGB-Farbe umgewandelt, die im entsprechenden Pixel des 2D-Projektionsbildes abgelegt wird. Das 2D-Projektionsbild wird durch Wiederholen dieses Prozesses für jedes Pixel des 2D Projektionsbildes gebildet. Volumetrisches Ray-Tracing kann durch einen linearen Projektionsoperator 17 beschrieben werden, der auf einen 3D-Volumen V wirkt, unter Verwendung eines Kameramodells mit einem Parameter θ, um ein 2D-Bild I zu erzeugen, so dass: I = Π(V; θ) (1)
  • Durch Variieren des Parameters θ können verschiedene Projektionsbilder I(θ) erzeugt werden. Der Parameter θ bezeichnet den Projektionswinkel für ein Projektionsbild.
  • Da der Projektionsoperator Π linear ist, ist es leicht, den Operator Π–1 zu invertieren. Gegeben sei ein Satz von gerenderten Bildern {I(θi); i = 1, 2, ...}, das Originalvolumen V kann unter Verwendung des invertierten Operators Π–1 rekonstruiert werden. Dieser inverse Prozess ist im Prinzip dem der volumetrischen Bildrekonstruktion ähnlich und kann folgendermaßen ausgedrückt werden: V = Π–1({θi; i = 1, 2, ...}) (2)
  • Das Cinematic Volumen Rendering basiert auf volumetrischem Path-Tracing. Statt Beobachtungen aus einem 3D-Volumen an einem Strahl zu integrieren, wird Cinematic Volumen Rendering durch Integrieren über die gesamte Illuminanz ausgeführt, die an einem einzelnen Punkt auf der Oberfläche des Objektes ankommt. Diese Illuminanz wird dann durch eine Oberflächen-Reflektanz-Funktion reduziert, um zu bestimmen, wie viel von der Illuminanz zur Standpunktkamera geht. Dieses Integrationsverfahren wird für jedes Pixel im ausgegebenen 2D-Projektionsbild wiederholt. Das Cinematic Volumen Rendering kann als volumetrisches Path-Tracing beschrieben werden, unter Verwendung eines nichtlinearen Projektionsoperators Ω, der auf ein 3D-Volumen V wirkt, unter Verwendung eines Kameramodells mit einem Parameter θ, um ein 2D-Bild J zu erzeugen, so dass: J = Ω(V; θ) (3)
  • Im gerenderten Bild J, das unter Verwendung des Cinematic Volumen Renderings erzeugt wurde, wird Rauschen großenteils unterdrückt und die Strukturen werden stark hervorgehoben.
  • 1 zeigt einen Vergleich von projizierten Bildern, die unter Verwendung von Ray-Tracing Volumen Rendering und Cinematic Volumen Rendering erzeugt wurden. Wie in 1 gezeigt, ist 102 ein projiziertes Bild, das unter Verwendung von Ray-Tracing Volumen Rendering erzeugt wurde, und Bild 104 ist ein projiziertes Bild, das unter Verwendung von Cinematic Volumen Rendering erzeugt wurde. Wie in 1 zu sehen ist, wird das Rauschen stark reduziert und anatomische Strukturen werden im projizierten Bild 104 hervorgehoben, das unter Verwendung von Cinematic Rendering erzeugt wurde, im Vergleich zum projizierten Bild 102, das unter Verwendung von Ray-Tracing Volumen Rendering erzeugt wurde.
  • In Bezug auf die Berechnung ist das Cinematic Volumen Rendering zeitaufwendiger als das Ray-Tracing Volumen Rendering. Ray-Tracing Volumen Rendering kann in Echtzeit ausgeführt werden, zum Beispiel während einer Operationsverfahrensführung durch medizinische Bilder eines Patienten, während das Cinematic Volumen Rendering normalerweise nicht in Echtzeit ausgeführt werden kann, aufgrund seines hohen Rechneraufwandes.
  • 2 illustriert ein Verfahren zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering gemäß einer Ausführungsform der vorliegenden Erfindung. Das Verfahren von 2 transformiert 3D-Bilddaten, wie zum Beispiel medizinische Bilddaten, die die Anatomie eines Patienten repräsentieren, um Rauschen zu unterdrücken und Strukturen von Interesse in den Bilddaten hervorzuheben und 2D-Projektionsbilder zu erzeugen, die ein unterdrücktes Rauschen haben und Bildstrukturen aus 3D-Bilddaten verstärken. Mit Bezug auf 2 wird in Schritt 202 ein 3D-Volumen erhalten. Das 3D-Volumen kann ein medizinisches 3D-Bildvolumen eines Patienten sein, das unter Verwendung einer Art von medizinischer Bildgebungsmodalität erhalten wurde, wie zum Beispiel berechnete Tomographie (CT), Magnetresonanz-Bildgebung (MRI), dynaCT, Ultraschall (US), Positronenemissionstomographie (PET) usw. Das 3D-Volumen kann direkt von einem Bilderfassungsgerät erhalten werden, wie zum Beispiel einem CT-Scanner, MRI-Scanner usw., oder das 3D-Volumen kann durch ein 3D-Volumen gewonnen werden, das vorher in einem Speicher eines Computersystems gespeichert wurde.
  • Bei Schritt 204 wird ein Satz von Projektionsbildern aus dem 3D-Volumen unter Verwendung eines nichtlinearen Cinematic Rendering-Operators Omega erzeugt. Insbesondere wird ein Satz von Projektionsbildern {J(θi) = Ω(V; θi); i = 1, 2, ...} mit verschiedenen Werten für den Projektionswinkelparameter θi erzeugt. Dies führt zu einem Satz von 2D-Projektionsbildern, die unter Verwendung des Cinematic Renderings erzeugt werden, in denen Rauschen unterdrückt wird und interessierende Strukturen gesteigert werden.
  • In Schritt 206 wird ein rekonstruiertes Volumen aus dem Satz von Projektionsbildern erzeugt, wobei ein inverser linearer volumetrischer Ray-Tracing-Operator Π–1 verwendet wird. Das ist ein neues Volumen V' = Π–1 ({J(θi); i = 1, 2, ...}), das durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators Π–1 auf den Satz von Projektionsbildern {J(θi) = Ω(V; θi); i = 1, 2, ...} abgeschätzt wird, die unter Verwendung des nichtlinearen Cinematic Rendering-Operators Ω erzeugt wird, so dass: V' = Π–1({Ω(V; θi); i = 1, 2, ...}) (4)
  • In Gleichung (4) wird ein gegebenes Volumen V eingegeben und ein neues Volumen V' wird ausgegeben. Dementsprechend können die Schritte 204 und 206 so betrachtet werden, dass sie die nichtlineare Filterung des eingegebenen Volumens ausführen. Da Rauschen großenteils unterdrückt wird und die Strukturen in den gerenderten Cinematic Bildern sehr verstärkt werden, übernimmt das nichtlinear gefilterte Volumen V', das aus den gerenderten Cinematic Bildern rekonstruiert wurde, dieselben Merkmale (d. h., unterdrücktes Rauschen und verstärkte interessierende Strukturen). Das gefilterte Volumen V' kann ausgegeben werden, zum Beispiel durch Anzeigen des gefilterten Volumens V' auf dem Display eines Computersystems.
  • In Schritt 208 wird das Echtzeit-Volumen Rendering des rekonstruierten Volumens unter Verwendung des volumetrischen Ray-Tracings des rekonstruierten Volumens ausgeführt. Insbesondere wird der lineare volumetrische Ray-Tracing-Operator Π zum Ausführen des Volumen Renderings des rekonstruierten Volumens zum Erzeugen eines projizierten 2D-Bildes I verwendet, so dass: I = Π(V; θ) = ΠΠ–1({Ω(V; θi); i = 1, 2, ...}) ≈ Ω(V; θ) = J (5)
  • Durch Anwenden des volumetrischen Ray-Tracing Volumen Renderings auf das gefilterte Volumen V' ist das gerenderte Bild I dem gerenderten Cinematic Bild J aus dem Originalvolumen sehr nahe. In einer vorteilhaften Ausführungsform können die Schritte 202, 204 und 206 vor einer Operation ausgeführt werden, um das gefilterte Volumen V' im Voraus zu berechnen, und Schritt 208 kann in Echtzeit während einer Operation für einen oder mehrere Projektionswinkel θ ausgeführt werden. Durch Vorausberechnung des gefilterten Volumens V' kann das Echtzeit-Rendering, das unter Verwendung des Ray-Tracing Volumen Renderings ausgeführt wird, ein projiziertes 2D-Bild I erzeugen, das einem gerenderten Cinematic Bild des Originalvolumens für denselben Projektionswinkel sehr nahe kommt. Auf diese Weise kann der rechnerische Flaschenhals des Cinematic Renderings, der zu einer Leistung ohne Echtzeitverarbeitung führt, beseitigt werden, und 2D-Projektionsbilder, die Cinematic Rendering Effekte der Rauschunterdrückung und Strukturverstärkung haben, können in Echtzeit erzeugt werden.
  • Ein 2D-Projektionsbild, das sich aus dem Echtzeit-Volumen Rendering in Schritt 208 ergibt, kann ausgegeben werden, zum Beispiel durch Anzeigen des 2D-Projektionsbildes auf einer Anzeige eines Computersystems.
  • Das Projektionsbild kann in Echtzeit während einer Operation angezeigt werden, um einen Nutzer, der die Operation ausführt, zu lenken. Schritt 208 von 2 kann wiederholt werden, um das Echtzeit-Volumen Rendering des gefilterten Volumens V' bei mehreren verschiedenen Projektionswinkeln θ auszuführen. In diesem Fall kann das 2D-Projektionsbild, das für jeden Projektionswinkel erzeugt wird, in Echtzeit angezeigt werden.
  • Die oben beschriebenen Verfahren zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering, können auf einem Computer unter Verwendung bekannter Computerprozessoren, Speichereinheiten, Speichervorrichtungen, Computersoftware und anderer Komponenten implementiert werden. Ein High-level-Blockdiagramm eines solchen Computers wird in 3 illustriert. Computer 302 enthält einen Prozessor 304, der die gesamte Operation des Computers 302 durch Ausführungen von Computerprogrammanweisungen steuert, die eine solche Operation definieren. Die Computerprogrammanweisungen können in einer Speichervorrichtung 312 (zum Beispiel, Magnetplatte) gespeichert werden und in den Speicher 310 geladen werden, wenn eine Ausführung der Computerprogrammanweisungen gewünscht wird. Daher können die Schritte der Verfahren von 2 durch die Computerprogrammanweisungen definiert werden, die im Speicher 310 und/oder Speicher 312 gespeichert sind und durch den Prozessor 304 gesteuert werden, der die Computerprogrammanweisungen ausführt. Eine Bilderfassungsvorrichtung 320, wie zum Beispiel eine CT-Scanvorrichtung, kann an den Computer 302 angeschlossen werden, um Bilddaten in den Computer einzugeben. Es ist möglich, die Bilderfassungsvorrichtung 320 und den Computer 302 als eine Vorrichtung zu implementieren. Es ist auch möglich, dass die Bilderfassungsvorrichtung 320 und der Computer 302 drahtlos über ein Netzwerk kommunizieren. Der Computer 302 umfasst auch eine oder mehrere Netzschnittstellen 306 zum Kommunizieren mit anderen Geräten über ein Netzwerk. Der Computer 302 umfasst auch andere Eingabe-/Ausgabevorrichtungen 308, die eine Nutzerinteraktion mit dem Computer 302 (zum Beispiel Display, Keyboard, Maus, Lautsprecher usw.) ermöglichen. Solche Eingabe-/Ausgabevorrichtungen 308 können in Verbindung mit einem Satz von Computerprogrammen verwendet werden, wie zum Beispiel einem Kommentar-Tool zum Kommentieren von Volumina, die von der Bilderfassungsvorrichtung 320 erhalten wurden. Der Fachmann wird erkennen, dass eine Implementierung eines tatsächlichen Computers ebenfalls andere Komponenten enthalten könnte und dass 3 eine High-level-Darstellung einiger der Komponenten eines solchen Computers für Erläuterungszwecke ist.
  • Die vorhergehende ausführliche Beschreibung ist so zu verstehen, dass sie in jeder Hinsicht erläuternd und beispielhaft ist, aber nicht einschränkend, und dass der Geltungsbereich der Erfindung, der hierin offenbart wird, nicht aus der ausführlichen Beschreibung bestimmt werden kann, sondern vielmehr aus den Ansprüchen, wie sie in vollem Umfang interpretiert werden, der durch die Patentgesetze erlaubt wird. Es versteht sich, dass die Ausführungsformen, die hierin beschrieben und gezeigt werden nur eine Erläuterung der Prinzipien der vorliegenden Erfindung sind und dass verschiedene Modifizierungen von den Fachleuten auf diesem Gebiet implementiert werden können, ohne vom Geltungsbereich und dem Geist der Erfindung abzuweichen. Fachleute auf diesem Gebiet könnten verschiedene andere Merkmalskombinationen implementieren, ohne vom Geltungsbereich und dem Geist der Findung abzuweichen.

Claims (23)

  1. Verfahren zum Volumen Rendering basierten Filtern eines 3D-Volumens, umfassend: Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering; und Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators.
  2. Verfahren nach Anspruch 1, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des Cinematic Volumen Renderings.
  3. Verfahren nach Anspruch eins, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung des Cinematic Volumen Renderings Folgendes umfasst: Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators.
  4. Verfahren nach Anspruch 3, wobei das Erzeugen des Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators, wobei der nichtlineare Cinematic Volumen Rendering-Operator einen Pixelwert für jeden der mehreren Pixel in jedem entsprechenden 3D-Projektionsbild berechnet durch Integrieren der gesamten Illuminanz, die an einem entsprechenden Punkt auf einer Oberfläche des 3D-Volumens ankommt, und Reduzieren der integrierten Illuminanz durch eine Oberflächen-Reflektanzfunktion.
  5. Verfahren nach Anspruch 3, wobei das Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators Folgendes umfasst: Erzeugen des rekonstruierten 3D-Volumens durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators auf den Satz von 2D-Projektionsbildern des 3D-Volumens, die unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators erzeugt wurden.
  6. Verfahren nach Anspruch 1, ferner umfassend: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
  7. Verfahren nach Anspruch 1, ferner umfassend: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen in Echtzeit während einer Operation durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
  8. Verfahren nach Anspruch 7, wobei das Erzeugen des Satzes von 2D-Projektionsbildern und das Erzeugen des rekonstruierten 3D-Volumens vor der Operation ausgeführt werden.
  9. Verfahren nach Anspruch 7, wobei das projizierte 2D-Bild, das aus dem rekonstruierten 3D-Volumen erzeugt wurde, eine Approximation eines gerenderten 2D-Cinematic Bildes aus dem 3D-Volumen ist.
  10. Gerät zum Volumen Rendering basierten Filtern eines 3D-Volumens, umfassend: Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering; und Mittel zum Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators.
  11. Vorrichtung nach Anspruch 10, wobei das Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Mittel zum Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des Cinematic Volumen Renderings.
  12. Vorrichtung nach Anspruch 10, wobei das Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung des Cinematic Volumen Renderings Folgendes umfasst: Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators.
  13. Vorrichtung nach Anspruch 12, wobei das Mittel zum Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators Folgendes umfasst: Mittel zum Erzeugen des rekonstruierten 3D-Volumens durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators auf den Satz von 2D-Projektionsbildern des 3D-Volumens, die unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators erzeugt wurden.
  14. Verfahren nach Anspruch 10, das ferner umfasst: Mittel zum Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
  15. Vorrichtung nach Anspruch 14, wobei das projizierte 2D-Bild, das aus dem rekonstruierten 3D-Volumen erzeugt wurde, eine Approximation eines gerenderten 2D-Cinematic Bildes aus dem 3D-Volumen ist.
  16. Nichtflüchtiges computerlesbares Medium, das Computerprogrammanweisungen zum Volumen Rendering basierten Filtern eines 3D-Volumens speichert, wobei die Computerprogrammanweisungen, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor Operationen ausführt, die Folgendes umfassen: Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering; und Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators.
  17. Nichtflüchtiges computerlesbares Medium nach Anspruch 16, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des Cinematic Volumen Renderings.
  18. Nichtflüchtiges computerlesbares Medium nach Anspruch 16, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering Folgendes umfasst: Erzeugen des Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators.
  19. Nichtflüchtiges computerlesbares Medium nach Anspruch 18, wobei das Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators Folgendes umfasst: Erzeugen des rekonstruierten 3D-Volumens durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators auf den Satz von 2D-Projektionsbildern des 3D-Volumens, die unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators erzeugt wurden.
  20. Nichtflüchtiges, computerlesbares Speichermedium nach Anspruch 16, wobei die Operationen ferner Folgendes umfassen: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
  21. Nichtflüchtiges, computerlesbares Speichermedium nach Anspruch 16, wobei die Operationen ferner Folgendes umfassen: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen in Echtzeit während einer Operation durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
  22. Nichtflüchtiges computerlesbares Medium nach Anspruch 21, wobei die Operationen zum Erzeugen des Satzes von 2D-Projektionsbildern und zum Erzeugen des rekonstruierten 3D-Volumens vor der Operation ausgeführt werden.
  23. Nichtflüchtiges computerlesbares Medium nach Anspruch 21, wobei das projizierte 2D-Bild, das aus dem rekonstruierten 3D-Volumen erzeugt wurde, eine Approximation eines gerenderten 2D-Cinematic Bildes aus dem 3D-Volumen ist.
DE102016101541.5A 2015-03-09 2016-01-28 Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering Granted DE102016101541A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/641,471 US9613452B2 (en) 2015-03-09 2015-03-09 Method and system for volume rendering based 3D image filtering and real-time cinematic rendering
US14/641,471 2015-03-09

Publications (1)

Publication Number Publication Date
DE102016101541A1 true DE102016101541A1 (de) 2016-09-15

Family

ID=56800728

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016101541.5A Granted DE102016101541A1 (de) 2015-03-09 2016-01-28 Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering

Country Status (4)

Country Link
US (1) US9613452B2 (de)
JP (1) JP6161748B2 (de)
CN (1) CN105957135B (de)
DE (1) DE102016101541A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282918B2 (en) 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339062A (ja) * 1998-05-25 1999-12-10 Japan Radio Co Ltd 画像合成システム
DE10245670A1 (de) * 2002-09-30 2004-04-08 Siemens Ag Verfahren zur intraoperativen Erzeugung eines aktualisierten Volumendatensatzes
US7154500B2 (en) 2004-04-20 2006-12-26 The Chinese University Of Hong Kong Block-based fragment filtration with feasible multi-GPU acceleration for real-time volume rendering on conventional personal computer
US7330578B2 (en) 2005-06-23 2008-02-12 Accuray Inc. DRR generation and enhancement using a dedicated graphics device
DE102006003126A1 (de) * 2006-01-23 2007-08-02 Siemens Ag Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten
DE102006016601A1 (de) * 2006-04-06 2007-10-18 Siemens Ag Verfahren und Vorrichtung zur Bereitstellung von tomographischen Bilddaten eines Objektes
JP2009536499A (ja) * 2006-05-05 2009-10-08 トムソン ライセンシング 2次元画像から3次元オブジェクトを再構成するシステム及び方法
WO2008051231A1 (en) * 2006-10-27 2008-05-02 Thomson Licensing System and method for recovering three-dimensional particle systems from two-dimensional images
US20090040220A1 (en) * 2007-02-05 2009-02-12 Jonathan Gibbs Hybrid volume rendering in computer implemented animation
CN101625766A (zh) * 2009-08-03 2010-01-13 深圳先进技术研究院 医学图像处理方法
US20120154400A1 (en) 2010-12-20 2012-06-21 General Electric Company Method of reducing noise in a volume-rendered image
US9070208B2 (en) * 2011-05-27 2015-06-30 Lucasfilm Entertainment Company Ltd. Accelerated subsurface scattering determination for rendering 3D objects
CN103234990A (zh) * 2013-03-28 2013-08-07 上海交通大学 一种焊缝中气孔形态及分布的无损检测新方法
US20140309518A1 (en) * 2013-04-11 2014-10-16 Samsung Life Public Welfare Foundation Medical imaging apparatus, control method thereof, and image processing apparatus for the same
CN104382616B (zh) * 2014-09-28 2017-01-25 安华亿能医疗影像科技(北京)有限公司 颈动脉三维图像构建装置

Also Published As

Publication number Publication date
JP6161748B2 (ja) 2017-07-12
US20160267703A1 (en) 2016-09-15
CN105957135B (zh) 2019-07-09
CN105957135A (zh) 2016-09-21
US9613452B2 (en) 2017-04-04
JP2016167260A (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
DE102019008221A1 (de) Interaktives Bildmattieren unter Verwendung neuronaler Netze
DE19983560B4 (de) Ein allgemeines Bildverbesserungsverfahren- und system
DE102019215460A1 (de) Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE112018002793T5 (de) Bildverarbeitungssystem und bildverarbeitungsverfahren
DE102009042326A1 (de) Interaktive Veränderung der Darstellung eines mittels Volume Rendering dargestellten Objekts
DE102005010169A1 (de) Aktives Polyeder für 3D-Bildsegmentierung
DE102006002914A1 (de) Mehrdimensionale Segmentierung basierend auf adaptiven begrenzenden Kasten- und Ellipsoid-Modellen
DE102013220539A1 (de) Modifikation einer Hohlorgan-Repräsentation
DE112015002802T5 (de) Verbesserte bildrekonstruktion für ein volumen basierend auf projektionsdatensätzen
DE102011076878A1 (de) Verfahren und Vorrichtung zur effizienten Editierung eines dreidimensionalen Volumens mittels Ray Casting
DE112015003626T5 (de) System und verfahren zum erhöhen der bittiefe von bildern
DE102013215301A1 (de) System, Verfahren und Computerprogrammprodukt zum Extrudieren eines Modells durch eine zweidimensionale Szene
DE102004056589A1 (de) Verfahren und Vorrichtung zur Durchführung segmentierungsbasierter Bildoperationen
DE102008005476A1 (de) Verfahren zur Bildkompression eines Bildes mit 3D Graphikinformation
DE102007014773B4 (de) Verfahren und Vorrichtung zur Durchführung einer Maximum Intensity Projektion
DE102020213305A1 (de) Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten
DE102016101541A1 (de) Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering
DE102019212929A1 (de) Registrieren eines 2D Bildes mit einem 3D Bild
DE112016004401T5 (de) Projizieren eines Bildes auf eine unregelmässig geformte Anzeigeoberfläche
DE112016005742T5 (de) Datenverarbeitungsverfahren für Computertomographie
DE102020212089B3 (de) Verfahren und Vorrichtung zur Bildentrauschung sowie eine Steuereinrichtung, ein bildgebendes System, ein Computerprogrammprodukt und ein computerlesbares Medium dazu
DE19953308A1 (de) Vorrichtung und Verfahren zum Implementieren eines Bild-Spreadsheets
EP3579193A1 (de) Verfahren zur ermittlung von bildwerten in markierten pixeln wenigstens eines projektionsbildes, röntgeneinrichtung, computerprogramm und elektronisch lesbarer datenträger
DE102019217576B4 (de) Identifizieren und Bereitstellen von Fehlausrichtungsbildmerkmalen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHCARE GMBH, DE

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

R082 Change of representative

Representative=s name: BALS & VOGEL PATENTANWAELTE, DE

R016 Response to examination communication
R082 Change of representative

Representative=s name: BALS & VOGEL PATENTANWAELTE PARTG MBB, DE

R082 Change of representative

Representative=s name: BALS & VOGEL PATENTANWAELTE PARTG MBB, DE

R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE

R018 Grant decision by examination section/examining division