DE102016101541A1 - Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering - Google Patents
Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering Download PDFInfo
- Publication number
- DE102016101541A1 DE102016101541A1 DE102016101541.5A DE102016101541A DE102016101541A1 DE 102016101541 A1 DE102016101541 A1 DE 102016101541A1 DE 102016101541 A DE102016101541 A DE 102016101541A DE 102016101541 A1 DE102016101541 A1 DE 102016101541A1
- Authority
- DE
- Germany
- Prior art keywords
- volume
- generating
- cinematic
- reconstructed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001914 filtration Methods 0.000 title claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 abstract 1
- 238000002591 computed tomography Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Generation (AREA)
Abstract
Ein Verfahren und eine Vorrichtung zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering, wird offenbart. Ein Satz von 2D-Projektionsbildern des 3D-Volumens wird unter Verwendung von Cinematic Volumen Rendering erzeugt. Ein rekonstruiertes 3D-Volumen wird aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators erzeugt. Das rekonstruierte 3D-Volumen übernimmt die Rauschunterdrückung und die Strukturhervorhebung aus den Projektionsbildern, die unter Verwendung des Cinematic Renderings erzeugt wurden, und ist daher nichtlinear gefiltert. Echtzeit-Volumen Rendering kann an dem rekonstruierten 3D-Volumen unter Verwendung des volumetrischen Ray-Tracings ausgeführt werden, und jedes projizierte Bild des rekonstruierten 3D-Volumens ist eine Approximation eines gerenderten Cinematic Bildes des Originalvolumens.
Description
- STAND DER TECHNIK
- Die vorliegende Erfindung betrifft die Bildfilterung zum Reduzieren von Rauschen in einem Bild und, spezieller, die 3D-Bildfilterung auf der Basis des Volumen Renderings zum Unterdrücken von Rauschen und zum Hervorheben von interessierenden Strukturen in einem 3D-Bild.
- Bildrauschen ist jedem Abbildungsgerät inhärent. Bildrauschen in einem volumetrischen Bild zeigt unerwünschte Artefakte. Vorhandene Rauschreduzierungs- und Bildverstärkungsverfahren lösen dieses Problem nicht vollständig. Dementsprechend sind bessere Rauschreduzierungs- und Bildverstärkungsalgorithmen wünschenswert.
- Herkömmliche Rauschreduzierungsverfahren basieren meistens auf Signalverarbeitungstheorien. Ein Glättungsfilter faltet das Originalbild mit einer Maske, die einen Tiefpassfilter darstellt, oder einer Glättungsoperation. Jedoch neigen Glättungsfilter dazu, das Bild zu verwischen. Das Verfahren der anisotropen Diffusion löst eine Glättungs-Partialdifferential-Gleichung ähnlich einer Wärmegleichung, um Rauschen zu entfernen, ohne die Kanten des Bildes zu verwischen. Ein Medianfilter ist ein Beispiel für einen nichtlinearen Filter und, falls ordnungsgemäß entworfen, ist sehr gut im Bewahren von Bilddetails. Jedoch arbeiten Medianfilter besser für Graustufen-Bildrauschen.
- KURZDARSTELLUNG DER ERFINDUNG
- Die vorliegende Erfindung liefert ein Verfahren und ein System zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volume Rendering. Ausführungsformen der vorliegenden Erfindung führen Volumen Rendering auf der Basis der 3D-Bildfilterungs-Path-Tracing aus, um realistische Cinematic Rendering-Effekte zu erzeugen.
- In einer Ausführungsform der vorliegenden Erfindung wird ein Satz von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering erzeugt. Ein rekonstruiertes 3D-Volumen wird aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators erzeugt.
- Diese und andere Vorteile der Erfindung werden für Fachleute auf dem Gebiet durch Verweis auf die folgenden detaillierten Beschreibungen und die begleitenden Zeichnungen sichtbar.
- KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt einen Vergleich von projizierten Bildern, die unter Verwendung des Ray-Tracing-Volumen Renderings und des Cinematic Volumen Renderings erzeugt wurden. -
2 illustriert ein Verfahren zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering gemäß einer Ausführungsform der vorliegenden Erfindung; und -
3 ist ein High-level-Blockdiagramm eines Computers, das in der Lage ist, die vorliegende Erfindung zu implementieren. - AUSFÜHRLICHE BESCHREIBUNG
- Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering. Ausführungsformen der vorliegenden Erfindung werden hierin beschrieben, um ein optisches Verständnis der Bildfilterung und der Echtzeit Cinematic Volumen Rendering Methode zu vermitteln. Ein digitales Bild ist oft aus digitalen Darstellungen von einem oder mehreren Objekten (oder Formen) zusammengesetzt. Die digitale Repräsentation eines Objektes wird oft hierin beschrieben in Bezug auf die Identifizierung und Manipulation der Objekte. Solche Manipulationen sind virtuelle Manipulationen, die im Speicher oder anderen Schaltungen/Hardware eines Computersystems erreicht werden. Dementsprechend versteht es sich, dass Ausführungsformen der vorliegenden Erfindung innerhalb eines Computersystems unter Verwendung von Daten ausgeführt werden können, die im Computersystem gespeichert sind.
- Volumen Rendering bezieht sich auf Verfahren, die zum Anzeigen eines 2D-Projektionsbildes eines 3D-Volumens verwendet werden. Eine Art von Volumen Rendering beruht auf dem volumetrischen Ray-Tracing. Ray-Tracing Volumen Rendering wird ausgeführt durch Erzeugen eines Strahls für jedes Pixel im projizierten 2D-Bild unter Verwendung eines einfachen Kameramodells. Der Strahl wird in regelmäßigen oder adaptiven Intervallen im ganzen 3D-Bildvolumen abgetastet. Die Volumendaten werden an jedem Abtastpunkt interpoliert, eine Übertragungsfunktion wird an jedem einzelnen Abtastpunkt angewendet, um eine RGBA-(Rot-Grün-Blau-Alpha-)Probe zu bilden, die Probe ist aus dem akkumulierten RGBA des Strahls zusammengesetzt, und der Prozess wird für jeden Abtastpunkt wiederholt, bis der Strahl das Volumen verlässt. Das akkumulierte RGBA des Strahls wird in eine RGB-Farbe umgewandelt, die im entsprechenden Pixel des 2D-Projektionsbildes abgelegt wird. Das 2D-Projektionsbild wird durch Wiederholen dieses Prozesses für jedes Pixel des 2D Projektionsbildes gebildet. Volumetrisches Ray-Tracing kann durch einen linearen Projektionsoperator 17 beschrieben werden, der auf einen 3D-Volumen V wirkt, unter Verwendung eines Kameramodells mit einem Parameter θ, um ein 2D-Bild I zu erzeugen, so dass:
I = Π(V; θ) (1) - Durch Variieren des Parameters θ können verschiedene Projektionsbilder I(θ) erzeugt werden. Der Parameter θ bezeichnet den Projektionswinkel für ein Projektionsbild.
- Da der Projektionsoperator Π linear ist, ist es leicht, den Operator Π–1 zu invertieren. Gegeben sei ein Satz von gerenderten Bildern {I(θi); i = 1, 2, ...}, das Originalvolumen V kann unter Verwendung des invertierten Operators Π–1 rekonstruiert werden. Dieser inverse Prozess ist im Prinzip dem der volumetrischen Bildrekonstruktion ähnlich und kann folgendermaßen ausgedrückt werden:
V = Π–1({θi; i = 1, 2, ...}) (2) - Das Cinematic Volumen Rendering basiert auf volumetrischem Path-Tracing. Statt Beobachtungen aus einem 3D-Volumen an einem Strahl zu integrieren, wird Cinematic Volumen Rendering durch Integrieren über die gesamte Illuminanz ausgeführt, die an einem einzelnen Punkt auf der Oberfläche des Objektes ankommt. Diese Illuminanz wird dann durch eine Oberflächen-Reflektanz-Funktion reduziert, um zu bestimmen, wie viel von der Illuminanz zur Standpunktkamera geht. Dieses Integrationsverfahren wird für jedes Pixel im ausgegebenen 2D-Projektionsbild wiederholt. Das Cinematic Volumen Rendering kann als volumetrisches Path-Tracing beschrieben werden, unter Verwendung eines nichtlinearen Projektionsoperators Ω, der auf ein 3D-Volumen V wirkt, unter Verwendung eines Kameramodells mit einem Parameter θ, um ein 2D-Bild J zu erzeugen, so dass:
J = Ω(V; θ) (3) - Im gerenderten Bild J, das unter Verwendung des Cinematic Volumen Renderings erzeugt wurde, wird Rauschen großenteils unterdrückt und die Strukturen werden stark hervorgehoben.
-
1 zeigt einen Vergleich von projizierten Bildern, die unter Verwendung von Ray-Tracing Volumen Rendering und Cinematic Volumen Rendering erzeugt wurden. Wie in1 gezeigt, ist102 ein projiziertes Bild, das unter Verwendung von Ray-Tracing Volumen Rendering erzeugt wurde, und Bild104 ist ein projiziertes Bild, das unter Verwendung von Cinematic Volumen Rendering erzeugt wurde. Wie in1 zu sehen ist, wird das Rauschen stark reduziert und anatomische Strukturen werden im projizierten Bild104 hervorgehoben, das unter Verwendung von Cinematic Rendering erzeugt wurde, im Vergleich zum projizierten Bild102 , das unter Verwendung von Ray-Tracing Volumen Rendering erzeugt wurde. - In Bezug auf die Berechnung ist das Cinematic Volumen Rendering zeitaufwendiger als das Ray-Tracing Volumen Rendering. Ray-Tracing Volumen Rendering kann in Echtzeit ausgeführt werden, zum Beispiel während einer Operationsverfahrensführung durch medizinische Bilder eines Patienten, während das Cinematic Volumen Rendering normalerweise nicht in Echtzeit ausgeführt werden kann, aufgrund seines hohen Rechneraufwandes.
-
2 illustriert ein Verfahren zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering gemäß einer Ausführungsform der vorliegenden Erfindung. Das Verfahren von2 transformiert 3D-Bilddaten, wie zum Beispiel medizinische Bilddaten, die die Anatomie eines Patienten repräsentieren, um Rauschen zu unterdrücken und Strukturen von Interesse in den Bilddaten hervorzuheben und 2D-Projektionsbilder zu erzeugen, die ein unterdrücktes Rauschen haben und Bildstrukturen aus 3D-Bilddaten verstärken. Mit Bezug auf2 wird in Schritt202 ein 3D-Volumen erhalten. Das 3D-Volumen kann ein medizinisches 3D-Bildvolumen eines Patienten sein, das unter Verwendung einer Art von medizinischer Bildgebungsmodalität erhalten wurde, wie zum Beispiel berechnete Tomographie (CT), Magnetresonanz-Bildgebung (MRI), dynaCT, Ultraschall (US), Positronenemissionstomographie (PET) usw. Das 3D-Volumen kann direkt von einem Bilderfassungsgerät erhalten werden, wie zum Beispiel einem CT-Scanner, MRI-Scanner usw., oder das 3D-Volumen kann durch ein 3D-Volumen gewonnen werden, das vorher in einem Speicher eines Computersystems gespeichert wurde. - Bei Schritt
204 wird ein Satz von Projektionsbildern aus dem 3D-Volumen unter Verwendung eines nichtlinearen Cinematic Rendering-Operators Omega erzeugt. Insbesondere wird ein Satz von Projektionsbildern {J(θi) = Ω(V; θi); i = 1, 2, ...} mit verschiedenen Werten für den Projektionswinkelparameter θi erzeugt. Dies führt zu einem Satz von 2D-Projektionsbildern, die unter Verwendung des Cinematic Renderings erzeugt werden, in denen Rauschen unterdrückt wird und interessierende Strukturen gesteigert werden. - In Schritt
206 wird ein rekonstruiertes Volumen aus dem Satz von Projektionsbildern erzeugt, wobei ein inverser linearer volumetrischer Ray-Tracing-Operator Π–1 verwendet wird. Das ist ein neues Volumen V' = Π–1 ({J(θi); i = 1, 2, ...}), das durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators Π–1 auf den Satz von Projektionsbildern {J(θi) = Ω(V; θi); i = 1, 2, ...} abgeschätzt wird, die unter Verwendung des nichtlinearen Cinematic Rendering-Operators Ω erzeugt wird, so dass:V' = Π–1({Ω(V; θi); i = 1, 2, ...}) (4) - In Gleichung (4) wird ein gegebenes Volumen V eingegeben und ein neues Volumen V' wird ausgegeben. Dementsprechend können die Schritte
204 und206 so betrachtet werden, dass sie die nichtlineare Filterung des eingegebenen Volumens ausführen. Da Rauschen großenteils unterdrückt wird und die Strukturen in den gerenderten Cinematic Bildern sehr verstärkt werden, übernimmt das nichtlinear gefilterte Volumen V', das aus den gerenderten Cinematic Bildern rekonstruiert wurde, dieselben Merkmale (d. h., unterdrücktes Rauschen und verstärkte interessierende Strukturen). Das gefilterte Volumen V' kann ausgegeben werden, zum Beispiel durch Anzeigen des gefilterten Volumens V' auf dem Display eines Computersystems. - In Schritt
208 wird das Echtzeit-Volumen Rendering des rekonstruierten Volumens unter Verwendung des volumetrischen Ray-Tracings des rekonstruierten Volumens ausgeführt. Insbesondere wird der lineare volumetrische Ray-Tracing-Operator Π zum Ausführen des Volumen Renderings des rekonstruierten Volumens zum Erzeugen eines projizierten 2D-Bildes I verwendet, so dass:I = Π(V; θ) = ΠΠ–1({Ω(V; θi); i = 1, 2, ...}) ≈ Ω(V; θ) = J (5) - Durch Anwenden des volumetrischen Ray-Tracing Volumen Renderings auf das gefilterte Volumen V' ist das gerenderte Bild I dem gerenderten Cinematic Bild J aus dem Originalvolumen sehr nahe. In einer vorteilhaften Ausführungsform können die Schritte
202 ,204 und206 vor einer Operation ausgeführt werden, um das gefilterte Volumen V' im Voraus zu berechnen, und Schritt208 kann in Echtzeit während einer Operation für einen oder mehrere Projektionswinkel θ ausgeführt werden. Durch Vorausberechnung des gefilterten Volumens V' kann das Echtzeit-Rendering, das unter Verwendung des Ray-Tracing Volumen Renderings ausgeführt wird, ein projiziertes 2D-Bild I erzeugen, das einem gerenderten Cinematic Bild des Originalvolumens für denselben Projektionswinkel sehr nahe kommt. Auf diese Weise kann der rechnerische Flaschenhals des Cinematic Renderings, der zu einer Leistung ohne Echtzeitverarbeitung führt, beseitigt werden, und 2D-Projektionsbilder, die Cinematic Rendering Effekte der Rauschunterdrückung und Strukturverstärkung haben, können in Echtzeit erzeugt werden. - Ein 2D-Projektionsbild, das sich aus dem Echtzeit-Volumen Rendering in Schritt
208 ergibt, kann ausgegeben werden, zum Beispiel durch Anzeigen des 2D-Projektionsbildes auf einer Anzeige eines Computersystems. - Das Projektionsbild kann in Echtzeit während einer Operation angezeigt werden, um einen Nutzer, der die Operation ausführt, zu lenken. Schritt
208 von2 kann wiederholt werden, um das Echtzeit-Volumen Rendering des gefilterten Volumens V' bei mehreren verschiedenen Projektionswinkeln θ auszuführen. In diesem Fall kann das 2D-Projektionsbild, das für jeden Projektionswinkel erzeugt wird, in Echtzeit angezeigt werden. - Die oben beschriebenen Verfahren zum Volumen Rendering basierten 3D-Bildfiltern und Echtzeit Cinematic Volumen Rendering, können auf einem Computer unter Verwendung bekannter Computerprozessoren, Speichereinheiten, Speichervorrichtungen, Computersoftware und anderer Komponenten implementiert werden. Ein High-level-Blockdiagramm eines solchen Computers wird in
3 illustriert. Computer302 enthält einen Prozessor304 , der die gesamte Operation des Computers302 durch Ausführungen von Computerprogrammanweisungen steuert, die eine solche Operation definieren. Die Computerprogrammanweisungen können in einer Speichervorrichtung312 (zum Beispiel, Magnetplatte) gespeichert werden und in den Speicher310 geladen werden, wenn eine Ausführung der Computerprogrammanweisungen gewünscht wird. Daher können die Schritte der Verfahren von2 durch die Computerprogrammanweisungen definiert werden, die im Speicher310 und/oder Speicher312 gespeichert sind und durch den Prozessor304 gesteuert werden, der die Computerprogrammanweisungen ausführt. Eine Bilderfassungsvorrichtung320 , wie zum Beispiel eine CT-Scanvorrichtung, kann an den Computer302 angeschlossen werden, um Bilddaten in den Computer einzugeben. Es ist möglich, die Bilderfassungsvorrichtung320 und den Computer302 als eine Vorrichtung zu implementieren. Es ist auch möglich, dass die Bilderfassungsvorrichtung320 und der Computer302 drahtlos über ein Netzwerk kommunizieren. Der Computer302 umfasst auch eine oder mehrere Netzschnittstellen306 zum Kommunizieren mit anderen Geräten über ein Netzwerk. Der Computer302 umfasst auch andere Eingabe-/Ausgabevorrichtungen308 , die eine Nutzerinteraktion mit dem Computer302 (zum Beispiel Display, Keyboard, Maus, Lautsprecher usw.) ermöglichen. Solche Eingabe-/Ausgabevorrichtungen308 können in Verbindung mit einem Satz von Computerprogrammen verwendet werden, wie zum Beispiel einem Kommentar-Tool zum Kommentieren von Volumina, die von der Bilderfassungsvorrichtung320 erhalten wurden. Der Fachmann wird erkennen, dass eine Implementierung eines tatsächlichen Computers ebenfalls andere Komponenten enthalten könnte und dass3 eine High-level-Darstellung einiger der Komponenten eines solchen Computers für Erläuterungszwecke ist. - Die vorhergehende ausführliche Beschreibung ist so zu verstehen, dass sie in jeder Hinsicht erläuternd und beispielhaft ist, aber nicht einschränkend, und dass der Geltungsbereich der Erfindung, der hierin offenbart wird, nicht aus der ausführlichen Beschreibung bestimmt werden kann, sondern vielmehr aus den Ansprüchen, wie sie in vollem Umfang interpretiert werden, der durch die Patentgesetze erlaubt wird. Es versteht sich, dass die Ausführungsformen, die hierin beschrieben und gezeigt werden nur eine Erläuterung der Prinzipien der vorliegenden Erfindung sind und dass verschiedene Modifizierungen von den Fachleuten auf diesem Gebiet implementiert werden können, ohne vom Geltungsbereich und dem Geist der Erfindung abzuweichen. Fachleute auf diesem Gebiet könnten verschiedene andere Merkmalskombinationen implementieren, ohne vom Geltungsbereich und dem Geist der Findung abzuweichen.
Claims (23)
- Verfahren zum Volumen Rendering basierten Filtern eines 3D-Volumens, umfassend: Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering; und Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators.
- Verfahren nach Anspruch 1, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des Cinematic Volumen Renderings.
- Verfahren nach Anspruch eins, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung des Cinematic Volumen Renderings Folgendes umfasst: Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators.
- Verfahren nach Anspruch 3, wobei das Erzeugen des Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators, wobei der nichtlineare Cinematic Volumen Rendering-Operator einen Pixelwert für jeden der mehreren Pixel in jedem entsprechenden 3D-Projektionsbild berechnet durch Integrieren der gesamten Illuminanz, die an einem entsprechenden Punkt auf einer Oberfläche des 3D-Volumens ankommt, und Reduzieren der integrierten Illuminanz durch eine Oberflächen-Reflektanzfunktion.
- Verfahren nach Anspruch 3, wobei das Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators Folgendes umfasst: Erzeugen des rekonstruierten 3D-Volumens durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators auf den Satz von 2D-Projektionsbildern des 3D-Volumens, die unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators erzeugt wurden.
- Verfahren nach Anspruch 1, ferner umfassend: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
- Verfahren nach Anspruch 1, ferner umfassend: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen in Echtzeit während einer Operation durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
- Verfahren nach Anspruch 7, wobei das Erzeugen des Satzes von 2D-Projektionsbildern und das Erzeugen des rekonstruierten 3D-Volumens vor der Operation ausgeführt werden.
- Verfahren nach Anspruch 7, wobei das projizierte 2D-Bild, das aus dem rekonstruierten 3D-Volumen erzeugt wurde, eine Approximation eines gerenderten 2D-Cinematic Bildes aus dem 3D-Volumen ist.
- Gerät zum Volumen Rendering basierten Filtern eines 3D-Volumens, umfassend: Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering; und Mittel zum Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators.
- Vorrichtung nach Anspruch 10, wobei das Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Mittel zum Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des Cinematic Volumen Renderings.
- Vorrichtung nach Anspruch 10, wobei das Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung des Cinematic Volumen Renderings Folgendes umfasst: Mittel zum Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators.
- Vorrichtung nach Anspruch 12, wobei das Mittel zum Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators Folgendes umfasst: Mittel zum Erzeugen des rekonstruierten 3D-Volumens durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators auf den Satz von 2D-Projektionsbildern des 3D-Volumens, die unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators erzeugt wurden.
- Verfahren nach Anspruch 10, das ferner umfasst: Mittel zum Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
- Vorrichtung nach Anspruch 14, wobei das projizierte 2D-Bild, das aus dem rekonstruierten 3D-Volumen erzeugt wurde, eine Approximation eines gerenderten 2D-Cinematic Bildes aus dem 3D-Volumen ist.
- Nichtflüchtiges computerlesbares Medium, das Computerprogrammanweisungen zum Volumen Rendering basierten Filtern eines 3D-Volumens speichert, wobei die Computerprogrammanweisungen, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor Operationen ausführt, die Folgendes umfassen: Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering; und Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators.
- Nichtflüchtiges computerlesbares Medium nach Anspruch 16, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators Folgendes umfasst: Erzeugen eines entsprechenden 2D-Projektionsbildes des 3D-Volumens für jeden der mehreren Projektionswinkel unter Verwendung des Cinematic Volumen Renderings.
- Nichtflüchtiges computerlesbares Medium nach Anspruch 16, wobei das Erzeugen eines Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung von Cinematic Volumen Rendering Folgendes umfasst: Erzeugen des Satzes von 2D-Projektionsbildern des 3D-Volumens unter Verwendung eines nichtlinearen Cinematic Volumen Rendering-Operators.
- Nichtflüchtiges computerlesbares Medium nach Anspruch 18, wobei das Erzeugen eines rekonstruierten 3D-Volumens aus dem Satz von 2D-Projektionsbildern unter Verwendung eines inversen linearen volumetrischen Ray-Tracing-Operators Folgendes umfasst: Erzeugen des rekonstruierten 3D-Volumens durch Anwenden des inversen linearen volumetrischen Ray-Tracing-Operators auf den Satz von 2D-Projektionsbildern des 3D-Volumens, die unter Verwendung des nichtlinearen Cinematic Volumen Rendering-Operators erzeugt wurden.
- Nichtflüchtiges, computerlesbares Speichermedium nach Anspruch 16, wobei die Operationen ferner Folgendes umfassen: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
- Nichtflüchtiges, computerlesbares Speichermedium nach Anspruch 16, wobei die Operationen ferner Folgendes umfassen: Erzeugen eines projizierten 2D-Bildes aus dem rekonstruierten 3D-Volumen in Echtzeit während einer Operation durch Ausführen des volumetrischen Ray-Tracings des rekonstruierten 3D-Volumens.
- Nichtflüchtiges computerlesbares Medium nach Anspruch 21, wobei die Operationen zum Erzeugen des Satzes von 2D-Projektionsbildern und zum Erzeugen des rekonstruierten 3D-Volumens vor der Operation ausgeführt werden.
- Nichtflüchtiges computerlesbares Medium nach Anspruch 21, wobei das projizierte 2D-Bild, das aus dem rekonstruierten 3D-Volumen erzeugt wurde, eine Approximation eines gerenderten 2D-Cinematic Bildes aus dem 3D-Volumen ist.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/641,471 US9613452B2 (en) | 2015-03-09 | 2015-03-09 | Method and system for volume rendering based 3D image filtering and real-time cinematic rendering |
US14/641,471 | 2015-03-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016101541A1 true DE102016101541A1 (de) | 2016-09-15 |
Family
ID=56800728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016101541.5A Granted DE102016101541A1 (de) | 2015-03-09 | 2016-01-28 | Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering |
Country Status (4)
Country | Link |
---|---|
US (1) | US9613452B2 (de) |
JP (1) | JP6161748B2 (de) |
CN (1) | CN105957135B (de) |
DE (1) | DE102016101541A1 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10282918B2 (en) | 2016-09-20 | 2019-05-07 | Siemens Healthcare Gmbh | Two-dimensional cinematic medical imaging in color based on deep learning |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11339062A (ja) * | 1998-05-25 | 1999-12-10 | Japan Radio Co Ltd | 画像合成システム |
DE10245670A1 (de) * | 2002-09-30 | 2004-04-08 | Siemens Ag | Verfahren zur intraoperativen Erzeugung eines aktualisierten Volumendatensatzes |
US7154500B2 (en) | 2004-04-20 | 2006-12-26 | The Chinese University Of Hong Kong | Block-based fragment filtration with feasible multi-GPU acceleration for real-time volume rendering on conventional personal computer |
US7330578B2 (en) | 2005-06-23 | 2008-02-12 | Accuray Inc. | DRR generation and enhancement using a dedicated graphics device |
DE102006003126A1 (de) * | 2006-01-23 | 2007-08-02 | Siemens Ag | Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten |
DE102006016601A1 (de) * | 2006-04-06 | 2007-10-18 | Siemens Ag | Verfahren und Vorrichtung zur Bereitstellung von tomographischen Bilddaten eines Objektes |
JP2009536499A (ja) * | 2006-05-05 | 2009-10-08 | トムソン ライセンシング | 2次元画像から3次元オブジェクトを再構成するシステム及び方法 |
WO2008051231A1 (en) * | 2006-10-27 | 2008-05-02 | Thomson Licensing | System and method for recovering three-dimensional particle systems from two-dimensional images |
US20090040220A1 (en) * | 2007-02-05 | 2009-02-12 | Jonathan Gibbs | Hybrid volume rendering in computer implemented animation |
CN101625766A (zh) * | 2009-08-03 | 2010-01-13 | 深圳先进技术研究院 | 医学图像处理方法 |
US20120154400A1 (en) | 2010-12-20 | 2012-06-21 | General Electric Company | Method of reducing noise in a volume-rendered image |
US9070208B2 (en) * | 2011-05-27 | 2015-06-30 | Lucasfilm Entertainment Company Ltd. | Accelerated subsurface scattering determination for rendering 3D objects |
CN103234990A (zh) * | 2013-03-28 | 2013-08-07 | 上海交通大学 | 一种焊缝中气孔形态及分布的无损检测新方法 |
US20140309518A1 (en) * | 2013-04-11 | 2014-10-16 | Samsung Life Public Welfare Foundation | Medical imaging apparatus, control method thereof, and image processing apparatus for the same |
CN104382616B (zh) * | 2014-09-28 | 2017-01-25 | 安华亿能医疗影像科技(北京)有限公司 | 颈动脉三维图像构建装置 |
-
2015
- 2015-03-09 US US14/641,471 patent/US9613452B2/en active Active
-
2016
- 2016-01-28 DE DE102016101541.5A patent/DE102016101541A1/de active Granted
- 2016-02-22 JP JP2016030595A patent/JP6161748B2/ja active Active
- 2016-03-09 CN CN201610131865.0A patent/CN105957135B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP6161748B2 (ja) | 2017-07-12 |
US20160267703A1 (en) | 2016-09-15 |
CN105957135B (zh) | 2019-07-09 |
CN105957135A (zh) | 2016-09-21 |
US9613452B2 (en) | 2017-04-04 |
JP2016167260A (ja) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102019008221A1 (de) | Interaktives Bildmattieren unter Verwendung neuronaler Netze | |
DE19983560B4 (de) | Ein allgemeines Bildverbesserungsverfahren- und system | |
DE102019215460A1 (de) | Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen | |
DE4224568C2 (de) | Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes | |
DE112018002793T5 (de) | Bildverarbeitungssystem und bildverarbeitungsverfahren | |
DE102009042326A1 (de) | Interaktive Veränderung der Darstellung eines mittels Volume Rendering dargestellten Objekts | |
DE102005010169A1 (de) | Aktives Polyeder für 3D-Bildsegmentierung | |
DE102006002914A1 (de) | Mehrdimensionale Segmentierung basierend auf adaptiven begrenzenden Kasten- und Ellipsoid-Modellen | |
DE102013220539A1 (de) | Modifikation einer Hohlorgan-Repräsentation | |
DE112015002802T5 (de) | Verbesserte bildrekonstruktion für ein volumen basierend auf projektionsdatensätzen | |
DE102011076878A1 (de) | Verfahren und Vorrichtung zur effizienten Editierung eines dreidimensionalen Volumens mittels Ray Casting | |
DE112015003626T5 (de) | System und verfahren zum erhöhen der bittiefe von bildern | |
DE102013215301A1 (de) | System, Verfahren und Computerprogrammprodukt zum Extrudieren eines Modells durch eine zweidimensionale Szene | |
DE102004056589A1 (de) | Verfahren und Vorrichtung zur Durchführung segmentierungsbasierter Bildoperationen | |
DE102008005476A1 (de) | Verfahren zur Bildkompression eines Bildes mit 3D Graphikinformation | |
DE102007014773B4 (de) | Verfahren und Vorrichtung zur Durchführung einer Maximum Intensity Projektion | |
DE102020213305A1 (de) | Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten | |
DE102016101541A1 (de) | Verfahren und System zur Volumen-Rendering basierten 3D-Bildfilterung und Echtzeit Cinematic Rendering | |
DE102019212929A1 (de) | Registrieren eines 2D Bildes mit einem 3D Bild | |
DE112016004401T5 (de) | Projizieren eines Bildes auf eine unregelmässig geformte Anzeigeoberfläche | |
DE112016005742T5 (de) | Datenverarbeitungsverfahren für Computertomographie | |
DE102020212089B3 (de) | Verfahren und Vorrichtung zur Bildentrauschung sowie eine Steuereinrichtung, ein bildgebendes System, ein Computerprogrammprodukt und ein computerlesbares Medium dazu | |
DE19953308A1 (de) | Vorrichtung und Verfahren zum Implementieren eines Bild-Spreadsheets | |
EP3579193A1 (de) | Verfahren zur ermittlung von bildwerten in markierten pixeln wenigstens eines projektionsbildes, röntgeneinrichtung, computerprogramm und elektronisch lesbarer datenträger | |
DE102019217576B4 (de) | Identifizieren und Bereitstellen von Fehlausrichtungsbildmerkmalen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: SIEMENS HEALTHCARE GMBH, DE Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE |
|
R082 | Change of representative |
Representative=s name: BALS & VOGEL PATENTANWAELTE, DE |
|
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: BALS & VOGEL PATENTANWAELTE PARTG MBB, DE |
|
R082 | Change of representative |
Representative=s name: BALS & VOGEL PATENTANWAELTE PARTG MBB, DE |
|
R081 | Change of applicant/patentee |
Owner name: SIEMENS HEALTHINEERS AG, DE Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE |
|
R018 | Grant decision by examination section/examining division |