DE102007021035A1

DE102007021035A1 - Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur kontrasterhaltenden Fusionierung und Visualisierung koregistrierter Bilddaten

Info

Publication number: DE102007021035A1
Application number: DE102007021035A
Authority: DE
Inventors: Marcus Dr. Pfister
Original assignee: Siemens AG
Current assignee: Siemens Healthcare GmbH
Priority date: 2007-05-04
Filing date: 2007-05-04
Publication date: 2008-11-13
Also published as: US8200040B2; US20080273784A1

Abstract

Die vorliegende Erfindung bezieht sich auf ein insbesondere im Bereich der diagnostischen und interventionellen Radiologie einsetzbares Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem sowie auf ein von diesem System durchgeführtes Verfahren zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von 2-D-Durchleuchtungsbildern (F) und rekonstruierten 2-D-Projektionen bzw. 3-D-Ansichten (M) generierter Bilddaten, welche beispielsweise im Rahmen von minimal-invasiven Interventionen oder operativen Eingriffen benötigt werden, die unter Durchleuchtungskontrolle an inneren Organen, Gewebebereichen, Läsionen oder pathologischen Strukturen im Körperinneren eines Patienten durchgeführt werden. Gemäß diesem Verfahren werden die Bilddaten eines ersten, zu überblendenden Bildes (F) und die Bilddaten eines zweiten, das erste Bild (F) überblendenden Bildes (M) unter Anwendung einer Alphakanal-basierten Überblendungstechnik, bei der die Grauwerte der einzelnen Pixel des ersten Bildes (F) vor Überblendung mit dem segmentierten Vordergrund (MV) des zweiten Bildes (M) durch Beaufschlagung mit einem die bei der Überblendung auftretende Kontrastminderung des ersten, zu überblendenden Bildes (F) kompensierenden oder abschwächenden Grauwert-Term aufgehellt werden, miteinander verlinkt, koregistriert und kontrasterhaltend fusioniert, bevor sie auf dem Anzeigebildschirm (AB) eines Bildschirm-Terminals in grafischer Form zur ...

Description

Die vorliegende Erfindung bezieht sich auf ein insbesondere im Bereich der diagnostischen und interventionellen Radiologie einsetzbares Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem sowie auf ein von diesem System durchgeführtes Verfahren zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von 2-D-Durchleuchtungsbildern und rekonstruierten 2-D-Projektionen bzw. 3-D-Ansichten generierter Bilddaten, welche beispielsweise im Rahmen von minimal-invasiven Interventionen oder operativen Eingriffen benötigt werden, die unter Durchleuchtungskontrolle an inneren Organen, Gewebebereichen, Läsionen oder pathologischen Strukturen im Körperinneren eines Patienten durchgeführt werden.
Bei einem interventionellen Eingriff werden zur Navigation der dazu erforderlichen medizintechnischen Instrumente unter fluoroskopischer Bildgebung in Echtzeit generierte 2-D-Durchleuchtungsbilder von den zu behandelnden Stellen und den sie umgebenden Gewebebereichen im Körperinneren eines zu behandelnden Patienten ausgewertet. Verglichen mit 3-D-Ansichten, die aus zweidimensionalen Projektionsdaten einer Anzahl zu einem Volumendatensatz zusammengefasster, z. B. mittels Spiral-CT oder Rotationsangiographie gewonnener axialer 2-D-Schnittbilder rekonstruiert wurden, zeigen zweidimensionale Durchleuchtungsbilder zwar keine räumlichen Details, dafür sind sie jedoch in Echtzeit verfügbar und ermöglichen eine Minimierung der Strahlenbelastung für Arzt und Patient, da der Patient nur ein einziges Mal aus einer einzigen Strahlungsrichtung durchleuchtet zu werden braucht.
Herkömmlicherweise wird die räumliche Tiefeninformation dadurch zurückgewonnen, dass unter fluoroskopischer Bildgebung aufgenommene 2-D-Durchleuchtungsbilder mit 3-D-Rekonstruktionen präoperativ generierter CT- oder MRT-Schnittbilder der zu behandelnden Körperregionen und ihrer umgebenden Gewebebereiche bzw. mit intraoperativ aufgenommenen 3-D-Rotationsangiogrammen fusioniert und mit diesen zusammen registriert werden. Die Fusionierung beinhaltet dabei eine Bildverarbeitungsprozedur, bei der dreidimensional wiedergegebene Bildobjekte mit den betreffenden Bildobjekten in aufgenommenen 2-D-Durchleuchtungsbildern zur Deckung gebracht und diesen additiv überlagert werden. Die dreidimensional rekonstruierten oder mittels Rotationsangiographie in dreidimensionaler Form aufgenommenen Bildobjekte werden also zweidimensionalen fluoroskopischen Durchleuchtungsbildern unterlegt, deren Bilddaten dann gemeinsam mit den Bilddaten der dreidimensional rekonstruierten bzw. in dreidimensionaler Form aufgenommenen Bildobjekte in einem Bildarchiv gespeichert (koregistriert) werden. Die Kombination von koregistrierten 2-D-Schichtaufnahmen und dreidimensional rekonstruierten Bildobjekten erleichtert dabei einem behandelnden Arzt die Orientierung innerhalb eines betrachteten Volumenbereichs.
Die Registrierung und Visualisierung der fusionierten 2-D- und 3-D-Bilddaten erfolgt dabei üblicherweise in zwei getrennten Schritten: Zunächst muss bestimmt werden, aus welcher Richtung ein abzubildender Volumenbereich projiziert werden muss, damit er mit einem z. B. von einem Angiographiesystem aufgenommenen 2-D-Durchleuchtungsbild zur Deckung gebracht und gemeinsam mit diesem registriert werden kann. Hierfür existieren verschiedene Ansatzmöglichkeiten, die jedoch für den Gegenstand der vorliegenden Erfindung nicht wesentlich sind und daher unerwähnt bleiben können. Bei der Visualisierung müssen die koregistrierten Bilddaten in einer fusionierten 2-D-/3-D-Darstellung, d. h. in einer gemeinsamen Darstellung eines aufgenommenen 2-D-Durchleuchtungsbildes F (im Folgenden auch als „Fluoroskopiebild" bezeichnet) und einer in die Darstellungsebene E_xy (Projektionsebene) des betreffenden 2-D-Durchleuchtungsbildes projizierten 3-D-Rekon struktion M, die dann natürlich auch zweidimensional ist, angezeigt werden.
Eine Standardmethode zur gemeinsamen grafischen Visualisierung der Bilddaten zweier oder mehrere Ausgangsbilder ist das sogenannte „Overlay". Dabei werden die jeweiligen Ausgangsbilder miteinander zur Deckung gebracht und mittels Alpha-Blending, einer Technik der digitalen Bild- oder Videobearbeitung, unter Berücksichtigung der jeweiligen Farb- und Transparenzinformation der einzelnen Bildpunkte zu einem Gesamtbild überlagert („überblendet"). Zu diesem Zweck ist bei verschiedenen Grafikformaten (z. B. bei PNG, PSD, TGA oder TIFF) ein so genannter Alphakanal vorgesehen, in dem Transparenzinformationen zusätzlich zu den kodierten Farbinformationen der eigentlichen Bilddaten bei einer Kodierung mit m Bit in bis zu 2^m Abstufungen, angebbar durch einen Opazitätswert α (Blending-Faktor) im Bereich zwischen Null (vollkommen transparent) und Eins (vollkommen lichtundurchlässig), gespeichert sind. Ein fusioniertes 2-D-Gesamtbild B, das bei einer Überlagerung der beiden zweidimensionalen Bilder F und M mittels Alpha-Blending entsteht, lässt sich in mathematischer Hinsicht als dreidimensionales Feld (d. h. als Tensor dritter Stufe) mit Komponenten der Form (n_x, n_y, I_B(n_x, n_y)), d. h. als Wertetripel, beschreiben, wobei n_x und n_y die x- und y-Koordinaten der einzelnen Pixelpositionen in der Bildebene E_xy des fusionierten Gesamtbildes B bezeichnen und I_B(n_x, n_y) die Grau- bzw. RGB-Farbwerte der Pixel an den betreffenden Pixelpositionen dieses Bildes. Während es sich im ersteren Fall um einen eindimensionalen Spezialfall handelt, bei dem sich I_B(n_x, n_y) als skalare Größe I_B(n_x, n_y) schreiben lässt, welche die Intensität am Ort des jeweiligen Pixels (n_x, n_y) wiedergibt, handelt es sich im letzteren Fall bei I_B(n_x, n_y) um einen dreidimensionalen Farbvektor, dessen Komponenten die Luminanzwerte der einzelnen Primärfarben Rot, Grün und Blau des fusionierten Gesamtbildes B am Ort eines Pixels (n_x, n_y) beschreiben. Dieser Vektor lässt sich dabei über die Formel I B(nx, ny) := α·I M(nx, ny) + (1 – α)·I F(nx, ny) ∀ (nx, ny) (1)mit 0 < α < 1
berechnen, wobei I_F(n_x, n_y) bzw. I_M(n_x, n_y) ebenfalls vektorielle Größen sind, welche die Farbwerte der Pixel an den betreffenden Pixelpositionen (n_x, n_y) der beiden Bilder bezeichnen, und der skalare Faktor α den verwendeten Opazitätswert bezeichnet (im Folgenden auch „Blending-Faktor" genannt). Hierbei handelt es sich um eine spezielle, unter der Bezeichnung „konische Affinkombination" bekannte Form der Linearkombination, bei der alle Koeffizienten größer als Null sind und in der Summe Eins ergeben (Konvexkombination). Der Blending-Faktor α stellt dabei einen Parameter dar, der den prozentualen Anteil beschreibt, den jedes der beiden überlagerten Ausgangsbilder F und M an den Grauwerten der einzelnen Pixel des fusionierten Gesamtbildes B haben soll.
Ein Nachteil dieses Verfahrens besteht jedoch darin, dass Bildobjekte, die im Fluoroskopiebild F mit niedriger Kontrastschärfe dargestellt sind (wie z. B. Katheterspitzen, kardiovaskuläre Stentimplantate etc.), beim Überblenden einer in die Projektionsebene E_xy des betreffenden Fluoroskopiebildes F projizierten 3-D-Rekonstruktion M hoher Kontrastschärfe bei Verwendung eines Blending-Faktors nahe Eins von Letzterer nahezu überdeckt werden. Der Bildkontrast K_B, welcher sich als Funktion von α darstellen lässt, ist dabei im eindimensionalen, skalaren Fall durch die Formel
gegeben, wobei I_BV die Bildintensität eines Bildobjekts BO im Vordergrund BV des fusionierten Gesamtbildes B bezeichnet und I_BH die Bildintensität eines von dem betreffenden Bildobjekt BO verdeckten Objekthintergrunds BH auf diesem Bild. Lässt sich das Bildobjekt BO, welches im Vordergrund MV des überlagernden Bildes M dargestellt ist, vom Hintergrund MH dieses Overlay-Bildes M segmentieren (was über eine Schwellwertent scheidung in der Regel leicht zu erreichen ist), ist üblicherweise vorgesehen, dass dem Fluoroskopiebild F nur das segmentierte Bildobjekt BO überlagert wird. Auf diese Weise wird gewährleistet, dass zumindest im Hintergrundbereich BH des eingeblendeten segmentierten Bildobjekts BO im fusionierten Gesamtbild B die Kontrastschärfe des Fluoroskopiebildes F erhalten bleibt. Für den Vordergrundbereich BV des fusionierten Gesamtbildes B gilt dies jedoch nicht, da hier die Kontrastschärfe aufgrund der Überlagerung der beiden Ausgangsbilder F und M abnimmt.
Eine bekannte Möglichkeit, die Kontrastschärfe auch in dem durch den Bereich des Bildobjekts BO definierten Vordergrundbereich BV des fusionierten Gesamtbildes B zu erhalten, besteht darin, nur den Umriss des vom Hintergrund MH des Overlay-Bildes M segmentierten Bildobjekts BO in das Fluoroskopiebild F einzublenden. Dies ist jedoch nur für einige wenige Anwendungen sinnvoll. Zudem gehen bei dieser Methode der 3-D-Eindruck des segmentierten und eingeblendeten Bildobjekts BO und die Information darüber, dass das segmentierte Bildobjekt BO des Overlay-Bildes M den Vordergrund BV des fusionierten Gesamtbildes B bilden soll und die im Fluoroskopiebild F dargestellten Gewebebereiche, Implantate oder medizinischen Instrumente (z. B. Punktionsnadeln, Katheter, chirurgische Werkzeuge etc.) den Hintergrund BH des fusionierten Gesamtbildes B (oder umgekehrt), verloren. Eine andere Methode sieht vor, die beiden Ausgangsbilder F und M nicht übereinander, sondern seitlich gegeneinander versetzt anzuzeigen. Dies hat jedoch bei einigen Anwendungen den Nachteil, dass die Information darüber, in welcher räumlichen Beziehung das segmentierte Bildobjekt BO im Vordergrund BV des fusionierten Gesamtbildes B und die dargestellten Gewebebereiche und Objekte im Bildhintergrund BH des fusionierten Gesamtbildes B zueinander stehen, verloren gehen kann.
Eine weitere Möglichkeit zur Erhaltung der Kontrastschärfe in dem durch den Bereich des Bildobjekts BO definierten Vordergrundbereich BV des fusionierten Gesamtbildes B besteht in einer Segmentierung der im Vordergrund FV des Fluoroskopiebildes F dargestellten Implantate oder medizinischen Instrumente, um nur diese Objekte der in die Projektionsebene E_xy des betreffenden Fluoroskopiebildes F projizierten 3-D-Ansicht M und dem hierin dargestellten Bildobjekt BO zu überlagern. Da der Hintergrund FH des Fluoroskopiebildes F bei diesem Verfahren nach Durchführung der Segmentierung als Maske subtrahiert wird, können die hierin abgebildeten Gewebebereiche in dem fusionierten Gesamtbild B nicht mehr dargestellt werden. Dies ist bis auf wenige Ausnahmen für die meisten Anwendungen von großem Nachteil, da die Information über die genaue räumliche Lage der dargestellten Implantate oder medizinischen Instrumente in Bezug auf die umliegenden Gewebebereiche verloren geht. Darüber hinaus schlägt diese Methode fehl, wenn sich die räumliche Lagebeziehung der im Vordergrund FV des Fluoroskopiebildes F dargestellten Implantate oder medizinischen Instrumente in Bezug auf die Lage der im Hintergrund FH dieses Bildes dargestellten Gewebebereiche ändert, zum Beispiel weil der mobile C-Bogen eines multidirektionalen C-Bogen-Röntgenaufnahmesystems oder der Patiententisch, auf dem der zu untersuchende Patient liegt, bewegt wurde bzw. aufgrund von Körperbewegungen, Atmungs- oder Pulsationsbewegungen beweglicher Organe (wie z. B. Lunge oder Herz) des Patienten. In diesen Fällen bleibt als einzige Möglichkeit nur das normale Alpha-Blending.
Ausgehend von dem oben genannten Stand der Technik, ist die vorliegende Erfindung der Aufgabe gewidmet, die Kontrastschärfe bei der Überlagerung von fluoroskopischen 2-D-Durchleuchtungsaufnahmen und rekonstruierten 2-D-Projektionen bzw. 3-D-Ansichten aufgenommener Bildobjekte zu erhalten, um die Präzision und Sicherheit minimal-invasiver, interventioneller oder operativer Eingriffe, die unter Durchleuchtungskontrolle mit fusionierten und koregistrierten Bilddaten derselben Bildgebungsmodalität bzw. mit fusionierten und koregistrierten Bilddaten verschiedener oder verschiedenartiger Bildgebungsmodalitäten durchgeführt werden, zu erhöhen.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsbeispiele, die den Gedanken der Erfindung weiterbilden, sind in den abhängigen Patentansprüchen definiert.
Die vorliegende Erfindung bezieht sich gemäß einem ersten Aspekt auf ein insbesondere im Bereich der diagnostischen und interventionellen Radiologie einsetzbares Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von digitalen Bilddaten mindestens zweier Bilder. Das erfindungsgemäße System verfügt dabei über ein Fusionierungs-, Registrierungs- und Visualisierungs-Tool, welches die Bilddaten eines ersten, zu überblendenden Bildes und die Bilddaten eines zweiten, das erste Bild überblendenden Bildes unter Anwendung einer Alphakanal-basierten Überblendungstechnik miteinander verlinkt, koregistriert, fusioniert und anschließend auf dem Anzeigebildschirm eines Bildschirm-Terminals in grafischer Form zur Anzeige bringt. Das erfindungsgemäße Fusionierungs-, Registrierungs- und Visualisierungs-Tool ist dabei derart ausgelegt, dass die Farb- bzw. Grauwerte der einzelnen Pixel des ersten Bildes bei dieser Überblendungstechnik vor Überblendung mit dem segmentierten Vordergrund des zweiten Bildes durch Beaufschlagung mit einem Farbwert- bzw. Grauwert-Term aufgehellt werden, der die bei der Überblendung auftretende Kontrastminderung des ersten, zu überblendenden Bildes kompensiert oder abschwächt.
Das Fusionierungs-, Registrierungs- und Visualisierungs-Tool umfasst dabei unter anderem ein Modul zur Durchführung einer Koordinatentransformation, durch die zu überlagernde identische Bildobjekte in den mindestens zwei zu fusionierenden Bildern, sofern dies noch nicht der Fall sein sollte, so überlagert werden, dass sie präzise aufeinander zur Deckung kommen. Darüber hinaus umfasst das Fusionierungs-, Registrierungs- und Visualisierungs-Tool ein Modul, welches dazu dient, den durch das einzublendende Bildobjekt im Vordergrund des zweiten, überblendenden Bildes gebildeten Bereich vom Ob jekthintergrund dieses Bildes zu segmentieren und die Farb- bzw. Grauwerte des segmentierten Objekthintergrundes anschließend von den Farb- bzw. Grauwerten des überblendenden Gesamtbildes zu subtrahieren. Die mit Hilfe des Fusionierungs-, Registrierungs- und Visualisierungs-Tools verlinkten und gemeinsam registrierten Bilddaten des ersten, zu überblendenden Bildes und die Bilddaten des zweiten, das erste Bild überblendenden Bildes werden dann in fusionierter Form und/oder separat in einer dafür vorgesehenen Speichereinheit des Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystems gespeichert.
Gemäß einem zweiten Aspekt bezieht sich die vorliegende Erfindung auf ein von dem Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem ausgeführtes Verfahren zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von digitalen Bilddaten mindestens zweier Bilder. Das Verfahren ist dadurch gekennzeichnet, dass die Bilddaten eines ersten, zu überblendenden Bildes und die Bilddaten eines zweiten, das erste Bild überblendenden Bildes unter Anwendung einer Alphakanal-basierten Überblendungstechnik, bei der die Farb- bzw. Grauwerte der einzelnen Pixel des ersten Bildes vor Überblendung mit dem segmentierten Vordergrund des zweiten Bildes durch Beaufschlagung mit einem die bei der Überblendung auftretende Kontrastminderung des ersten, zu überblendenden Bildes kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term aufgehellt werden, miteinander verlinkt, koregistriert, fusioniert und auf dem Anzeigebildschirm eines Bildschirm-Terminals in grafischer Form zur Anzeige gebracht werden.
Das erfindungsgemäße Verfahren umfasst unter anderem die Durchführung einer Koordinatentransformation, durch die zu überlagernde identische Bildobjekte in den mindestens zwei zu fusionierenden Bildern, sofern dies noch nicht der Fall sein sollte, so überlagert werden, dass sie präzise aufeinander zur Deckung kommen. Darüber hinaus umfasst das Verfahren einen Verfahrensschritt, bei dem das einzublendende Bildob jekt im Vordergrundbereich des zweiten, überblendenden Bildes vom Objekthintergrund dieses Bildes segmentiert wird und die Farb- bzw. Grauwerte des segmentierten Objekthintergrundes von den Farb- bzw. Grauwerten des überblendenden Gesamtbildes anschließend subtrahiert werden. Die verlinkten und gemeinsam registrierten Bilddaten des ersten, zu überblendenden Bildes und die Bilddaten des zweiten, das erste Bild überblendenden Bildes werden dann in fusionierter Form und/oder separat gespeichert.
Bei dem die Kontrastminderung bei der Überblendung der beiden Bilder kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term kann es sich erfindungsgemäß z. B. um einen zur Invertierung der Farb- bzw. Grauwerte des zu überblendenden Bildes dienenden Bildoperator, um einen vom Blending-Faktor der Alphakanal-basierten Überblendungstechnik abhängigen additiven Farbwert- bzw. Grauwert-Offset oder aber um einen von diesem Blending-Faktor abhängigen multiplikativen Farbwert- bzw. Grauwert-Faktor handeln. Dabei kann im zweiten Fall z. B. vorgesehen sein, dass der additive Farbwert- bzw. Grauwert-Offset durch einen ortsunabhängigen, konstanten Offset gebildet wird oder durch einen Offset, in den die Farb- bzw. Grauwerte der einzelnen Pixel im Vordergrund des überblendenden Bildes multiplikativ eingehen. Im dritten Fall kann der multiplikative Farbwert- bzw. Grauwert-Faktor z. B. in einem Faktor bestehen, in den die Grauwerte der einzelnen Pixel im Vordergrund des überblendenden Bildes in normierter Form multiplikativ eingehen.
Da die vorliegende Erfindung insbesondere im Bereich der medizinischen Bilddatenverarbeitung eingesetzt werden soll, kann es sich bei den fusionierten, gemeinsam registrierten und in grafischer Form visualisierten Bilddaten zum Einen, was die Bilddaten des zu überblendenden (bzw. überblendeten) Bildes anbelangt, um Bilddaten von zweidimensionalen fluoroskopischen Durchleuchtungsaufnahmen abzubildender Organe bzw. Gewebebereiche im Körperinneren eines zu untersuchenden Patienten handeln, die unter Anwendung eines fluoroskopischen Bildgebungsprozesses akquiriert wurden, und zum Anderen, was die Bilddaten des überblendenden Bildes anbelangt, um Bilddaten rekonstruierter 2-D-Projektionen bzw. 3-D-Ansichten (M) der betreffenden Organe bzw. Gewebebereiche, die z. B. im Rahmen von minimal-invasiven Interventionen oder operativen Eingriffen an inneren Organen, Gewebebereichen, Läsionen oder pathologischen Strukturen im Körperinneren eines Patienten benötigt werden.
Gemäß einem dritten Aspekt bezieht sich die vorliegende Erfindung auf ein Computersoftware-Programmprodukt, welches zur Durchführung des geschilderten Verfahrens bei Betrieb auf einem Bildschirm-Terminal des vorstehend beschriebenen Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystems geeignet ist.
Weitere Merkmale der vorliegenden Erfindung ergeben sich aus den abhängigen Patentansprüchen sowie aus der Beschreibung von Ausführungsbeispielen, welche in den folgenden Zeichnungen abgebildet sind. Es zeigen:
1 ein Blockschaltbild eines Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystems gemäß vorliegender Erfindung, das zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von fluoroskopischen 2-D-Durchleuchtungsbildern und rekonstruierten 2-D-Projektionen bzw. 3-D-Ansichten generierter CT- bzw. MRT-Bilddaten verwendet wird,
2 ein Ablaufdiagramm, mit dem das erfindungsgemäße Verfahren zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von fluoroskopischen 2-D-Durchleuchtungsbildern und rekonstruierten 2-D-Projektionen bzw. 3-D-Ansichten generierter CT- bzw. MRT-Bilddaten veranschaulicht wird, und
3 bis 5 drei Diagramme, mit denen die einzelnen Varianten des erfindungsgemäßen Verfahrens einander gegenübergestellt und für verschiedene Parameterwerte hinsichtlich ihres Kontrasterhalts miteinander verglichen werden.
In den folgenden Abschnitten werden die Systemkomponenten des erfindungsgemäßen Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystems und die Schritte des zugehörigen erfindungsgemäßen Verfahrens anhand der beigefügten Zeichnungen im Detail beschrieben.
In 1 ist ein schematisches Blockschaltbild eines Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystems gemäß vorliegender Erfindung dargestellt, welches es ermöglicht, von einem medizintechnischen Bildgebungsgerät BGG wie beispielsweise einem Angiographiesystem generierte Bilddaten von inneren Organen, interessierenden Gewebebereichen, pathologischen Strukturen, medizinischen Implantaten oder anderen Objekten im Körperinneren eines zu untersuchenden Patienten einerseits in Form von fluoroskopischen 2-D-Durchleuchtungsaufnahmen und andererseits in Form von rekonstruierten, aus beliebigen Projektionswinkeln dargestellten 2-D-Projektionen oder rekonstruierten 3-D-Ansichten gemeinsam zu erfassen, zu registrieren, zu archivieren und in Form fusionierter grafischer Darstellungen auf dem Anzeigebildschirm AB eines Bildschirm-Terminals zu visualisieren.
Wie in 1 skizziert, werden die z. B. von einem angiographischen Bildgebungsprozess generierten Bilddaten über eine Eingabe-/Ausgabe-Schnittstelle I/O einem Bildverarbeitungssystem BVS zugeführt. Das Bildverarbeitungssystem BVS kann dabei neben einer zentralen Steuerungseinrichtung ZSE, welche den Datenaustausch mit dem Bildgebungsgerät BGG sowie den Datenaustausch zwischen den einzelnen Systemkomponenten des Bildverarbeitungssystem BVS steuert, unter anderem ein Vorverarbeitungsmodul VVM mit einem digitalen Filter zur Rauschunterdrückung, Kontrastverbesserung und Kantendetektion umfassen. Eine in das Bildverarbeitungssystem BVS integrierte 2-D-/3-D-Bildrendering-Applikation BRA dient zur Generierung von rekonstruierten 2-D-Projektionen und/oder 3-D-Ansichten sowie zur grafischen Visualisierung der abzubildenden Gewebebereiche. Darüber hinaus umfasst das Bildverarbeitungssystem BVS auch ein eingangsseitig mit den Datenausgängen des Vorverarbeitungsmoduls VVM und der 2-D-/3-D-Bildrendering-Applikation BRA verbundenes Fusionierungs-, Registrierungs- und Visualisierungs-Tool FRVT, dessen genaue Funktion weiter unten erläutert wird.
Immer dann, wenn Bilddaten von dem Bildgebungsgerät BGG generiert und dem Bildverarbeitungssystem BVS über eine Eingabeschnittstelle bereitgestellt werden, können diese, veranlasst durch die zentrale Steuerungseinrichtung ZSE, nach Abschluss der Vorverarbeitung in Vorbereitung für eine spätere grafischen Visualisierung je nach Systemkonfiguration temporär oder persistent in einem Bilddatenspeicher einer externen Speichereinheit SE gespeichert werden, wo sie in ein patientenspezifisches Untersuchungsprotokoll UP einer Protokolldatei geschrieben werden, die in einem Speicherbereich der Speichereinheit SE hinterlegt ist. Neben den im Rahmen des angiographischen Bildgebungsprozesses akquirierten Bilddaten können auch sämtliche Aufnahmeparameter, die von einem die Untersuchung durchführenden Radiologen l manuell eingestellt wurden, sowie alle zur Visualisierung rekonstruierter 2-D-Projektionen bzw. 3-D-Ansichten von bestimmten Bereichen im Körperinneren des Patienten benötigte Darstellungs- und Rekonstruktionsparameter in einem standardisierten Datenformat (z. B. im DICOM-Format) über eine Datenausgabeschnittstelle DATA_OUT des Bildverarbeitungssystems BVS in das patientenspezifische Untersuchungsprotokoll UP der extern gespeicherten Protokolldatei geschrieben werden. Zur grafischen Visualisierung können die gespeicherten Bilddaten, Aufnahme- und Rekonstruktionsparameter über eine Dateneingabeschnittstelle DATA_IN des Bildverarbeitungssystems BVS in einen nicht dar gestellten, lokalen Temporärspeicher des Fusionierungs-, Registrierungs- und Visualisierungs-Tools FRVT geladen werden.
Wie aus 1 ersichtlich, werden dem Fusionierungs-, Registrierungs- und Visualisierungs-Tool FRVT einerseits die mittels fluoroskopischer Bildgebung akquirierten und von dem Vorverarbeitungsmodul VVM gefilterten Bilddaten zweidimensionaler fluoroskopischer Durchleuchtungsbilder zu untersuchender Gewebebereiche zugeführt und andererseits Bilddaten rekonstruierter, mit Hilfe der 2-D-/3-D-Bildrendering-Applikation BRA generierter 2-D-Projektionen bzw. 3-D-Ansichten aus dem Körperinneren des unter Durchleuchtungskontrolle untersuchten Patienten, die dann mittels einer der nachfolgend beschriebenen Überblendungstechniken (siehe Verfahrensvarianten Nr. 1 bis 4) fusioniert, verlinkt, gemeinsam registriert und auf dem Anzeigebildschirm AB des Bildschirm-Terminals in grafischer Form visualisiert werden. Zur Archivierung werden die Bilddaten der fusionierten Bilder über die eingangs erwähnte Datenausgabeschnittstelle DATA_OUT des Bildverarbeitungssystems BVS (z. B. unter Verwendung des DICOM-Formats) in das patientenspezifische Untersuchungsprotokoll UP der in der externen Speichereinheit SE hinterlegten Protokolldatei geschrieben und dort abrufbar und persistent gespeichert.
Wie vorstehend beschrieben, können mit Hilfe des Fusionierungs-, Registrierungs- und Visualisierungs-Tools FRVT koregistrierte Bilddaten eines aufgenommenen 2-D-Durchleuchtungsbildes F (z. B. Bilddaten eines mittels fluoroskopischer Bildgebung generierten 2-D-Durchleuchtungsbildes) und einer in die Darstellungsebene E_xy (Projektionsebene) des betreffenden 2-D-Durchleuchtungsbildes projizierten 3-D-Rekonstruktion M (Overlay-Bild) im Rahmen einer fusionierten 2-D-/3-D-Darstellung B (Gesamtbild) gemeinsam visualisiert werden. Die beiden Ausgangsbilder F und M werden dabei (falls nötig) zunächst einer Koordinatentransformation unterzogen, durch die in den jeweiligen Bildern dargestellte identische Bildobjekte (sofern dies noch nicht der Fall sein sollte) so überlagert werden, dass sie präzise aufeinander zur Deckung kommen. Nach Durchführung einer Segmentierung der im Vordergrund MV des überlagernden Bildes M dargestellten Bildobjekte vom Hintergrund MH des betreffenden Overlay-Bildes, bei der z. B. ein schwellwertbasiertes Wertdiskriminierungsverfahren zum Einsatz kommen kann, und Subtraktion einer durch den Bildhintergrund MH gebildeten Maske vom Originalbild M werden die segmentierten Bildobjekte des Overlay-Bildes M in das Fluoroskopiebild F eingeblendet, indem das um seinen Hintergrund MH bereinigte Overlay-Bild M dem Fluoroskopiebild F mittels Alpha-Blending additiv überlagert wird. Dabei wird erfindungsgemäß zwischen vier verschiedenen Verfahrensvarianten unterschieden, die im Folgenden im Detail beschrieben werden. Welche dieser Verfahrensvarianten letztlich zum Einsatz kommt, hängt von der jeweiligen medizinischen Anwendung ab oder, genauer gesagt, von der Tatsache, ob ein 3-D-Eindruck des überlagerten Bildobjekts BO überhaupt notwendig ist.
Im Folgenden werden die im Rahmen der vorliegenden Erfindung vorgeschlagenen und mit Hilfe des Fusionierungs-, Registrierungs- und Visualisierungs-Tools FRVT durchzuführenden Überblendungstechniken im Detail erläutert. Zur Vereinfachung der Schreibweise wird dabei nur der eindimensionale Fall betrachtet, bei dem sich I_F(n_x, n_y), I_M(n_x, n_y) und damit I_B(n_x, n_y) als skalare Größen I_F(n_x, n_y), I_M(n_x, n_y) bzw. I_B(n_x, n_y) schreiben lassen, welche die Intensitäten der Grauwerte am Ort der einzelnen Pixel (n_x, n_y) beschreiben. Das erfindungsgemäße Verfahren ist jedoch nicht auf diesen Spezialfall beschränkt, sondern kann auch auf einen verallgemeinerten Fall übertragen werden, bei dem die drei genannten Größen jeweils durch dreidimensionale Farbvektoren repräsentiert werden, deren Komponenten die Luminanzwerte der drei Primärfarben Rot, Grün und Blau an den Pixelpositionen (n_x, n_y) der betreffenden Bilder F, M bzw. B wiedergeben.
Gemäß einer ersten, im Folgenden als „inverses Blending" bezeichneten Variante des erfindungsgemäßen Verfahrens werden die Grauwerte in dem Bereich eines aufgenommenen Fluoroskopiebildes F, der dem segmentierten Vordergrund MV eines ein zublendenden Overlay-Bildes M entspricht, invertiert. Dabei werden die Grauwerte I_F(n_x, n_y) des betreffenden Fluoroskopiebildes F für alle Pixelpositionen (n_x, n_y) durch die entsprechenden Grauwerte I_F'(n_x, n_y) des zugehörigen Negativbildes F' ersetzt, was sich bei einer Kodierung mit m Bit wie folgt darstellen lässt: IF'(nx, ny) = IF,max – IF(nx, ny) ∀ (nx, ny) (3a)mit IF,max := 2m – 1 (m ∈ ☐). (3b)
Der Vorteil dieser ersten Verfahrensvariante besteht darin, dass die Kontrastschärfe des Fluoroskopiebildes F im fusionierten Gesamtbild B, dessen Grauwerte sich gemäß der Formel IB(nx, ny) := α·IM(nx, ny) + (1 – α)·IF'(nx, ny) ∀ (nx, ny) (3c)mit 0 < α < 1
berechnen lassen, voll erhalten bleibt. Da jedoch nur der Bereich des segmentierten Vordergrundes MV von Bild M in das invertierte Fluoroskopiebild F' eingeblendet wird, geht die 3-D-Information des eingeblendeten Bildobjekts BO, d. h. die Information über die räumliche Lagebeziehung zwischen dem Bildobjekt BO und den im Overlay-Bild M dargestellten Gewebebereichen im Objekthintergrund MH, verloren. Außerdem ist es bei den derzeitigen Bildverarbeitungssystemen nicht möglich, den segmentierten Vordergrund MV des Overlay-Bildes M dem invertierten Fluoroskopiebild F' justierbar zu überblenden.
Gemäß einem zweiten Variante des erfindungsgemäßen Verfahrens wird zu den Grauwerten in dem Bereich eines aufgenommenen Fluoroskopiebildes F, der dem segmentierten Vordergrund MV eines einzublendenden Overlay-Bildes M entspricht, ein fester Offset-Wert ΔI_F, multipliziert mit dem Blending-Faktor α, addiert. Dadurch wird das Fluoroskopiebild F in dem betreffenden Bereich aufgehellt. Die Grauwerte der einzelnen Pixelpositionen im Vorder-(FV⁺) und Hintergrundbereich (FH⁺) des bei dieser Operation erhaltenen aufgehellten Fluoroskopiebildes F⁺ lassen sich dabei wie folgt angeben: IFV +(nx, ny) := IFV(nx, ny) + α·ΔIF ∀ (nx, ny) ∈ FV und (4a) IFH +(nx, ny) := IFH(nx, ny) + α·ΔIF ∀ (nx, ny) ∈ FH (4b)mit 0 < α < 1
Die Vorteile dieser zweiten Verfahrensvariante bestehen darin, dass die Kontrastschärfe des Fluoroskopiebildes F im fusionierten Gesamtbild B, dessen Grauwerte sich hierbei gemäß der Formel IB(nx, ny) := α·IM(nx, ny) + (1 – α)·IF +(nx, ny) ∀ (nx, ny) (4c)mit 0 < α < 1 und
berechnen lassen, zumindest näherungsweise erhalten bleibt und der segmentierte Vordergrund MV des Overlay-Bildes M dem aufgehellten Fluoroskopiebild F⁺ justierbar überblendet werden kann. Da jedoch nur der Bereich des segmentierten Vordergrundes MV von Bild M in das aufgehellte Fluoroskopiebild F⁺ eingeblendet wird, geht wie bei der ersten Verfahrensvariante auch hier die 3-D-Information des eingeblendeten Bildobjekts BO, d. h. die Information über die räumliche Lagebeziehung zwischen dem Bildobjekt BO und den im Overlay-Bild M dargestellten Gewebebereichen im Objekthintergrund MH, verloren. Bei sehr hellen Masken und Bildern mit hohen Helligkeitsanteilen und geringem Dynamikbereich kann es bei mehreren Wertüberläufen der Form ∃(nx, ny) ∈ FV ⋃ FH:IF +(nx, ny) > IF,max = 2m – 1 (4e)zu Sättigungen kommen, die dann die Kontrastschärfe des fusionierten Gesamtbildes B mindern.
Gemäß einem dritten Variante des erfindungsgemäßen Verfahrens werden zu den Grauwerten in dem Bereich eines aufgenommenen Fluoroskopiebildes F, der dem segmentierten Vordergrund MV eines einzublendenden Overlay-Bildes M (im Folgenden auch als „Maske" bezeichnet) entspricht, die Grauwerte des im Vordergrund MV des überlagernden Bildes M abgebildeten Bildobjekts BO, multipliziert mit dem Blending-Faktor α, addiert. Dadurch wird das Fluoroskopiebild F in dem betreffenden Bereich mit den Grauwerten des Overlay-Bildes M im Bereich des Bildobjekts BO additiv aufgehellt. Die Grauwerte der einzelnen Pixelpositionen im Vorder-(FV⁺⁺) und Hintergrundbereich (FH⁺⁺) des bei dieser Operation erhaltenen aufgehellten Fluoroskopiebildes F⁺⁺ lassen sich dabei wie folgt angeben: IFV ++(nx, ny) := IFV(nx, ny) + α·IMV(nx, ny) ∀ (nx, ny) ∈ FV und (5a) IFH ++(nx, ny) := IFH(nx, ny) + α·IMV(nx, ny) ∀ (nx, ny) ∈ FH (5b)mit 0 < α < 1
Die Vorteile dieser dritten Verfahrensvariante bestehen darin, dass die Kontrastschärfe des Fluoroskopiebildes F im fusionierten Gesamtbild B, dessen Grauwerte sich in diesem Fall gemäß der Formel IB(nx, ny) := α·IM(nx, ny) + (1 – α)·IF ++(nx, ny) ∀ (nx, ny) (5c)mit 0 < α < 1 und
berechnen lassen, zumindest näherungsweise erhalten bleibt und der segmentierte Vordergrund MV des Overlay-Bildes M dem aufgehellten Fluoroskopiebild F⁺⁺ justierbar überblendet werden kann. Anders als bei der vorstehend beschriebenen ersten und zweiten Variante des erfindungsgemäßen Verfahrens bleibt hier der 3-D-Eindruck des eingeblendeten Bildobjekts BO im fusionierten Gesamtbild B erhalten. Allerdings kann es bei sehr hellen Masken und Bildern mit hohen Helligkeitsanteilen und geringem Dynamikbereich im Falle mehrerer Wertüberläufe der Form ∃(nx, ny) ∈ FV ⋃ FH:IF ++(nx, ny) > IF,max = 2m – 1 (5e)zu Sättigungen kommen, die dann die Kontrastschärfe des fusionierten Gesamtbildes B mindern.
Gemäß einem vierten Variante des erfindungsgemäßen Verfahrens werden die Grauwerte in dem Bereich eines aufgenommenen Fluoroskopiebildes F, der dem segmentierten Vordergrund MV eines einzublendenden Overlay-Bildes M entspricht, mit einem multiplikativen Faktor
beaufschlagt, der von den Grauwerten I_MV(n_x, n_y) an den entsprechenden Pixelpositionen im Vordergrund MV des Overlay-Bildes M (der „Maske") im Verhältnis zu dem maximalen Grauwert I_MV,max innerhalb dieses Bereiches und dem Blending-Faktor α abhängt. Dadurch wird das Fluoroskopiebild F in dem betreffenden Bereich mit den Grauwerten des Overlay-Bildes M im Bereich des Bildobjekts BO multiplikativ aufgehellt. Bei dem Quotienten I_MV(n_x, n_y)/I_MV,max handelt es sich dabei um eine wertnormierte Darstellung des Grauwerts I_MV(n_x, n_y) an der Pixelposition (n_x, n_y) der Maske M. Die Grauwerte der einzelnen Pixelpositionen im Vorder-(FV^*) und Hintergrundbereich (FH^*) des bei dieser Operation erhaltenen aufgehellten Fluoroskopiebildes F^* lassen sich dabei wie folgt angeben: IFV *(nx, ny) := ρ·IFV(nx, ny) ∀ (nx, ny) ∈ FV und (6b) IFH *(nx, ny) := ρ·IFH(nx, ny) ∀ (nx, ny) ∈ FH (6c)mit 0 < α < 1
Die Vorteile dieser vierten Verfahrensvariante bestehen darin, dass die Kontrastschärfe des Fluoroskopiebildes F im fu sinnierten Gesamtbild B, dessen Grauwerte sich in diesem Fall gemäß der Formel IB(nx, ny) := α·IM(nx, ny) + (1 – α)·IF *(nx, ny) ∀ (nx, ny) (6d)mit 0 < α < 1 und
berechnen lassen, zumindest näherungsweise erhalten bleibt und der segmentierte Vordergrund MV des Overlay-Bildes M dem aufgehellten Fluoroskopiebild F^* justierbar überblendet werden kann. Anders als bei der vorstehend beschriebenen ersten und zweiten Variante des erfindungsgemäßen Verfahrens bleibt auch hier der 3-D-Eindruck des eingeblendeten Bildobjekts BO im fusionierten Gesamtbild B erhalten. Allerdings kann es bei sehr hellen Masken und Bildern mit hohen Helligkeitsanteilen und geringem Dynamikbereich im Falle mehrerer Wertüberläufe der Form ∃(nx, ny) ∈ FV ⋃ FH:IF *(nx, ny) > IF,max = 2m – 1 (6f)zu Sättigungen kommen, die dann die Kontrastschärfe des fusionierten Gesamtbildes B mindern.
In 2 ist ein Ablaufdiagramm dargestellt, mit dem das erfindungsgemäße Verfahren veranschaulicht wird. Nach Bereitstellung (S1) der von einem medizintechnischen Bildgebungsgerät (z. B. von einem Angiographiesystem) generierten Bilddaten eines abzubildenden Organs oder Gewebebereichs im Körperinneren eines zu untersuchenden Patienten werden die akquirierten Bilddaten über eine Hochgeschwindigkeits-Datenleitung der Eingabe-/Ausgabe-Schnittstelle I/O des Bildverarbeitungssystems BVS zugeführt (S2a) und in einem dafür vorgesehenen Modul VVM einer Vorverarbeitungsprozedur unterzogen, welche z. B. in einer zwecks Rauschunterdrückung und Kantendetektion durchgeführten Filterung (S2b) der akquirierten Bilddaten besteht. Danach wird eine 2-D-/3-D-Bildrendering-Applikation BRA auf den akquirierten und gefilterten Bilddaten der einzelnen Schichtaufnahmen ausgeführt (S3), welche diese in Bilddaten unter beliebigen Projektionswinkeln darstellbarer rekonstruierter 2-D-Projektionen und/oder in Bilddaten rekonstruierter 3-D-Ansichten umrechnet. Bei aktivierter Fusionierungsfunktion, was über eine Abfrage (S4) ermittelt wird, werden die Bilddaten akquirierter (F) und rekonstruierter Bilder (M) dann in einem Schritt S5a gemeinsam registriert, archiviert und durch Überblendung fusioniert. Falls nötig, werden die beiden Ausgangsbilder F und M zuvor einer (nicht in 2 wiedergegebenen) Koordinatentransformation unterzogen, durch die in den jeweiligen Bildern dargestellte identische Bildobjekte (sofern dies noch nicht der Fall sein sollte) so überlagert werden, dass sie präzise aufeinander zur Deckung kommen. Zur Überblendung der beiden Bilder F und M kann erfindungsgemäß z. B. eine der vorstehend unter Bezugnahme auf eine der Verfahrensvarianten Nr. 1 bis Nr. 4 beschriebenen Überblendungstechniken zum Einsatz kommen. Dabei soll auch hier davon ausgegangen werden, dass nur der nach Subtraktion des segmentierten Hintergrunds MH im Overlay-Bild M verbleibende Bildvordergrund MV, also der Teil dieses Bildes, der eine rekonstruierte 2-D-Projektion oder 3-D-Ansicht eines darzustellenden Bildobjekts BO im Körperinneren des Patienten zeigt, in eine mittels fluoroskopischer Bildgebung generierte 2-D-Durchleuchtungsaufnahme F der umliegenden Gewebebereiche dieses Bildobjekts BO eingeblendet werden. Die fusionierten Bilddaten werden dann auf einem Anzeigebildschirm AB eines Bildschirm-Terminals in grafischer Form dargestellt (S6a). Falls die Abfrage in Schritt S4 jedoch ergibt, dass die Fusionierungsfunktion nicht aktiviert ist, werden die akquirierten und rekonstruierten Bilddaten in einem Schritt S5b separat registriert und archiviert, bevor die betreffenden Bilddaten dann auf den Anzeigebildschirm AB des Bildschirm-Terminals in grafischer Form separat dargestellt werden (S6b).
In 3 bis 5 sind drei Diagramme dargestellt, mit denen die einzelnen Varianten des erfindungsgemäßen Verfahrens einander gegenübergestellt und für verschiedene Parameterwerte hinsichtlich ihres Kontrasterhalts miteinander verglichen werden. Dabei ist jeweils das Verhältnis V zwischen dem nach einem der vier Verfahrensvarianten erzielbaren Bildkontrast, der sich bei Einblendung eines den Vordergrundbereich MV eines Overlay-Bildes M bildenden segmentierten Bildobjekts BO in ein z. B. mittels angiographischer Bildgebung generiertes Fluoroskopiebild F ergibt, und der ursprünglichen Kontrastschärfe dieses Fluoroskopiebildes F über den im Bereich zwischen 0 und 1 liegenden Werten des Blending-Faktors α zusammen mit dem bei Anwendung eines herkömmlichen Alpha-Blending im Vergleich zur ursprünglichen Kontrastschärfe des Fluoroskopiebildes F auf dem Bereich MV erzielbaren Kontrastverhältnis V aufgetragen. Unter Verwendung der in Formel (2) angegebenen Definition der Kontrastschärfe K_B für das fusionierte Gesamtbild B und einer entsprechenden Formel
welche die ursprüngliche Kontrastschärfe K_F für das Fluoroskopiebild F angibt, lässt sich dieses Kontrastverhältnis als Funktion des Blending-Faktors α in der folgenden Form angeben:
Da, wie bereits erwähnt, lediglich das segmentierte Bildobjekt BO im Vordergrund MV des Overlay-Bildes M in das Fluoroskopiebild F eingeblendet wird, kann der I_BH(α) in Formel (8a) durch I_FH ersetzt werden, wodurch sich die Formel zu der nachfolgend angegebenen Form vereinfachen lässt:
Für I_BV(α) sind dabei je nach verwendeter Überblendungstechnik (reines Alpha-Blending, inverses Alpha-Blending, Alpha- Blending mit festem, additivem Offset ΔI_F, Alpha-Blending mit additiver Einbeziehung des Overlay-Bildes M bzw. Alpha-Blending mit multiplikativer Einbeziehung des Grauwert-normierten Overlay-Bildes) die in den Formeln (1), (3c), (4c), (5c) bzw. (6d) für I_B angegebenen Terme einzusetzen. So ergibt sich beispielsweise für die vereinfachende Annahme konstanter Grauwerte für alle Pixel im Vordergrund-(FV) und Hintergrundbereich (FH) des Fluoroskopiebildes F sowie für die Annahme konstanter Grauwerte für alle Pixel im Vordergrundbereich (MV) des Overlay-Bildes M für die Parameterwerte I_FV = 60, I_FH = 120 und I_MV = 120 die nur noch vom Blending-Faktor abhängige Funktionsgleichung V(α) = 1 – α, (8c)welche in 3 bis 5 als fallende Gerade innerhalb des betrachteten Definitionsbereich α ∈ ]0; 1[ dargestellt ist. Wie in 3 bis 5 dargestellt, schneidet diese Gerade die Abszisse im Punkt (1; 0) und die Ordinate im Punkt (0; 1) des jeweiligen Diagramms, und zwar jeweils unter einem Winkel von 45°. In analoger Weise können auch die Funktionsgleichungen aller übrigen Funktionsgraphen der in 3 bis 5 skizzierten Kurvenscharen berechnet werden, wobei für das in 3 skizzierte Diagramm die Parameterwerte I_FV = 60, I_FH = 120, I_MV = 120 für die Grauwerte im Vorder- (FV) bzw. Hintergrundbereich (FH) des Fluoroskopiebildes F bzw. für die Grauwerte im Vordergrundbereich (MV) des Overlay-Bildes M sowie der Parameterwert ΔI_F = 50 für den Grauwert-Offset im Vordergrundbereich (FV) des Fluoroskopiebildes F beispielhaft verwendet wurden und für die in 4 und 5 skizzierten Diagramme die Parameterwerte I_FV = 30, I_FH = 180, I_MV = 180 und ΔI_F = 50. Die beiden Diagramme in 4 und 2c unterscheiden sich dabei durch die Tatsache, dass für die in 5 skizzierte Beispiel eine Quantisierung des darstellbaren Grauwertbereichs mit m = 10 Bit vorgenommen wurde, was einem verhältnismäßig großen Dynamikbereich von 2¹⁰ = 1.024 verschiedenen Grauwerten entspricht, während für die in 4 skizzierte Beispiel eine Quantisierung des darstellbaren Grauwertbe reichs mit m = 8 Bit vorgenommen wurde, was einem verhältnismäßig kleinen Dynamikbereich von 2⁸ = 256 verschiedenen Grauwerten entspricht. Infolge dieses kleineren Dynamikbereichs treten in letzterem Fall störende Sättigungseffekte in Erscheinung, die den Kontrast des fusionierten Gesamtbildes B stark mindern, was z. B. durch einen Vergleich der doppelstrichpunktiert wiedergegebenen Funktionsgraphen in den Diagrammen aus 4 und 5, welche sich auf die dritte Verfahrensvariante (additive Einbeziehung des Overlay-Bildes M bei der Berechnung des fusionierten Gesamtbildes B) bezieht, leicht abgelesen werden kann. Durch Vorgabe eines entsprechend großen Dynamikbereiches und eines erzwungenen Mindestabstandes zwischen dem Vordergrund (BV) und Hintergrund (BH) des fusionierten Gesamtbildes B lassen sich diese störenden Sättigungseffekte jedoch beheben.
Wie 3 bis 5 entnommen werden kann, zeigen die zu den einzelnen Verfahrensvarianten gehörenden Funktionsgraphen der abgebildeten Kurvenscharen jeweils einen monoton fallenden Verlauf, wobei der Punkt (0; 1) in allen drei Diagrammen einen gemeinsamen Fixpunkt aller Kurven einer Schar darstellt. Der Kurvenverlauf der zu den Verfahrensvarianten Nr. 2 (Alpha-Blending mit festem, additivem Offset α·ΔI_F) und Nr. 3 (Alpha-Blending unter additiver Einbeziehung des Overlay-Bildes M) gehörenden Funktionsgraphen haben dabei einen hyperbolischen Verlauf, der sich in Richtung größerer α-Werte der Abszisse asymptotisch annähert. In Richtung kleinerer α-Werte nähert sich die Steigung dieser Funktionsgraphen immer mehr an die Steigung dV/dα = –1 einer durch die Funktionsvorschrift (8c) für das Kontrastverhältnis V(α) eines reinen Alpha-Blendings gegebenen Geraden g: α → V(α) = 1 – α an. Wie aus 3 bis 5 weiter ersichtlich ist, ist das Kontrastverhältnis V(α) bei Verfahrensvariante Nr. 1 (inverses Alpha-Blending) für alle Werte des Blending-Faktors α am größten, da der Kurvenverlauf von V(α) für diesen Fall mit einer durch den Punkt (0; 1) gehenden, zur Abszisse parallel verlaufenden Geraden h: α → V(α) = 1 zusammenfällt, und nimmt in Reihenfolge der vorstehend beschriebenen Verfahrens varianten Nr. 4 (Alpha-Blending unter multiplikativer Einbeziehung des Overlay-Bildes M), Nr. 2 (Alpha-Blending mit festem, additivem Offset α·ΔI_F) und Nr. 3 (Alpha-Blending unter additiver Einbeziehung des Overlay-Bildes M) immer weiter ab. Am kleinsten ist das Kontrastverhältnis V(α) bei Durchführung eines reinen Alpha-Blendings, und zwar für alle möglichen Werte im Definitionsbereich des Blending-Faktors α.
Infolge der oben erwähnten Sättigungseffekte bei Verwendung kleiner Dynamikbereiche zeigt sich in 4 für den zu Verfahrensvariante Nr. 3 (Alpha-Blending unter additiver Einbeziehung des Overlay-Bildes M) gehörenden Funktionsgraph der Kurvenschar ein bei etwa α = 0,40 nach unten hin abknickender Kurvenverlauf. Ein ähnliches Verhalten ist auch für den zu Verfahrensvariante Nr. 4 (Alpha-Blending unter multiplikativer Einbeziehung des Overlay-Bildes M) gehörigen Funktionsgraph der Kurvenschar zu beobachten, dessen Kurvenverlauf bei etwa α = 0,44 nach unten hin abknickt.
Der Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass mit Hilfe der vorstehend beschriebenen Überblendungstechniken der ohnehin schon schwache Kontrast aufgenommener 2-D-Fluoroskopiebilder F trotz Überlagerung eingeblendeter Bildobjekte BO erhalten werden kann. Mit Hilfe dieser Techniken wird somit dafür gesorgt, dass die Erkennbarkeit der in einer fluoroskopischen Durchleuchtungsaufnahme abgebildeten Katheter, Implantate oder medizinischen Instrumente durch die Fusionierung und gemeinsame Visualisierung mit CT- oder MRT-Schnittbildern oder mit rekonstruierten 3-D-Ansichten bzw. 2-D-Projektionen darzustellender Bildobjekte im Körperinneren eines Patienten nicht beeinträchtigt wird.

Claims

Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur Fusionierung, gemeinsamen Registrierung, Archivierung und Visualisierung von digitalen Bilddaten mindestens zweier Bilder (F und M), gekennzeichnet durch ein Fusionierungs-, Registrierungs- und Visualisierungs-Tool (FRVT), welches die Bilddaten eines ersten, zu überblendenden Bildes (F) und die Bilddaten eines zweiten, das erste Bild (F) überblendenden Bildes (M) unter Anwendung einer Alphakanal-basierten Überblendungstechnik miteinander verlinkt, koregistriert, fusioniert und anschließend auf dem Anzeigebildschirm (AB) eines Bildschirm-Terminals in grafischer Form zur Anzeige bringt, wobei das Fusionierungs-, Registrierungs- und Visualisierungs-Tool (FRVT) derart ausgelegt ist, dass die Farb- bzw. Grauwerte der einzelnen Pixel des ersten Bildes (F) bei dieser Überblendungstechnik vor Überblendung mit dem segmentierten Vordergrund (MV) des zweiten Bildes (M) durch Beaufschlagung mit einem Farbwert- bzw. Grauwert-Term aufgehellt werden, der die bei der Überblendung auftretende Kontrastminderung des ersten, zu überblendenden Bildes (F) kompensiert oder abschwächt.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach Anspruch 1, dadurch gekennzeichnet, dass das Fusionierungs-, Registrierungs- und Visualisierungs-Tool (FRVT) über ein Modul (KTM) zur Durchführung einer Koordinatentransformation verfügt, durch die zu überlagernde identische Bildobjekte (BO) in den mindestens zwei zu fusionierenden Bildern (F und M), sofern dies noch nicht der Fall sein sollte, so überlagert werden, dass sie präzise aufeinander zur Deckung kommen.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Fusionierungs-, Registrierungs- und Visualisierungs-Tool (FRVT) ein Modul (SM) umfasst, welches dazu dient, den durch das einzublendende Bildobjekt (BO) im Vordergrund (MV) des zweiten, überblendenden Bildes (M) gebildeten Bereich vom Objekthintergrund (MH) dieses Bildes (M) zu segmentieren und die Farb- bzw. Grauwerte des segmentierten Objekthintergrundes (MH) anschließend von den Farb- bzw. Grauwerten des überblendenden Gesamtbildes (M) zu subtrahieren.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach einem der Ansprüche 1 bis 3, gekennzeichnet durch eine Speichereinheit (SE), in der die mit Hilfe des Fusionierungs-, Registrierungs- und Visualisierungs-Tools (FRVT) verlinkten und gemeinsam registrierten Bilddaten des ersten, zu überblendenden Bildes (F) und die Bilddaten des zweiten, das erste Bild (F) überblendenden Bildes (M) in fusionierter Form und/oder separat gespeichert werden.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass es sich bei dem die Kontrastminderung bei der Überblendung der beiden Bilder (F und M) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term um einen zur Invertierung der Farb- bzw. Grauwerte des zu überblendenden Bildes (F) dienenden Bildoperator handelt.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass es sich bei dem die Kontrastminderung bei der Überblendung der beiden Bilder (F und M) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term um einen vom Blending-Faktor (α) der Alphakanal-basierten Überblendungstechnik abhängigen additiven Farbwert- bzw. Grauwert-Offset (α·ΔI_F oder α·I_MV) handelt.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach Anspruch 6, dadurch gekennzeichnet, dass es sich bei dem additiven Farbwert- bzw. Grauwert-Offset um einen ortsunabhängigen, konstanten Offset (α·ΔI_F) handelt.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach Anspruch 6, dadurch gekennzeichnet, dass die Farb- bzw. Grauwerte der einzelnen Pixel im Vordergrund (MV) des überblendenden Bildes (M) in den Farbwert- bzw. Grauwert-Offset (α·I_MV) multiplikativ eingehen.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass es sich bei dem die Kontrastminderung bei der Überblendung der beiden Bilder (F und M) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term um einen vom Blending-Faktor (α) der Alphakanal-basierten Überblendungstechnik abhängigen multiplikativen Farbwert- bzw. Grauwert-Faktor (ρ) handelt.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach Anspruch 9, dadurch gekennzeichnet, dass die Farb- bzw. Grauwerte der einzelnen Pixel im Vordergrund (MV) des überblendenden Bildes (M) in normierter Form in den Farbwert- bzw. Grauwert-Faktor (ρ) multiplikativ eingehen.
Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass es sich bei den fusionierten, gemeinsam registrierten und in grafischer Form visualisierten Bilddaten dieser mindestens zwei Bilder (F und M) einerseits um Bilddaten von zweidimensionalen Durchleuchtungsaufnahmen (F) abzubildender Organe bzw. Gewebebereiche im Körperinneren eines zu untersuchenden Patienten handelt, die unter Anwendung eines fluoroskopischen Bildgebungsprozesses akquiriert wurden, und andererseits um Bilddaten rekonstruierter 2-D-Projektionen bzw. 3-D-Ansichten (M) der betreffenden Organe bzw. Gewebebereiche.
Verfahren zur gemeinsamen Registrierung, Archivierung, kontrasterhaltenden Fusionierung und Visualisierung von digitalen Bilddaten mindestens zweier Bilder (F und M), dadurch gekennzeichnet, dass die Bilddaten eines ersten, zu überblendenden Bildes (F) und die Bilddaten eines zweiten, das erste Bild (F) überblendenden Bildes (M) unter Anwendung einer Alphakanal-basierten Überblendungstechnik, bei der die Farb- bzw. Grauwerte der einzelnen Pixel des ersten Bildes (F) vor Überblendung mit dem segmentierten Vordergrund (MV) des zweiten Bildes (M) durch Beaufschlagung mit einem die bei der Überblendung auftretende Kontrastminderung des ersten, zu überblendenden Bildes (F) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term aufgehellt werden, miteinander verlinkt, koregistriert, fusioniert und auf dem Anzeigebildschirm (AB) eines Bildschirm-Terminals in grafischer Form zur Anzeige gebracht werden.
Verfahren nach Anspruch 12, gekennzeichnet durch die Durchführung einer Koordinatentransformation, durch die zu überlagernde identische Bildobjekte (BO) in den mindestens zwei zu fusionierenden Bildern (F und M), sofern dies noch nicht der Fall sein sollte, so überlagert werden, dass sie präzise aufeinander zur Deckung kommen.
Verfahren nach einem der Ansprüche 12 oder 13, gekennzeichnet durch einen Verfahrensschritt, bei dem das einzublendende Bildobjekt (BO) im Vordergrundbereich (MV) des zweiten, überblendenden Bildes (M) vom Objekthintergrund (MH) dieses Bildes (M) segmentiert wird und die Farb- bzw. Grauwerte des segmentierten Objekthintergrundes (MH) von den Farb- bzw. Grauwer ten des überblendenden Gesamtbildes (M) anschließend subtrahiert werden.
Verfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die verlinkten und gemeinsam registrierten Bilddaten des ersten, zu überblendenden Bildes (F) und die Bilddaten des zweiten, das erste Bild (F) überblendenden Bildes (M) in fusionierter Form und/oder separat gespeichert werden.
Verfahren nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass es sich bei dem die Kontrastminderung bei der Überblendung der beiden Bilder (F und M) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term um einen zur Invertierung der Farb- bzw. Grauwerte des zu überblendenden Bildes (F) dienenden Bildoperator handelt.
Verfahren nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass es sich bei dem die Kontrastminderung bei der Überblendung der beiden Bilder (F und M) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term um einen vom Blending-Faktor (α) der Alphakanal-basierten Überblendungstechnik abhängigen additiven Farbwert- bzw. Grauwert-Offset (α·ΔI_F oder α·I_MV) handelt.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass es sich bei dem additiven Farbwert- bzw. Grauwert-Offset um einen ortsunabhängigen, konstanten Offset (α·ΔI_F) handelt.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Farb- bzw. Grauwerte der einzelnen Pixel im Vordergrund (MV) des überblendenden Bildes (M) in den Farbwert- bzw. Grauwert-Offset (α·I_MV) multiplikativ eingehen.
Verfahren nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass es sich bei dem die Kontrastminderung bei der Überblendung der beiden Bilder (F und M) kompensierenden oder abschwächenden Farbwert- bzw. Grauwert-Term um einen vom Blending-Faktor (α) der Alphakanal-basierten Überblendungstechnik abhängigen multiplikativen Farbwert- bzw. Grauwert-Faktor (ρ) handelt.
Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass die Farb- bzw. Grauwerte der einzelnen Pixel im Vordergrund (MV) des überblendenden Bildes (M) in normierter Form in den Farbwert- bzw. Grauwert-Faktor (ρ) multiplikativ eingehen.
Verfahren nach einem der Ansprüche 12 bis 21, dadurch gekennzeichnet, dass es sich bei den fusionierten, gemeinsam registrierten und in grafischer Form visualisierten Bilddaten dieser mindestens zwei Bilder (F und M) einerseits um Bilddaten von zweidimensionalen Durchleuchtungsaufnahmen (F) abzubildender Organe bzw. Gewebebereiche im Körperinneren eines zu untersuchenden Patienten handelt, die unter Anwendung eines fluoroskopischen Bildgebungsprozesses akquiriert wurden, und andererseits um Bilddaten rekonstruierter 2-D-Projektionen bzw. 3-D-Ansichten (M) der betreffenden Organe bzw. Gewebebereiche.
Computersoftware-Programmprodukt zur Durchführung eines Verfahrens nach einem der Ansprüche 12 bis 22 bei Betrieb auf einem Bildschirm-Terminal eines Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystems nach einem der Ansprüche 1 bis 11.