-
Die Erfindung betrifft ein Verfahren, ein Bildverarbeitungssystem, ein Computerprogrammprodukt sowie einen elektronisch lesbaren Datenträger zu einer Erzeugung von medizinischen synthetischen Bilddaten.
-
In einem Magnetresonanzgerät wird üblicherweise der zu untersuchende Körper eines Untersuchungsobjektes, insbesondere eines Patienten, mit Hilfe eines Hauptmagneten einem relativ hohen Hauptmagnetfeld, beispielsweise von 1,5 oder 3 oder 7 Tesla, ausgesetzt. Zusätzlich werden mit Hilfe einer Gradientenspuleneinheit Gradientenpulse ausgespielt. Über eine Hochfrequenzantenneneinheit werden dann mittels geeigneter Antenneneinrichtungen hochfrequente Hochfrequenz-Pulse, beispielsweise Anregungspulse, ausgesendet, was dazu führt, dass die Kernspins bestimmter, durch diese Hochfrequenz-Pulse resonant angeregter Atome um einen definierten Flipwinkel gegenüber den Magnetfeldlinien des Hauptmagnetfelds verkippt werden. Bei der Relaxation der Kernspins werden Hochfrequenz-Signale, so genannte Magnetresonanz-Signale, abgestrahlt, die mittels geeigneter Hochfrequenzantennen empfangen und dann weiterverarbeitet werden. Aus den so akquirierten Rohdaten können schließlich die gewünschten Bilddaten rekonstruiert werden. Bilddaten stellen typischerweise einen Untersuchungsbereich, insbesondere einen Teilbereich des Untersuchungsobjektes, zweidimensional oder dreidimensional dar. Bilddaten weisen typischerweise eine räumliche Auflösung zwischen 0,2 mm und 20 mm auf.
-
Untersuchungen mittels Magnetresonanzgeräten zur Erzeugung medizinischer Bilddaten eines Untersuchungsobjektes sind typischerweise kosten- und zeitaufwendig und können nur in Radiologischen Praxen und/oder Krankenhäusern durchgeführt werden. Abhängig von der klinischen Fragestellung oder Diagnose ist es erforderlich, dass von einem Untersuchungsobjekt, insbesondere von einem Patienten, nicht nur einmalig medizinische Bilddaten aufgenommen werden, sondern mehrmals im Verlauf einer Erkrankung und/oder im Rahmen einer Therapie. Die Häufigkeit und Frequenz der Untersuchungen und Aufnahmen medizinischer Bilddaten ist dabei individuell. Im Allgemeinen kann eine widerholte Aufnahme medizinischer Bilddaten als Studie bezeichnet werden.
-
Der Erfindung liegt die Aufgabe zugrunde, ein besonders einfaches und kostengünstiges Verfahren zur Erzeugung synthetischer Bilddaten für longitudinale Studien anzugeben. Die Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen beschrieben.
-
Das erfindungsgemäße Verfahren zu einer Erzeugung von medizinischen synthetischen Bilddaten sieht die folgenden Verfahrensschritte vor:
- - Erfassen von ersten Bilddaten eines Untersuchungsobjektes, aufweisend einen ersten Wert für eine Eigenschaft und aufgenommen mit einem ersten Magnetresonanzgerät zu einem ersten Zeitpunkt,
- - Erfassen von zweiten Bilddaten des Untersuchungsobjektes, aufweisend einen zweiten Wert für die Eigenschaft und aufgenommen mit einem zweiten Magnetresonanzgerät zu einem zweiten Zeitpunkt,
- - Änderung der zweiten Bilddaten umfassend eine Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Wert, wobei synthetische Bilddaten erzeugt werden,
- - Bereitstellung der synthetischen Bilddaten.
-
Das Erfassen der ersten Bilddaten erfolgt typischerweise durch Bereitstellung der ersten Bilddaten durch eine Speichereinheit, auf welcher die ersten Bilddaten hinterlegt sind. Die ersten Bilddaten wurden vorzugsweise zu einem vergangenen ersten Zeitpunkt anhand des ersten Magnetresonanzgerätes aufgenommen. Die Eigenschaft der ersten Bilddaten weist den ersten Wert auf.
-
Das Erfassen der zweiten Bilddaten erfolgt typischerweise durch Bereitstellung der zweiten Bilddaten durch eine Speichereinheit, auf welcher die zweiten Bilddaten hinterlegt sind. Die zweiten Bilddaten können zu einem vergangenen zweiten Zeitpunkt anhand des zweiten Magnetresonanzgerätes aufgenommen worden sein. Die Eigenschaft der zweiten Bilddaten weist den zweiten Wert auf. Das Erfassen der zweiten Bilddaten kann auch eine Aufnahme der zweiten Bilddaten des Untersuchungsobjektes zum zweiten Zeitpunkt mit dem zweiten Magnetresonanzgerät umfassen. Das Erfassen der zweiten Bilddaten kann insbesondere eine Akquisition der Rohdaten und/oder eine Rekonstruktion der Rohdaten zu zweiten Bilddaten umfassen. Das erfindungsgemäße Verfahren kann demnach zumindest teilweise zum zweiten Zeitpunkt ausgeführt werden. Die ersten Bilddaten können auch mehrere erste Werte aufweisen, welche räumlich aufgelöst und/oder voxelweise vorliegen und/oder für ein oder mehrere Gewebetypen gelten.
-
Die zweiten Bilddaten können auch mehrere zweite Werte aufweisen, welche räumlich aufgelöst und/oder voxelweise vorliegen und/oder für ein oder mehrere Gewebetypen gelten.
-
Die ersten Bilddaten und die zweiten Bilddaten bilden das gleiche Untersuchungsobjekt ab. Der in den ersten Bilddaten und in den zweiten Bilddaten abgebildete Untersuchungsbereich überschneidet sich zumindest teilweise. Das erste Magnetresonanzgerät unterscheidet sich typischerweise vom zweiten Magnetresonanzgerät. Das erste Magnetresonanzgerät kann dem zweiten Magnetresonanzgerät entsprechen. Entspricht das erste Magnetresonanzgerät dem zweiten Magnetresonanzgerät, so unterscheidet sich vorzugsweise die zur Aufnahme der ersten Bilddaten verwendete erste Akquisitionsmethode von einer für eine Aufnahme der zweiten Bilddaten verwendete zweite Akquisitionsmethode. So kann die zweite Akquisitionsmethode beispielsweise eine Aufnahme von weniger Rohdaten umfassen als die erste Akquisitionsmethode.
-
Der erste Wert und der zweite Wert sind typischerweise voneinander verschieden. Der erste Wert ist typischerweise charakteristisch für die Eigenschaft und das erste Magnetresonanzgerät. Der erste Wert kann charakteristisch für eine am ersten Magnetresonanzgerät verwendete Akquisitionsmethode sein. Der zweite Wert ist typischerweise charakteristisch für die Eigenschaft und das zweite Magnetresonanzgerät. Der zweite Wert kann charakteristisch für eine am zweiten Magnetresonanzgerät verwendete Akquisitionsmethode sein. Die zur Aufnahme der ersten Bilddaten am ersten Magnetresonanzgerät und zur Aufnahme der zweiten Bilddaten am zweiten Magnetresonanzgerät verwendeten Akquisitionsmethoden stimmen vorzugsweise überwiegend überein. Beispielsweise wurden zur Aufnahme der ersten Bilddaten am ersten Magnetresonanzgerät und zur Aufnahme der zweiten Bilddaten am zweiten Magnetresonanzgerät jeweils eine Tl-gewichtete TSE-Sequenz verwendet. Eine Akquisitionsmethode ist typischerweise durch die Magnetresonanz-Steuerungssequenz und/oder den Kontrast der Bilddaten gekennzeichnet.
-
Die Eigenschaft kann beispielsweise eine räumliche Auflösung und/oder ein Signal-zu-Rauschen-Verhältnis (SNR) und/oder ein Kontrast-zu-Rauschen-Verhältnis (CNR) und/oder ein Kontrast sein. Die Eigenschaft kann auch mehrere der genannten Beispiele umfassen, wobei ein Beispiel als Teileigenschaft der Eigenschaft betrachtet werden kann. Insbesondere weisen die ersten Bilddaten und die zweiten Bilddaten für jede Teileigenschaft vorzugsweise jeweils einen Wert auf, also einen ersten Wert und einen zweiten Wert pro Teileigenschaft. Die Bereitstellung der synthetischen Bilddaten umfasst vorzugsweise auch eine Bereitstellung der ersten Bilddaten.
-
Die Änderung der zweiten Bilddaten erfolgt typischerweise derart, dass die Eigenschaft der synthetischen Bilddaten einen für die ersten Bilddaten charakteristischen Wert annimmt. Eine Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Wert kann auch als Annäherung und/oder Adaption und/oder Anpassung bezeichnet werden. Die Angleichung kann beispielsweise durch Interpolation und/oder statistische Mittel ausgeführt werden. Die synthetischen Bilddaten basieren demnach auf dem zweiten Bilddaten, weisen aber zumindest die Eigenschaft der ersten Bilddaten auf, die im Rahmen der Änderung modifiziert wird. Die Angleichung erfolgt vorzugsweise derart, dass der visuelle Eindruck der zweiten Bilddaten dem visuellen Eindruck der ersten Bilddaten angeglichen wird. Ein Unterschied zwischen den ersten Bilddaten und den synthetischen Bilddaten liegt typischerweise im unterschiedlichen Zeitpunkt deren Akquisition, vorzugsweise nur in diesem zeitlichen Unterschied. Die ersten Bilddaten und die zweiten Bilddaten können auch zumindest teilweise unterschiedliche Untersuchungsbereiche abbilden. Die Änderung der zweiten Bilddaten kann auch eine inverse Rekonstruktion der an den ersten Wert angeglichenen zweiten Bilddaten umfassen. Insbesondere dann können die synthetischen Bilddaten als Rohdaten vorliegen.
-
Dies ermöglicht eine hohe Konsistenz der synthetischen Bilddaten und der ersten Bilddaten, insbesondere hinsichtlich der Eigenschaft. Dies ermöglicht eine gute Vergleichbarkeit der synthetischen Bilddaten mit den ersten Bilddaten bei Verwendung verschiedener Magnetresonanzgeräte zur Erzeugung der ersten Bilddaten und der zweiten Bilddaten. Folglich können im Rahmen einer longitudinalen Untersuchung verschiedene Magnetresonanzgeräte verwendet werden, wobei ein draus resultierender visuell entstehender und/oder für eine automatische Auswertung erkennbarer Unterschied gemäß dem erfindungsgemäßen Verfahren unterdrückt wird. Insbesondere wird die Qualität der synthetischen Bilddaten der Qualität der ersten Bilddaten angeglichen. Das erfindungsgemäße Verfahren ermöglicht eine robuste Analyse der ersten Bilddaten im Vergleich mit den synthetischen Bilddaten. Ebenso ermöglicht das erfindungsgemäße Verfahren eine Diagnose basierend auf den synthetischen Bilddaten, welche die Qualität der ersten Bilddaten aufweisen. Folglich ermöglicht das erfindungsgemäße Verfahren eine einfache und kostengünstige Erzeugung synthetischer Bilddaten für longitudinale Studien. Dabei ist das Untersuchungsobjekt und/oder der Radiologe frei von der Wahl eines bestimmten Magnetresonanzgerätes, wodurch die Flexibilität verbessert wird.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft eine räumliche Auflösung und einen Kontrast umfasst, der erste Wert einen ersten Auflösungswert und einen ersten Kontrastwert umfasst, der zweite Wert einen zweiten Auflösungswert und einen zweiten Kontrastwert umfasst. Der erste Wert kann auch zwei oder mehrere Kontrastwerte umfassen. Der zweite Wert kann auch zwei oder mehrere Kontrastwerte umfassen. Die räumliche Auflösung ist ein Maß invers zur Größe der Voxel der Bilddaten. Der Kontrast, insbesondere der Kontrastwert, ist ein Maß für eine Differenz der Signalintensität in den Bilddaten zwischen zwei Gewebetypen. Ein Kontrast, insbesondere ein Kontrastwert, ist demnach von jeweils zwei verschiedenen Gewebetypen abhängig, welche zwei verschiedenen Gewebetypen in den Bilddaten dargestellt werden. Ein Kontrast ist typischerweise abhängig von der verwendeten Akquisitionsmethode und dem verwendeten Magnetresonanzgerät, insbesondere auch von der Stärke dessen Hauptmagnetfeldes. Selbst bei gleicher Auflösung und gleicher Akquisitionsmethode weisen zwei gleiche Gewebetypen in den ersten Bilddaten und in den zweiten Bilddaten typischerweise einen unterschiedlichen Kontrast auf. Der erste Wert umfasst typischerweise zumindest einen ersten Kontrastwert, welcher von zwei Gewebetypen abhängt. Der erste Wert umfasst vorzugsweise zwei oder mehrere erste Kontrastwerte, wobei jeweils ein erster Kontrastwert von jeweils zwei Gewebetypen abhängt. Der zweite Wert umfasst typischerweise zumindest einen zweiten Kontrastwert, welcher von zwei Gewebetypen abhängt. Der zweite Wert umfasst vorzugsweise zwei oder mehrere zweite Kontrastwerte, wobei jeweils ein zweiter Kontrastwert von jeweils zwei Gewebetypen abhängt.
-
Gemäß dieser Ausführungsform des Verfahrens umfasst die Eigenschaft zwei Teileigenschaften, welche auch für sich alleine jeweils eine Eigenschaft im erfindungsgemäßen Verfahren sein können. Insbesondere der Kontrast und die räumliche Auflösung von Bilddaten können stark vom verwendeten Magnetresonanzgerät abhängen und sich demnach zwischen den ersten Bilddaten und den zweiten Bilddaten unterscheiden, auch wenn bei den Aufnahmen der ersten Bilddaten und der zweiten Bilddaten die gleiche Akquisitionsmethode gewählt wurde. Diese Ausführungsform stellt demnach eine Angleichung der typischerweise stärksten, die visuelle Wahrnehmung beeinflussenden, Eigenschaften sicher und ermöglicht eine robuste Analyse der ersten Bilddaten im Vergleich mit den synthetischen Bilddaten. Ebenso ermöglicht das Verfahren eine Diagnose basierend auf den synthetischen Bilddaten, welche die Qualität der ersten Bilddaten zumindest hinsichtlich Auflösung und Kontrast aufweisen.
-
Eine Ausführungsform des Verfahrens sieht vor, dass sich der erste Zeitpunkt und der zweite Zeitpunkt um zumindest einen Tag unterscheiden. Der erste Zeitpunkt und der zweite Zeitpunkt unterscheiden sich typischerweise um zumindest eine Woche, vorzugsweise um zumindest einen Monat, besonders bevorzugt um zumindest sechs Monate. Der erste Zeitpunkt und der zweite Zeitpunkt können sich auch um mehr als ein Jahr unterscheiden. Diese Ausführungsform ermöglicht konsistente Folgeuntersuchungen, welche insbesondere zweite Bilddaten erfordern um einen Fortschritt einer Erkrankung und/oder Therapie langfristig zu beobachten.
-
Eine Ausführungsform des Verfahrens sieht die zusätzlichen Verfahrensschritte vor:
- - Erfassen dritter Bilddaten des Untersuchungsobjektes, aufweisend einen dritten Wert für die Eigenschaft und aufgenommen mit einem dritten Magnetresonanzgerät zu einem dritten Zeitpunkt,
- - Änderung der dritten Bilddaten umfassend eine Angleichung der Eigenschaft der dritten Bilddaten an den ersten Wert, wobei dritte synthetische Bilddaten erzeugt werden.
-
Optional kann das Verfahren diese weiteren Verfahrensschritte umfassen:
- - Erfassen vierter Bilddaten des Untersuchungsobjektes, aufweisend einen vierten Wert für die Eigenschaft und aufgenommen mit einem vierten Magnetresonanzgerät zu einem vierten Zeitpunkt,
- - Änderung der vierten Bilddaten umfassend eine Angleichung der Eigenschaft der vierten Bilddaten an den ersten Wert, wobei vierte synthetische Bilddaten erzeugt werden.
-
Der dritte Zeitpunkt liegt typischerweise zeitlich nach dem zweiten Zeitpunkt. Der vierte Zeitpunkt liegt typischerweise zeitlich nach dem dritten Zeitpunkt. Diese Ausführungsform ermöglicht demnach eine wiederholte und langfristige Beobachtung einer Erkrankung und/oder Therapie.
-
Eine Ausführungsform des Verfahrens sieht vor, dass das erste Magnetresonanzgerät und das zweite Magnetresonanzgerät voneinander verschieden starke Hauptmagnetfelder aufweisen. Das erste Magnetresonanzgerät oder das zweite Magnetresonanzgerät kann beispielsweise als stationäres, fest in einer radiologischen Praxis und/oder in einem Krankenhaus installiertes, Magnetresonanzgerät ausgebildet sein. Ein stationäres Magnetresonanzgerät kann beispielsweise durch eine, typischerweise dauerhafte, Anordnung in einem HF-abgeschirmten Raum und/oder durch ein Hauptmagnetfeld von zumindest 0,5 Tesla, insbesondere von zumindest 1,0 Tesla gekennzeichnet sein. Ein stationäres Magnetresonanzgerät kann dadurch gekennzeichnet sein, dass der Patientenaufnahmebereich eine derart große Öffnung aufweist, dass ein Patient zumindest abschnittsweise vollständig untersuchbar ist.
-
Das erste Magnetresonanzgerät oder das zweite Magnetresonanzgerät kann beispielsweise als mobiles Magnetresonanzgerät ausgebildet sein. Ein mobiles Magnetresonanzgerät weist typischerweise ein Hauptmagnetfeld von weniger als 1,0 Tesla, bevorzugt von weniger als 0,5 Tesla auf. Ein mobiles Magnetresonanzgerät kann beispielsweise als „point-of-care“ Magnetresonanzgerät ausgebildet sein. Ein mobiles Magnetresonanzgerät kann speziell für einen Untersuchungsbereich, wie beispielsweise eine Extremität und/oder ein Gelenk, beispielsweise die Schulter, und/oder den Kopf ausgebildet sein. Insbesondere kann ein mobiles Magnetresonanzgerät vorzugsweise unabhängig von einem HF-abgeschirmten Raum betrieben werden.
-
Vorzugsweise ist das erste Magnetresonanzgerät ein stationäres Magnetresonanzgerät. Vorzugsweise ist das zweite Magnetresonanzgerät ein mobiles Magnetresonanzgerät und/oder das zweite Magnetresonanzgerät weist ein geringeres Hauptmagnetfeld auf als das erste Magnetresonanzgerät. Mit steigender Stärke des Hauptmagnetfeldes steigt typischerweise das SNR und/oder das CNR und/oder die räumliche Auflösung. Insbesondere kann ein Magnetresonanzgerät mit niedrigerem Hauptmagnetfeld ein SNR bei gleicher Untersuchungszeit nur mit geringerer räumlicher Auflösung erzielen als ein Magnetresonanzgerät mit stärkerem Hauptmagnetfeld.
-
Diese Ausführungsform ermöglicht eine gute Vergleichbarkeit zwischen den ersten Bilddaten und den zweiten Bilddaten trotz unterschiedlicher Stärke des Hauptmagnetfeldes. Insbesondere können, auch wenn das zweite Hauptmagnetfeld geringer ist als das erste Hauptmagnetfeld, synthetische Bilddaten mit vergleichbarer Qualität wie die ersten Bilddaten erzeugt werden.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft eine räumliche Auflösung und/oder ein SNR und/oder ein CNR ist und der erste Wert größer ist als der zweite Wert. Sofern das erste Magnetresonanzgerät ein stärkeres Hauptmagnetfeld aufweist als das zweite Magnetresonanzgerät, die Eigenschaft zumindest eine räumliche Auflösung umfasst, der zweite Zeitpunkt nach dem ersten Zeitpunkt liegt und der erste Wert größer ist als der zweite Wert, ermöglicht diese Ausführungsform eine Erzeugung synthetischer Bilddaten mit hoher räumlicher Auflösung, insbesondere mit dem ersten Wert. Typischerweise ist das erste Magnetresonanzgerät ein stationäres Magnetresonanzgerät und das zweite Magnetresonanzgerät ein mobiles Magnetresonanzgerät. Folglich können basierend auf zweiten Bilddaten aufgenommen mit einem einfachen, beispielsweise mobilen, Magnetresonanzgerät, synthetische Bilddaten mit hoher Auflösung erzeugt werden. Umfasst die Eigenschaft zusätzlich einen Kontrast, kann sogar dieser dem Kontrast eines stationären Magnetresonanzgeräts angepasst werden. Folglich können Folgeuntersuchungen an kostengünstigeren Magnetresonanzgeräten ausgeführt werden, wodurch Gesamtkosten und/oder Qualität einer Therapie verbessert werden können. Ebenso kann die Zufriedenheit der Patienten erhöht werden, da mobile Magnetresonanzgerät auch in weniger dicht besiedelten Gegenden kostendeckend installiert werden können und sich somit der Anfahrtsweg für Patienten für Folgeuntersuchungen verringert. Ebenso werden mobile Magnetresonanzgerät häufig seltener als beengend angesehen.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft eine räumliche Auflösung und/oder ein SNR und/oder ein CNR ist und der erste Wert kleiner ist als der zweite Wert. Gemäß dieser Ausführungsform weist das erste Magnetresonanzgerät vorzugsweise ein geringeres Hauptmagnetfeld auf als das zweite Magnetresonanzgerät und der zweite Zeitpunkt liegt vorzugsweise vor dem ersten Zeitpunkt. Gemäß dieser Ausführungsform erfolgt demnach eine Angleichung der zeitlich zuerst aufgenommenen zweiten Bilddaten an die später aufgenommenen ersten Bilddaten, welche typischerweise eine niedrigere räumliche Auflösung aufweisen. Folglich wird die höhere räumliche Auflösung der ursprünglichen zweiten Bilddaten der niedrigeren räumlichen Auflösung der neueren ersten Bilddaten angepasst.
-
Dies ist insbesondere bei einer automatischen Auswertung der ersten Bilddaten und der synthetischen Bilddaten, insbesondere durch ein Convolutional Neural Network, vorteilhaft. Hierbei erfolgt typischerweise keine visuelle Analyse der ersten Bilddaten und/oder der synthetischen Bilddaten und es können Artefakte aufgrund der Erhöhung der Auflösung vermieden werden und/oder die benötigte Zeit zu einer automatischen Auswertung der ersten Bilddaten und der synthetischen Bilddaten reduziert werden.
-
Eine Ausführungsform des Verfahrens sieht als zusätzlichen Verfahrensschritt eine Identifizierung einer Veränderung des Untersuchungsobjektes durch einen Vergleich der synthetischen Bilddaten mit den ersten Bilddaten vor.
-
Der Vergleich der synthetischen Bilddaten mit den ersten Bilddaten erfolgt vorzugsweise zumindest teilweise automatisch. Der Vergleich ermöglicht die Identifizierung einer Veränderung innerhalb des Untersuchungsbereiches, welche zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt aufgetreten ist. Die Identifizierung kann basierend auf visuellen und/oder subvisuellen Merkmalen erfolgen. Durch die trotz der unterschiedlichen Magnetresonanzgeräte angeglichene Qualität der synthetischen Bilddaten und der ersten Bilddaten ist der Vergleich besonders wirkungsvoll und ermöglicht die Identifizierung kleiner Änderungen.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Änderung der zweiten Bilddaten durch Verwendung einer trainierten Funktion erfolgt. Die trainierte Funktion kann beispielsweise ein Convolutional Neural Network und/oder ein super-resolution Convolutional Neural Network und/oder ein Generative Adversarial Network umfassen. Es ist bekannt, dass trainierte Funktionen in Form Neuronaler Netze im Rahmen der Bildverarbeitung verwendet werden können. Insbesondere deren Nutzung in longitudinalen Studien, bei Übertragung einer Eigenschaft erster Bilddaten auf zweite Bilddaten, wobei sich die ersten Bilddaten und die zweiten Bilddaten überwiegend nur in der Eigenschaft unterscheiden, ist besonders vorteilhaft. Die ersten Bilddaten und die zweiten Bilddaten unterscheiden sich überwiegend nur in der Eigenschaft, die diese Bilddaten überwiegend den gleichen Untersuchungsbereiches des gleichen Untersuchungsobjektes zu zwei voneinander verschiedenen Zeitpunkten darstellen. Ein wesentlich geringerer Unterschied zwischen den ersten Bilddaten und die zweiten Bilddaten resultiert aus physiologischen Veränderungen. Folglich kann die Änderung der zweiten Bilddaten durch Verwendung einer trainierten Funktion besonders effizient erfolgen.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft eine räumliche Auflösung umfasst, der erste Wert einen ersten Auflösungswert umfasst, der zweite Wert einen zweiten Auflösungswert umfasst, die trainierte Funktion ein super-resolution Convolutional Neural Network (SRCNN) umfasst und die Änderung der zweiten Bilddaten eine Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Auflösungswert durch Verwendung des SCRNN umfasst. Die Verwendung eines SRCNN im Bereich medizinischer Bilddaten zur Erhöhung deren Auflösung wurde bereits in Dong, Chao, et al. „Learning a deep convolutional network for image super-resolution." European conference on computer vision. Springer, Cham, 2014, und Pham, Chi-Hieu. Deep learning for medical image super resolution and sementation. Diss. 2018, veröffentlicht, wo auch der Aufbau eines solchen neuronalen Netzes offenbart ist.
-
Das SCRNN gemäß dieser Ausführungsform ist dazu ausgebildet, eine räumliche Auflösung von Quellbilddaten, insbesondere den zweiten Bilddaten, bei Erzeugung der synthetischen Bilddaten zu erhöhen und der räumlichen Auflösung der ersten Bilddaten anzugleichen. Insbesondere bei einem Training des SCRNN, das die Eigenschaft der räumlichen Auflösung beim ersten Magnetresonanzgerät und beim zweiten Magnetresonanzgerät, insbesondere in Abhängigkeit von der Akquisitionsmethode, berücksichtigt, ist dazu ausgebildet, synthetische Bilddaten mit besonders hoher Qualität und gleicher Auflösung der ersten Bilddaten zu erzeugen. Insbesondere die räumliche Auflösung ist eine wichtige Eigenschaft für eine Konsistenz und/oder für einen Vergleich von Bilddaten. Das Verfahren gemäß dieser Ausführungsform ist besonders robust.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft einen Kontrast umfasst, der erste Wert einen ersten Kontrastwert umfasst, der zweite Wert einen zweiten Kontrastwert umfasst, die trainierte Funktion ein Generative Adversarial Network (GAN) umfasst und die Änderung der zweiten Bilddaten eine Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Kontrastwert durch Verwendung des Generative Adversarial Networks umfasst.
-
Die Verwendung eines GAN im Bereich medizinischer Bilddaten zur Änderung eines Kontrastes wurde bereits in Dar, Salman UH, et al. „Image synthesis in multi-contrast MRI with conditional generative adversarial networks.“ IEEE transactions on medical imaging (2019) veröffentlicht, wo auch der Aufbau eines solchen GAN offenbart ist.
-
Das GAN gemäß dieser Ausführungsform ist dazu ausgebildet, einen Kontrast von Quellbilddaten, insbesondere den zweiten Bilddaten, bei Erzeugung der synthetischen Bilddaten, dem Kontrast der ersten Bilddaten anzugleichen. Insbesondere bei einem Training des GAN, das die Eigenschaft des Kontrastes beim ersten Magnetresonanzgerät und beim zweiten Magnetresonanzgerät, insbesondere in Abhängigkeit von der Akquisitionsmethode, berücksichtigt, ist dazu ausgebildet, synthetische Bilddaten mit besonders hoher Qualität und gleichem Kontrast der ersten Bilddaten zu erzeugen. Insbesondere der Kontrast ist eine wichtige Eigenschaft für eine Konsistenz und/oder für einen Vergleich von Bilddaten. Das Verfahren gemäß dieser Ausführungsform ist besonders robust.
-
Das GAN ist vorzugsweise als progressive GAN (pGAN) ausgebildet, sofern die ersten Bilddaten und die zweiten Bilddaten zueinander registriert sind. Das GAN ist vorzugsweise als conditional GAN (cGAN) ausgebildet, sofern die ersten Bilddaten und die zweiten Bilddaten zueinander nicht registriert sind.
-
Eine Ausführungsform der erfindungsgemäßen Verfahrens sieht vor, dass die Eigenschaft eine räumliche Auflösung und einen Kontrast umfasst, der erste Wert einen ersten Auflösungswert und einen ersten Kontrastwert umfasst, der zweite Wert einen zweiten Auflösungswert und einen zweiten Kontrastwert umfasst, die Änderung der zweiten Bilddaten durch Verwendung einer trainierten Funktion erfolgt und die trainierte Funktion ein SRCNN und ein GAN umfasst. Dies ermöglicht eine besonders robuste und für das erste Magnetresonanzgerät, das zweite Magnetresonanzgerät und die Akquisitionsmethode individuelle Erzeugung synthetischer Bilddaten besonders hoher Konsistenz mit den ersten Bilddaten.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die trainierte Funktion nach einem erfindungsgemäßen Verfahren zu einer Bereitstellung einer trainierten Funktion bereitgestellt wurde. Eine derartige trainierte Funktion ist besonders robust und gut zur Verwendung im erfindungsgemäßen Verfahren geeignet.
-
Das erste erfindungsgemäße Verfahren zu einer Bereitstellung einer trainierten Funktion sieht die folgenden Verfahrensschritte vor:
- - Erfassen von ersten Trainingsbilddaten eines Testobjektes, aufweisend einen ersten Wert für eine Eigenschaft und aufgenommen mit einem ersten Testmagnetresonanzgerät zu einem ersten Trainingszeitpunkt,
- - Erfassen von zweiten Trainingsbilddaten des Testobjektes, aufweisend einen zweiten Wert für die Eigenschaft und aufgenommen mit einem zweiten Testmagnetresonanzgerät zu einem zweiten Trainingszeitpunkt,
- - Trainieren einer Funktion basierend auf den ersten Trainingsbilddaten und den zweiten Trainingsbilddaten,
- - Ausgabe der trainierten Funktion.
-
Dieses Verfahren sieht vor, dass von einem Testobjekt, insbesondere einem Patienten und/oder einer Person, Trainingsbilddaten an zwei voneinander verschiedenen Testmagnetresonanzgeräten erzeugt werden. Bei Verwendung der trainierten Funktion im Rahmen einer Erzeugung synthetischer Bilddaten ist das erste Testmagnetresonanzgerät vorzugsweise ähnlich zum ersten Magnetresonanzgerät und/oder das zweite Testmagnetresonanzgerät vorzugsweise ähnlich zum zweiten Magnetresonanzgerät. Ähnlichkeit kann bedeuten, dass der Hersteller und/oder die Stärke des Hauptmagnetfeldes und/oder das Modell übereinstimmt. Das erste Testmagnetresonanzgerät und das zweite Testmagnetresonanzgerät unterscheiden sich typischerweise in der Stärke deren Hauptmagnetfeld. Vorzugsweise ist das erste Testmagnetresonanzgerät ein stationäres Magnetresonanzgerät und/oder das zweite Testmagnetresonanzgerät ein mobiles Magnetresonanzgerät.
-
Das Erfassen der ersten Trainingsbilddaten erfolgt typischerweise durch Bereitstellung der ersten Trainingsbilddaten durch eine Speichereinheit, auf welcher die ersten Trainingsbilddaten hinterlegt sind. Die ersten Trainingsbilddaten können zu einem vergangenen ersten Trainingszeitpunkt anhand des ersten Testmagnetresonanzgerätes aufgenommen worden sein. Die Eigenschaft der ersten Trainingsbilddaten weist den ersten Wert auf. Das Erfassen der ersten Trainingsbilddaten kann auch eine Aufnahme der ersten Trainingsbilddaten des Testobjektes zum ersten Trainingszeitpunkt mit dem ersten Testmagnetresonanzgerät umfassen. Das Erfassen der ersten Trainingsbilddaten kann insbesondere eine Akquisition der Rohdaten und/oder eine Rekonstruktion der Rohdaten zu ersten Trainingsbilddaten umfassen. Das erfindungsgemäße Verfahren kann demnach zumindest teilweise zum ersten Trainingszeitpunkt ausgeführt werden. Das Erfassen der zweiten Trainingsbilddaten erfolgt typischerweise durch Bereitstellung der zweiten Trainingsbilddaten durch eine Speichereinheit, auf welcher die zweiten Trainingsbilddaten hinterlegt sind. Die zweiten Trainingsbilddaten können zu einem vergangenen zweiten Trainingszeitpunkt anhand des zweiten Testmagnetresonanzgerätes aufgenommen worden sein. Die Eigenschaft der zweiten Trainingsbilddaten weist den zweiten Wert auf. Das Erfassen der zweiten Trainingsbilddaten kann auch eine Aufnahme der zweiten Trainingsbilddaten des Testobjektes zum zweiten Trainingszeitpunkt mit dem zweiten Testmagnetresonanzgerät umfassen. Das Erfassen der zweiten Trainingsbilddaten kann insbesondere eine Akquisition der Rohdaten und/oder eine Rekonstruktion der Rohdaten zu zweiten Trainingsbilddaten umfassen. Das erfindungsgemäße Verfahren kann demnach zumindest teilweise zum zweiten Trainingszeitpunkt ausgeführt werden. Die ersten Trainingsbilddaten können auch mehrere erste Werte aufweisen, welche räumlich aufgelöst und/oder voxelweise vorliegen und/oder für ein oder mehrere Gewebetypen gelten.
Die zweiten Trainingsbilddaten können auch mehrere zweite Werte aufweisen, welche räumlich aufgelöst und/oder voxelweise vorliegen und/oder für ein oder mehrere Gewebetypen gelten.
-
Die ersten Trainingsbilddaten und die zweiten Trainingsbilddaten werden und/oder wurden vorzugsweise mit einer gleichen Akquisitionsmethode und/oder vom gleichen Testobjekt aufgenommen. Die Akquisition der ersten Trainingsbilddaten und der zweiten Trainingsbilddaten unterscheidet sich nur in dem Trainingszeitpunkt der Akquisition und in dem verwendeten Testmagnetresonanzgerät. Der erste Trainingszeitpunkt und der zweite Trainingszeitpunkt sind vorzugsweise derart gewählt, dass deren Unterschied vorzugsweise keinen Einfluss auf eine Differenz der ersten Trainingsbilddaten und der zweiten Trainingsbilddaten hat. Eine Differenz der ersten Trainingsbilddaten und der zweiten Trainingsbilddaten resultiert typischerweise überwiegend in der Eigenschaft. Die ersten Trainingsbilddaten und die zweiten Trainingsbilddaten eignen sich demnach besonders gut dazu, eine trainierte Funktion hinsichtlich der Eigenschaft zur Verwendung in einem erfindungsgemäßen Verfahren zu einer Erzeugung synthetischer Bilddaten zu erzeugen.
-
Das Training kann beispielsweise mittels Transfer Learnings basierend auf für das Testobjekt individuellen Daten erfolgen. Individuelle Daten des Testobjektes können beispielsweise die ersten Trainingsbilddaten, die zweiten Trainingsbilddaten, das Alter und/oder Größe und/oder Geschlecht und/oder Gewicht und/oder Pathologie und/oder Diagnose und/oder Fitness des Testobjektes umfassen. Hierdurch kann das Trainieren der Funktion besonders umfangreich erfolgen, wodurch die trainierte Funktion besonders robust wird.
-
Das Verfahren zu einer Bereitstellung einer trainierten Funktion wird vorzugsweise an einer Vielzahl von Testobjekten, typischerweise an zumindest 100, vorzugsweise an zumindest 1000, besonders bevorzugt an zumindest 5000 Testobjekten durchgeführt. Hierbei erfolgt der Prozess typischerweise iterativ, sodass nach Durchführung des erfindungsgemäßen Verfahrens an einem ersten Testobjekt und Ausgabe einer trainierten Funktion, diese trainierte Funktion bei Durchführung des erfindungsgemäßen Verfahrens an einem zweiten Testobjekt als Funktion verwendet wird. Initial kann als Funktion beispielsweise ein GAN oder ein CNN, insbesondere ein SRCNN, verwendet werden. Durch die Vielzahl an Testobjekten kann die trainierte Funktion besonders robust erzeugt werden.
Eine Ausführungsform des Verfahrens sieht vor, dass sich der erste Trainingszeitpunkt und der zweite Trainingszeitpunkt um weniger als einen Monat unterscheiden. Der erste Trainingszeitpunkt und der zweite Trainingszeitpunkt unterscheiden sich typischerweise um weniger als eine Woche, bevorzugt um weniger als drei Tage. Gemäß dieser Ausführungsform unterscheiden sich die ersten Trainingsbilddaten und die zweiten Trainingsbilddaten vorzugsweise überwiegend in der Eigenschaft. Die ersten Trainingsbilddaten und die zweiten Trainingsbilddaten eignen sich demnach besonders gut dazu, eine trainierte Funktion hinsichtlich der Eigenschaft zur Verwendung in einem erfindungsgemäßen Verfahren zu einer Erzeugung synthetischer Bilddaten zu erzeugen. Dies ermöglicht ein besonders robustes Trainieren der Funktion hinsichtlich der Eigenschaft.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft eine Auflösung umfasst und die Funktion ein super-resolution Convolutional Neural Network umfasst. Funktionsweise und Vorteile eines SRCNN zur Angleichung einer Auflösung bei Bilddaten wurden bereits im Rahmen der Verwendung eines SRCNN bei einer Erzeugung synthetischer Bilddaten beschrieben. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können auch auf die Ausführungsform des Verfahrens zu einer Bereitstellung einer trainierten Funktion übertragen werden und umgekehrt.
-
Eine Ausführungsform des Verfahrens sieht vor, dass die Eigenschaft einen Kontrast umfasst und die Funktion ein Generative Adversarial Network umfasst. Funktionsweise und Vorteile eines GAN zur Angleichung eines Kontrastes bei Bilddaten wurden bereits im Rahmen der Verwendung eines GAN bei einer Erzeugung synthetischer Bilddaten beschrieben. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können auch auf die Ausführungsform des Verfahrens zu einer Bereitstellung einer trainierten Funktion übertragen werden und umgekehrt.
-
Das zweite erfindungsgemäße Verfahren zu einer Erzeugung einer trainierten Funktion sieht die folgenden Verfahrensschritte vor:
- - Erfassen von ersten Trainingsbilddaten eines Testobjektes, aufweisend einen ersten Wert für eine primäre Eigenschaft, einen zweiten Wert für eine sekundäre Eigenschaft, wobei der erste Wert für die primäre Eigenschaft und der zweite Wert für die sekundäre Eigenschaft charakteristisch für Bilddaten aufgenommen mit einem ersten Testmagnetresonanzgerät sind,
- - Erfassen eines dritten Wertes für die primäre Eigenschaft und eines vierten Wertes für die sekundäre Eigenschaft, wobei der dritte Wert für die primäre Eigenschaft und der vierte Wert für die sekundäre Eigenschaft charakteristisch für Bilddaten aufgenommen mit einem zweitem Testmagnetresonanzgerät sind,
- - Änderung der ersten Trainingsbilddaten umfassend eine erste Angleichung der primären Eigenschaft der ersten Trainingsbilddaten an den dritten Wert und eine zweite Angleichung der sekundären Eigenschaft der ersten Trainingsbilddaten an den vierten Wert, wobei zweite Trainingsbilddaten erzeugt werden,
- - Trainieren einer Funktion basierend auf den ersten Trainingsbilddaten und den zweiten Trainingsbilddaten,
- - Ausgabe der trainierten Funktion.
-
Das Erfassen der ersten Trainingsbilddaten erfolgt typischerweise durch Bereitstellung der ersten Trainingsbilddaten durch eine Speichereinheit, auf welcher die ersten Trainingsbilddaten hinterlegt sind. Die ersten Trainingsbilddaten können zu einem vergangenen Trainingszeitpunkt anhand des ersten Testmagnetresonanzgerätes mit einer ersten Akquisitionsmethode aufgenommen worden sein. Die primäre Eigenschaft der ersten Trainingsbilddaten weist den ersten Wert auf. Die sekundäre Eigenschaft der ersten Trainingsbilddaten weist den zweiten Wert auf. Das Erfassen der ersten Trainingsbilddaten kann auch eine Aufnahme der ersten Trainingsbilddaten des Testobjektes zum ersten Trainingszeitpunkt mit dem ersten Testmagnetresonanzgerät und der ersten Akquisitionsmethode umfassen. Das Erfassen der ersten Trainingsbilddaten kann insbesondere eine Akquisition der Rohdaten und/oder eine Rekonstruktion der Rohdaten zu ersten Trainingsbilddaten umfassen. Die ersten Trainingsbilddaten können auch mehrere erste Werte und/oder mehrere zweite Werte aufweisen, welche räumlich aufgelöst und/oder voxelweise vorliegen und/oder für ein oder mehrere Gewebetypen gelten.
-
Das Erfassen des dritten Wertes für die primäre Eigenschaft und des vierten Wertes für die sekundäre Eigenschaft erfolgt typischerweise durch Bereitstellung durch eine Speichereinheit, auf welcher die ersten Trainingsbilddaten hinterlegt sind. Das Erfassen des dritten Wertes für die primäre Eigenschaft und des vierten Wertes für die sekundäre Eigenschaft kann auch eine Berechnung des dritten Wertes und des vierten Wertes unter Berücksichtigung des ersten Testmagnetresonanzgerätes, des zweiten Testmagnetresonanzgerätes und der ersten Akquisitionsmethode, umfassen. Die Berechnung kann unter Verwendung einer trainierten Funktion, insbesondere eines CNN und/oder eines GAN, insbesondere eines cGAN und/oder pGAN erfolgen. Ein Wert für eine Eigenschaft charakteristisch für Bilddaten aufgenommen mit einem Testmagnetresonanzgerät ist typischerweise abhängig von der verwendeten Akquisitionsmethode. Der dritte Wert und der vierte Wert sind typischerweise charakteristisch für Bilddaten aufgenommen mit einem zweitem Testmagnetresonanzgerät und der ersten Akquisitionsmethode. Die Erzeugung der zweiten Trainingsbilddaten kann demnach basierend auf einem CNN und/oder GAN, insbesondere einem cGAN und/oder pGAN, erfolgen.
-
Die primäre Eigenschaft umfasst vorzugsweise einen Kontrast. Die erste Angleichung erfolgt vorzugsweise basierend auf einem GAN. Die sekundäre Eigenschaft umfasst vorzugsweise eine räumliche Auflösung. Die zweite Angleichung erfolgt vorzugsweise basierend auf einem CNN. Der zweite Wert ist größer oder kleiner als der vierte Wert.
-
Diese Ausführungsform ermöglicht das Bereitstellen einer trainierten Funktion basierend auf Trainingsbilddaten aufgenommen mit nur einem Testmagnetresonanzgerät. Die Aufnahme zweiter Trainingsbilddaten ist nicht erforderlich, da der für die primäre Eigenschaft relevante dritte Wert und der für die sekundäre Eigenschaft relevante vierte Wert erfasst und/oder berechnet werden kann. Ebenso können die zweiten Trainingsbilddaten individuell für jedes Testobjekt generiert werden. Dadurch werden für diese Ausführungsform Trainingsbilddaten von nur einem Testmagnetresonanzgerät benötigt, was das Verfahren vereinfacht. Insbesondere steht dann typischerweise eine größere Anzahl von Testobjekten zu Verfügung, wodurch das Training mit einer größeren Anzahl an ersten Trainingsbilddaten und zweiten Trainingsbilddaten erfolgen kann, wodurch die trainierte Funktion robuster wird.
-
Auch hier gilt: Das Verfahren zu einer Bereitstellung einer trainierten Funktion wird vorzugsweise an einer Vielzahl von Testobjekten, typischerweise an zumindest 100, vorzugsweise an zumindest 1000, besonders bevorzugt an zumindest 5000 Testobjekten durchgeführt. Hierbei erfolgt der Prozess typischerweise iterativ, sodass nach Durchführung des erfindungsgemäßen Verfahrens an einem ersten Testobjekt und Ausgabe einer trainierten Funktion, diese trainierte Funktion bei Durchführung des erfindungsgemäßen Verfahrens an einem zweiten Testobjekt als Funktion verwendet wird. Initial kann als Funktion beispielsweise ein GAN oder ein CNN, insbesondere ein SRCNN, verwendet werden. Durch die Vielzahl an Testobjekten kann die trainierte Funktion besonders robust erzeugt werden.
-
Des Weiteren geht die Erfindung aus von einem Bildverarbeitungssystem mit einer Eingangsschnittstelle, einer Ausgangsschnittstelle und einer Recheneinheit, wobei die Recheneinheit zu einer Ausführung eines erfindungsgemäßen Verfahrens zu einer Bereitstellung von medizinischen synthetischen Bilddaten ausgebildet ist.
-
Über die Eingangsschnittstelle können der Recheneinheit erste Bilddaten und/oder zweite Bilddaten und/oder eine Vergleichsvorschrift für einen Vergleich der synthetischen Bilddaten mit den ersten Bilddaten und/oder eine trainierte Funktion bereitgestellt werden. Weitere, im Verfahren benötigte Funktionen, Algorithmen oder Parameter können der Recheneinheit über die Eingangsschnittstelle bereitgestellt werden. Die synthetischen Bilddaten und/oder eine Veränderung des Untersuchungsobjektes und/oder ein Ergebnis eines Vergleiches der synthetischen Bilddaten mit den ersten Bilddaten und/oder weitere Ergebnisse einer Ausführungsform des erfindungsgemäßen Verfahrens können über die Ausgangsschnittstelle bereitgestellt werden. Die Recheneinheit kann in das erste Magnetresonanzgerät und/oder in das zweite Magnetresonanzgerät integriert sein. Die Recheneinheit kann auch separat von dem ersten Magnetresonanzgerät und/oder dem zweiten Magnetresonanzgerät installiert sein. Die Recheneinheit kann mit dem ersten Magnetresonanzgerät und/oder dem zweiten Magnetresonanzgerät verbunden sein.
-
Ausführungsformen des erfindungsgemäßen Bildverarbeitungssystems sind analog zu den Ausführungsformen des erfindungsgemäßen Verfahrens zu einer Erzeugung von medizinischen synthetischen Bilddaten ausgebildet. Das Bildverarbeitungssystems kann weitere Steuerungskomponenten aufweisen, welche zum Ausführen eines erfindungsgemäßen Verfahrens nötig und/oder vorteilhaft sind. Auch kann das Bildverarbeitungssystems dazu ausgebildet sein, Steuerungssignale zu senden und/oder Steuerungssignale zu empfangen und/oder zu verarbeiten, um ein erfindungsgemäßes Verfahren zu einer Erzeugung von medizinischen synthetischen Bilddaten auszuführen. Vorzugsweise umfasst die Recheneinheit eine Speichereinheit, auf der Computerprogramme und weitere Software gespeichert sein kann, mittels derer eine von der Recheneinheit umfasste Prozessoreinheit einen Verfahrensablauf eines erfindungsgemäßen Verfahrens automatisch steuert und/oder ausführt.
-
Ein erfindungsgemäßes Computerprogrammprodukt ist direkt in einer Speichereinheit einer programmierbaren Recheneinheit ladbar und weist Programmcode-Mittel auf, um ein erfindungsgemäßes Verfahren auszuführen, wenn das Computerprogrammprodukt in der Recheneinheit ausgeführt wird. Dadurch kann das erfindungsgemäße Verfahren schnell, identisch wiederholbar und robust ausgeführt werden. Das Computerprogrammprodukt ist so konfiguriert, dass es mittels der Recheneinheit die erfindungsgemäßen Verfahrensschritte ausführen kann. Die Recheneinheit muss dabei jeweils die Voraussetzungen wie beispielsweise einen entsprechenden Arbeitsspeicher, eine entsprechende Grafikkarte oder eine entsprechende Logikeinheit aufweisen, so dass die jeweiligen Verfahrensschritte effizient ausgeführt werden können. Das Computerprogrammprodukt ist beispielsweise auf einem elektronisch lesbaren Medium gespeichert oder auf einem Netzwerk oder Server hinterlegt, von wo es in den Prozessor einer lokalen Recheneinheit geladen werden kann, der mit dem ersten Magnetresonanzgerät und/oder zweiten Magnetresonanzgerät direkt verbunden oder als Teil des ersten Magnetresonanzgeräts und/oder zweiten Magnetresonanzgeräts ausgebildet sein kann. Weiterhin können Steuerinformationen des Computerprogrammprodukts auf einem elektronisch lesbaren Datenträger gespeichert sein. Die Steuerinformationen des elektronisch lesbaren Datenträgers können derart ausgestaltet sein, dass sie bei Verwendung des Datenträgers in einer Recheneinheit ein erfindungsgemäßes Verfahren durchführen. Beispiele für elektronisch lesbare Datenträger sind eine DVD, ein Magnetband oder einen USB-Stick, auf welchem elektronisch lesbare Steuerinformationen, insbesondere Software, gespeichert ist. Wenn diese Steuerinformationen (Software) von dem Datenträger gelesen und in eine Steuerungseinheit und/oder Recheneinheit gespeichert werden, können alle erfindungsgemäßen Ausführungsformen der vorab beschriebenen Verfahren durchgeführt werden.
-
Des Weiteren geht die Erfindung aus von einem elektronisch lesbaren Datenträger, auf dem ein Programm hinterlegt ist, das zu einer Ausführung eines Verfahrens zu einer Erzeugung von medizinischen synthetischen Bilddaten, vorgesehen ist.
-
Die Vorteile des erfindungsgemäßen Bildverarbeitungssystems, des erfindungsgemäßen Computerprogrammprodukts und des erfindungsgemäßen elektronisch lesbaren Datenträgers entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens zu einer Erzeugung von medizinischen synthetischen Bilddaten, welche vorab im Detail ausgeführt sind. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
-
Des Weiteren geht die Erfindung aus von einem Trainingssystem mit einer ersten Schnittstelle, einer zweiten Schnittstelle und einer Trainingseinheit, wobei die Trainingseinheit zu einer Ausführung eines erfindungsgemäßen Verfahrens zu einer Bereitstellung einer trainierten Funktion ausgebildet ist.
-
Über die erste Schnittstelle können der Trainingseinheit erste Trainingsbilddaten und/oder zweite Trainingsbilddaten und/oder ein erster Wert für eine Eigenschaft und/oder neuronales Netz, insbesondere ein super-resolution Convolutional Neural Network und/oder ein pGAN und/oder cGAN bereitgestellt werden. Weitere, im Verfahren benötigte Funktionen, Algorithmen oder Parameter können der Trainingseinheit über die erste Schnittstelle bereitgestellt werden. Die trainierte Funktion und/oder weitere Ergebnisse einer Ausführungsform des erfindungsgemäßen Verfahrens zu einer Bereitstellung einer trainierten Funktion können über die zweite Schnittstelle bereitgestellt werden. Die Trainingseinheit kann in das erste Testmagnetresonanzgerät und/oder in das zweite Testmagnetresonanzgerät integriert sein. Die Trainingseinheit kann auch separat von dem ersten Testmagnetresonanzgerät und/oder dem zweiten Testmagnetresonanzgerät installiert sein. Die Trainingseinheit kann mit dem ersten Testmagnetresonanzgerät und/oder dem zweiten Testmagnetresonanzgerät verbunden sein.
-
Ausführungsformen des erfindungsgemäßen Bildverarbeitungssystems sind analog zu den Ausführungsformen des erfindungsgemäßen Verfahrens zu einer Bereitstellung einer trainierten Funktion ausgebildet. Das Bildverarbeitungssystems kann weitere Steuerungskomponenten aufweisen, welche zum Ausführen eines erfindungsgemäßen Verfahrens nötig und/oder vorteilhaft sind. Auch kann das Bildverarbeitungssystems dazu ausgebildet sein, Steuerungssignale zu senden und/oder Steuerungssignale zu empfangen und/oder zu verarbeiten, um ein erfindungsgemä-ßes Verfahren zu einer Bereitstellung einer trainierten Funktion auszuführen.
-
Vorzugsweise umfasst die Trainingseinheit eine Speichereinheit, auf der Computerprogramme und weitere Software gespeichert sein kann, mittels derer eine von der Trainingseinheit umfasste Prozessoreinheit einen Verfahrensablauf eines erfindungsgemäßen Verfahrens automatisch steuert und/oder ausführt.
-
Ein erfindungsgemäßes Computerprogrammprodukt ist direkt in einer Speichereinheit einer programmierbaren Trainingseinheit ladbar und weist Programmcode-Mittel auf, um ein erfindungsgemäßes Verfahren auszuführen, wenn das Computerprogrammprodukt in der Trainingseinheit ausgeführt wird. Dadurch kann das erfindungsgemäße Verfahren schnell, identisch wiederholbar und robust ausgeführt werden. Das Computerprogrammprodukt ist so konfiguriert, dass es mittels der Trainingseinheit die erfindungsgemäßen Verfahrensschritte ausführen kann. Die Trainingseinheit muss dabei jeweils die Voraussetzungen wie beispielsweise einen entsprechenden Arbeitsspeicher, eine entsprechende Grafikkarte oder eine entsprechende Logikeinheit aufweisen, so dass die jeweiligen Verfahrensschritte effizient ausgeführt werden können. Das Computerprogrammprodukt ist beispielsweise auf einem elektronisch lesbaren Medium gespeichert oder auf einem Netzwerk oder Server hinterlegt, von wo es in den Prozessor einer lokalen Trainingseinheit geladen werden kann, der mit dem ersten Testmagnetresonanzgerät und/oder zweiten Testmagnetresonanzgerät direkt verbunden oder als Teil eines Testmagnetresonanzgeräts ausgebildet sein kann. Weiterhin können Steuerinformationen des Computerprogrammprodukts auf einem elektronisch lesbaren Datenträger gespeichert sein. Die Steuerinformationen des elektronisch lesbaren Datenträgers können derart ausgestaltet sein, dass sie bei Verwendung des Datenträgers in einer Trainingseinheit ein erfindungsgemäßes Verfahren durchführen. Beispiele für elektronisch lesbare Datenträger sind eine DVD, ein Magnetband oder einen USB-Stick, auf welchem elektronisch lesbare Steuerinformationen, insbesondere Software, gespeichert ist. Wenn diese Steuerinformationen (Software) von dem Datenträger gelesen und in eine Steuerungseinheit und/oder Trainingseinheit gespeichert werden, können alle erfindungsgemäßen Ausführungsformen der vorab beschriebenen Verfahren durchgeführt werden.
-
Des Weiteren geht die Erfindung aus von einem elektronisch lesbaren Datenträger, auf dem ein Programm hinterlegt ist, das zu einer Ausführung eines Verfahrens zu einer Bereitstellung einer trainierten Funktion, vorgesehen ist.
-
Die Vorteile des erfindungsgemäßen Trainingssystems, des erfindungsgemäßen Computerprogrammprodukts und des erfindungsgemäßen elektronisch lesbaren Datenträgers entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens zu einer Bereitstellung einer trainierten Funktion, welche vorab im Detail ausgeführt sind. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen.
Es zeigen:
- 1 ein Ablaufdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Verfahrens zu einer Erzeugung von medizinischen synthetischen Bilddaten,
- 2 ein Ablaufdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Verfahrens zu einer Bereitstellung einer trainierten Funktion,
- 3 ein Ablaufdiagramm einer zweiten Ausführungsform eines erfindungsgemäßen Verfahrens zu einer Bereitstellung einer trainierten Funktion,
- 4 einen Zeitstrahl visualisierend die in den erfindungsgemäßen Verfahren relevanten Zeitpunkte, und
- 5 ein erfindungsgemäßes Bildverarbeitungssystem in einer schematischen Darstellung.
-
1 zeigt ein Ablaufdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Verfahrens zu einer Erzeugung von medizinischen synthetischen Bilddaten. Das Verfahren beginnt mit dem Erfassen von ersten Bilddaten eines Untersuchungsobjektes gemäß Verfahrensschritt 110 und dem Erfassen von zweiten Bilddaten des Untersuchungsobjektes gemäß Verfahrensschritt 120. Verfahrensschritte 110 und 120 können konsekutiv oder zumindest teilweise simultan ausgeführt werden. In Verfahrensschritt 130 erfolgt die Änderung der zweiten Bilddaten umfassend eine Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Wert, wobei synthetische Bilddaten erzeugt werden. Die synthetischen Bilddaten werden anschließend gemäß Verfahrensschritt 140 bereitgestellt.
Die Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Wert gemäß Verfahrensschritt 130 kann basierend auf einer trainierten Funktion erfolgen, welche optional gemäß Verfahrensschritt 200, 300 bereitgestellt werden kann. Die Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Wert gemäß Verfahrensschritt 130 kann durch Verwendung einer trainierten Funktion umfassend ein super-resolution Convolutional Neural Network gemäß Verfahrensschritt 131 erfolgen, sofern die Eigenschaft eine räumliche Auflösung umfasst, der erste Wert einen ersten Auflösungswert umfasst und der zweite Wert einen zweiten Auflösungswert umfasst. Zusätzlich und/oder alternativ kann die Angleichung der Eigenschaft der zweiten Bilddaten an den ersten Wert gemäß Verfahrensschritt 130 durch Verwendung einer trainierten Funktion umfassend ein Generative Adversarial Network gemäß Verfahrensschritt 132 erfolgen, sofern die Eigenschaft einen Kontrast umfasst, der erste Wert einen ersten Kontrastwert umfasst und der zweite Wert einen zweiten Kontrastwert umfasst.
-
2 zeigt ein Ablaufdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Verfahrens 200 zu einer Bereitstellung einer trainierten Funktion. Gemäß diesem Verfahren 200 erfolgt in Verfahrensschritt 210 das Erfassen von ersten Trainingsbilddaten eines Testobjektes, aufweisend einen ersten Wert für eine Eigenschaft und aufgenommen mit einem ersten Testmagnetresonanzgerät zu einem ersten Trainingszeitpunkt 81. Im folgenden Verfahrensschritt 220 erfolgt das Erfassen von zweiten Trainingsbilddaten des Testobjektes, aufweisend einen zweiten Wert für die Eigenschaft und aufgenommen mit einem zweiten Testmagnetresonanzgerät zu einem zweiten Trainingszeitpunkt 82. In Verfahrensschritt 230 erfolgt das Trainieren einer Funktion basierend auf den ersten Trainingsbilddaten und den zweiten Trainingsbilddaten. In Verfahrensschritt 240 erfolgt die Ausgabe der trainierten Funktion.
-
3 zeigt ein Ablaufdiagramm einer zweiten Ausführungsform eines erfindungsgemäßen Verfahrens 300 zu einer Bereitstellung einer trainierten Funktion umfassend ein Convolutional Neural Network und ein Generative Adversarial Network. Das Verfahren 300 sieht gemäß Verfahrensschritt 310 ein Erfassen von ersten Trainingsbilddaten eines Testobjektes, aufweisend einen ersten Wert für eine primäre Eigenschaft, einen zweiten Wert für eine sekundäre Eigenschaft, vor, wobei der erste Wert für die primäre Eigenschaft und der zweite Wert für die sekundäre Eigenschaft charakteristisch für Bilddaten aufgenommen mit einem ersten Testmagnetresonanzgerät sind. Gemäß Verfahrensschritt 320 erfolgt ein Erfassen eines dritten Wertes für die primäre Eigenschaft und eines vierten Wertes für die sekundäre Eigenschaft, wobei der dritte Wert für die primäre Eigenschaft und der vierte Wert für die sekundäre Eigenschaft charakteristisch für Bilddaten aufgenommen mit einem zweitem Testmagnetresonanzgerät sind. Gemäß Verfahrensschritt 330 erfolgt eine Änderung der ersten Trainingsbilddaten umfassend eine erste Angleichung der primären Eigenschaft der ersten Trainingsbilddaten an den dritten Wert und eine zweite Angleichung der sekundären Eigenschaft der ersten Trainingsbilddaten an den vierten Wert, wobei zweite Trainingsbilddaten erzeugt werden. Anschließend erfolgt gemäß Verfahrensschritt 340 ein Trainieren einer Funktion basierend auf den ersten Trainingsbilddaten und den zweiten Trainingsbilddaten. In Verfahrensschritt 350 wird die trainierte Funktion ausgegeben.
-
4 zeigt einen Zeitstrahl visualisierend die in den erfindungsgemäßen Verfahren relevanten Zeitpunkte für die Erzeugung von medizinischen synthetischen Bilddaten und zu einer Bereitstellung einer trainierten Funktion. Das erfindungsgemäße Verfahren zu einer Bereitstellung einer trainierten Funktion gemäß der zweiten Ausführungsform, wie dargestellt in 3, umfasst das Erfassen von ersten Trainingsbilddaten, beispielsweise aufgenommen mit einem ersten Testmagnetresonanzgerät zu einem ersten Trainingszeitpunkt 81. Der erste Trainingszeitpunkt 81 und der zweite Trainingszeitpunkt 82 liegen typischerweise vor dem ersten Zeitpunkt 91, dem zweiten Zeitpunkt 92 und gegebenenfalls dem dritten Zeitpunkt 93. Der erste Trainingszeitpunkt 81 und der zweite Trainingszeitpunkt 82 unterscheiden sich typischerweise um weniger als einen Monat, vorzugsweise um weniger als eine Woche. Der erste Zeitpunkt 91 und der zweite Zeitpunkt 92 unterscheiden sich typischerweise um zumindest eine Woche, vorzugsweise um zumindest einen Monat. Die Zeitdauer zwischen dem ersten Zeitpunkt 91 und dem ersten Trainingszeitpunkt 81 ist beliebig, jedoch ist eine Ausführung eines Verfahrens 200 oder 300 zu einem weiteren Zeitpunkt 90, welcher zumindest vor dem zweiten Zeitpunkt 92, bevorzugt auch vor dem ersten Zeitpunkt 91 liegt, erforderlich, sofern das Verfahren zu einer Erzeugung von medizinischen synthetischen Bilddaten durch Verwendung einer trainierten Funktion erfolgt.
-
5 zeigt ein erfindungsgemäßes Bildverarbeitungssystem 2 in einer schematischen Darstellung. Das Bildverarbeitungssystem 2 umfasst eine Eingangsschnittstelle 3, eine Ausgangsschnittstelle 4 und eine Recheneinheit 5.
Die Eingangsschnittstelle 3 ist zu einem Erfassen von ersten Bilddaten und/oder zweiten Bilddaten eines Untersuchungsobjektes ausgebildet also zur Ausführung der Verfahrensschritte 110, 120 ausgebildet. Die Ausgangsschnittstelle 4 ist zu einer Bereitstellung der synthetischen Bilddaten ausgebildet, also zur Ausführung des Verfahrensschritte 140 ausgebildet. Die Recheneinheit 5 kann eine Änderungseinheit 51 und eine trainierte Funktion 52 umfassen. Die Recheneinheit 5, insbesondere die Änderungseinheit 51, ist zu einer Änderung der zweiten Bilddaten ausgebildet, wobei synthetische Bilddaten erzeugt werden. Die Änderung der zweiten Bilddaten durch Verwendung der trainierten Funktion 52 erfolgen. Die Recheneinheit 5 kann eine Identifizierungseinheit 53 umfassen, welche zu einer Identifizierung einer Veränderung des Untersuchungsobjektes durch einen Vergleich der synthetischen Bilddaten mit den ersten Bilddaten ausgebildet ist. Somit ist das Bildverarbeitungssystem 2 zusammen mit der Recheneinheit 5 zu einer Erzeugung von medizinischen synthetischen Bilddaten, also zu einer Ausführung des erfindungsgemäßen Verfahrens, ausgebildet.
-
Die Recheneinheit 5 weist vorzugsweise Computerprogramme und/oder Software auf, die direkt in einem nicht näher dargestellten Speichereinheit der Recheneinheit 5 ladbar sind, mit Programmmitteln, um ein Verfahren zu einer Erzeugung von medizinischen synthetischen Bilddaten auszuführen, wenn die Computerprogramme und/oder Software in der Recheneinheit 5 ausgeführt werden. Die Recheneinheit 5 weist hierzu einen nicht näher dargestellten Prozessor auf, der zu einer Ausführung der Computerprogramme und/oder Software ausgelegt ist. Alternativ hierzu können die Computerprogramme und/oder Software auch auf einem getrennt von dem Bildverarbeitungssystem 2 und/oder Recheneinheit 5 ausgebildeten elektronisch lesbaren Datenträger 31 gespeichert sein, wobei ein Datenzugriff von der Recheneinheit 2 auf den elektronisch lesbaren Datenträger 31 über ein Datennetz erfolgen kann.
-
Ein Verfahren zu einer Erzeugung von medizinischen synthetischen Bilddaten kann auch in Form eines Computerprogrammprodukts vorliegen, das das Verfahren auf die Recheneinheit 5 implementiert, wenn es auf der Recheneinheit 5 ausgeführt wird. Ebenso kann ein elektronisch lesbarer Datenträger 6 mit darauf gespeicherten elektronisch lesbaren Steuerinformationen vorliegen, welche zumindest ein solches eben beschriebenes Computerprogrammprodukt umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers 6 in einer Recheneinheit 5 eines Bildverarbeitungssystem 2 das beschriebene Verfahren durchführen.
-
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Dong, Chao, et al. „Learning a deep convolutional network for image super-resolution.“ European conference on computer vision. Springer, Cham, 2014 [0030]
