-
In der medizinischen Praxis werden Röntgenvorrichtungen oftmals zur Überwachung von (insbesondere minimalinvasiven) chirurgischen Eingriffen eingesetzt, teilweise werden bestimmte Eingriffe erst durch eine Röntgenüberwachung möglich, beispielsweise die Implantation einer Aortenklappe mittels eines Katheters.
-
Die Vorteile eines solchen röntgenüberwachten Eingriffs müssen hierbei gegen die Strahlenbelastung durch die absorbierte Röntgendosis abgewogen werden. Da typischerweise die Reduzierung der Röntgendosis auch mit einer Reduzierung der Bildqualität bzw. einer Erhöhung des Signal-Rausch-Verhältnisses einhergeht, muss häufig ein Kompromiss zwischen guter Bildqualität und niedriger Röntgendosis gefunden werden.
-
Es ist bekannt, die Bildqualität durch verschiedene Rauschunterdrückungsverfahren zu erhöhen. Diese Verfahren können aber den Bildeindruck verändern und/oder zu Artefakten führen. Wird die Rauschunterdrückung in einem zu hohen Maße angewendet, kann dies beispielsweise zu einem zeichentrickartigen Bildeindruck führen.
-
Weiterhin ist bekannt, durch optimierte Protokolle (d.h. durch eine optimierte Wahl der Parameter der Röntgenvorrichtung) das Signal-Rausch-Verhältnis zu optimieren. Auch diese Wahl der Protokolle kann aber den Bildeindruck verändern (beispielsweise können sich die Werte der Bildpixel für die selbe abgebildete Struktur bei unterschiedlichen Bildaufnahmewerten unterscheiden). Dies stellt insbesondere ein Problem dar, wenn die Bilddaten durch trainierte Algorithmen weiterverarbeitet werden sollen, insbesondere wenn die zum Training verwendeten Algorithmen nur mittels einer beschränkten Anzahl von Protokollen oder einer beschränkten Anzahl von Röntgenvorrichtungen aufgenommen wurden.
-
Es ist daher die Aufgabe der Erfindung, verbesserte Möglichkeiten zur Rauschreduktion für Röntgenbilddatensätzen anzugeben.
-
Diese Aufgabe wird gelöst durch ein computerimplementiertes Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes, durch ein computerimplementiertes Verfahren zum Bereitstellen einer trainierten Generatorfunktion, durch ein Bereitstellungssystem, durch eine Röntgenvorrichtung, durch ein Computerprogrammprodukt und durch ein computerlesbares Speichermedium gemäß den unabhängigen Ansprüche. Vorteilhafte Weiterbildungen werden in den abhängigen Ansprüchen und in der folgenden Beschreibung beschrieben.
-
Nachstehend wird die erfindungsgemäße Lösung der Aufgabe sowohl in Bezug auf die beanspruchten Vorrichtungen als auch in Bezug auf das beanspruchte Verfahren beschrieben. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen sind ebenso auch auf die anderen beanspruchten Gegenstände zu übertragen und umgekehrt. Mit anderen Worten können die gegenständlichen Ansprüche (die beispielsweise auf eine Vorrichtung gerichtet sind) auch mit den Merkmalen, die in Zusammenhang mit einem Verfahren beschrieben oder beansprucht sind, weitergebildet sein. Die entsprechenden funktionalen Merkmale des Verfahrens werden dabei durch entsprechende gegenständliche Module ausgebildet.
-
Weiterhin wird die erfindungsgemäße Lösung der Aufgabe sowohl in Bezug auf Verfahren und Vorrichtungen zum Bereitstellen von Ergebnisbilddatensätzen als auch in Bezug auf Verfahren und Vorrichtungen zum Bereitstellen von trainierten Generatorfunktionen beschrieben. Hierbei können Merkmale und alternative Ausführungsformen von Datenstrukturen und/oder Funktionen bei Verfahren und Vorrichtungen zum Bereitstellen von Ergebnisbilddatensätzen auf analoge Datenstrukturen und/oder Funktionen bei Verfahren und Vorrichtungen zum Bereitstellen von trainierten Generatorfunktionen übertragen werden. Analoge Datenstrukturen können hierbei insbesondere durch die Verwendung der Vorsilbe „Trainings“ gekennzeichnet sein. Insbesondere kann ein Trainingsbilddatensatz als analoge Struktur zu einem Röntgenbilddatensatz aufgefasst werden. Weiterhin können die in Verfahren und Vorrichtungen zur Bereitstellung von Ergebnisbilddatensätzen verwendeten trainierten Generatorfunktionen durch Verfahren und Vorrichtungen zum Bereitstellen von trainierten Generatorfunktionen angepasst worden und/oder bereitgestellt worden sein.
-
Die Erfindung betrifft in einem ersten Aspekt ein computerimplementiertes Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes eines Untersuchungsvolumens. Hierbei wird ein Röntgenbilddatensatzes des Untersuchungsvolumens empfangen, wobei der Röntgenbilddatensatz einen ersten Rauschpegel aufweist. Weiterhin wird eine trainierte Generatorfunktion empfangen, wobei ein Parameter der trainierten Generatorfunktion auf einem ersten Trainingsbilddatensatz und einem zweiten Trainingsbilddatensatzes eines Trainingsuntersuchungsvolumens basiert, und wobei der erste Trainingsbilddatensatz und der zweite Trainingsbilddatensatz einen ersten Trainingsrauschpegel aufweisen. Weiterhin wird ein Ergebnisbilddatensatzes des Untersuchungsvolumens durch Anwenden der trainierten Generatorfunktion auf Eingabedaten umfassend den Röntgenbilddatensatz bestimmt, wobei der Ergebnisbilddatensatz einen zweiten Rauschpegel aufweist, wobei der zweite Rauschpegel kleiner als der erste Rauschpegel ist. Weiterhin erfolgt ein Bereitstellen des Ergebnisbilddatensatzes.
-
Das Empfangen des Röntgenbilddatensatzes und der trainierten Generatorfunktion erfolgt insbesondere mittels einer Schnittstelle, insbesondere mittels einer Schnittstelle eines Bereitstellungssystems. Das Bestimmen des Ergebnisbilddatensatzes erfolgt insbesondere mittels einer Recheneinheit, insbesondere mittels einer Recheneinheit des Bereitstellungssystems.
-
Ein Untersuchungsvolumen (englische Fachbegriffe sind „region of interest“, kurz ROI, oder „volume of interest“) bzw. ein Trainingsuntersuchungsvolumen ist insbesondere ein Teil eines zu untersuchenden Objektes, das auf einem oder mehreren Bilddatensätzen dargestellt wird. Dabei kann ein Bilddatensatz einen Ausschnitt des (Trainings-)Untersuchungsvolumens, das gesamte (Trainings-)Untersuchungsvolumen ohne Umgebung des (Trainings-)Untersuchungsvolumens, oder das (Trainings-)Untersuchungsvolumen mit Umgebung des (Trainings-)Untersuchungsvolumens abbilden.
-
Ein Untersuchungsvolumen bzw. Trainingsuntersuchungsvolumen ist insbesondere dreidimensional, ein Bilddatensatz des (Trainings-)Untersuchungsvolumens kann aber jederzeit eine abweichende Dimension aufweisen. Ein Beispiel für einen zweidimensionalen Bilddatensatz ist eine Röntgenprojektion des (Trainings-)Untersuchungsvolumens oder eine Schicht einer tomographischen Aufnahme des (Trainings-)Untersuchungsvolumens, ein Beispiel für einen vierdimensionalen Bilddatensatz ist eine zeitaufgelöste tomographische Aufnahme des (Trainings)Untersuchungsvolumens.
-
Das Trainingsuntersuchungsvolumen kann insbesondere vom Untersuchungsvolumen abweichen.
-
Ein Bilddatensatz umfasst insbesondere eine Mehrzahl von Pixeln oder Voxeln. Dabei wird jedem Pixel oder Voxel ein Intensitätswert zugeordnet. Ein Bilddatensatz kann insbesondere ein Röntgenbilddatensatz sein. Bei einem Röntgenbilddatensatz wird insbesondere jedem Pixel oder Voxel ein Röntgenintensitätswert, der ein Maß für die in diesem Pixel oder Voxel aufgetroffene Röntgenintensität oder für einen Röntgenabsorptionskoeffizienten des Pixels oder des Voxels ist. Eine auftreffende Röntgenintensität hängt von der Zahl, der Größe, der Form und dem Material der sich im Untersuchungsvolumen befindlichen und von der Röntgenstrahlung durchdrungenen Objekten ab. Ein Bilddatensatz kann insbesondere weitere Daten umfassen, insbesondere Metadaten einer bildgebenden Untersuchung, insbesondere einer Röntgenuntersuchung.
-
Ein zweidimensionaler Bilddatensatz umfasst dabei mindestens eine zweidimensionale Darstellung eines Untersuchungsvolumens. Ein dreidimensionaler Bilddatensatz umfasst dabei mindestens eine dreidimensionale Darstellung eines Untersuchungsvolumens, insbesondere kann ein dreidimensionaler Bilddatensatz auch zusätzlich noch eine oder mehrere zweidimensionale Darstellungen des Untersuchungsvolumens umfassen. Eine dreidimensionale Darstellung kann insbesondere räumlich dreidimensional sein, eine dreidimensionale Darstellung kann aber auch räumlich zweidimensional und zeitlich eindimensional sein. Ein dreidimensionaler Bilddatensatz kann insbesondere auf einer Rekonstruktion von mehreren (räumlich) zweidimensionalen Bilddatensätzen basieren. Ein vierdimensionaler Bilddatensatz umfasst dabei mindestens eine vierdimensionale Darstellung eines Untersuchungsvolumens. Eine vierdimensionale Darstellung des Untersuchungsvolumens kann insbesondere räumlich dreidimensional und zeitlich eindimensional sein. Ein vierdimensionaler Bilddatensatz kann insbesondere auf einer Rekonstruktion von mehreren (räumlich) zweidimensionalen und/oder mehreren (räumlich) dreidimensionalen Bilddatensätzen basieren.
-
Ein Bilddatensatz kann insbesondere als realer Bilddatensatz bezeichnet werden, wenn der das Ergebnis der Aufnahme eines Untersuchungsvolumens mittels einer bildgebenden Vorrichtung ist, optional unter Verwendung von Rekonstruktionsalgorithmen. Ein Bilddatensatz kann insbesondere als synthetischer Bilddatensatz bezeichnet werden, wenn er das Ergebnis einer bildverarbeitenden Funktion ist, insbesondere einer bildverarbeitenden trainierten Funktion.
-
Der Rauschpegel eines Bilddatensatzes ist insbesondere ein Maß für ein Rauschen im Bilddatensatz. Vorteilhafterweise entspricht der Rauschpegel eines Bilddatensatzes dem Signal-Rausch-Verhältnis (ein englischer Fachbegriff ist „signal-tonoise ratio“) des Bilddatensatzes. Vorteilhafterweise kann der Rauschpegel auch einer inversen Röntgendosis entsprechen, insbesondere einer inversen Röntgendosis, die bei der Aufnahme eines realen Bilddatensatzes im verwendet wurde, bzw. die bei der Aufnahme eines synthetischen Bilddatensatzes verwendet werden müsste, um den Bildeindruck des synthetischen Bilddatensatzes zu erzielen.
-
Der erste Trainingsbilddatensatz und der zweite Trainingsbilddatensatz weisen insbesondere einen ersten Rauschpegel auf, wenn der Rauschpegel des ersten Trainingsbilddatensatzes dem ersten Rauschpegel entspricht und wenn der Rauschpegel des zweiten Trainingsbilddatensatzes entspricht. Ein Rauschpegel eines Bilddatensatzes entspricht insbesondere auch einem vorgegebenen Rauschpegel, wenn die Abweichung des Rauschpegels des Bilddatensatzes vom vorgegebenen Rauschpegel in einem statistisch zu erwartendem Bereich liegt. Insbesondere entspricht der Rauschpegel eines Bilddatensatzes einem vorgegebenen Rauschpegel, wenn die relative Abweichung des Rauschpegels des Bilddatensatzes vom vorgegebenen Rauschpegel kleiner ist als 10%, insbesondere kleiner ist als 5%, insbesondere kleiner ist als 2%, insbesondere kleiner ist als 1%.
-
Eine trainierte Funktion ist insbesondere eine Funktion, die Eingabedaten auf Ausgabedaten abbildet, wobei die Ausgabedaten weiterhin von mindestens einem Funktionsparameter der Funktion abhängen, und wobei der Funktionsparameter durch überwachtes Lernen (ein englischer Fachbegriff ist „supervised learning“), durch halb-überwachtes Lernen (ein englischer Fachbegriff ist „semi-supervised learning“) und/oder durch unüberwachtes Lernen (ein englischer Fachbegriff ist „unsupervised learning“) anpassbar ist. Die Eingabedaten und/oder die Ausgabedaten können hierbei insbesondere jeweils mindestens einen Bilddatensatz umfassen.
-
Insbesondere ist eine trainierte Generatorfunktion eine trainierte Funktion, und eine trainierte Klassifikatorfunktion ist eine trainierte Funktion. Bei einer trainierten Funktion muss nicht notwendigerweise einer ihrer Parameter bereits angepasst worden sein, daher kann der Begriff „trainierte Funktion“ auch durch „trainierbare Funktion“ ersetzt werden, insbesondere kann der Begriff „trainierte Generatorfunktion“ durch „trainierbare Generatorfunktion“ und/oder der Begriff „trainierte Klassifikatorfunktion“ durch „trainierbare Klassifikatorfunktion“ ersetzt werden. Insbesondere können die Begriffe „trainierte Generatorfunktion“ und „Generatorfunktion“ als Synonyme verwendet werden, und/oder die Begriffe „trainierte Klassifikatorfunktion“ und „Klassifikatorfunktion“ können als Synonyme verwendet werden.
-
Bei einer trainierten Generatorfunktion umfassen insbesondere die Eingabedaten und die Ausgabedaten mindestens einen Bilddatensatz. Bei einer trainierten Klassifikatorfunktion umfassen insbesondere die Eingabedaten mindestens einen Bilddatensatz, und die Ausgaben umfassen einen oder mehrere Wahrscheinlichkeitswerte. Der Wahrscheinlichkeitswert entspricht insbesondere der Wahrscheinlichkeit, dass der Bilddatensatz der Eingabedaten ein realer Bilddatensatz oder ein synthetischer Bilddatensatz ist. Die Bezeichnung „Klassifikatorfunktion“ kann insbesondere durch die Bezeichnung „Diskriminatorfunktion“ und/oder durch die Bezeichnung „Diskriminator- und Klassifikatorfunktion“ bzw. durch die Bezeichnung „Klassifikator- und Diskriminatorfunktion“ ersetzt werden.
-
Die trainierte Generatorfunktion umfasst mindestens einen Parameter, hierbei sind die Ausgabewerte der trainierten Generatorfunktion abhängig von dem Wert bzw. den Werten des mindestens einen Parameters. Ein Parameter der trainierten Generatorfunktion basiert insbesondere auf dem ersten Trainingsbilddatensatz und dem zweiten Trainingsbilddatensatz, wenn der Parameter der trainierten Generatorfunktion zur Optimierung einer Kostenfunktion basierend auf dem ersten Trainingsbilddatensatz und dem zweiten Trainingsbilddatensatz verändert und/oder angepasst wurde. Dies schließt den Fall ein, dass mehrere bzw. alle Parameter der trainierten Generatorfunktion zur Optimierung einer Kostenfunktion basierend auf dem ersten Trainingsbilddatensatz und dem zweiten Trainingsbilddatensatz verändert und/oder angepasst wurden.
-
Die Erfinder haben erkannt, dass durch die Erzeugung eines Ergebnisbilddatensatz mit einem geringeren Rauschpegel bei der Aufnahme des Röntgenbilddatensatzes ein höherer Rauschpegel in Kauf genommen werden kann bzw. eine niedrigere Röntgendosis verwendet werden kann. Dadurch können mögliche Nebenwirkungen der Röntgenstrahlung für den Patienten minimiert werden.
-
Nach einem weiteren Aspekt der Erfindung basiert der Parameter der trainierten Generatorfunktion auf einem Vergleich, insbesondere auf einer Differenz des ersten Trainingsbilddatensatzes und dem Ergebnis der Anwendung der trainierten Generatorfunktion auf den zweiten Trainingsbilddatensatz.
-
Die Erfinder haben erkannt, dass durch eine solche Wahl des einen oder der mehreren Parameter der trainierten Generatorfunktion diese dazu ausgebildet ist, synthetische Ergebnisbilddatensätze zu erzeugen, die das Untersuchungsvolumen möglichst genau abbilden.
-
Nach einem weiteren Aspekt der Erfindung ist zumindest ein Anteil des Rauschens des ersten Trainingsbilddatensatzes statistisch unabhängig von einem Anteil des Rauschens des zweiten Trainingsbilddatensatzes. Insbesondere basiert der Parameter der trainierten Generatorfunktion auf einer Optimierung einer Kostenfunktion, wobei die Kostenfunktion eine Differenz des ersten Trainingsbilddatensatzes und des Ergebnisses der Anwendung der trainierten Generatorfunktion auf den zweiten Trainingsbilddatensatz umfasst.
-
Die Erfinder haben erkannt, dass durch die Verwendung von Trainingsbilddatensätzen mit statistisch unabhängigem Rauschen es der trainierten Generatorfunktion informationstheoretisch nicht möglich ist, den ersten Trainingsbilddatensatz auf den zweiten Trainingsbilddatensatz abzubilden, da im ersten Trainingsbilddatensatz keine Information über das Rauschen im zweiten Trainingsbilddatensatz vorhanden ist. In einer solchen Situation ist eine trainierte Generatorfunktion optimal (insbesondere minimiert sie die jeweilige Kostenfunktion), wenn der Rauschpegel des Ergebnisbilddatensatzes möglichst gering ist. Daher ist die trainierte Generatorfunktion kann dazu ausgebildet, einen möglichst rauschfreien Ergebnisbilddatensatz zu erzeugen.
-
Nach einem weiteren Aspekt der Erfindung basieren der erste Trainingsbilddatensatz und der zweite Trainingsbilddatensatz auf einem Trainingseingabebilddatensatz basieren, wobei der Trainingseingabebilddatensatz einen Trainingsrauschpegel aufweist, wobei der Trainingsrauschpegel kleiner ist als der erste Rauschpegel. Mit anderen Worten sind also der erste Trainingsbilddatensatz und der zweite Trainingsbilddatensatz von einem einzigen Trainingseingabebilddatensatz abgeleitet, der insbesondere einen geringeren Rauschpegel aufweist.
-
Die Erfinder haben erkannt, dass durch diese Wahl des ersten und des zweiten Trainingsbilddatensatzes dieses insbesondere das gleiche Trainingsvolumen abbilden, und zwischen dem ersten und dem zweiten Trainingsbilddatensatz keine Unterschiede durch eine Veränderung im Trainingsuntersuchungsvolumen (z.B. durch eine bewusste oder unbewusste Bewegung des Patienten, oder durch unterschiedliche Kontrastmittelkonzentrationen) oder durch eine Veränderung der Abbildungsgeometrie vorliegen. Dadurch ist die trainierte Generatorfunktion insbesondere dazu ausgebildet, die vorhandenen Strukturen im Untersuchungsvolumen möglichst gut zu rekonstruieren.
-
Nach einem weiteren Aspekt der Erfindung basiert der erste Trainingsbilddatensatz auf einer Kombination des Trainingseingabebilddatensatzes und erstem synthetischen Rauschen, und der zweite Trainingsbilddatensatz basiert auf einer Kombination des Trainingseingabebilddatensatz und zweitem synthetischen Rauschen. Der Trainingseingabebilddatensatz kann insbesondere ein realer Röntgenbilddatensatz sein.
-
Beim ersten synthetischen Rauschen und/oder beim zweiten synthetischen Rauschen kann es sich insbesondere um weißes Rauschen (z.B. thermisches Rauschen), um farbiges Rauschen (z.B. 1/f Rauschen oder 1/f2 Rauschen) und/oder um gaußverteiltes Rauschen handeln. Der Mittelwert dieses Rauschens kann insbesondere 0 sein. Die Kombination des Trainingseingabebilddatensatzes und dem ersten bzw. dem zweiten synthetischen Rauschen kann insbesondere durch eine Addition des Trainingseingabebilddatensatzes und dem ersten bzw. dem zweiten synthetischen Rauschen erfolgen.
-
Der Trainingseingabebilddatensatz kann insbesondere die gleiche oder eine höhere Dimensionalität als der erste bzw. der zweite Trainingsbilddatensatz aufweisen. Insbesondere kann der Trainingseingabebilddatensatz ein dreidimensionaler Bilddatensatz sein, und der erste bzw. der zweite Trainingsbilddatensatz können ein zweidimensionaler oder ein dreidimensionaler Bilddatensatz sein (falls in diesem Fall der erste bzw. der zweite Trainingsbilddatensatz zweidimensionale Bilddatensätze sind, können der erste bzw. der zweite Trainingsbilddatensatz auf einer Projektion bzw. auf einem Schnitt des dreidimensionalen Trainingseingabebilddatensatzes basieren). Alternativ kann der Trainingseingabebilddatensatz ein zweidimensionaler Bilddatensatz sein, und der erste bzw. der zweite Trainingsbilddatensatz können ein zweidimensionaler Bilddatensatz sein.
-
Die in Pixeln bzw. Voxeln gemessene Ausdehnung des Trainingseingabebilddatensatzes kann bezüglich der relevanten Dimensionen identisch mit der in Pixeln bzw. Voxeln gemessenen Ausdehnung des ersten bzw. des zweiten Trainingsbilddatensatzes sein. Vorteilhafterweise ist die in Pixeln bzw. Voxeln gemessene Ausdehnung des Trainingseingabebilddatensatzes bezüglich mindestens einer relevanten Dimension, insbesondere bezüglich aller relevanten Dimensionen größer als die in Pixeln bzw. Voxeln gemessene Ausdehnung des ersten bzw. des zweiten Trainingsbilddatensatzes. In diesem Fall können aus einem Trainingseingabebilddatensatz mehrere Paare aus erstem Trainingsbilddatensatz und zweitem Trainingsbilddatensatz erzeugt werden (ein Fachbegriff ist „batchweise Verarbeitung“). Beispiel können aus einem Trainingseingabebilddatensatz mit Ausdehnung 512x512 Pixeln mindestens vier Paare von Trainingsbilddatensätzen mit 256x256Pixeln gewonnen werden, es können aber auch noch mehr Paare gewonnen werden, wenn die Paare von Trainingsbilddatensätzen in Bereichen überlappen.
-
Die Erfinder haben erkannt, dass durch die Kombination eines Trainingseingabebilddatensatzes und synthetischem Rauschen besonders effizient der erste und der zweite Trainingsbilddatensatz erzeugt werden können.
-
Nach einem weiteren Aspekt der Erfindung basieren der erste Trainingsbilddatensatz und/oder der zweite Trainingsbilddatensatz auf der Anwendung einer varianzstabilisierenden Transformation (ein englischer Fachbegriff ist „variance stabilizing transformation“). Nach einem weiteren möglichen Aspekt der Erfindung umfasst das Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes weiterhin ein Anwenden einer varianzstabilisierenden Transformation auf den Röntgenbilddatensatz. Das Anwenden der varianzstabilisierenden Transformation erfolgt hierbei insbesondere mittels der Recheneinheit, insbesondere mittels der Recheneinheit des Bereitstellungssystems. Das Anwenden der varianzstabilisierenden Transformation erfolgt hierbei insbesondere vor der Anwendung der trainierten Generatorfunktion auf den Röntgenbilddatensatz.
-
Eine varianzstabilisierende Transformation ist insbesondere eine Funktion (zur Anwendung auf Zufallszahlen bzw. verrauschte Daten), durch deren Anwendung die Variabilität der Ergebnisdaten unabhängiger bzw. unabhängig vom Mittelwert der Ergebnisdaten wird.
-
Die Erfinder haben erkannt, dass die Verwendung einer varianzstabilisierenden Transformation einer Normalisierung der Eingabewerte der trainierten Generatorfunktion entspricht. Durch diese Normalisierung wird das Training der trainierten Generatorfunktion numerisch stabiler, kann also insbesondere effizienter und weniger fehleranfällig erfolgen. Weiterhin kann durch die Verwendung einer Normalisierung bzw. insbesondere einer varianzstabilisierenden Transformation eine trainierte Generatorfunktion, die basierend auf spezifischen Rauschpegeln trainiert wurde, besser und robuster auf andere Rauschpegel angewendet werden,
-
Nach einem weiteren Aspekt der Erfindung basiert der Parameter der trainierten Generatorfunktion auf einem GA-Algorithmus. Insbesondere wird im GA-Algorithmus eine trainierte Klassifikatorfunktion auf eine Differenz auf die Differenz des ersten Trainingsbilddatensatzes und des Ergebnisses der Anwendung der trainierten Generatorfunktion auf den zweiten Trainingsbilddatensatz angewendet.
-
Ein GA-Algorithmus („GA“ ist ein Akronym für „generative adversarial“, eine deutsche Übersetzung ist „erzeugend und gegnerisch“) umfasst eine Generatorfunktion und eine Klassifikatorfunktion. Hierbei erzeugt die Generatorfunktion synthetische Daten (ein anderes Wort sind „virtuelle Daten“), und die Klassifikatorfunktion unterscheidet zwischen synthetischen und realen Daten. Insbesondere wird durch ein Training der Generatorfunktion und/oder der Klassifikatorfunktion erreicht, dass auf der einen Seite die Generatorfunktion derartige synthetische Daten erzeugt, die durch die Klassifikatorfunktion fälschlicherweise als real eingestuft werden, auf der anderen Seite die Klassifikatorfunktion möglichst gut zwischen realen Daten und synthetischen Daten unterscheiden kann. Spieltheoretisch kann ein GA-Algorithmus auch als Nullsummenspiel aufgefasst werden. Das Training der Generatorfunktion und/oder der Klassifikatorfunktion basiert insbesondere auf der Minimierung jeweils einer Kostenfunktion.
-
Falls die Generatorfunktion und die Klassifikatorfunktion durch ein Netzwerk gegeben sind, insbesondere durch ein künstliches neuronales Netzwerk, dann wird der GA-Algorithmus auch als GA-Netzwerk (auch „GAN“, englisches Akronym für „generative adversarial network“, eine deutsche Übersetzung ist „erzeugende gegnerische Netzwerke“) bezeichnet. Diese sind insbesondere aus der Druckschrift Ian J. Goodfellow, „Generative Adversarial Networks“, arxiv 1406.2661 (2014) bekannt. Die Minimierung der Kostenfunktion kann insbesondere mittels eines Gradientenabstiegs (ein englischer Fachbegriff ist „gradient descent“), und insbesondere mittels Rückpropagation (ein englischer Fachbegriff ist „backpropagation“) erfolgen.
-
Ein Parameter der trainierten Generatorfunktion basiert insbesondere derart auf einem GA-Algorithmus oder auf einem GA-Netzwerk, dass der Parameter der trainierten Generatorfunktion mit einem Parameter der Generatorfunktion des GA-Algorithmus oder des GA-Netzwerks identisch ist. Insbesondere basiert ein Parameter der trainierten Generatorfunktion derart auf einem GA-Algorithmus oder auf einem GA-Netzwerk, dass die trainierte Generatorfunktion mit der Generatorfunktion des GA-Algorithmus oder des GA-Netzwerks identisch ist.
-
Die Erfinder haben erkannt, dass durch die Verwendung eines GA-Algorithmus erreicht werden kann, dass die Differenzen zwischen dem Ergebnis der Anwendung der trainierten Generatorfunktion und einem Trainingsbilddatensatz ähnlich sind zu Differenzen von weiteren Trainingsbilddatensätzen. Dadurch wird insbesondere erreicht, dass die trainierte Generatorfunktion keinen Einfluss auf die Qualität des Bildrauschens hat, sondern nur auf die Quantität des Bildrauschens.
-
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes weiterhin ein Empfangen eines Röntgenparameters. Hierbei beschreibt der Röntgenparameter eine Röntgenquelle, einen Röntgendetektor und/oder eine Röntgenvorrichtung, und die Eingabedaten umfassen den Röntgenparameter. Das Empfangen des Röntgenparameters kann insbesondere mittels der Schnittstelle, insbesondere mittels der Schnittstelle des Bereitstellungssystems erfolgen.
-
Der Röntgenparameter beschreibt insbesondere die Röntgenquelle, die zur Aufnahme des Röntgenbilddatensatzes verwendet wurde, und/oder den Röntgendetektor, der zur Aufnahme des Röntgenbilddatensatzes verwendet wurde, und/oder die Röntgenvorrichtung, die zur Aufnahme des Röntgenbilddatensatzes verwendet wurde.
-
Ein Röntgenparameter beschreibt insbesondere eine Röntgenquelle, indem die Röntgenquelle basierend auf dem Röntgenparameter identifizierbar ist. Beispielsweise kann der Röntgenparameter hierzu eine Seriennummer oder eine Modellnummer der Röntgenquelle umfassen. Ein Röntgenparameter beschreibt insbesondere einen Röntgendetektor, indem der Röntgendetektor basierend auf dem Röntgenparameter identifizierbar ist. Beispielsweise kann der Röntgenparameter hierzu eine Seriennummer oder eine Modellnummer des Röntgendetektors umfassen. Ein Röntgenparameter beschreibt insbesondere eine Röntgenvorrichtung, eine die Röntgenquelle basierend auf dem Röntgenparameter identifizierbar ist. Beispielsweise kann der Röntgenparameter hierzu eine Seriennummer oder eine Modellnummer der eine umfassen.
-
Die Erfinder haben erkannt, dass durch die Verwendung eines Röntgenparameters in den Eingabedaten spezifische Eigenschaften der Röntgenquelle, des Röntgendetektors und/oder der Röntgenvorrichtung durch die trainierte Generatorfunktion mit berücksichtigt werden können. Beispielsweise kann das Rauschen von verschiedenen Röntgendetektoren unterschiedliche Leistungsspektren aufweisen, die dann durch die trainiert Generatorfunktion gelernt und rekonstruiert werden können.
-
Die Erfindung betrifft in einem zweiten Aspekt weiterhin ein computerimplementiertes Verfahren zum Bereitstellen einer trainierten Generatorfunktion. Hierbei wird ein erster Trainingsbilddatensatzes eines Trainingsvolumens und ein zweiten Trainingsbilddatensatzes des Trainingsvolumens empfangen oder bestimmt, wobei der ersten Trainingsbilddatensatz und der zweite Trainingsbilddatensatz einen ersten Rauschpegel aufweisen. Weiterhin wird ein Ergebnisbilddatensatz durch Anwendung der trainierten Generatorfunktion auf den zweiten Trainingsbilddatensatz bestimmt, und ein Parameter der trainierten Generatorfunktion basierend auf einem Vergleich des ersten Trainingsbilddatensatzes und des Ergebnisbilddatensatzes angepasst. Weiterhin erfolgt ein Bereitstellen der trainierten Generatorfunktion, insbesondere ein Speichern, Anzeigen und/oder ein Übermitteln der trainierten Generatorfunktion.
-
Das Empfangen oder Bestimmen des ersten und des zweiten Trainingsbilddatensatzes erfolgt insbesondere mittels einer Trainingsrecheneinheit und/oder eine Trainingsschnittstelle, insbesondere mittels der Trainingsrecheneinheit und/oder der Trainingsschnittstelle eines Trainingssystems. Das Bestimmen des Ergebnisbilddatensatzes und das Anpassen des Parameters der trainierten Generatorfunktion erfolgt insbesondere mittels der Trainingsrecheneinheit, insbesondere mittels der Trainingsrecheneinheit des Trainingssystems. Das Bereitstellen der trainierten Generatorfunktion erfolgt insbesondere mittels der Trainingsschnittstelle, insbesondere mittels der Trainingsschnittstelle des Trainingssystems.
-
Die Erfinder haben erkannt, dass durch das beschriebene Verfahren eine trainierte Generatorfunktion bereitgestellt werden kann, die Röntgenbilddatensätze mit hohem Rauschpegel auf Bilddatensätze mit niedrigerem Rauschpegel abbildet. Durch die Verwendung einer solchen trainierten Generatorfunktion können Röntgenbilddatensätze mit höherem Rauschpegel in Kauf genommen werden bzw. eine niedrigere Röntgendosis verwendet werden, da durch die Anwendung der trainierten Generatorfunktion das Rauschen reduziert werden kann. Dadurch können mögliche Nebenwirkungen der Röntgenstrahlung für den Patienten minimiert werden.
-
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren zum Bereitstellen einer trainierten Funktion weiterhin ein Empfangen eines Trainingseingabebilddatensatzes, wobei der Trainingseingabebilddatensatz einen Trainingsrauschpegel aufweist, wobei der Trainingsrauschpegel kleiner ist als der erste Rauschpegel. Hierbei wird der erste Trainingsbilddatensatz basierend auf einer Kombination des Trainingseingabebilddatensatzes und erstem synthetischem Rauschen bestimmt, und der zweite Trainingsbilddatensatz wird basierend auf dem Trainingseingabebilddatensatz und zweitem synthetischem Rauschen bestimmt. Das Empfangen des Trainingseingabebilddatensatzes erfolgt hierbei insbesondere mittels der Trainingsschnittstelle, insbesondere mittels der Trainingsschnittstelle des Trainingssystems.
-
Der Trainingseingabebilddatensatz kann insbesondere die gleiche oder eine höhere Dimensionalität als der erste bzw. der zweite Trainingsbilddatensatz aufweisen. Insbesondere kann der Trainingseingabebilddatensatz ein dreidimensionaler Bilddatensatz sein, und der erste bzw. der zweite Trainingsbilddatensatz können ein zweidimensionaler oder ein dreidimensionaler Bilddatensatz sein (falls in diesem Fall der erste bzw. der zweite Trainingsbilddatensatz zweidimensionale Bilddatensätze sind, können der erste bzw. der zweite Trainingsbilddatensatz auf einer Projektion bzw. auf einem Schnitt des dreidimensionalen Trainingseingabebilddatensatzes basieren). Alternativ kann der Trainingseingabebilddatensatz ein zweidimensionaler Bilddatensatz sein, und der erste bzw. der zweite Trainingsbilddatensatz können ein zweidimensionaler Bilddatensatz sein.
-
Die in Pixeln bzw. Voxeln gemessene Ausdehnung des Trainingseingabebilddatensatzes kann bezüglich der relevanten Dimensionen identisch mit der in Pixeln bzw. Voxeln gemessenen Ausdehnung des ersten bzw. des zweiten Trainingsbilddatensatzes sein. Vorteilhafterweise ist die in Pixeln bzw. Voxeln gemessene Ausdehnung des Trainingseingabebilddatensatzes bezüglich mindestens einer relevanten Dimension, insbesondere bezüglich aller relevanten Dimensionen größer als die in Pixeln bzw. Voxeln gemessene Ausdehnung des ersten bzw. des zweiten Trainingsbilddatensatzes. In diesem Fall können aus einem Trainingseingabebilddatensatz mehrere Paare aus erstem Trainingsbilddatensatz und zweitem Trainingsbilddatensatz erzeugt werden (ein Fachbegriff ist „batchweise Verarbeitung“). Beispiel können aus einem Trainingseingabebilddatensatz mit Ausdehnung 512x512 Pixeln mindestens vier Paare von Trainingsbilddatensätzen mit 256x256Pixeln gewonnen werden, es können aber auch noch mehr Paare gewonnen werden, wenn die Paare von Trainingsbilddatensätzen in Bereichen überlappen.
-
Das erste und/oder das zweite synthetische Rauschen können insbesondere die Charakteristika einer Röntgenvorrichtung berücksichtigen, für die die trainierte Generatorfunktion speziell optimiert werden soll. Beispiele für solche Charakteristika sind die Verstärkungsfaktoren (ein englischer Fachbegriff ist „gain“) und die Transferfunktionen (ein englischer Fachbegriff ist „transfer function“) der Szintillatoren, der Photodioden und der Analog-Digital-Wandler des Röntgendetektors.
-
Die Erfinder haben erkannt, dass durch die Kombination eines Trainingseingabebilddatensatzes und synthetischem Rauschen besonders effizient der erste und der zweite Trainingsbilddatensatz erzeugt werden können.
-
Nach einem weiteren möglichen Aspekt der Erfindung umfasst das Verfahren zum Bereitstellen einer trainierten Funktion weiterhin ein Anwenden einer varianzstabilisierenden Transformation auf den ersten Trainingsbilddatensatz, und ein Anwenden einer varianzstabilisierenden Transformation auf den zweiten Trainingsbilddatensatz. Das Anwenden der varianzstabilisierenden Transformation erfolgt insbesondere mittels einer Recheneinheit, insbesondere mittels der Recheneinheit des Trainingssystems. Das Anwenden der varianzstabilisierenden Transformation erfolgt insbesondere vor dem Bestimmen des Ergebnisbilddatensatzes und vor dem Anpassen des Parameters der trainierten Generatorfunktion.
-
Die Erfinder haben erkannt, dass die Verwendung einer varianzstabilisierenden Transformation einer Normalisierung der Eingabewerte der trainierten Generatorfunktion entspricht. Durch diese Normalisierung wird das Training der trainierten Generatorfunktion numerisch stabiler, kann also insbesondere effizienter und weniger fehleranfällig erfolgen.
-
Nach einem weiteren Aspekt der Erfindung basiert die Kombination des Trainingseingabebilddatensatzes und dem ersten und/oder dem zweiten synthetischen Rauschen auf einer Monte-Carlo-Simulation, einer Addition des Trainingseingabebilddatensatzes und des ersten/und oder des zweiten synthetischen Rauschens, und/oder der Anwendung einer trainierten Funktion. Insbesondere basiert die Kombination des Trainingseingabebilddatensatz und des ersten synthetischen Rauschens auf einer Monte-Carlo-Simulation, einer Addition des Trainingseingabebilddatensatzes und des ersten synthetischen Rauschens, und/oder einer Anwendung einer trainierten Funktion. Insbesondere basiert die Kombination des Trainingseingabebilddatensatz und des zweiten Rauschens auf einer Monte-Carlo-Simulation, einer Addition des Trainingseingabebilddatensatzes und des zweiten synthetischen Rauschens, und/oder einer Anwendung einer trainierten Funktion.
-
Bei einer Monte-Carlo-Simulation werden die Pfade einzelner Röntgenstrahlen bzw. Röntgenquanten simuliert, die entsprechend von als bekannt vorausgesetzter Wahrscheinlichkeitsverteilungen absorbiert bzw. reflektiert werden können. Hierbei kann insbesondere die Energie der Röntgenstrahlen bzw. der Röntgenquanten und die Abbildungsgeometrie berücksichtigt werden. Um einen ersten bzw. einen zweiten Trainingseingabebilddatensatz zu erzeugen, werden dann insbesondere eine Vielzahl von simulierten Röntgenstrahlen bzw. Röntgenquanten gemittelt. Der Trainingseingabebilddatensatz kann insbesondere dazu verwendet werde, um die Wahrscheinlichkeitsverteilungen für die Absorption bzw. die Reflexion im Trainingsuntersuchungsvolumen abzuleiten oder zu definieren.
-
Bei der Addition von synthetischem Rauschen kann insbesondere farbiges Rauschen verwendet werde. Die Farbe bzw. das Leistungsspektrum des Rauschens kann insbesondere auf der Modulationstransferfunktion (ein englischer Fachbegriff ist „modulation transfer function“) oder auf bekannten Abbildungsfehlern von Röntgenvorrichtungen basieren, insbesondere der Röntgenvorrichtung, für die die trainierte Generatorfunktion speziell angepasst wird.
-
Bei der Anwendung einer trainierten Funktion (bei der es sich nicht um die trainierte Generatorfunktion handelt) kann insbesondere auf die in den deutschen Patentanmeldungen
102019207238.0 und
102019208496.6 beschriebenen Verfahren zurückgegriffen werden.
-
Die Erfinder haben erkannt, dass durch die beschriebenen Methoden besonders realitätsnahes Rauschen erzeugt werden kann. Dadurch ist die trainierte Generatorfunktion bei Anwendung auf reale Bilddaten besonders wenig fehleranfällig.
-
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren zum Bereitstellen einer trainierten Generatorfunktion ein Bestimmen eines ersten Klassifikationswertes durch Anwenden einer trainierten Klassifikatorfunktion auf eine Differenz des Ergebnisbilddatensatzes und des ersten Trainingsbilddatensatzes oder des zweiten Trainingsbilddatensatzes. Weiterhin basiert hierbei das Anpassen des Parameters der trainierten Generatorfunktion weiterhin auf dem ersten Klassifikationswert. Der erste Klassifikationswert wird insbesondere durch Anwenden der trainierten Klassifikatorfunktion auf eine Differenz des Ergebnisbilddatensatzes und des ersten Trainingsbilddatensatzes bestimmt, oder durch Anwenden der trainierten Klassifikatorfunktion auf eine Differenz des Ergebnisbilddatensatzes und des zweiten Trainingsbilddatensatzes. Das Bestimmen des ersten Klassifikationswertes erfolgt insbesondere mittels der Trainingsrecheneinheit, insbesondere mittels der Trainingsrecheneinheit des Trainingssystems. Das Anpassen des Parameters der trainierten Generatorfunktion basiert insbesondere dadurch auf dem ersten Klassifikationswert, dass der Parameter zur Optimierung bzw. zur Minimierung einer adversialen Kostenfunktion umfassend den ersten Klassifikationswert angepasst wird.
-
Ein Klassifikationswert betrifft hierbei insbesondere einen Wahrscheinlichkeitswert für die Wahrscheinlichkeit, dass als Eingabewerte der Klassifikatorfunktion eine Differenz von unbearbeiteten bzw. direkt von einem Trainingseingabebilddatensatz abgeleiteten Trainingsbilddaten verwendet wurde. Bei Anwendung einer idealen trainierten Klassifikatorfunktion auf eine Differenz des Ergebnisbilddatensatzes und des ersten oder des zweiten Trainingsbilddatensatzes sollte dieser Wahrscheinlichkeitswert also genau oder nahezu 0 sein, bei Anwendung einer idealen trainierten Klassifikatorfunktion auf einen erwarteten Differenzbilddatensatz sollte dieser Wahrscheinlichkeitswert also genau oder nahezu 1 sein.
-
Die Erfinder haben erkannt, dass durch die Verwendung des ersten Klassifikationswertes der Parameter der trainierten Generatorfunktion im Sinne eines GA-Algorithmus so angepasst wird, bzw. die trainierte Generatorfunktion im Sinne eines GA-Algorithmus so trainiert wird, dass die trainierte Generatorfunktion möglichst realistische Ergebnisbilddatensätze erzeugt.
-
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren zum Bereitstellen einer trainierten Generatorfunktion weiterhin ein Bestimmen eines zweiten Klassifikationswertes durch Anwenden der trainierte Klassifikatorfunktion auf einen erwarteten Differenzbilddatensatzes, sowie ein Anpassen eines Parameters der trainierten Klassifikatorfunktion basierend auf dem zweiten Klassifikationswert. Das Bestimmen des zweiten Klassifikationswertes und das Anpassen des Parameters der trainierten Klassifikatorfunktion erfolgen insbesondere mittels der Trainingsrecheneinheit, insbesondere mittels der Trainingsrecheneinheit des Trainingssystems.
-
Die Erfinder haben erkannt, dass durch die Verwendung des zweiten Klassifikationswertes der Parameter der trainierten Klassifikatorfunktion im Sinne eines GA-Algorithmus so angepasst wird, bzw. die trainierte Klassifikatorfunktion im Sinne eines GA-Algorithmus so trainiert wird, dass die trainierte Klassifikatorfunktion möglichst gut zwischen erwarteten Differenzbilddatensätzen und Differenzen aus Ergebnisbilddatensätzen und Trainingsdatensätzen unterscheiden kann. Durch das gleichzeitige Anpassen der trainierten Generatorfunktion basierend auf Klassifikationswerten wird diese dann dazu ausgebildet, möglichst realistische Ergebnisbilddatensätze zu erzeugen.
-
Die Erfindung betrifft in einem dritten Aspekt ein Bereitstellungssystem zum Bereitstellen eines Ergebnisbilddatensatzes eines Untersuchungsvolumens, umfassend eine Schnittstelle und eine Recheneinheit,
- - wobei die Schnittstelle zum Empfangen eines Röntgenbilddatensatzes des Untersuchungsvolumens ausgebildet ist,
wobei der Röntgenbilddatensatz einen ersten Rauschpegel aufweist,
- - wobei die Schnittstelle weiterhin zum Empfangen einer trainierten Generatorfunktion ausgebildet ist,
wobei ein Parameter der trainierten Generatorfunktion auf einem ersten Trainingsbilddatensatz und einem zweiten Trainingsbilddatensatzes eines Trainingsuntersuchungsvolumens basiert,
wobei der erste Trainingsbilddatensatz und der zweite Trainingsbilddatensatz einen ersten Trainingsrauschpegel aufweisen,
- - wobei die Recheneinheit zum Bestimmen eines Ergebnisbilddatensatzes des Untersuchungsvolumens durch Anwenden der trainierten Generatorfunktion auf Eingabedaten umfassend den Röntgenbilddatensatz ausgebildet ist,
wobei der Ergebnisbilddatensatz einen zweiten Rauschpegel aufweist, wobei der zweite Rauschpegel kleiner als der erste Rauschpegel ist,
- - wobei die Schnittstelle weiterhin zum Bereitstellen des Ergebnisbilddatensatzes ausgebildet ist.
-
Ein solches Bereitstellungssystem kann insbesondere dazu ausgebildet sein, die zuvor beschriebenen erfindungsgemäßen Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes und ihre Aspekte auszuführen. Das Bereitstellungssystem ist dazu ausgebildet, diese Verfahren und ihre Aspekte auszuführen, indem die Schnittstelle und die Recheneinheit ausgebildet sind, die entsprechenden Verfahrensschritte auszuführen.
-
Die Erfindung betrifft in einem vierten Aspekt eine Röntgenvorrichtung, umfassend ein Bereitstellungssystem gemäß einem Aspekt der Erfindung. Die Röntgenvorrichtung umfasst insbesondere weiterhin eine Röntgenquelle und einen Röntgendetektor. Bei einer Röntgenvorrichtung kann es sich insbesondere um eine C-Bogen-Röntgenvorrichtung oder um einen Computertomographen handeln.
-
Die Erfindung betrifft in einem möglichen fünften Aspekt ein Trainingssystem zum Bereitstellen einer trainierten Generatorfunktion, umfassend eine Trainingsschnittstelle und eine Trainingsrecheneinheit,
- - wobei die Trainingsschnittstelle und/oder die Trainingsrecheneinheit zum Empfangen oder Bestimmen eines ersten Trainingsbilddatensatzes eines Trainingsvolumens und eines zweiten Trainingsbilddatensatzes des Trainingsvolumens ausgebildet sind,
wobei der ersten Trainingsbilddatensatz und der zweite Trainingsbilddatensatz einen ersten Rauschpegel aufweisen,
- - wobei die Trainingsrecheneinheit weiterhin zum Bestimmen eines Ergebnisbilddatensatzes durch Anwendung der trainierten Generatorfunktion auf den zweiten Trainingsbilddatensatz ausgebildet ist,
- - wobei die Trainingsrecheneinheit weiterhin zum Anpassen eines Parameters der trainierten Generatorfunktion basierend auf einem Vergleich des ersten Trainingsbilddatensatzes und des Ergebnisbilddatensatzes ausgebildet ist,
- - wobei die Trainingsschnittstelle weiterhin zum Bereitstellen der trainierten Generatorfunktion ausgebildet ist.
-
Ein solches Trainingssystem kann insbesondere dazu ausgebildet sein, die zuvor beschriebenen erfindungsgemäßen Verfahren zum Bereitstellen einer trainierten Generatorfunktion und ihre Aspekte auszuführen. Das Trainingssystem ist dazu ausgebildet, diese Verfahren und ihre Aspekte auszuführen, indem die Trainingsschnittstelle und die Trainingsrecheneinheit ausgebildet sind, die entsprechenden Verfahrensschritte auszuführen.
-
Die Erfindung betrifft in einem sechsten Aspekt ein Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Speicher eines Bereitstellungssystems ladbar ist, mit Programmabschnitten, um alle Schritte des Verfahrens zum Bereitstellen eines Ergebnisbilddatensatzes und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Bereitstellungssystem ausgeführt werden; und/oder welches direkt in einen Trainingsspeicher eines Trainingssystems ladbar ist, mit Programmabschnitten, um alle Schritte des Verfahrens zum Bereitstellen einer trainierten Generatorfunktion und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Trainingssystem ausgeführt werden.
-
Insbesondere betrifft die Erfindung ein Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Speicher eines Bereitstellungssystems ladbar ist, mit Programmabschnitten, um alle Schritte des Verfahrens zum Bereitstellen eines Ergebnisbilddatensatzes und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Bereitstellungssystem ausgeführt werden.
-
Insbesondere betrifft die Erfindung ein Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Trainingsspeicher eines Trainingssystems ladbar ist, mit Programmabschnitten, um alle Schritte des Verfahrens zum Bereitstellen einer trainierten Generatorfunktion und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Trainingssystem ausgeführt werden.
-
Die Erfindung betrifft in einem siebten Aspekt ein computerlesbares Speichermedium, auf welchem von einem Bereitstellungssystem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zum Bereitstellen eines Ergebnisbilddatensatzes und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Bereitstellungssystem ausgeführt werden; und/oder auf welchem von einem Trainingssystem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zum Bereitstellen einer trainierten Generatorfunktion und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Trainingssystem ausgeführt werden.
-
Insbesondere betrifft die Erfindung ein computerlesbares Speichermedium, auf welchem von einem Bereitstellungssystem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zum Bereitstellen eines Ergebnisbilddatensatzes und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Bereitstellungssystem ausgeführt werden.
-
Insbesondere betrifft die Erfindung ein computerlesbares Speichermedium, auf welchem von einem Trainingssystem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zum Bereitstellen einer trainierten Generatorfunktion und dessen Aspekte auszuführen, wenn die Programmabschnitte von dem Trainingssystem ausgeführt werden.
-
Die Erfindung betrifft in einem achten Aspekt ein Computerprogramm oder ein computerlesbares Speichermedium, umfassend eine trainierte Generatorfunktion, bereitgestellt durch ein Verfahren zum Bereitstellen einer trainierten Generatorfunktion.
-
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Bereitstellungssysteme und Trainingssysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile wie z. B. eine Dokumentation und/oder zusätzliche Komponenten, sowie Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Durch diese Beschreibung erfolgt keine Beschränkung der Erfindung auf diese Ausführungsbeispiele. In verschiedenen Figuren sind gleiche Komponenten mit identischen Bezugszeichen versehen. Die Figuren sind in der Regel nicht maßstäblich. Es zeigen:
- 1 ein erstes Datenflussdiagramm für ein Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes,
- 2 ein zweites Datenflussdiagramm für ein Verfahren zum Bereitstellen einer trainierten Generatorfunktion,
- 3 ein drittes Datenflussdiagramm für ein Verfahren zum
- Bereitstellen einer trainierten Generatorfunktion, 4 ein erstes Ausführungsbeispiel eines Verfahrens zum
- Bereitstellen einer trainierten Generatorfunktion, 5 ein zweites Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierten Generatorfunktion,
- 6 ein Ausführungsbeispiel eines Verfahrens zum Bereitstellen eines Ergebnisbilddatensatzes,
- 7 ein Bereitstellungssystem,
- 8 ein Trainingssystem,
- 9 eine Röntgenvorrichtung,
- 10 mehrere Beispiele von Röntgendatensätzen bei unterschiedlichen Rauschpegeln und zugehörige Ergebnisbilddatensätze.
-
1 zeigt ein erstes Datenflussdiagramm für ein Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes RD. In diesem Ausführungsbeispiel wird die trainierte Generatorfunktion GF auf den Röntgenbilddatensatz XD angewendet, das Ergebnis der Anwendung ist der Ergebnisbilddatensatz RD = GF(XD).
-
In diesem Ausführungsbeispiel handelt es sich sowohl beim Röntgenbilddatensatz XD als auch beim Ergebnisbilddatensatz RD um einen zweidimensionalen Bilddatensatz, insbesondere um einen räumlich zweidimensionalen Bilddatensatz. Alternativ kann es sich beim Röntgenbilddatensatz XD und beim Ergebnisbilddatensatz RD auch jeweils um einen dreidimensionalen Bilddatensatz handeln, ein dreidimensionaler Bilddatensatz kann hierbei insbesondere räumlich dreidimensional sein oder räumlich zweidimensional und zeitlich eindimensional sein. Alternativ kann es sich beim Röntgenbilddatensatz XD und beim Ergebnisbilddatensatz RD auch um einen vierdimensionalen Bilddatensatz, insbesondere um einen räumlich dreidimensionalen und zeitlich eindimensionalen Bilddatensatz handeln.
-
In diesem Ausführungsbeispiel weisen der Röntgenbilddatensatz XD und der Ergebnisbilddatensatz RD bezüglich jeder der Dimensionen eine identische in Pixeln bzw. Voxeln gemessene Ausdehnung auf, insbesondere besteht also eine eineindeutige Korrespondenz zwischen Pixeln bzw. Voxeln des Röntgenbilddatensatzes XD und des Pixeln bzw. Voxeln des Ergebnisbilddatensatzes RD. Alternativ kann die Ausdehnung des Ergebnisbilddatensatzes RD auch von der Ausdehnung des Röntgenbilddatensatzes XD abweichen, insbesondere ist es denkbar, dass die Ausdehnung des Röntgenbilddatensatzes XD bezüglich mindestens einer Dimension höher ist als die Ausdehnung des Ergebnisbilddatensatzes RD.
-
In einer alternativen Ausführungsform kann die trainierte Generatorfunktion GF zusätzlich auf einen Röntgenparameter XP angewendet werden. Beispielsweise umfasst der Röntgenparameter XP eine Modellnummer einer Röntgenvorrichtung XSYS. In diesem Fall wird also der Ergebnisbilddatensatz RD berechnet als RD = GF(XD, XP).
-
2 zeigt ein zweites Datenflussdiagramm für ein Verfahren zum Bereitstellen einer trainierten Generatorfunktion GF. Hierbei können die trainierte Generatorfunktion GF und der Ergebnisbilddatensatz RD alle bezüglich der 1 beschriebenen Aus- und Weiterbildungen aufweisen. Der erste Trainingsbilddatensatz TD-1 und der zweite Trainingsbilddatensatz TD-2 können insbesondere alle bezüglich der 1 beschriebenen Aus- und Weiterbildungen des Röntgenbilddatensatzes XD aufweisen.
-
In diesem Ausführungsbeispiel basieren der erste Trainingsbilddatensatz TD-1 und der zweite Trainingsbilddatensatz TD-2 auf einem Trainingseingabebilddatensatz TID, wobei der Trainingseingabebilddatensatz TID einen niedrigeren Rauschpegel aufweist als der erste Trainingsbilddatensatz TD-1 und der zweite Trainingsbilddatensatz TD-2. Der erste Trainingsbilddatensatz TD-1 wird insbesondere durch eine Kombination von erstem synthetischem Rauschen und dem Trainingseingabebilddatensatz TID erzeugt, und der zweite Trainingsbilddatensatz TD-2 wird insbesondere durch eine Kombination von zweitem synthetischem Rauschen und dem Trainingseingabebilddatensatz TID erzeugt.
-
Im dargestellten Ausführungsbeispiel wird die trainierte Generatorfunktion GF auf den zweiten Trainingsbilddatensatz TD-2 angewendet, und es wird ein Ergebnisbilddatensatz RD = GF(TD-2) erzeugt. Weiterhin wird ein Parameter der trainierten Generatorfunktion GF basierend auf dem Ergebnisbilddatensatz RD und dem ersten Trainingsbilddatensatz TD-1 angepasst, insbesondere basierend auf einem Vergleich des Ergebnisbilddatensatzes RD und dem ersten Trainingsbilddatensatz TD-1, insbesondere basierend auf der n-Norm |RD - TD-1 | n einer Differenz des Ergebnisbilddatensatzes und dem ersten Trainingsbilddatensatz TD-1.
-
3 zeigt ein drittes Datenflussdiagramm für ein Verfahren zum Bereitstellen einer trainierten Generatorfunktion GF. Das dritte Datenflussdiagramm umfasst hierbei das zweite Datenflussdiagramm als Teilmenge.
-
Im dargestellten dritten Datenflussdiagramm wird weiterhin eine trainierte Klassifikatorfunktion DF auf einen Differenzbilddatensatz angewendet, wobei der Differenzbilddatensatz eine Differenz des ersten Trainingsbilddatensatzes TD-1 und des Ergebnisbilddatensatzes RD betrifft. Hierdurch wird ein erster Klassifikationswert p1 = DF(RD - TD-1) = DF(GF(TD-2) - TD-1) bestimmt. Dieser erste Klassifikationswert p1 kann insbesondere verwendet werden, um einen Parameter der trainierten Generatorfunktion GF anzupassen, weiterhin kann der erste Klassifikationswert p1 verwendet werden, um einen Parameter der trainierten Klassifikatorfunktion DF anzupassen.
-
Im dargestellten Ausführungsbeispiel kann die trainierte Klassifikatorfunktion DF weiterhin auf einen erwarteten Differenzbilddatensatz ED angewendet werden, um einen zweiten Klassifikationswert p2 zu berechnen. Der erwartete Differenzbilddatensatz ED basiert hierbei auf dem Trainingseingabebilddatensatz TID, optional kann der erwartete Differenzbilddatensatz ED auch auf dem ersten Trainingsbilddatensatz TID-1 und/oder dem zweiten Trainingsbilddatensatz TID-2 basieren. Der zweite Klassifikationswert p2 kann dazu verwendet werden, den einen Parameter der trainierten Klassifikatorfunktion DF anzupassen.
-
Wie bereits bezüglich der 1 beschrieben kann auch in diesem Ausführungsbeispiel die trainierte Generatorfunktion GF und/oder die trainierte Klassifikatorfunktion DF zusätzlich auf einen Röntgenparameter XP angewendet werden.
-
Beispielsweise umfasst der Röntgenparameter XP eine Modellnummer einer Röntgenvorrichtung XSYS.
-
4 zeigt ein erster Ausführungsbeispiels eines Verfahrens zum Bereitstellen einer trainierten Generatorfunktion GF. Das erste Ausführungsbeispiel implementiert das in der 2 dargestellte zweite Datenflussdiagramm.
-
Ein erster, optionaler Schritt des ersten Ausführungsbeispiels ist ein Empfangen T-REC-TID eines Trainingseingabebilddatensatzes TID eines Trainingsuntersuchungsvolumens TVOL mittels einer Trainingsschnittstelle TIF. Hierbei weist der Trainingseingabebilddatensatz TID einen Trainingsrauschpegel auf. In diesem Ausführungsbeispiel entspricht der Trainingsrauschpegel dem inversen Signal-Rausch-Verhältnis des Trainingseingabebilddatensatz TID.
-
Der zweite Schritt des dargestellten Ausführungsbeispiels ist ein Empfangen oder Bestimmen eines ersten Trainingsbilddatensatzes TD-1 des Trainingsuntersuchungsvolumens TVOL und eines zweiten Trainingsbilddatensatzes TD-2 des Trainingsuntersuchungsvolumens TVOL mittels der Trainingsschnittstelle TIF oder eine Trainingsrecheneinheit TCU. Hierbei weisen der erste Trainingsbilddatensatz TD-1 und der zweite Trainingsbilddatensatz TD-2 einen ersten Rauschpegel auf. Der erste Rauschpegel entspricht in diesem Ausführungsbeispiel dem inversen Signal-Rausch-Verhältnis des ersten Trainingsbilddatensatzes TD-1 und des zweiten Trainingsbilddatensatzes TD-2.
-
Im dargestellten Ausführungsbeispiel sind sowohl der erste Trainingsbilddatensatz TD-1 als auch der zweite Trainingsbilddatensatz TD-2 zweidimensionale Bilddatensätze. Es ist alternativ auch möglich, einen ersten Trainingsbilddatensatz TD-1 und/oder einen zweiten Trainingsbilddatensatz TD-2 mit einer abweichenden Dimensionalität zu verwenden. Weiterhin ist in diesem Ausführungsbeispiel die in Pixeln bzw. Voxeln gemessene Ausdehnung des ersten Trainingsbilddatensatzes TD-1 und des zweiten Trainingsbilddatensatzes TD-2 bezüglich jeder Dimension identisch. Es ist alternativ auch möglich, einen ersten Trainingsbilddatensatz TD-1 und einen zweiten Trainingsbilddatensatz TD-2 mit abweichender Ausdehnung zu verwenden.
-
Wir der optionale Schritt des Empfangens T-REC-TID des Trainingseingabebilddatensatzes TID wie in diesem Ausführungsbeispiel ausgeführt, dann wird insbesondere der erste Trainingsbilddatensatz TD-1 basierend auf einer Kombination des Trainingseingabebilddatensatzes TID und erstem synthetischem Rauschen mittels der Trainingsrecheneinheit TCU bestimmt, und der zweite Trainingsbilddatensatz TD-2 wird basierend auf dem Trainingseingabebilddatensatz TID und zweitem synthetischem Rauschen mittels der Trainingsrecheneinheit TCU bestimmt. Der Trainingsrauschpegel ist hierbei kleiner als der erste Rauschpegel. Wird der optionale Schritt des Empfangens T-REC-TID des Trainingseingabebilddatensatzes TID nicht ausgeführt, können der erste Trainingsbilddatensatz TID-1 und der zweite Trainingsbilddatensatz TID-2 insbesondere mittels der Trainingsschnittstelle TIF empfangen werden.
-
In diesem Ausführungsbeispiel ist das erste bzw. das zweite synthetische Rauschen Gaußsches Rauschen. Insbesondere ist das Rauschen in jedem Pixel bzw. Voxel unabhängig sowohl vom Intensitätswert des korrespondierenden Pixels im Trainingseingabebilddatensatz TID, also auch vom Wert des Rauschens in den anderen Pixeln. Es gilt also (TD-1)i = (TID)i + G(0, σ) bzw. (TD-2)i = (TID)i + G(0, σ), wobei (X)i das i-te Pixel eines Bilddatensatzes bezeichnet, und G (u, σ) eine Gaußverteilte Zufallszahl mit Mittelwert µ und Standardabweichung σ. Äquivalent kann diese Gleichung formuliert werden als (TD-1)i = G((TID)i, σ) bzw. (TD-2)i = G ((TID)i, σ). Insbesondere könnte der Rauschpegel in diesem Fall auch mit der Standardabweichung σ identifiziert werden.
-
Alternativ kann auch Possionrauschen verwendet werden. Possionrauschen ist insbesondere dann relevant, wenn ein Signal von einer endlichen (insbesondere kleinen Anzahl) von Teilchen hervorgerufen wird (beispielsweise durch Röntgenphotonen in einem Röntgendetektor XSYS.DTC), und diese Anzahl klein genug ist, dass die Abweichungen der Poissonverteilung von der Normalverteilung relevant werden. In diesem Fall ist das Rauschen in jedem Pixel abhängig von dem Intensitätswert des Pixels, es gilt also (TD-1)i = P((TID)i) bzw. (TD-2)i = P((TID)i), wobei P (u) eine Poissonverteilte Zufallszahl mit Mittelwert µ und Varianz σ2 = µ ist.
-
Alternativ kann auch zufallsverteiltes Impulsrauschen (ein englischer Fachbegriff ist „random-valued impulse noise“) verwendet werden. Hierbei wird eine vorgegebene Anzahl von Pixel bzw. Voxel des Trainingseingabebilddatensatzes TID auf einen minimalen Intensitätswert oder auf einen maximalen Intensitätswert gesetzt werden, wobei die Pixel bzw. Voxel zufällig ausgewählt werden.
-
Alternativ kann auch eines der in der Veröffentlichung S. G. Hariharan et al., „An analytical approach for the simulation of realistic low-dose fluoroscopic images" Int. Journal of Computer Assisted Radiology and Surgery (2019), pp. 601-610 beschriebenen Verfahren zur Erzeugung von synthetischem Rauschen verwendet werden. Alternativ kann auch eine Monte-Carlo-Simulation zur Erzeugung von synthetischem Rauschen verwendet werden.
-
Der dritte Schritt des dargestellten ersten Ausführungsbeispiels ist ein Bestimmen T-DET-RD eines Ergebnisbilddatensatzes RD durch Anwendung der trainierten Generatorfunktion GF auf den zweiten Trainingsbilddatensatz TD-2 mittels der Trainingsrecheneinheit TCU.
-
In diesem Ausführungsbeispiel ist auch der Ergebnisbilddatensatz RD ein zweidimensionaler Bilddatensatz, insbesondere weist der Ergebnisbilddatensatz bezüglich jeder Dimension die gleiche in Pixeln bzw. Voxeln gemessene Ausdehnung auf wie der zweite Trainingsbilddatensatz TD-2.
-
In diesem Ausführungsbeispiel ist die trainierte Generatorfunktion GF ein künstliches neuronales Netzwerk, insbesondere ein faltendes künstliches neuronales Netzwerk (ein englischer Fachbegriff ist „convolutional neural network“). Die Anwendung der trainierten Generatorfunktion GF auf den zweiten Trainingsbilddatensatz TD-2 erfolgt, indem die Intensitätswerte der Pixel bzw. Voxel des zweiten Trainingsbilddatensatzes TD-2 als Eingabewerte für die erste Knotenschicht der trainierten Generatorfunktion GF verwendet wird. Die Intensitätswerte des Ergebnisbilddatensatzes RD entsprechen dann den resultierenden Werten der letzten Knotenschicht der trainierten Generatorfunktion GF. Der Ergebnisbilddatensatz ergibt sich also insbesondere als RD = GF(TD-2). Optional kann als weiterer Eingabewert ein Röntgenparameter XP verwendet werden. Bei der trainierten Generatorfunktion kann insbesondere eine U-Netz-Architektur vorliegen, die beispielsweise aus der Veröffentlichung O. Ronneberger et al., „U-Net: Convolutional Networks for Biomedical Image Segmentation‟ MICCAI, Springer LNCS 9351: 234-241, 2015 bekannt ist.
-
Ein weiterer Schritt des dargestellten Ausführungsbeispiels ist ein Anpassen T-ADJ-1 eines Parameters der trainierten Generatorfunktion GF basierend auf einem Vergleich des ersten Trainingsbilddatensatzes TD-1 und des Ergebnisbilddatensatzes RD mittels der Trainingsrecheneinheit TCU.
-
In diesem Ausführungsbeispiel basiert das Anpassen T-ADJ-1 des Parameters auf der Minimierung einer Kostenfunktion basierend auf dem Rückpropagationsalgorithmus (ein englischer Fachbegriff ist „backpropagation algorithm“). Die Kostenfunktion umfasst insbesondere eine Differenz des ersten Trainingsbilddatensatzes TD-1 und des Ergebnisbilddatensatzes RD, insbesondere eine Norm der Differenz des ersten Trainingsbilddatensatzes TD-1 und des Ergebnisbilddatensatzes RD, insbesondere eine pixelweise bzw. voxelweise Norm der Differenz des ersten Trainingsbilddatensatzes TD-1 und des Ergebnisbilddatensatzes RD:
-
Durch die Verwendung dieser Kostenfunktion wird erreicht, dass der Parameter der trainierten Generatorfunktion GF derart angepasst wird, dass der Rauschpegel der Ausgabedaten der trainierten Generatorfunktion GF geringer ist als der Rauschpegel der korrespondierenden Eingabedaten der trainierten Generatorfunktion GF.
-
Dies kann man leicht anhand der folgenden Überlegungen feststellen. Der erste Bilddatensatz TD-1 umfasst im Pixel i eine Signalkomponente µi und eine Rauschkomponente ri (1), es gilt also (TD-1)i = µi + ri (1), und der zweite Bilddatensatz TD-2 umfasst im Pixel i eine Signalkomponente µi und eine Rauschkomponente ri (2), es gilt also (TD-2)i = µi + ri (2). Hierbei stimmen die Signalkomponenten überein (da der erste Trainingsbilddatensatz TD-1 und der zweite Trainingsbilddatensatz TD-2 aus dem Trainingseingabebilddatensatz TID abgeleitet wurden bzw. das gleiche Trainingsuntersuchungsvolumen TVOL betreffen). Bei der Anwendung der trainierten Generatorfunktion GF auf den zweiten Bilddatensatz TD-2 kann die trainierte Generatorfunktion GF die Rauschkomponente ri (1) nicht rekonstruieren, da hierüber in den Eingabedaten keine Informationen vorliegen. Der kleinste Beitrag des i-ten Pixels zur Kostenfunktion ist also gegeben, wenn GF(TD-2)i = µi, in diesem Fall ist der Beitrag zur Kostenfunktion (ri (1))2. Ähnliche Überlegungen sind in der Veröffentlichung J. Lehtinen et al, „Noise2Noise: Learning Image Restoration without Clean Data", PLMR 80:2965-2974, 2018 zu finden.
-
Der letzte Schritt des dargestellten Ausführungsbeispiels ist ein Bereitstellen T-PROV-GF der trainierten Generatorfunktion GF mittels der Trainingsschnittstelle TIF. Das Bereitstellen T-PROV-GF kann insbesondere ein Speichern, Anzeigen und/oder Übertragen der trainierten Generatorfunktion GF umfassen. Insbesondere kann die trainierte Generatorfunktion an ein Bereitstellungssystem übertragen werden oder in einem Verfahren zum Bereitstellen eines Ergebnisbilddatensatzes gemäß der Erfindung und ihrer Aspekte verwendet werden.
-
5 zeigt ein zweites Ausführungsbeispiels eines Verfahrens zum Bereitstellen einer trainierten Generatorfunktion GF. Das zweite Ausführungsbeispiel implementiert das in der 3 dargestellte dritte Datenflussdiagramm.
-
Das zweite Ausführungsbeispiel umfasst mehrere Schritte des in der 4 dargestellten ersten Ausführungsbeispiels. Diese Schritte können alle bezüglich des ersten Ausführungsbeispiels beschriebenen Aus- und Weiterbildungen aufweisen.
-
Das zweite Ausführungsbeispiel umfasst weiterhin ein Bestimmen T-DET-P1 eines ersten Klassifikationswertes p1 durch Anwenden einer trainierten Klassifikatorfunktion DF auf eine Differenz des Ergebnisbilddatensatzes RD und des ersten Trainingsbilddatensatzes TD-1, es gilt also p1 = DF(RD - TD-1). Alternativ kann der erste Klassifikationswert p1 durch Anwenden der trainierten Klassifikatorfunktion DF auf eine Differenz des Ergebnisbilddatensatzes RD und des zweiten Trainingsbilddatensatzes TD-2 angewendet werden, hier gilt dann p1 = DF(RD - TD-2).
-
Der erste Klassifikationswert p1 ist ein Wahrscheinlichkeitswert zwischen 0 und 1, der eine Wahrscheinlichkeit angibt, dass als Eingabewerte der trainierten Klassifikatorfunktion DF eine Differenz von unbearbeiteten bzw. direkt von einem Trainingseingabebilddatensatz TID abgeleiteten Trainingsbilddaten verwendet wurde.
-
In diesem Ausführungsbeispiel basiert das Anpassen T-ADJ-1 des Parameters der trainierten Generatorfunktion GF weiterhin auf dem ersten Klassifikationswert p
1. Insbesondere wird der Parameter zur Optimierung einer Kostenfunktion basierend auf dem ersten Klassifikationswert p
1 angepasst. Beispielsweise kann die Kostenfunktion eine adversiale Komponente K
(A) GF = - BCE(DF(RD - TD-1), 1) = - log(p
1) umfassen, wobei BCE die binäre Kreuzentropie (ein englischer Fachbegriff ist „binary cross-entropy“) bezeichnet mit BCE(z, z') = z'log(z) + (1-z')log(1-z). Insgesamt ist die Kostenfunktion der trainierten Generatorfunktion dann gegeben durch
-
Das Ausführungsbeispiel umfasst weiterhin ein Bestimmen T-DET-P2 eines zweiten Klassifikationswertes p2 durch Anwenden der trainierte Klassifikatorfunktion DF auf einen erwarteten Differenzbilddatensatzes mittels der Trainingsrecheneinheit TCU. In diesem Ausführungsbeispiel entspricht der erwartete Differenzbilddatensatz dem erwarteten Rauschen eines Trainingsbilddatensatzes TD-1, TD-2, und es gilt für den zweiten Klassifikationswert p2 = DF(TID - TD-1) oder p2 = DF(TID - TD-2). Weiterhin umfasst dieses Ausführungsbeispiel ein Anpassen T-ADJ-2 eines Parameters der trainierten Klassifikatorfunktion DF basierend auf dem zweiten Klassifikationswert p2. Insbesondere wird der Parameter zur Optimierung einer Kostenfunktion basierend auf dem zweiten Klassifikationswert p2 angepasst, insbesondere weiterhin basierend auf dem ersten Klassifikationswert p1 angepasst. In diesem Ausführungsbeispiel wird als Kostenfunktion der trainierten Klassifikatorfunktion DF eine adversiale Kostenfunktion verwendet, beispieslweise K = - BCE(DF(TID - TD-1), 1) - BCE(DF(RD - TD-1), 0) = - BCE(p2, 1) - BCE (p1, 0) = - log (p2) - log (1 - p1). Die Kostenfunktion der trainierten Klassifikatorfunktion DF kann natürlich auch noch weitere Komponenten umfassen, insbesondere ein Kullback-Leibler-Divergenz (kurz KL-Divergenz) und/oder eine Wasserstein-Kostenfunktion (basierend auf einer Wasserstein-Metrik).
-
Wo noch nicht explizit geschehen, jedoch sinnvoll und im Sinne der Erfindung, können einzelne Ausführungsbeispiele, einzelne ihrer Teilaspekte oder Merkmale mit einander kombiniert bzw. ausgetauscht werden, ohne den Rahmen der hiesigen Erfindung zu verlassen. Mit Bezug zu einem Ausführungsbeispiel beschriebene Vorteile der Erfindung treffen ohne explizite Nennung, wo übertragbar, auch auf andere Ausführungsbeispiele zu.
-
6 zeigt ein Ausführungsbeispiel eines Verfahrens zum Bereitstellen eines Ergebnisbilddatensatzes RD. Das Ausführungsbeispiel implementiert das in 1 dargestellte erste Datenflussdiagramm. Weiterhin kann in diesem Ausführungsbeispiel eine trainierte Generatorfunktion GF verwendet werden, die durch eines der in den 4 und 5 dargestellten Ausführungsbeispielen bereitgestellt wurde.
-
Ein Schritt des dargestellten Ausführungsbeispiels ist ein Empfangen REC-XD eines Röntgenbilddatensatzes XD des Untersuchungsvolumens VOL mittels einer Schnittstelle IF, insbesondere der Schnittstelle IF eines Bereitstellungssystems PRVS. Hierbei weist der Röntgenbilddatensatz XD einen ersten Rauschpegel auf. Der Rauschpegel ist in diesem Ausführungsbeispiel insbesondere das inverse Signal-Rausch-Verhältnis.
-
In diesem Ausführungsbeispiel ist der Röntgenbilddatensatz XD ein zweidimensionaler Bilddatensatz mit der Ausdehnung 512x512 Pixeln. Der Röntgenbilddatensatz XD kann aber auch eine andere Dimensionalität aufweisen.
-
Ein weiterer Schritt des dargestellten Ausführungsbeispiels ist ein Empfangen REC-GF einer trainierten Generatorfunktion GF mittels der Schnittstelle IF, insbesondere mittels der Schnittstelle IF des Bereitstellungssystems PRVS. Hierbei basiert ein Parameter der trainierten Generatorfunktion auf einem ersten Trainingsbilddatensatz TD-1 und einem zweiten Trainingsbilddatensatzes TD-2 eines Trainingsuntersuchungsvolumens TVOL. Das Trainingsvolumen TVOL unterscheidet sich insbesondere vom Untersuchungsvolumen VOL. Weiterhin weisen der erste Trainingsbilddatensatz TD-1 und der zweite Trainingsbilddatensatz TD-2 einen ersten Trainingsrauschpegel auf. Dieser erste Trainingsrauschpegel kann mit dem ersten Rauschpegel übereinstimmen, oder der erste Trainingsrauschpegel kann vom ersten Rauschpegel abweichen.
-
Ein weiterer optionaler Schritt des dargestellten Ausführungsbeispiels ist ein Empfangen REC-XP eines Röntgenparameters XP mittels der Schnittstelle IF, insbesondere mittels der Schnittstelle IF des Bereitstellungssystems PRVS. Hierbei beschreibt der Röntgenparameter XP eine Röntgenquelle XSYS.SRC, einen Röntgendetektor XSYS.DTC und/oder eine Röntgenvorrichtung XSYS.
-
In diesem Ausführungsbeispiel umfasst der Röntgenparameter XP eine Modellnummer der bei der Aufnahme des Röntgenbilddatensatzes XD verwendeten Röntgenvorrichtung XSYS. Alternativ kann der Röntgenparameter auch eine Modellnummer der bei der Aufnahme des Röntgenbilddatensatzes XD verwendeten Röntgenquelle XSYS.SRC und des bei der Aufnahme des Röntgenbilddatensatzes verwendeten Röntgendetektors XSYS.DTC umfassen.
-
Ein weiterer Schritt des dargestellten Ausführungsbeispiels ist ein Bestimmen DET-RD eines Ergebnisbilddatensatzes RD des Untersuchungsvolumens VOL durch Anwenden der trainierten Generatorfunktion GF auf Eingabedaten umfassend den Röntgenbilddatensatz XD mittels einer Recheneinheit CU, insbesondere mittels der Recheneinheit CU des Bereitstellungssystems PRVS. Hierbei weist der Ergebnisbilddatensatz RD einen zweiten Rauschpegel auf, wobei der zweite Rauschpegel kleiner als der erste Rauschpegel ist. Wenn der optionale Schritt des Empfangs REC-XP des Röntgenparameters XP ausgeführt wird, können die Eingabedaten insbesondere den Röntgenparameter XP umfassen.
-
Alternativ zur Verwendung des Röntgenparameter XP als zusätzliche Eingabedaten für die Anwendung der trainierten Generatorfunktion GF wäre es auch jederzeit möglich, für jede der verwendeten Typen von Röntgenvorrichtungen XSYS, Röntgenquellen XSYS.SRC und/oder Röntgendetektoren XSYS.DTC, oder sogar für jede der verwendeten Röntgenvorrichtungen XSYS, Röntgenquellen XSYS.SRC und/oder Röntgendetektoren XSYS.DTC eine separate trainierte Funktion zu verwenden bzw. zu trainieren.
-
Der Ergebnisbilddatensatz RD weist insbesondere die gleiche Dimensionalität wie der Röntgenbilddatensatz XD auf, in diesem Ausführungsbeispiel ist der Ergebnisbilddatensatz also ebenfalls ein zweidimensionaler Bilddatensatz. Weiterhin weist der Ergebnisbilddatensatz RD insbesondere bezüglich jeder Dimension die gleiche in Pixeln und/oder Voxel gemessene Ausdehnung wie der Röntgenbilddatensatz XD auf, in diesem Ausführungsbeispiel hat der Ergebnisbilddatensatz XD also eine Ausdehnung von 512x512 Pixeln.
-
Der letzte Schritt des dargestellten Ausführungsbeispiels ist das Bereitstellen PROV-RD des Ergebnisbilddatensatzes RD, insbesondere mittels der Schnittstelle IF, insbesondere mittels der Schnittstelle IF der Bereitstellungssystems PRVS. In diesem Ausführungsbeispiel wird der Ergebnisbilddatensatz RD einem Operator dargestellt.
-
7 zeigt ein Bereitstellungssystem PRVS, 8 zeigt ein Trainingssystem TSYS. Das dargestellte Bereitstellungssystem PRVS ist ausgebildet, ein erfindungsgemäßes Verfahren zum Bereitstellen eines Ergebnisbilddatensatz RD auszuführen. Das dargestellte Trainingssystem TSYS ist dazu ausgebildet, ein erfindungsgemäßes Verfahren zum Bereitstellen einer trainierten Generatorfunktion GF auszuführen. Das Bereitstellungssystem PRVS umfasst eine Schnittstelle IF, eine Recheneinheit CU und eine Speichereinheit MU, das Trainingssystem TSYS umfasst eine Trainingsschnittstelle TIF, eine Trainingsrecheneinheit TCU und eine Trainingsspeichereinheit TMU.
-
Bei dem Bereitstellungssystem PRVS und/oder bei dem Trainingssystem TSYS kann es sich insbesondere um einen Computer, einen Mikrocontroller oder um einen integrierten Schaltkreis handeln. Alternativ kann es sich bei dem Bereitstellungssystem PRVS und/oder bei dem Trainingssystem TSYS um einen realen oder virtuellen Verbund von Computern handeln (ein englischer Fachbegriff für einen realen Verbund ist „Cluster“, ein englischer Fachbegriff für einen virtuellen Verbund ist „Cloud“). Das Bereitstellungssystem PRVS und/oder das Trainingssystem TSYS kann auch als virtuelles System ausgebildet sein, das auf einem realen Computer oder einem realen oder virtuellen Verbund von Computern ausgeführt wird (ein englischer Fachbegriff ist „Virtualization“).
-
Bei einer Schnittstelle IF und/oder einer Trainingsschnittstelle TIF kann es sich um eine Hardware- oder Softwareschnittstelle handeln (beispielsweise PCI-Bus, USB oder Firewire). Eine Recheneinheit CU und/oder eine Trainingsrecheneinheit TCU kann Hardware-Elemente oder Software-Elemente aufweisen, beispielsweise einen Mikroprozessor oder ein sogenanntes FPGA (englisches Akronym für „Field Programmable Gate Array“). Eine Speichereinheit MU und/oder eine Trainingsspeichereinheit TMU kann als nicht dauerhafte Arbeitsspeicher (Random Access Memory, kurz RAM) oder als dauerhafter Massenspeicher (Festplatte, USB-Stick, SD-Karte, Solid State Disk) realisiert sein.
-
Die Schnittstelle IF und/oder die Trainingsschnittstelle TIF können insbesondere mehrere Unterschnittstellen umfassen, die unterschiedliche Schritte der jeweiligen Verfahren ausführen. Mit anderen Worten kann die Schnittstelle IF und/oder die Trainingsschnittstelle TIF auch als Vielzahl von Schnittstelen IF bzw. Vielzahl von Trainingsschnittstellen TIF aufgefasst werden. Die Recheneinheit CU und/oder die Trainingsrecheneinheit TCU können insbesondere mehrere Unterrecheneinheiten umfassen, die unterschiedliche Schritte der jeweiligen Verfahren ausführen. Mit anderen Worten kann die Recheneinheit CU und/oder die Trainingsrecheneinheit TCU auch als Vielzahl von Recheneinheiten CU bzw. Vielzahl von Trainingsrecheneinheiten TCU aufgefasst werden.
-
9 zeigt eine Röntgenvorrichtung XSYS verbunden mit einem Bereitstellungssystem PRVS. Im gezeigten Ausführungsbeispiel handelt es sich bei der Röntgenvorrichtung XSYS um ein C-Bogen-Röntgengerät XSYS. Das C-Bogen-Röntgengerät XSYS umfasst eine Röntgenquelle XSYS.SRC zum Aussenden von Röntgenstrahlen. Weiterhin umfasst das C-Bogen-Röntgengerät XSYS einen Röntgendetektor XSYS.DTC zum Empfangen von Röntgenstrahlen. Die Röntgenquelle XSYS.SRC sowie der Röntgendetektor XSYS.DTC sind an den zwei unterschiedlichen Enden des C-Bogens XSYS.ARM befestigt. Der C-Bogen XSYS.ARM des C-Bogen-Röntgengeräts XSYS ist an einem Stativ XSYS.STC befestigt. Das Stativ XSYS.STC umfasst Antriebselemente, die dazu ausgelegt sind, die Position des C-Bogens XSYS.ARM zu verändern. Insbesondere kann der C-Bogen XSYS.ARM um zwei verschiedene Achsen gedreht werden. Das C-Bogen-Röntgengerät umfasst weiterhin eine Steuer- und Auswerteeinheit XSYS.CTRL sowie eine Patientenlagerungsvorrichtung XSYS.PAT, auf der ein Patient PAT gelagert werden kann. Mittels der Steuer- und Auswerteeinheit XSYS.CTRL kann die Position des C-Bogens XSYS.ARM eingestellt werden, der C-Bogen XSYS.ARM um das Untersuchungsvolumen VOL rotiert werden und Röntgenbilddatensätze des Untersuchungsvolumens VOL aufgenommen werden. Es ist alternativ zum dargestellten Ausführungsbeispiel auch möglich, dass das Bereitstellungssystem PRVS als Teil der Steuer- und Auswerteeinheit XSYS.CTRL ausgeführt ist.
-
10 zeigt mehrere Beispiel für Röntgenbilddatensätze XD (aufgenommen mit unterschiedlichen Röntgendosen, und damit aufweisend unterschiedlich starke Rauschpegel) und zugehörige Ergebnisbilddatensätze RD, die mit dem erfindungsgemäßen Verfahren durch Anwendung der trainierten Generatorfunktion GF auf die Röntgenbilddatensätze XD gewonnen wurden.
-
Bei den Röntgendatensätzen XD handelt es sich um zweidimensionale Röntgenprojektionen eines anthropomorphischen Thoraxphantoms unter Verwendung von verschiedenen Röntgendosen (12 nGy, 23 nGy, 80 nGy), sowie ein rauschfreies Referenzbild (∞ nGy), wobei das rauschfreie Referenzbild durch Mittelung einer Vielzahl von Röntgenprojektionen ermittelt wurde.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019207238 [0060]
- DE 102019208496 [0060]
-
Zitierte Nicht-Patentliteratur
-
- S. G. Hariharan et al., „An analytical approach for the simulation of realistic low-dose fluoroscopic images“ Int. Journal of Computer Assisted Radiology and Surgery (2019), pp. 601-610 [0101]
- O. Ronneberger et al., „U-Net: Convolutional Networks for Biomedical Image Segmentation‟ MICCAI, Springer LNCS 9351: 234-241, 2015 [0104]
- J. Lehtinen et al, „Noise2Noise: Learning Image Restoration without Clean Data“, PLMR 80:2965-2974, 2018 [0108]