DE102020212113A1

DE102020212113A1 - Generieren modifizierter medizinischer Bilder und Erkennen abnormaler Strukturen

Info

Publication number: DE102020212113A1
Application number: DE102020212113.3A
Authority: DE
Inventors: Arnaud Arindra ADIYOSO; Dorin Comaniciu; Sasa Grbic; Sebastian GUENDEL
Original assignee: Friedrich Alexander Univeritaet Erlangen Nuernberg FAU; Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2020-03-12
Filing date: 2020-09-25
Publication date: 2021-09-16
Also published as: US20210287799A1

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Erzeugung modifizierter medizinischer Bilder. Das Verfahren umfasst den Empfang eines ersten medizinischen Bildes, wobei das erste medizinische Bild eine abnormale Struktur innerhalb eines Patienten zeigt, und die Anwendung einer trainierten Inpaint-Funktion auf das erste medizinische Bild, wodurch ein modifiziertes erstes medizinisches Bild erzeugt wird, wobei die trainierte Inpaint-Funktion trainiert wird, um abnormale Strukturen innerhalb eines medizinischen Bildes zu rekonstruieren. Das Verfahren umfasst weiterhin die Bestimmung eines Anomalie-Patches basierend auf dem ersten medizinischen Bild und dem modifizierten ersten medizinischen Bild. Das Verfahren umfasst weiterhin den Empfang eines zweiten medizinischen Bildes, wobei das zweite medizinische Bild vom gleichen Typ wie das erste medizinische Bild ist. Insbesondere unterscheidet sich das zweite medizinische Bild vom ersten medizinischen Bild. Das Verfahren weiterhin das Einfügen des Anomalie-Patches in das zweite medizinische Bild, wodurch ein modifiziertes zweites medizinisches Bild erzeugt wird.Die Erfindung betrifft weiterhin ein Verfahren zur Erkennung abnormaler Strukturen mit einer trainierten Erkennungsfunktion, die basierend auf modifizierten zweiten medizinischen Bildern trainiert wird.Die Erfindung betrifft weiterhin Systeme, Computerprogramme und computerlesbare Medien im Zusammenhang mit diesen Verfahren.

Description

Lungenkrebs ist eine der häufigsten Krebsarten weltweit. In Kombination mit der hohen Sterblichkeitsrate ist die Effizienz der Lungenkrebsdiagnose und -behandlung von größter Bedeutung. Im Jahr 2019 werden in den USA über 228.000 neue Fälle und über 140.000 geschätzte Todesfälle prognostiziert. Die Überlebenschance ist höher, wenn Lungenkrebs in frühen Krebsstadien diagnostiziert wird. Die Gesamtüberlebensrate von 5 Jahren beträgt etwa 70 % bei Patienten mit Stadium IA/B und 50 % bei Patienten mit nicht kleinem Lungenkrebs im Stadium IIA/B.
In den letzten Jahren wurden automatisierte Systeme entwickelt, um die Radiologen bei der Diagnose abnormaler Strukturen (z.B. Lungenknoten) auf Röntgenbildern der Brust zu unterstützen. Jüngste Studien zeigen, dass eine enorme Menge an Training von Knoten umfassenden Röntgenbildern erforderlich ist, um mit der Knoten-Erkennungsleistung von Radiologen zu konkurrieren. Modernste Augmentationsverfahren (z.B. bekannt aus den Dokumenten Q.Guan et al., „Diagnose like a radiologist: Attention guided convolutional neural network for thorax disease classification“, arXiv 1801.09927 oder P. Rajpurkarcan et al., „Chexnet: Radiologist-level pneumonia detection on chest x-rays with deep learning“, arXiv 1711.05225) können verwendet werden, um die Menge an Trainingsdaten zu erhöhen. Die meisten Augmentationsverfahren verbessern jedoch kaum die Modellleistungen, da die meisten Techniken auf das gesamte Bild angewendet werden.
Es ist eine Aufgabe der vorliegenden Erfindung, Verfahren und Systeme zur Erweiterung medizinischer Bildgebungstrainingsdaten bereitzustellen und zu nutzen, um die Leistung der resultierenden Rückschlussmodelle zu verbessern. Das Problem wird durch computerimplementierte Verfahren, durch Systeme, durch ein Computerprogrammprodukt und durch ein computerlesbares Speichermedium nach den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen und Zusatzmerkmale sind in den abhängigen Ansprüchen sowie in der folgenden Spezifikation dargestellt.
Im Folgenden werden erfindungsgemäße Lösungen in Bezug auf die beanspruchten Systeme sowie in Bezug auf die beanspruchten Verfahren beschrieben. Merkmale, Vorteile oder alternative Ausführungsformen können hierin den anderen entsprechenden beanspruchten Objekten zugeordnet werden und umgekehrt. Mit anderen Worten können die Systeme mit Merkmalen verbessert werden, die im Rahmen des entsprechenden Verfahrens beschrieben oder beansprucht werden. In diesem Fall werden die funktionstüchtigen Merkmale der Verfahren durch objektive Einheiten der Systeme verkörpert.
Nach einem Aspekt bezieht sich die Erfindung auf ein computerimplementiertes Verfahren zur Erzeugung modifizierter medizinischer Bilder. Das Verfahren umfasst das Empfangen eines ersten medizinischen Bildes, wobei das erste medizinische Bild eine abnormale Struktur innerhalb eines Patienten zeigt, und das Anwenden einer trainierten Inpaint-Funktion auf das erste medizinische Bild, wodurch ein modifiziertes erstes medizinisches Bild erzeugt wird, wobei die trainierte Inpaint-Funktion dazu trainiert ist, fehlende Regionen innerhalb eines medizinischen Bildes zu rekonstruieren, insbesondere eine fehlende Region zu rekonstruieren, insbesondere eine einer abnormalen Struktur entsprechende fehlende Region. Mit anderen Worten wird die trainierte Inpaint-Funktion zum Rekonstruieren fehlender Regionen und/oder abnormaler Strukturen innerhalb eines medizinischen Bildes trainiert.
Das Verfahren umfasst weiterhin das Bestimmen eines Anomalie-Patches basierend auf dem ersten medizinischen Bild und dem modifizierten ersten medizinischen Bild, insbesondere basierend auf der Differenz des ersten medizinischen Bildes und des modifizierten ersten medizinischen Bildes.
Das Verfahren umfasst weiterhin das Empfangen eines zweiten medizinischen Bildes, wobei das zweite medizinische Bild vom gleichen Typ wie das erste medizinische Bild ist. Insbesondere unterscheidet sich das zweite medizinische Bild vom ersten medizinischen Bild. Das Verfahren umfasst weiterhin das Einfügen des Anomalie-Patches in das zweite medizinische Bild, wodurch ein modifiziertes zweites medizinisches Bild erzeugt wird. Insbesondere kann das Einfügen des Anomalie-Patches eine pixelweise oder voxelweise Summe des zweiten medizinischen Bildes und des Anomalie-Patches umfassen, wobei die Summe das modifizierte zweite medizinische Bild definiert. Insbesondere kann der Anomalie-Patch an einer Position in das zweite medizinische Bild eingefügt werden, die sich von der Position des Anomalie-Patches im ersten medizinischen Bild unterscheidet. Insbesondere kann die Position eine anatomische Position (d.h. definiert in Bezug auf anatomische Strukturen innerhalb des medizinischen Bildes) oder eine Bildposition (d.h. definiert in Bezug auf Koordinaten bezüglich der medizinischen Bilder) sein.
Optional umfasst das Verfahren weiterhin die Bereitstellung des modifizierten zweiten medizinischen Bildes. Die Bereitstellung des modifizierten zweiten medizinischen Bildes kann die Anzeige, Speicherung und/oder Übertragung des modifizierten zweiten medizinischen Bildes umfassen.
Insbesondere kann der Schritt des Empfangens des ersten medizinischen Bildes und des Empfangens des zweiten medizinischen Bildes sowie der optionale Schritt der Bereitstellung des modifizierten zweiten medizinischen Bildes durch eine Schnittstelle, insbesondere durch eine Schnittstelle eines Erzeugungssystems zur Erzeugung modifizierter medizinischer Bilder, ausgeführt werden. Insbesondere können die Schritte des Anwendens der trainierten Inpaint-Funktion, des Bestimmens des Anomalie-Patches und des Einfügens des Anomalie-Patches in das zweite medizinische Bild von einer Berechnungseinheit ausgeführt werden, insbesondere von einer Berechnungseinheit des Erzeugungssystems zur Erzeugung modifizierter medizinischer Bilder.
Insbesondere können das erste und das zweite medizinische Bild zweidimensionale medizinische Bilder sein. Insbesondere können das erste und das zweite medizinische Bild dreidimensionale medizinische Bilder sein. Insbesondere können das erste und das zweite medizinische Bild vierdimensionale Bilder sein, bei denen es drei räumliche und einmal zeitähnliche Dimensionen gibt.
Insbesondere bezieht sich die Art des medizinischen Bildes auf die Art der medizinischen Bildgebungsgeräte, die für die Erfassung des medizinischen Bildes verwendet werden. Beispielsweise sind ein erstes Röntgenbild und ein zweites Röntgenbild vom gleichen Typ, auch wenn sie von verschiedenen Röntgenbildgeräten aufgezeichnet werden. Insbesondere sind das erste medizinische Bild und das zweite medizinische Bild vom gleichen Typ, wenn sie der gleichen Körperregion (oder Interessenregion) im menschlichen Körper entsprechen. Beispielsweise sind ein erstes Röntgenbild einer menschlichen Lunge und ein zweites Röntgenbild eines menschlichen Knies nicht vom gleichen Typ, selbst wenn sie sich auf denselben Patienten beziehen. Ein erstes Röntgenbild einer Lunge eines ersten Patienten und ein zweites Röntgenbild einer Lunge eines zweiten Patienten sind jedoch vom gleichen Typ.
Insbesondere kann die Art des medizinischen Bildes durch die Modalität gekennzeichnet sein, die für die Erzeugung des medizinischen Bildes verwendet wird, und durch die Körperregion, die Gegenstand des medizinischen Bildes ist. Optional kann die Art des medizinischen Bildes auch durch Parameter (der bildgebenden Modalität) charakterisiert sein, die zur Erzeugung des medizinischen Bildes verwendet werden (z.B. könnte es den Unterschied zwischen einem „Niedrigen Dosisbild“ und einem „Hochdosisbild“ geben).
Insbesondere können das erste medizinische Bild und das zweite medizinische Bild medizinische Bilder desselben Patienten sein. Alternativ kann das zweite medizinische Bild ein medizinisches Bild eines anderen Patienten sein.
Ein medizinisches Bild kann mit einer oder mehreren DICOM-Dateien identisch oder gekapselt sein. Wird DICOM hierin erwähnt, so ist davon auszugehen, dass sich dies auf den DICOM-Standard (Digital Imaging and Communications in Medicine) bezieht, z.B. nach dem aktuellen DICOM PS3.1 2020c-Standard (oder einer späteren oder früheren Version dieses Standards).
Insbesondere ist eine abnormale Struktur innerhalb eines Patienten eine anatomische Struktur, die diesen Patienten von anderen Patienten unterscheidet. Insbesondere kann eine abnormale Struktur mit einer bestimmten Pathologie eines Patienten verbunden sein.
Die abnormale Struktur kann sich in verschiedenen Organen des Patienten befinden (z.B. in der Lunge eines Patienten oder in der Leber eines Patienten), und die abnormale Struktur kann auch zwischen den Organen des Patienten liegen. Insbesondere könnte die abnormale Struktur ein Fremdkörper sein.
Insbesondere kann eine abnormale Struktur ein Neoplasma (auch als „Tumor“ bezeichnet) sein, insbesondere ein gutartiges Neoplasma, ein In-situ-Neoplasma, bösartige Neoplasmen und/oder Neoplasmen unsicheren/unbekannten Verhaltens. Insbesondere kann eine abnormale Struktur ein Knoten sein, insbesondere ein Lungenknoten.
Im Allgemeinen imitiert eine trainierte Funktion kognitive Funktionen, die Menschen mit dem menschlichen Verstand anderer assoziieren. Insbesondere ist die trainierte Funktion durch Training basierend auf Trainingsdaten in der Lage, sich an neue Umstände anzupassen und Muster zu erkennen und zu extrapolieren.
Im Allgemeinen können Parameter einer trainierten Funktion durch Training angepasst werden. Insbesondere können betreutes Training, halbbeaufsichtigtes Training, unbeaufsichtigtes Training, Verstärkungslernen und/oder aktives Lernen genutzt werden. Weiterhin kann Repräsentationslernen (ein alternativer Begriff ist „Feature-Learning“) verwendet werden. Insbesondere können die Parameter der trainierten Funktionen iterativ durch mehrere Trainingsschritte angepasst werden.
Insbesondere kann eine trainierte Funktion ein neuronales Netzwerk, eine Unterstützungsvektormaschine, einen Entscheidungsbaum und/oder ein Bayessches Netz umfassen und/oder die trainierte Funktion kann auf k-Mittel-Clustering, Qlearning, genetischen Algorithmen und/oder Assoziationsregeln basieren. Insbesondere kann ein neuronales Netzwerk ein tiefes neuronales Netzwerk, ein faltendes neuronales Netzwerk oder ein faltendes tiefes neuronales Netzwerk sein. Weiterhin kann ein neuronales Netzwerk ein kontradiktorisches Netzwerk, ein tiefes kontradiktorisches Netzwerk und/oder ein generatives kontradiktorisches Netzwerk sein.
Insbesondere kann die trainierte Funktion zur Rekonstruktion fehlender Regionen in einem medizinischen Bild durch Verwendung von Trainingsbildern mit künstlich entfernten fehlenden Regionen als Eingabe für die trainierte Funktion und durch Vergleich der Ausgabe der trainierten Funktion mit dem ursprünglichen Trainingsbild (das noch die entfernte fehlende Region umfasst) trainiert werden. Insbesondere kann die trainierte Funktion durch Anpassung eines Parameters zur Minimierung einer Kostenfunktion trainiert werden. Die Kostenfunktion kann auf einer pixelweisen oder voxelweisen Differenz zwischen der Ausgabe und dem ursprünglichen Trainingsbild basieren.
Im Allgemeinen bezeichnet der Begriff Inpainting im Bereich der Abbildung einen Prozess, bei dem fehlende Teile eines Bildes eingelegt werden, um ein fertiges Bild zu erstellen (ohne fehlende Teile). Insbesondere können die fehlenden Teile Pixel oder Voxel ohne Intensitätswert oder mit einem ungültigen Intensitätswert sein. Insbesondere können die Pixel oder Voxel der fehlenden Teile eine fehlende Region oder einen fehlenden Bereich innerhalb des Bilds definieren. Die Begriffe „fehlender Teil“ und „fehlende Region“ können synonym verwendet werden. Im Allgemeinen kann das Rekonstruieren von Bildern manuell oder automatisch, insbesondere durch Bildverarbeitungsalgorithmen, erfolgen. Insbesondere kann die automatische Rekonstruktion Informationen innerhalb der Bilder außerhalb der fehlenden Region nutzen (insbesondere Intensitätswerte von Pixeln oder Voxeln, die einen gültigen oder einen vorhandenen Intensitätswert besitzen), um Rückschlüsse über den fehlenden Inhalt der fehlenden Teile des Bildes zu erhalten. Insbesondere können durch die Rekonstruktion die Intensitätswerte der fehlenden Teile (entsprechend den Intensitätswerten von Pixeln oder Voxeln ohne Intensitätswert oder mit einem ungültigen Intensitätswert) berechnet werden.
Fehlende Teile oder fehlende Regionen können auch artifiziell innerhalb eines Bildes erzeugt werden. Insbesondere kann die fehlende Region durch eine Maske und/oder Segmentation bereitgestellt werden, wobei alle Intensitätswerte innerhalb dieser Region gelöscht oder als ungültig markiert werden. T Inpainting-Algorithmen können auf Struktur- und/oder Textaspekten von Bildern basieren. Weiterhin können Inpainting-Algorithmen klassische oder lernbasierte Inpainting-Algorithmen sein. Insbesondere können Inpainting-Verfahren auch externe Daten berücksichtigen, die nicht im Bild enthalten sind (nichtlokale Algorithmen).
Insbesondere kann Inpainting auch für medizinische Bilder verwendet werden, z.B. wie im Dokument E. Sogancioglu et al., „Chest X-ray Inpainting with Deep Generative Models", arXiv:1809.01471 (2018).
Die Erfinder erkannten, dass durch die Verwendung der zweiten modifizierten medizinischen Bilder beim Training eines maschinellen Lernmodells (oder einer trainierten Erkennungsfunktion) die Fläche unter der Kurve (Akronym AUC) im Vergleich zur Verwendung nicht-erweiterter oder standardmäßiger erweiterter medizinischer Bilder als Trainingsbilder zunimmt. Dies bedeutet, dass die Leistung von maschinellen Lernmodellen, die auf den bereitgestellten zweiten modifizierten medizinischen Bildern basieren, im Vergleich zu maschinellen Lernmodellen, die auf nicht-erweiterten oder standardmäßigen erweiterten medizinischen Bildern trainiert werden, zunimmt.
Nach einem weiteren Aspekt der Erfindung ist das zweite medizinische Bild identisch mit dem modifizierten ersten medizinischen Bild.
Gemäß diesem Aspekt bezieht sich die Erfindung in einer alternativen Formulierung auf ein computerimplementiertes Verfahren zur Erzeugung modifizierter medizinischer Bilder, umfassend:

- Empfangen eines ersten medizinischen Bildes, wobei das erste medizinische Bild eine abnormale Struktur innerhalb eines Patienten zeigt,
- Anwenden einer trainierten Inpaint-Funktion auf das erste medizinische Bild, wodurch ein modifiziertes erstes medizinisches Bild erzeugt wird, wobei die ausgebildete Inpaint-Funktion dazu trainiert ist, abnormale Strukturen innerhalb eines medizinischen Bildes zu rekonstruieren,
- Bestimmen eines Anomalie-Patches basierend auf dem ersten medizinischen Bild und dem modifizierten ersten medizinischen Bild, insbesondere basierend auf der Differenz des ersten medizinischen Bildes und des modifizierten ersten medizinischen Bildes;
- Einfügen des Anomalie-Patches in das erste medizinische Bild, wodurch ein zweimal modifiziertes erstes medizinisches Bild erzeugt wird.

Der Erfinder erkannte, dass durch die Verwendung des modifizierten ersten medizinischen Bildes als zweites medizinisches Bild weniger Eingabedaten erforderlich sind, um die gleiche Menge an Ausgabe-Trainingsdaten zu erstellen. Weiterhin können durch die Verwendung des modifizierten ersten medizinischen Bildes als zweites medizinisches Bild nichtlokale Merkmale (außerhalb der abnormalen Struktur liegend, aber kausal mit der abnormalen Struktur verbunden) bei der Ausbildung eines maschinellen Lernmodells / einer trainierten Erkennungsfunktion berücksichtigt werden.
Nach einem weiteren Aspekt der Erfindung sind das erste medizinische Bild und das zweite medizinische Bild ein Röntgenbild, ein Computertomographiebild (Akronym „CT-Bild“), ein Magnetresonanzbild (Akronym „MR-Bild“), ein Positronen-Emissionstomographie-Bild (Akronym „PET-Bild“), ein Einzelphotonen-Emissions-Computertomographiebild (Akronym „SPECT-Bild“) und/oder ein Ultraschallbild (Akronym „US-Bild“). Vorzugsweise sind das erste medizinische Bild und das zweite medizinische Bild Röntgenbilder einer Brust eines Patienten.
Gemäß einem weiteren Aspekt der Erfindung ist die abnormale Struktur ein Knoten, und wobei der Anomalie-Patch ein Knoten-Patch ist. Nach einem weiteren Aspekt der Erfindung ist das erste medizinische Bild ein medizinisches Bild einer Lunge des Patienten, und die abnormale Struktur ist ein Lungenknoten (auch als „pulmonaler Knoten“ bezeichnet). Insbesondere ist auch das zweite medizinische Bild ein medizinisches Abbild einer Lunge eines Patienten. Ein Lungenknoten kann einem gutartigen Tumor wie einem Granulom oder Hamartom oder bösartigem Krebs entsprechen.
Wenn es sich bei der abnormalen Struktur um einen Lungenknoten handelt, sind das erste medizinische Bild und das zweite medizinische Bild insbesondere ein Röntgenbild oder ein Computertomographiebild.
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren weiterhin die Bestimmung einer Maske, die der abnormalen Struktur innerhalb des ersten medizinischen Bildes entspricht, wobei das Anwenden der trainierten Inpaint-Funktion auf das erste medizinische Bild und/oder das Bestimmen des Anomalie-Patches weiterhin auf der Maske basieren. Insbesondere haben der Anomalie-Patch und die Maske die gleiche Dimensionalität. Insbesondere kann der Schritt der Bestimmung der Maske durch die Berechnungseinheit ausgeführt werden, insbesondere durch die Berechnungseinheit des Erzeugungssystems zur Erzeugung modifizierter medizinischer Bilder.
Insbesondere kann die Anwendung der auf der Maske basierenden trainierten Inpaint-Funktion implizieren, dass die Maske als zusätzliche Eingabe für die trainierte Inpaint-Funktion verwendet wird oder dass die Eingabe der trainierten Inpaint-Funktion auf einer Kombination der Maske und des ersten medizinischen Bildes basiert. Insbesondere kann die Anwendung der trainierten Inpaint-Funktion basierend auf der Maske implizieren, dass sich das erste medizinische Bild und das modifizierte erste medizinische Bild nur in dem in der Maske definierten Bereich unterscheiden. Mit anderen Worten wird die Wirkung der trainierten Inpaint-Funktion durch die Maske im ersten medizinischen Bild begrenzt.
Insbesondere kann die Bestimmung des Anomalie-Patches basierend auf der Maske implizieren, dass die Maske mit dem ersten medizinischen Bild und/oder dem modifizierten ersten medizinischen Bild kombiniert wird, bevor der Anomalie-Patch bestimmt wird, oder dass die Maske mit der Kombination (insbesondere der Differenz) des ersten medizinischen Bildes und des modifizierten ersten medizinischen Bildes kombiniert wird. Insbesondere kann die Maske verwendet werden, um das erste medizinische Bild und das modifizierte erste medizinische Bild zuzuschneiden, so dass der Anomalie-Patch auf der Differenz des zugeschnittenen ersten medizinischen Bildes und des zugeschnittenen modifizierten ersten medizinischen Bildes basiert.
Der Anomalie-Patch und die Maske haben die gleiche Dimensionalität, wenn die Größe des Anomalie-Patches in Bezug auf jede Dimension (gemessen in der Anzahl der Pixel oder Voxel) der Größe der Maske in Bezug auf die gleiche Dimension gleicht.
Die Erfinder erkannten, dass durch die Verwendung einer Maske in der beschriebenen Weise Rauschen außerhalb des Maskenbereichs unterdrückt werden kann, was zu weniger Artefakten im modifizierten ersten medizinischen Bild und/oder dem modifizierten zweiten medizinischen Bild führt.
Nach einem weiteren Aspekt der Erfindung umfasst der Anomalie-Patch Pixel oder Voxel und die Pixel oder Voxel umfassen Intensitätswerte. Nach diesem Aspekt umfasst das Verfahren außerdem das Trunkieren von Pixeln oder Voxeln des Anomalie-Patches mit negativen Intensitätswerten. Insbesondere kann der Schritt des Trunkierens von Pixeln oder Voxeln des Anomalie-Patches von der Berechnungseinheit ausgeführt werden, insbesondere von der Berechnungseinheit des Erzeugungssystems zur Erzeugung modifizierter medizinischer Bilder.
Insbesondere umfasst jedes Pixel oder Voxel des Anomalie-Patches mindestens einen Intensitätswert. Wenn das erste medizinische Bild und das zweite medizinische Bild Röntgenbilder sind, können die Intensitätswerte einem Röntgendämpfungskoeffizienten des Materials entsprechen, das durch das erste und das zweite medizinische Bild abgebildet wird. Wenn das erste medizinische Bild und das zweite medizinische Bild Computertomographiebilder sind, kann die Intensität in Form von Hounsfield-Einheiten angegeben werden.
Insbesondere kann das Trunkieren eines Pixels oder Voxels darin bestehen, den Intensitätswert des jeweiligen Pixels oder Voxels durch einen gegebenen konstanten anderen Intensitätswert zu ersetzen, insbesondere den Intensitätswert des jeweiligen Pixels oder Voxels durch 0 zu ersetzen.
Die Erfinder erkannten, dass abnormale Strukturen, insbesondere Knoten, Pixeln oder Voxeln entsprechen, die heller sind (mit einem höheren Intensitätswert) als Pixel ohne abnormale Strukturen / Knoten. Dies bedeutet, dass negative Intensitätswerte in der Regel Rauschen entsprechen, und das Trunkieren dieser Werte zu einem besseren Signal-Rausch-Verhältnis der erzeugten Bilder und infolgedessen zu einer besseren Trainingsleistung führt.
Gemäß einem weiteren Aspekt der Erfindung umfasst das Verfahren das Anwenden einer Filterfunktion auf den Anomalie-Patch. Nach einem möglichen weiteren Aspekt der Erfindung ist die Filterfunktion eine bilaterale Filterfunktion. Insbesondere kann der Schritt des Anwendens einer Filterfunktion durch die Berechnungseinheit ausgeführt werden, insbesondere durch die Berechnungseinheit des Erzeugungssystems zur Erzeugung modifizierter medizinischer Bilder.
Insbesondere ist eine Filterfunktion eine Funktion, die ein Bild in ein anderes Bild mit der gleichen Dimensionalität und der gleichen Größe umwandelt. Insbesondere ist eine bilaterale Filterfunktion eine nichtlineare, kantenerhaltende und rauschreduzierende Glättungsfilterfunktion. Insbesondere ersetzt eine bilaterale Filterfunktion die Intensität jedes Pixels oder Voxels durch einen gewichteten Mittelwert von Intensitätswerten aus in der Nähe gelegenen Pixeln oder Voxeln. Insbesondere kann dieses Gewicht auf einer Gaußschen Verteilung basieren. Insbesondere hängen die Gewichtungen nicht nur von der euklidischen Entfernung von Pixeln oder Voxeln ab, sondern auch von den radiometrischen Unterschieden (z.B. Bereichsunterschiede, wie z.B. Unterschiede in den Intensitätswerten).
Die Erfinder erkannten, dass die Verwendung der Filterfunktion, insbesondere einer bilateralen Filterfunktion, den Anomalie-Patch glättet und unerwünschte Hintergrundgeräusche entfernt.
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren das Segmentieren des zweiten medizinischen Bildes in eine erste Region und eine zweite Region, wobei die erste Region eine Region ist, die abnormale Strukturen enthalten kann, und wobei die zweite Region eine Region ist, die keine abnormalen Strukturen enthalten kann. Weiterhin wird im Einfügeschritt der Anomalie-Patch in die erste Region des zweiten medizinischen Bildes eingefügt. Insbesondere kann der Schritt des Segmentierens des zweiten medizinischen Bildes durch die Berechnungseinheit ausgeführt werden, insbesondere durch die Berechnungseinheit des Erzeugungssystems zur Erzeugung modifizierter medizinischer Bilder.
Insbesondere kann die Segmentierung des zweiten medizinischen Bildes auf Schwellenwertbildung, Region-Wachstum und/oder Kantenerkennung basieren. Alternativ kann die Segmentierung des zweiten medizinischen Bildes auf einem Segmentierungsalgorithmus für maschinelles Lernen basieren. Die Segmentierung des zweiten medizinischen Bildes kann auch auf Benutzereingaben basieren (z.B. basierend auf einer halbautomatischen Segmentierung). Alternativ können auch andere bekannte Segmentierungsverfahren zur Segmentierung des zweiten medizinischen Bildes verwendet werden.
Wenn die abnormale Struktur ein Lungenknoten ist, und wenn das zweite medizinische Bild ein medizinisches Bild der Brust eines Patienten ist, kann die erste Region insbesondere der Lunge entsprechen und die zweite Region kann den Bereichen außerhalb der Lunge entsprechen.
Die Erfinder erkannten, dass durch die Bestimmung dieser Segmentierung und durch das Einfügen des Anomalie-Patches nur in die erste Region realistischere modifizierte zweite medizinische Bilder erzeugt werden können, was eine bessere Leistung von maschinellen Lernmodellen bedeutet, die auf diesen Bildern trainiert werden.
Gemäß einem weiteren Aspekt der Erfindung wird im Einfügeschritt eine Transformation auf den Anomalie-Patch angewendet, wobei insbesondere die Transformation eine Rotation und/oder eine Spiegelung des Anomalie-Patches ist. Mit anderen Worten wird innerhalb des Einfügeschritts ein transformiertes Anomalie-Patch in das zweite medizinische Bild eingefügt.
Die Erfinder erkannten, dass durch die Verwendung transformierter Anomalie-Patches eine höhere Variabilität modifizierter zweiter medizinischer Bilder erreicht werden kann. Eine höhere Variabilität der Trainingsdaten für ein maschinelles Lernmodell / eine trainierte Erkennungsfunktion kann helfen, eine Überanpassung des maschinellen Lernmodells / der trainierten Erkennungsfunktion zu verhindern. Weiterhin modifizieren Rotationen und/oder Spiegelung die Anomalie-Patches nicht qualitativ und entsprechen Modifikationen von Anomalien, die anatomisch möglich sind, ohne dass sich dies auf eine Diagnose auswirkt.
Nach einem weiteren Aspekt der Erfindung, umfasst die trainierte Inpaint-Funktion ein künstliches neuronales Netzwerk, wobei das künstliche neuronale Netzwerk eine faltende Schicht umfasst. Ein anderer Begriff für ein künstliches neuronales Netzwerk, das eine faltende Schicht umfasst, ist „faltendes neuronales Netzwerk“.
Die Erfinder erkannten, dass faltende neuronale Netzwerke sehr gut für Bildverarbeitungsaufgaben geeignet sind. Insbesondere eignen sich konvolutionale neuronale Netzwerke sehr gut für Inpainting und können zu sehr genauen Ergebnissen führen.
Nach einem weiteren Aspekt der Erfindung ist das künstliche neuronale Netzwerk ein Kontext-Encoder-Netzwerk. Insbesondere kann ein Kontext-Encoder-Netzwerk mindestens eine faltende Schicht umfassen. Es ist jedoch nicht erforderlich, dass ein Kontext-Encoder-Netzwerk eine faltende Schicht umfasst.
Ein Kontext-Encoder-Netzwerk umfasst ein Encoder-Netzwerk und ein Decoder-Netzwerk. Insbesondere nimmt das Encoder-Netzwerk das erste medizinische Bild und gegebenenfalls die Maske (insbesondere die Intensitätswerte von Pixeln oder Voxeln des ersten medizinischen Bildes, insbesondere Intensitätswerte von Pixeln oder Voxeln des ersten medizinischen Bildes außerhalb der Maske) als Eingabe und ordnet sie einer Reihe von Merkmalen zu. Insbesondere kann ein Merkmal einer Zahl oder einem Wert eines Ausgabeknotens des Encoder-Netzwerks entsprechen. Insbesondere ist die Anzahl der Merkmale kleiner als die Anzahl der Pixel oder Voxel, die als Eingabe für den Encoder verwendet werden). Insbesondere nimmt das Decoder-Netzwerk einen Satz von Merkmalen als Eingabe (insbesondere jedes Merkmal, das einer reellen Zahl entspricht, und insbesondere die Anzahl der Merkmale, die der Anzahl der vom Encoder-Netzwerk erstellten Merkmale entsprechen) und ordnet diese Merkmale zumindest einem Teil des modifizierten ersten medizinischen Bildes zu. Insbesondere werden die Merkmale dem Teil des ersten medizinischen Bildes zugeordnet, der der Maske entspricht. Insbesondere können die letzte Schicht des Encoder-Netzwerks und die erste Schicht des Decoder-Netzwerks über eine kanalweise vollständig verbundene Schicht verbunden werden.
Die Erfinder erkannten, dass Kontext-Encoder sehr realistische Rekonstruktionen erzeugen können. Dies impliziert, dass die abnormale Struktur mit nur wenigem Rauschen extrahiert werden kann, das Strukturen im ersten medizinischen Bild in der Nähe der abnormalen Struktur entspricht, aber nicht ursächlich mit der abnormalen Struktur in Zusammenhang steht. Daraus folgt, dass sich der Inhalt des Anomalie-Patches in Wirklichkeit nur oder hauptsächlich auf die abnormale Struktur und nicht auf diese weiteren Strukturen bezieht.
Nach einem weiteren Aspekt der Erfindung basiert mindestens ein Parameter des Kontext-Encoder-Netzwerks auf einer räumlich diskontierten Rekonstruktionsverlustfunktion. Im Rahmen dieser Erfindung ist es nicht notwendig, dass die künstlich trainierte Inpaint-Funktion ein Kontext-Encoder-Netzwerk für einen Parameter der trainierten Inpaint-Funktion ist, der auf einer räumlich diskontierten Rekonstruktionsverlustfunktion beruht. Nach einem weiteren möglichen Aspekt der Erfindung basiert also mindestens ein Parameter der trainierten Inpaint-Funktion auf einer räumlich diskontierten Rekonstruktionsverlustfunktion.
Insbesondere basiert eine räumlich diskontierte Rekonstruktionsverlustfunktion auf einer Gewichtung des Beitrags von Pixel- oder Voxelintensitäten (insbesondere für Pixel oder Voxel, die innerhalb der Maske vorhergesagt werden) zu einer Verlustfunktion basierend auf ihrer räumlichen Entfernung zu einem Pixel oder Voxel mit bekannter Intensität (insbesondere Pixel oder Voxel außerhalb der Maske). Insbesondere kann die Gewichtung eine exponentielle Funktion des räumlichen Abstands sein.
Die Erfinder erkannten, dass fehlende Pixel oder Voxel am Rand der Inpainting-Region weniger Mehrdeutigkeit haben, daher sollten diese Pixel und Voxel während des Trainings stärker gewichtet werden, um Grenzartefakte zu verringern.
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren das Anpassen mindestens eines Parameters einer trainierten Erkennungsfunktion auf Basis des modifizierten zweiten medizinischen Bildes und das Bereitstellen der trainierten Erkennungsfunktion. Das Bereitstellen der trainierten Erkennungsfunktion kann das Speichern, Übertragen und/oder Speichern der trainierten Erkennungsfunktion umfassen.
Insbesondere ist eine trainierte Erkennungsfunktion eine trainierte Funktion, die als Eingabe ein zweidimensionales oder dreidimensionales medizinisches Bild verwendet und durch Training zur Erkennung abnormaler Strukturen in den eingegebenen medizinischen Bildern ausgebildet wird. Insbesondere kann die Ausgabe der trainierten Erkennungsfunktion der Position und/oder dem Schweregrad der abnormalen Struktur entsprechen. Insbesondere kann die Position der abnormalen Struktur durch ein einzelnes Pixel oder Voxel (z.B. entsprechend dem Zentrum der abnormalen Struktur), durch eine Wahrscheinlichkeitsverteilung, die mehreren oder allen Pixeln oder Voxeln einen Wahrscheinlichkeitswert zuweist (wobei der Wahrscheinlichkeitswert der Wahrscheinlichkeit entspricht, dass ein bestimmtes Pixel oder Voxel einer abnormalen Struktur innerhalb des Patienten entspricht) und/oder durch einen Begrenzungsrahmen, der die abnormale Struktur umgeht, angegeben werden.
Insbesondere handelt es sich bei der trainierten Erkennungsfunktion um ein künstliches neuronales Netzwerk, das eine faltende Schicht und/oder einer Pooling-Schicht umfasst. Mit anderen Worten ist die trainierte Erkennungsfunktion ein faltendes neuronales Netzwerk. Faltende neuronale Netzwerke eignen sich sehr gut zum Erkennen von Strukturen in medizinischen Bildern.
Die Erfinder erkannten, dass die Verwendung des modifizierten zweiten medizinischen Bildes beim Training einer trainierten Erkennungsfunktion eine trainierte Erkennungsfunktion mit geringerer Überanpassung schafft.
Gemäß einem weiteren Aspekt der Erfindung basiert das Training der trainierten Erkennungsfunktion auf einem Vergleich der Position des Anomalie-Patches im modifizierten zweiten medizinischen Bild und/oder des Schweregrads der dem Anomalie-Patch entsprechenden abnormalen Struktur mit der Ausgabe der trainierten Erkennungsfunktion. Insbesondere kann der Schweregrad der abnormalen Struktur dem Grad der Malignität und/oder Gutartigkeit einer abnormalen Struktur als Tumor entsprechen.
Insbesondere basiert das Training der trainierten Erkennungsfunktion auf einem Vergleich der Position des Anomalie-Patches im modifizierten zweiten medizinischen Bild mit der Ausgabe der trainierten Erkennungsfunktion.
Insbesondere basiert das Training der trainierten Erkennungsfunktion auf einem Vergleich des Schweregrads der dem Anomalie-Patch entsprechenden abnormalen Struktur mit der Ausgabe der trainierten Erkennungsfunktion.
Insbesondere basiert das Training der trainierten Erkennungsfunktion auf einem Vergleich der Position des Anomalie-Patches im modifizierten zweiten medizinischen Bild und des Schweregrads der dem Anomalie-Patch entsprechenden abnormalen Struktur mit dem Ausgang der trainierten Erkennungsfunktion.
Die Erfinder erkannten, dass durch das Einfügen des Anomalie-Patches in das zweite medizinische Bild die Position der abnormalen Struktur innerhalb des modifizierten zweiten medizinischen Bildes sehr genau bestimmt werden kann, so dass ein sehr effektives Training der trainierten Erkennungsfunktion möglich ist. Weiterhin kann der Schweregrad der abnormalen Struktur nur anhand des Anomalie-Patches bestimmt werden, so dass eine Vielzahl von Trainingsdaten generiert und im Training verwendet werden kann, die nur auf einem ersten medizinischen Bild basieren.
Nach einem anderen Aspekt betrifft die Erfindung ein Erzeugungssystem zur Erzeugung modifizierter medizinischer Bilder, das Folgendes umfasst:

- eine Schnittstelle, ausgebildet zum Empfangen eines ersten medizinischen Bildes, wobei das erste medizinische Bild eine abnormale Struktur innerhalb eines Patienten zeigt, weiterhin ausgebildet zum Empfangen eines zweiten medizinischen Bildes, wobei das zweite medizinische Bild vom gleichen Typ wie das erste medizinische Bild ist,
- eine Berechnungseinheit, die zum Anwenden einer trainierten Inpaint-Funktion auf das erste medizinische Bild ausgebildet ist, wodurch ein modifiziertes erstes medizinisches Bild erzeugt wird, wobei die trainierte Inpaint-Funktion darin trainiert wird, eine fehlende Region innerhalb eines medizinischen Bildes zu rekonstruieren, insbesondere wobei die fehlende Region einer abnormalen Struktur entspricht, weiterhin ausgebildet für die Bestimmung eines Anomalie-Patches basierend auf dem ersten medizinischen Bild und dem modifizierten ersten medizinischen Bild, insbesondere basierend auf der Differenz des ersten medizinischen Bildes und des modifizierten ersten medizinischen Bildes, weiterhin ausgebildet zum Einfügen des Anomalie-Patches in das zweite medizinische Bild, wodurch ein modifiziertes zweites medizinisches Bild erzeugt wird, insbesondere wobei der Anomalie-Patch (AP) in dem zweiten medizinischen Bild (IMG.2) an einer Position eingefügt wird, die sich von der Position des Anomalie-Patches (AP) im ersten medizinischen Bild (IMG.1) unterscheidet.

Insbesondere ist das Erzeugungssystem so ausgebildet, dass es das zuvor beschriebene Verfahren zur Erzeugung modifizierter medizinischer Bilder und seiner Aspekte ausführt. Das Erzeugungssystem ist so ausgebildet, dass es das zuvor beschriebene Verfahren zur Erzeugung modifizierter medizinischer Bilder und seiner Aspekte durch seine Schnittstelle und die Berechnungseinheit, die für die Ausführung der jeweiligen Verfahrensschritte ausgebildet ist, ausführt.
Das Erzeugungssystem kann als Datenverarbeitungssystem oder als Teil eines Datenverarbeitungssystems realisiert werden. Ein solches Datenverarbeitungssystem kann beispielsweise ein Cloud-Computing-System, ein Computernetzwerk, einen Computer, einen Tablet-Computer, ein Smartphone, einen Mikroprozessor oder dergleichen umfassen. Das Erzeugungssystem kann Hardware und/oder Software umfassen. Die Hardware kann z.B. ein Prozessorsystem, ein Speichersystem und Kombinationen davon sein. Die Hardware kann durch die Software konfigurierbar und/oder von der Software bedienbar sein.
Wann immer Module wie Schnittstellen, Berechnungseinheiten oder Speichereinheiten hierin erwähnt werden, ist zu verstehen, dass dies sich auf Module beziehen kann, die als Hardware und/oder als Software realisiert werden. Die Module werden als eine Möglichkeit zur Erleichterung des Verständnisses erwähnt und beschrieben, und es wird klar sein, dass alle Funktionen aller Module durch ein und denselben Text von Computerprogrammanweisungen (oder: Computercode) realisiert werden können. Weiterhin können sich die Funktionen eines oder aller Module überlappen, und einige Module können in andere Module integriert werden, ohne von der vorliegenden Offenbarung abzuweichen. Weiterhin könnte jedes Modul auch eine logische Kombination mehrerer (identischer oder unterschiedlicher) physikalischer Untermodule sein, die auch auf verschiedene räumliche Positionen verteilt werden können.
Nach einem anderen Aspekt bezieht sich die Erfindung auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Anweisungen, die, wenn das Programm von einem Erzeugungssystem ausgeführt wird, veranlassen, dass das Erzeugungssystem das Verfahren zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte ausführt. Insbesondere bezieht sich die Erfindung auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Anweisungen, die, wenn das Programm vom Erzeugungssystem gemäß dem zweiten Aspekt der Erfindung ausgeführt wird, veranlassen, dass das Erzeugungssystem das Verfahren zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte ausführt.
Nach einem anderen Aspekt bezieht sich die Erfindung auf ein computerlesbares Medium, das Anweisungen umfasst, die, wenn sie von einem Erzeugungssystem ausgeführt werden, veranlassen, dass das Erzeugungssystem das Verfahren zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte ausführt. Insbesondere bezieht sich die Erfindung auf ein computerlesbares Medium, das Anweisungen umfasst, die, wenn sie vom Erzeugungssystem gemäß dem zweiten Aspekt der Erfindung ausgeführt werden, veranlassen, dass das Erzeugungssystem das Verfahren zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte ausführt.
Die Realisierung der Erfindung durch ein Computerprogrammprodukt und/oder ein computerlesbares Medium hat den Vorteil, dass bereits vorhandene Erzeugungssysteme durch Software-Updates leicht übernommen werden können, um wie erfindungsgemäß vorgeschlagen zu funktionieren.
Das Computerprogrammprodukt kann z.B. ein Computerprogramm sein oder ein anderes Element außer dem Computerprogramm umfassen. Dieses andere Element kann Hardware sein, z.B. ein Speichergerät, auf dem das Computerprogramm gespeichert ist, ein Hardwareschlüssel für die Verwendung des Computerprogramms und dergleichen, und/oder Software, z.B. eine Dokumentation oder ein Softwareschlüssel für die Verwendung des Computerprogramms.
Gemäß einem anderen Aspekt bezieht sich die Erfindung auf ein computerimplementiertes Verfahren zum Nachweis abnormaler Strukturen, das die Schritte des Empfangs eines dritten medizinischen Bildes umfasst, und die Anwendung einer durch das Verfahren nach Anspruch 14 bereitgestellten trainierten Erkennungsfunktion zur Erkennung der abnormalen Struktur innerhalb des dritten medizinischen Bildes.
Insbesondere ist das dritte medizinische Bild vom gleichen Typ wie das erste medizinische Bild oder das zweite medizinische Bild.
Nach einem anderen Aspekt betrifft die Erfindung ein Erkennungssystem zur Erkennung einer abnormalen Struktur, das folgendes umfasst: eine Schnittstelle, die zum Empfangen eines dritten medizinischen Bildes ausgebildet ist, eine Speichereinheit, die für die Speicherung einer durch das Verfahren nach Anspruch 14 bereitgestellten trainierten Erkennungsfunktion ausgebildet ist, und eine Berechnungseinheit, die so ausgebildet ist, dass sie die trainierte Erkennungsfunktion anwendet, um die abnormale Struktur innerhalb des dritten medizinischen Bildes zu erkennen.
Insbesondere ist das Erkennungssystem so ausgebildet, dass es das zuvor beschriebene Verfahren zum Erkennen abnormaler Strukturen und seiner Aspekte ausführt. Das Erkennungssystem ist so ausgebildet, dass es das zuvor beschriebene Verfahren zur Erkennung abnormaler Strukturen und seiner Aspekte durch seine Schnittstelle und die Berechnungseinheit, die für die Ausführung der jeweiligen Verfahrensschritte ausgebildet ist, ausführt.
Das Erkennungssystem kann als Datenverarbeitungssystem oder als Teil eines Datenverarbeitungssystems realisiert werden. Ein solches Datenverarbeitungssystem kann beispielsweise ein Cloud-Computing-System, ein Computernetzwerk, einen Computer, einen Tablet-Computer, ein Smartphone, einen Mikroprozessor oder dergleichen umfassen. Das Erkennungssystem kann Hardware und/oder Software umfassen. Die Hardware kann z.B. ein Prozessorsystem, ein Speichersystem und Kombinationen davon sein. Die Hardware kann durch die Software konfigurierbar und/oder von der Software bedienbar sein.
Die Erfinder erkannten, dass auf der Grundlage des beschriebenen Verfahrens und des Erkennungssystems zur Erkennung einer abnormalen Struktur die in Bezug auf die anderen Aspekte der Erfindung beschriebenen Vorteile im eigentlichen Erkennungsprozess abnormaler Strukturen in medizinischen Bildern realisiert werden können. Insbesondere ist aufgrund einer größeren Fläche unter der Kurve im Vergleich zu Basisverfahren die Erkennung abnormaler Strukturen genauer und weniger fehleranfällig.
Gemäß einem möglichen siebten Aspekt bezieht sich die Erfindung auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Anweisungen, die, wenn das Programm von einem Erkennungssystem ausgeführt wird, veranlassen, dass das Erkennungssystem das Verfahren zur Erkennung einer abnormalen Struktur gemäß der Erfindung und seiner Aspekte ausführt. Insbesondere bezieht sich die Erfindung auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Anweisungen, die, wenn das Programm von dem Erkennungssystem gemäß dem sechsten Aspekt der Erfindung ausgeführt wird, veranlassen, dass das Erkennungssystem das Verfahren zur Erkennung einer abnormalen Struktur gemäß der Erfindung und seiner Aspekte ausführt.
Gemäß einem möglichen achten Aspekt bezieht sich die Erfindung auf ein computerlesbares Medium, das Anweisungen umfasst, die, wenn sie von einem Erkennungssystem ausgeführt werden, veranlassen, dass das Erkennungssystem das Verfahren zur Erkennung einer abnormalen Struktur gemäß der Erfindung und seiner Aspekte ausführt. Insbesondere bezieht sich die Erfindung auf ein computerlesbares Medium, das Anweisungen umfasst, die, wenn sie von dem Erkennungssystem gemäß dem sechsten Aspekt der Erfindung ausgeführt werden, veranlassen, dass das Erkennungssystem das Verfahren zur Erkennung einer abnormalen Struktur gemäß der Erfindung und seiner Aspekte ausführt.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie sie erreicht werden, werden im Lichte der folgenden Beschreibung und Ausführungsformen, die im Rahmen der Zeichnungen ausführlich beschrieben werden, klarer und verständlicher. Diese folgende Beschreibung beschränkt die Erfindung nicht auf die enthaltenen Ausführungsformen. Dieselben Komponenten oder Teile können mit den gleichen Bezugszeichen in unterschiedlichen Abbildungen beschriftet werden. Im Allgemeinen sind die Zahlen nicht maßstabsgetreu.
Die Nummerierung und/oder Reihenfolge der Verfahrensschritte soll das Verständnis erleichtern und sollte, sofern nicht ausdrücklich etwas anderes angegeben oder implizit klar ist, nicht so ausgelegt werden, dass die vorgesehenen Schritte entsprechend der Nummerierung ihrer Bezugszeichen und/oder ihrer Reihenfolge innerhalb der Zahlen ausgeführt werden müssen. Insbesondere können mehrere oder sogar alle Verfahrensschritte gleichzeitig, überlappend oder sequenziell ausgeführt werden.
Im Folgenden:

1 zeigt eine Skizze der medizinischen Bilder und Datenstrukturen, die in den Verfahren und Systemen gemäß den Aspekten der Erfindung verwendet werden,
2 zeigt eine Ausführungsform einer trainierten Inpaint-Funktion,
3 zeigt erste medizinische Bilder, modifizierte erste medizinische Bilder und Anomalie-Patches, die durch die trainierte Inpaint-Funktion von 2 erstellt wurden,
4 zeigt eine erste Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
5 zeigt eine zweite Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
6 zeigt eine dritte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
7 zeigt eine vierte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
8 zeigt eine fünfte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
9 zeigt eine sechste Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
10 zeigt eine siebte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder,
11 zeigt ein Flussdiagramm einer Ausführungsform des Verfahrens zur Erkennung einer abnormalen Struktur,
12 zeigt ein Erzeugungssystem zur Erzeugung modifizierter medizinischer Bilder,
13 zeigt ein Erkennungssystem zur Erkennung einer abnormalen Struktur.

1 zeigt eine Skizze der medizinischen Bilder und Datenstrukturen, die in den Verfahren und Systemen gemäß den Aspekten der Erfindung verwendet werden.
Innerhalb der Ausführungsform von 1 ist das erste medizinische Bild IMG.1 ein Röntgenbild einer Brust eines Patienten. Alternativ können erste medizinische Bilder IMG.1 auf der Grundlage anderer medizinischer Bildgebungsmodalitäten (z.B. Computertomographie oder Magnetresonanztomographie) und/oder anderer Körperteile eines Patienten verwendet werden. Weiterhin ist auch das modifizierte erste medizinische Bild IMG.1' ein Röntgenbild der Brust des Patienten. Zu beachten ist, dass das modifizierte erste medizinische Bild IMG.1' nicht das direkte Ergebnis oder die Ausgabe einer medizinischen bildgebenden Untersuchung (in dieser Ausführungsform, insbesondere eine medizinische bildgebende Untersuchung durch ein Röntgengerät), sondern ein synthetisches medizinisches Bild basierend auf dem ersten medizinischen Bild IMG.1 ist. Insbesondere entspricht das modifizierte erste medizinische Bild IMG.1' nicht der tatsächlichen Anatomie eines Patienten.
Innerhalb dieser Ausführungsform enthält das erste medizinische Bild IMG.1 eine abnormale Struktur, die ein Lungenknoten ist.
Folglich kann das erste medizinische Bild IMG.1 auch als „Knotenbild“ oder „Abnormalitätsbild“ bezeichnet werden. Das modifizierte erste medizinische Bild IMG.1’zeigt keine abnormale Struktur aufgrund der Änderungen in seiner Erzeugung basierend auf dem ersten medizinischen Bild IMG.1'. Folglich kann das modifizierte erste medizinische Bild IMG.1' auch als „Nicht-Knotenbild“ oder „Nicht-Abnormalitätsbild“ bezeichnet werden. Für die in 1 dargestellten Röntgenbilder der Brust kann die Anwendung eines Standardklassifikators auf das erste medizinische Bild IMG.1 für die Knotenerkennung zu einer Vorhersage (oder Wahrscheinlichkeit für das Vorhandensein eines Lungenknotens) von 92 % führen, während die Anwendung desselben Standardklassifikators auf das modifizierte erste medizinische Bild IMG.1' zu einer Vorhersage von 11% führen kann.
Zur Änderung des ersten medizinischen Bildes IMG.1 innerhalb dieser Ausführungsform wird das erste medizinische Bild IMG.1 auf eine kleinere Größe zugeschnitten. Dies ist vorteilhaft in der Situation, in der die trainierte Inpaint-Funktion TIF so ausgebildet ist, dass sie Eingabedaten mit einer Größe verwendet, die kleiner als das erste medizinische Bild IMG.1 ist. In diesem Fall entspricht auch die Ausgabe der trainierten Inpaint-Funktion TIF einer zugeschnittenen Version des modifizierten ersten medizinischen Bildes IMG.1'. Für das erfindungsgemäße Verfahren und die Systeme und ihre Aspekte ist es nicht wichtig, ob zugeschnittene oder unbeschnittene medizinische Bilder als erstes medizinisches Bild IMG.1 und modifiziertes erstes medizinisches Bild IMG.1' bezeichnet werden, da die unbeschnittene Version eines medizinischen Bildes durch Zuschneiden in die zugeschnittene Version umgewandelt werden kann und die zugeschnittene Version eines medizinischen Bildes durch Einfügen der zugeschnittenen Version in restliche Bilddaten in die unbeschnittene Version umgewandelt werden kann (z.B. kann die unbeschnittene Version des modifizierten ersten medizinischen Bildes IMG.1' durch Einfügen der Ausgabe der trainierten Inpaint-Funktion TIF, die der zugeschnittenen Version entspricht, in die unbeschnittene Version des ersten medizinischen Bildes IMG.1 erzeugt werden). Der Fachmann kann anhand des Kontextes der Spezifikation bestimmen, ob die zugeschnittene oder die unbeschnittene Version des medizinischen Bildes verwendet werden muss.
Innerhalb der Ausführungsform wird eine rechteckige Maske MSK im Kontext des ersten medizinischen Bildes IMG.1 verwendet, und die trainierte Inpaint-Funktion TIF wird auf eine Kombination der rechteckigen Maske MSK und des ersten medizinischen Bildes IMG.1 angewendet. Insbesondere werden die Maske MSK und das erste medizinische Bild IMG.1 kombiniert, indem die Intensitäten aller Pixel innerhalb des ersten medizinischen Bildes IMG.1, die sich innerhalb der Maske befinden, auf einen vordefinierten Wert (z.B. den minimalen oder maximalen möglichen Wert) eingestellt werden, wobei alle Pixel außerhalb der Maske unverändert bleiben, und das Ergebnis als Eingabe für die trainierte Inpaint-Funktion TIF verwendet wird.
In der in 1 dargestellten Ausführungsform entspricht der Anomalie-Patch AP einer Differenz des ersten medizinischen Bildes IMG.1 und des modifizierten ersten medizinischen Bildes IMG.1'. Die Differenz ist eine pixelweise Differenz der jeweiligen Intensitäten der Pixel. Weiterhin wird der Anomalie-Patch AP innerhalb dieser Ausführungsform zugeschnitten, hier auf die Größe und die Position der Maske MSK, wobei dieses Zuschneiden optional ist.
Außerdem zeigt 1 das modifizierte zweite medizinische Bild IMG.2'. Innerhalb dieser Ausführungsform gibt es kein dediziertes zweites medizinisches Bild IMG.2, da das zweite medizinische Bild IMG.2 dem modifizierten ersten medizinischen Bild IMG.1' entspricht. Alternativ kann ein anderes zweites medizinisches Bild IMG.2 verwendet werden. In der folgenden Beschreibung wird auf das zweite medizinische Bild IMG.2 verwiesen, wobei dieser Begriff auch durch den Begriff „modifiziertes erstes medizinisches Bild IMG.1' “ ersetzt werden könnte, wenn das zweite medizinische Bild IMG.2 und das modifizierte erste medizinische Bild IMG.1' identisch sind.
Das modifizierte zweite medizinische Bild IMG.2' wird durch Einfügen des Anomalie-Patches AP in das zweite medizinische Bild IMG.2 erstellt. Der Prozess des Einfügens des Anomalie-Patches AP kann auch als „lokale Merkmalsaugmentation“ bezeichnet werden, und das modifizierte zweite medizinische Bild IMG.2 kann als „augmentiertes Bild“ bezeichnet werden.
Zum Einfügen des Anomalie-Patches AP wird innerhalb dieser Ausführungsform eine Segmentierung des zweiten medizinischen Bildes IMG.2 in eine erste Region REG.1 und eine zweite Region REG.2 verwendet. Hier entspricht die erste Region REG.1 der Lunge des Patienten innerhalb des zweiten medizinischen Bildes IMG.2, und die zweite Region REG.2 entspricht den Teilen außerhalb der Lunge des Patienten innerhalb des zweiten medizinischen Bildes IMG.2. In dieser Ausführungsform, zur Erzeugung des modifizierten zweiten medizinischen Bildes IMG.2', wird der Anomalie-Patch AP nur in die erste Region REG.1, aber nicht in die zweite Region aufgenommen.
2 zeigt die Ausführungsform einer trainierten Inpaint-Funktion TIF als Kontext-Encoder-Netzwerk.
Das Kontext-Encoder-Netzwerk nimmt als Eingabe eine Kombination aus einem ersten medizinischen Bild IMG.1 und einer Maske MSK. Alternativ kann das Kontext-Encoder-Netzwerk auch direkt auf dem ersten medizinischen Bild IMG.1 betrieben werden. Im letzteren Fall muss das Kontext-Encoder-Netzwerk auch für die Lokalisierung abnormaler Strukturen innerhalb des ersten medizinischen Bildes IMG.1 trainiert werden. Weiterhin erzeugt das Kontext-Encoder-Netzwerk als Ausgabe ein modifiziertes erstes medizinisches Bild IMG.2, wobei der Kontext-Encoder aussagekräftige Intensitäten in Masken-MSK-Bereich rekonstruiert, wenn das erste medizinische Bild IMG.2.
In der angezeigten Ausführungsform besteht der Kontext-Encoder aus einem Encoder-Netzwerk ENC, einem Decoder-Netzwerk DEC und einer vollständig verbundenen Schicht FCL. Das Encoder-Netzwerk ENC umfasst mindestens eine, vorteilhafterweise mehrere faltende Schichten und vorteilhafterweise auch Pooling-Schichten. Das Decoder-Netzwerk DEC umfasst mindestens eine, vorteilhafterweise mehrere entfaltende Schichten und vorteilhafterweise auch Pooling-Schichten. Die vollständig verbundene Schicht FCL ist so konzipiert, dass jeder Knoten der Ausgangsschicht des Encoder-Netzwerks ENC mit jedem Knoten der Eingangsschicht des Decoder-Netzwerks DEC durch eine Kante mit einstellbarem oder trainierbarem Gewicht verbunden ist. In dieser Ausführungsform entspricht die Anzahl der Knoten in der Ausgangsschicht des Encoder-Netzwerks ENC der Anzahl der Knoten in der Eingangsschicht des Decoder-Netzwerks DEC, alternativ können sich diese beiden Zahlen auch unterscheiden.
In dieser Ausführungsform beträgt die Größe des ersten medizinischen Bildes IMG.1 und des modifizierten medizinischen Bildes IMG.1' 64x64 Pixel, die Größe der Maske MSK und die Größe des Anomalie-Patches AP betragen 32x32 Pixel. Innerhalb des Encoder-Netzwerks ENC werden fünf Schichten mit Schicht-Index L_enc = {0, 1, 2, 3, 4} verwendet, innerhalb des Decoder-Netzwerks DEC werden vier Schichten mit Schicht-Index L_dec = {0, 1, 2, 3} verwendet. Die Netzwerkkapazität ist so gewählt, dass die Kanalgröße C_L = 2(8+L) für Encoder-Netzwerk ENC und C_L = 2(^12-L) für das Decoder-Netzwerk DEC beträgt.
Das Training des Kontext-Encoders basiert auf dem Vergleich bekannter Bilder und der gleichen Bilder in Kombination mit Masken. Insbesondere wird eine Verlustfunktion minimiert, z.B. durch die Verwendung des Backpropagationsalgorithmus, und die Verlustfunktion kann auf der quadrierten oder absoluten pixelweisen Differenz des Originalbildes und des rekonstruierten Bildes basieren. Für das Training des Kontextdecoders wird innerhalb dieser Ausführungsform ein zusätzlicher räumlich diskontierter Rekonstruktionsverlust in der Trainingsverlustfunktion verwendet. Fehlende Pixel am Rand haben weniger Mehrdeutigkeit, daher werden diese Pixel während des Trainings stärker gewichtet. In dieser Ausführungsform werden die Gewichtungen für jedes Pixel als γ^r gewählt, wobei r die nächste Entfernung zum MSK-Rahmen der Maske bezeichnet und wobei γ ein konstanter Faktor ist. Innerhalb dieser Ausführungsform kann γ im Intervall zwischen 0,95 und 0,99 gewählt werden, vorteilhafterweise entspricht γ 0,97.
Basierend auf dem beschriebenen Kontext-Encoder kann der (p-te Pixel des) Anomalie-Patches AP als n_p = Θ_s(max{x_i - [TIF(x)]_p, 0}) berechnet werden, wobei x_p das p-te Pixel der Kombination der Maske MSK mit dem ersten medizinischen Bild IMG.1 bezeichnet, x^M _p = TIF(x)_p dem (p-ten Pixel des) modifizierten ersten medizinischen Bildes IMG.1' entspricht und der Parameter Θ_s einen bilateralen Filter mit einer vorteilhaften Filtergröße von s = 3 darstellt. Der maximale Vorgang entspricht einer Trunkierung, da Pixel mit Knoten heller als Pixel ohne Knoten sind, werden alle negativen Werte auf 0 trunkiert.
Hierin und im Folgenden wird der Index p als Multi-Index verwendet und kann. Wenn die jeweiligen Bilder zweidimensional sind, stellt der Multi-Index p (und später q) zwei Indizes dar, z.B. i und j, so dass x_P = x_ij. Wenn die jeweiligen Bilder dreidimensional sind, stellt der Multi-Index p drei Indizes dar, z.B. i, j und k, so dass x_p = x_ijk.
3 zeigt erste medizinische Bilder IMG.1, modifizierte erste medizinische Bilder IMG.1' und Anomalie-Patches AP, erstellt von der trainierten Inpaint-Funktion TIF von 2 für vier verschiedene erste medizinische Bilder IMG.1.
Das Training der trainierten Inpaint-Funktion TIF kann auf Basis von Patches durchgeführt werden, die an einer zufälligen Position aus Bildern ohne abnormale Strukturen extrahiert werden. Durch das Training der trainierten Inpaint-Funktion TIF, wie sie in Bezug auf 2 beschrieben wird, basierend auf 1 Million Patches (für Training), 10.000 Patches (zur Validierung) und 800 Patches (zum Testen), kann ein PSNR (Akronym für „Spitzensignal-Rausch-Verhältnis“) von 34,22 ± 3,95 erreicht werden.
Ansätze im Stand der Technik, z.B. E. Sogancioglu et al., „Chest X-ray Inpainting with Deep Generative Models“, arXiv:1809.01471 (2018), beanspruchen eine PSNR von 26,31 ± 4.48. Die Anwendung des Standes der Technik auf den gleichen Trainingsdatensatz ergibt ein Signal-Rausch-Verhältnis von 31,24 ± 3,77 und liegt damit immer noch unter den Ergebnissen unserer Wahl der trainierten Inpaint-Funktion TIF.
4 zeigt eine erste Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte.
Der erste Schritt der angezeigten Ausführungsform ist das Empfangen REC-1 eines ersten medizinischen Bildes IMG.1. Hier zeigt das erste medizinische Bild IMG-1 eine abnormale Struktur innerhalb eines Patienten.
In dieser Ausführungsform ist das erste medizinische Bild IMG.1 ein zweidimensionales Röntgenbild der Brust des Patienten. Die abnormale Struktur ist ein Lungenknoten in der Brust des Patienten. Alternativ können im Rahmen des erfindungsgemäßen Verfahrens und seiner Aspekte andere Arten von medizinischen Bildern und andere abnormale Strukturen verwendet werden.
Der zweite Schritt der angezeigten Ausführungsform ist die Anwendung APPL-TIF einer trainierten Inpaint-Funktion TIF auf das erste medizinische Bild IMG.1, wodurch ein modifiziertes erstes medizinisches Bild IMG.1' erzeugt wird. Hier wird die trainierte Inpaint-Funktion TIF dazu trainiert, abnormale Strukturen innerhalb eines medizinischen Bildes zu rekonstruieren.
Unter Bezeichnung des ersten medizinischen Bildes IMG.1 mit x und des modifizierten ersten medizinischen Bildes IMG.1' mit x^M beziehen sich diese beiden Objekte in dieser Ausführungsform durch x^M = TIF(x) (wobei x und x^M als Vektoren reeller Zahlen interpretiert werden können, jedes Pixel oder Voxel einem Eintrag des Vektors entspricht, und das Intensitätspixel oder - voxel dem numerischen Wert des Eintrags des Vektors entspricht).
Innerhalb dieser Ausführungsform ist die trainierte Inpaint-Funktion TIF der in 2 beschriebene Kontext-Encoder. Alternativ könnte die trainierte Inpaint-Funktion TIF eine beliebige andere Funktion sein, die darin trainiert wird, abnormale Strukturen innerhalb eines medizinischen Bildes zu rekonstruieren, z.B. basierend auf segmantischem Bild-Inpainting oder auf einem kontextuellen Dämpfungsmodell.
Ein weiterer Schritt der angezeigten Ausführungsform ist die Bestimmung DET-AP eines Anomalie-Patches AP basierend auf dem ersten medizinischen Bild IMG.1 und dem modifizierten ersten medizinischen Bild IMG-1'. In dieser Ausführungsform basiert der Anomalie-Patch AP auf einer Differenz des ersten medizinischen Bildes IMG.1 und des modifizierten ersten medizinischen Bildes IMG.1'. Insbesondere kann der Anomalie-Patch eine gekürzte Differenz des ersten medizinischen Bildes IMG.1 und des modifizierten ersten medizinischen Bildes IMG.1' sein. Der Intensitätswert n_p des p-ten Pixels oder Voxels des Anomalie-Patches AP kann beispielsweise als n_p = x_p - [TIF(x)]_p = x_p -x^M _p berechnet werden, definiert nur für die Pixel oder Voxel in der Umgebung der abnormalen Struktur. Beispielsweise kann die Mitte der abnormalen Struktur als Pixel oder Voxel definiert werden, wobei n_p = x_p -x^M _p maximal ist, oder durch andere bekannte Verfahren zur Erkennung abnormaler Strukturen (in dieser Ausführungsform, andere Verfahren zur Erkennung von Lungenknoten).
Ein weiterer Schritt der angezeigten ersten Ausführungsform ist das Empfangen REC-2 eines zweiten medizinischen Bildes IMG.2, wobei das zweite medizinische Bild IMG.2 vom gleichen Typ wie das erste medizinische Bild IMG.1 ist. In dieser ersten Ausführungsform ist das zweite medizinische Bild IMG.2 auch ein zweidimensionales Röntgenbild einer Brust eines Patienten. Insbesondere ist der Patient, der Gegenstand des zweiten medizinischen Bildes IMG.2 ist, ein anderer Patient als der Patient, der Gegenstand des ersten medizinischen Bildes IMG.1 ist, und das zweite medizinische Bild IMG.2 unterscheidet sich vom modifizierten ersten medizinischen Bild IMG.1'.
Vorteilhafterweise ist die Größe des zweiten medizinischen Bildes IMG.2 (gemessen anhand der Anzahl der Pixel oder Voxel in Bezug auf jede Dimension) die gleiche wie die Größe des ersten medizinischen Bildes IMG.1.
Ein weiterer Schritt der angezeigten ersten Ausführungsform ist das Einfügen INCL des Anomalie-Patches AP in das zweite medizinische Bild, wodurch ein modifiziertes zweites medizinisches Bild IMG.2' erzeugt wird.
Mit y wird das zweite medizinische Bild IMG.2 bezeichnet und mit y^M wird das modifizierte zweite medizinische Bild IMG.2' bezeichnet, und einschließlich INCL kann der Anomalie-Patch AP als pixel- oder voxelweise Summe des Anomalie-Patches AP und des zweiten medizinischen Bildes IMG.2 ausgeführt werden, was zu y^M _P = y_p + n_q führt, wobei das Pixel oder Voxel q dem Pixel oder Voxel p bis zu einem linearen Versatz entspricht (der lineare Versatz wird dadurch verursacht, dass der Anomalie-Patch AP eine kleinere Größe hat als das zweite medizinische Bild IMG.2, wobei der lineare Versatz die Position bestimmt, an der der Anomalie-Patch AP eingefügt werden soll), und wobei in n_q = 0 für nicht definierte Pixel oder Voxel.
Der letzte, optionale Schritt der angezeigten Ausführungsform ist die Bereitstellung PROV-IMG.2' des modifizierten zweiten medizinischen Bildes IMG.2', wobei die Bereitstellung PROV-IMG.2' des modifizierten zweiten medizinischem Bildes IMG.2' die Speicherung, Anzeige und/oder Übertragung des modifizierten zweiten medizinischen Bildes IMG.2' umfassen kann.
5 zeigt eine zweite Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte.
Innerhalb der zweiten Ausführungsform entspricht das zweite medizinische Bild IMG.2 dem modifizierten ersten medizinischen Bild IMG.1'. Dies bedeutet, dass der Schritt des Empfangs REC-2 des zweiten medizinischen Bildes IMG.2 bereits implizit durch die vorhergehenden Schritte ausgeführt wird. Alle anderen Schritte und vorteilhaften Merkmale der ersten Ausführungsform können auf die zweite Ausführungsform übertragen werden, wobei das zweite medizinische Bild IMG.2 durch das modifizierte erste medizinische Bild IMG.1 ersetzt werden muss.
Für die folgenden Ausführungsformen wird die erste Ausführungsform in 4 als Basis verwendet. Äquivalent könnten die anderen Ausführungsformen jedoch auch auf dem Flussdiagramm der zweiten Ausführungsform in dieser 5 basieren.
6 zeigt eine dritte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte.
Die dritte Ausführungsform umfasst alle Schritte und vorteilhaften Merkmale der ersten Ausführungsform, die in 4 dargestellt ist. Weiterhin umfasst die dritte Ausführungsform die Schritte der Anpassung ADPT-TDF mindestens eines Parameters einer trainierten Erkennungsfunktion auf Basis des modifizierten zweiten medizinischen Bildes IMG.2' und die Bereitstellung PROV-TDF der trainierten Erkennungsfunktion.
In der dritten Ausführungsform ist die abnormale Struktur ein Lungenknoten, und die trainierte Erkennungsfunktion ist so ausgebildet, dass Lungenknoten in zweidimensionalen Röntgenbildern der Brust eines Patienten erkannt werden.
In dieser Ausführungsform nimmt die trainierte Erkennungsfunktion ein zweidimensionales Röntgenbild der Brust eines Patienten als Eingabe und gibt Koordinaten eines Begrenzungsrahmens aus, der potenzielle Lungenknoten markiert. Wenn nach der trainierten Erkennungsfunktion kein Lungenknoten vorhanden ist, werden keine oder ungültige Koordinaten als Ausgabe angegeben. Die trainierte Erkennungsfunktion kann auch Koordinaten mehrerer Begrenzungskästen ausgeben. Trainierte Erkennungsfunktionen zur Erkennung abnormaler Strukturen in medizinischen Röntgenbildern der Brust sind z.B. aus dem Patentdokument US 10 691 980 B1 bekannt.
Das modifizierte zweite medizinische Bild IMG.2' kann für das Training zusammen mit der Position verwendet werden, an der der Anomalie-Patch AP als Bodenwahrheit für den Algorithmus enthalten war (oder, entsprechend mit dem Anomalie-Patch AP als Begrenzungskasten). Dies bedeutet, dass kein zusätzlicher Aufwand erforderlich ist, um das zweite medizinische Bild IMG.2' zu kommentieren. Das Training der trainierten Erkennungsfunktion kann durch das Training von Algorithmen erfolgen, die dem Fachmann bekannt sind, z.B. mit Hilfe des Backpropagationsalgorithmus.
7 zeigt eine vierte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte.
Die vierte Ausführungsform umfasst alle Schritte und vorteilhaften Merkmale der ersten Ausführungsform, die in 4 dargestellt ist. Weiterhin umfasst die vierte Ausführungsform einen Schritt des Bestimmens DET-MSK einer Maske MSK, die der abnormalen Struktur innerhalb des ersten medizinischen Bildes IMG.1 entspricht. Weiterhin basieren die Schritte des Anwendens APPL-TIF der trainierten Inpaint-Funktion TIF auf das erste medizinische Bild IMG.1 und/oder der Schritt des Bestimmens DET-AP des Anomalie-Patches AP weiterhin auf der Maske MSK.
Innerhalb dieser Ausführungsform haben der Anomalie-Patch AP und die Maske MSK die gleiche Dimensionalität. Beide sind zweidimensionale Bilder, und die Größe in Bezug auf jede der Dimensionen (gemessen in Pixel) ist identisch.
Insbesondere kann die Maske MSK mit einer trainierten Funktion bestimmt werden, die für die Bestimmung von Begrenzungskästen für abnormale Strukturen in medizinischen Bildern trainiert ist, wobei das MSK auf dem Begrenzungsrahmen basiert oder sogar mit dem Begrenzungsrahmen gleichwertig ist. In unserer Ausführungsform markieren diese Begrenzungskästen potenzielle Lungenknoten in Röntgenbildern der Brust von Patienten. Eine solche trainierte Funktion kann anhand von Röntgenbildern der Brust bestimmt werden, bei denen ein Arzt die Begrenzungskästen solcher Knoten manuell bestimmt. Die Größe und/oder die Position eines solchen manuell festgelegten Begrenzungsrahmens kann dann als Bodenwahrheit für eine solche trainierte Funktion verwendet werden.
Alternativ kann anstelle eines Begrenzungsrahmens eine trainierte Funktion (oder ein beliebiger anderer Algorithmus zum Erkennen abnormaler Strukturen wie Lungenknoten) verwendet werden, um das Pixel zu bestimmen, das der Mitte der abnormalen Struktur entspricht. Die Maske MSK kann dann eine feste, vorbestimmte Größe haben und kann als zentriert in Bezug auf das ermittelte Pixel bestimmt werden.
Wenn M z.B. die Maske MSK bezeichnet, die durch ein zweidimensionales Bild dargestellt wird, das die gleiche Dimensionalität und Größe wie x als erstes medizinisches Bild IMG.1 darstellt, und (i₀, j₀) dem Index des Pixels, das die Mitte des ersten medizinischen Bildes IMG.1 darstellt, entsprechen, kann eine quadratische Maske MSK mit einer Größe von 2L+1 Pixeln dargestellt werden als Mij = 1 für i₀ - L ≤ i ≤ i₀ + L und j₀ - L ≤ j ≤ j₀ + L und M_ij = 0 sonst.
In dieser Ausführungsform impliziert das Anwenden APPL-TIF der trainierten Inpaint-Funktion TIF basierend auf der Maske MSK, dass die Maske MSK als zusätzliche Eingabe für die trainierte Inpaint-Funktion TIF verwendet wird, so dass der Anomalie-Patch AP berechnet werden kann als n_p = x_p - [TIF (x, M) ]_p = x_p ^_x^M _p. Anschließend kann die Größe des Anomalie-Patches AP auf die Größe der Maske MSK reduziert werden, indem Pixel oder Voxel außerhalb der Maske trunkiert werden. Alternativ bedeutet das Anwenden APPL-TIF der trainierten Inpaint-Funktion TIF basierend auf der Maske MSK, dass die Eingabe der trainierten Inpaint-Funktion TIF auf einer Kombination der Maske MSK und des ersten medizinischen Bildes IMG.1 basiert. Wenn z.B. m_p = [x·M]_P := x_p·M_p der pixelweisen Multiplikation des ersten medizinischen Bildes IMG.1 und der Maske entspricht, kann der Anomalie-Patch AP berechnet werden als n_p = x_p - TIF(x·M)_p = x_p ^_ _X ^M _p. Anschließend kann die Größe des Anomalie-Patches AP auf die Größe der Maske MSK reduziert werden, indem Pixel oder Voxel außerhalb der Maske trunkiert werden. In beiden Fällen kann die Größe der Eingabewerte der trainierten Inpaint-Funktion TIF durch Trunkieren von Pixeln oder Voxeln reduziert werden, so dass die als Eingabewert verwendeten Bilder eine vorgegebene Dimensionalität aufweisen und/oder der Bereich der Maske in Bezug auf die verwendeten Bilder als Eingabe der trainierten Inpaint-Funktion TIF zentriert ist.
8 zeigt eine fünfte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte.
Die fünfte Ausführungsform umfasst alle Schritte und vorteilhaften Merkmale der ersten Ausführungsform, die in 4 dargestellt ist. Weiterhin umfasst die fünfte Ausführungsform den Schritt des Trunkierens von TRNC-Pixeln oder Voxeln des Anomalie-Patches AP mit negativen Intensitätswerten und/oder den Schritt des Anwendens APPL-FF einer Filterfunktion auf den Anomalie-Patch AP. Innerhalb dieser Ausführungsform ist die Filterfunktion eine bilaterale Filterfunktion.
Das Trunkieren von TRNC-Pixeln oder Voxeln des Anomalie-Patches AP kann mit einer Max-Funktion bei der Berechnung des Anomalie-Patches AP wie folgt durchgeführt werden: $n_{P} = x_{P} - max ({[TIF (x,M)]}_{p},0) = x_{P} - max (x^{M}_{P},0)$
Dies impliziert, dass der Anomalie-Patch AP nur positive Intensitätswerte umfasst.
Die Anwendung APPL-FF einer Filterfunktion auf den Anomalie-Patch AP kann implementiert werden, indem der gefilterte Anomalie-Patch AP bei der Berechnung des modifizierten zweiten medizinischen Bildes IMG.2' verwendet wird, wie bereits zuvor beschrieben: $y^{M}_{P} = y_{P} + Θ {(n)}_{q}$
Hier definiert Θ die Filterfunktion. Eine bilaterale Filterfunktion wird z.B. gegeben durch ${[Θ_{S} (n)]}_{P} = W^{- 1} (n,q) \sum_{q \in s (p)} Gd (d (p,q)) \cdot Gr (| n_{p} {-n}_{q} |) \cdot n_{q}$
Hier sind p und q Multi-Indizes, S (p) ist eine Umgebung des Pixels p (z.B. eine quadratische oder kubische Maske um das Pixel, die durch den Multi-Index p angegeben wird, z.B. mit 3 Pixel Kantenlänge), W ist ein Gewichtungsfaktor (für Normalisierung, W(n,q) = Σq∈_s(_p) G_d(d(p, q) )·G_I ( | n_p - n_q | ) ) , G_d und G_I sind Filterkerne (z.B. Gaußsche Kerne), und d(p,q) ist eine Entfernungsfunktion, die eine Entfernung (z.B. euklidische Entfernung oder Manhattan-Distanz) zwischen den Multi-Indizes p und q darstellt.
9 zeigt eine sechste Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte.
Die sechste Ausführungsform umfasst alle Schritte und vorteilhaften Merkmale der ersten Ausführungsform, die in 4 dargestellt ist. Weiterhin umfasst die sechste Ausführungsform den Schritt des Segmentierens SEG des zweiten medizinischen Bildes IMG.2 in eine erste Region REG.1 und eine zweite Region REG.2, wobei die erste Region REG.1 eine Region ist, die abnormale Strukturen enthalten kann, und wobei die zweite Region REG.2 eine Region ist, die keine abnormalen Strukturen enthalten kann. Weiterhin wird im Einfügeschritt INCL der Anomalie-Patch AP in die erste Region REG.1 des zweiten medizinischen Bildes IMG.1 eingefügt.
Insbesondere wird innerhalb dieser Ausführungsform der Anomalie-Patch AP in die erste Region REG.1 eingefügt, so dass der Anomalie-Patch AP vollständig in die erste Region REG.1 eingefügt wird, was bedeutet, dass es keine Überschneidung zwischen dem Anomalie-Patch AP und der zweiten Region REG.2 gibt. Alternativ kann der Anomalie-Patch AP auch in die erste Region REG.1 eingefügt werden, so dass sich nur das Zentrum des Anomalie-Patches AP notwendigerweise innerhalb der ersten Region REG.1 befindet, was bedeutet, dass andere Teile des Anomalie-Patches AP sich mit der zweiten Region schneiden können.
Insbesondere wird innerhalb dieser Ausführungsform die Segmentierung SEG des zweiten medizinischen Bildes IMG.2 mit einer trainierten Segmentierungsfunktion aus einem U-Net-Segmentierungsnetzwerk ausgeführt.

10 zeigt eine siebte Ausführungsform eines computerimplementierten Verfahrens zur Erzeugung modifizierter medizinischer Bilder gemäß der Erfindung und seiner Aspekte. Die siebte Ausführungsform kombiniert alle vorherigen Schritte der anderen Ausführungsformen. Die in der siebten Ausführungsform dargestellten Schritte werden nicht notwendigerweise in der in 10 dargestellten Reihenfolge ausgeführt, sie können auch in einer anderen Reihenfolge oder (zumindest teilweise) parallel ausgeführt werden. Schritte, die in gestrichelten Linien angezeigt werden, sind optionale Schritte.

Tabelle A: Fläche unter der Kurve für ein Klassifizierungssystem, das basierend auf der Erfindung trainiert wird
Größe des Trainingssatzes	100%	70%	50%	20%	10%	5%
Trainingsbilder	79011	55307	39505	15802	7901	3950
Baseline	0.792 ±0.010	0.776 ±0.012	0.763 ±0.009	0.722 ±0.019	0.667 ±0.007	0.649 ±0.009
Standard-Augment.	0.795 ±0.004	0.775 ±0.008	0.769 ±0.010	0.728 ±0.013	0.681 ±0.005	0.655 ±0.007
Erfindung	0.805 ±0.004	0.790 ±0.005	0.781 ±0.004	0.746 ±0.005	0.705 ±0.017	0.669 ±0.013

Tabelle A zeigt experimentelle Daten für ein Klassifizierungssystem für Lungenknoten, die auf dem erfindungsgemäß veränderten Röntgenbild der Brust und seinen Aspekten trainiert sind.
Für die Experimente wurden Daten aus dem ChestX-ray14 (X. Wang et al., „ChestX-ray14: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases", 2017) und die JSRT-Datenbank (J. Shiraishi J. et al., „Development of a digital image database for chest radiographs with and without a lung nodule: Receiver operating characteristic analysis of radiologists' detection of pulmonary nodules", In: AJR. S. 71-74, 2000) verwendet. Die kombinierte Datenbank enthält 112.367 Bilder mit 6.485 Knotenbildern. In den Datasätzen werden Knotenbegrenzungsfelder für 233 Bilder bereitgestellt.
Um sicherzustellen, dass Knoten zu Augmentationszwecken zuverlässig entfernt werden, wurden die modifizierten ersten medizinischen Bilder IMG.1' einzeln validiert. Wenn die Klassifizierungsvorhersage (Suche nach dem Vorhandensein von Lungenknoten) unter dem Schwellenwert 0,5 (mögliche Werte zwischen 0,0 und 0,1) lag, wurde der entsprechende Anomalie-Patch AP für den Augmentationsprozess berücksichtigt. Zusätzlich zu den Trainingsbildern konnten somit 178 Knoten-Patches enthalten sein. Das Modell wurde wie folgt trainiert: Für jedes Bild und jede Epoche wurde ein Knoten-Patch mit der Wahrscheinlichkeit k eingefügt. Dementsprechend wurde die entsprechende Knoten-Kennzeichnung geändert.
Um den Nutzen der Verwendung des erfindungsgemäßen Bildaugmentationsverfahrens auf unterschiedliche Größen des Trainingssatzes zu bewerten, wurde eine Lernkurvenanalyse durchgeführt. Das Netzwerk wurde mit t%-Bildern des Trainingssatzes trainiert und die Leistung wurde bewertet. Der Datensatz wurde patientenweise in 70 %, 10 % bzw. 20 % für Training, Validierung und Tests aufgeteilt. Es wurde sichergestellt, dass die Bilder aus den extrahierten Knoten-Patches im Trainingssatz vorhanden waren. Für alle Versuche wurde eine Knoteneinfügerate von k = 0,05 verwendet. Jeder Versuch wurde 3 Mal durchgeführt. Der resultierende Mittelwert und die Standardabweichung der 3 Durchläufe sind in Tabelle A dargestellt. Die Baseline ist definiert als ohne Augmentationstechniken (Zeile 1). Versuche wurden mit Augmentation des Standes der Technik am Gesamtbild durchgeführt. Zufälliges horizontales Kippen und zufällige Rotation der Anomalie-Patches AP mit einem Gradbereich von [-15, 15] wurden verwendet. Im Vergleich zum Basismodell (Zeile 2) ist keine signifikante Verbesserung zu beobachten. Die Auswertung des erfindungsgemäßen lokalen Merkmalsaugmentationsverfahrens ist in Zeile 3 zu sehen. Für jede Spalte wurde der gleiche Trainingssatz angewendet. Für alle Trainingssatzgrößen kann festgestellt werden, dass das erfindungsgemäße Augmentationsverfahren im Vergleich zur Basis- und Standard-Augmentationsmethode konstant eine bessere Leistung erzielt.
11 zeigt ein Flussdiagramm einer Ausführungsform des Verfahrens zur Erkennung einer abnormalen Struktur, umfassend den Schritt des Empfangs REC-3 eines dritten medizinischen Bildes und des Anwendens APPL-TDF einer trainierten Erkennungsfunktion, die durch das Verfahren nach einer der beschriebenen Ausführungsformen zur Erzeugung modifizierter medizinischer Bilder zur Erkennung der abnormalen Struktur innerhalb des dritten medizinischen Bildes bereitgestellt wird.
In dieser Ausführungsform ist das dritte medizinische Bild auch ein zweidimensionales Röntgenbild einer Brust eines Patienten, und die trainierte Erkennungsfunktion wird trainiert, um Lungenknoten innerhalb des dritten medizinischen Bildes zu erkennen.
12 zeigt ein Erzeugungssystem GSYS zur Erzeugung modifizierter medizinischer Bilder, 13 zeigt ein Erkennungssystem DSYS zur Erkennung einer abnormalen Struktur. Das Erzeugungssystem GSYS umfasst eine Schnittstelle GSYS.IF, eine Berechnungseinheit GSYS.CU und eine Speichereinheit GSYS.MU. Das Erkennungssystem DSYS umfasst eine Schnittstelle DSYS.IF, eine Berechnungseinheit DSYS.CU und eine Speichereinheit DSYS.MU.
Das Erzeugungssystem GSYS und/oder das Erkennungssystem DSYS können ein (persönlicher) Computer, eine Workstation, eine virtuelle Maschine, die auf Hosthardware läuft, ein Mikrocontroller oder eine integrierte Schaltung sind. Insbesondere können das Erzeugungssystem GSYS und/oder das Erkennungssystem DSYS mobile Geräte sein, z.B. ein Smartphone oder ein Tablet. Alternativ können das Erzeugungssystem GSYS und/oder das Erkennungssystem DSYS eine reale oder virtuelle Gruppe von Computern sein (der technische Begriff für eine reale Gruppe von Computern ist „Cluster“, der Fachbegriff für eine virtuelle Gruppe von Computern ist „Cloud“).
Das Erzeugungssystem GSYS und/oder das Erkennungssystem können an ein Netzwerk angeschlossen werden. Das Netzwerk kann als LAN (Akronym für „Local Area Network“), insbesondere als WiFi-Netzwerk oder jede andere lokale Verbindung, z.B. über Bluetooth oder USB (Akronym für „Universal Serial Bus“), realisiert werden. Das Netzwerk kann alternativ auch als VPN realisiert werden (Akronym für „virtuelles privates Netzwerk“).
Eine Schnittstelle GSYS.IF, DSYS.IF kann als Hardware-Schnittstelle oder als Software-Schnittstelle (z.B. PCIBus, USB oder Firewire) verkörpert werden. Insbesondere kann die Schnittstelle GSYS.IF, DSYS.IF eine Kombination aus mehreren anderen Schnittstellen sein, insbesondere kann die Schnittstelle GSYS.IF, DSYS.IF eine oder mehrere Schnittstellen als Unterkomponente umfassen. Im Allgemeinen kann eine Berechnungseinheit GSYS.CU Hardwareelemente und Softwareelemente umfassen, z.B. einen Mikroprozessor, eine CPU (Akronym für „zentrale Verarbeitungseinheit“), eine GPU (Akronym für „grafische Verarbeitungseinheit“), ein feldprogrammierbares Gate-Array (ein Akronym ist „FPGA“) oder ein ASIC (Akronym für „anwendungsspezifische integrierte Schaltung“). Die Berechnungseinheit GSYS.CU, DSYS.CU kann für Multithreading konfiguriert werden, d.h. die Berechnungseinheit GSYS.CU kann verschiedene Berechnungsprozesse gleichzeitig hosten und diese entweder parallel ausführen oder zwischen aktiven und passiven Berechnungsprozessen umschalten. Insbesondere kann die Berechnungseinheit GSYS.CU, DSYS.CU eine Kombination mehrerer anderer Berechnungseinheiten sein, insbesondere kann die Berechnungseinheit GSYS.CU, DSYS.CU eine oder mehrere Berechnungseinheiten als Unterkomponenten umfassen. Eine Speichereinheit GSYS.MU, DSYS.MU kann z.B. ein nicht permanenter Hauptspeicher (z.B. Direktzugriffsspeicher) oder ein permanenter Massenspeicher (z.B. Festplatte, USB-Stick, SD-Karte, Solid-State-Disk) sein.
Wo nicht bereits explizit beschrieben, können einzelne Ausführungsformen oder ihre individuellen Aspekte und Merkmale miteinander kombiniert oder ausgetauscht werden, ohne den Umfang der beschriebenen Erfindung einzuschränken oder zu erweitern, wenn eine solche Kombination oder ein solcher Austausch sinnvoll und im Sinne dieser Erfindung ist. Vorteile, die in Bezug auf eine Ausführungsform der vorliegenden Erfindung beschrieben werden, sind, soweit anwendbar, auch vorteilhaft für andere Ausführungsformen der vorliegenden Erfindung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 10691980 B1 [0124]

Zitierte Nicht-Patentliteratur

E. Sogancioglu et al., „Chest X-ray Inpainting with Deep Generative Models“, arXiv:1809.01471 (2018) [0024]
X. Wang et al., „ChestX-ray14: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases“, 2017 [0143]
J. Shiraishi J. et al., „Development of a digital image database for chest radiographs with and without a lung nodule: Receiver operating characteristic analysis of radiologists' detection of pulmonary nodules“, In: AJR. S. 71-74, 2000 [0143]

Claims

Computerimplementiertes Verfahren zur Erzeugung modifizierter medizinischer Bilder, umfassend: - Empfangen (REC-1) eines ersten medizinischen Bildes (IMG.1), wobei das erste medizinische Bild (IMG.1) eine abnormale Struktur innerhalb eines Patienten zeigt, - Anwenden (APPL-TIF) einer trainierten Inpaint-Funktion (TIF) auf das erste medizinische Bild (IMG.1), wodurch ein modifiziertes erstes medizinisches Bild (IMG.1') erzeugt wird, wobei die trainierte Inpaint-Funktion (TIF) dazu trainiert ist, eine fehlende Region innerhalb eines medizinischen Bildes zu rekonstruieren, insbesondere eine der abnormalen Struktur entsprechende fehlende Region, - Bestimmen (DET-AP) eines Anomalie-Patches (AP) basierend auf dem ersten medizinischen Bild (IMG.1) und dem modifizierten ersten medizinischen Bild (IMG.1'), insbesondere basierend auf einer Differenz des ersten medizinischen Bildes (IMG.1) und des modifizierten ersten medizinischen Bildes (IMG.1'), - Empfangen (REC-2) eines zweiten medizinischen Bildes (IMG.2), wobei das zweite medizinische Bild (IMG.2) vom gleichen Typ wie das erste medizinische Bild (IMG.1) ist, - Einfügen (INCL) des Anomalie-Patches (AP) in das zweite medizinische Bild (IMG.2), wodurch ein modifiziertes zweites medizinisches Bild (IMG.2') erzeugt wird, wobei insbesondere der Anomalie-Patch (AP) an einer Position in das zweite medizinische Bild (IMG.2) eingefügt wird, die sich von der Position des Anomalie-Patches (AP) im ersten medizinischen Bild (IMG.1) unterscheidet.
Verfahren nach Anspruch 1, wobei das zweite medizinische Bild (IMG.2) mit dem modifizierten ersten medizinischen Bild (IMG.1') identisch ist.
Verfahren nach Anspruch 1 oder Anspruch 2, wobei das erste medizinische Bild (IMG.1) und das zweite medizinische Bild (IMG.2) : - ein Röntgenbild, - ein Computertomographiebild, - ein Magnetresonanzbild, - ein Positronen-Emissionstomographie-Bild, - ein Einzelphotonen-Emissions-Computertomographiebild und/oder - ein Ultraschallbild sind.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die abnormale Struktur ein Knoten ist, und wobei der Anomalie-Patch (AP) ein Knoten-Patch ist.
Verfahren nach Anspruch 4, wobei das erste medizinische Bild (IMG.1) ein medizinisches Bild einer Lunge des Patienten ist, und wobei die abnormale Struktur ein Lungenknoten ist.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: - Bestimmung (DET-MSK) einer Maske (MSK), die der abnormalen Struktur innerhalb des ersten medizinischen Bildes (IMG.1) entspricht, wobei das Anwenden (APPL-TIF) der trainierten Inpaint-Funktion (TIF) auf das erste medizinische Bild (IMG.1) und/oder das Bestimmen (DET-AP) des Anomalie-Patches (AP) weiterhin auf der Maske (MSK) basieren, wobei der Anomalie-Patch (AP) und die Maske (MSK) insbesondere die gleiche Dimensionalität haben.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Anomalie-Patch (AP) Pixel oder Voxel umfasst, wobei die Pixel oder Voxel Intensitätswerte umfassen, weiterhin umfassend: - Trunkieren (TRNC) von Pixeln oder Voxeln des Anomalie-Patches (AP) mit negativen Intensitätswerten.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: - Anwenden (APPL-FF) einer Filterfunktion auf den Anomalie-Patch (AP), wobei die Filterfunktion insbesondere eine bilaterale Filterfunktion ist.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: - Segmentieren (SEG) des zweiten medizinischen Bildes (IMG.2) in eine erste Region (REG.1) und eine zweite Region (REG.2), wobei die erste Region (REG.1) eine Region ist, die abnormale Strukturen enthalten kann, und wobei die zweite Region (REG.2) eine Region ist, die keine abnormalen Strukturen enthalten kann; wobei im Einfügeschritt (INCL) der Anomalie-Patch (AP) in die erste Region (REG.1) des zweiten medizinischen Bildes (IMG.1) eingefügt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei im Einfügeschritt (INCL) eine Transformation auf den Anomalie-Patch (AP) angewendet wird, wobei die Transformation insbesondere eine Rotation und/oder eine Spiegelung des Anomalie-Patches (AP) ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die trainierte Inpaint-Funktion (TIF) ein künstliches neuronales Netzwerk umfasst, wobei das künstliche neuronale Netzwerk eine faltende Schicht umfasst.
Verfahren nach Anspruch 11, wobei das künstliche neuronale Netzwerk ein Kontext-Encoder-Netzwerk ist.
Verfahren nach Anspruch 12, wobei mindestens ein Parameter des Kontext-Encoder-Netzwerks auf einer räumlich diskontierten Rekonstruktionsverlustfunktion basiert.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend: - Anpassen (ADPT) mindestens eines Parameters einer trainierten Erkennungsfunktion (TDF) basierend auf dem modifizierten zweiten medizinischen Bild (IMG.2') und - Bereitstellen (PROV) der trainierten Erkennungsfunktion.
Verfahren nach Anspruch 14, wobei das Training der trainierten Erkennungsfunktion auf einem Vergleich der Position des Anomalie-Patches (AP) im modifizierten zweiten medizinischen Bild (IMG.2) und/oder dem Schweregrad der dem Anomalie-Patches (AP) entsprechenden abnormalen Struktur, mit der Ausgabe der trainierten Erkennungsfunktion basiert.
Erzeugungssystem (GSYS) zur Erzeugung modifizierter medizinischer Bilder, umfassend: - eine Schnittstelle (GSYS.IF), ausgebildet zum Empfangen (REC-1) eines ersten medizinischen Bildes (IMG.1) , wobei das erste medizinische Bild (IMG.1) eine abnormale Struktur innerhalb eines Patienten zeigt, weiterhin ausgebildet zum Empfangen (REC-2) eines zweiten medizinischen Bildes (IMG.2), wobei das zweite medizinische Bild (IMG.2) vom gleichen Typ wie das erste medizinische Bild (IMG.1) ist, - eine Berechnungseinheit (GSYS.CU) ausgebildet zum Anwenden (APPL-TIF) einer trainierten Inpaint-Funktion (TIF) auf das erste medizinische Bild (IMG.1), wodurch ein modifiziertes erstes medizinisches Bild (IMG.1') erzeugt wird, wobei die trainierte Inpaint-Funktion (TIF) dazu trainiert ist, eine fehlende Region innerhalb eines medizinischen Bildes zu rekonstruieren, insbesondere eine der abnormalen Struktur entsprechende fehlende Region, weiterhin ausgebildet zum Bestimmen (DET-AP) eines Anomalie-Patches (AP) basierend auf dem ersten medizinischen Bild (IMG.1) und dem modifizierten ersten medizinischen Bild (IMG.1'), insbesondere basierend auf einer Differenz des ersten medizinischen Bildes (IMG.1) und des modifizierten ersten medizinischen Bildes (IMG.1'), weiterhin ausgebildet zum Einfügen (INCL) des Anomalie-Patches (AP) in das zweite medizinische Bild, wodurch ein modifiziertes zweites medizinisches Bild (IMG.2') erzeugt wird, wobei insbesondere der Anomalie-Patch (AP) an einer Position in das zweite medizinische Bild (IMG.2) eingefügt wird, die sich von der Position des Anomalie-Patches (AP) im ersten medizinischen Bild (IMG.1) unterscheidet.
Computerprogramm mit Anweisungen, die, wenn das Programm von einem Erzeugungssystem (GSYS) ausgeführt wird, veranlassen, dass das System das Verfahren nach einem der Ansprüche 1 bis 15 ausführt.
Computerlesbares Medium mit Anweisungen, die bei Ausführung durch ein Erzeugungssystem (GSYS) veranlassen, dass das System das Verfahren nach einem der Ansprüche 1 bis 15 ausführt.
Computerimplementiertes Verfahren zur Erkennung einer abnormalen Struktur, umfassend: - Empfangen (REC-3) eines dritten medizinischen Bildes, - Anwenden (APPL-TDF) einer durch das Verfahren nach Anspruch 14 oder Anspruch 15 bereitgestellten trainierten Erkennungsfunktion zur Erkennung der abnormalen Struktur innerhalb des dritten medizinischen Bildes.
Erkennungssystem (DSYS) zur Erkennung einer abnormalen Struktur, umfassend: - eine Schnittstelle (DSYS.IF), ausgebildet zum Empfangen (REC-3) eines dritten medizinischen Bildes, - eine Speichereinheit (DSYS.MU), ausgebildet zum Speichern einer durch das Verfahren nach Anspruch 14 oder Anspruch 15 bereitgestellten trainierten Erkennungsfunktion, und - eine Berechnungseinheit (DSYS.CU), ausgebildet zum Anwenden (APPL-TDF) der trainierten Erkennungsfunktion, um die abnormale Struktur innerhalb des dritten medizinischen Bildes zu erkennen.