DE102021210281A1 - Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger - Google Patents

Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger Download PDF

Info

Publication number
DE102021210281A1
DE102021210281A1 DE102021210281.6A DE102021210281A DE102021210281A1 DE 102021210281 A1 DE102021210281 A1 DE 102021210281A1 DE 102021210281 A DE102021210281 A DE 102021210281A DE 102021210281 A1 DE102021210281 A1 DE 102021210281A1
Authority
DE
Germany
Prior art keywords
magnetic resonance
resonance image
contrast
assignment
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021210281.6A
Other languages
English (en)
Inventor
Mario Zeller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to DE102021210281.6A priority Critical patent/DE102021210281A1/de
Priority to US17/946,339 priority patent/US20230077932A1/en
Publication of DE102021210281A1 publication Critical patent/DE102021210281A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz eines Aufnahmebereichs eines Patienten, wobei der Kontrast aufgrund der Verwendung einer kontrastspezifischen Magnetresonanzsequenz bei der Aufnahme besteht, wobei es folgende Schritte umfasst:
- Empfang von Magnetresonanzdaten des Magnetresonanzbilddatensatzes umfassenden Eingangsdaten,
- Anwendung wenigstens einer trainierten Zuordnungsfunktion (33) auf die Eingangsdaten, wobei eine Kontrastzuordnungsinformation (38) umfassende Ausgangsdaten ermittelt werden,
- Bereitstellen der Ausgangsdaten.

Description

  • Die Erfindung betrifft ein computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz eines Aufnahmebereichs eines Patienten, wobei der Kontrast aufgrund der Verwendung einer kontrastspezifischen Magnetresonanzsequenz bei der Aufnahme vorliegt. Daneben betrifft die Erfindung eine Zuordnungseinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger.
  • Die Magnetresonanzbildgebung ist eine inzwischen etablierte Bildgebungsmodalität, insbesondere in der medizinischen Diagnostik. Dabei werden in einem Grundmagnetfeld ausgerichtete Spins in einem Aufnahmebereich eines Patienten mittels Hochfrequenzsignalen angeregt und es wird der Zerfall der Anregung gemessen. Zur Ortskodierung werden üblicherweise durch eine Gradientenspulenanordnung erzeugte Gradientenfelder eingesetzt. Der Ablauf von Hochfrequenzpulsen und Gradientenimpulsen wird üblicherweise Magnetresonanzsequenz genannt.
  • Üblicherweise werden unterschiedliche Magnetresonanzsequenzen genutzt, um bestimmte Bildkontraste (im Folgenden kurz Kontraste) innerhalb des aufgenommenen Magnetresonanzbilddatensatzes erreichen zu können. Den Bildwert in einem Magnetresonanzbild bestimmen dabei im Wesentlichen drei Parameter, nämlich zum einen die Protonendichte, also die Anzahl anregbarer Spins pro Volumeneinheit, die T1-Relaxationszeit und die T2-Relaxationszeit, wobei bezüglich der letzteren auch das effektive T2, also T2*, verwendet werden kann. Die entsprechenden Magnetresonanzbilddatensätze werden gemäß ihrem Kontrast als protonendichtegewichtet, T1-gewichtet, T2-gewichtet oder T2*-gewichtet bezeichnet. Auch andere Arten von Kontrasten wurden inzwischen vorgeschlagen, beispielsweise eine Diffusionsgewichtung.
  • Für Magnetresonanzbilddatensätze sind inzwischen eine Vielzahl von Auswertungsverfahren beziehungsweise konkret Auswertungsalgorithmen bekannt, die zur automatischen Auswertung im Zeitraum nach der Aufnahme verwendet werden können. Um viele Aspekte abdecken zu können, werden im Rahmen einer einzigen Untersuchung eines Patienten üblicherweise mehrere Magnetresonanzbilddatensätze mit unterschiedlichen Magnetresonanzsequenzen, also insbesondere auch unterschiedlichen Kontrasten, aufgenommen. Entsprechend existieren auch Auswertungsalgorithmen, beispielsweise Postprocessing-Applikationen, die als Eingangsinformation mehrere Magnetresonanzbilddatensätze einer Untersuchung mit unterschiedlichen Kontrasten entgegennehmen. Solche Kontraste können beispielsweise folgende Kontrastarten umfassen: T1, T2, T2*, Protonendichte (diese jeweils mit und ohne Fettsättigung), diffusionsgewichtet, perfusionsgewichtet, flüssigkeitsunterdrückt und magnetisierungspräpariert. Magnetisierungspräparationen umfassen die Verwendung verschiedener Arten von Präparationspulsen, um beispielsweise Signale bestimmter Spinarten, beispielsweise von Fett oder Wasser, zu unterdrücken. Als Eingangsinformation können derartigen Auswertungsalgorithmen auch quantitative Magnetresonanzdaten, beispielsweise T1-Karten, T2-Karten, Protonendichte-Karten, B0-Karten oder B1-Karten, übergeben werden. Diese unterschiedlichen Kontraste können in unterschiedlichen Orientierungen vorliegen. In dem Auswertungsalgorithmus muss dann bekannt sein, welcher Magnetresonanzbilddatensatz welchen Kontrast enthält, um entweder eine Anordnung der Magnetresonanzbilddatensätze in einem vorgegebenen, beispielsweise standardisierten, Bildschirmlayout zu ermöglichen oder eine korrekte Weiterverarbeitung der Magnetresonanzdaten zu ermöglichen. Eine Weiterverarbeitung solcher Magnetresonanzbilddatensätze kann beispielsweise die Berechnung von ADC-Karten aus diffusionsgewichteten Magnetresonanzbilddatensätzen, die Erzeugung von synthetischen Kontrasten aus T1-Karten, T2-Karten und Protonendichte-Karten und/oder eine auf künstlicher Intelligenz basierende Läsionssegmentierung umfassen, wobei selbstverständlich auch andere Zielrichtungen und Ergebnisse von Auswertungsalgorithmen möglich sind.
  • Um Kontraste zu eingehenden Magnetresonanzbilddatensätzen zuzuordnen, kann eine manuelle Eingabe durch einen Benutzer vorgesehen sein. Vorgeschlagen wurde jedoch auch die Verwendung von Look-Up-Tabellen, die auf bestimmten Stichworten oder Metainformationen, beispielsweise DICOM-Attributen, basieren. Allerdings ist ein derartiges automatisches Vorgehen sehr fehleranfällig, da sich solche textuellen Daten häufig zwischen Software-Versionen, insbesondere aber auch zwischen verschiedenen Software-Herstellern, und individuellen Kundenanpassungen unterscheiden. Weitere Probleme können dann auftreten, wenn Protokollparameter beziehungsweise Parameter der Magnetresonanzsequenz verändert wurden, beispielsweise eine Echozeit (TE) erhöht wurde, kontrastspezifizierender Text im Protokollnamen (jetzt T2 statt Protonendichte) jedoch nicht angepasst wurde.
  • Der Erfindung liegt daher die Aufgabe zugrunde, eine robuste und verlässliche Möglichkeit zur Zuordnung eines Kontrastes zu einem Magnetresonanzbilddatensatz anzugeben.
  • Diese Aufgabe wird gelöst durch Bereitstellung eines computerimplementierten Verfahrens, einer Zuordnungseinrichtung, eines Computerprogramms und eines elektronisch lesbaren Datenträgers gemäß den unabhängigen Patentansprüchen. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Ansprüchen.
  • Bei einem computerimplementierten Verfahren der eingangs genannten Art zur Zuordnung eines Kontrastes sind erfindungsgemäß folgende Schritten vorgesehen:
    • - Empfang von Magnetresonanzdaten des Magnetresonanzbilddatensatzes umfassenden Eingangsdaten,
    • - Anwendung wenigstens einer trainierten Zuordnungsfunktion auf die Eingangsdaten, wobei eine Kontrastzuordnungsinformation umfassende Ausgangsdaten ermittelt werden,
    • - Bereitstellen der Ausgangsdaten.
  • Erfindungsgemäß wird mithin vorgeschlagen, künstliche Intelligenz, insbesondere eines oder mehrere neuronale Netze, einzusetzen, um eine Klassifikation im Sinne einer Kontrastzuordnung zu Magnetresonanzbilddatensätzen zu erreichen, wodurch eine schnelle und zuverlässige Zuordnung ermöglicht wird. Auf diese Weise ist mithin eine automatisierte Zuordnung des jeweiligen Bildkontrasts zu einer Anzahl an Magnetresonanzbilddatensätzen möglich, so dass Fehler in der regelbasierten Zuordnung vermieden werden, eine herstellerunabhängige Zuordnungsoption bereitgestellt wird und Workflows insgesamt verbessert werden können.
  • Im Allgemeinen bildet eine trainierte Funktion, so mithin auch die trainierte Zuordnungsfunktion, kognitive Funktionen ab, die Menschen anderen menschlichen Gehirnen assoziieren. Durch Training basierend auf Trainingsdaten (Maschinenlernen) ist die trainierte Funktion in der Lage, sich an neue Umstände anzupassen und Muster zu detektieren und zu extrapolieren.
  • Allgemein gesagt können Parameter einer trainierten Funktion durch Training angepasst werden. Insbesondere können überwachtes Lernen, halbüberwachtes Lernen, nicht überwachtes Lernen, Reinforcement Learning und/oder aktives Lernen verwendet werden. Darüber hinaus kann auch Repräsentationslernen (auch als „Feature Learning“ bekannt) eingesetzt werden. Die Parameter der trainierten Funktion können insbesondere iterativ durch mehrere Trainingsschritte angepasst werden.
  • Eine trainierte Funktion kann beispielsweise ein neuronales Netz, eine Support Vector Machine (SVM), einen Entscheidungsbaum und/oder ein Bayes-Netzwerk umfassen und/oder die trainierte Funktion kann auf k-means-Clustering, Q-Lernen, genetischen Algorithmen und/oder Zuordnungsregeln basieren. Insbesondere kann ein neuronales Netzwerk, ein tiefes neuronales Netzwerk, ein Convolutional Neural Network (CNN) oder ein tiefes CNN sein. Darüber hinaus kann das neuronale Netzwerk ein Adversarial Network, ein tiefes Adversarial Network und/oder ein Generative Adversarial Network (GAN) sein.
  • Konkret kann beispielsweise vorgesehen sein, dass als trainierte Zuordnungsfunktion eine vortrainierte Funktion, die durch Transferlernen hinsichtlich der Kontrastzuordnung weiter trainiert wurde, verwendet wird. Beim Transferlernen wird zunächst eine vortrainierte Funktion, die für ein verwandtes Problem trainiert wurde, ausgewählt und sodann durch Transferlernen auf das eigentlich zu lösende Problem umgelernt, so dass eine deutlich geringere Anzahl von Trainingsdaten erforderlich ist, um dennoch eine hervorragende Leistung zu erreichen.
  • Mit besonderem Vorteil kann die trainierte Zuordnungsfunktion ein Convolutional Neural Network (CNN) umfassen. Mit besonderem Vorteil kann es sich bei dem CNN um ein ResNet handeln, beispielsweise ein ResNet-18 oder ein ResNet-34. Ein ResNet-18 hat dabei den Vorteil, einen guten Kompromiss zwischen Genauigkeit und Geschwindigkeit bereitzustellen. Auch andere ResNets eignen sich zudem hervorragend zur Bildklassifikation. Selbstverständlich können jedoch auch andere Netzwerkarchitekturen herangezogen werden, beispielsweise ein SqueezeNet und/oder ein AlexNet.
  • Allgemein kann gesagt werden, dass CNNs, auch solche, die als trainierte Zuordnungsfunktion eingesetzt werden können, eine Faltungsbasis zur Erzeugung von Merkmalen aus den Eingangsdaten, insbesondere Magnetresonanzbilddatensätzen, aufweisen, welche insbesondere Faltungsschichten und Pooling-Schichten umfassen kann. Der Faltungsbasis folgt dann üblicherweise ein Klassifizierer, der eine oder mehrere vollständig verbundene Schichten (Fully Connected Layers) enthalten kann. Das Hauptziel des Klassifizierers ist die Klassifizierung der Eingangsdaten basierend auf den mittels der Faltungsbasis extrahierten Merkmalen. Mit anderen Worten folgt auf eine Merkmalsextraktion in der Faltungsbasis eine Klassifizierung im Klassifizierer, um die Ausgangsdaten bereitzustellen. Ein ResNet, kurz für „Residual Neural Network“, zeichnet sich dadurch aus, dass tiefere neuronale Netzwerke erschaffen werden können, indem sogenannte „Skip Connections“ oder „Shortcuts“ eingesetzt werden, um Schichten zu überspringen. Die Zahlen zur Bezeichnung von ResNets, also beispielsweise 18, 34 und dergleichen, bezeichnen Schichten, obwohl die Architektur dieselbe ist. In einem ResNet existieren zwei hauptsächliche Typen von Blöcken, nämlich Identitätsblöcke, wenn die Eingangs- und Ausgangsaktivierungsdimensionen dieselben sind, und Faltungsblöcke, wenn die Eingangs- und Ausgangsaktivierungsdimensionen unterschiedlich sind. Beispielsweise kann, um die Aktivierungsdimensionen um einen Faktor von zwei zu reduzieren, eine 1x1-Faltung mit einer Schrittweite („Stride“) von zwei herangezogen werden. ResNet-18 umfasst beispielsweise mehrere Faltungsblöcke in der Faltungsbasis, woran der Klassifizierer anschließt. Zu weiteren Informationen zu ResNets sei im Übrigen auch auf den grundlegenden Artikel von K. He et al., „Deep Residual Learning for Image Recognition“, arXiv Preprint arXiv:1512.03385, 2015, verwiesen.
  • Als Kontraste können letztlich alle in der modernen Magnetresonanzbildgebung zum Einsatz kommenden Kontraste/Gewichtungen herangezogen werden. So kann beispielsweise vorgesehen sein, dass der wenigstens eine durch die trainierte Zuordnungsfunktion zuordenbare Kontrast aus der Gruppe umfassend T1, T2, T2*, protonendichtegewichtet, diffusionsgewichtet, perfusionsgewichtet und mittels eines Präparationspulses gewichtet gewählt ist. Derartige Kontraste und Magnetresonanzsequenzen, die das Vorliegen dieses Kontrasts in den Magnetresonanzbilddatensätzen zur Folge haben, sind im Stand der Technik bereits grundsätzlich bekannt und brauchen hier nicht im Detail dargelegt zu werden. Wesentlich ist, dass diese Kontraste unterschiedliche Bildeindrücke beziehungsweise Bildinhalte zur Folge haben, die durch künstliche Intelligenz im Rahmen der vorliegenden Erfindung differenziert und unterschieden werden können, um die Kontrastzuordnung verlässlich und robust zu ermöglichen. Dabei kann im Rahmen der vorliegenden Erfindung allgemein gesagt werden, dass die trainierte Zuordnungsfunktion als Eingangsdaten nur Magnetresonanzdaten eines Unterbereichs des Aufnahmebereichs und/oder bei einem mehrere Schichtbilder umfassenden Magnetresonanzbilddatensatz nur einen Teil der Schichtbilder verwenden kann und/oder dass die Magnetresonanzdaten der Eingangsdaten räumlich vergröbert verwendet werden. Hierzu kann allgemein angemerkt werden, dass Magnetresonanzbilddatensätze häufig als Schichtbildstapel, mithin Bildserie, aufgenommen werden, wobei die Schichtbilder eine bestimmte Orientierung aufweisen, beispielsweise axial oder dergleichen. Im Rahmen der vorliegenden Erfindung ist es nun möglich, um die Menge der Eingangsdaten zu reduzieren, nur Anteile des gesamten Magnetresonanzbilddatensatzes heranzuziehen, insbesondere repräsentative Anteile. Kurz gesagt kann die Klassifikation durch die wenigstens eine trainierte Zuordnungsfunktion auf allen Schichtbildern eines Magnetresonanzbilddatensatzes oder nur auf Teilausschnitten erfolgen.
  • Zur Datenreduzierung ist es insbesondere auch denkbar, eine räumliche Vergröberung vorzunehmen. Konkret kann beispielsweise vorgesehen sein, dass zur Ermittlung der Eingangsdaten die Magnetresonanzbilddatensätze auf eine geringere räumliche Auflösung herunterskaliert werden, insbesondere um mehr als 50%. Vorzugsweise kann eine quadratische Größe von Schichtbildern herangezogen werden. So kann die Menge an Eingangsdaten für die trainierte Zuordnungsfunktion deutlich verringert werden, ohne dass Bildinformationen des Magnetresonanzbilddatensatzes vollständig aufgegeben werden müssen, wie dies beim Herausschneiden von Ausschnitten nötig wäre. Trotz einer solchen vorverarbeitenden Vergröberung der Bildinformationen hat sich gezeigt, dass weiterhin hervorragende Ergebnisse mit einer sehr guten Zuordnung der Kontraste erzielt werden können. Das Herunterskalieren bezieht sich dabei bevorzugt auf die Dimension in der Schichtbildebene, so dass die Anzahl von Schichtbildern des Schichtbildstapels eines Magnetresonanzbilddatensatzes zweckmäßigerweise nicht verändert wird.
  • In einer ersten konkreten Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass wenigstens eine trainierte Zuordnungsfunktion verwendet wird, deren Kontrastzuordnungsinformation eine eine Zugehörigkeit zu einem von mehreren Kontrasten angebende Klassifizierungsinformation für den Magnetresonanzbilddatensatz umfasst. Mithin kann in dieser Ausführungsform eine unabhängige Kontrastklassifikation jedes einzelnen Magnetresonanzbilddatensatzes erfolgen. Hierbei kommt eine trainierte Zuordnungsfunktion, beispielsweise in einer ResNet-Architektur, zum Einsatz, die als Ausgabewert eine Kontrastklassifikation, beispielsweise „T1“, liefert. Während diese erste Ausgestaltung sehr universell ist und beispielsweise zur Massenklassifikation von Magnetresonanzbilddatensätzen herangezogen werden kann, ist es dennoch möglich, dass es innerhalb von Magnetresonanzbilddatensätzen einer einzigen Untersuchung eines Patienten zu Mehrfachzuordnungen kommen kann. Allerdings kann eine besonders vorteilhafte Weiterbildung in diesem Zusammenhang vorsehen, dass eine Datenbank mit einer Vielzahl von zu bewertenden Magnetresonanzbilddatensätzen zur Klassifikation bezüglich wenigstens eines vorbestimmten der Kontraste bereitgestellt wird, wobei alle Magnetresonanzbilddatensätze durch Anwendung der trainierten Zuordnungsfunktion ausgewertet werden und die als den vorbestimmten Kontrast gemäß der Ausgangsdaten zeigend klassifizierten Magnetresonanzbilddatensätze ausgewählt werden. Wie also bereits erwähnt, eignet sich diese erste Ausgestaltung besonders gut zur Massenklassifizierung. Hierbei kann die Auswahl der Magnetresonanzbilddatensätze mit besonderem Vorteil zum Trainieren einer zu trainierenden Auswertungsfunktion erfolgen. Das bedeutet, es können mittels dieser ersten Ausgestaltung Trainingsdaten für andere Applikationen vorsortiert werden, wenn beispielsweise ein Benutzer eine Datenbank mit Magnetresonanzbilddatensätzen einem Entwickler zur Verfügung stellt.
  • In einer zweiten konkreten Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass wenigstens eine trainierte Zuordnungsfunktion verwendet wird, deren Kontrastzuordnungsinformation eine Wahrscheinlichkeit für das Vorliegen wenigstens eines Kontrastes angibt, wobei eine Zuordnung zu einem Kontrast anhand eines Vergleiches mit einem Schwellwert und/oder mit wenigstens einer anderen Wahrscheinlichkeit der Kontrastzuordnungsinformation erfolgt. Auch in diesem Zusammenhang kann bevorzugt eine ResNet-Architektur zum Einsatz kommen, welche jedoch statt eines festen Klassifikationsergebnisses für alle behandelten Kontraste einen Regressionswert, also eine Wahrscheinlichkeit, zwischen Null und Eins liefert. In diesem Fall kann vorteilhafter Weise für mehrere Magnetresonanzbilddatensätze einer einzigen Untersuchung eines Patienten zunächst eine Wahrscheinlichkeitsbewertung der Bildkontraste für alle Magnetresonanzbilddatensätze hintereinander erfolgen, wonach für jeden Kontrast aus allen Ausgangsdaten, konkret Kontrastzuordnungsinformationen, der Maximalwert ermittelt werden kann. Dabei kann mit besonderem Vorteil konkret vorgesehen sein, dass die trainierte Zuordnungsfunktion auf mehrere Magnetresonanzbilddatensätze angewendet wird und Wahrscheinlichkeiten für mehrere, in der Anzahl wenigstens der Zahl der Magnetresonanzbilddatensätze entsprechende Kontraste für jeden Magnetresonanzbilddatensatz ermittelt werden, wobei zur Zuordnung der Kontraste nacheinander für alle Magnetresonanzbilddatensätze der darin abgebildete Kontrast als das Maximum der Wahrscheinlichkeiten für diesen Magnetresonanzbilddatensatz ermittelt wird, wobei Wahrscheinlichkeiten für bereits einem Magnetresonanzbilddatensatz zugeordnete Kontraste nicht berücksichtigt werden. Mit anderen Worten kann, sobald ein Kontrast anhand des maximalen Wahrscheinlichkeitswerts zugeordnet wurde, nur noch aus den verbleibenden Kontrasten gewählt werden. Dies ist besonders vorteilhaft, wenn jeder Kontrast nur einmal vorhanden ist und eine korrekte 1:1-Zuordnung zur passenden Bildserie gefordert ist. Auf diese Weise wird also eine Mehrfachzuordnung mit besonderem Vorteil vermieden.
  • Für die erste und die zweite Ausgestaltung kann mit besonderem Vorteil vorgesehen sein, dass die trainierte Zuordnungsfunktion mit Trainingsdaten trainiert wird, die Magnetresonanzbilddatensätze und eine die Zugehörigkeit zu einem des wenigstens einen Kontrastes anzeigende Zusatzinformation umfassen. Zweckmäßigerweise können mithin als Trainingsdaten auch Magnetresonanzbilddatensätze zum Einsatz kommen, bei denen für den entsprechenden Probanden nicht alle Kontraste vorliegen, so dass die Zahl der Trainingsdaten äußerst hoch ist. Bei der zweiten Ausgestaltung erfolgt das Training insbesondere derart, dass die Zusatzinformation, die die passende Trainingsinformation zur Kontrastzuordnungsinformation ist, derart gewählt wird, dass für den in dem Trainings-Magnetresonanzbilddatensatz vorhandenen, bekannten Kontrast die Wahrscheinlichkeit auf Eins gesetzt wird, alle anderen Wahrscheinlichkeiten auf Null.
  • In einer besonders bevorzugten dritten Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass aus wenigstens zwei unterschiedlichen Kontrasten zugeordneten Magnetresonanzbilddatensätzen Eingangsdaten für eine einzige Anwendung der trainierten Zuordnungsfunktion ermittelt werden, deren Kontrastzuordnungsinformation eine eine Zugehörigkeit zu einem von mehreren Kontrasten angebende Klassifizierungsinformation für jeden Magnetresonanzbilddatensatz ist. Dabei wird vorzugsweise jedem Magnetresonanzbilddatensatz ein unterschiedlicher Kontrast, mithin die Zugehörigkeit zu einer bestimmten Kontrastklasse, zugeordnet. Mit anderen Worten erfolgt eine Aneinanderreihung (Concatenation) der Eingangskontraste, mithin der Magnetresonanzbilddatensätze, in einer eigenen Dimension zur Bildung der Eingangsdaten, so dass eine gemeinsame Zuführung in die Eingabeschicht der trainierten Zuordnungsfunktion erfolgt. Die Ausgabe der Klassifikation, mithin die Ausgabekontrastzuordnungsinformation, kann dann beispielsweise als Vektor, beispielsweise [PD T1 T2*], erfolgen, der die Reihenfolge der detektierten Kontraste gemäß der Reihenfolge der Eingabe der Magnetresonanzbilddatensätze enthält. Diese Ausgestaltung hat den besonderen Vorteil, dass die trainierte Zuordnungsfunktion im Training Zusammenhänge zwischen den einzelnen Kontrasten lernen kann und diese vorteilhaft für die Klassifizierung berücksichtigen kann.
  • Mit besonderem Vorteil kann dabei vorgesehen sein, dass dieselbe Anatomie, insbesondere dieselbe Schicht, zeigende Magnetresonanzdaten der Magnetresonanzbilddatensätze zu einem mehrkanaligen Eingangsdatensatz der Eingangsdaten zusammengefasst werden, wobei die Klassifizierungsinformation ein die Magnetresonanzbilddatensätze nach ihren Kanälen sortiert einem Kontrast zuordnender Vektor ist. Dabei können als Kanäle insbesondere RGB-Kanäle verwendet werden. Beispielsweise können also Magnetresonanzdaten eines ersten zu klassifizierenden Kontrastes in einem ersten Kanal, insbesondere dem roten Farbkanal, angeordnet werden, Magnetresonanzdaten eines weiteren zu klassifizierenden Kontrastes in einem zweiten Kanal, beispielsweise dem grünen Farbkanal, und Magnetresonanzdaten eines dritten Kontrastes, der zu klassifizieren ist, in einem dritten Kanal, beispielsweise dem blauen Farbkanal, einsortiert werden. Im RGB-Fall werden also die verschiedenen Farbkanäle (rot, grün, blau) mit dasselbe Voxel betreffenden Magnetresonanzdaten der Magnetresonanzbilddatensätze gefüllt. Beispielsweise können jeweils sich entsprechende Schichtbilder eines entsprechenden Schichtbildstapels in die Kanäle einsortiert werden. In einem konkreten Ausführungsbeispiel kann also vorgesehen sein, dass Schichtbilder des ersten Magnetresonanzbilddatensatzes in den roten Farbkanal platziert werden, Schichtbilder des zweiten Magnetresonanzbilddatensatzes in den grünen Farbkanal und Schichtbilder des dritten Magnetresonanzbilddatensatzes in den blauen Farbkanal. Werden nur zwei Magnetresonanzbilddatensätze verwendet, kann der blaue Farbkanal leer gelassen oder verworfen werden.
  • Mit besonderem Vorteil ist es jedoch auch möglich, bei einer Zahl von Kanälen, die größer als die Zahl der Magnetresonanzbilddatensätze ist, wenigstens einen der nicht für einen Magnetresonanzbilddatensatz genutzten Kanäle für einen insbesondere durch Linearkombination aus den Magnetresonanzbilddatensätzen gebildeten Linearkombinationsdatensatz zu nutzen. Beispielsweise kann eine lineare Transformation dieselbe Schicht zeigender Schichtbilder unterschiedlicher Magnetresonanzbilddatensätze durchgeführt werden, beispielsweise eine Additional oder Subtraktion, um dieses Ergebnis bei zwei Magnetresonanzbilddatensätzen in den dritten Kanal einzufügen, was die Lern- und später die Auswertungsbasis erweitert.
  • Für diese dritte Ausgestaltung kann vorgesehen sein, dass die trainierte Zuordnungsfunktion mit Trainingsdaten trainiert wird, die Gruppen von Magnetresonanzbilddatensätzen und eine die Zugehörigkeit aller Magnetresonanzbilddatensätze einer Gruppe zu einem Kontrast anzeigende Zusatzinformation, insbesondere wiederum entsprechend der Kontrastzuordnungsinformation, umfassen. Mit anderen Worten erfolgt das Training in dieser dritten Ausgestaltung durch Erstellung von Tupeln von Magnetresonanzbilddatensätzen des gleichen Probanden mit entsprechenden Tupeln an Ausgangsklassifikation, mithin Vergleichsinformationen zur Kontrastzuordnungsinformation. Dabei kann mit besonderem Vorteil vorgesehen sein, dass zur Erzeugung von zusätzlichen Trainingsdaten eine Permutation der Magnetresonanzbilddatensätze der Gruppen erfolgt. Mit anderen Worten kann zur Vervielfältigung der Trainingsdaten eine Permutation der Eingangs- und Ausgangstupel in den Trainingsdaten erfolgen. Letztlich wird also die Zuordnung der einzelnen Magnetresonanzbilddatensätze zu den Kanälen vertauscht, da sich gezeigt hat, dass sich durch eine derartige künstliche Vergrößerung der Trainingsdaten insgesamt genauere Vorhersagen hinsichtlich der Zuordnung zu Kontrasten treffen lassen.
  • Eine zweckmäßige, allgemeine Weiterbildung der Erfindung kann vorsehen, dass die Eingangsdaten zusätzlich wenigstens einen bei der Aufnahme des jeweiligen Magnetresonanzbilddatensatzes verwendeten Aufnahmeparameter umfassen. Das bedeutet, der trainierten Zuordnungsfunktion können auch Metainformationen, welche insbesondere aus DICOM-Attributen herleitbar sind, mit übergeben werden, um die Genauigkeit der Detektion und Klassifikation weiter zu erhöhen. Die Aufnahmeparameter können insbesondere die Magnetfeldstärke des Grundmagnetfelds, den Sequenztyp der verwendeten Magnetresonanzsequenz, die Bildorientierung, die Repetitionszeit (TR), die Echozeit (TE) und/oder den Flipwinkel beschreiben. Der wenigstens eine Aufnahmeparameter kann zweckmäßig aus einer insbesondere im DICOM-Format gespeicherten Datei des Magnetresonanzbilddatensatzes ausgelesen werden. Gerade bei der Verwendung des DICOM-Standards ist es bekannt, Metainformationen in einer Datei des Magnetresonanzbilddatensatz hinzuzufügen.
  • Die Kontrastzuordnungsinformation kann im Rahmen der vorliegenden Erfindung auf verschiedene Art und Weise eingesetzt werden. Bereits genannt wurde als Beispiel die Auswahl von als Trainingsdaten für zu trainierende Auswertungsfunktionen der künstlichen Intelligenz verwendbare Magnetresonanzbilddatensätze, insbesondere aus einer größeren Datenbank. Besonders nützlich ist der Einsatz des erfindungsgemäßen Zuordnungsverfahrens jedoch im Rahmen eines Verfahrens zur Auswertung einer Gruppe von Magnetresonanzbilddatensätzen desselben Patienten, die insbesondere während einer einzigen Untersuchung aufgenommen werden können. Dann können zunächst mit dem erfindungsgemäßen Zuordnungsverfahren den Magnetresonanzbilddatensätzen die entsprechenden Kontraste zugeordnet werden, wobei dann die Magnetresonanzbilddatensätze gemeinsam mit der Kontrastzuordnungsinformation als Eingangsinformation für einen weiteren Auswertungsalgorithmus, welcher auch eine trainierte Auswertungsfunktion der künstlichen Intelligenz sein kann, verwendet werden. Mit anderen Worten kann der wenigstens eine Magnetresonanzbilddatensatz nach der Zuordnung mittels wenigstens eines Auswertungsalgorithmus, der als Eingangsinformation eine Zuordnung der Magnetresonanzbilddatensätze zu Kontrasten nutzt, zur Ermittlung eines Auswertungsergebnisses weiter ausgewertet werden. Beispiele hierfür sind, wie eingangs bereits genannt, die Ermittlung von ADC-Karten aus diffusionsgewichteten Magnetresonanzdaten, die Erzeugung von synthetischen Kontrasten und die insbesondere auf künstlicher Intelligenz basierende Segmentierung, beispielsweise von Läsionen.
  • Bildet der Zuordnungsschritt Teil eines Auswertungsalgorithmus, insbesondere also einer Post Processing-Applikation, wofür insbesondere die zweite und die dritte Ausgestaltung nützlich sind, kann eine Implementierung in einer entsprechenden Auswerteeinrichtung erfolgen. Möglich ist auch eine Implementierung an zentraler Stelle, beispielsweise in einer DICOM-Einheit an der Magnetresonanzeinrichtung oder auf einer Recheneinrichtung eines Archivierungssystems, beispielsweise eines PACS.
  • Neben dem Verfahren betrifft die Erfindung auch eine Zuordnungseinrichtung zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz eines Aufnahmebereichs eines Patienten, wobei der Kontrast aufgrund der Verwendung einer kontrastspezifischen Magnetresonanzsequenz bei der Aufnahme besteht, aufweisend
    • - eine erste Schnittstelle zum Empfang von Magnetresonanzdaten des Magnetresonanzbilddatensatzes umfassenden Eingangsdaten,
    • - eine Zuordnungseinheit zur Anwendung wenigstens einer trainierten Zuordnungsfunktion auf die Eingangsdaten, wobei eine Kontrastzuordnungsinformation umfassende Ausgangsdaten ermittelt werden, und
    • - eine zweite Schnittstelle zum Bereitstellen der Ausgangsdaten.
  • Mit anderen Worten ist die Zuordnungseinrichtung, welche im Allgemeinen wenigstens einen Prozessor und/oder wenigstens ein Speichermittel umfasst, zur Durchführung des erfindungsgemäßen Zuordnungsverfahrens ausgebildet. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Zuordnungseinrichtung übertragen, mit welcher mithin ebenso die bereits genannten Vorteile erhalten werden können.
  • Die Zuordnungseinrichtung kann, wie dargelegt, beispielsweise als Teil einer Auswertungseinrichtung implementiert werden.
  • Beispielsweise kann die Zuordnungseinrichtung als Teil einer Steuereinrichtung einer Magnetresonanzeinrichtung verwendet werden, um im Postprocessing eingesetzt zu werden. Denkbar ist es jedoch auch, die Zuordnungseinrichtung beispielsweise als Teil eines Eingangsmoduls eines Archivierungssystems, insbesondere PACS, vorzusehen, so dass eingehenden Magnetresonanzbilddatensätzen unmittelbar ein Kontrast zugeordnet werden kann und die entsprechende Kontrastzuordnungsinformation abgespeichert werden kann. Auch andere Ausgestaltungen sind selbstverständlich denkbar.
  • Ein erfindungsgemäßes Computerprogramm ist direkt in einen Speicher einer Recheneinrichtung, insbesondere einer Zuordnungseinrichtung, ladbar, und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf der Recheneinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, der mithin darauf gespeicherte Steuerinformationen umfasst, die wenigstens ein erfindungsgemäßes Computerprogramm umfassen und bei Verwendung des Datenträgers in einer Recheneinrichtung diese dazu ausgestalten, das erfindungsgemäße Verfahren auszuführen. Bei dem Datenträger kann es sich insbesondere um einen nicht transienten Datenträger, beispielsweise eine CD-ROM, handeln.
  • Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
    • 1 ein Ausführungsbeispiel eines künstlichen neuronalen Netzes,
    • 2 ein Ausführungsbeispiel eines Convolutional Neural Network,
    • 3 einen Ablaufplan zur Erläuterung eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
    • 4 einen Ablaufplan zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
    • 5 schematisch die Struktur einer trainierten Zuordnungsfunktion, und
    • 6 eine erfindungsgemäße Zuordnungseinrichtung.
  • 1 zeigt ein Ausführungsbeispiel eines künstlichen neuronalen Netzes 1. Englische Ausdrücke für das künstliche neuronale Netz 1 sind „artificial neural network“, „neural network“, „artificial neural net“ oder „neural net“.
  • Das künstliche neuronale Netzwerk 1 umfasst Knoten 6 bis 18 (nodes) und Kanten 19 bis 21 (edges), wobei jede Kante 19 bis 21 eine gerichtete Verbindung von einem ersten Knoten 6 bis 18 zu einem zweiten Knoten 6 bis 18 ist. Im Allgemeinen sind der erste Knoten 6 bis 18 und der zweite Knoten 6 bis 18 unterschiedliche Knoten 6 bis 18, es ist jedoch auch denkbar, dass der erste Knoten 6 bis 18 und der zweite Knoten 6 bis 18 identisch sind. Beispielsweise ist in 1 die Kante 19 eine gerichtete Verbindung von dem Knoten 6 zu dem Knoten 9 und die Kante 21 ist eine gerichtete Verbindung von dem Knoten 16 zu dem Knoten 18. Eine Kante 19 bis 21 von einem ersten Knoten 6 bis 18 zu einem zweiten Knoten 6 bis 18 wird als eingehende Kante („ingoing edge“) für den zweiten Knoten 6 bis 18 und als ausgehende Kante („outgoing edge“) für den ersten Knoten 6 bis 18 bezeichnet.
  • In diesem Ausführungsbeispiel können die Knoten 6 bis 18 des künstlichen neuronalen Netzes 1 in Schichten 2 bis 5 (layers) angeordnet werden, wobei die Schichten eine intrinsische Ordnung aufweisen können, die durch die Kanten 19 bis 21 zwischen den Knoten 6 bis 18 eingeführt wird. Insbesondere können Kanten 19 bis 21 nur zwischen benachbarten Schichten von Knoten 6 bis 18 vorgesehen sein. Im dargestellten Ausführungsbeispiel existiert eine Eingabeschicht 110, die lediglich die Knoten 6, 7, 8 aufweist, jeweils ohne eingehende Kante. Die Ausgangsschicht 5 umfasst nur die Knoten 17, 18, jeweils ohne ausgehende Kanten, wobei ferner versteckte Schichten 3 und 4 zwischen der Eingangsschicht 2 und der Ausgangsschicht 5 liegen. Im allgemeinen Fall kann die Zahl der versteckten Schichten 3, 4 beliebig gewählt werden. Die Zahl der Knoten 6, 7, 8 der Eingangsschicht 2 entspricht üblicherweise der Zahl der Eingabewerte in das neuronale Netzwerk 1, und die Zahl der Knoten 17, 18 in der Ausgangsschicht 5 entspricht üblicherweise der Zahl der Ausgabewerte des neuronalen Netzwerks 1.
  • Insbesondere kann eine (reale) Zahl den Knoten 6 bis 18 des neuronalen Netzwerks 1 zugeordnet werden. Dabei bezeichnet x(n) i den Wert des i-ten Knotens 6 bis 18 der n-ten Schicht 2 bis 5. Die Werte der Knoten 6, 7, 8 der Eingabeschicht 2 sind äquivalent zu den Eingabewerten des neuronalen Netzwerks 1, während die Werte der Knoten 17, 18 der Ausgangsschicht 5 äquivalent zu den Ausgabewerten des neuronalen Netzwerks 1 sind. Darüber hinaus kann jeder Kante 19, 20, 21 ein Gewicht in Form einer realen Zahl zugeordnet sein. Insbesondere ist das Gewicht eine reale Zahl im Intervall [-1, 1] oder im Intervall [0, 1,] . Dabei bezeichnet w(m,n) i,j das Gewicht der Kante zwischen den i-ten Knoten 6 bis 18 der m-ten Schicht 2 bis 5 und den j-ten Knoten 6 bis 18 der n-ten Schicht 2 bis 5. Ferner wird die Abkürzung w i , j ( n )
    Figure DE102021210281A1_0001
    für das Gewicht w i , j ( n , n + 1 )
    Figure DE102021210281A1_0002
    definiert.
  • Um Ausgangswerte des neuronalen Netzes 1 zu berechnen, werden die Eingangswerte durch das neuronale Netz 1 propagiert. Insbesondere können die Werte der Knoten 6 bis 18 des (n+1)-ten Schicht 2 bis 5 basierend auf den Werten der Knoten 6 bis 18 der n-ten Schicht 2 bis 5 berechnet werden durch x j ( n + 1 ) = f ( i x i ( n ) w i , j ( n ) ) .
    Figure DE102021210281A1_0003
  • Dabei ist f eine Transferfunktion, die auch als Aktivierungsfunktion bezeichnet werden kann. Bekannte Transferfunktionen sind Stufenfunktionen, Sigmoidfunktionen (beispielsweise die logistische Funktion, die verallgemeinerte logistische Funktion, der Tangens hyperbolicus, der Arkustangens, die Fehlerfunktion, die Smoothstep-Funktion) oder Gleichrichterfunktionen (Rectifier). Die Transferfunktion wird im Wesentlichen für Normierungszwecke verwendet.
  • Insbesondere werden die Werte schichtweise durch das neuronale Netz 1 propagiert, wobei Werte der Eingangsschicht 2 durch die Eingangsdaten des neuronalen Netzes 1 gegeben sind. Werte der ersten versteckten Schicht 3 können basierend auf den Werten der Eingangsschicht 2 des neuronalen Netzes 1 berechnet werden, Werte der zweiten versteckten Schicht 4 können basierend auf den Werten in der ersten versteckten Schicht 3 berechnet werden usw.
  • Um die Werte w i , j ( n )
    Figure DE102021210281A1_0004
    für die Kanten 19 bis 21 festlegen zu können, muss das neuronale Netz 1 unter Verwendung von Trainingsdaten trainiert werden. Insbesondere umfassen Trainingsdaten Trainingseingangsdaten und Trainingsausgangsdaten, die im Folgenden als ti bezeichnet werden. Für einen Trainingsschritt wird das neuronale Netzwerk 1 auf die Trainingseingangsdaten angewendet, um berechnete Ausgangsdaten zu ermitteln. Insbesondere umfassen die Trainingsausgangsdaten und die berechneten Ausgangsdaten eine Zahl von Werten, wobei sich die Zahl als die Zahl der Knoten 17, 18 der Ausgangsschicht 5 bestimmt.
  • Insbesondere wird ein Vergleich zwischen den berechneten Ausgangsdaten und den Trainingsausgangsdaten verwendet, um die Gewichte innerhalb des neuronalen Netzes 1 rekursiv anzupassen (Rückpropagierungsalgorithmus - „back propagation algorithm“). Insbesondere können die Gewichte entsprechend w ' i , j ( n ) = w i , j ( n ) y δ j ( n ) x i ( n )
    Figure DE102021210281A1_0005
    geändert werden, wobei γ eine Lernrate ist und die Zahlen δj (n) rekursiv berechnet werden können als δ j ( n ) = ( k δ k ( n + 1 ) w j , k ( n + 1 ) ) f ' ( i x i ( n ) w i , j ( n ) )
    Figure DE102021210281A1_0006
    basierend auf δ j ( n + 1 ) ,
    Figure DE102021210281A1_0007
    wenn die (n+1) -te Schicht nicht die Ausgangsschicht 5 ist, und δ j ( n ) = ( x k ( n + 1 ) t j ( n + 1 ) ) f ' ( i x i ( n ) w i , j ( n ) )
    Figure DE102021210281A1_0008
    falls die (n+1)-te Schicht die Ausgangsschicht 5 ist, wobei f' die erste Ableitung der Aktivierungsfunktion ist und y j ( n + 1 )
    Figure DE102021210281A1_0009
    der Vergleichstrainingswert für den j-ten Knoten 17, 18 der Ausgangsschicht 5 ist.
  • Im Folgenden wird im Hinblick auf 2 auch ein Beispiel für ein Convolutional Neural Network (CNN) gegeben. Dabei ist zu beachten, dass der Ausdruck „Schicht“ („layer“) dort auf leicht andere Art und Weise als für klassische neuronale Netze eingesetzt wird. Für ein klassisches neuronales Netz verweist der Ausdruck „Schicht“ nur auf den Satz von Knoten, der eine Schicht bildet, mithin eine bestimmte Generation von Knoten. Für ein Convolutional Neural Network, wird der Ausdruck „Schicht“ oft als ein Objekt benutzt, das aktiv Daten verändert, in anderen Worten als ein Satz von Knoten derselben Generation und entweder den Satz eingehender oder ausgehender Kanten.
  • 2 zeigt ein Ausführungsbeispiel eines Convolutional Neural Network 22. In dem dargestellten Ausführungsbeispiel umfasst das Convolutional Neural Network 22 eine Eingangsschicht 23, eine Faltungsschicht 24 (Convolutional Layer), eine Pooling-Schicht 25, eine vollständig verbundene Schicht 26 und eine Ausgangsschicht 27. In alternativen Ausgestaltungen kann das Convolutional Neural Network 22 mehrere Faltungsschichten 24, mehrere Pooling-Schichten 25 und mehrere vollständig verbundene Schichten 26, genau wie andere Arten von Schichten, enthalten. Die Reihenfolge der Schichten kann beliebig gewählt werden, wobei üblicherweise vollständig verbundene Schichten 26 die letzten Schichten vor der Ausgangsschicht 27 bilden.
  • Insbesondere können innerhalb eines Convolutional Neural Network 22 die Knoten 28 bis 32 einer der Schichten 23 bis 27 als in einer d-dimensionalen Matrix oder als d-dimensionales Bild angeordnet verstanden werden. Insbesondere kann im zweidimensionalen Fall der Wert eines Knotens 28 bis 32 mit den Indizes i, j in der n-ten Schicht 23 bis 27 als x(n)[i,j] bezeichnet werden. Es ist darauf hinzuweisen, dass die Anordnung der Knoten 28 bis 31 einer Schicht 23 bis 27 keinerlei Auswirkung auf die Berechnungen innerhalb des Convolutional Neural Network 22 als solches hat, da diese Auswirkungen ausschließlich durch die Struktur und die Gewichte der Kanten gegeben sind.
  • Eine Faltungsschicht 24 ist insbesondere dadurch ausgezeichnet, dass die Struktur und die Gewichte der eingehenden Kanten eine Faltungsoperation basierend auf einer bestimmten Zahl von Kernen bildet. Insbesondere können die Struktur und die Gewichte der eingehenden Kanten so gewählt werden, dass die Werte x k ( n )
    Figure DE102021210281A1_0010
    der Knoten 29 der Faltungsschicht 24 als eine Faltung x k ( n ) = K k * x ( n 1 )
    Figure DE102021210281A1_0011
    basierend auf den Werten x(n-1) der Knoten 28 der vorangehenden Schicht 23 ermittelt werden, wobei die Faltung * im zweidimensionalen Fall definiert werden kann als x k ( n ) [ i , j ] = ( K k * x ( n 1 ) ) [ i , j ] = i , j , K k [ i ' , j ' ] x ( n 1 ) [ i i ' , j j ' ] .
    Figure DE102021210281A1_0012
  • Darin ist der k-te Kern Kk eine d-dimensionale Matrix, in diesem Ausführungsbeispiel eine zweidimensionale Matrix, die üblicherweise klein im Vergleich zur Zahl der Knoten 28 bis 32 ist, beispielsweise eine 3x3-Matrix oder eine 5x5-Matrix. Insbesondere impliziert dies, dass die Gewichte der eingehenden Kanten nicht unabhängig sind, sondern so gewählt sind, dass sie obige Faltungsgleichung erzeugen. Im Beispiel für einen Kern, der eine 3x3-Matrix bildet, existieren nur neun unabhängige Gewichte (wobei jeder Eintrag der Kern-Matrix einem unabhängigen Gewicht entspricht), ungeachtet der Zahl der Knoten 28 bis 32 in der entsprechenden Schicht 23 bis 27. Insbesondere ist für eine Faltungsschicht 24 die Zahl der Knoten 29 in der Faltungsschicht 24 äquivalent der Zahl der Knoten 28 in der vorangehenden Schicht 23 multipliziert mit der Zahl der Faltungskerne.
  • Wenn die Knoten 28 der vorangehenden Schicht 23 als eine d-dimensionale Matrix angeordnet sind, kann die Nutzung der Mehrzahl von Kernen als Hinzufügung einer weiteren Dimension, die auch als Tiefendimension bezeichnet wird, verstanden werden, so dass die Knoten 29 der Faltungsschicht 24 als eine (d+1)-dimensionale Matrix angeordnet sind. Wenn die Knoten 28 der vorangehenden Schicht 23 bereits als eine (d+1)-dimensionale Matrix mit einer Tiefendimension angeordnet sind, kann die Nutzung einer Mehrzahl von Faltungskernen als Expansion entlang der Tiefendimension verstanden werden, so dass die Knoten 29 der Faltungsschicht 24 gleichermaßen als eine (d+1)-dimensionale Matrix angeordnet sind, wobei die Größe der (d+1)-dimensionalen Matrix in der Tiefendimension um den durch die Zahl der Kerne gebildeten Faktor größer ist als in der vorangehenden Schicht 23.
  • Der Vorteil der Nutzung von Faltungsschichten 24 ist, dass die räumlich lokale Korrelation der Eingangsdaten ausgenutzt werden kann, indem ein lokales Verbindungsmuster zwischen Knoten benachbarter Schichten geschaffen wird, insbesondere dadurch, dass jeder Knoten nur zu einem kleinen Bereich der Knoten der vorangehenden Schicht Verbindungen aufweist.
  • Im dargestellten Ausführungsbeispiel umfasst die Eingangsschicht 23 sechsunddreißig Knoten 28, die als eine zweidimensionale 6x6-Matrix angeordnet sind. Die Faltungsschicht 24 umfasst zweiundsiebzig Knoten 29, die als zwei zweidimensionale 6x6-Matrizen angeordnet sind, wobei jede der beiden Matrizen das Ergebnis einer Faltung der Werte der Eingangsschicht 23 mit einem Faltungskern ist. In gleicher Weise können die Knoten 29 der Faltungsschicht 24 als in einer dreidimensionalen 6x6x2-Matrix angeordnet verstanden werden, wobei die zuletzt genannte Dimension die Tiefendimension ist.
  • Eine Pooling-Schicht 25 zeichnet sich dadurch aus, dass die Struktur und die Gewichte der eingehenden Kanten sowie die Aktivierungsfunktion ihrer Knoten 30 eine Pooling-Operation basierend auf einer nichtlinearen Pooling-Funktion f definieren. Beispielsweise können im zweidimensionalen Fall die Werte x(n) der Knoten 30 der Pooling-Schicht 25 basierend auf den Werten x(n+1) der Knoten 29 der vorangehenden Schicht 24 als x ( n ) [ i , j ] = f ( x ( n 1 ) [ id 1 , jd 2 ] , , x ( n 1 ) [ id 1 + d 1 1, jd 2 + d 2 1 ] )
    Figure DE102021210281A1_0013
    berechnet werden. In anderen Worten kann durch die Verwendung einer Pooling-Schicht 25 die Zahl der Knoten 29, 30 reduziert werden, indem eine Anzahl von d1 × d2 benachbarter Knoten 29 in der vorangehenden Schicht 24 durch einen einzelnen Knoten 30 ersetzt werden, der als eine Funktion der Werte der genannten Anzahl benachbarter Knoten 29 berechnet wird. Insbesondere kann die Pooling-Funktion f eine Maximumsfunktion, eine Durchschnittsbildung oder die L2-Norm sein. Insbesondere können für eine Pooling-Schicht 25 die Gewichte der eingehenden Kanten festgelegt sein und nicht durch Training modifiziert sein.
  • Der Vorteil der Verwendung einer Pooling-Schicht 25 ist, dass die Zahl der Knoten 29, 30 und die Zahl der Parameter reduziert wird. Dies führt zu einer Reduktion der notwendigen Berechnungsmenge innerhalb des Convolutional Neural Network 22 und somit zu einer Steuerung der Überanpassung.
  • Im dargestellten Ausführungsbeispiel handelt es sich bei der Pooling-Schicht 25 um eine Max-Pooling-Schicht, in der vier benachbarte Knoten mit nur einem einzigen Knoten ersetzt werden, dessen Wert durch das Maximum der Werte der vier benachbarten Knoten gebildet wird. Das Max-Pooling wird auf jede d-dimensionale Matrix der vorherigen Schicht angewendet; in diesem Ausführungsbeispiel wird das Max-Pooling auf jede der zwei zweidimensionalen Matrizen angewendet, so dass sich die Zahl der Knoten von zweiundsiebzig auf achtzehn reduziert.
  • Eine vollständig verbundene Schicht 26 zeichnet sich dadurch aus, dass eine Mehrzahl, insbesondere alle, Kanten zwischen den Knoten 30 der vorherigen Schicht 25 und den Knoten 31 der vollständig verbundenen Schicht 26 vorhanden sind, wobei das Gewicht jeder der Kanten individuell angepasst werden kann. In diesem Ausführungsbeispiel werden die Knoten 30 der vorangehenden Schicht 25 und der vollständig verbundenen Schicht 26 sowohl als zweidimensionale Matrizen als auch als nichtzusammenhängende Knoten (dargestellt als eine Zeile von Knoten, wobei die Zahl der Knoten zur besseren Darstellbarkeit reduziert wurde) gezeigt. In diesem Ausführungsbeispiel ist die Zahl der Knoten 31 in der vollständig verbundenen Schicht 26 gleich der Anzahl der Knoten 30 in der vorangehenden Schicht 25. In alternativen Ausführungsformen kann die Zahl der Knoten 30, 31 unterschiedlich sein.
  • Darüber hinaus werden in diesem Ausführungsbeispiel die Werte der Knoten 32 der Ausgangsschicht 27 bestimmt, indem die Softmax-Funktion auf die Werte der Knoten 31 der vorangehenden Schicht 26 angewendet wird. Durch Anwendung der Softmax-Funktion ist die Summe der Werte aller Knoten 32 der Ausgangsschicht 27 eins und alle Werte aller Knoten 32 der Ausgangsschicht sind reale Zahlen zwischen 0 und 1. Wenn das Convolutional Neural Network 22 zur Klassifizierung von Eingangsdaten genutzt wird, können insbesondere die Werte der Ausgangsschicht 27 als Wahrscheinlichkeit dafür interpretiert werden, dass die Eingangsdaten in eine der unterschiedlichen Klassen fallen.
  • Ein Convolutional Neural Network 22 kann ebenso eine ReLU-Schicht aufweisen, wobei ReLU als Akronym für „rectified linear units“ steht. Insbesondere ist die Zahl der Knoten und die Struktur der Knoten innerhalb einer ReLU-Schicht äquivalent zu der Zahl der Knoten und der Strukturen der Knoten der vorangehenden Schicht. Der Wert jedes Knotens in der ReLU-Schicht kann insbesondere durch Anwendung einer Gleichrichtungsfunktion (rectifier function) auf den Wert des entsprechenden Knoten der vorangehenden Schicht berechnet werden. Beispiele für Gleichrichterfunktionen sind f(x)=max(0,x), der Tangens hyperbolicus oder die Sigmoidfunktion.
  • Convolutional Neural Networks 22 können insbesondere basierend auf dem Rückpropagierungsalgorithmus trainiert werden. Um eine Überanpassung (overfitting) zu vermeiden, können Verfahren der Regularisierung eingesetzt werden, beispielsweise Dropout einzelner Knoten 28 bis 32, stochastisches Pooling, Nutzen von künstlichen Daten, Gewichtszerfall basierend auf der L1- oder der L2-Norm oder Maximalnorm-Einschränkungen.
  • 3 zeigt einen Ablaufplan zur Erläuterung eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Dort wird in einem Schritt S1 eine Datenbank mit einer Vielzahl bezüglich des Kontrastes zu klassifizierender Magnetresonanzbilddatensätze bereitgestellt. Aus dieser Datenbank sollen Magnetresonanzbilddatensätze eines bestimmten Kontrasts als Trainingsdaten zum Trainieren einer oder mehrerer Auswertungsfunktionen der künstlichen Intelligenz verwendet werden. Soll beispielsweise eine erste Auswertungsfunktion trainiert werden, die als Eingangsinformation diffusionsgewichtete Magnetresonanzbilddatensätze verwendet, kann „diffusionsgewichtet“ ein erster vorbestimmter Kontrast sein, soll eine weitere Auswertungsfunktion trainiert werden, die als Eingangsinformationen T2*-gewichtete Magnetresonanzbilddatensätze nutzt, kann „T2*-gewichtet“ ein zweiter vorbestimmter Kontrast sein.
  • Um die korrekten Magnetresonanzbilddatensätze auszuwählen, wird auf jeden der Magnetresonanzbilddatensätze in der Datenbank in einem Schritt S2 eine trainierte Zuordnungsfunktion der künstlichen Intelligenz angewendet, um Ausgangsdaten zu ermitteln, die eine Kontrastzuordnungsinformation umfassen.
  • Die Kontrastzuordnungsinformation beschreibt vorliegend, welcher Kontrast gemäß dem Ergebnis der trainierten Zuordnungsfunktion in dem Magnetresonanzbilddatensatz vorliegt, beispielsweise „T2*“, „PD“ oder dergleichen. Die trainierte Zuordnungsfunktion umfasst dabei vorliegend ein ResNet, wobei selbstverständlich auch andere Architekturen eingesetzt werden können, beispielsweise SqueezeNet oder AlexNet. Die trainierte Zuordnungsfunktion wurde durch Trainingsdaten trainiert, wobei jeder Trainingsdatensatz einen Magnetresonanzbilddatensatz, zu dem der Kontrast bekannt ist, und die entsprechende Kontrastzuordnungsinformation als Zusatzinformation enthielt.
  • In einem Schritt S3 werden die Magnetresonanzbilddatensätze ausgewählt, für die gemäß der Kontrastzuordnungsinformation einer der vorbestimmten Kontraste vorliegt. Diese können dann in einem Schritt S4 als Trainingsdaten für die zu trainierenden Auswertungsfunktionen/-algorithmen genutzt werden. Mithin ist eine automatische Sortierung eines großen Datenbestandes in äußerst schneller Zeit möglich, um ein solches Training vorzubereiten.
  • 4 zeigt einen Ablaufplan eines zweiten Ausführungsbeispiels, in dem das erfindungsgemäße Zuordnungsverfahren in ein Auswertungsverfahren eingebettet ist. Das Auswertungsverfahren nutzt einen Auswertungsalgorithmus, beispielsweise eine trainierte Auswertungsfunktion, der als Eingangsinformation Magnetresonanzbilddatensätze verschiedener Kontraste verwendet, wobei jedoch klar sein muss, welcher Magnetresonanzbilddatensatz welchem Kontrast entspricht.
  • In einem Schritt S5 werden in einer einzigen Untersuchung des Patienten mit einer Magnetresonanzeinrichtung mehrere Magnetresonanzbilddatensätze, beispielsweise drei Magnetresonanzbilddatensätze, eines Aufnahmebereichs des Patienten aufgenommen. Beispielsweise kann es sich um einen T1-gewichteten Magnetresonanzbilddatensatz, einen T2-gewichteten Magnetresonanzbilddatensatz und einen protonendichtegewichteten Magnetresonanzbilddatensatz handeln. Der Auswertungsalgorithmus kann in Form einer trainierten Auswertungsfunktion hieraus beispielsweise eine Segmentierung oder Klassifikation einer Läsion herleiten. Allerdings muss dafür genau bekannt sein, welcher Magnetresonanzbilddatensatz welchen Kontrast zeigt.
  • Die Magnetresonanzbilddatensätze werden in einem Schritt S6 bereitgestellt und zur Zusammenstellung von Eingangsdaten für eine trainierte Zuordnungsfunktion verwendet. Um die Eingangsdaten zusammenzustellen, werden sich entsprechende Magnetresonanzdaten der unterschiedlichen Magnetresonanzbilddatensätze unterschiedlichen Kanälen zugeordnet, hier beispielhaft RGB-Kanälen. Bei, wie beispielhaft dargelegt, drei Magnetresonanzbilddatensätzen wird der erste Magnetresonanzbilddatensatz im roten Kanal, der zweite Magnetresonanzbilddatensatz im grünen Kanal und der dritte Magnetresonanzbilddatensatz im blauen Kanal platziert. Auf diese Weise wird eine ohnehin vorhandene Dimension - die Farbdimension - zur Concatenation der Magnetresonanzbilddatensätze genutzt, um dann in einem Schritt S7 gemeinsam der Eingabeschicht der trainierten Zuordnungsfunktion übergeben zu werden. Hierbei wird im vorliegenden Ausführungsbeispiel ein ResNet -18 verwendet. Es sind jedoch auch andere Ausgestaltungen denkbar, beispielsweise mit einem anderen ResNet, einem SqueezeNet oder einem AlexNet.
  • Als Kontrastzuordnungsinformation der Ausgangsdaten liefert die trainierte Zuordnungsfunktion in diesem Fall einen Vektor, der die ermittelten Kontraste in der Reihenfolge, in der die Magnetresonanzbilddatensätze die Kanäle befüllt haben, enthält, beispielsweise [PD T1 T2]. Es findet eine 1:1-Zuordnung statt. Während des Lernens, wobei zusätzliche Trainingsdaten durch Permutationen in den Gruppen von Magnetresonanzbilddatensätzen und Kontrasten, die als Trainingsdaten verwendet werden, gewonnen wurden, wurden so bereits Zusammenhänge zwischen den einzelnen Kontrasten gelernt und können so nun vorteilhaft für die Klassifizierung verwendet werden. Konkret erfolgte das Training der trainierten Zuordnungsfunktion derart, dass Tupel von Magnetresonanzbilddatensätzen des gleichen Probanden mit entsprechenden Tupeln an Kontrasten als Trainingsdaten verwendet wurden.
  • Die erhaltenen Kontrastzuordnungsinformationen können im Schritt S8 dann genutzt werden, um gemeinsam mit dem Magnetresonanzbilddatensätzen die Eingangsinformationen für den Auswertungsalgorithmus vollständig zusammenzustellen, der, das Wissen darum, welcher Kontrast in welchem Magnetresonanzbilddatensatz vorliegt, nutzend, im Schritt S9 seine Auswertung vornehmen kann.
  • Es sei angemerkt, dass alternativ zu der bezüglich 4 diskutierten Variante, in der alle Magnetresonanzbilddatensätze gemeinsam als Eingangsdaten der trainierten Zuordnungsfunktion übergeben werden, auch eine Ausgestaltung denkbar ist, in der immer nur ein Magnetresonanzbilddatensatz durch eine modifizierte trainierte Zuordnungsfunktion ausgewertet wird, welche dann als Kontrastzuordnungsinformationen für jeden betrachteten Kontrast eine Wahrscheinlichkeit, dass dieser Kontrast vorliegt (Regressionswert von 0 - 1), ausgibt. Nacheinander wird dann für jeden Magnetresonanzbilddatensatz das Maximum dieser Wahrscheinlichkeiten aufgefunden und als in diesem Magnetresonanzbilddatensatz vorliegender Kontrast festgelegt. Für nachfolgend betrachtete Magnetresonanzbilddatensätze fällt dieser Kontrast bei der Maximumsbetrachtung dann weg, so dass auch hier eine 1:1-Zuordnung resultiert.
  • Allgemein kann gesagt werden, dass es durchaus denkbar ist, dass die trainierte Zuordnungsfunktion in Ausführungsbeispielen der vorliegenden Erfindung jeweils den gesamten Magnetresonanzbilddatensatz auswertet. Vorteilhaft kann es jedoch sein, wenn nur Teile der Magnetresonanzdaten jedes Magnetresonanzbilddatensatzes betrachtet werden; besonders bevorzugt ist es, wenn eine Vergröberung der räumlichen Auflösung stattfindet, um die Menge an Eingangsdaten zu reduzieren und somit eine erhöhte Robustheit bereitzustellen. Ferner ist es in allen hier beschriebenen Ausführungsbeispielen zweckmäßig, als Eingangsdaten zusätzlich wenigstens einen Aufnahmeparameter, der aus Metainformation in der Datei, in der der Magnetresonanzbilddatensatz gespeichert ist, enthalten sein kann, zu verwenden. Liegen die Magnetresonanzbilddatensätze beispielsweise als Dateien im DICOM-Standard vor, existieren DICOM-Attribute, die beispielsweise die Feldstärke, den Sequenztyp, die Bildorientierung, TR- und TE-Zeiten sowie Flipwinkel beschreiben, was eine nützliche, die Genauigkeit der Klassifizierung weiter erhöhende Information darstellt.
  • Generell kann auch gesagt werden, dass die trainierte Zuordnungsfunktion erfindungsgemäß bevorzugt ein CNN 22 enthalten kann, bevorzugt, wie bereits erwähnt, ein ResNet. Eine beispielhafte Grundstruktur der trainierten Zuordnungsfunktion 33 zeigt 5. Die trainierte Zuordnungsfunktion 33, vorliegend ein ResNet -18, umfasst eine Faltungsbasis 34, die, wie grundsätzlich bekannt, hauptsächlich aus Faltungsschichten 24 und Pooling-Schichten 25 aufgebaut ist. An die Faltungsbasis 34 schließt sich der Klassifikator 35 an, der vorliegend eine erste vollständig verbundene Schicht 36 und eine zweite vollständig verbundene Schicht 37 aufweist, wobei die Informationen der Knoten der Schicht 37 genutzt werden, um die Kontrastzuordnungsinformation 38 zu ermitteln.
  • Die trainierte Zuordnungsfunktion 33 nimmt im Rahmen des Zuordnungsschrittes (Schritt S2 bzw. S7) Eingangsdaten umfassend Magnetresonanzdaten des wenigstens einen Magnetresonanzbilddatensatzes entgegen und liefert als Ausgangsdaten die Kontrastzuordnungsinformation 38. In der Faltungsbasis 34 können, wie grundsätzlich bekannt, sogenannte „Skip Connections“ verwendet werden.
  • 6 zeigt eine Prinzipskizze einer erfindungsgemäßen Zuordnungseinrichtung 39, die zur Durchführung des erfindungsgemäßen Zuordnungsverfahrens ausgebildet ist und beispielsweise als Teil einer Auswertungseinrichtung bzw. Steuereinrichtung einer Magnetresonanzeinrichtung implementiert werden kann, insbesondere also im Fall des zweiten Ausführungsbeispiels als Teil der Postprocessing-Pipeline dienen kann. Die Zuordnungseinrichtung 39 kann auch in sonstige Recheneinrichtungen integriert sein bzw. durch diese gebildet werden, beispielsweise im Fall des ersten Ausführungsbeispiels durch eine die Datenbank von Magnetresonanzbilddatensätzen entgegennehmenden Systemanteil, beispielsweise eines Archivierungssystems (PACS).
  • Zur Realisierung von Funktionseinheiten weist die Zuordnungseinrichtung 39 wenigstens einen Prozessor und wenigstens ein Speichermittel 40 auf. Über eine erste Schnittstelle 41 kann der wenigstens ein bezüglich seines Kontrastes zu klassifizierender Magnetresonanzbilddatensatz entgegengenommen werden. In einer Zuordnungseinheit 42 wird der trainierte Zuordnungsalgorithmus angewendet, wobei die entstehende Kontrastzuordnungsinformation 30 an einer zweiten Schnittstelle 43 bereitgestellt werden kann. Die Zuordnungseinheit 42 kann als Untereinheiten beispielsweise auch eine Eingangsdatenzusammenstellungseinheit aufweisen, in der mehrere Magnetresonanzbilddatensätze unterschiedlichen Kanälen zugeordnet werden, um einen gemeinsamen Eingangsdatensatz für alle Magnetresonanzbilddatensätze zu bilden.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (15)

  1. Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz eines Aufnahmebereichs eines Patienten, wobei der Kontrast aufgrund der Verwendung einer kontrastspezifischen Magnetresonanzsequenz bei der Aufnahme besteht, dadurch gekennzeichnet, dass es folgende Schritte umfasst: - Empfang von Magnetresonanzdaten des Magnetresonanzbilddatensatzes umfassenden Eingangsdaten, - Anwendung wenigstens einer trainierten Zuordnungsfunktion (33) auf die Eingangsdaten, wobei eine Kontrastzuordnungsinformation (38) umfassende Ausgangsdaten ermittelt werden, - Bereitstellen der Ausgangsdaten.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine ein Convolutional Neural Network (22), insbesondere ein ResNet, umfassende trainierte Zuordnungsfunktion (33) verwendet wird und/oder dass der wenigstens eine durch die trainierte Zuordnungsfunktion (33) zuordenbare Kontrast aus der Gruppe umfassend T1, T2, T2*, protonendichtegewichtet, diffusionsgewichtet, perfusionsgewichtet und mittels wenigstens eines Präparationspulses gewichtet gewählt ist.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die trainierte Zuordnungsfunktion (33) als Eingangsdaten nur Magnetresonanzdaten eines Unterbereichs des Aufnahmebereichs und/oder bei einem mehrere Schichtbilder umfassenden Magnetresonanzbilddatensatz nur einen Teil der Schichtbilder verwendet und/oder dass die Magnetresonanzdaten der Eingangsdaten räumlich vergröbert verwendet werden.
  4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine trainierte Zuordnungsfunktion (33) verwendet wird, deren Kontrastzuordnungsinformation (38) eine eine Zugehörigkeit zu einem von mehreren Kontrasten angebende Klassifizierungsinformation für den Magnetresonanzbilddatensatz ist.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass eine Datenbank mit einer Vielzahl von zu bewertenden Magnetresonanzbilddatensätzen zur Klassifikation bezüglich wenigstens eines vorbestimmten der Kontraste bereitgestellt wird, wobei alle Magnetresonanzbilddatensätze durch Anwendung der trainierten Zuordnungsfunktion (33) ausgewertet werden und die als den vorbestimmten Kontrast gemäß der Ausgangsdaten zeigend klassifizierten Magnetresonanzbilddatensätze ausgewählt werden, insbesondere zum Trainieren einer zu trainierenden Auswertungsfunktion.
  6. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass wenigstens eine trainierte Zuordnungsfunktion (33) verwendet wird, deren Kontrastzuordnungsinformation (38) eine Wahrscheinlichkeit für das Vorliegen wenigstens eines Kontrastes angibt, wobei eine Zuordnung zu einem Kontrast anhand eines Vergleiches mit einem Schwellwert und/oder mit wenigstens einer anderen Wahrscheinlichkeit der Kontrastzuordnungsinformation (38) erfolgt.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die trainierte Zuordnungsfunktion (33) auf mehrere Magnetresonanzbilddatensätze angewendet wird und Wahrscheinlichkeiten für mehrere, in der Anzahl wenigstens der Zahl der Magnetresonanzbilddatensätze entsprechende Kontraste für jeden Magnetresonanzbilddatensatz ermittelt werden, wobei zur Zuordnung der Kontraste nacheinander für alle Magnetresonanzbilddatensätze der darin abgebildete Kontrast als das Maximum der Wahrscheinlichkeiten für diesen Magnetresonanzbilddatensatz ermittelt wird, wobei Wahrscheinlichkeiten für bereits einem Magnetresonanzbilddatensatz zugeordnete Kontraste nicht berücksichtigt werden.
  8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass die trainierte Zuordnungsfunktion (33) mit Trainingsdaten trainiert wird, die Magnetresonanzbilddatensätze und eine die Zugehörigkeit zu einem des wenigstens einen Kontrastes anzeigende Zusatzinformation umfassen.
  9. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass aus wenigstens zwei unterschiedlichen Kontrasten zugeordneten Magnetresonanzbilddatensätzen Eingangsdaten für eine einzige Anwendung der trainierten Zuordnungsfunktion (33) ermittelt werden, deren Kontrastzuordnungsinformation (38) eine eine Zugehörigkeit zu einem von mehreren Kontrasten angebende Klassifizierungsinformation für jeden Magnetresonanzbilddatensatz ist.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass dieselbe Anatomie zeigende Magnetresonanzdaten der Magnetresonanzbilddatensätze zu einem mehrkanaligen Eingangsdatensatz der Eingangsdaten zusammengefasst werden, wobei die Klassifizierungsinformation ein die Magnetresonanzbilddatensätze nach ihren Kanälen sortiert einem Kontrast zuordnender Vektor ist.
  11. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass als Kanäle RGB-Kanäle verwendet werden und/oder bei einer Zahl von Kanälen, die größer als die Zahl der Magnetresonanzbilddatensätze ist, wenigstens einer der nicht für einen Magnetresonanzbilddatensatz genutzten Kanäle für einen insbesondere durch Linearkombination aus den Magnetresonanzbilddatensätzen gebildeten Linearkombinationsdatensatz genutzt wird.
  12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die trainierte Zuordnungsfunktion (33) mit Trainingsdaten trainiert wird, die Gruppen von Magnetresonanzbilddatensätzen und eine die Zugehörigkeit aller Magnetresonanzbilddatensätze einer Gruppe zu einem Kontrast anzeigende Zusatzinformation umfassen.
  13. Zuordnungseinrichtung (39) zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz eines Aufnahmebereichs eines Patienten, wobei der Kontrast aufgrund der Verwendung einer kontrastspezifischen Magnetresonanzsequenz bei der Aufnahme besteht, aufweisend - eine erste Schnittstelle (41) zum Empfang von Magnetresonanzdaten des Magnetresonanzbilddatensatzes umfassenden Eingangsdaten, - eine Zuordnungseinheit (42) zur Anwendung wenigstens einer trainierten Zuordnungsfunktion (33) auf die Eingangsdaten, wobei eine Kontrastzuordnungsinformation (38) umfassende Ausgangsdaten ermittelt werden, und - eine zweite Schnittstelle (43) zum Bereitstellen der Ausgangsdaten.
  14. Computerprogramm, welches die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 12 durchführt, wenn es auf einer Recheneinrichtung, insbesondere in einer Zuordnungseinheit (42) einer Zuordnungseinrichtung (39), ausgeführt wird.
  15. Elektronisch lesbarer Datenträger, auf dem ein Computerprogramm nach Anspruch 14 gespeichert ist.
DE102021210281.6A 2021-09-16 2021-09-16 Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger Pending DE102021210281A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021210281.6A DE102021210281A1 (de) 2021-09-16 2021-09-16 Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
US17/946,339 US20230077932A1 (en) 2021-09-16 2022-09-16 System and Computer-Implemented Method for Assigning at Least One Contrast to at Least One Magnetic Resonance Image Dataset

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021210281.6A DE102021210281A1 (de) 2021-09-16 2021-09-16 Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger

Publications (1)

Publication Number Publication Date
DE102021210281A1 true DE102021210281A1 (de) 2023-03-16

Family

ID=85284767

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021210281.6A Pending DE102021210281A1 (de) 2021-09-16 2021-09-16 Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger

Country Status (2)

Country Link
US (1) US20230077932A1 (de)
DE (1) DE102021210281A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012220449A1 (de) 2012-11-09 2014-05-15 Siemens Aktiengesellschaft Verfahren und Magnetresonanzgerät zur automatisierten Klassifizierung einer Bildeigenschaft eines Magnetresonanzbildes
DE102015212953A1 (de) 2015-07-10 2017-01-12 Siemens Healthcare Gmbh Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
DE102017213222A1 (de) 2017-08-01 2019-02-07 Siemens Healthcare Gmbh Automatisches Erkennen und Einstellen von MR-Protokollen anhand von eingelesenen Bilddaten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012220449A1 (de) 2012-11-09 2014-05-15 Siemens Aktiengesellschaft Verfahren und Magnetresonanzgerät zur automatisierten Klassifizierung einer Bildeigenschaft eines Magnetresonanzbildes
DE102015212953A1 (de) 2015-07-10 2017-01-12 Siemens Healthcare Gmbh Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
DE102017213222A1 (de) 2017-08-01 2019-02-07 Siemens Healthcare Gmbh Automatisches Erkennen und Einstellen von MR-Protokollen anhand von eingelesenen Bilddaten

Also Published As

Publication number Publication date
US20230077932A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
DE60208223T2 (de) Anordnung und verfahren zur gesichtserkennung unter verwendung von teilen des gelernten modells
US10733788B2 (en) Deep reinforcement learning for recursive segmentation
DE102015217429A1 (de) Diagnosesystem und Diagnoseverfahren
DE102015212953A1 (de) Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE102015114015A1 (de) Maschinelles lernen
WO2018094438A1 (de) Verfahren und system zum erstellen einer medizinischen bilddatenbank mittels eines konvolutionellen neuronalen netzwerk
DE102006010607A1 (de) Wahrscheinlichkeitstheoretischer Verstärkungsbaum-Rahmen zum Lernen von Unterscheidungsmodellen
DE112019001044T5 (de) Verfahren und vorrichtung für maschinelles lernen, programm, gelerntes modell und diskriminiervorrichtung
DE112020000448T5 (de) Kameraselbstkalibrierungsnetz
DE112020005572T5 (de) Tiefe Gesichtserkennung basierend auf Clustern über unbezeichnete Gesichtsdaten
EP3404436B1 (de) Funktionelle magnetresonanz-bildgebung
DE112020005663T5 (de) Objekterkennung mit training aus mehreren datensätzen
DE202021004196U1 (de) Vorrichtungen zur automatischen Erkennung von Covid-19 in CT- Bildern des Brustkorbs
DE102015220078B4 (de) Erstellung von reduzierten Signalverläufen für eine Magnetresonanz-Fingerprinting-Untersuchung eines Untersuchungsobjekts
DE102020206059A1 (de) Computerimplementiertes Verfahren und System zum Trainieren eines Auswertungsalgorithmus, Computerprogramm und elektronisch lesbarer Datenträger
DE102021210281A1 (de) Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102017208560A1 (de) Funktionelle Magnetresonanz-Bildgebung
DE102010028382A1 (de) Verfahren und Computersystem zur Bearbeitung tomographischer Bilddaten aus einer Röntgen-CT-Untersuchung eines Untersuchungsobjektes
DE112022001991T5 (de) Tumorzelen-isolinien
DE102020209913A1 (de) Computerimplementiertes Verfahren zur Korrektur von phasenbasierten Artefakten in der Magnetresonanz, Korrektursystem, Computerprogramm und elektronisch lesbarer Datenträger
DE112021000860T5 (de) Vorrichtung zur analyse von diffusions-magnetresonanz-bildgebungsdaten
DE102020215031A1 (de) Computerimplementiertes Verfahren zur Auswertung von Magnetresonanzdaten, Magnetresonanzeinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
EP3798989B1 (de) Computerimplementiertes verfahren zur bereitstellung von ausgangsdaten, die zum training und/oder zur validierung eines algorithmus dienen
DE112004001468B4 (de) Berücksichtigung von bekannten räumlichen Daten bei der Klassifikation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE