-
Die Erfindung betrifft ein computerimplementiertes Verfahren zum Betrieb einer Bildgebungseinrichtung zur Vorbereitung eines Bildgebungsvorgangs, wobei für jeden Bildgebungsvorgang aus gemäß wenigstens einem Aufnahmeprotokoll aufgenommenen Rohdaten in einem Rekonstruktionsschritt wenigstens ein Bilddatensatz unter Verwendung einer Rekonstruktionseinrichtung mit einer Rekonstruktionssoftware rekonstruiert wird. Daneben betrifft die Erfindung eine Bildgebungseinrichtung, ein Computerprogramm sowie einen elektronisch lesbaren Datenträger.
-
Bildgebende Verfahren in der Medizintechnik werden mit dem Fortschreiten der Technik immer mehr verfeinert. Dabei ist es insbesondere möglich, immer größere Mengen an Rohdaten und Rohdaten unterschiedlichster Art mit medizinischen Bildgebungseinrichtungen aufzunehmen. Gleichzeitig werden jedoch auch Rekonstruktionstechniken ständig verbessert, mit denen aus den Rohdaten Bilddatensätze hergeleitet werden können. Derartige Rekonstruktionsverfahren betreffen bei der Computertomographie beispielsweise die Ermittlung höherdimensionaler Bilddatensätze aus niedrigdimensionalen Projektionsdaten, bei der Positronenemissionstomographie (PET) die Ermittlung von PET-Bildern aus korrespondierend festgestellten Ereignissen und bei der Magnetresonanzbildgebung die Ermittlung von Magnetresonanzbilddatensätzen aus k-Raumdaten. Immer häufiger kommt bei Rekonstruktionen auch künstliche Intelligenz, insbesondere in Form von durch das Maschinenlernen trainierten Rekonstruktionsfunktionen, beispielsweise neuronalen Netzen, zum Einsatz, um die komplexen Rekonstruktionsaufgaben zu bewältigen.
-
Insbesondere im Bereich der Magnetresonanzbildgebung, die sich durch längere Aufnahmezeiten auszeichnet, steht die Reduzierung der benötigten Rohdaten oft im Zentrum des Interesses, da hierdurch auch eine starke Verkürzung der Aufnahmezeit möglich ist. Diesbezüglich existieren neuartige Rekonstruktionsmethoden und Bildgebungsverfahren wie Simultaneous Multi Slice (SMS), Compressed Senzig (CS), CAIPIRINHA und dergleichen, wobei oft auch auf tiefem Maschinenlernen (Deep Learning) basierende Ansätze verwendet werden.
-
Allgemein kommt es bei derartigen Verkürzungen der Aufnahmezeit im Gegenzug zu starken Verlängerungen der Rekonstruktionszeit. Neben der in der verwendeten Recheneinrichtung vorgesehenen Hardware, beispielsweise der Anzahl der CPU-Kerne, der CPU-Taktfrequenz und den Eigenschaften der verwendeten CPUs haben eine Vielzahl weiterer Parameter Einfluss auf die Dauer des Rekonstruktionsschritts zum Erhalt des wenigstens einen gewünschten Bilddatensatzes. Zum einen sind dies Protokollparameter eines verwendeten Aufnahmeprotokolls, die Einfluss auf die Datenmenge haben, zum anderen können aber auch interne Logiken der Rekonstruktionssoftware Einfluss haben. Bei der SMS-Bildgebung oder CAIPIRINHA sind dies beispielsweise Beschleunigungsfaktoren in Phasenkodier- beziehungsweise Schichtrichtung (häufig auch Schichtselektionsrichtung). Bei „Deep Learning“-Methoden hängt die Zeitdauer der Rekonstruktion zusätzlich von der Netzwerkarchitektur bzw. dem Netzwerktyp ab, welche sich beispielsweise je nach Aufnahmeprotokoll, bei der Magnetresonanzbildgebung beispielsweise wenigstens einer Magnetresonanzsequenz, für die Bildgebung und/oder Referenzscan-Typ unterscheidet.
-
An Bildgebungseinrichtungen werden Aufnahmeprotokolle üblicherweise von einem Benutzer eingestellt, wobei auch die Möglichkeit besteht, einzelne Protokollparameter des Aufnahmeprotokolls anzupassen. Auch ist es für Benutzer möglich, Aufnahmeprotokolle zu erstellen. Allerdings ist in diesen Fällen jeweils nicht ersichtlich, wie sich Änderungen am Aufnahmeprotokoll auf die Dauer der Rekonstruktion auswirken, sodass häufig Trial-and-Error-Verfahren angewendet werden, um die für den Nutzer am besten geeigneten Einstellungen aufzufinden. Dabei können im Rahmen eines Bildgebungsvorgangs, insbesondere eines medizinischen Bildgebungsuntersuchungsvorgangs eines Patienten, auch mehrere Aufnahmeprotokolle eingesetzt werden. Hier ist es auch im Hinblick auf die Zeitdauern der Rekonstruktion (Rekonstruktionszeiten) wesentlich, dass alle Bilddatensätze möglichst zum Ende des Bildgebungsvorgangs zur Verfügung stehen, um eventuell erforderliche Zusatzaufnahmen oder Wiederholungen zu ermöglichen, ohne den Patienten neu einbestellen zu müssen. Aus diesem Grund ist es teilweise erforderlich, dass die Nutzer die Reihenfolge von Aufnahmeprotokollen in einem Bildgebungsvorgang entsprechend abändern. Eine derartige Abänderung kann auch notwendig sein, um eine Planung der Schichtposition nachfolgender Aufnahmeprotokolle zu ermöglichen.
-
In diesem Zusammenhang wäre es denkbar, Zeitdauern des Rekonstruktionsschritts für jeweilige Aufnahmeprotokolle und eingestellte Protokolle und eingestellte Protokollparameter mit Hilfe von manuell gepflegten Entscheidungsbäumen bereitzustellen, was jedoch aufgrund der komplexen Abhängigkeiten, welche sich auch zwischen verschiedenen Software-Versionen ändern können, mit sehr hohem Aufwand verbunden wäre und zudem äußerst fehleranfällig wäre.
-
US 2022 0 202 384 A1 offenbart eine Ermittlung einer Zeitdauer für eine Rekonstruktion von Bilddaten.
-
In
JP 2018 130 142 A ist eine medizinische Bilddiagnosevorrichtung offenbart mit einer Messeinheit, die ein Signal von einem Untersuchungsziel misst. Zudem weist die medizinische Bilddiagnosevorrichtung eine UserInterface auf zu einem Einstellen einer Obergrenze einer Rekonstruktionszeit.
-
Auch aus
JP 6 423 094 B2 ist eine Darstellung einer zu erwartenden Rekonstruktionszeit bei einer medizinischen Bildgebungsvorrichtung offenbart.
-
BIELECKI, Jan; SMIALEK, Michal: Estimation of execution time for Computing tasks. Cluster Computing, 2022, S. 1-14, offenbart eine Abschätzung einer Datenverarbeitungszeit vor einer Ausführung einer Datenverarbeitung. Dabei liegt der Schwerpunkt auf einer Schätzung einer durchschnittlichen Ausführungszeit.
-
Der Erfindung liegt daher die Aufgabe zu Grunde, eine Möglichkeit zur verbesserten Planung von Bildgebungsvorgängen, insbesondere im medizinischen Bereich, anzugeben, welche insbesondere eine Berücksichtigung von Rekonstruktionszeitdauern ermöglicht.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein computerimplementiertes Verfahren, eine Bildgebungseinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger gemäß den unabhängigen Ansprüchen. Vorteilhafte Weiterbildungen ergeben sich aus den Unteransprüchen.
-
Bei einem computerimplementierten Verfahren der eingangs genannten Art ist erfindungsgemäß vorgesehen, zur Vorausberechnung einer Zeitdauer für den Rekonstruktionsschritt
- - ein Eingangsdatensatz umfassend
- - wenigstens einen die Zeitdauer des Rekonstruktionsschrittes beeinflussenden Protokollparameter des Aufnahmeprotokolls und
- - wenigstens einen die Hardware der Rekonstruktionseinrichtung beschreibenden Hardwareparameter und/oder wenigstens einen die Rekonstruktionssoftware beschreibenden Softwareparameter
zusammengestellt wird, und - - aus dem Eingangsdatensatz die Zeitdauer durch eine trainierte Vorausberechnungsfunktion, die durch Maschinenlernen trainiert ist, ermittelt wird.
-
Dabei ist ein hauptsächliches Anwendungsgebiet der vorliegenden Erfindung die medizinische Bildgebung, mithin die Anwendung beim Betrieb von medizinischen Bildgebungseinrichtungen. Dabei kann es sich bei der medizinischen Bildgebungseinrichtung insbesondere um eine Magnetresonanzeinrichtung handeln, bei welcher aufgrund der grundsätzlich eher längeren Aufnahmezeiten und den Aufnahmetechniken zu deren Verkürzung sich besonders häufig das Problem wachsender Zeitdauern des Rekonstruktionsschritts stellt, insbesondere auch bei der Anwendung von trainierten Rekonstruktionsfunktionen der künstlichen Intelligenz. Auch bei anderen und/oder kombinierten Bildgebungsmodalitäten ist die Erfindung jedoch anwendbar, beispielsweise bei der Computertomographie und der Positronenemissionstomographie.
-
Im Allgemeinen bildet eine trainierte Funktion, also auch konkret die trainierte Vorausberechnungsfunktion, kognitive Funktionen ab, die Menschen mit anderen menschlichen Gehirnen assoziieren. Durch Training basierend auf Trainingsdaten (Maschinenlernen) ist die trainierte Funktion in der Lage, sich an neue Umstände anzupassen und Muster zu detektieren und zu extrapolieren.
-
Allgemein gesagt können Parameter einer trainierten Funktion durch Training angepasst werden. Insbesondere können überwachtes Lernen, halbüberwachtes Lernen, nicht überwachtes Lernen, Reinforcement Learning und/oder aktives Lernen verwendet werden. Darüber hinaus kann auch Repräsentationslernen (auch als „feature heranging“ bekannt) eingesetzt werden. Die Parameter der trainierten Funktion können insbesondere iterativ durch mehrere Trainingsschritte angepasst werden.
-
Eine trainierte Funktion kann beispielsweise ein neuronales Netz, eine Support Vector Machine (SVM), einen Entscheidungsbaum und/oder ein Bayes-Netzwerk umfassen und/oder die trainierte Funktion kann auf k-Merans-Clustering, Q-Learning, genetischen Algorithmen und/oder Zuordnungsregeln basieren. Insbesondere kann ein neuronales Netzwerk ein tiefes neuronales Netzwerk, ein Convolutional Neural Network (CNN) oder ein tiefes CNN sein. Darüber hinaus kann das neuronale Netzwerk ein Adversarial Network, ein tiefes Adversarial Network und/oder ein Generative Adversarial Network (GAN) sein.
-
Erfindungsgemäß wird also vorgeschlagen, basierend auf Maschinenlernen eine Vorhersage der Zeitdauer des Rekonstruktionsschritts für ein Aufnahmeprotokoll zu ermöglichen. Dabei werden in einem ersten Schritt dazu relevante Informationen in einem Eingangsdatensatz zusammengefasst. Diese relevanten Informationen umfassen insbesondere die Hardware-Spezifikationen, die Software-Spezifikationen und Protokollparameter des eingestellten Protokolls. Anschließend wird mit diesem Eingangsdatensatz eine trainierte Vorausberechnungsfunktion ausgeführt, mithin ein Maschinenlernen-Modell angewendet. Als Ausgangsdatum liefert die trainierte Vorausberechnungsfunktion wenigstens eine Vorhersage der voraussichtlichen Zeitdauer der Rekonstruktion. Diese kann einen Nutzer dann beispielsweise, insbesondere zusätzlich zur voraussichtlichen Dauer der Rohdatenaufnahme, angezeigt werden, worauf im Folgenden noch genauer eingegangen werden wird. Der Nutzer erhält mithin in der Planungsphase eine wichtige Zusatzinformation, die es ihm insbesondere ermöglicht, in der Planung des Bildgebungsvorgangs, insbesondere des Untersuchungsvorgangs eines Patienten, auch auf Zeitdauern für Rekonstruktionsschritte zu achten, insbesondere derart, dass möglichst kurz nach Abschluss des Bildgebungsvorgangs alle gewünschten Bilddatensätze rekonstruiert sind und dahingehend überprüft werden können, ob Wiederholungen, Zusatzaufnahmen oder dergleichen erforderlich sind. Dies vereinfacht die Bedienung der Bildgebungseinrichtung, erhöht die Zufriedenheit des Benutzers und vermeidet Wartezeiten, insbesondere zum Schluss des Bildgebungsvorgangs. Dabei kann mit besonderem Vorteil vorgesehen sein, dass der Eingangsdatensatz in einem vorgegebenen Tabellenformat, insbesondere also als „Tabular Data“, zusammengestellt wird, mit welchem auch die Vorausberechnungsfunktion trainiert wurde oder wird. Es wurde erkannt, dass sich Datenreihen mit den Eingangsdaten, insbesondere in einer vorgegebenen Sortierung, gemeinsam mit einer abschließenden Zeitdauer, hervorragend als einzelne Zeilen einer Tabelle schreiben lassen. Beispielsweise können auf diese Art Trainingsdaten zum Training der Vorausberechnungsfunktion bereitgestellt werden, wobei hierbei die Zeitdauern des Rekonstruktionsschritts ja bekannt sind. Auch für tatsächliche Bildgebungsvorgänge kann der Eingangsdatensatz durch eine Tabelle gebildet werden, beispielsweise dann, wenn mehrere Aufnahmeprotokolle innerhalb des Bildgebungsvorgangs angewendet werden sollen. Selbstverständlich ist es hierbei aber auch möglich, die trainierte Vorausberechnungsfunktion so zu gestalten, dass dann jedes Aufnahmeprotokoll einzeln behandelt wird.
-
Für Eingangsdaten im Tabellenformat sind auf einem Entscheidungsbaum basierende Funktionen, insbesondere Random-Forest-Funktionen besonders geeignet. Im Stand der Technik sind viele derartige Ansätze für „Tabular Data“ bekannt, wobei als andere Beispiele sogenannte „Gradient Boosting Machines“-Verfahren sowie „K Nearest Neighbours“-Verfahren genannt seien. Auch der Einsatz von Support Vector Maschines (SVM) wurde vorgeschlagen, wobei diese Ansätze jedoch schlecht skalieren und daher weniger bevorzugt sind.
-
Über die letzten Jahre hat es sich allerdings gezeigt, dass sich auch tiefe neuronale Netze für die Regression und Klassifizierung von Eingangsdaten im Tabellenformat vorteilhaft einsetzen lassen. Tiefe neuronale Netzwerke sind sowohl verlässlich als auch effektiv, um Voraussagen basierend auf Eingangsdaten im Tabellenformat durchzuführen. Mithin ist es auch erfindungsgemäß bevorzugt, dass die trainierte Vorausberechnungsfunktion ein tiefes neuronales Netzwerk, insbesondere ein vollständig verbundenes tiefes neuronales Netzwerk, umfasst. Für einen Überblick sei beispielsweise auf eine Veröffentlichung von Sebastian Raschka im Internet, „A Short Chronology of Deep Learning for Tabular Data“, veröffentlicht am 24. Juli 2022 unter https://sebastianraschka.com/blog/2022/deep-learning-fortabular-data.html, verwiesen.
-
In einer konkreten Ausgestaltung kann beispielsweise vorgesehen sein, dass das vollständig verbundene tiefe neuronale Netzwerk wenigstens zwei Abfolgen einer linearen Matrixmultiplikationsschicht und einer nicht linearen Schicht, insbesondere einer ReLu-Schicht, umfasst. Dem liegt die Erkenntnis zu Grunde, dass ein einfaches, vollständig verbundenes tiefes neuronales Netzwerk, das für fast alle Analyseaufgaben von Eingangsdaten im Tabellenformat geeignet ist, auch im Rahmen der vorliegenden Erfindung eingesetzt werden kann. Ausgehend von einer Eingangsschicht, die den Eingangsdatensatz umfasst, können durch (lineare) Matrixmultiplikationen und nichtlineare Schichten, welche als ReLu-Schichten oder eine Variante davon ausgebildet sein können, verarbeitet werden. Eine Batch-Normalisierung kann nach der nichtlinearen Schicht eingesetzt werden, um ein Überfitten zu vermeiden. Für die Ausgangsschicht erfolgt eine lineare Transformation zu einem Ausgangswert, hier der Zeitdauer.
-
Was die Protokollparameter angeht, können diese auf jene Protokollparameter des Aufnahmeprotokolls beschränkt sein, welche offensichtlich zur Menge an Rohdaten beitragen oder offensichtlichen Einfluss auf die Interna des Rekonstruktionsschritts beziehungsweise die Auswahl der Rekonstruktionssoftware haben. Da die Einflüsse jedoch unter Umständen nicht komplett bekannt sind, können auch die nicht-variablen Anteile des Aufnahmeprotokolls eingehen. In einem Beispielfall kann vorgesehen sein, dass eine Anzahl der Schichten eingeht, nicht jedoch die Orientierung dieser Schichten. Bei der Magnetresonanzbildgebung kann vorgesehen sein, dass die Anzahl der verwendeten Spulenkanäle als Protokollparameter in den Eingangsdatensatz Eingang findet, nicht jedoch die interne ID jedes einzelnen Spulenkanals. Dabei sei an dieser Stelle noch angemerkt, dass in den Eingangsdatensatz oder aber auch in die trainierte Vorausberechnungsfunktion selbstverständlich auch weitere, insbesondere feste, Systemparameter, die beispielsweise die Bildgebungseinrichtung beschreiben, eingehen können. Dies ist insbesondere dann zweckmäßig, wenn die Vorausberechnungsfunktion allgemeiner trainiert wird und nicht lediglich für eine bestimmte Bildgebungseinrichtung. Zweckmä-ßig ist eine Bereitstellung von Systemparametern gegebenenfalls auch dann, wenn diese als zusätzliche Informationen für den Rekonstruktionsschritt Relevanz entfalten. Häufig können derartige Systemparameter auch verwendet werden, um abgeleitete Informationen zu erzeugen, beispielsweise abgeleitete Zusatzparameter, die aus dem wenigstens einem Protokollparameter und dem wenigstens einem Systemparameter ermittelt werden können. Bei einer Magnetresonanzeinrichtung kann ein derartiger Systemparameter beispielsweise die Feldstärke des Hauptmagnetfeldes (B0-Feldes) sein.
-
Bei einer Magnetresonanzeinrichtung als Bildgebungseinrichtung kann beispielsweise vorgesehen sein, dass wenigstens einer, insbesondere alle, des wenigstens einen Protokollparameters der Eingangsdaten gewählt ist aus der Gruppe umfassend:
- - einen die Zahl der Datenpunkte in Farbenkodierungsrichtung beschreibenden Protokollparameter, insbesondere umfassend durch Phasen-Überabtastung hinzukommende k-Raumzeilen,
- - einen die Zahl der Datenpunkte in Ausleserichtung beschreibenden Protokollparameter,
- - einen die Zahl der Schichten beschreibenden Protokollparameter,
- - einen die Zahl der verwendeten Spulenkanäle beschreibenden Protokollparameter,
- - einen wenigstens einen Beschleunigungsfaktor beschreibenden Protokollparameter, und
- - wenigstens einen einen Referenzscan beschreibenden Protokollparameter.
-
Das Produkt der Zahl der Datenpunkte in Phasenkodierungsrichtung (meist y, entspricht der Zahl der k-Raumzeilen) und der Zahl der Datenpunkte in Ausleserichtung (meist x) wird häufig auch als Matrixgröße bezeichnet. Hierbei können zusätzlich zur Vermeidung von Einfaltungen gemessene K-Raumzeilen, die später wieder gestrichen werden, zweckmäßigerweise bereits in die Zahl der Datenpunkte in Phasenkodierungsrichtung (also die Zahl der aufgenommenen k-Raumzeilen) eingehen.
-
Ein Beschleunigungsfaktor ist von Unterabtastungstechniken bekannt und kann beispielsweise angeben, wie viele Messpunkte beziehungsweise k-Raum-Zeilen ausgelassen werden und dergleichen. Die ausgelassenen Abtastungen werden dann zumindest teilweise im Rekonstruktionsschritt rekonstruiert.
-
In konkreter Ausgestaltung der Erfindung kann ferner vorgesehen sein, dass wenigstens einer des wenigstens einen Hardwareparameters gewählt ist aus der Gruppe umfassend:
- - eine Zahl von Kernen wenigstens einer verwendeten CPU,
- - eine Taktfrequenz der wenigstens einen verwendeten CPU,
- - ein Modell der wenigstens einen CPU,
- - ein Modell wenigstens einer verwendeten GPU,
- - einen Speicherplatz der wenigstens einen GPU, und
- - einen Speicherplatz eines Hauptspeichers der Rekonstruktionseinrichtung,
und/oder dass wenigstens einer des wenigstens einen Softwareparameters gewählt ist aus der Gruppe umfassend:
- - einen Typ und/oder eine Architektur einer verwendeten trainierten Rekonstruktionsfunktion,
- - eine Softwareversion der Rekonstruktionssoftware.
-
Die Hardwareparameter und Softwareparameter betreffen mithin die Ausstattung der Rekonstruktionseinrichtung. Die Hardware kann beispielsweise dadurch beschrieben werden, dass der Typ, also das Modell, vorhandener CPUs und GPUs, die Anzahl von Kernen und/oder die Größe von verfügbarem Speicher angegeben werden. Hinsichtlich der Software können der Typ beziehungsweise die Klasse des verwendeten Netzwerks einer trainierten Rekonstruktionsfunktion beziehungsweise dessen Architektur, die Softwareversion und dergleichen eingehen.
-
In einem konkreten Ausführungsbeispiel für eine Magnetresonanzeinrichtung kann beispielsweise vorgesehen sein, dass alle hier genannten Beispiele für Protokollparameter, Hardwareparameter und Softwareparameter in den Eingangsdatensatz eingehen. Damit hat sich gezeigt, dass alle wesentlichen Einflussfaktoren abgedeckt sind.
-
Erfindungsgemäß wird die vorausberechnete Zeitdauer, insbesondere in einem Planungsinterface und/oder gemeinsam mit einer Aufnahmedauer für das wenigstens eine Aufnahmeprotokoll, an einen Benutzer ausgegeben. Üblicherweise weisen Bildgebungseinrichtungen wenigstens eine Bedieneinrichtung mit einer Ausgabeeinrichtung und einer Eingabeeinrichtung auf. Ein Planungsinterface, das an der Ausgabeeinrichtung, beispielsweise einem Bildschirm, angezeigt wird, kann verwendet werden, um für einen Bildgebungsvorgang das wenigstens eine Aufnahmeprotokoll einzustellen und vorauszuplanen. In diesem Zusammenhang ist, wie bereits erläutert, die Information hinsichtlich der Zeitdauer des Rekonstruktionsschritts äußerst nützlich. Insbesondere kann diese gemeinsam mit der Aufnahmedauer angezeigt werden.
-
Erfindungsgemäß wird zusätzlich zu der Zeitdauer auch wenigstens einer der mehreren Protokollparameter, der den größten Einfluss auf die Zeitdauer des Rekonstruktionsschritts zumindest im Hinblick auf deren Verkürzung ausgehend von den aktuell gewählten Protokollparametern hat, in einem Ermittlungsschritt ermittelt und an den Benutzer ausgegeben. Insbesondere kann zu dem wenigstens einen ermittelten Protokollparameter auch ein Vorschlag für einen neuen Wert des Protokollparameters ermittelt und ausgegeben werden. Allgemein kann also gesagt werden, dass dem Nutzer mit besonderem Vorteil zusätzlich Vorschläge unterbreitet werden können, wie die Zeitdauer des Rekonstruktionsschritts verringert werden kann. Hierzu können geeignete Protokollparameter ermittelt werden, deren Veränderung am ehesten zu einer Verringerung der Zeitdauer des Rekonstruktionsschritts führen kann. Dabei können mit besonderem Vorteil zunächst, also noch vor dem Ermittlungsschritt, in einem Identifikationsschritt jene Protokollparameter des Eingangsdatensatz identifiziert werden, die von dem Benutzer realistischerweise verändert werden können. Allgemein können dies die Auflösung bestimmende Protokollparameter sein, da eine Reduzierung der Auflösung üblicherweise zu einer Reduzierung der Rohdatenmenge und somit zu einer Reduzierung der Zeitdauer des Rekonstruktionsschritts führt. Bei einer Magnetresonanzeinrichtung als Bildgebungseinrichtung können derartige identifizierte Protokollparameter auch die Zahl der verwendeten Spulenkanäle und/oder ein Referenzscantyp sein. Für diese identifizierten Protokollparameter kann dann in einem Ermittlungsschritt festgestellt werden, welcher wenigstens eine dieser Protokollparameter den größten Einfluss auf die Zeitdauer der Rekonstruktion im Hinblick auf deren Verkürzung hat. Die entsprechende Information kann an den Benutzer ausgegeben werden, sodass dieser Hinweise erhält, wie er das gegebenenfalls gewünschte Ziel erreichen kann. Zur konkreten Realisierung des Ermittlungsschritts sind im Rahmen der Erfindung verschiedene Varianten denkbar.
-
Referenzscans können bei Magnetresonanz-Aufnahmeprotokollen beispielsweise dazu dienen, Referenzdaten zu erhalten. Beispielsweise ist es bei vielen Beschleunigungstechniken bekannt, zumindest das Zentrum des k-Raums in dem Referenzscan vollständig abzutasten, um hieraus Rekonstruktionsparameter im Rekonstruktionsschritt herleiten zu können.
-
Erfindungsgemäß wird in dem Ermittlungsschritt eine wiederholte Anwendung der trainierten Vorausberechnungsfunktion mit jeweils bezüglich wenigstens einem der Protokollparameter gemäß einer Modifikationsvorschrift modifiziertem Eingangsdatensatz durchgeführt und der wenigstens eine Protokollparameter, der den größten Einfluss auf die Zeitdauer des Rekonstruktionsschritts zumindest im Hinblick auf deren Verkürzung ausgehend von den aktuell gewählten Protokollparametern hat, durch Vergleich der jeweiligen Ergebnisse ermittelt. In dieser Ausgestaltung kann die trainierte Vorausberechnungsfunktion beispielsweise mehrmals nacheinander ausgeführt werden, wobei jeder der, insbesondere identifizierten, Protokollparameter beispielsweise jeweils halbiert wird. Aufgrund der vorhergesagten Zeitdauern des Rekonstruktionsschritts können dann zum Beispiel die beiden Protokollparameter ermittelt werden, die den größten Einfluss auf die Zeitdauer des Rekonstruktionsschritts haben und dem Benutzer angezeigt werden.
-
In einer alternativen, bevorzugten Ausgestaltung des Ermittlungsschrittes kann jedoch auch vorgesehen sein, dass in dem Ermittlungsschritt eine trainierte Ermittlungsfunktion verwendet wird, welche insbesondere eine Collaborative-Filtering-Architektur aufweist, beispielsweise einen Variational Autoencoder umfasst, und/oder eine Counterfactual Explanations-Funktion ist. Mithin kann eine Ermittlung der für die Zeitdauer der Rekonstruktion relevantesten, insbesondere identifizierten Protokollparameter auch durch eine trainierte Ermittlungsfunktion, beispielsweise umfassend ein neuronales Netz, erfolgen. Hierfür bietet sich beispielsweise eine Collaborative Filtering-Architektur, wie beispielsweise Variational Autoencoders, an, ähnlich wie sie beispielsweise bei Empfehlungssystemen in Online-Shops zum Einsatz kommt. In diesem Fall können ähnliche Aufnahmeprotokolle mit kürzerer Rekonstruktionsdauer vorhergesagt werden. Durch Vergleich der sich prozentual am meisten verändernden, insbesondere identifizierten, Protokollparameter kann dann auf die Protokollparameter mit dem größten Einfluss auf die Zeitdauer des Rekonstruktionsschrittes rückgeschlossen werden. Beispiele für solche Collaborative Filtering-Architekturen sind beispielsweise in einem Artikel von Dawen Liang et al., „Variational Autoencoders für Collaborative Filtering“, WWW 2018, 23.-27. April 2018, Lyon, Frankreich, beschrieben. Denkbar ist es auch, eine Methode aus dem Bereich der sogenannten Counterfactual Explanations einzusetzen. Vereinfacht gesagt wird hierbei eine Zielzeit vorgegeben und dann durch die trainierte Ermittlungsfunktion ermittelt, welche, insbesondere identifizierten, Protokollparameter dazu verändert werden müssten, damit die trainierte Vorausberechnungsfunktion diese Vorhersage treffen würde. In diesem Zusammenhang sei insbesondere auf einen Artikel von Sahil Verma et al., „Counterfactual Explanations and Algorithmic Recourses for Maschine Learning: A Review“, arXiv: 2010.10596v3, 15. November 2022, verwiesen.
-
In einer weiteren vorteilhaften Ausgestaltung im Rahmen der Ausgabe der Zeitdauer an einen Benutzer kann vorgesehen sein, dass für wenigstens einen Hardwareparameter und/oder Softwareparameter eine bei einem Upgrade erhaltbare Zeitdauer zusätzlich vorausberechnet wird und im Rahmen einer UpgradeEmpfehlung dem Benutzer angezeigt wird. Mithin kann die trainierte Vorausberechnungsinformation auch für eine Rekonstruktionseinrichtung mit einer stärkeren Hardware-Konfiguration und/oder einer stärkeren Software-Konfiguration erneut ausgeführt werden und bei einem signifikanten Vorteil der Benutzer darauf hingewiesen werden, dass beim Erwerb einer verbesserten Rekonstruktionshardware und/oder Rekonstruktionssoftware mit einer beispielsweise um einen bestimmten Prozentwert verkürzten Zeitdauer für den Rekonstruktionsschritt gerechnet werden kann.
-
Eine besonders vorteilhafte Ausgestaltung ergibt sich ferner, wenn bei einem mehrere Aufnahmeprotokolle nutzenden Bildgebungsvorgang Zeitdauern für alle einzelnen Aufnahmeprotokolle vorausberechnet und an den Benutzer ausgegeben werden, insbesondere in einer Darstellung zur Wahl der Reihenfolge der Aufnahmeprotokolle. Bei einer aufnahmeprotokollspezifischen Anzeige der Zeitdauer des Rekonstruktionsschritts kann der Benutzer auf einfache Art und Weise „Bottlenecks“ im zeitlichen Ablauf erkennen und Anpassungen vornehmen, beispielsweise durch Veränderung der Reihenfolge der mehreren Aufnahmeprotokolle, um Wartezeiten nach Abschluss der Aufnahme der Rohdaten möglichst gering zu halten. Konkret kann beispielsweise vorgesehen werden, dass neben den vorausberechneten Zeitdauern auch durch die Rekonstruktion aus vorherigen Aufnahmeprotokollen entstehende, insbesondere akkumulierte, Zeitversatze ermittelt und angezeigt werden. Auf diese Weise erhält der Benutzer mit besonderem Vorteil eine „akkumulierte Verzögerung“, die ebenso nützlich zur Planung des Bildgebungsvorgangs sein kann.
-
Allgemein kann mit besonderem Vorteil vorgesehen sein, dass zur Bereitstellung der trainierten Vorausberechnungsfunktion diese mit aus Diagnosedaten, die auch tatsächliche gemessene Rekonstruktionszeitdauern umfassen, ermittelten Trainingsdatensätzen trainiert wird. Da viele Bildgebungseinrichtungen in den Diagnosedaten sowohl die Protokollparameter jedes verwendeten Aufnahmeprotokolls als auch die Mess- und Rekonstruktionszeitdauern speichern, kann eine hohe Zahl von Trainingsdatensätzen sowohl während der Entwicklungsphase als auch aus dem Feldeinsatz gewonnen werden, sodass eine robuste Vorausberechnungsqualität erhalten werden kann.
-
Neben dem Verfahren betrifft die Erfindung auch eine Bildgebungseinrichtung, aufweisend eine Steuereinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Bildgebungseinrichtung übertragen und umgekehrt, sodass auch mit der Bildgebungseinrichtung die bereits genannten Vorteile erhalten werden können.
-
Bei der Bildgebungseinrichtung kann es sich vorzugsweise um eine Magnetresonanzeinrichtung handeln, jedoch ist die hier beschriebene Offenbarung auch auf andere Bildgebungsmodalitäten, insbesondere in der medizinischen Bildgebung, anwendbar. Derartige sonstige Bildgebungsmodalitäten umfassen beispielsweise die Computertomographie und die Positronenemissionstomographie, sodass es sich bei der Bildgebungseinrichtung auch um eine Computertomographieeinrichtung und/oder eine Positronenemissionstomographieeinrichtung handeln kann. Auch Kombinationen verschiedener Bildgebungsmodalitäten an einer einzigen Bildgebungseinrichtung sind denkbar und können im Rahmen der vorliegenden Erfindung vorgesehen sein.
-
Die Bildgebungseinrichtung umfasst bevorzugt zur Ausgabe vorausberechneter Zeitdauern und/oder anderer Informationen, insbesondere in einem Planungsinterface, eine Bedieneinrichtung, die eine Ausgabeeinrichtung und eine Eingabeeinrichtung umfassen kann. Die Steuereinrichtung kann zur Realisierung der Verfahrensschritte als Hardware und/oder Software realisierte Funktionseinheiten umfassen und/oder wenigstens einen Prozessor und wenigstens ein Speichermittel umfassen. Insbesondere kann die Steuereinrichtung eine Zusammenstellungseinheit zur Zusammenstellung des Eingangsdatensatzes und eine Vorausberechnungseinheit zur Anwendung der trainierten Vorausberechnungsfunktion umfassen. Weitere denkbare Funktionseinheiten umfassen beispielsweise eine Ausgabeeinheit, eine Protokolleinheit zur Steuerung des Bildgebungsvorgangs und eine Ermittlungseinheit zur Ermittlung von für eine Reduzierung der Zeitdauer besonders relevanten Protokollparametern. Auch die Rekonstruktionseinrichtung kann Teil der erfindungsgemäßen Bildgebungseinrichtung sein.
-
Ein erfindungsgemäßes Computerprogramm ist direkt in ein Speichermittel einer Steuereinrichtung einer Bildgebungseinrichtung ladbar und weist Programmwechsel auf, die bei Ausführen des Computerprogramms auf der Steuereinrichtung der Bildgebungseinrichtung diese veranlassen, die Schritte eines erfindungsgemäßen Verfahrens durchzuführen. Das Computerprogramm kann auf einem elektronisch lesbaren Datenträger gemäß der Erfindung gespeichert sein, welcher mithin darauf gespeicherte Steuerinformationen umfasst, die wenigstens ein erfindungsgemäßes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Steuereinrichtung einer Bildgebungseinrichtung diese ausgestalten, ein erfindungsgemäßes Verfahren durchzuführen.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
- 1 ein Ausführungsbeispiel eines künstlichen neuronalen Netzes,
- 2 ein Ausführungsbeispiel eines Convolutional Neural Network,
- 3 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
- 4 eine mögliche Architektur einer trainierten Vorausberechnungsfunktion,
- 5 eine Prinzipskizze einer erfindungsgemäßen Bildgebungseinrichtung, und
- 6 die funktionale Struktur einer Steuereinrichtung der Bildgebungseinrichtung.
-
1 zeigt ein Ausführungsbeispiel eines künstlichen neuronalen Netzes 1. Englische Ausdrücke für das künstliche neuronale Netz 1 sind „artificial neural network“, „neural network“, „artificial neural net“ oder „neural net“.
-
Das künstliche neuronale Netzwerk 1 umfasst Knoten 6 bis 18 (nodes) und Kanten 19 bis 21 (edges), wobei jede Kante 19 bis 21 eine gerichtete Verbindung von einem ersten Knoten 6 bis 18 zu einem zweiten Knoten 6 bis 18 ist. Im Allgemeinen sind der erste Knoten 6 bis 18 und der zweite Knoten 6 bis 18 unterschiedliche Knoten 6 bis 18, es ist jedoch auch denkbar, dass der erste Knoten 6 bis 18 und der zweite Knoten 6 bis 18 identisch sind. Beispielsweise ist in 1 die Kante 19 eine gerichtete Verbindung von dem Knoten 6 zu dem Knoten 9 und die Kante 21 ist eine gerichtete Verbindung von dem Knoten 16 zu dem Knoten 18. Eine Kante 19 bis 21 von einem ersten Knoten 6 bis 18 zu einem zweiten Knoten 6 bis 18 wird als eingehende Kante („ingoing edge“) für den zweiten Knoten 6 bis 18 und als ausgehende Kante („outgoing edge“) für den ersten Knoten 6 bis 18 bezeichnet.
-
In diesem Ausführungsbeispiel können die Knoten 6 bis 18 des künstlichen neuronalen Netzes 1 in Schichten 2 bis 5 (layers) angeordnet werden, wobei die Schichten eine intrinsische Ordnung aufweisen können, die durch die Kanten 19 bis 21 zwischen den Knoten 6 bis 18 eingeführt wird. Insbesondere können Kanten 19 bis 21 nur zwischen benachbarten Schichten von Knoten 6 bis 18 vorgesehen sein. Im dargestellten Ausführungsbeispiel existiert eine Eingabeschicht 2, die lediglich die Knoten 6, 7, 8 aufweist, jeweils ohne eingehende Kante. Die Ausgangsschicht 5 umfasst nur die Knoten 17, 18, jeweils ohne ausgehende Kanten, wobei ferner versteckte Schichten 3 und 4 zwischen der Eingangsschicht 2 und der Ausgangsschicht 5 liegen. Im allgemeinen Fall kann die Zahl der versteckten Schichten 3, 4 beliebig gewählt werden. Die Zahl der Knoten 6, 7, 8 der Eingangsschicht 2 entspricht üblicherweise der Zahl der Eingabewerte in das neuronale Netzwerk 1, und die Zahl der Knoten 17, 18 in der Ausgangsschicht 5 entspricht üblicherweise der Zahl der Ausgabewerte des neuronalen Netzwerks 1.
-
Insbesondere kann eine (reale) Zahl den Knoten 6 bis 18 des neuronalen Netzwerks 1 zugeordnet werden. Dabei bezeichnet x
(n) i den Wert des i-ten Knotens 6 bis 18 der n-ten Schicht 2 bis 5. Die Werte der Knoten 6, 7, 8 der Eingabeschicht 2 sind äquivalent zu den Eingabewerten des neuronalen Netzwerks 1, während die Werte der Knoten 17, 18 der Ausgangsschicht 5 äquivalent zu den Ausgabewerten des neuronalen Netzwerks 1 sind. Darüber hinaus kann jeder Kante 19, 20, 21 ein Gewicht in Form einer realen Zahl zugeordnet sein. Insbesondere ist das Gewicht eine reale Zahl im Intervall [-1, 1] oder im Intervall [0, 1,] . Dabei bezeichnet w
(m,n) i,j das Gewicht der Kante zwischen den i-ten Knoten 6 bis 18 der m-ten Schicht 2 bis 5 und den j-ten Knoten 6 bis 18 der n-ten Schicht 2 bis 5. Ferner wird die Abkürzung
für das Gewicht
definiert.
-
Um Ausgangswerte des neuronalen Netzes 1 zu berechnen, werden die Eingangswerte durch das neuronale Netz 1 propagiert. Insbesondere können die Werte der Knoten 6 bis 18 des (n+1)-ten Schicht 2 bis 5 basierend auf den Werten der Knoten 6 bis 18 der n-ten Schicht 2 bis 5 berechnet werden durch
-
Dabei ist f eine Transferfunktion, die auch als Aktivierungsfunktion bezeichnet werden kann. Bekannte Transferfunktionen sind Stufenfunktionen, Sigmoidfunktionen (beispielsweise die logistische Funktion, die verallgemeinerte logistische Funktion, der Tangens hyperbolicus, der Arkustangens, die Fehlerfunktion, die Smoothstep-Funktion) oder Gleichrichterfunktionen (Rectifier). Die Transferfunktion wird im Wesentlichen für Normierungszwecke verwendet.
-
Insbesondere werden die Werte schichtweise durch das neuronale Netz 1 propagiert, wobei Werte der Eingangsschicht 2 durch die Eingangsdaten des neuronalen Netzes 1 gegeben sind. Werte der ersten versteckten Schicht 3 können basierend auf den Werten der Eingangsschicht 2 des neuronalen Netzes 1 berechnet werden, Werte der zweiten versteckten Schicht 4 können basierend auf den Werten in der ersten versteckten Schicht 3 berechnet werden usw.
-
Um die Werte
für die Kanten 19 bis 21 festlegen zu können, muss das neuronale Netz 1 unter Verwendung von Trainingsdaten trainiert werden. Insbesondere umfassen Trainingsdaten Trainingseingangsdaten und Trainingsausgangsdaten, die im Folgenden als t
i bezeichnet werden. Für einen Trainingsschritt wird das neuronale Netzwerk 1 auf die Trainingseingangsdaten angewendet, um berechnete Ausgangsdaten zu ermitteln. Insbesondere umfassen die Trainingsausgangsdaten und die berechneten Ausgangsdaten eine Zahl von Werten, wobei sich die Zahl als die Zahl der Knoten 17, 18 der Ausgangsschicht 5 bestimmt.
-
Insbesondere wird ein Vergleich zwischen den berechneten Ausgangsdaten und den Trainingsausgangsdaten verwendet, um die Gewichte innerhalb des neuronalen Netzes 1 rekursiv anzupassen (Rückpropagierungsalgorithmus - „back propagation algorithm“). Insbesondere können die Gewichte entsprechend
geändert werden, wobei γ eine Lernrate ist und die Zahlen
rekursiv berechnet werden können als
basierend auf
wenn die (n+1)-te Schicht nicht die Ausgangsschicht 5 ist, und
falls die (n+1)-te Schicht die Ausgangsschicht 5 ist, wobei f' die erste Ableitung der Aktivierungsfunktion ist und
der Vergleichstrainingswert für den j-ten Knoten 17, 18 der Ausgangsschicht 5 ist.
-
Im Folgenden wird im Hinblick auf 2 auch ein Beispiel für ein Convolutional Neural Network (CNN) gegeben. Dabei ist zu beachten, dass der Ausdruck „Schicht“ („layer“) dort auf leicht andere Art und Weise als für klassische neuronale Netze eingesetzt wird. Für ein klassisches neuronales Netz verweist der Ausdruck „Schicht“ nur auf den Satz von Knoten, der eine Schicht bildet, mithin eine bestimmte Generation von Knoten. Für ein Convolutional Neural Network, wird der Ausdruck „Schicht“ oft als ein Objekt benutzt, das aktiv Daten verändert, in anderen Worten als ein Satz von Knoten derselben Generation und entweder den Satz eingehender oder ausgehender Kanten.
-
2 zeigt ein Ausführungsbeispiel eines Convolutional Neural Network 22. In dem dargestellten Ausführungsbeispiel umfasst das Convolutional Neural Network 22 eine Eingangsschicht 23, eine Faltungsschicht 24 (Convolutional Layer), eine Pooling-Schicht 25, eine vollständig verbundene Schicht 26 und eine Ausgangsschicht 27. In alternativen Ausgestaltungen kann das Convolutional Neural Network 22 mehrere Faltungsschichten 24, mehrere Pooling-Schichten 25 und mehrere vollständig verbundene Schichten 26, genau wie andere Arten von Schichten, enthalten. Die Reihenfolge der Schichten kann beliebig gewählt werden, wobei üblicherweise vollständig verbundene Schichten 26 die letzten Schichten vor der Ausgangsschicht 27 bilden.
-
Insbesondere können innerhalb eines Convolutional Neural Network 22 die Knoten 28 bis 32 einer der Schichten 23 bis 27 als in einer d-dimensionalen Matrix oder als d-dimensionales Bild angeordnet verstanden werden. Insbesondere kann im zweidimensionalen Fall der Wert eines Knotens 28 bis 32 mit den Indizes i, j in der n-ten Schicht 23 bis 27 als x(n) [i,j] bezeichnet werden. Es ist darauf hinzuweisen, dass die Anordnung der Knoten 28 bis 31 einer Schicht 23 bis 27 keinerlei Auswirkung auf die Berechnungen innerhalb des Convolutional Neural Network 22 als solches hat, da diese Auswirkungen ausschließlich durch die Struktur und die Gewichte der Kanten gegeben sind.
-
Eine Faltungsschicht 24 ist insbesondere dadurch ausgezeichnet, dass die Struktur und die Gewichte der eingehenden Kanten eine Faltungsoperation basierend auf einer bestimmten Zahl von Kernen bildet. Insbesondere können die Struktur und die Gewichte der eingehenden Kanten so gewählt werden, dass die Werte
der Knoten 29 der Faltungsschicht 24 als eine Faltung
basierend auf den Werten x
(n-1) der Knoten 28 der vorangehenden Schicht 23 ermittelt werden, wobei die Faltung * im zweidimensionalen Fall definiert werden kann als
-
Darin ist der k-te Kern Kk eine d-dimensionale Matrix, in diesem Ausführungsbeispiel eine zweidimensionale Matrix, die üblicherweise klein im Vergleich zur Zahl der Knoten 28 bis 32 ist, beispielsweise eine 3x3-Matrix oder eine 5x5-Matrix. Insbesondere impliziert dies, dass die Gewichte der eingehenden Kanten nicht unabhängig sind, sondern so gewählt sind, dass sie obige Faltungsgleichung erzeugen. Im Beispiel für einen Kern, der eine 3x3-Matrix bildet, existieren nur neun unabhängige Gewichte (wobei jeder Eintrag der Kern-Matrix einem unabhängigen Gewicht entspricht), ungeachtet der Zahl der Knoten 28 bis 32 in der entsprechenden Schicht 23 bis 27. Insbesondere ist für eine Faltungsschicht 24 die Zahl der Knoten 29 in der Faltungsschicht 24 äquivalent der Zahl der Knoten 28 in der vorangehenden Schicht 23 multipliziert mit der Zahl der Faltungskerne.
-
Wenn die Knoten 28 der vorangehenden Schicht 23 als eine d-dimensionale Matrix angeordnet sind, kann die Nutzung der Mehrzahl von Kernen als Hinzufügung einer weiteren Dimension, die auch als Tiefendimension bezeichnet wird, verstanden werden, so dass die Knoten 29 der Faltungsschicht 24 als eine (d+1)-dimensionale Matrix angeordnet sind. Wenn die Knoten 28 der vorangehenden Schicht 23 bereits als eine (d+1)-dimensionale Matrix mit einer Tiefendimension angeordnet sind, kann die Nutzung einer Mehrzahl von Faltungskernen als Expansion entlang der Tiefendimension verstanden werden, so dass die Knoten 29 der Faltungsschicht 24 gleichermaßen als eine (d+1)-dimensionale Matrix angeordnet sind, wobei die Größe der (d+1)-dimensionalen Matrix in der Tiefendimension um den durch die Zahl der Kerne gebildeten Faktor größer ist als in der vorangehenden Schicht 23.
-
Der Vorteil der Nutzung von Faltungsschichten 24 ist, dass die räumlich lokale Korrelation der Eingangsdaten ausgenutzt werden kann, indem ein lokales Verbindungsmuster zwischen Knoten benachbarter Schichten geschaffen wird, insbesondere dadurch, dass jeder Knoten nur zu einem kleinen Bereich der Knoten der vorangehenden Schicht Verbindungen aufweist.
-
Im dargestellten Ausführungsbeispiel umfasst die Eingangsschicht 23 sechsunddreißig Knoten 28, die als eine zweidimensionale 6x6-Matrix angeordnet sind. Die Faltungsschicht 24 umfasst zweiundsiebzig Knoten 29, die als zwei zweidimensionale 6x6-Matrizen angeordnet sind, wobei jede der beiden Matrizen das Ergebnis einer Faltung der Werte der Eingangsschicht 23 mit einem Faltungskern ist. In gleicher Weise können die Knoten 29 der Faltungsschicht 24 als in einer dreidimensionalen 6x6x2-Matrix angeordnet verstanden werden, wobei die zuletzt genannte Dimension die Tiefendimension ist.
-
Eine Pooling-Schicht 25 zeichnet sich dadurch aus, dass die Struktur und die Gewichte der eingehenden Kanten sowie die Aktivierungsfunktion ihrer Knoten 30 eine Pooling-Operation basierend auf einer nichtlinearen Pooling-Funktion f definieren. Beispielsweise können im zweidimensionalen Fall die Werte x
(n) der Knoten 30 der Pooling-Schicht 25 basierend auf den Werten x
(n+1) der Knoten 29 der vorangehenden Schicht 24 als
berechnet werden. In anderen Worten kann durch die Verwendung einer Pooling-Schicht 25 die Zahl der Knoten 29, 30 reduziert werden, indem eine Anzahl von d
1 × d
2 benachbarter Knoten 29 in der vorangehenden Schicht 24 durch einen einzelnen Knoten 30 ersetzt werden, der als eine Funktion der Werte der genannten Anzahl benachbarter Knoten 29 berechnet wird. Insbesondere kann die Pooling-Funktion f eine Maximumsfunktion, eine Durchschnittsbildung oder die L2-Norm sein. Insbesondere können für eine Pooling-Schicht 25 die Gewichte der eingehenden Kanten festgelegt sein und nicht durch Training modifiziert sein.
-
Der Vorteil der Verwendung einer Pooling-Schicht 25 ist, dass die Zahl der Knoten 29, 30 und die Zahl der Parameter reduziert wird. Dies führt zu einer Reduktion der notwendigen Berechnungsmenge innerhalb des Convolutional Neural Network 22 und somit zu einer Steuerung der Überanpassung.
-
Im dargestellten Ausführungsbeispiel handelt es sich bei der Pooling-Schicht 25 um eine Max-Pooling-Schicht, in der vier benachbarte Knoten mit nur einem einzigen Knoten ersetzt werden, dessen Wert durch das Maximum der Werte der vier benachbarten Knoten gebildet wird. Das Max-Pooling wird auf jede d-dimensionale Matrix der vorherigen Schicht angewendet; in diesem Ausführungsbeispiel wird das Max-Pooling auf jede der zwei zweidimensionalen Matrizen angewendet, so dass sich die Zahl der Knoten von zweiundsiebzig auf achtzehn reduziert.
-
Eine vollständig verbundene Schicht 26 zeichnet sich dadurch aus, dass eine Mehrzahl, insbesondere alle, Kanten zwischen den Knoten 30 der vorherigen Schicht 25 und den Knoten 31 der vollständig verbundenen Schicht 26 vorhanden sind, wobei das Gewicht jeder der Kanten individuell angepasst werden kann. In diesem Ausführungsbeispiel werden die Knoten 30 der vorangehenden Schicht 25 und der vollständig verbundenen Schicht 26 sowohl als zweidimensionale Matrizen als auch als nichtzusammenhängende Knoten (dargestellt als eine Zeile von Knoten, wobei die Zahl der Knoten zur besseren Darstellbarkeit reduziert wurde) gezeigt. In diesem Ausführungsbeispiel ist die Zahl der Knoten 31 in der vollständig verbundenen Schicht 26 gleich der Anzahl der Knoten 30 in der vorangehenden Schicht 25. In alternativen Ausführungsformen kann die Zahl der Knoten 30, 31 unterschiedlich sein.
-
Darüber hinaus werden in diesem Ausführungsbeispiel die Werte der Knoten 32 der Ausgangsschicht 27 bestimmt, indem die Softmax-Funktion auf die Werte der Knoten 31 der vorangehenden Schicht 26 angewendet wird. Durch Anwendung der Softmax-Funktion ist die Summe der Werte aller Knoten 32 der Ausgangsschicht 27 eins und alle Werte aller Knoten 32 der Ausgangsschicht sind reale Zahlen zwischen 0 und 1. Wenn das Convolutional Neural Network 22 zur Klassifizierung von Eingangsdaten genutzt wird, können insbesondere die Werte der Ausgangsschicht 27 als Wahrscheinlichkeit dafür interpretiert werden, dass die Eingangsdaten in eine der unterschiedlichen Klassen fallen.
-
Ein Convolutional Neural Network 22 kann ebenso eine ReLU-Schicht aufweisen, wobei ReLU als Akronym für „rectified linear units“ steht. Insbesondere ist die Zahl der Knoten und die Struktur der Knoten innerhalb einer ReLU-Schicht äquivalent zu der Zahl der Knoten und der Strukturen der Knoten der vorangehenden Schicht. Der Wert jedes Knotens in der ReLU-Schicht kann insbesondere durch Anwendung einer Gleichrichtungsfunktion (rectifier function) auf den Wert des entsprechenden Knoten der vorangehenden Schicht berechnet werden. Beispiele für Gleichrichterfunktionen sind f(x)=max(0,x), der Tangens hyperbolicus oder die Sigmoidfunktion.
-
Convolutional Neural Networks 22 können insbesondere basierend auf den Rückpropagierungsalgorithmus trainiert werden. Um eine Überanpassung (overfitting) zu vermeiden, können Verfahren der Regularisierung eingesetzt werden, beispielsweise Dropout einzelner Knoten 28 bis 32, stochastisches Pooling, Nutzen von künstlichen Daten, Gewichtszerfall basierend auf der L1- oder der L2-Norm oder Maximalnorm-Einschränkungen.
-
3 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Dabei wird hier beispielhaft die Planungsphase eines Bildgebungsvorgangs an einer medizinischen Magnetresonanzeinrichtung als Bildgebungseinrichtung betrachtet, mithin die Planung eines Untersuchungsvorgangs eines Patienten. Die Bildgebungseinrichtung kann jedoch auch, gegebenenfalls zusätzlich, eine Computertomographieeinrichtung und/oder ein Positronenemissionstomographieeinrichtung sein. Die Bildgebungseinrichtung umfasst eine Bedieneinrichtung, an der der Bildgebungsvorgang von einem Benutzer in einem Planungsinterface geplant und vorbereitet werden kann. Ein Bildgebungsvorgang umfasst dabei sowohl den Schritt einer Rohdatenaufnahme gemäß wenigstens einem ausgewählten und/oder angepassten Aufnahmeprotokoll sowie einen Rekonstruktionsschritt, in dem aus den Rohdaten Bilddatensätze rekonstruiert werden. Gerade bei der Anwendung von Beschleunigungstechniken in der Magnetresonanzbildgebung wächst mit der Reduzierung der Zeitdauer für die Aufnahme der Rohdaten häufig die Zeitdauer für den Rekonstruktionsschritt, wobei es auf der anderen Seite erwünscht ist, möglichst unmittelbar nach Abschluss der Aufnahme der Rohdaten auch die Bilddatensätze zur Verfügung zu haben, um diese auf notwendige Wiederholungen beziehungsweise Zusatzaufnahmen prüfen zu können.
-
In einem Schritt S1 wird ein erster Vorschlag für das wenigstens eine Aufnahmeprotokoll gewählt oder erstellt, wobei sowohl ein automatisierter Vorschlag als auch eine benutzerseitige Auswahl beziehungsweise Erstellung denkbar sind. Dabei werden vorliegend, wie in der Magnetresonanzbildgebung häufig vorgesehen, mehrere Aufnahmeprotokolle für den Bildgebungsvorgang zusammengestellt.
-
In einem Schritt S2 werden dann seitens einer Steuereinrichtung der Magnetresonanzeinrichtung für jedes Aufnahmeprogramm Eingangsdatensätze für eine trainierte Vorausberechnungsfunktion zusammengestellt, die die Zeitdauer des Rekonstruktionsschritts vorausberechnet. Dabei wird der Eingangsdatensatz strukturiert in einem vorgegebenen Tabellenformat, also als sogenannte „Tabular Data“ zusammengestellt. Mit Trainingsdatensätzen in diesem Tabellenformat wurde auch zuvor die Vorausberechnungsfunktion trainiert, um die trainierte Vorausberechnungsfunktion bereitstellen zu können. Trainingsdatensätze wurden dabei aus Diagnosedaten zusammengestellt, die auch tatsächlich gemessene Rekonstruktionszeitdauern als „Grundwahrheit“ umfassen. Derartige Diagnosedaten, in denen auch alle für die Eingangsdatensätze notwendigen Informationen enthalten sind, werden bereits gemäß dem Stand der Technik ohnehin häufig ermittelt und gespeichert. Dabei ist darauf hinzuweisen, dass auch kontinuierliche Verbesserung der trainierten Vorausberechnungsfunktion stattfinden kann, da letztlich mit jedem endgültig bestätigten und genutzten Aufnahmeprotokoll Zeitdauern der entsprechenden Rekonstruktionsschritte gemessen werden und somit die Leistung der trainierten Vorausberechnungsfunktion unmittelbar beurteilt werden kann.
-
Der Eingangsdatensatz umfasst zwei grundsätzliche Kategorien von Eingangsdaten, nämlich zum einen auf das jeweilige Aufnahmeprotokoll bezogene, die Zeitdauer des Rekonstruktionsschrittes beeinflussende Protokollparameter, zum anderen auf die Rekonstruktionseinrichtung bezogene Rekonstruktionseinrichtungsparameter, die auch als kategorische Größen angesehen werden können. Vorliegend können die Protokollparameter des Eingangsdatensatzes beispielsweise eine Matrixgröße (also die Zahl der aufzunehmenden K-Raumzeilen in Phasenkodierungsrichtung sowie die Zahl der Datenpunkte in Ausleserichtung für jede K-Raumzeile), die Zahl der Schichten, die Zahl der verwendeten Spulenkanäle, wenigstens einen Referenzscan beschreibenden Protokollparameter und wenigstens einen Beschleunigungsfaktor umfassen, wobei die Zahl der Abtastungen in Phasenkodierungsrichtung auch durch Phasen-Überabtastung (Oversampling gegen Einfaltungen) hinzukommende k-Raumzeilen umfassen. Die Rekonstruktionseinrichtungsparameter sind in zwei Gruppen aufgeteilt, nämlich zum einen die Hardware der Rekonstruktionseinrichtung beschreibende Hardwareparameter und zum anderen verwendete Rekonstruktionssoftware beschreibende Softwareparameter. Die Hardwareparameter können dabei eine Zahl von Kernen wenigstens einer verwendeten CPU, eine Taktfrequenz der wenigstens einen verwendeten CPU, ein Modell der wenigstens einen verwendeten CPU, ein Modell wenigstens einer verwendeten GPU, einen Speicherplatz der wenigstens einen verwendeten GPU und einen Speicherplatz eines Hauptspeichers der Rekonstruktionseinrichtung umfassen. Die Softwareparameter können einen Typ und/oder eine Architektur einer verwendeten trainierten Rekonstruktionsfunktion und eine Softwareversion der Rekonstruktionssoftware umfassen. Hierbei kann insbesondere ausgenutzt werden, dass die meisten Typen beziehungsweise Architekturen trainierter Funktionen auch in wissenschaftlichen Artikeln bereits mit bestimmten Namen versehen werden, die hier referenziert werden können.
-
In einem Schritt S3 wird die trainierte Vorausberechnungsfunktion dann auf den ermittelten Eingangsdatensatz angewendet, und zwar für jedes Aufnahmeprotokoll. Aufgrund der Verwendung von Daten im Tabellenformat ist es hierbei grundsätzlich denkbar, beispielsweise auf wenigstens einem Entscheidungsbaum basierende Architekturen, wie häufig eingesetzte Random-Forests, einzusetzen, wobei vorliegend die trainierte Vorausberechnungsfunktion ein tiefes neuronales Netz umfasst und eine Struktur aufweist, wie sie beispielhaft in 4 dargestellt ist. In der Eingangsschicht 33 des tiefen neuronalen Netzwerks 34 geht der Eingangsdatensatz, wie beschrieben, ein, umfassend die Protokollparameter 35 sowie die Rekonstruktionsparameter, welche die Hardwareparameter 36 und die Softwareparameter 37 umfassen. Sodann folgen zweimal jeweils eine Matrixmultiplikationsschicht 38, also eine lineare Operation, und eine nichtlineare Schicht 39, hier eine ReLu-Schicht, aufeinander. Batch-Normalisierung kann nach der nichtlinearen Schicht 39 eingesetzt werden, um sogenanntes „Overfitting“ zu vermeiden. Eine lineare Transformationsschicht 40, die wiederum eine Matrixmultiplikation umfassen kann, führt zur Ausgangsschicht 41, in der die vorausberechnete Zeitdauer 42 für den Rekonstruktionsschritt ausgegeben wird.
-
Zurückkehrend zu 3 werden in einem Schritt S4, der optional ist, noch Zusatzinformationen ermittelt. Derartige Zusatzinformationen können wenigstens einen der mehreren Protokollparameter 35, der den größten Einfluss auf die Zeitdauer 40 des Rekonstruktionsschritts zumindest im Hinblick auf deren Verkürzung ausgehend von den aktuell gewählten Protokollparametern 35 hat, betreffen. Hierzu werden zunächst in einem Identifikations-Unterschritt die Protokollparameter 35 identifiziert, die vom Benutzer realistischerweise verändert werden können, beispielsweise die Auflösung, die Spulenkanalzahl und den Referenzscantyp betreffende Protokollparameter 35. In einem darauf folgenden Ermittlungsschritt als Unterschritt des Schrittes S4 werden aus den identifizierten Protokollparametern 35 die genannten, die größte Relevanz für die Verkürzung der Zeitdauer 42 aufweisenden Protokollparameter 35 ermittelt. Hierzu kann in dem Ermittlungsschritt eine wiederholte Anwendung der trainierten Vorausberechnungsfunktion mit jeweils bezüglich wenigstens einem der identifizierten Protokollparameter 35 gemäß einer Modifikationsvorschritt modifiziertem Eingangsdatensatz durchgeführt werden. Die Modifikationsvorschrift kann beispielsweise umfassen, den Wert des jeweiligen identifizierten Protokollparameters 35 zu halbieren. Dann kann der wenigstens eine Protokollparameter 35, der den größten Einfluss auf die Zeitdauer des Rekonstruktionsschritts zumindest im Hinblick auf deren Verkürzung ausgehend von den aktuell gewählten Protokollparametern 35 hat, durch Vergleich der jeweiligen Ergebnisse ermittelt werden.
-
Bevorzugt ist es jedoch, wenn in dem Ermittlungsschritt eine trainierte Ermittlungsfunktion verwendet wird, welche einen Variational Autoencoder umfassen kann und/oder eine Counterfactual Explanations-Funktion sein kann.
-
Im Schritt S4 kann ferner optional überprüft werden, ob signifikante Vorteile hinsichtlich der Zeitdauer des Rekonstruktionsschritts bei einer Verbesserung der Hardware und/oder Software, also einem Upgrade, erwartet werden können. Wird ein solcher deutlicher Vorteil erwartet, kann dem Benutzer im folgenden Schritt S5 auch angezeigt werden, wie stark sich die Rekonstruktionszeitdauer bei dem entsprechenden Upgrade verringert.
-
Schließlich können im Schritt S4 auch bereits sich aufgrund der Reihenfolge akkumulierende Verzögerungen bei der Rekonstruktion für die einzelnen Aufnahmeprotokolle berechnet werden.
-
In einem Schritt S5 wird mittels einer Ausgabeeinrichtung der Bedieneinrichtung, beispielsweise einem Bildschirm, die Zeitdauer für den Rekonstruktionsschritt, wie sie im Schritt S3 ermittelt wurde, für jedes Aufnahmeprotokoll ausgegeben, wobei zusätzlich auch die aktuell gewählte Reihenfolge der Aufnahmeprotokolle angezeigt wird, gemeinsam mit den sich ergebenden akkumulierten zeitlichen Verzögerungen aufgrund noch laufender Rekonstruktionen vorangehender Aufnahmeprotokolle. Darüber hinaus wird bei Ermittlung von für die Verkürzung der Zeitdauer des Rekonstruktionsschritts besonders relevanten Protokollparametern 35 den jeweiligen Aufnahmeprotokollen zugeordnet eine entsprechende Empfehlung ausgegeben, die im Übrigen auch vorgeschlagene neue Werte für die ermittelten Protokollparameter 35 umfassen kann.
-
Basierend auf der ausgegebenen Information kann der Benutzer in einem Schritt S6 mittels einer Eingabeeinrichtung der Bedieneinrichtung Eingaben tätigen, beispielsweise die Reihenfolge von Aufnahmeprotokollen verändern, Protokollparameter 35 anpassen oder aber die aktuelle Konfiguration bestätigen. Zweckmäßig ist es hierbei, mit den Zeitdauern 42 auch die jeweiligen Aufnahmedauern für die Aufnahmeprotokolle auszugeben-
-
In einem Schritt S7 wird dann überprüft, ob bestätigt wurde, mithin die Planung abgeschlossen ist, oder ob Änderungen vorgenommen wurden. Bei vorgenommenen Änderungen der Protokollparameter 35 wird zu Schritt S2 zurückgekehrt. Dabei sei darauf hingewiesen, dass auftretende akkumulierte Verzögerungen bei einer puren Änderung der Reihenfolge selbstverständlich „online“ durch einen Rücksprung zum entsprechenden Teil des Schrittes S4 und Wiederholung des Schrittes S5 sofort angezeigt werden können. In diesem Zusammenhang sei darauf hingewiesen, dass im Schritt S5 neben den vorausberechneten Zeitdauern 42 für den Rekonstruktionsschritt auch die Aufnahmedauern für die Aufnahme der Rohdaten an den Nutzer ausgegeben werden, sodass er beispielsweise „Leerlaufzeiten“ erkennen kann und somit die Reihenfolge der Aufnahmeprotokolle so wählen kann, dass am Ende des Bildgebungsvorgangs eine minimale Verzögerung gegeben ist.
-
Ist die Planungsphase beendet, werden in einem Schritt S8 die Komponenten der Bildgebungseinrichtung durch die Steuereinrichtung zur Umsetzung der Aufnahmeprotokolle des Bildgebungsvorgangs angesteuert. Sobald hinreichende Rohdaten vorliegen, beginnen in einem Schritt S9, insbesondere parallel, in der Rekonstruktionseinrichtung die Rekonstruktionsvorgänge des Rekonstruktionsschritts.
-
5 zeigt eine Prinzipskizze einer erfindungsgemäßen Bildgebungseinrichtung 43, die vorliegend als Magnetresonanzeinrichtung ausgebildet ist. Die Magnetresonanzeinrichtung weist, wie grundsätzlich bekannt, eine Hauptmagneteinheit 44 auf, die einen Hauptmagneten für die Erzeugung eines Hauptmagnetfelds umfasst und eine zylindrische Patientenaufnahme 45 definiert, in die ein Patient mittels einer hier nicht näher gezeigten Patientenliege eingefahren werden kann. Die Patientenaufnahme 45 umgebend, können, wie grundsätzlich bekannt, eine Gradientenspulenanordnung und/oder Hochfrequenzspulenanordnung vorgesehen sein; ferner können Lokalspulenanordnungen Teil der Magnetresonanzeinrichtung bilden. Der Betrieb der Bildgebungseinrichtung 43 wird durch eine Steuereinrichtung 46 gesteuert, die auch zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Die an die Steuereinrichtung 46 angeschlossene Rekonstruktionseinrichtung 47 nutzt vorliegend sowohl wenigstens eine CPU 48 als auch wenigstens eine GPU 49 zur Durchführung von Rekonstruktionsschritten und weist einen nicht näher gezeigten Hauptspeicher auf. Ebenso an die Steuereinrichtung 46 angeschlossen ist eine Bedieneinrichtung 50, mit einer Ausgabeeinrichtung 51, hier einen Bildschirm, und einer Eingabeeinrichtung 52.
-
6 zeigt die funktionale Struktur der Steuereinrichtung 46 genauer, welche zunächst ein Speichermittel 53 zum Speichern verschiedener Informationen, insbesondere auch von in der Planungsphase eines Bildgebungsvorgangs eingestellten Planungsparametern, umfassend die Protokollparameter 35. Auch die Hardwareparameter 36 und die Softwareparameter 37 können in dem Speichermittel 53 gespeichert sein, genau wie weitere, nützliche, gegebenenfalls für Umrechnungen erforderliche Systemparameter, die beispielsweise die Feldstärke des Hauptmagnetfelds beschreiben können.
-
Die Steuereinrichtung 46 umfasst zur Durchführung des erfindungsgemäßen Verfahrens eine Zusammenstellungseinheit 54 zur Durchführung des Schrittes S2 und eine Vorausberechnungseinheit 55 zur Durchführung des Schrittes S3. Eine Zusatzinformationseinheit 56 zur Durchführung des Schrittes S4 kann als Untereinheiten beispielsweise eine Identifikationseinheit 57 und eine Ermittlungseinheit 58 aufweisen. Mittels einer auch anderweitig nutzbaren Ausgabeeinheit 59 und einer auch anderweitig nutzbaren Eingabeeinheit 60 können die Ausgabe und die Benutzerinteraktion in den Schritten S1, S5 und S6 gesteuert werden.
-
Eine allgemein bekannte Protokolleinheit 61 steuert die Durchführung von Bildgebungsvorgängen gemäß dem wenigstens einen Aufnahmeprotokoll, vergleiche Schritt S8, während eine Rekonstruktionseinheit 62 den Betrieb der Rekonstruktionseinrichtung 47, welche im Übrigen auch als Teil der Steuereinrichtung 46 realisiert sein kann, zur Durchführung des Rekonstruktionsschrittes (Schritt S9) steuert.
-
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
-
Unabhängig vom grammatikalischen Geschlecht eines bestimmten Begriffes sind Personen mit männlicher, weiblicher oder anderer Geschlechteridentität mit umfasst.