DE202019005911U1

DE202019005911U1 - Systeme zur Erkennung einer Indikation eines visuellen Befundtyps in einem anatomischen Bild

Info

Publication number: DE202019005911U1
Application number: DE202019005911.3U
Authority: DE
Original assignee: Nano X AI Ltd
Current assignee: NANO-X AI LTD., IL
Priority date: 2018-05-07
Filing date: 2019-05-07
Publication date: 2023-04-19
Anticipated expiration: 2029-05-08
Also published as: EP3791325A1; WO2019215604A1; WO2019215605A1; JP2019195627A; EP3567525A1; WO2019215606A1; EP3791310A4; EP3791325A4; EP3791310A1

Abstract

Ein System zur Berechnung eines neuronalen Einzellabel-Netzwerks zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Bild eines Zielindividuums, wobei der einzelne visuelle Befundtyp einen akuten medizinischen Zustand für eine frühe und schnelle Behandlung desselben bezeichnet, umfassend:
Eine Rechenvorrichtung, wobei die Rechenvorrichtung mindestens einen Hardware-Prozessor, und einen Speicher umfasst, wobei ein Code ausführbar durch den Hardware-Prozessor in dem Speicher gespeichert ist, wobei der Code Anweisungen erhält zur:
Bereitstellung eines Multilabel-Trainingsdatensatzes, der eine Vielzahl anatomischer Bilder enthält, aufgenommen durch ein Bildgebungsgerät, wobei die Bilder jeweils mit einem Label verbunden sind, das mindestens einen visuellen Befundtyp angibt, der aus einer Vielzahl visueller Befundtypen ausgewählt wurde, oder das keine visuellen Befundtypen angibt, wobei die anatomischen Bilder durch die Rechenvorrichtung empfangbar sind von der Bildgebungsvorrichtung und/oder einem Bildspeicher über zumindest eine Bildgebungsschnittstelle;
Trainieren eines neuronalen Multilabel-Netzwerks zur Erkennung der Vielzahl von visuellen Befundtypen in einem anatomischen Zielbild gemäß dem Multilabel-Trainingsdatensatz, wobei die Anweisungen des Multi-Label Netzwerks in dem Speicher gespeichert sind;
Erzeugen eines Einzellabel-Trainingsdatensatzes, der eine Vielzahl von anatomischen Bildern enthält, die jeweils mit einem Label verknüpft sind, das den einzelnen aus der Vielzahl der visuellen Befundtypen ausgewählten visuellen Befundtyp anzeigt verwendet zum Markieren des Multilabel-Trainingsdatensatzes oder das Fehlen des einzelnen visuellen Befundtyps anzeigt; und
Trainieren eines neuronalen Einzellabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild, indem das trainierte neuronale Multilabel-Netzwerk als anfängliche Basislinie des neuronalen Einzellabel-Netzwerks festgelegt wird, und eine Feinabstimmung und/oder ein Neutraining der Basislinie entsprechend dem Einzellabel-Trainingsdatensatz, wobei die Anweisungen des trainierten neuronalen Einzellabel-Netzwerks in dem Speicher gespeichert sind,
wobei der einzelne visuelle Befundtyp durch das trainierte neuronale Einzellabel-Netzwerk aus einer Vielzahl von visuellen Befundtypen durch das trainierte neuronale Multi-Label Netzwerk erkannt wird.

Description

VERWANDTE ANWENDUNGEN
Diese Anmeldung beansprucht die Priorität der am 7. Mai 2018 eingereichten vorläufigen US-Patentanmeldung Nr. 15/972,912 sowie der am 7. Februar 2019 eingereichten US-Gebrauchsmusteranmeldung Nr. 16/269,619 und der am 7. Februar 2019 eingereichten US-Gebrauchsmusteranmeldung Nr. 16/269,633, deren Inhalt durch Bezugnahme in vollem Umfang hierin aufgenommen ist.
GEBIET UND HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich in einigen Ausführungsformen auf medizinische anatomische Bilder und insbesondere, aber nicht ausschließlich, auf Systeme und Verfahren zur automatischen Analyse medizinischer anatomischer Bilder.
Die manuelle visuelle Beurteilung (z. B. durch einen Radiologen) medizinischer anatomischer Bilder, wie z. B. Röntgenbilder, ist aufgrund der großen Menge an zu verarbeitenden Informationen eine anspruchsvolle und zeitaufwändige Aufgabe. Der Radiologe versucht, relevante Merkmale der anatomischen Bilder zu identifizieren, wobei eine große Anzahl möglicher Merkmale in Frage kommt. Jedes medizinische anatomische Bild enthält beispielsweise mehrere anatomische Objekte wie Knochen, verschiedene Organe und verschiedene Bindegewebe, die jeweils unterschiedliche Befunde aufweisen können. Kritische Befunde, die eine dringende Behandlung erfordern, können vom Radiologen übersehen werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einem ersten Aspekt umfasst ein System zur Berechnung eines neuronalen Einzellabel-Netzwerks zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Bild eines Zielindividuums, wobei der einzelne visuelle Befundtyp einen akuten medizinischen Zustand für eine frühzeitige und schnelle Behandlung desselben bezeichnet: mindestens einen Hardware-Prozessor, der einen Code ausführt, zum: Bereitstellen eines Multilabel-Trainingsdatensatzes, der eine Vielzahl von anatomischen Bildern enthält, die jeweils mit einem Label verbunden sind, das mindestens einen visuellen Befundtyp angibt, der aus einer Vielzahl von visuellen Befundtypen ausgewählt wird, oder das keine visuellen Befundtypen angibt, Trainieren eines neuronalen Multilabel-Netzwerks zur Erkennung der Vielzahl von visuellen Befundtypen in einem anatomischen Zielbild gemäß dem Multilabel-Trainingsdatensatz, Erzeugen eines Einzellabel-Trainingsdatensatzes, der eine Vielzahl von anatomischen Bildern enthält, die jeweils mit einem Label verbunden sind, das den aus der Vielzahl von visuellen Befundtypen ausgewählten einzelnen visuellen Befundtyp anzeigt oder das Fehlen des einzelnen visuellen Befundtyps anzeigt, und Trainieren eines neuronalen Einzellabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild, indem das trainierte neuronale Multilabel-Netzwerk als anfängliche Basislinie des neuronalen Einzellabel-Netzwerks festgelegt wird, und eine Feinabstimmung und/oder ein Neutraining der Basislinie gemäß dem Einzellabel-Trainingsdatensatz.
Gemäß einem zweiten Aspekt umfasst ein System zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk, wobei der einzelne visuelle Befundtyp einen akuten medizinischen Zustand für eine frühzeitige und schnelle Behandlung desselben bezeichnet: mindestens einen Hardware-Prozessor, der einen Code ausführt, zum: Einspeisen eines anatomischen Zielbildes in ein neuronales Einzellabel-Netzwerk, und Berechnen der Wahrscheinlichkeit einer Indikation des einzelnen visuellen Befundtyps in dem anatomischen Zielbild durch das neuronale Einzellabel-Netzwerk, wobei das neuronale Einzellabel-Netzwerk durch eine Feinabstimmung und/oder ein Neutraining eines trainierten neuronalen Multilabel-Netzwerks gemäß einem Einzellabel-Trainingsdatensatz aus einer Vielzahl von anatomischen Bildern, die mit einer Indikation des visuellen Befundtyps gekennzeichnet sind, berechnet wird, wobei das neuronale Multilabel-Netzwerk so trainiert wird, dass es die Wahrscheinlichkeit für jeden einer Vielzahl von visuellen Befundtypen auf der Grundlage eines Multilabel-Trainingsdatensatzes einer Vielzahl von anatomischen Bildern, die mit der Vielzahl von visuellen Befundtypen gekennzeichnet sind, berechnet.
Gemäß einem dritten Aspekt umfasst ein Verfahren zur Berechnung eines neuronalen Einzellabel-Netzwerks zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Bild eines Zielindividuums, wobei der einzelne visuelle Befundtyp einen akuten medizinischen Zustand für eine frühzeitige und schnelle Behandlung desselben bezeichnet: Bereitstellen eines Multilabel-Trainingsdatensatzes, der eine Vielzahl von anatomischen Bildern enthält, die jeweils mit einem Label verbunden sind, das mindestens einen aus einer Vielzahl von visuellen Befundtypen ausgewählten visuellen Befundtyp angibt oder keine visuellen Befundtypen angibt, Trainieren eines neuronalen Multilabel-Netzwerks zur Erkennung der Vielzahl von visuellen Befundtypen in einem anatomischen Zielbild gemäß dem Multilabel-Trainingsdatensatz, Erzeugen eines Einzellabel-Trainingsdatensatzes, der eine Vielzahl von anatomischen Bildern enthält, die jeweils mit einem Label verbunden sind, das den aus der Vielzahl von visuellen Befundtypen ausgewählten einzelnen visuellen Befundtyp anzeigt oder das Fehlen des einzelnen visuellen Befundtyps anzeigt, und Trainieren eines neuronalen Einzellabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild durch Festlegen des trainierten neuronalen Multilabel-Netzwerks als eine anfängliche Basislinie des neuronalen Einzellabel-Netzwerkes und eine Feinabstimmung und/oder ein Neutraining der Basislinie gemäß dem Einzellabel-Trainingsdatensatz.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts ist die Genauigkeit des trainierten neuronalen Einzellabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps in dem anatomischen Zielbild höher als die Genauigkeit des neuronalen Multilabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild, und höher als ein anderes neuronales Einzellabel-Netzwerk, das nur auf dem Einzellabel-Trainingsdatensatz trainiert wurde, wobei ein standardmäßiges untrainiertes neuronales Netzwerk als anfängliche Basislinie verwendet wurde, und höher als ein anderes neuronales Einzellabel-Netzwerk trainiert wurde, das auf einem neuronalen Netzwerk mit mehreren Objekten trainiert wurde, um nichtmedizinische Objekte in nichtmedizinischen Bildern zu erkennen.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts umfasst die Erkennung des einzelnen visuellen Befundtyps die Berechnung einen Wahrscheinlichkeitswert durch das neuronale Einzellabel-Netzwerk, die eine Probabilität angibt, dass der einzelne visuelle Befundtyp in dem anatomischen Zielbild dargestellt ist.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts sind das anatomische Bild und der einzelne visuelle Befundtyp ausgewählt aus der Gruppe bestehend aus: zweidimensionales (2D) AP- und/oder PA- und/oder laterales Thoraxröntgen und Pneumothorax einschließlich eines kleinen Pneumothorax, 2D AP- und/oder PA-Thoraxröntgen und Pneumomediastinum, und 2D-Abdominalröntgen und Pneumoperitoneum.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts werden Label der mehreren anatomischen Bilder des Multilabel-Trainingsdatensatzes auf der Grundlage einer Analyse erzeugt, die einzelne Sätze einer Vielzahl von Sätzen eines jeweiligen textbasierten Radiologieberichts einem entsprechenden visuellen Befundtyp der Vielzahl von visuellen Befundtypen zuordnet.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts wird das neuronale Multilabel-Netzwerk so trainiert, dass es etwa 20-50 verschiedene Arten von visuellen Befundtypen identifiziert.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts umfasst die Vielzahl der visuellen Befundtypen Mitglieder, die aus der Gruppe ausgewählt sind, die aus folgenden besteht: abnormale Aorta, Aortenverkalkung, künstliche Klappe, Atelektase, Bronchialwandverdickung, Herzschrittmacher, Kardiomegalie, Zentrallinie, Konsolidierung, Verkleinerung des costrophrenen Winkels, degenerative Veränderungen, erhöhtes Zwerchfell, Fraktur, Granulom, Zwerchfellbruch, hilarische Vorwölbung, Hyperinflation, interstitielle Markierungen, Kyphose, Masse, Mediastinalverbreiterung, starke Blähungen, Knoten, orthopädische Chirurgie, Osteopenie, Pleuraerguss, Pleuraverdickung, Pneumothorax, Lungenödem, Rippenfraktur, Skoliose, Weichteilverkalkung, Sternotomiedrähte, festgestellte chirurgische Klammer, Verdickung der Fissur, Luftröhrenabweichung, Transplantat, Röhre und Wirbelhöhenverlust.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts umfasst das Trainieren des neuronalen Einzellabel-Netzwerkes das Trainieren einer Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerkes, wobei jede Instanz unterschiedliche Parameter des neuronalen Netzes aufweist, und ferner Folgendes umfasst: das Bewerten der Leistung jeder Instanz der Vielzahl von Instanzen für die Erkennung der Indikation auf den einzelnen visuellen Befundtyp, und das Erzeugen eines Ensembles durch Auswählen einer Kombination der Instanzen gemäß einer Anforderung der ausgewerteten Leistung, wobei das neuronale Einzellabel-Netzwerk das Ensemble umfasst.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts werden die verschiedenen Parameter des neuronalen Netzes der mehreren Instanzen des neuronalen Einzellabel-Netzwerkes aus der Gruppe ausgewählt, die aus Folgendem besteht:

Vorverarbeitungsbildgröße, Vorverarbeitungseingangsgröße, Modifikation der Architektur des neuronalen Netzes, mindestens eine zusätzliche dichte Zwischenschicht vor einer endgültigen Ausgabe, Vorverarbeitungsnormierungstyp und Standardabweichungsnormierung.

In einer weiteren Implementierungsform des ersten, zweiten und dritten Aspekts umfasst das Trainieren des neuronalen Multilabel-Netzwerks das Trainieren einer Vielzahl von Instanzen des neuronalen Multilabel-Netzwerks und das Auswählen einer der Instanzen mit dem niedrigsten Validierungsverlust für den einzelnen visuellen Befund, wobei das Trainieren des neuronalen Einzellabel-Netzwerk das Trainieren der ausgewählten einen Instanz unter Verwendung eines Kontrollpunkts der Netzwerkgewichte der ausgewählten einen Instanz umfasst.
In einer weiteren Implementierungsform des ersten, zweiten und dritten Aspekts umfasst das Training des neuronalen Einzellabel-Netzwerks das Trainieren einer Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerks, die gemäß mindestens einem Netzparameter variieren, und umfasst ferner: Erhalten einer Zielsensitivität und/oder einer Zielspezifität und einer Toleranz, Berechnen einer Mini-AUC (Fläche unter der Kurve) für einen Bereich unter der Operationscharakteristik (ROC) -Kurve, die für jede Instanz der Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerk berechnet wird, die der Zielsensitivität und/oder der Zielspezifität innerhalb der Toleranz entspricht, und Auswählen mindestens einer Instanz der Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerks gemäß einer Anforderung der Mini-AUC zur Aufnahme in ein Ensemble des neuronalen Einzellabel-Netzwerks.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts werden die Gewichte der Basislinie entsprechend den entsprechenden Gewichten der nicht-letzten voll verbundenen Schichten des trainierten neuronalen Multilabel-Netzwerks festgelegt.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts ist eine Prävalenz der anatomischen Bilder, die mit dem einzelnen visuellen Befundtyp des Einzellabel-Trainingsdatensatzes gekennzeichnet sind, statistisch signifikant höher als eine Prävalenz der anatomischen Bilder, die mit dem einzelnen visuellen Befundtyp des Multilabel-Trainingsdatensatzes gekennzeichnet sind, und die eine wilde Prävalenz des einzelnen visuellen Befundtyps in der Praxis bezeichnet.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts werden die mehreren anatomischen Bilder des Multilabel-Trainingsdatensatzes in drei Cluster zusammengefasst, die Folgendes umfassen: einen Cluster für einen einzigen visuellen Befundtyp, der anatomische Bilder enthält, die mindestens den einzigen visuellen Befundtyp darstellen, einen Cluster für einen allgemeinen positiven Befund, der anatomische Bilder enthält, die mindestens einen der mehreren visuellen Befundtypen mit Ausnahme des einzigen visuellen Befundtyps darstellen, und einen Cluster für einen negativen Befund, der anatomische Bilder enthält, die keinen der mehreren visuellen Befundtypen darstellen, wobei der Einzellabel-Trainingsdatensatz durch zufälliges Abtasten eines Bildes aus jedem der Cluster in Folge erzeugt wird.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts umfasst das System ferner einen Code und/oder das Verfahren umfasst ferner mindestens eines der folgenden Elemente: Diagnostizieren des akuten medizinischen Zustands und Behandeln des Patienten wegen des akuten medizinischen Zustands.
In einer weiteren Ausführungsform des zweiten Aspekts werden die Zuführung und die Berechnung für jedes einer Vielzahl von anatomischen Zielbildern iteriert, und umfassen ferner: Generieren von Anweisungen zum Erzeugen einer Triage-Liste zur manuellen Überprüfung durch einen menschlichen Benutzer von jeweiligen anatomischen Zielbildern, bei denen eine hohe Wahrscheinlichkeit berechnet wurde und die Indikation des visuellen Befundtyps enthalten.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts kennzeichnet der visuelle Befundtyp einen akuten medizinischen Zustand, der eine dringende Behandlung erfordert, wobei eine zeitliche Verzögerung bei der Diagnose und Behandlung des akuten medizinischen Zustands zu einem erhöhten Morbiditätsrisiko für den Patienten führt.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts bezeichnet die berechnete Wahrscheinlichkeit einen Konfidenzwert, der die Probabilität des Vorhandenseins des visuellen Befundtyps in dem anatomischen Bild angibt, wobei die Anweisungen dazu dienen, die Triage-Liste entsprechend der Priorität für die Überprüfung durch den menschlichen Überprüfer zu erzeugen, geordnet nach abnehmender Wahrscheinlichkeit der Indikation des visuellen Befundtyps auf der Grundlage des Konfidenzwerts.
In einer weiteren Implementierungsform des ersten, zweiten und dritten Aspekts umfasst das System ferner einen Code und/oder das Verfahren umfasst ferner das Empfangen einer Vielzahl von anatomischen Zielbildern von einem medizinischen Bildspeicher-Server, das Einspeisen jedes der Vielzahl von anatomischen Zielbildern in ein neuronales Netz mit visuellem Filter zum Ausgeben einer Klassifizierungskategorie, die einen Zielkörperbereich angibt, der mit einer Zielsensorausrichtung und einer Drehung relativ zu einer Basislinie dargestellt ist, die durch ein neuronales Einzellabel-Netzwerk definiert ist, oder einer anderen Klassifizierungskategorie, die mindestens einen Nicht-Zielkörperbereich und eine Nicht-Zielsensorausrichtung angibt, Zurückweisen einer Teilmenge der Vielzahl von anatomischen Zielbildern, die in die andere Klassifizierungskategorie klassifiziert sind, um eine verbleibende Teilmenge der Vielzahl von anatomischen Zielbildern zu erhalten, Drehen der verbleibenden Teilmenge der Vielzahl von anatomischen Zielbildern, die als relativ zur Basislinie gedreht klassifiziert sind, zur Basislinie, und Einspeisen jedes der verbleibenden Teilmenge der Vielzahl von anatomischen Zielbildern in das neuronale Einzellabel-Netzwerk zum Berechnen der Wahrscheinlichkeit einer Indikation des einzelnen visuellen Befundtyps in dem jeweiligen anatomischen Zielbild durch das neuronale Einzellabel-Netzwerk.
In einer weiteren Ausführungsform des ersten, zweiten und dritten Aspekts umfasst das System ferner einen Code und/oder das Verfahren umfasst ferner das Identifizieren von Pixeln für das anatomische Zielbild mit Ausreißerpixel-Intensitätswerte, die eine Injektion von Inhalt anzeigen, und das Anpassen der Ausreißerpixel-Intensitätswerten der identifizierten Pixel an Werte, die als eine Funktion von Nicht-Ausreißerpixel-Intensitätswerten berechnet werden, bevor das anatomische Zielbild in das neuronale Einzellabel-Netzwerk eingespeist wird.
Sofern nicht anders definiert, haben alle hierin verwendeten technischen und/oder wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Fachmann auf dem Gebiet, auf das sich die Erfindung bezieht, gemeinhin verstanden wird. Obwohl Methoden und Materialien, die den hierin beschriebenen ähnlich oder gleichwertig sind, in der Praxis oder bei der Prüfung von Ausführungsformen der Erfindung verwendet werden können, werden im Folgenden beispielhafte Methoden und/oder Materialien beschrieben. Im Falle von Widersprüchen ist die Patentschrift, einschließlich der Definitionen, maßgebend. Darüber hinaus sind die Materialien, Methoden und Beispiele nur zur Veranschaulichung gedacht und sollen nicht notwendigerweise einschränkend sein.
KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
Einige Ausführungsformen der Erfindung werden hier nur beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Mit besonderem Bezug auf die Zeichnungen im Detail, wird betont, dass die Einzelheiten als Beispiel und zum Zwecke der illustrativen Diskussion von Ausführungsformen der Erfindung gezeigt sind. In dieser Hinsicht macht die Beschreibung zusammen mit den Zeichnungen für den Fachmann deutlich, wie die Ausführungsformen der Erfindung ausgeführt werden können.
In den Zeichnungen:

1 ist ein Flussdiagramm eines Verfahrens zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk, das aus einer Basislinie eines neuronalen Multilabel-Netzwerks trainiert wurde, das mehrere visuelle Befundtypen einschließlich des ausgewählten einzelnen visuellen Befundtyps enthält, in Übereinstimmung mit einigen Ausführungsformen der vorliegenden Erfindung;
2 ist ein Blockdiagramm eines Systems zum Trainieren eines neuronalen Einzellabel-Netzwerks zur Erkennung eines einzelnen visuellen Befundtyps aus einer Basislinie eines neuronalen Multilabel-Netzwerks und/oder zur Analyse anatomischer Bilder unter Verwendung des neuronalen Einzellabel-Netzwerks, optional zur Erzeugung einer Prioritätsliste, gemäß einigen Ausführungsformen der vorliegenden Erfindung;
3 ist ein Datenflussdiagramm, das einen beispielhaften Datenfluss für die Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk, das aus einer Basislinie eines neuronalen Multilabel-Netzwerks trainiert wurde, und optional die Erzeugung einer Prioritätsarbeitsliste gemäß einigen Ausführungsformen der vorliegenden Erfindung darstellt;
4 ist ein Flussdiagramm eines Verfahrens zum Trainieren des neuronalen Einzellabel-Netzwerks aus dem neuronalen Multilabel-Netzwerk, gemäß einigen Ausführungsformen der vorliegenden Erfindung; und
5 ist eine Tabelle und Grafiken, die die experimentelle Auswertung für den Vergleich von Instanzen des neuronalen Einzellabel-Netzwerks auf der Grundlage der Mini-AUC im Vergleich zum Standard-AUC-Prozess gemäß einigen Ausführungsformen der vorliegenden Erfindung zusammenfassen.

BESCHREIBUNG SPEZIFISCHER AUSFÜHRUNGSFORMEN DER ERFINDUNG
Die vorliegende Erfindung bezieht sich in einigen Ausführungsformen auf medizinische anatomische Bilder und insbesondere, aber nicht ausschließlich, auf Systeme und Verfahren zur automatischen Analyse medizinischer anatomischer Bilder.
Ein Aspekt einiger Ausführungsformen der vorliegenden Erfindung bezieht sich auf Systeme, Verfahren, eine Vorrichtung und/oder Codeanweisungen (d. h., die auf einem Datenspeichergerät gespeichert und von einem oder mehreren Hardware-Prozessoren ausführbar sind) zur Berechnung eines neuronalen Einzellabel-Trainingsnetzwerkes zur Erkennung einer Indikation auf einen einzelnen visuellen Befund in einem anatomischen Bild eines Zielindividuums. Der einzelne visuelle Befund kennzeichnet einen akuten medizinischen Zustand für eine frühzeitige und schnelle Behandlung, z. B. Pneumothorax, Pneumoperitoneum, Pneumomediastinum und Fraktur. Das neuronale Einzellabel-Netzwerk wird in zwei Schritten trainiert. Zunächst wird ein neuronales Multilabel-Netzwerk für die Erkennung mehrerer visueller Befundtypen in einem anatomischen Zielbild trainiert. Das neuronale Multilabel-Netzwerk wird anhand eines Multilabel-Trainingsdatensatzes trainiert, der mehrere anatomische Bilder enthält, die jeweils mit einem Label versehen sind, das für einen oder mehrere visuellen Befundtypen oder für keinen visuellen Befundtyp steht. Anschließend wird das neuronale Einzellabel-Netzwerk für die Erkennung eines ausgewählten einzelnen visuellen Befundtyps in einem anatomischen Zielbild trainiert. Der einzelne visuelle Befundtyp wird aus den mehreren visuellen Befundtypen ausgewählt. Das neuronale Einzellabel-Netzwerk wird anhand eines Einzellabel-Trainingsdatensatzes trainiert, in dem mehrere anatomische Bilder gespeichert sind, die jeweils mit einem Label versehen sind, das den einzelnen visuellen Befundtyp anzeigt oder das Fehlen des einzelnen visuellen Befundtyps anzeigt. Das neuronale Einzellabel-Netzwerk wird trainiert, indem das trainierte neuronale Multilabel-Netzwerk als anfängliche Basislinie des neuronalen Einzellabel-Netzwerks festgelegt und die Basislinie entsprechend dem Einzellabel-Trainingsdatensatz feinabgestimmt und/oder neu trainiert wird. Beispielsweise werden die Werte der Gewichte des neuronalen Einzellabel-Netzwerks entsprechend den Gewichten des trainierten neuronalen Multilabel-Netzwerks eingestellt und die Werte der Gewichte entsprechend dem Einzellabel-Trainingsdatensatz angepasst.
Optional wird ein Ensemble von Einzellabel-Netzen auf der Grundlage des neuronalen Multilabel-Netzwerks der Basislinie trainiert. Eine Zielsensitivität und/oder eine Zielspezifität werden z. B. manuell von einem Benutzer eingegeben. Die Zielsensitivität und/oder Zielspezifität kann z. B. auf der Grundlage der klinischen Anforderungen für die Erkennung des ausgewählten visuellen Befundtyps ausgewählt werden. So kann beispielsweise ein bestimmter visueller Befund auf einen schädlichen medizinischen Zustand hinweisen, wenn er vom Radiologen übersehen wird. In einem solchen Fall kann die Empfindlichkeit hoch eingestellt werden. In einem anderen Beispiel kann eine korrekte Diagnose des visuellen Befundes notwendig sein, um eine unnötige Behandlung aufgrund einer falschen Diagnose zu verhindern. In einem solchen Fall kann die Spezifität hoch angesetzt werden. Eine Mini-AUC (Fläche unter der Kurve) kann für einen Bereich unter der Operationscharakteristik (ROC)-Kurve jedes Mitglieds des Ensembles berechnet werden, der der Zielsensitivität und/oder Zielspezifität entspricht. Das oder die Mitglieder des Ensembles werden entsprechend einer Anforderung der Mini-AUC ausgewählt.
Wie hier verwendet, kann sich der Begriff „neuronales Einzellabel-Netzwerk“ auf das Ensemble der Instanzen des neuronalen Einzellabel-Netzwerks beziehen.
Ein Aspekt einiger Ausführungsformen der vorliegenden Erfindung bezieht sich auf Systeme, Verfahren, eine Vorrichtung und/oder Codeanweisungen (d. h. auf einem Datenspeichergerät gespeichert und durch einen oder mehrere Hardware-Prozessor(en) ausführbar) zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums. Der einzelne visuelle Befundtyp kennzeichnet einen akuten medizinischen Zustand für eine frühzeitige und schnelle Behandlung, z. B. Pneumothorax, Pneumomediastinum, Pneumoperitoneum und Frakturen. Das anatomische Zielbild wird in ein neuronales Einzellabel-Netzwerk eingespeist, das die Wahrscheinlichkeit berechnet, dass der einzelne visuelle Befund auf dem anatomischen Zielbild vorhanden ist. Das neuronale Einzellabel-Netzwerk wird durch Feinabstimmung und/oder Neutraining eines trainierten neuronalen Multilabel-Netzwerks anhand eines Einzellabel-Trainingsdatensatzes anatomischer Bilder berechnet, die mit einer Indikation auf den ausgewählten visuellen Befundtyp gekennzeichnet sind. Das neuronale Multilabel-Netzwerk wird so trainiert, dass es die Wahrscheinlichkeit jedes einzelnen von mehreren visuellen Befundtypen auf der Grundlage eines Multilabel-Trainingsdatensatzes von anatomischen Bildern berechnet, die mit den jeweiligen visuellen Befunden gekennzeichnet sind.
Optional werden mehrere anatomische Bilder analysiert, indem sie in das neuronale Einzellabel-Netzwerk eingespeist werden. Die mehrfachen anatomischen Bilder können auf einem zentralen Server für anatomische Bilder gespeichert werden, z. B. auf einem PACS-Server (Picture Archiving and Communication System), optional in einem medizinischen Datenspeicherformat, z. B. DICOM®. Es wird eine Triage-Liste der analysierten anatomischen Bilder erzeugt, die von einem Benutzer, z. B. einem Radiologen, manuell überprüft wird. Die Triage-Liste enthält anatomische Bilder, für die eine Wahrscheinlichkeit für die Darstellung des ausgewählten visuellen Befundtyps berechnet wird, optional geordnet nach einer berechneten Probabilität.
Wie hier im Abschnitt „Beispiele“ näher beschrieben, haben die Erfinder festgestellt, dass der Prozess des Trainings des neuronalen Einzellabel-Netzwerks für die Erkennung des einzelnen visuellen Befundtyps durch erneutes Training und/oder Feinabstimmung des trainierten neuronalen Multilabel-Netzwerks eine relativ höhere Genauigkeit (z. B. Sensitivität und/oder Spezifität und/oder Präzision) als andere neuronale Netzarchitekturen bietet, die für die Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Bild trainiert wurden. Dies gilt insbesondere für die Erkennung feiner visueller Befunde, die von Radiologen leicht übersehen werden können und/oder von Radiologen schwer zu identifizieren sind. Zum Beispiel über ein standardmäßiges untrainiertes neuronales Netz, das auf einem Einzellabel-Trainingsdatensatz zur Erkennung des einzelnen visuellen Befundtyps trainiert wird. In einem anderen Beispiel über ein standardmäßiges neuronales Netzwerk mit mehreren Objekten, das eine Vielzahl verschiedener Objekte erkennt, von denen keines visuelle Befunde von anatomischen Bildern enthält (z. B. ImageNet), das fein abgestimmt und/oder neu trainiert wird, um den einzelnen visuellen Befundtyp zu erkennen. In einem weiteren Beispiel ist das neuronale Multilabel-Netzwerk (das wie hier beschrieben erzeugt und/oder trainiert wurde) allein für die Erkennung des einzigen visuellen Befundtyps zuständig.
Es wird darauf hingewiesen, dass die Erkennung der Art des visuellen Befundtyps im medizinischen Bild eine schwierigere Aufgabe ist als die Klassifizierung von nichtmedizinischen Objekten, die in nichtmedizinischen Bildern erscheinen (z. B. Haus, Hund, Name der im Bild abgebildeten Person). Der visuelle Befundtyp nimmt einen relativ kleinen Bereich des anatomischen Bildes ein und ist im Allgemeinen ein feines Merkmal, so dass es für neuronale Netze eine Herausforderung ist, genügend Daten für eine genaue Klassifizierung des feinen Merkmals zu extrahieren. Im Gegensatz dazu können nichtmedizinische Objekte in nichtmedizinischen Bildern einen relativ großen Bereich des nichtmedizinischen Bildes einnehmen, und da das gesamte Objekt und nicht nur ein Befund im Objekt klassifiziert wird, kann das neuronale Netz auf eine viel größere Anzahl von Merkmalen zurückgreifen, die aus dem Bild extrahiert werden, um das nichtmedizinische Objekt zu klassifizieren.
Es wird darauf hingewiesen, dass sich das hier beschriebene neuronale Multilabel-Netzwerk aus mehreren Gründen von neuronalen Standardnetzen unterscheidet, die für die Erkennung mehrerer unterschiedlicher Objekte in einem Bild trainiert wurden (z. B. ImageNet): (i) Das hier beschriebene neuronale Multilabel-Netzwerk ist für die Verarbeitung anatomischer Bilder, wie z. B. Röntgenbilder, ausgelegt, die eine größere Bittiefe als die angezeigte Tiefe haben können (z. B. 10-14 gegenüber 8), im Gegensatz zu neuronalen Standardnetzen, die für die Verarbeitung von Umgebungsbildern auf der Grundlage von sichtbarem Licht und nicht von anatomischen Bildern ausgelegt sind. (ii) Das hier beschriebene neuronale Multilabel-Netzwerk ist so konzipiert, dass es mehrere verschiedene visuelle Befundtypen im selben Kontext (z. B. AP- Thoraxröntgen) identifiziert, im Gegensatz zu neuronalen Standardnetzen, die verschiedene Objekte in unterschiedlichen Kontexten identifizieren. (iii) Das hier beschriebene neuronale Multilabel-Netzwerk ist so konzipiert, dass es mehrere verschiedene Arten von visuellen Befundtypen identifizieren kann, von denen jeder an verschiedenen anatomischen Stellen (z. B. an verschiedenen Teilen der Lunge) auftreten kann, die unterschiedlich aussehen können (z. B. abhängig von der Größe, dem Entwicklungsprozess), im Gegensatz zu neuronalen Standardnetzen, die Objekte identifizieren, die einander ähnlich sind. (iv) Das hier beschriebene neuronale Multilabel-Netzwerk ist so konzipiert, dass es mehrere verschiedene visuelle Befundtypen identifizieren kann (bei denen es sich um feine Merkmale handeln kann, die visuell schwer zu erkennen sind), im Gegensatz zu neuronalen Standardnetzen, die Objekte identifizieren, die spezifisch, gut abgegrenzt und visuell leicht zu erkennen sind.
Mindestens einige der hier beschriebenen Systeme, Verfahren, Geräte und/oder Codeanweisungen befassen sich mit dem medizinischen Problem der schnellen Identifizierung eines visuellen Befundes in einem medizinischen Bild, der auf ein medizinisches Problem hinweist. Der visuelle Befund kann ein akuter Befund sein, der normalerweise nicht vorhanden ist und ein medizinisches Problem darstellt. Der akute Befund kann fortschreiten oder stabil bleiben, aber in jedem Fall kann er auf eine Situation hindeuten, in der sich der klinische Zustand des Patienten verschlechtert. Der akute Befund kann ein Hinweis auf die Notwendigkeit einer dringenden medizinischen Behandlung sein. Eine Verzögerung der Behandlung des akuten Befundes führt zu einer Zunahme von Komplikationen für den Patienten. Der visuelle Befund kann ein feines Merkmal sein, das von einem Radiologen leicht übersehen werden kann. Beispiele für solche akuten, feinen, leicht zu übersehenden visuellen Befunde sind: Pneumothorax in einem Thoraxröntgen, Pneumomediastinum in einem Thoraxröntgen, Pneumoperitoneum in einem Abdominalröntgen, Fraktur in einer Röntgenaufnahme der Gliedmaßen und Erkennen einer akuten Appendizitis in einer US-Untersuchung des Blinddarms.
Zumindest einige der hier beschriebenen Systeme, Verfahren, Geräte und/oder Codeanweisungen verbessern den technischen Bereich der automatisierten Analyse anatomischer Bilder, um die Wahrscheinlichkeit des Vorhandenseins eines visuellen Befunds in einem medialen Bild zu identifizieren, der optional ein feiner visueller Befund ist und optional einen akuten medizinischen Zustand repräsentiert, der eine dringende Diagnose und Behandlung erfordert und der von einem Radiologen leicht übersehen werden kann. Um solche visuellen Befunde in anatomischen Bildern zu identifizieren, ist ein Klassifikator mit hoher Genauigkeit erforderlich, die von keinem Standardklassifikator geboten wird. Solche Standardklassifikatoren verwenden einen Klassifikator von der Stange (z. B. ein neuronales Netz) und einen Trainingsdatensatz mit gekennzeichneten anatomischen Bildern. Solche Standardklassifikatoren werden für die Erkennung eines einzelnen visuellen Befunds trainiert. Die Verbesserung, die durch zumindest einige der hier beschriebenen Systeme, Methoden, Geräte und/oder Codeanweisungen erzielt wird, umfasst eine Erhöhung der Genauigkeit des automatisierten Erkennungsprozesses, zum Beispiel im Vergleich zur Genauigkeit, die durch standardmäßige automatisierte Erkennungsprozesse erreicht wird. Die Erhöhung der Genauigkeit wird zumindest durch den Prozess des Trainings eines neuronalen Multilabel-Netzwerks unter Verwendung eines Multilabel-Trainingsdatensatzes erreicht, um mehrere verschiedene visuelle Befundtypen in einem anatomischen Zielbild zu erkennen, und dann durch das Training eines neuronalen Einzellabel-Netzwerk, um einen einzelnen visuellen Befundtyp zu erkennen (d.h., ausgewählt aus den mehreren visuellen Befundtypen, für deren Erkennung das neuronale Multilabel-Netzwerk trainiert wurde), durch Einstellen des trainierten neuronalen Multilabel-Netzwerk als ein neuronales Basisliniennetzwerkes, optional mit einer oder mehreren Anpassungen der Parameter des neuronalen Netzes, und Feinabstimmung und/oder Neutraining des neuronalen Basisliniennetzwerkes unter Verwendung eines Einzellabel-Trainingsdatensatzes.
Die Verbesserung, die durch mindestens einige der hier beschriebenen Systeme, Methoden, Geräte und/oder Codeanweisungen erzielt wird, kann eine Reduzierung der Zeit beinhalten, die benötigt wird, um einen Benutzer (z.B. einen behandelnden Arzt) auf das Vorhandensein eines visuellen Befundtyps in einem anatomischen Bild aufmerksam zu machen, um eine schnelle Diagnose und/oder Behandlung zu ermöglichen.
Zumindest einige der hierin beschriebenen Systeme, Verfahren, Vorrichtungen und/oder Codeanweisungen verbessern den medizinischen Prozess der Diagnose und/oder Behandlung akuter medizinischer Zustände bei einem Patienten, zum Beispiel in einer Notaufnahme. Zumindest einige der hier beschriebenen Systeme, Verfahren, Vorrichtungen und/oder Codeanweisungen stellen ein Triage-System bereit, das die Wahrscheinlichkeit von anatomischen Bildern (z. B. Thoraxröntgen) identifiziert, die einen visuellen Befund enthalten, der auf einen akuten medizinischen Zustand hinweist, der eine dringende Behandlung erfordert, z. B. Pneumothorax. Die medizinischen Bilder mit identifizierten visuellen Befunden werden zur vorrangigen Betrachtung durch eine medizinische Fachkraft (z. B. Radiologe, Arzt in der Notaufnahme) eingeteilt, z. B. durch Einstufung nach einem Prioritätswert, z. B. der Probabilität, dass das jeweilige Bild den visuellen Befund aufweist. So werden beispielsweise Bilder, die mit hoher Wahrscheinlichkeit einen visuellen Pneumothorax-Befund aufweisen, in eine Rangfolge gebracht, optional entsprechend der berechneten Probabilität, dass der visuelle Pneumothorax-Befund vorhanden ist. Das Triage-System ermöglicht eine schnelle Diagnose des Pneumothorax, was zu einer schnellen Behandlung des Pneumothorax führt und den Patienten vor der Komplikation einer verzögerten Behandlung des Pneumothorax und/oder dem völligen Übersehen des Pneumothorax bewahrt. Das Triage-System wird zumindest durch das hier beschriebene trainierte neuronale Einzellabel-Netzwerk ermöglicht, das die Wahrscheinlichkeit berechnet, dass ein einzelner visueller Befundtyp auf dem anatomischen Zielbild dargestellt ist.
Mindestens einige der hier beschriebenen Systeme, Verfahren, Geräte und/oder Codeanweisungen verbessern die Technologie neuronaler Netze, indem sie den Prozess der Auswahl eines Ensembles aus mehreren Instanzen eines trainierten neuronalen Netzes verbessern, wobei jede Instanz durch die Parameter des neuronalen Netzes variiert (z. B. Eingangsbildgröße, Normalisierung, Mittelwert und Architekturvariationen, wie hier beschrieben). Das Ensemble wird aus Instanzen des neuronalen Einzellabel-Netzwerks ausgewählt, die mit dem hier beschriebenen zweistufigen Verfahren trainiert wurden, d. h. feinabgestimmt und/oder neu trainiert unter Verwendung des trainierten neuronalen Multilabel-Netzwerks als Basislinie. Jede Instanz ist eine Variation des neuronalen Einzellabel-Netzwerks in Bezug auf einen oder mehrere neuronale Netzparameter (wie hier beschrieben). Da jede Instanz trainiert wird, um dieselbe Aufgabe der Bestimmung der Wahrscheinlichkeit zu erfüllen, dass der einzelne visuelle Befundtyp im anatomischen Zielbild dargestellt wird, und da jede trainierte Instanz des neuronalen Einzellabel-Netzwerks hinsichtlich der neuronalen Netzwerkparameter variiert, variiert die Leistung j eder Instanz. Das Ensemble wird ausgewählt, um die Kombination von Instanzen zu identifizieren, die die beste Gesamtleistung bei der Bestimmung der Wahrscheinlichkeit erbringt, dass der einzelne visuelle Befundtyp im anatomischen Zielbild dargestellt wird.
Bei der Verwendung von Standardverfahren misst eine Standard-AUC-Metrik die gesamte Fläche unter der ROC, um eine Metrik zu berechnen, die die Leistung eines bestimmten trainierten neuronalen Netzes angibt. Die Erfinder stellten jedoch fest, dass das Standardverfahren mit AUC eine allgemeine Gesamtleistungsmetrik liefert, die nicht unbedingt die gewünschte Zielsensitivität und/oder Zielspezifität widerspiegelt. Beispielsweise kann ein bestimmtes trainiertes neuronales Netzwerk eine ausgezeichnete Gesamtleistung aufweisen, aber bei der Zielsensitivität und/oder Zielspezifität nicht ausreichend gut abschneiden (und/oder eine geringere Leistung aufweisen). Im Gegensatz dazu kann ein anderes trainiertes neuronales Netz eine geringere Gesamtleistung, aber eine ausgezeichnete Leistung bei der Zielsensitivität und/oder Zielspezifität aufweisen. Die Messung der gesamten Fläche mit Hilfe von Standard-AUC-Metriken ist weniger informativ. Im Gegensatz dazu basiert der Auswahlprozess, der durch den hier beschriebenen Mini-AUC-Code ermöglicht wird, auf einer stärker fokussierten Fläche der ROC, der durch die Zielsensitivität und/oder Zielspezifität definiert ist. Bei Vorgabe einer Zielsensitivität und optional einer Toleranz wird die Fläche unter dem Graphen für den definierten Bereich gemessen. Die Fläche unter dem Graphen für den definierten Bereich wird zur Auswahl der Mitglieder des Ensembles verwendet und nicht die gesamte Fläche, wie es bei Standardverfahren der Fall ist. Das Mini-AUC-Verfahren wird verwendet, um die Mitglieder des Ensembles auf der Grundlage einer Zielsensitivität und/oder Zielspezifität innerhalb einer Toleranzanforderung auszuwählen. Der Arbeitspunkt und/oder der Schwellenwert (zur Bestimmung, ob der jeweilige visuelle Befund positiv oder negativ für die Darstellung des gewünschten einzelnen visuellen Befundtyps ist) werden nach mindestens einem Minimalwert der Zielsensitivität und/oder nach einem Höchstwert der Zielspezifität ausgewählt. Beispielsweise kann die minimale Zielsensitivität auf 90% mit einer Toleranz von 2% festgelegt werden. Die entsprechende maximale Spezifität kann identifiziert werden.
Bevor mindestens eine Ausführungsform der Erfindung im Einzelnen erläutert wird, sei darauf hingewiesen, dass die Erfindung in ihrer Anwendung nicht notwendigerweise auf die Konstruktionsdetails und die Anordnung der Komponenten und/oder Verfahren beschränkt ist, die in der folgenden Beschreibung und/oder in den Zeichnungen und/oder den Beispielen dargestellt sind. Die Erfindung kann auch in anderen Ausführungsformen oder auf verschiedene Weise praktiziert oder ausgeführt werden.
Die vorliegende Erfindung kann ein System, ein Verfahren und/oder ein Computerprogrammprodukt sein. Das Computerprogrammprodukt kann ein computerlesbares Speichermedium (oder Medien) mit computerlesbaren Programmanweisungen darauf enthalten, um einen Prozessor zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem computerlesbaren Speichermedium kann es sich um eine greifbare Vorrichtung handeln, die Befehle zur Verwendung durch eine Befehlsausführungsvorrichtung aufbewahren und speichern kann. Bei dem computerlesbaren Speichermedium kann es sich beispielsweise um eine elektronische Speichervorrichtung, eine magnetische Speichervorrichtung, eine optische Speichervorrichtung, eine elektromagnetische Speichervorrichtung, eine Halbleiterspeichervorrichtung oder eine beliebige geeignete Kombination der vorgenannten Vorrichtungen handeln, ist aber nicht darauf beschränkt. Eine nicht erschöpfende Liste spezifischerer Beispiele für ein computerlesbares Speichermedium umfasst die folgenden: eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen löschbaren programmierbaren Festwertspeicher (EPROM oder Flash-Speicher), einen statischen Direktzugriffsspeicher (SRAM), einen tragbaren Compact-Disc-Festwertspeicher (CD-ROM), eine Digital Versatile Disk (DVD), einen Memory Stick, eine Diskette und jede geeignete Kombination der vorgenannten Speichermedien. Ein computerlesbares Speichermedium, wie es hier verwendet wird, ist nicht so zu verstehen, dass es sich um transitorische Signale an sich handelt, wie z. B. Radiowellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z. B. Lichtimpulse, die durch ein Glasfaserkabel laufen), oder elektrische Signale, die durch einen Draht übertragen werden.
Die hier beschriebenen computerlesbaren Programmanweisungen können von einem computerlesbaren Speichermedium auf die jeweiligen Rechen-/Verarbeitungsgeräte oder auf einen externen Computer oder ein externes Speichergerät über ein Netzwerk, z. B. das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk, heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, optische Übertragungsfasern, drahtlose Übertragung, Router, Firewalls, Switches, Gateway-Computer und/oder Edge-Server umfassen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jedem Rechen-/Verarbeitungsgerät empfängt computerlesbare Programmanweisungen aus dem Netzwerk und leitet die computerlesbaren Programmanweisungen zur Speicherung in einem computerlesbaren Speichermedium innerhalb des jeweiligen Rechen-/Verarbeitungsgeräts weiter.
Computerlesbare Programmanweisungen zur Durchführung von Operationen der vorliegenden Erfindung können Assembler-Befehle, ISA-Befehle (Instruction-Set-Architecture), Maschinenbefehle, maschinenabhängige Befehle, Mikrocode, Firmware-Befehle, zustandsabhängige Daten oder entweder Quellcode oder Objektcode sein, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sind, einschließlich einer objektorientierten Programmiersprache wie Smalltalk, C++ oder einer ähnlichen Sprache, und herkömmlichen prozeduralen Programmiersprachen wie der Programmiersprache „C“ oder ähnlichen Programmiersprachen. Die computerlesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden. Im letztgenannten Fall kann der entfernte Computer mit dem Computer des Benutzers über eine beliebige Art von Netzwerk verbunden sein, einschließlich eines lokalen Netzwerks (LAN) oder eines Weitverkehrsnetzwerks (WAN), oder die Verbindung kann zu einem externen Computer hergestellt werden (z. B. über das Internet mit Hilfe eines Internetdienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, die beispielsweise programmierbare Logikschaltungen, feldprogrammierbare Gate-Arrays (FPGA) oder programmierbare Logik-Arrays (PLA) umfassen, die computerlesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der computerlesbaren Programmanweisungen verwenden, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung werden hier unter Bezugnahme auf Flussdiagrammabbildungen und/oder Blockdiagramme von Verfahren, Geräten (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es versteht sich, dass jeder Block der Flussdiagrammdarstellungen und/oder Blockdiagramme und Kombinationen von Blöcken in den Flussdiagrammdarstellungen und/oder Blockdiagrammen durch computerlesbare Programmanweisungen implementiert werden können.
Diese computerlesbaren Programmanweisungen können einem Prozessor eines Allzweckcomputers, eines Spezialcomputers oder eines anderen programmierbaren Datenverarbeitungsgeräts zur Verfügung gestellt werden, um eine Maschine zu erzeugen, so dass die Anweisungen, die über den Prozessor des Computers oder des anderen programmierbaren Datenverarbeitungsgeräts ausgeführt werden, Mittel zur Implementierung der in dem Flussdiagramm und/oder dem Blockdiagramm angegebenen Funktionen/Aktionen schaffen. Diese computerlesbaren Programmanweisungen können auch in einem computerlesbaren Speichermedium gespeichert werden, das einen Computer, ein programmierbares Datenverarbeitungsgerät und/oder andere Vorrichtungen anweisen kann, in einer bestimmten Weise zu funktionieren, so dass das computerlesbare Speichermedium mit den darin gespeicherten Anweisungen einen Herstellungsgegenstand umfasst, der Anweisungen enthält, die Aspekte der in dem Flussdiagramm und/oder dem Blockdiagrammblock oder den Blöcken angegebenen Funktion/Aktion implementieren.
Die computerlesbaren Programmanweisungen können auch auf einen Computer, ein anderes programmierbares Datenverarbeitungsgerät oder ein anderes Gerät geladen werden, um eine Reihe von Betriebsschritten zu veranlassen, die auf dem Computer, einem anderen programmierbaren Gerät oder einem anderen Gerät ausgeführt werden, um einen computerimplementierten Prozess zu produzieren, so dass die Anweisungen, die auf dem Computer, einem anderen programmierbaren Gerät oder einem anderen Gerät ausgeführt werden, die in dem Flussdiagramm und/oder dem Blockdiagrammblock oder den Blöcken angegebenen Funktionen/Aktionen implementieren.
Die Flussdiagramme und Blockdiagramme in den Abbildungen veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block im Flussdiagramm oder in den Blockdiagrammen ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zur Implementierung der angegebenen logischen Funktion(en) umfasst. In einigen alternativen Implementierungen können die im Block angegebenen Funktionen außerhalb der in den Abbildungen angegebenen Reihenfolge auftreten.
So können beispielsweise zwei nacheinander gezeigte Blöcke in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in umgekehrter Reihenfolge ausgeführt werden, je nach der betreffenden Funktionalität. Es wird auch darauf hingewiesen, dass jeder Block in den Blockdiagrammen und/oder Flussdiagrammen sowie Kombinationen von Blöcken in den Blockdiagrammen und/oder Flussdiagrammen durch spezielle Hardware-basierte Systeme implementiert werden können, die die angegebenen Funktionen oder Handlungen ausführen oder Kombinationen von spezieller Hardware und Computerbefehlen ausführen.
Es wird nun auf 1 verwiesen, die ein Flussdiagramm eines Verfahrens zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk darstellt, das von einer Basislinie eines neuronalen Multilabel-Netzwerks trainiert wird, das mehrere visuelle Befundtypen einschließlich des ausgewählten einzelnen visuellen Befundtyps enthält, in Übereinstimmung mit einigen Ausführungsformen der vorliegenden Erfindung. Es wird auch auf 2 verwiesen, die ein Blockdiagramm eines Systems 200 zum Trainieren eines neuronalen Einzellabel-Netzwerks 222A für die Erkennung eines einzelnen visuellen Befundtyps aus einer Basislinie eines neuronalen Multilabel-Netzwerks 222C ist, das mehrere visuellen Befundtypen einschließlich des ausgewählten einzelnen visuellen Befundtyps enthält, und/oder zum Analysieren anatomischer Bilder unter Verwendung des neuronalen Einzellabel-Netzwerks, wahlweise zum Erzeugen einer Prioritätsliste 222B, gemäß einigen Ausführungsformen der vorliegenden Erfindung. Es wird auch auf 3 verwiesen, die ein Datenflussdiagramm ist, das einen beispielhaften Datenfluss zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk darstellt, das aus einer Basislinie eines neuronalen Multilabel-Netzwerks trainiert wurde, das mehrere visuelle Befundtypen einschließlich des ausgewählten einzelnen visuellen Befundtyps enthält, und optional eine Prioritätsarbeitsliste erzeugt, gemäß einigen Ausführungsformen der vorliegenden Erfindung. Es wird auch auf 4 verwiesen, die ein Flussdiagramm eines Verfahrens zum Trainieren des neuronalen Einzellabel-Netzwerks aus dem neuronalen Multilabel-Netzwerk gemäß einigen Ausführungsformen der vorliegenden Erfindung darstellt.
Das System 200 kann die Handlungen des mit Bezug auf 1 und/oder 3 und/oder 4 beschriebenen Verfahrens implementieren, optional durch einen oder mehrere Hardware-Prozessoren 202 einer Rechenvorrichtung 204, die in einem Speicher 206 gespeicherte Codebefehle ausführen.
Zum besseren Verständnis des Systems 200 wird nun eine beispielhafte Implementierung eines Röntgen-Triage-Systems beschrieben. In einer stark frequentierten Notaufnahme werden viele Thoraxröntgen von verschiedenen Patienten von einem Bildgebungsgerät 212 aufgenommen und in einem PACS-Server 214 gespeichert. Die Recheneinheit berechnet die Wahrscheinlichkeit, dass jedes Thoraxröntgen einen einzigen visuellen Befundtyp zeigt, der einen Pneumothorax darstellt, indem sie ein neuronales Einzellabel-Netzwerk 222A trainiert. Das neuronale Einzellabel-Netzwerk 222A wird aus dem neuronalen Multilabel-Netzwerk 222C unter Verwendung eines entsprechenden Multilabel-Trainingsdatensatzes und eines Einzellabel-Trainingsdatensatzes, wie hier beschrieben, berechnet. Die Leistung des neuronalen Einzellabel-Netzwerks in Bezug auf die Zielsensitivität und/oder Zielspezifität kann durch den hier beschriebenen Mini-AUC-Code ermittelt werden. Vor der Berechnung durch das neuronale Einzellabel-Netzwerk 222A kann jedes Thoraxröntgen durch den visuellen Filter des neuronalen Netzwerkcodes 206C verarbeitet werden, um irrelevante Bilder auszuschließen (z. B. Nicht- Thoraxröntgen und/oder Nicht-Röntgenbilder und/oder Nicht-APA-Bilder). Die Thoraxröntgen (vor oder nach der Filterung) können zur Entfernung von Ausreißerpixel-Intensitätswerten und/oder zur Anpassung der Pixelintensitätswerte durch Ausführung des Pixelanpassungscodes 206E weiterverarbeitet werden. Weitere Einzelheiten zur Entfernung von Ausreißerpixel-Intensitätswerten und/oder zur Anpassung von Pixelintensitätswerten werden in der gemeinsam eingereichten Anmeldung mit der Nummer „76406“ beschrieben. Das System führt eine Triage der anatomischen Bilder durch, indem es eine Prioritätsarbeitsliste 222B erstellt. Die Arbeitsliste 222B wird erstellt, indem die Thoraxröntgen nach einem Prioritätswert geordnet werden, der auf der Grundlage der Wahrscheinlichkeit berechnet wird. Je höher die Probabilität ist, dass ein bestimmtes Thoraxröntgen einen visuellen Befund aufweist, der auf einen Pneumothorax hinweist, desto höher ist die Rangfolge auf der Arbeitsliste. Eine Fachkraft des Gesundheitswesens (z. B. ein Radiologe, ein Arzt der Notaufnahme) prüft die Arbeitsliste 222B und untersucht die anatomischen Bilder auf einem Display des Client-Terminals 208 auf das Vorhandensein eines Pneumothorax, beginnend von oben nach unten. Der Arzt wird zu den dringlichsten Thoraxröntgen geleitet, die mit hoher Wahrscheinlichkeit einen visuellen Befund aufweisen, der auf einen Pneumothorax hinweist, wodurch sich die Zeit für die Diagnose und Behandlung des Patienten wegen eines Pneumothorax im Vergleich zu Standardsystemen, die keine Triagefunktion bieten, verkürzt. Patienten, bei denen ein Pneumothorax festgestellt wird, können von einem Arzt behandelt werden, um die überschüssige Luft zu entfernen.
Die Rechenvorrichtung 204 kann beispielsweise als Client-Terminal, Server, virtueller Server, Radiologie-Arbeitsplatz, virtuelle Maschine, Computing-Cloud, mobiles Gerät, Desktop-Computer, Thin-Client, Smartphone, Tablet-Computer, Laptop-Computer, tragbarer Computer, Brillencomputer und Uhrencomputer implementiert sein. Der Computer 204 kann eine fortschrittliche Visualisierungs-Workstation umfassen, die manchmal zu einer Radiologie-Workstation und/oder anderen Geräten hinzugefügt wird, um dem Radiologen Indikationen auf den visuellen Befundtyp zu präsentieren.
Die Rechenvorrichtung 204 kann lokal gespeicherte Software enthalten, die eine oder mehrere der unter Bezugnahme auf 1 und/oder 3 und/oder 4 beschriebenen Handlungen ausführt, und/oder als ein oder mehrere Server (z. B. Netzwerkserver, Webserver, eine Rechnerwolke, virtueller Server) fungieren, die Dienste (z. B. eine oder mehrere der unter Bezugnahme auf 1 und/oder 3 und/oder 4 beschriebenen Handlungen) für ein oder mehrere Client-Terminals 208 (z. B., Client-Terminal, das von einem Benutzer zum Betrachten anatomischer Bilder verwendet wird, entfernte Radiologie-Workstations, entfernter PACS-Server (Picture Archiving and Communication System), entfernter EMR-Server (Electronic Medical Record)) über ein Netzwerk 210, z. B. Bereitstellung von Software als Dienst (SaaS) für das/die Client-Terminal(s) 208, Bereitstellung einer Anwendung zum lokalen Herunterladen auf das/die Client-Terminal(s) 208, als Zusatz zu einem Webbrowser und/oder einer medizinischen Bildbetrachtungsanwendung und/oder Bereitstellung von Funktionen unter Verwendung einer Fernzugriffssitzung für die Client-Terminals 208, z. B. über einen Webbrowser.
Client-Terminal(s) 208 kann/können z. B. als Radiologie-Arbeitsplatz, Desktop-Computer (z. B. mit einer PACS-Viewer-Anwendung), mobiles Gerät (z. B. Laptop, Smartphone, Brille, tragbares Gerät) und Server der Krankenpflegestation implementiert werden.
Es wird darauf hingewiesen, dass das Training des neuronalen Einzellabel-Netzwerk und des neuronalen Multilabel-Netzwerks und die Anwendung des trainierten neuronalen Einzellabel-Netzwerks auf anatomische Bilder zur Berechnung der Wahrscheinlichkeit von visuellen Befundtypen von derselben Rechenvorrichtung 204 und/oder von verschiedenen Rechenvorrichtungen 204 durchgeführt werden kann, z. B. trainiert eine Rechenvorrichtung 204 das neuronale Multilabel-Netzwerk und das neuronale Einzellabel-Netzwerk und überträgt das trainierte neuronale Einzellabel-Netzwerk an eine Servervorrichtung 204.
Die Rechnereinrichtung 204 empfängt 2D-Bilder und/oder 2D-Schichten (optional aus 3D-Bilddaten extrahiert), die von einem oder mehreren anatomischen Bildgebungsgeräten 212, z. B. einem Röntgengerät, einem Magnetresonanztomographen (MRI), einem Computertomographen (CT) und/oder einem Ultraschallgerät, aufgenommen wurden. Anatomische Bilder, die von einem bildgebenden Gerät 212 aufgenommen wurden, können in einem Bildspeicher 214 gespeichert werden, z. B. in einem Speicherserver (z. B. PACS-Server), einer Computerwolke, einem virtuellen Speicher und einer Festplatte. Die im Bildspeicher 214 gespeicherten anatomischen Bilder können Bilder von Patienten enthalten, die optional mit textbasierten Radiologieberichten verknüpft sind. Trainingsbilder 216 werden auf der Grundlage der erfassten anatomischen Bilder und textbasierten Radiologieberichte erzeugt, wie hier beschrieben.
Die Trainingsbilder 216 können den Multilabel-Trainingsdatensatz für das Training des neuronalen Multilabel-Netzwerks und/oder den Einzellabel-Trainingsdatensatz für das Training des neuronalen Einzellabel-Netzwerks, wie hier beschrieben, umfassen (und/oder zur Erzeugung verwendet werden). Wie hierin verwendet, können die Begriffe Trainingsbilder und Trainingsdatensatz (d.h. Single- und/oder Multi-Label) ausgetauscht werden. Es wird darauf hingewiesen, dass die Trainingsbilder 216 von einem Server 218 gespeichert werden können, auf den die Rechenvorrichtung 204 über das Netzwerk 210 zugreifen kann, z. B. ein öffentlich verfügbarer Trainingsdatensatz und/oder ein angepasster Trainingsdatensatz, der für das Training des neuronalen Multilabel-Netzwerks und/oder des neuronalen Einzellabel-Netzwerks, wie hier beschrieben, erzeugt wurde.
Anatomische Bilder, die von einem oder mehreren bildgebenden Geräten 212 aufgenommen wurden, zeigen innere anatomische Merkmale und/oder anatomische Strukturen im Körper des Zielpatienten.
Beispiele für anatomische Bilder sind 2D-Röntgenbilder, die mit einem Röntgengerät aufgenommen wurden. Beispiele für anatomische Röntgenbilder sind: AP- und PA-Ansichten des Brustkorbs, Abdominalröntgen und Röntgenbilder von Gliedmaßen. Ausgewählte Ansichten der Röntgenbilder können als die beste Ansicht für die Erkennung des visuellen Befundtyps definiert werden.
Die Rechenvorrichtung 204 kann die anatomischen Bilder für die Berechnung der Wahrscheinlichkeit der Darstellung des visuellen Befundtyps und/oder Trainingsbilder 216 (z. B. Einzel- und/oder Multilabel-Trainingsdatensatz oder Erzeugung der Einzel- und/oder Multilabel-Trainingsdatensätze aus den Trainingsbildern) von der Bildgebungsvorrichtung 212 und/oder dem Bildspeicher 214 unter Verwendung einer oder mehrerer Bildgebungsschnittstellen 220 empfangen, z. B. einer Kabelverbindung (z. B. physischer Anschluss), einer drahtlosen Verbindung (z. B. Antenne), einem lokalen Bus, einem Anschluss für ein Datenspeichergerät, einer Netzwerkschnittstellenkarte und/oder virtuellen Schnittstellen (z. B, eine drahtgebundene Verbindung (z. B. physischer Port), eine drahtlose Verbindung (z. B. Antenne), ein lokaler Bus, ein Port für den Anschluss eines Datenspeichergeräts, eine Netzwerkschnittstellenkarte, andere physische Schnittstellenimplementierungen und/oder virtuelle Schnittstellen (z. B. Softwareschnittstelle, virtuelles privates Netzwerk (VPN), Anwendungsprogrammierschnittstelle (API), Softwareentwicklungskit (SDK)).
Der/die Hardware-Prozessor(en) 202 kann/können beispielsweise als zentrale Verarbeitungseinheit(en) (CPU), Grafikverarbeitungseinheit(en) (GPU), feldprogrammierbare Gate-Arrays (FPGA), digitale Signalprozessoren (DSP) und anwendungsspezifische integrierte Schaltungen (ASIC) implementiert werden. Der/die Prozessor(en) 202 kann/können einen oder mehrere (homogene oder heterogene) Prozessoren umfassen, die zur Parallelverarbeitung, als Cluster und/oder als eine oder mehrere Mehrkernverarbeitungseinheiten angeordnet sein können.
Der Speicher 206 (hier auch als Programmspeicher und/oder Datenspeichergerät bezeichnet) speichert Codebefehle zur Ausführung durch den/die Hardware-Prozessor(en) 202, z. B. einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM) und/oder ein Speichergerät, z. B. einen nichtflüchtigen Speicher, magnetische Medien, Halbleiterspeichergeräte, eine Festplatte, einen Wechselspeicher und optische Medien (z. B. DVD, CD-ROM). Beispielsweise kann der Speicher 206 Bildverarbeitungscode 206A speichern, der eine oder mehrere Handlungen und/oder Merkmale des mit Bezug auf 1 und/oder 3 beschriebenen Verfahrens implementiert, und/oder Trainingscode 206B, der eine oder mehrere Handlungen des mit Bezug auf 4 beschriebenen Verfahrens ausführtund/oder Codeanweisungen des trainierten neuronalen Einzellabel-Netzwerks 222A und/oder Code des neuronalen Multilabel-Netzwerks 222C und/oder Code 206C des visuellen neuronalen Filternetzes zum Filtern der anatomischen Bilder vor der Verarbeitung durch das trainierte neuronale Einzellabel-Netzwerk und/oder vor der Verwendung zum Trainieren des neuronalen Einzellabel- und/oder Multilabel-Netzwerks und/oder Mini-AUC-Code 206D zum Auswählen neuronaler Einzellabel-Netzwerke gemäß einer Zielsensitivität und/oder -spezifität und/oder Pixelanpassungscode 206E zum Anpassen von Pixelintensitätswerten zum Entfernen von Ausreißern, wie hierin beschrieben. Zusätzliche Details des neuronalen Netzwerks 206C des visuellen Filters werden unter Bezugnahme auf die gemeinsam mit der vorliegenden Anmeldung eingereichte Anmeldung mit der Nummer 76406 beschrieben.
Alternativ oder zusätzlich kann (können) das (die) Client-Terminal(s) den Bildverarbeitungscode 206A, das visuelle neuronale Filternetzwerk 206C und/oder die Codeanweisungen des trainierten neuronalen Einzellabel-Netzwerks 222A und/oder den Code des neuronalen Multilabel-Netzwerks 222C und/oder die Prioritätsliste 222B und/oder den Mini-AUC-Code 206D und/oder den Pixelanpassungscode 206E lokal speichern und/oder ausführen.
Die Rechenvorrichtung 204 kann eine Datenspeichervorrichtung 222 zum Speichern von Daten umfassen, z. B. Codeanweisungen eines trainierten neuronalen Einzellabel-Netzwerks 222A und/oder Code eines neuronalen Multilabel-Netzwerks 222C (wie hierin beschrieben), Prioritätsliste 222B (wie hierin beschrieben generiert), visuelles neuronales Filternetz 206C, Mini-AUC-Code 206D und/oder Trainingsbilder 216 und/oder textbasierte Radiologieberichte (zum Erzeugen des Multilabel-Trainingsdatensatzes und/oder Einzellabel-Trainingsdatensatzes, wie hierin beschrieben). Die Datenspeichervorrichtung 222 kann beispielsweise als ein Speicher, eine lokale Festplatte, ein Wechselspeichergerät, eine optische Platte, ein Speichergerät und/oder als ein entfernter Server und/oder eine Computerwolke (z. B. mit Zugriff über das Netzwerk 210) implementiert sein. Es wird darauf hingewiesen, dass Codeanweisungen des trainierten neuronalen Einzellabel-Netzwerks 222A, Code des neuronalen Multilabel-Netzwerks 222C, des neuronalen Netzes 206C mit visuellem Filter, Trainingsbilder 216, Prioritätsliste 222B, Mini-AUC-Code 206D und/oder Pixelanpassungscode 206E und/oder textbasierte Radiologieberichte in der Datenspeichervorrichtung 222 gespeichert werden können, wobei ausführende Teile in den Speicher 206 zur Ausführung durch den/die Prozessor(en) 202 geladen werden.
Optional wird die Prioritätsliste 222B dem Bildserver 214 zur Verfügung gestellt, um zum Beispiel die vorrangige Präsentation der vom Bildserver 214 gespeicherten Bilder anzuweisen. Alternativ oder zusätzlich gibt das Computergerät 204 Anweisungen an den Bildserver 214, die Prioritätsliste 222B zu erstellen.
Die Rechenvorrichtung 204 kann eine Datenschnittstelle 224, optional eine Netzwerkschnittstelle, zur Verbindung mit dem Netzwerk 210 umfassen, beispielsweise eine oder mehrere der folgenden Schnittstellen: eine Netzwerkschnittstellenkarte, eine drahtlose Schnittstelle zur Verbindung mit einem drahtlosen Netzwerk, eine physische Schnittstelle zur Verbindung mit einem Kabel für die Netzwerkkonnektivität, eine virtuelle Schnittstelle, die in Software implementiert ist, Netzwerkkommunikationssoftware, die höhere Schichten der Netzwerkkonnektivität bereitstellt, und/oder andere Implementierungen. Die Rechenvorrichtung 204 kann über das Netzwerk 210 auf einen oder mehrere entfernte Server 218 zugreifen, um beispielsweise aktualisierte Trainingsbilder 216 herunterzuladen und/oder eine aktualisierte Version des Bildverarbeitungscodes, des Trainingscodes, des Codes des visuellen Filter-Neuralnetzes, des trainierten neuronalen Einzellabel-Netzwerks und/oder des trainierten neuronalen Multilabel-Netzwerk herunterzuladen.
Es wird darauf hingewiesen, dass die Bildgebungsschnittstelle 220 und die Datenschnittstelle 224 als eine einzige Schnittstelle (z. B. Netzwerkschnittstelle, einzelne Softwareschnittstelle) und/oder als zwei unabhängige Schnittstellen wie Softwareschnittstellen (z. B. als Anwendungsprogrammierschnittstellen (API), Netzwerkports) und/oder Hardwareschnittstellen (z. B. zwei Netzwerkschnittstellen) und/oder Kombinationen (z. B. eine einzelne Netzwerkschnittstelle und zwei Softwareschnittstellen, zwei virtuelle Schnittstellen an einer gemeinsamen physischen Schnittstelle, virtuelle Netzwerke an einem gemeinsamen Netzwerkport) implementiert werden können. Der Begriff „Bildgebungsschnittstelle 220“ kann manchmal mit dem Begriff „Datenschnittstelle 224“ ausgetauscht werden.
Die Rechenvorrichtung 204 kann über das Netzwerk 210 (oder einen anderen Kommunikationskanal, wie z. B. über eine direkte Verbindung (z. B. Kabel, drahtlos) und/oder eine indirekte Verbindung (z. B. über ein zwischengeschaltetes Computergerät, wie einen Server, und/oder über ein Speichergerät) mit einem oder mehreren der folgenden Geräte kommunizieren:

* Client-Terminal(s) 208, zum Beispiel, wenn die Rechenvorrichtung 204 als Server fungiert, der die Wahrscheinlichkeit des visuellen Befunds in anatomischen Bildern berechnet, dem Bildspeicher-Server die berechnete Wahrscheinlichkeit zur Bestimmung eines Prioritätswerts des jeweiligen anatomischen Bildes zur Erzeugung der Prioritätsliste zur Verfügung stellt, und wobei die anatomischen Bilder mit der höchsten Rangfolge auf einem Display des Client-Terminals 208 angezeigt werden.
* Server 218, in einer Implementierung ist der Server 218 als Bildserver 214 implementiert, z. B. als PACS-Server. Server 218 kann neue anatomische Bilder speichern, wenn sie aufgenommen werden, und/oder den Trainingsdatensatz speichern. Server 214 kann die Prioritätsliste 222B speichern und/oder erstellen. In einer anderen Implementierung steht der Server 218 in Kommunikation mit dem Bildserver 214 und dem Computergerät 204. Der Server 218 kann die Koordination zwischen dem Bildserver 214 und dem Computergerät 204 übernehmen, indem er beispielsweise neu empfangene anatomische Bilder vom Server 218 an das Computergerät 204 übermittelt, um die Wahrscheinlichkeit eines visuellen Befundes zu berechnen (durch den hier beschriebenen Einzellabel-Trainingsdatensatz 222A), und eine Indikation der berechneten Wahrscheinlichkeit vom Computergerät 204 an den Server 218 übermittelt. Der Server 218 kann Prioritätswerte berechnen und/oder die anatomischen Bilder entsprechend der berechneten Wahrscheinlichkeit für die Berechnung der Prioritätsliste einstufen. Der Server 218 kann eine Liste der nach Priorität eingestuften anatomischen Bilder und/oder die Prioritätsliste an den Bildserver 214 senden, optional zur Präsentation für einen Gesundheitsdienstleister auf dem Display des Client-Terminals. Das Client-Terminal 208 kann auf die anatomischen Bilder der Prioritätsliste über den Server 218 zugreifen, der die Bilder vom Bildserver 214 erhält. Alternativ werden eine oder mehrere der beschriebenen Funktionen des Servers 218 von der Rechenvorrichtung 204 und/oder dem Bildserver 214 ausgeführt.
* Anatomischer Bildspeicher 214, der anatomische Bilder speichert, und/oder Bildgebungsgerät 212, das die anatomischen Bilder ausgibt.

Das Computergerät 204 enthält eine Benutzerschnittstelle 226 oder steht mit dieser in Verbindung, die einen Mechanismus enthält, mit dem ein Benutzer Daten (z. B. Patientendaten) eingeben und/oder die Indikationen auf identifizierte visuelle Befunde anzeigen kann. Beispielhafte Benutzerschnittstellen 226 umfassen beispielsweise einen oder mehrere Touchscreens, ein Display, eine Tastatur, eine Maus und sprachaktivierte Software mit Lautsprechern und Mikrofon.
Es wird nun auf 3 verwiesen, die ein Schema 300 darstellt, das einen beispielhaften Datenfluss für die Erkennung einer Indikationen auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk darstellt, das aus einer Basislinie eines neuronalen Multilabel-Netzwerks trainiert wurde, in Übereinstimmung mit einigen Ausführungsformen der vorliegenden Erfindung. Ein Datenspeicherserver 314, z. B. ein PACS-Server, liefert anatomische Bilder 350 an einen Bildanalyseprozess 352. Der Datenspeicherserver 314 kann dem in 2 beschriebenen Bildspeicher und/oder Bildserver 214 entsprechen. Bei den anatomischen Bildern 350 kann es sich um DICOM®-Studien handeln, z. B. Thoraxröntgen, Röntgenbilder der Gliedmaßen des Abdomens und CT-Scans (d. h. des Brustkorbs, des Abdomens und/oder der Gliedmaßen). Der Imaging-Analytics-Prozess 352 kann beispielsweise als Server, als Prozess, der auf dem Datenspeicherserver 314 ausgeführt wird, entsprechend dem Server 218 von 2 und/oder entsprechend der Rechenvorrichtung 204 implementiert werden. Der Bildanalyseprozess 352 stellt dem HealthPNX-Prozess 304 anatomische Bilder 350 zur Verfügung. Der HealthPNX-Prozess 304 kann dem Rechengerät 204 von 2 entsprechen und/oder als Prozess implementiert sein, der auf dem PACS-Server 314 und/oder dem Bildanalyseserver ausgeführt wird. Der HealthPNX-Prozess 304 berechnet die Wahrscheinlichkeit, dass jedes anatomische Bild (z. B. Röntgenbild) einen visuellen Befundtyp zeigt, der z. B. auf einen Pneumothorax hinweist. Die Berechnung der Wahrscheinlichkeit des visuellen Befundtyps erfolgt durch das trainierte neuronale Einzellabel-Netzwerk, wie hier beschrieben. Optional wird jede Röntgenaufnahme vor der Berechnung durch das neuronale Einzellabel-Netzwerk zunächst durch das visuelle Filter-Netz (wie hier beschrieben) verarbeitet, um irrelevante Bilder auszuschließen. Der HealthPNX-Prozess 304 sendet eine Indikation auf die berechnete Wahrscheinlichkeit eines visuellen Befunds 354 an den Bildanalyseprozess 352, zum Beispiel in JSON formatiert. Der bildgebende Analyseprozess 352 kann die Indikation der berechneten Wahrscheinlichkeit eines visuellen Befunds in ein anderes Protokoll 356 (z. B. HL7) umformatieren, um sie dem PACS 314 zu übermitteln. Die anatomischen Bilder werden in einer Arbeitsliste 358 (entsprechend der Prioritätsliste 222B, die unter Bezugnahme auf 2 beschrieben wurde) entsprechend der berechneten Wahrscheinlichkeit eines visuellen Befundtyps angeordnet, z. B. in abnehmender Reihenfolge gemäß einer Rangfolge, die auf der Grundlage der berechneten Wahrscheinlichkeit eines visuellen Befunds berechnet wurde. Beispielsweise geordnet nach der Probabilität, dass die jeweilige Röntgenaufnahme den auf einen Pneumothorax hinweisenden visuellen Befundtyp zeigt. Ein Gesundheitsdienstleister (z. B. ein Krankenhausmitarbeiter, ein Radiologe, ein Kliniker) greift über ein Client-Terminal 308 auf die anatomischen Bilder zu, um sie gemäß der Arbeitsliste 358 manuell zu prüfen. Die anatomischen Bilder werden für die Überprüfung durch den Gesundheitsdienstleister nach den dringendsten Fällen sortiert, die mit der höchsten Wahrscheinlichkeit den visuellen Befund, z. B. Pneumothorax, enthalten, was eine schnelle Diagnose und Behandlung der akuten Fälle ermöglicht. Patienten, bei denen ein Pneumothorax diagnostiziert wird, können schnell behandelt werden, wodurch Komplikationen und/oder Morbidität, die sich aus einer verzögerten Diagnose und Behandlung ergeben, vermieden oder verringert werden.
Zurück zu 1: In 102 wird das neuronale Einzellabel-Netzwerk trainiert und/oder bereitgestellt.
Das trainierte neuronale Einzellabel-Netzwerk wird mit einem anatomischen Zielbild gespeist und gibt einen Wahrscheinlichkeitsindikation (z. B. einer absoluten Indikation und/oder einen Probabilitätswert) dafür aus, dass der einzelne visuelle Befundtyp im anatomischen Zielbild dargestellt ist.
Ein beispielhaftes Verfahren zum Trainieren des neuronalen Einzellabel-Netzwerks wird unter Bezugnahme auf 4 beschrieben.
Das neuronale Einzellabel-Netzwerk wird durch Feinabstimmung und/oder Neutraining eines trainierten neuronalen Multilabel-Netzwerks anhand eines Einzellabel-Trainingsdatensatzes anatomischer Bilder berechnet, die mit einer Indikation auf die Art des visuellen Befundtyps gekennzeichnet sind. Das neuronale Multilabel-Netzwerk wird so trainiert, dass es die Wahrscheinlichkeit (z. B. den absolute Indikation und/oder den Probabilitätswert) für jeden von mehreren visuellen Befundtypen auf der Grundlage eines Multilabel-Trainingsdatensatzes anatomischer Bilder berechnet, die mit den mehreren visuellen Befundtypen gekennzeichnet sind.
Die Genauigkeit des trainierten neuronalen Einzellabel-Netzwerks für die Erkennung des einzelnen visuellen Befundtyps in dem anatomischen Zielbild kann höher sein als die Genauigkeit des neuronalen Multilabel-Netzwerks für die Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild, und/oder kann höher sein als ein anderes neuronales Einzellabel-Netzwerk, das nur auf dem Einzellabel-Trainingsdatensatz trainiert wurde, wobei ein standardmäßiges untrainiertes neuronales Netzwerk als anfängliche Basislinie verwendet wird, und/oder kann höher trainiert sein als ein anderes neuronales Einzellabel-Netzwerk, das auf einem neuronalen Netzwerk mit mehreren Objekten trainiert wurde, um nichtmedizinische Objekte in nichtmedizinischen Bildern zu erkennen (z. B., ImageNet).
Es können mehrere neuronale Einzellabel-Netzwerke trainiert und/oder bereitgestellt werden. Jedes neuronale Einzellabel-Netzwerk kann so trainiert werden, dass es einen jeweils eindeutigen visuellen Befundtyp erkennt, wenn es mit demselben anatomischen Bild gefüttert wird, das von einer anatomischen Ziel-Bildgebungsmodalität ausgegeben wird, die eine Ziel-Körperregion in einem Ziel-Sensor-Blickwinkel darstellt. Zum Beispiel erkennt ein neuronales Einzellabel-Netzwerk Pneumothorax in AP- und/oder PA- und/oder lateralen Thoraxröntgen, und ein anderes neuronales Einzellabel-Netzwerk erkennt Pneumomediastinum in den AP- und/oder PA-Thoraxröntgen. Alternativ oder zusätzlich kann jedes neuronale Einzellabel-Netzwerk so trainiert werden, dass es einen eindeutigen visuellen Befundtyp entsprechend einem bestimmten anatomischen Bild erkennt, das von einer bestimmten anatomischen Bildgebungsmodalität ausgegeben wird, die eine bestimmte Körperregion in einem bestimmten Sensorbetrachtungswinkel abbildet. Beispielsweise erkennt ein neuronales Einzellabel-Netzwerk einen Pneumothorax in AP- und/oder PA- und/oder lateralen Thoraxröntgen, und ein anderes neuronales Einzellabel-Netzwerk erkennt ein Pneumoperitoneum in Abdominalröntgen in Rückenlage und/oder AP/PA- Thoraxröntgen.
Wenn mehrere neuronale Einzellabel-Netzwerke verwendet werden, die anatomische Bilder verschiedener Bildgebungsmodalitäten und/oder verschiedener Sensorwinkel und/oder verschiedener Körpertypen akzeptieren, können ein oder mehrere neuronale Netzwerke mit visuellem Filter ungeeignete anatomische Bilder von der Einspeisung in das jeweilige neuronale Einzellabel-Netzwerk ausschließen und/oder geeignete anatomische Bilder zur Einspeisung in das jeweilige neuronale Einzellabel-Netzwerk auswählen.
Beispiele für anatomische Bilder, die in das neuronale Einzellabel-Netzwerk eingespeist werden, und die daraus resultierende Ausgabe der Wahrscheinlichkeit, dass der einzelne visuelle Befundtyp auf dem jeweiligen Bild dargestellt ist, umfassen: zweidimensionale (2D) AP- und/oder PA- und/oder laterale Thoraxröntgen zur Erkennung eines Pneumothorax, einschließlich eines kleinen Pneumothorax, 2D AP- und/oder PA- Thoraxröntgen zur Erkennung eines Pneumomediastinums, 2D-Abdominalröntgen in Seitenansicht zur Erkennung eines Pneumoperitoneums, eine oder mehrere Röntgenaufnahmen von Knochen und/oder Gelenken, die in einer oder mehreren Sensorausrichtungen aufgenommen wurden, um eine Fraktur zu erkennen, und US-Bilder des Blinddarms zur Erkennung einer akuten Appendizitis.
Bei 104 werden ein oder mehrere anatomische Bilder empfangen, z. B. von einem PACS-Server, einem EMR-Server, von der anatomischen Bildgebungsvorrichtung und/oder von einem Speichergerät (z. B. einem tragbaren Speichermedium, einem Speicherserver). Die Bilder können einzeln abgerufen werden, z. B. wenn die anatomischen Bilder erfasst und gespeichert werden, und/oder sie können als Stapel abgerufen werden, z. B. alle Bilder, die in den letzten 15 Minuten erfasst wurden.
Die Bilder können mit verschiedenen anatomischen Bildgebungsmodalitäten und/oder in unterschiedlichen Sensorausrichtungen aufgenommen werden.
Ein Beispiel für ein anatomisches Bildgebungsgerät ist ein Röntgengerät, das ein zweidimensionales anatomisches Bild aufnimmt.
Bei den anatomischen Bildern kann es sich z. B. um 2D-Bilder (z. B. Röntgenbilder, Ultraschallbilder) und/oder 2D-Schichten von 3D-Bildern (z. B. von CT- und/oder MRT-Scans) handeln.
Anatomische Bilder können als Einzelbilder, als Serie mehrerer unabhängiger Bilder und/oder als Sätze von Schichten (z. B. 2D-Schichten eines 3D-Volumenbildes) gespeichert werden. Optional wird jedes der anatomischen Bilder, wie hier beschrieben, in das/die neuronale(n) Netz(e) eingespeist.
Bei 106 werden die anatomischen Bilder in ein oder mehrere neuronale Netze mit visuellem Filter 206C eingespeist.
Optional schließt jedes neuronale Netzwerk mit visuellem Filter anatomische Bilder aus, die für das entsprechende neuronale Ziel-Einzellabel-Netzwerk ungeeignet sind, d. h. Bilder, die mit einer anderen Bildgebungsmodalität aufgenommen wurden und/oder Bilder, die einen anderen Körperteil darstellen und/oder Bilder, die mit einem anderen Sensorausrichtungswinkel aufgenommen wurden. So werden beispielsweise bei einem neuronalen Einzellabel-Netzwerk, das AP- und/oder PA- Thoraxröntgen verarbeitet, Röntgenbilder, die nicht den Thorax betreffen, ausgeschlossen, und andere Sensorausrichtungen (d. h. nicht-AP und nicht-PA) werden ausgeschlossen.
Optional hat jedes neuronale Einzellabel-Netzwerk sein eigenes entsprechendes neuronales Netz mit visuellem Filter, das entsprechend den Bildanforderungen des entsprechenden neuronalen Einzellabel-Netzwerks trainiert wird. Alternativ wird ein einzelnes neuronales Netz mit visuellem Filter für mehrere verschiedene neuronale Einzellabel-Netzwerke trainiert, die beispielsweise ein Label für das eingespeiste Bild ausgeben, das die anatomische Bildgebungsmodalität und/oder den Körpertyp und/oder die Sensorausrichtung angibt. Die Label können verwendet werden, um die Bilder den entsprechenden neuronalen Einzellabel-Netzwerken zuzuführen.
Das neuronale Netz des visuellen Filters kann gedrehte anatomische Bilder erkennen, optional auch einen Drehungsgrad relativ zur Basislinie (z. B. 90 Grad, 180 Grad, 270 Grad). Die gedrehten anatomischen Bilder können auf die Basislinie zurückgedreht werden.
Das (die) anatomische(n) Zielbild(er) werden in das neuronale Netz mit visuellem Filter eingespeist, um eine Klassifizierungskategorie auszugeben, die einen Zielkörperbereich angibt, der mit einer Zielsensorausrichtung und einer Drehung relativ zu einer durch das neuronale Einzellabel-Netzwerk definierten Basislinie dargestellt wird (z. B. AP/PA- Thoraxröntgen), oder eine andere Klassifizierungskategorie, die mindestens einen Nicht-Zielkörperbereich und eine Nicht-Zielsensorausrichtung angibt (z. B. Nicht-Thorax, Nicht-AP/PA, Nicht-Röntgenbild). Eine Teilmenge der in die andere Klassifizierungskategorie eingestuften anatomischen Zielbilder wird zurückgewiesen, um eine verbleibende Teilmenge der anatomischen Zielbilder zu erhalten. Die verbleibende Untergruppe der anatomischen Zielbilder, die als relativ zur Basislinie gedreht klassifiziert wurden, wird zur Basislinie gedreht, um eine Gruppe von Bildern zu erzeugen, die alle auf der Basislinie liegen.
Weitere Einzelheiten zum Training und zur Verwendung des/der visuellen neuronalen Filternetzwerks/Netzwerke werden unter Bezugnahme auf die gemeinsam mit der vorliegenden Anmeldung eingereichte Anmeldungnummer 76406 beschrieben, die hier durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
Optional werden die Bilder verarbeitet, um Ausreißerpixel-Intensitätswerte zu entfernen und/oder die Pixelintensitätswerte anzupassen. Die Ausreißerpixel-Intensitätswerte können auf eingefügte Inhalte hinweisen, z. B. auf Metadaten, die dem realen Bild überlagert werden, z. B. den Namen des Patienten und die Indikation der Patientenseite (z. B. L für linke Seite) und/oder zusätzliche Daten der Untersuchung (z. B. AP-Thoraxröntgen). Der injizierte Inhalt wird entfernt und/oder angepasst, indem die Intensität der Pixel angepasst wird. Kurz gesagt, werden die Pixel des anatomischen Zielbildes identifiziert, die Ausreißerpixel-Intensitätswerte aufweisen, die eine Injektion von Inhalten anzeigen. Die Ausreißerpixel-Intensitätswerte der identifizierten Pixel werden an Werte angepasst, die als Funktion der Nicht-Ausreißerpixel-Intensitätswerte berechnet werden. Die Verarbeitung des Bildes kann erfolgen, bevor es in das neuronale Netz des visuellen Filters eingespeist wird und/oder für die Bilder, die das neuronale Netz des visuellen Filters durchlaufen haben (d. h. nicht zurückgewiesen wurden). Weitere Einzelheiten zur Entfernung von Ausreißerpixel-Intensitätswerten und/oder zur Anpassung von Pixelintensitätswerten werden in der gemeinsam eingereichten Anmeldung mit der Nummer 76406 beschrieben.
In 108 werden die anatomischen Zielbilder in das neuronale Einzellabel-Netzwerk eingespeist.
Optional, wenn das neuronale Netzwerk mit visuellem Filter implementiert ist, können die anatomischen Bilder, die in das neuronale Einzellabel-Netzwerk eingespeist werden, die anatomischen Bilder enthalten, die vom visuellen Filter ausgewählt wurden, und/oder anatomische Bilder ausschließen, die vom visuellen Filter zurückgewiesen wurden, und/oder anatomische Bilder enthalten, die auf der Grundlage der Ausgabe des visuellen Filters zur Basislinie gedreht wurden.
Optional, wenn der Code für die Pixelanpassung implementiert ist, wird das anatomische Bild bzw. werden die anatomischen Bilder verarbeitet, um den eingespeisten Inhalt zu entfernen und/oder den Pixelintensitätswert der Pixel, die den eingespritzten Inhalt darstellen, und/oder anderer Pixel (d. h., die keinen eingespritzten Inhalt darstellen) anzupassen.
Optional, wenn das neuronale Einzellabel-Netzwerk ein Ensemble von neuronalen Netzen umfasst, wird das anatomische Zielbild bzw. werden die anatomischen Zielbilder in jedes der neuronalen Netze des Ensembles eingespeist. Optional werden mehrere Instanzen des anatomischen Zielbildes/der anatomischen Zielbilder durch Vorverarbeitung des anatomischen Zielbildes/der anatomischen Zielbilder entsprechend den Eingabeanforderungen des jeweiligen neuronalen Netzes des Ensembles erzeugt. Die Eingabeanforderungen der neuronalen Netze des Ensembles können sich je nach den hier beschriebenen Parametern des neuronalen Netzes unterscheiden, z. B. Bildgröße (d. h. Skalierung des Bildes auf die erforderliche Bildgröße), Zentrumsabschnitt (z. B. wird die zentrale Fläche des Bildes, der durch die Eingabegröße des entsprechenden neuronalen Netzes des Ensembles gegeben ist, herausgezogen), Mittelwertnormalisierung (z. B. wird der Mittelwert des vorgeschnittenen Bildes subtrahiert) und Standardabweichungsnormalisierung (z. B. wird die Standardabweichung des vorgeschnittenen Bildes durch geteilt).
Bei 110 wird eine Wahrscheinlichkeit, dass eine Indikation auf den einzelnen visuellen Befundtyp im anatomischen Zielbild dargestellt ist, durch das neuronale Einzellabel-Netzwerk ausgegeben und/oder berechnet.
Einzelne visuelle Befundtypen, die einen akuten medizinischen Zustand anzeigen, der frühzeitig und schnell behandelt werden muss, z. B. Pneumothorax, Pneumomediastinum, Pneumoperitoneum und Frakturen. Solche visuellen Befunde sind in der Regel fein und daher auf dem Röntgenbild schwer zu identifizieren, insbesondere in frühen Stadien und/oder wenn der Radiologe nach anderen visuellen Mehrfachbefundtypen sucht. Diese visuellen Befundtypen weisen jedoch auf einen akuten, fortschreitenden medizinischen Zustand hin, der eine frühzeitige und schnelle Behandlung erfordert, um das Risiko von Komplikationen zu verringern. Eine Verzögerung der Behandlung kann zu einer Morbidität und/oder Mortalität des Patienten führen, die andernfalls durch eine frühzeitige Behandlung hätte verhindert oder verringert werden können.
Optional wird die Wahrscheinlichkeit als absoluter Wert dargestellt, optional als Einzelindikation oder als binäre Indikation, z. B. vorhanden oder nicht vorhanden. Alternativ oder zusätzlich gibt die berechnete Wahrscheinlichkeit einen Konfidenzwert an, der die Probabilität angibt, dass der visuelle Befundtyp auf dem anatomischen Bild dargestellt wird.
Bei 112, wenn mehrere anatomische Bilder in das neuronale Einzellabel-Netzwerk eingespeist werden, können Anweisungen zur Erzeugung einer Triage-Liste generiert werden und/oder die Triage-Liste kann generiert werden. Die Triage-Liste enthält anatomische Bilder, bei denen festgestellt wurde, dass sie mit hoher Wahrscheinlichkeit einen einzigen visuellen Befundtyp darstellen. Optional wird die Triage-Liste nach abnehmender Wahrscheinlichkeit der Indikation des visuellen Befundtyps auf der Grundlage des Konfidenzwertes geordnet. So werden beispielsweise Bilder mit einer höheren berechneten Probabilität für die Darstellung des visuellen Befundtyps in der Liste höher eingestuft als andere Bilder mit niedrigeren Probabilitätswerten.
Die Begriffe „Prioritätenliste“ und „Triage-Liste“ sind hier austauschbar.
Die Triage-Liste dient der manuellen Überprüfung durch einen menschlichen Benutzer (z. B. Radiologe, Arzt in der Notaufnahme, Chirurg) der jeweiligen anatomischen Zielbilder, bei denen mit hoher Wahrscheinlichkeit eine Indikation des visuellen Befundtyps berechnet wurde.
Die Prioritätsliste kann vom Computer erzeugt und dem Bildserver und/oder dem Client-Terminal zur Verfügung gestellt werden. In einer anderen Implementierung liefert das Computergerät Anweisungen zur Erzeugung der Prioritätsliste an den Bildserver, und der Bildserver erstellt die Prioritätsliste.
Die Liste kann vom Benutzer (z. B. innerhalb des PACS-Viewers) eingesehen werden, wobei eine manuelle Auswahl der zu betrachtenden Bilder möglich ist, und/oder sie kann ein automatisches sequentielles Laden von Bildern zur Betrachtung durch den Benutzer (z. B. innerhalb des PACS-Viewers) definieren.
Bei 114 kann der Benutzer die Bilder in der Prioritätsliste manuell ansehen, wahlweise entsprechend der Rangfolge.
Bei 116 kann der akute medizinische Zustand des Patienten diagnostiziert werden. Der visuelle Befundtyp ist ein Zeichen für den akuten medizinischen Zustand. Der Patient kann wegen des akuten medizinischen Zustands behandelt werden.
Wenn beispielsweise das neuronale Einzellabel-Netzwerk auf dem Thoraxröntgen den visuellen Befundtyp eines Pneumothorax feststellt und der Befund durch eine manuelle visuelle Inspektion durch einen Radiologen bestätigt wird, kann der Patient diagnostiziert und/oder behandelt werden, z. B. durch Einführen einer Nadel oder einer Thoraxdrainage zur Entfernung der überschüssigen Luft.
Zurück zu 4 Bei 402 wird ein Multilabel-Trainingsdatensatz bereitgestellt und/oder erzeugt.
Der Multilabel-Trainingsdatensatz enthält mehrere anatomische Bilder, die jeweils mit einem Label versehen sind, das einen oder mehrere definierte visuelle Befundtypen anzeigt oder keine visuellen Befundtypen anzeigt (d. h. explizite Indikation oder implizite Indikation durch Fehlen eines Labels für den/die visuellen Befundtyp(en)).
Optional können die im Multilabel-Trainingsdatensatz gespeicherten Bilder von einem oder mehreren neuronalen Netzen mit visuellem Filter verarbeitet werden, um irrelevante Bilder (z. B. von einer anderen Körperregion und/oder einer anderen Sensorausrichtung und/oder einer anderen Bildgebungsmodalität) auszuschließen und/oder um gedrehte Bilder auf die Basislinie zurückzudrehen.
Optional können die Bilder vorverarbeitet werden, um die Anzahl der Trainingsbilder und/oder die Vielfalt der Trainingsbilder zu erhöhen, z. B. mit folgenden zusätzlichen Erweiterungen: zufälliges horizontales Spiegeln, zufälliges Beschneiden, zufälliges Drehen und zufälliges Zoomen.
Beispielhafte visuelle Befundtypen, die für AP- und/oder PA- und/oder lateral Thoraxröntgens definiert wurden, sind: abnormale Aorta, Aortenverkalkung, künstliche Klappe, Atelektase, Bronchialwandverdickung, Herzschrittmacher, Kardiomegalie, Zentrallinie, Konsolidierung, Abstumpfung des costrophrenen Winkels, degenerative Veränderungen, erhöhtes Zwerchfell, Fraktur, Granulom, Zwerchfellbruch, hilarische Vorwölbung, Hyperinflation, interstitielle Markierungen, Kyphose, Masse, Mediastinalverbreiterung, starke Blähungen, Knoten, orthopädische Chirurgie, Osteopenie, Pleuraerguss, Pleuraverdickung, Pneumothorax, Lungenödem, Rippenfraktur, Skoliose, Weichteilverkalkung, Sternotomiedrähte, festgestellte chirurgische Klammer, Verdickung der Fissur, Luftröhrenabweichung, Transplantat, Röhre und Wirbelhöhenverlust.
Optional speichert der Multilabel-Trainingsdatensatz Bilder desselben Körperbereichs, die zum selben Zeitpunkt mit derselben Bildgebungsmodalität aufgenommen wurden und dieselbe Sensorausrichtung aufweisen. Zum Beispiel AP- und/oder PA- Thoraxröntgen. Wie hier verwendet, können AP und PA als Bilder mit der gleichen Sensorausrichtung betrachtet werden.
Es können mehrere Multilabel-Trainingsdatensätze erzeugt werden, z. B. für verschiedene Körperteile und/oder verschiedene Bildgebungsmodalitäten und/oder verschiedene Sensorausrichtungen.
Es wird nun ein beispielhafter Prozess zur Erzeugung von Label für die anatomischen Bilder beschrieben, die die darin dargestellten visuellen Befundtypen anzeigen. Weitere Einzelheiten zu einem beispielhaften Verfahren zur Erzeugung der Label für den Multilabel-Trainingsdatensatz aus einem textbasierten Radiologiebericht werden unter Bezugnahme auf die vorläufige Patentanmeldungs Nr. 15/972,912 beschrieben.
Optional werden die Label der anatomischen Bilder des Multilabel-Trainingsdatensatzes auf der Grundlage einer Analyse erzeugt, die einzelne Sätze eines entsprechenden textbasierten Radiologieberichts einem entsprechenden visuellen Befundtyp aus mehreren definierten visuellen Befundtypen zuordnet. Der textbasierte Radiologiebericht enthält eine Beschreibung der radiologischen Befundung der Bilder, die z. B. von einem Radiologen getippt oder aus einem verbalen Diktat des Radiologen transkribiert wurde. Die Sätze anatomischer Bilder und der zugehörige Radiologiebericht können beispielsweise von einem PACS-Server und/oder aus den EMR-Aufzeichnungen der Probanden stammen.
Optional wird für jeden Satz von anatomischen Bildern der einzelnen Probanden ein entsprechendes Tag erzeugt. Jedes Tag enthält einen oder mehrere visuelle Befunde, die in einem oder beiden Bildern dargestellt sind. Die Tags können z. B. als Metadaten-Tags, elektronische Labels und/oder Verweise auf Einträge in einem Datensatz (z. B. ein Array, in dem jedes Element einen bestimmten visuellen Befund bezeichnet) implementiert werden.
Die Markierungen können auf der Grundlage einer Analyse erzeugt werden, bei der einzelne Sätze eines jeden Radiologieberichts die entsprechende Indikation auf bestimmte Arten von visuellen Befunden zugeordnet werden, die in den anatomischen Bildern des jeweiligen Radiologieberichts dargestellt sind. Ein einzelner Satz wird einem der verschiedenen visuellen Befundtypen zugeordnet.
Auf der Grundlage einer Analyse der Sätze (optional aller Sätze) in den Radiologieberichten der Bilder kann eine Reihe von unterschiedlichen visuellen Befundtypen erstellt werden. Die Indikationen zu den verschiedenen Arten von visuellen Befundtypen basieren auf visuellen Befundtypen, die von Radiologen identifiziert werden. Da jedoch verschiedene Radiologen unterschiedliche Sätze und/oder unterschiedliche Begriffe für ein und denselben visuellen Befund verwenden können, können mehrere unterschiedliche Sätze auf denselben eindeutigen visuellen Befund verweisen.
Optional werden die einzelnen Sätze aus den Radiologieberichten der Stichprobenpersonen in einer relativ kleinen Anzahl von unterschiedlichen visuellen Befundtypen zusammengefasst, z. B. etwa 10 visuellen Befundtypen, oder etwa 20, oder etwa 25, oder etwa 30, oder etwa 40, oder etwa 50, oder etwa 100. Die Anzahl der Radiologieberichte ist im Vergleich zur Anzahl der unterschiedlichen Sätze gering, z. B. etwa 500.000 oder etwa 1 Million Sätze. Jedes Cluster steht für einen der verschiedenen visuellen Befunde. Alle Sätze innerhalb des jeweiligen Clusters weisen auf denselben eindeutigen visuellen Befund hin.
Die Clusterbildung kann z. B. manuell durch Benutzer und/oder auf der Grundlage überwachter und/oder nicht überwachter maschineller Lernmethoden erfolgen, die für die Erzeugung von Clustern ausgelegt sind.
Das Clustering kann nach einem oder mehreren der folgenden Verfahren durchgeführt werden:

1. Manuelles Durchgehen einiger der häufiger vorkommenden Sätze und deren Markierung (z. B. wie im Experiment im Abschnitt Beispiele beschrieben).
2. Verwendung von Algorithmen zum automatischen Parsen von Sätzen in den Berichten und deren Zuordnung zu positiven (oder negativen) Befunden.
3. Der/die Algorithmus/Algorithmen in (2) kann/können regelbasiert sein (z. B. schreibt ein Mensch für jedes Ergebnis eine Formel, und wenn der Satz diese Formel erfüllt, wird der Satz einer positiven Indikation auf das Ergebnis zugeordnet).
4. Der/die Algorithmus/Algorithmen in (2) kann/können die Formel automatisch lernen (d. h. ML-Algorithmus), wenn eine Stichprobe von manuell annotierten Sätzen (wie die in (1)) vorliegt.

Es können ein oder mehrere Trainingsdatensätze erzeugt werden, um ein oder mehrere neuronale Multilabel-Netzwerke zu trainieren. Jeder Trainingsdatensatz enthält Sätze von anatomischen Bildern und zugehörigen Tags.
Die Trainingsdatensätze können nach dem zu trainierenden neuronalen Ziel-Multilabel-Netzwerk sortiert werden, z. B. nach dem abzubildenden Körperteil, nach der Bildmodalität und/oder nach der Sensorausrichtung.
Optional wird der Trainingsdatensatz erzeugt, indem eine Teilmenge von Sätzen der textbasierten Radiologieberichte (optional ein oder mehrere Sätze aus jedem Bericht) der Beispielpersonen, die auf positive Befunde (d. h. einen visuellen Befundtyp, der abnormal sein kann) hinweisen, eine der Indikationen zu visuellen Befundtypen zugeordnet werden. Die negativen Sätze werden entweder ignoriert oder den negativen Labels für die im Satz erwähnten visuellen Befundtypen zugeordnet. Die neutralen Sätze werden einfach ignoriert, da sie keine indikativen Informationen enthalten. Die mehrdeutigen Sätze können dazu führen, dass der zugehörige Satz von Bildern aus dem Trainingssatz entfernt wird.
In einem anderen Beispiel wird eine weitere Untergruppe von Sätzen, die negative Befunde (z. B. normale Befunde oder fehlende oder abnormale Befunde) und/oder neutrale Daten (d. h., die keinen positiven oder negativen Befund anzeigen) und/oder mehrdeutige Daten (z. B., wenn unklar ist, ob die Daten einen positiven oder negativen Befund anzeigen) bezeichnen, einem anderen Tag zugeordnet, das keine Arten von visuellen Befundtypen angibt. Die andere Teilmenge von Sätzen wird keine der Indikationen auf visuelle Befunde zugeordnet. Das neuronale Multilabel-Netzwerk kann auf beiden Teilmengen von Sätzen und zugehörigen anatomischen Bildern trainiert werden, wobei eine Teilmenge das neuronale Multilabel-Netzwerk trainiert, um die visuellen Befundtypen zu identifizieren, und/oder die andere Teilmenge das neuronale Multilabel-Netzwerk trainiert, um falsch positive Ergebnisse zu vermeiden, indem negative Befunde fälschlicherweise als visuelle Befundtypen bezeichnet werden.
Sätze, die neutrale Feststellungen bezeichnen, können ignoriert werden.
Optional wird ein vollständig abgedeckter Trainingsdatensatz anhand einer Teilmenge der textbasierten Radiologieberichte der Beispielpersonen erzeugt (d. h. einige Berichte werden aus dem Trainingsdatensatz ausgeschlossen). Für jeden entsprechenden textbasierten Radiologiebericht, der in der Teilmenge enthalten ist, wird jeder der Sätze des entsprechenden textbasierten Radiologieberichts auf einen der folgenden Typen abgebildet: eine der Indikationen zu visuellen Befundtypen (d. h., die einen positiven Befund aus den vom Modell unterstützten Befunden bezeichnen), einen negativen Befund und neutrale Daten. Das neuronale Multilabel-Netzwerk kann anhand des vollständig abgedeckten Trainingsdatensatzes und der zugehörigen anatomischen Bilder trainiert werden.
Alternativ kann ein beliebiger Trainingsdatensatz auf der Grundlage einer Teilmenge der textbasierten Radiologieberichte der Beispielpersonen erzeugt werden (d. h. einige Berichte werden aus dem Trainingsdatensatz ausgeschlossen). Für jeden entsprechenden textbasierten Radiologiebericht, der in der Teilmenge enthalten ist, wird mindestens einer der Sätze des entsprechenden textbasierten Radiologieberichts eine der Indikationen zu visuellen Befundtypen zugeordnet. Sätze, die auf negative Befunde und/oder neuronale Daten abgebildet werden, werden ignoriert. Das neuronale Multilabel-Netzwerk kann anhand eines beliebigen Treffer-Trainingsdatensatzes und der zugehörigen anatomischen Bilder trainiert werden.
Optional ist die Prävalenz der anatomischen Bilder, die mit dem im Multilabel-Trainingsdatensatz gespeicherten einzelnen visuellen Befundtyp gekennzeichnet sind, statistisch signifikant höher als die Prävalenz der anatomischen Bilder, die mit dem im Speicherserver gespeicherten einzelnen visuellen Befundtyp gekennzeichnet sind, und/oder die Prävalenz von Patienten mit Pneumothorax in der Praxis (z. B. Prävalenz in der Notaufnahme, Prävalenz in anatomischen Bildern, Prävalenz in der Allgemeinbevölkerung). Wie im Abschnitt „Experimente“ beschrieben, kann der Multilabel-Trainingsdatensatz beispielsweise 5828 Bilder mit Pneumothorax und 2.043.625 Bilder ohne Pneumothorax enthalten, was repräsentativ für die wilde Prävalenz von Pneumothorax bei Patienten sein kann, die sich einem Thoraxröntgen unterziehen. Die Prävalenz der Bilder mit Pneumothorax im Multilabel-Trainingsdatensatz ist viel höher, z. B. etwa 33 % aller Bilder oder etwa 50 % oder etwa 25-50 % oder andere Werte. Die höhere Prävalenz kann die Genauigkeit des trainierten neuronalen Multilabel-Netzwerks bei der Erkennung des visuellen Befundtyps, der auf einen Pneumothorax hinweist, erhöhen. Die höhere Prävalenz von Bildern, die einen Pneumothorax zeigen, kann z. B. dadurch erreicht werden, dass die Trainingsbilder in drei zyklischen Reihen angeordnet werden: „positiv“, „normal“ und „abnormal“, wobei optional jede Reihe 1/3 der Gesamtbilder ausmachen kann, oder es können andere Verteilungen verwendet werden. Ein Bild wird der Multi-Label-Trainingsstapel-Warteschlange hinzugefügt, indem es gleichmäßig nach dem Zufallsprinzip gezogen wird, und dann wird das nächste Bild für das Training des neuronalen Multilabel-Netzwerks aus dieser Warteschlange entnommen. Somit enthält jeder Stapel im Durchschnitt 33 % positive Bilder.
Bei 404 werden ein oder mehrere neuronale Multilabel-Netzwerke für die Erkennung eines oder mehrerer visuellen Befundtypen in einem anatomischen Zielbild gemäß dem Multilabel-Trainingsdatensatz trainiert. Optional wird das neuronale Multilabel-Netzwerk so trainiert, dass es etwa 20-50 verschiedene Arten von visuellen Befundtypen identifiziert.
Optional wird das neuronale Multilabel-Netzwerk von Grund auf anhand eines neuronalen Musternetzes trainiert. Bei der Vorlage kann es sich um ein handelsübliches, öffentlich verfügbares neuronales Netz handeln, z. B. DenseNet121, ResNet152, Inception-v4 und Inception-v3.
Optional wird das neuronale Multilabel-Netzwerk mit einer kategorialen Kreuzentropie-Verlustfunktion trainiert.
Optional wird der Validierungsverlust des einzelnen visuellen Befundtypen während des Trainings des neuronalen Multilabel-Netzwerks (das für die Erkennung einer großen Anzahl von visuellen Befundtypen, z. B. etwa 40 Typen, trainiert wird) überwacht, um festzustellen, wann sich der Validierungsverlust des einzelnen visuellen Befundtypen stabilisiert hat. Alternativ oder zusätzlich wird während des Trainings des neuronalen Multilabel-Netzwerks zur Erkennung mehrerer Arten von visuellen Befunden der Validierungsverlust des neuronalen Multilabel-Netzwerks für den ausgewählten einzelnen visuellen Befundtyp überwacht, um einen Kontrollpunkt des neuronalen Netzes zu erkennen, der den niedrigsten Validierungsverlust aufweist. Es können mehrere Instanzen des neuronalen Multilabel-Netzwerks trainiert werden, die jeweils in Bezug auf einen oder mehrere Parameter des neuronalen Netzes variieren. Die Instanz des neuronalen Multilabel-Netzwerks, die den geringsten Validierungsverlust für den ausgewählten einzelnen visuellen Befundtyp aufweist, wird für das Training des neuronalen Einzellabel-Netzwerks, wie hier beschrieben, bestimmt. Das neuronale Einzellabel-Netzwerk wird so trainiert, dass es den Verlust für den ausgewählten einzelnen visuellen Befundtyp direkt minimiert, wie hier beschrieben.
Die Stabilisierung bedeutet, dass die Fähigkeit des neuronalen Multilabel-Netzwerks, das Vorhandensein des einzelnen visuellen Befundtyps in einem anatomischen Zielbild zu erkennen, ihren Höhepunkt erreicht hat. Das neuronale Basisliniennetzwerk für das Training des neuronalen Einzellabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps wird entsprechend einem Kontrollpunkt der Netzwerkgewichte des neuronalen Multilabel-Netzwerks festgelegt, wenn eine Stabilisierung des Validierungsverlustes festgestellt wird.
Eine der Instanzen kann entsprechend einem Validierungsverlust des ausgewählten einzelnen visuellen Befundtyps ausgewählt werden. Beim Training des neuronalen Einzellabel-Netzwerks wird das neuronale Einzellabel-Netzwerk mit einem Kontrollpunkt der Netzwerkgewichte der ausgewählten Instanz des neuronalen Multilabel-Netzwerks initialisiert.
In 406 wird ein Einzellabel-Trainingsdatensatz bereitgestellt und/oder erzeugt.
Der Einzellabel-Trainingsdatensatz enthält anatomische Bilder, die jeweils mit einem Label versehen sind, das den ausgewählten einzelnen visuellen Befundtyp angibt, und optional alternativ ein Label, das das Fehlen des einzelnen visuellen Befundtyps angibt.
Es können mehrere Einzellabel-Trainingsdatensätze bereitgestellt und/oder erzeugt werden, z. B. für jeden bestimmten visuellen Befundtyp und/oder jede bestimmte Körperregion, die in dem anatomischen Bild dargestellt ist, und/oder jede bestimmte Sensorausrichtung und/oder jede bestimmte Bildgebungsmodalität.
Es ist zu beachten, dass der einzelne visuelle Befundtyp aus den mehreren visuellen Befundtypen ausgewählt wird, die zur Erzeugung des Multilabel-Trainingsdatensatzes verwendet werden.
Der Einzellabel-Trainingsdatensatz kann aus dem Bild des Multilabel-Trainingsdatensatzes erzeugt werden.
Optional ist die Prävalenz der anatomischen Bilder, die mit dem einzelnen visuellen Befundtyp gekennzeichnet sind, der im Einzellabel-Trainingsdatensatz gespeichert ist, statistisch signifikant höher als die Prävalenz der anatomischen Bilder, die mit dem einzelnen visuellen Befundtyp gekennzeichnet sind, der im Multilabel-Trainingsdatensatz gespeichert ist und eine wilde Prävalenz des einzelnen visuellen Befundtyps in der Praxis (z. B. in der Patientenpopulation, in der Notaufnahme, in anatomischen Bildern) anzeigt. Wie im Abschnitt über Experimente beschrieben, kann der Multilabel-Trainingsdatensatz beispielsweise 5828 Bilder mit Pneumothorax und 2.043.625 Bilder ohne Pneumothorax enthalten, die für die wilde Prävalenz von Pneumothorax bei Patienten, die sich einer Röntgenaufnahme des Brustkorbs unterziehen, repräsentativ sein können. Die Prävalenz der Bilder, die einen Pneumothorax zeigen, ist im Einzellabel-Trainingsdatensatz viel höher, z. B. etwa 33 % aller Bilder oder etwa 50 % oder etwa 25-50 % oder andere Werte. Die höhere Prävalenz kann die Genauigkeit des trainierten neuronalen Einzellabel-Netzwerks bei der Erkennung des auf einen Pneumothorax hinweisenden visuellen Befundtyps erhöhen. Die höhere Prävalenz von Bildern, die einen Pneumothorax zeigen, kann z. B. dadurch erreicht werden, dass die Trainingsbilder in drei zyklischen Reihen angeordnet werden: „positiv“, „normal“ und „abnormal“, wobei optional jede Reihe 1/3 der Gesamtbilder ausmachen kann, oder es können andere Verteilungen verwendet werden. Ein Bild wird der Warteschlange für das Einzellabel-Training hinzugefügt, indem es gleichmäßig nach dem Zufallsprinzip gezogen wird, und dann wird das nächste Bild für das Training des neuronalen Einzellabel-Netzwerks aus dieser Warteschlange entnommen. Somit enthält jeder Stapel im Durchschnitt 33 % positive Bilder.
Optional werden die anatomischen Bilder des Multilabel-Trainingsdatensatzes in drei Cluster eingeteilt, um den Einzellabel-Trainingsdatensatz mit einer höheren Prävalenz von Bildern zu erzeugen, die den einzelnen visuellen Befundtyp darstellen. Beispielhafte Cluster sind: ein Cluster für einen einzelnen visuellen Befundtyp, der anatomische Bilder enthält, die mindestens den ausgewählten einzelnen visuellen Befundtyp darstellen (z. B. Pneumothorax und einen anderen möglichen Befund), ein allgemeiner positiver Befundcluster, der anatomische Bilder enthält, die mindestens einen der mehreren visuellen Befundtypen mit Ausnahme des ausgewählten einzelnen visuellen Befundtyps darstellen (z. B. kein Pneumothorax, aber ein oder mehrere andere Befunde), und ein negativer Befundcluster, der anatomische Bilder enthält, die keinen der mehreren visuellen Befundtypen darstellen (z. B. kein Befund). Die Bilder können nach dem Zufallsprinzip aus einem der Cluster nacheinander ausgewählt werden (z. B. aus Cluster 1, dann 2, dann 3, dann wieder 1 und wiederholt), um sie in den Einzellabel-Trainingsdatensatz einzufügen, was zu einer Pneumothorax-Prävalenz von etwa 33 % im Einzellabel-Trainingsdatensatz führt.
Bei 408 wird ein neuronales Einzellabel-Netzwerk für die Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild trainiert. Es wird darauf hingewiesen, dass mehrere neuronale Einzellabel-Netzwerke trainiert werden können, die jeweils unabhängig voneinander trainiert werden.
Wie hier verwendet, kann sich der Begriff „neuronales Einzellabel-Netzwerk“ auf das Ensemble der Instanzen des neuronalen Einzellabel-Netzwerks beziehen.
Das (z. B. jedes) neuronale Einzellabel-Netzwerk trainiert wird, indem das trainierte neuronale Multilabel-Netzwerk als anfängliches neuronales Basisliniennetzwerk des neuronalen Einzellabel-Netzwerks festgelegt wird. Optional werden mit Ausnahme der letzten vollständig verbundenen Schicht des neuronalen Multilabel-Netzwerk die Gewichte der anderen entsprechenden Schichten des neuronalen Multilabel-Netzwerk zur Initialisierung des neuronalen Basisliniennetzwerkes vor dem Training verwendet.
Das neuronale Basisliniennetzwerk kann eine Architekturanpassung des neuronalen Multilabel-Netzwerks sein. Es können verschiedene Architekturen verwendet werden und/oder dieselbe Architektur mit Variationen in einem oder mehreren Parametern des neuronalen Netzes. Die Gewichte des neuronalen Basisliniennetzwerkes können entsprechend den Gewichten des trainierten neuronalen Multilabel-Netzwerks festgelegt werden. Das neuronale Basisliniennetzwerk wird entsprechend dem Einzellabel-Trainingsdatensatz fein abgestimmt und/oder neu trainiert.
Eine beispielhafte Verlustfunktion für das Training des neuronalen Einzellabel-Netzwerks ist ein binärer Kreuzentropieverlust, mathematisch dargestellt als: $- zlog (y) - (1 - z) log (1 - y)$
wobei y die Ausgabe des neuronalen Netzes (z. B. zwischen 0 und 1) und z die Grundwahrheit (entweder 0 oder 1) bezeichnet.
Optional wird das neuronale Einzellabel-Netzwerk so trainiert, dass es einen Wahrscheinlichkeitwert berechnet, der die Probabilität angibt, dass der einzelne visuelle Befundtyp im anatomischen Zielbild dargestellt wird.
Optional werden mehrere Instanzen des neuronalen Einzellabel-Netzwerks mit der gleichen Basislinie und dem gleichen Einzellabel-Trainingsdatensatz trainiert. Die Instanzen werden erzeugt, indem ein oder mehrere Parameter des neuronalen Netzes variiert werden, z. B. die Vorverarbeitungsbildgröße, die Vorverarbeitungseingangsgröße (d. h. die Skalierung des Bildes auf die erforderliche Größe des Eingabebildes), die Modifikation der Architektur des neuronalen Netzes, der Center-Crop (z. B., Mittelfläche des Bildes, der durch das entsprechende neuronale Netz der Eingangsgröße des Ensembles gegeben ist, wird herausgezogen), zusätzliche dichte Zwischenschicht(en) vor einer endgültigen Ausgabe, Vorverarbeitungsnormierungstyp (z. B. Mittelwert des vorgeschnittenen Bildes wird subtrahiert) und Standardabweichungsnormierung (z. B. die Standardabweichung des vorgeschnittenen Bildes wird geteilt durch). Es wird darauf hingewiesen, dass die Instanzen des neuronalen Einzellabel-Netzwerks anders sind als das Training verschiedener neuronaler Einzellabel-Netzwerke. Alle Instanzen werden darauf trainiert, denselben visuellen Befundtyp für dieselbe Körperregion derselben anatomischen Bildgebungsmodalität und dieselbe Sensorausrichtung zu erkennen. Die verschiedenen neuronalen Einzellabel-Netzwerke können sich zumindest in der erkannten Art des visuellen Befundtyps unterscheiden.
Optional wird die Leistung jeder Instanz für die Erkennung der Indikation auf den einzelnen visuellen Befundtypen bewertet. Eine Kombination der Instanzen kann entsprechend einer Anforderung an die bewertete Leistung ausgewählt werden. Die Kombination von Instanzen kann als Ensemble bezeichnet werden. Ein Satz von Regeln kann festlegen, wie die endgültige Indikation der Wahrscheinlichkeit des Vorhandenseins des visuellen Befundtyps im anatomischen Zielbild aus dem Ensemble berechnet wird, z. B. ein Durchschnitt der Mitglieder des Ensembles, Mehrheitsbeschluss und Maximalwert.
Optional kann die Anzahl der ausgewählten Instanzen 2, 3, 4, 5, 6, 7, 8 oder größer sein.
Optional berechnet jede der Instanzen eine Punktzahl, die die Wahrscheinlichkeit angibt, dass das anatomische Bild den einzelnen visuellen Befundtyp abbildet. Die Punktzahlen werden zusammengefasst, um eine Gesamtpunktzahl zu berechnen, z. B. durch Mittelwertbildung, Mehrheitsabstimmung oder andere Verfahren. Wenn die Gesamtpunktzahl über einem vordefinierten Schwellenwert liegt, wird das Bild als positiv für die Darstellung des visuellen Befundtyps eingestuft. Die Auswahl des Schwellenwerts kann mit Mini-AUC, wie hier beschrieben, erfolgen.
Bei 410 werden die Instanzen des neuronalen Einzellabel-Netzwerks, die in dem Ensemble enthalten sind, gemäß einer Zielsensitivität und/oder einer Zielspezifität ausgewählt. Die Zielsensitivität und/oder Zielspezifität kann z. B. manuell von einem Benutzer eingegeben und/oder automatisch durch einen Code berechnet werden. Die Definition der Zielsensitivität und/oder der Zielspezifität ermöglicht eine individuelle Anpassung der Leistungsfähigkeit des neuronalen Einzellabel-Netzwerks, z. B. für verschiedene Krankenhäuser, verschiedene Radiologen und/oder entsprechend den klinischen Anforderungen.
Optional wird eine Mini-AUC (Fläche unter der Kurve) für einen Bereich unter der Operationscharakteristik (ROC) -Kurve berechnet, die für jede Instanz des neuronalen Einzellabel-Netzwerks entsprechend der Zielsensitivität und/oder Zielspezifität berechnet wird. Die Mini-AUC kann als die Fläche unter der ROC-Kurve berechnet werden, die durch die Zielsensitivität innerhalb einer Toleranzbedingung begrenzt ist. Die Toleranzanforderung kann vom Benutzer vorgegeben, automatisch definiert und/oder als vordefinierter Systemparameterwert bereitgestellt werden. Die Zielsensitivität kann eine Untergrenze bezeichnen. Die Spezifität kann als die maximale Spezifität innerhalb der Mini-AUC ausgewählt werden. Eine oder mehrere Instanzen werden entsprechend einer Anforderung der Mini-AUC zur Aufnahme in das Ensemble ausgewählt.
Optional wird ein Teilbereich der ROC berechnet, der durch die Zielsensitivität definiert ist, optional mit einer Toleranz.
Optional wird das Ensemble von Instanzen aus einem Pool von mehreren trainierten neuronalen Netzen ausgewählt, indem eine erschöpfende Suche über alle Kombinationen von trainierten neuronalen Netzen (z. B. gemäß einer vordefinierten Anzahl von neuronalen Netzen und/oder Testkombinationen mit einer unterschiedlichen Anzahl von neuronalen Netzen) entsprechend dem Mini-AUC durchgeführt wird. Die Leistung der Instanzen kann auf der Grundlage des Mini-AUC und nicht wie bei herkömmlichen Verfahren auf der Grundlage des vollständigen AUC berechnet werden. Die Instanzen mit der höchsten Leistung auf der Grundlage des Mini-AUC werden ausgewählt. Für die Aufnahme in das Ensemble.
Es wird darauf hingewiesen, dass der Prozess der Berechnung mehrerer Instanzen eines neuronalen Netzes, die jeweils durch einen oder mehrere Parameter des neuronalen Netzes variieren, und die Auswahl einer oder mehrerer der trainierten Instanzen gemäß einer Mini-AUC, die für die ROC-Kurve berechnet wird, die für jede trainierte Instanz entsprechend der Zielsensitivität und/oder Zielspezifität berechnet wird, für jedes neuronale Netz durchgeführt werden kann und nicht notwendigerweise auf die hier beschriebenen neuronalen Einzellabel- oder Multilabel-Netzwerk beschränkt ist.
Bei 412 wird das trainierte (optional ausgewählte Instanzen des) neuronalen Einzellabel-Netzwerks bereitgestellt. Das bereitgestellte trainierte neuronale Einzellabel-Netzwerk kann ein Ensemble von Instanzen umfassen, die sich durch eine Kombination von Parametern des neuronalen Netzes unterscheiden. Es können mehrere verschiedene trainierte neuronale Einzellabel-Netzwerke bereitgestellt werden.
BEISPIELE
Es wird nun auf die folgenden Beispiele für das Training des neuronalen Einzellabel-Netzwerks aus dem neuronalen Multilabel-Netzwerk und die Analyse anatomischer Bilder durch das trainierte neuronale Einzellabel-Netzwerk zur Identifizierung einer Indikation auf einen visuellen Befundtyp, der einen akuten medizinischen Zustand für eine frühzeitige und schnelle Behandlung desselben anzeigt, verwiesen, die zusammen mit den obigen Beschreibungen einige Implementierungen der hierin beschriebenen Systeme, Methoden, Geräte und/oder Codeanweisungen in einer nicht einschränkenden Weise veranschaulichen.
Die Erfinder haben eine rechnerische Bewertung gemäß den hierin beschriebenen Systemen und/oder Methoden und/oder Geräten und/oder Codeanweisungen durchgeführt, basierend auf den Merkmalen und/oder Systemkomponenten, die unter Bezugnahme auf 1-4 beschrieben werden.
Die Erfinder führten eine rechnerische Auswertung für das Training des neuronalen Einzellabel-Netzwerks zur Erkennung einer Indikation eines Pneumothorax in zweidimensionalen (2D) Thoraxröntgen in PA (posterior-anterior) und/oder AP (anterior-posterior) durch.
Zunächst wurde ein neuronales Multilabel-Netzwerk trainiert. Dann wurde ein neuronales Einzellabel-Netzwerk trainiert. Das neuronale Einzellabel-Netzwerk umfasst ein Ensemble von vier neuronalen Netzmodellen mit den Bezeichnungen A, B, C und D, die Instanzen desselben neuronalen Einzellabel-Netzwerkes mit unterschiedlichen Anpassungen der Parameter des neuronalen Netzes sind, wie im Folgenden beschrieben.
Das vortrainierte Modell (d. h. das neuronale Multilabel-Netzwerk) wurde von Grund auf mit Bildern aus demselben Trainingssatz trainiert, der für das Training der neuronalen Einzellabel-Netzwerke A, B, C und D verwendet wurde, und zwar in derselben Umgebung, nur dass es statt einer einzigen Ausgabe (d. h. Pneumothorax) trainiert wurde, um das Vorhandensein von 57 häufigen Röntgenbefunden (einschließlich Pneumothorax) vorherzusagen, wobei die kategoriale Kreuzentropie-Verlustfunktion verwendet wurde. Mit Ausnahme der letzten voll verknüpften Schicht wurden die Gewichte der anderen Schichten vor dem Training zur Initialisierung der anderen Ensemble-Modelle verwendet.
Die Label für die 57 häufigsten Röntgenbefunde (einschließlich Pneumothorax) wurden durch eine satzbasierte Analyse der textlichen Berichte der ursprünglichen 2 Millionen Studien ermittelt, wie hier beschrieben. Wenn eine Studie ein positives Label für einen bestimmten Befund aufweist, enthielt der Bericht dieser Studie einen Satz, der manuell von einem Experten überprüft und als Hinweis auf das Vorhandensein des bestimmten Befundes gewertet wurde, wie hier beschrieben.
Die neuronalen Netze A, B, C und D wurden anhand desselben vortrainierten Modells auf der Grundlage des hier beschriebenen neuronalen Multilabel-Netzwerk feinabgestimmt. Es wurde ein Ensemble aus vier neuronalen Netzen erzeugt, die hier als A, B, C und D bezeichnet werden, Die neuronalen Netze A, B, C und D wurden anhand desselben vortrainierten Modells auf der Grundlage des hier beschriebenen neuronalen Multilabel-Netzwerks feinabgestimmt, wobei sich jedes Mitglied des Ensembles in einem oder mehreren neuronalen Netzparametern unterschied. Die neuronalen Netze A, B und C haben die gleichen Einstellungen: (i) Vorverarbeitungsbildgröße: 330x330. (ii) Vorverarbeitungseingangsgröße: 299x299. (iii) Vorverarbeitungsnormalisierung: Mittelwertnormalisierung UND STD-Normalisierung. (iv) Architektur: DenseNet121 wie von keras implementiert, die Ausgabeschicht hat eine einzige Einheit. Modell D hat die folgenden Einstellungen :(i) Vorverarbeitungsbildgröße: 450x450. (ii) Vorverarbeitungseingangsgröße: 400x400 .(iii) Vorverarbeitungsnormalisierung: Mittelwertnormalisierung, (iv) Architektur: DenseNet121, wie es von keras implementiert wurde, mit einer zusätzlichen, vollständig verknüpften Schicht von 512 Einheiten kurz vor der endgültigen Ausgabeschicht (die eine einzige Einheit hat).
Die neuronalen Netze A, B, C und D wurden anhand desselben Trainingssatzes von 5.828 positiven (d. h. einen Pneumothorax enthaltenden) und 2.043.625 negativen (d. h. keinen Pneumothorax enthaltenden) Thoraxröntgen mit PA- und/oder AP-Ansichten trainiert. Für alle neuronalen Netze wurde derselbe Trainingsrahmen verwendet. In der negativen Gruppe waren 1.446.413 Bilder „normal“ (d. h. überhaupt kein Befund), und die anderen 597.212 Bilder waren „abnormal“ (d. h. mindestens ein abnormaler Befund außer Pneumothorax). Während des Trainings von A, B, C und D wurden die Trainingsbilder in drei zyklischen Warteschlangen angeordnet: „positiv“, „normal“ und „abnormal“. Um ein Bild zum Trainingsstapel hinzuzufügen, wurde eine Warteschlange gleichmäßig nach dem Zufallsprinzip gezogen, und dann wurde das nächste Bild aus dieser Warteschlange genommen. Somit enthielt jeder Stapel im Durchschnitt 33 % positive Bilder.
Die für das Training verwendete Verlustfunktion war der binäre Kreuzentropieverlust, mathematisch dargestellt als: $- zlog (y) - (1 - z) log (1 - y)$
Dabei steht y für die Ausgabe des neuronalen Netzes (z. B. zwischen 0 und 1) und z für die Grundwahrheit (entweder 0 oder 1).
Das Training wurde auf einer einzelnen 1080Ti GPU durchgeführt. Es wurde die integrierte Keras 2.1.3 Implementierung von DenseNet121 über Tensorflow 1.4 verwendet. Es wurde der Adam-Optimierer mit Keras-Standardparametern und einer Batchgröße von 16 verwendet. Eine Epoche wurde als 150 Batches definiert. Die Start-Lernrate war 0,001, die mit 0,75 multipliziert wurde, wenn sich der Validierungsverlust 30 Epochen lang nicht verbessert hatte. Das Training wurde für 2000 Epochen durchgeführt. Das Modell mit dem geringsten Verlust in der Validierungsmenge wurde ausgewählt.
Jedes Röntgenbild wurde gemäß den Modellspezifikationen mit folgenden zusätzlichen Erweiterungen vorverarbeitet: zufällige horizontale Spiegelung, zufälliger Beschnitt (anstelle von Center-Crop), zufällige Drehung (bis zu ±9 Grad) und zufälliger Zoom (bis zu ±10 %).
Die für den Trainingsprozess (d. h. für die Auswahl des besten Modells und die Festlegung des Schwellenwerts) verwendete Validierungsgruppe bestand aus 532 Bildern (218 positive und 314 negative). Jedes Bild wurde von drei erfahrenen Radiologen begutachtet. Die Mehrheit ihrer Meinungen (d. h. „Kein Pneumothorax“, „Es gibt einen Pneumothorax“, „Kann ich nicht sehen und nicht ausschließen“) wurde als Grundwahrheit verwendet (Fälle ohne positive oder negative Mehrheit wurden entfernt).
Die Erfinder führten eine weitere rechnerische Bewertung eines Ensembles von neuronalen Einzellabel-Netzwerken durch, die auf der Grundlage zumindest einiger Implementierungen der hier beschriebenen Systeme und/oder Verfahren erzeugt wurden.
Es wurde ein künstlicher Validierungsdatensatz mit 532 anatomischen Bildern erstellt. Der Validierungsdatensatz, der zur Quantifizierung der Leistung der trainierten neuronalen Einzellabel-Netzwerke (d. h. zur Auswahl für die Aufnahme in das Ensemble) verwendet wurde, wurde mit Fällen angereichert, die schwer zu erkennen sind (z. B. schwer für einen Menschen zu erkennen und/oder schwer für ein neuronales Netz zu erkennen, z. B. ein kleiner Pneumothorax) und/oder die Prävalenz des Pneumothorax im Validierungsdatensatz wurde höher angesetzt als die Prävalenz des Pneumothorax in anatomischen Bildern und/oder die Prävalenz bei Patienten in der Notaufnahme und/oder die Prävalenz in der Allgemeinbevölkerung. Der Zweck des Validierungsdatensatzes bestand darin, das Verfahren zur Erkennung von Pneumothorax durch das Ensemble an schwierigeren Fällen zu messen und zu kalibrieren, wobei den schwierigen Fällen eine höhere Prävalenz als die im Feld gemessene Prävalenz zugewiesen wurde. Die Bewertung wurde auch durchgeführt, um zu validieren, dass das Verfahren zur Erkennung von Pneumothorax auch diese seltenen Fälle erfolgreich löst.
Der Validierungsdatensatz wurde so angelegt, dass er eine Vielzahl verschiedener Unterkategorien abdeckt. Der Validierungsdatensatz umfasste 218 Positive und 314 Negative und deckte die folgenden Unterkategorien ab:

Datenquellen - 3, Modalität - CR, DX, Hersteller - 5, Ansicht - AP, PA, Geschlecht - weiblich, männlich, Alter [y] - 18 bis 40, 40 bis 60, über 60, Co-Befunde, Größe - klein, groß.

Die Leistung des ausgewählten Ensembles bei der Verarbeitung des Validierungsdatensatzes war: Sensitivität = 90,8%, Spezifität = 89,5% und Schwellenwert = 0,3798732050.
Die Erfinder führten eine weitere rechnerische Bewertung des Ensembles von neuronalen Einzellabel-Netzwerken durch, die auf der Grundlage zumindest einiger Implementierungen der hier beschriebenen Systeme und/oder Verfahren erzeugt wurden.
Es wurde ein Wildvalidierungsdatensatz mit 1215 Bildern erzeugt. Der Zweck des wilden Validierungsdatensatzes bestand darin, die Leistung des Ensembles von neuronalen Einzellabel-Netzwerk, die auf der Grundlage zumindest einiger Implementierungen der hier beschriebenen Systeme und/oder Methoden erzeugt wurden, an Negativen zu messen, die aus der allgemeinen Bevölkerung stammen, wobei ihnen eine Prävalenz zugewiesen wurde, die der in der Praxis gemessenen Prävalenz ähnelt. Die Bewertung wurde durchgeführt, um zu validieren, dass der Pneumothorax in den üblichen Fällen erfolgreich gelöst wird. Der wilde Validierungsdatensatz hatte die gleichen positiven Ergebnisse wie der oben beschriebene Validierungsdatensatz. Der wilde Validierungsdatensatz umfasste 218 Positive und 997 Negative.
Die Leistung des ausgewählten Ensembles bei der Verarbeitung des Wildvalidierungsdatensatzes war : Sensitivität = 90,8 %, Spezifität = 95,2 % und Schwellenwert = 0,3798732.
Darüber hinaus stellten die Erfinder fest, dass das neuronale Einzellabel-Netzwerk etwa 80,9 % der kleinen Pneumothorax in anatomischen Bildern erkennt. Es wird darauf hingewiesen, dass kleine Pneumothorax schwer zu erkennen sind. Eine Methode des Standes der Technik, die versuchte, Pneumothorax mit einem einfachen neuronalen Netzwerk zu erkennen, schloss kleine Pneumothorax aufgrund der technischen Fähigkeit, sie zu erkennen, aus.
Die Erfinder führten eine Evaluierung durch, um die Auswahl von Instanzen des neuronalen Einzellabel-Netzwerks (z. B. zur Aufnahme in ein Ensemble) auf der Grundlage der Mini-AUC (wie hier beschrieben) im Vergleich zum Standard-AUC-Prozess zu vergleichen. Die Erfinder stellten fest, dass die Mini-AUC für die Auswahl von Instanzen relevanter ist als das Standard-AUC-Verfahren, da die Mini-AUC die Standard-AUC übertreffen kann. Zum Beispiel betrug die AUC für eine erste Instanz 95,1 % und die Mini-AUC (Ziel-FPR 85 %, Toleranz +/-2 %) 93,8 %, während für eine zweite Instanz die AUC 95,3 % und die Mini-AUC 93,6 % betrug. Die Mini-AUC für die erste Instanz war um mehr als 0,2 % höher als die Mini-AUC für die zweite Instanz, während die AUC für die erste Instanz um 0,2 % niedriger war als die AUC für die zweite Instanz. Die tatsächliche Spezifität der ersten Instanz war um 0,9 % besser als die des produzierten Ziels.
Es wird nun auf 5 verwiesen, in der eine Tabelle und Diagramme dargestellt sind, die die experimentelle Auswertung für den Vergleich von Instanzen des auf der Mini-AUC basierenden neuronalen Einzellabel-Netzwerks mit dem Standard-AUC-Prozess gemäß einigen Ausführungsformen der vorliegenden Erfindung zusammenfassen.
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung dienen der Veranschaulichung, erheben jedoch nicht den Anspruch auf Vollständigkeit oder Beschränkung auf die offengelegten Ausführungsformen. Viele Modifikationen und Variationen werden für den Fachmann offensichtlich sein, ohne dass der Umfang und der Geist der beschriebenen Ausführungsformen verlassen werden. Die hier verwendete Terminologie wurde gewählt, um die Prinzipien der Ausführungsformen, die praktische Anwendung oder die technische Verbesserung gegenüber den auf dem Markt befindlichen Technologien bestmöglich zu erläutern oder um es anderen, die sich mit der Materie auskennen, zu ermöglichen, die hier offengelegten Ausführungsformen zu verstehen.
Es ist zu erwarten, dass während der Laufzeit eines aus dieser Anmeldung hervorgehenden Patents viele relevante anatomische Bilder und neuronale Netze entwickelt werden, und der Anwendungsbereich der Begriffe anatomisches Bild und neuronales Netz soll von vornherein alle diese neuen Technologien einschließen.
Der hier verwendete Begriff „etwa“ bezieht sich auf ± 10 %.
Die Begriffe „umfasst“, „enthaltend“, „schließt ein“, „einschließlich“, „mit“ und ihre Konjugate bedeuten „einschließlich, aber nicht beschränkt auf“. Dieser Begriff umfasst auch die Begriffe „bestehend aus“ und „im Wesentlichen bestehend aus“.
Die Formulierung „im Wesentlichen bestehend aus“ bedeutet, dass die Zusammensetzung oder das Verfahren zusätzliche Bestandteile und/oder Schritte enthalten kann, jedoch nur, wenn die zusätzlichen Bestandteile und/oder Schritte die grundlegenden und neuartigen Merkmale der beanspruchten Zusammensetzung oder des Verfahrens nicht wesentlich verändern.
Wie hierin verwendet, schließen die Singularformen „ein“, „eine“ und „der/die/das“ Pluralbezüge ein, sofern der Kontext nicht eindeutig etwas anderes vorschreibt. Zum Beispiel kann der Begriff „eine Verbindung“ oder „mindestens eine Verbindung“ eine Vielzahl von Verbindungen, einschließlich Mischungen davon, umfassen.
Das Wort „beispielhaft“ wird hier im Sinne von „als Beispiel, Instanz oder Illustration dienend“ verwendet. Jede als „beispielhaft“ beschriebene Ausführungsform ist nicht unbedingt als bevorzugt oder vorteilhaft gegenüber anderen Ausführungsformen auszulegen und/oder schließt die Einbeziehung von Merkmalen anderer Ausführungsformen aus.
Das Wort „optional“ wird hier im Sinne von „ist in einigen Ausführungsformen vorgesehen und in anderen Ausführungsformen nicht vorgesehen“ verwendet. Jede bestimmte Ausführungsform der Erfindung kann eine Vielzahl von „optionalen“ Merkmalen enthalten, sofern diese Merkmale nicht im Widerspruch zueinander stehen.
In dieser Anmeldung können verschiedene Ausführungsformen der Erfindung in einem Bereichsformat dargestellt werden. Es sollte verstanden werden, dass die Beschreibung im Bereichsformat lediglich der Bequemlichkeit und Kürze dient und nicht als starre Begrenzung des Umfangs der Erfindung ausgelegt werden sollte. Dementsprechend ist davon auszugehen, dass bei der Beschreibung eines Bereichs alle möglichen Unterbereiche sowie die einzelnen numerischen Werte innerhalb dieses Bereichs ausdrücklich offengelegt werden. Beispielsweise sollte bei der Beschreibung eines Bereichs wie 1 bis 6 davon ausgegangen werden, dass Unterbereiche wie 1 bis 3, 1 bis 4, 1 bis 5, 2 bis 4, 2 bis 6, 3 bis 6 usw. sowie einzelne Zahlen innerhalb dieses Bereichs, z. B. 1, 2, 3, 4, 5 und 6, ausdrücklich offenbart sind. Dies gilt unabhängig von der Breite des Bereichs.
Wenn in diesem Dokument ein Zahlenbereich angegeben wird, ist damit jede angegebene Zahl (Bruchzahl oder Ganzzahl) innerhalb des angegebenen Bereichs gemeint. Die Ausdrücke „Bereich zwischen“ einer ersten und einer zweiten angegebenen Zahl und „Bereich von“ einer ersten angegebenen Zahl „bis“ zu einer zweiten angegebenen Zahl werden hier austauschbar verwendet und schließen die erste und die zweite angegebene Zahl sowie alle dazwischen liegenden Bruchzahlen und Ganzzahlen ein.
Es versteht sich, dass bestimmte Merkmale der Erfindung, die der Übersichtlichkeit halber im Zusammenhang mit separaten Ausführungsformen beschrieben werden, auch in Kombination in einer einzigen Ausführungsform vorgesehen werden können. Umgekehrt können verschiedene Merkmale der Erfindung, die der Kürze halber im Zusammenhang mit einer einzigen Ausführungsform beschrieben sind, auch separat oder in jeder geeigneten Unterkombination oder in jeder anderen beschriebenen Ausführungsform der Erfindung vorgesehen sein. Bestimmte Merkmale, die im Zusammenhang mit verschiedenen Ausführungsformen beschrieben werden, sind nicht als wesentliche Merkmale dieser Ausführungsformen zu betrachten, es sei denn, die Ausführungsform ist ohne diese Elemente nicht funktionsfähig.
Obwohl die Erfindung in Verbindung mit bestimmten Ausführungsformen beschrieben wurde, ist es offensichtlich, dass viele Alternativen, Modifikationen und Variationen für die Fachleute auf dem Gebiet offensichtlich sind. Dementsprechend ist beabsichtigt, alle derartigen Alternativen, Modifikationen und Variationen, die unter den Gedanken und den weiten Anwendungsbereich der beigefügten Ansprüche fallen, einzubeziehen.
Alle in dieser Beschreibung erwähnten Veröffentlichungen, Patente und Patentanmeldungen werden in ihrer Gesamtheit durch Bezugnahme in die Beschreibung aufgenommen, und zwar in demselben Umfang, wie wenn jede einzelne Veröffentlichung, jedes einzelne Patent oder jede einzelne Patentanmeldung ausdrücklich und einzeln als durch Bezugnahme aufgenommen angegeben wäre. Darüber hinaus ist die Nennung oder Identifizierung einer Bezugnahme in dieser Anmeldung nicht als Zugeständnis auszulegen, dass diese Bezugnahme als Stand der Technik für die vorliegende Erfindung verfügbar ist. Soweit Abschnittsüberschriften verwendet werden, sind sie nicht als notwendigerweise einschränkend auszulegen.
Darüber hinaus werden alle Prioritätsdokumente dieser Anmeldung hiermit durch Verweis in ihrer Gesamtheit einbezogen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15/972912 [0001]

Claims

Ein System zur Berechnung eines neuronalen Einzellabel-Netzwerks zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Bild eines Zielindividuums, wobei der einzelne visuelle Befundtyp einen akuten medizinischen Zustand für eine frühe und schnelle Behandlung desselben bezeichnet, umfassend: Eine Rechenvorrichtung, wobei die Rechenvorrichtung mindestens einen Hardware-Prozessor, und einen Speicher umfasst, wobei ein Code ausführbar durch den Hardware-Prozessor in dem Speicher gespeichert ist, wobei der Code Anweisungen erhält zur: Bereitstellung eines Multilabel-Trainingsdatensatzes, der eine Vielzahl anatomischer Bilder enthält, aufgenommen durch ein Bildgebungsgerät, wobei die Bilder jeweils mit einem Label verbunden sind, das mindestens einen visuellen Befundtyp angibt, der aus einer Vielzahl visueller Befundtypen ausgewählt wurde, oder das keine visuellen Befundtypen angibt, wobei die anatomischen Bilder durch die Rechenvorrichtung empfangbar sind von der Bildgebungsvorrichtung und/oder einem Bildspeicher über zumindest eine Bildgebungsschnittstelle; Trainieren eines neuronalen Multilabel-Netzwerks zur Erkennung der Vielzahl von visuellen Befundtypen in einem anatomischen Zielbild gemäß dem Multilabel-Trainingsdatensatz, wobei die Anweisungen des Multi-Label Netzwerks in dem Speicher gespeichert sind; Erzeugen eines Einzellabel-Trainingsdatensatzes, der eine Vielzahl von anatomischen Bildern enthält, die jeweils mit einem Label verknüpft sind, das den einzelnen aus der Vielzahl der visuellen Befundtypen ausgewählten visuellen Befundtyp anzeigt verwendet zum Markieren des Multilabel-Trainingsdatensatzes oder das Fehlen des einzelnen visuellen Befundtyps anzeigt; und Trainieren eines neuronalen Einzellabel-Netzwerks zur Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild, indem das trainierte neuronale Multilabel-Netzwerk als anfängliche Basislinie des neuronalen Einzellabel-Netzwerks festgelegt wird, und eine Feinabstimmung und/oder ein Neutraining der Basislinie entsprechend dem Einzellabel-Trainingsdatensatz, wobei die Anweisungen des trainierten neuronalen Einzellabel-Netzwerks in dem Speicher gespeichert sind, wobei der einzelne visuelle Befundtyp durch das trainierte neuronale Einzellabel-Netzwerk aus einer Vielzahl von visuellen Befundtypen durch das trainierte neuronale Multi-Label Netzwerk erkannt wird.
Das System nach Anspruch 1, wobei die Genauigkeit des trainierten neuronalen Einzellabel-Netzwerks für die Erkennung des einzelnen visuellen Befundtyps in dem anatomischen Zielbild höher ist als die Genauigkeit des neuronalen Multilabel-Netzwerks für die Erkennung des einzelnen visuellen Befundtyps in einem anatomischen Zielbild, und höher als ein anderes neuronales Einzellabel-Netzwerk, das nur auf dem Einzellabel-Trainingsdatensatz trainiert wurde, wobei ein standardmäßiges untrainiertes neuronales Netzwerk als anfängliche Basislinie verwendet wurde, und höher als ein anderes neuronales Einzellabel-Netzwerk trainiert wurde, das auf einem neuronalen Netzwerk mit mehreren Objekten trainiert wurde, um nichtmedizinische Objekte in nichtmedizinischen Bildern zu erkennen.
Das System nach Anspruch 1, wobei die Erkennung des einzelnen visuellen Befundtyps die Berechnung eines Wahrscheinlichkeitswertes durch das neuronale Einzellabel-Netzwerk umfasst, der eine Probabilität angibt, dass der einzelne visuelle Befundtyp in dem anatomischen Zielbild dargestellt ist, wobei die Rechenvorrichtung derart ausgebildet ist die Indikation der berechneten Wahrscheinlichkeit an einen Server zu übermitteln, wobei der Server durch die Rechenvorrichtung über eine Datenschnittstelle in der Rechenvorrichtung erreichbar ist.
Das System nach Anspruch 1, wobei das anatomische Bild und der einzelne visuelle Befundtyp ausgewählt sind aus einer Gruppe bestehend aus: zweidimensionalem (2D) AP- und/oder PA- und/oder lateralem Thoraxröntgen und Pneumothorax einschließlich eines kleinen Pneumothorax, 2D-AP- und/oder PA-Thoraxröntgen und Pneumomediastinum und 2D-Abdominalröntgen und Pneumoperitoneum.
Das System nach Anspruch 1, wobei die Label der mehreren anatomischen Bilder des Multilabel-Trainingsdatensatzes auf der Grundlage einer Analyse erzeugt werden, die einzelne Sätze einer Vielzahl von Sätzen eines jeweiligen textbasierten Radiologieberichts einem entsprechenden visuellen Befundtyp aus der Vielzahl der visuellen Befundtypen zuordnet, wobei der textbasierte Radiologie-Bericht im Speicher gespeichert ist.
Das System nach Anspruch 1, wobei die Vielzahl der visuellen Befundtypen aus Mitgliedern der Gruppe besteht, bestehend aus: abnormale Aorta, Aortenverkalkung, künstliche Klappe, Atelektase, Bronchialwandverdickung, Herzschrittmacher, Kardiomegalie, Zentrallinie, Konsolidierung, Abstumpfung des costrophrenen Winkels, degenerative Veränderungen, erhöhtes Zwerchfell, Fraktur, Granulom, Zwerchfellbruch, hilarische Vorwölbung, Hyperinflation, interstitielle Markierungen, Kyphose, Masse, Mediastinalverbreiterung, starke Blähungen, Knoten, orthopädische Chirurgie, Osteopenie, Pleuraerguss, Pleuraverdickung, Pneumothorax, Lungenödem, Rippenfraktur, Skoliose, Weichteilverkalkung, Sternotomiedrähte, festgestellte chirurgische Klammer, Verdickung der Fissur, Luftröhrenabweichung, Transplantat, Röhre und Wirbelhöhenverlust.
Das System nach Anspruch 1, wobei das Trainieren des neuronalen Einzellabel-Netzwerks das Trainieren einer Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerks umfasst, wobei jede Instanz unterschiedliche Parameter des neuronalen Netzes aufweist, und ferner umfassend: Bewertung der Leistung jeder Instanz aus der Vielzahl der Instanzen für die Erkennung der Indikation auf den einzelnen visuellen Befundtypen; und Erzeugung eines Ensembles durch Auswahl einer Kombination von Instanzen entsprechend einer Anforderung an die bewertete Leistung, wobei das neuronalen Einzellabel-Netzwerk das Ensemble umfasst.
Das System nach Anspruch 7, wobei die verschiedenen Parameter des neuronalen Netzes der mehreren Instanzen des neuronalen Einzellabel-Netzwerks aus der Gruppe ausgewählt werden, die aus Folgendem besteht: Vorverarbeitungsbildgröße, Vorverarbeitungseingangsgröße, Modifikation der Architektur des neuronalen Netzes, mindestens eine zusätzliche dichte Zwischenschicht vor einer endgültigen Ausgabe, Vorverarbeitungsnormierungstyp und Standardabweichungsnormierung.
Das System nach Anspruch 1, wobei das Trainieren des neuronalen Multilabel-Netzwerks das Trainieren einer Vielzahl von Instanzen des neuronalen Multilabel-Netzwerks und das Auswählen einer der Instanzen mit dem niedrigsten Validierungsverlust für den einzelnen visuellen Befund umfasst, wobei das Trainieren des neuronalen Einzellabel-Netzwerks das Trainieren der ausgewählten einen Instanz unter Verwendung eines Kontrollpunktes der Netzwerkgewichte der ausgewählten einen Instanz umfasst.
Das System nach Anspruch 1, wobei das Trainieren des neuronalen Einzellabel-Netzwerks das Trainieren einer Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerks umfasst, die gemäß mindestens einem Netzparameter variieren, und ferner umfassend: Ermittlung einer Zielsensitivität und/oder einer Zielspezifität sowie einer Toleranz; Berechnen einer Mini-AUC (Fläche unter der Kurve) für einen Bereich unter der Operationscharakteristik (ROC)-Kurve, die für jede Instanz der Vielzahl von Instanzen des neuronalen Einzellabel-Netzwerks berechnet wird, die der Zielsensitivität und/oder der Zielspezifität innerhalb der Toleranz entspricht; und Auswahl mindestens einer Instanz aus der Vielzahl der Instanzen des neuronalen Einzellabel-Netzwerks gemäß einer Anforderung der Mini-AUC zur Aufnahme in ein Ensemble des neuronalen Einzellabel-Netzwerks.
Das System nach Anspruch 1, wobei die Gewichte der Basislinie entsprechend den entsprechenden Gewichten der nicht-letzten vollständig verbundenen Schichten des trainierten neuronalen Multilabel-Netzwerks eingestellt werden.
Das System nach Anspruch 1, wobei eine Prävalenz der anatomischen Bilder, die mit dem einzelnen visuellen Befundtyp des Einzellabel-Trainingsdatensatzes gekennzeichnet sind, statistisch signifikant höher ist als eine Prävalenz der anatomischen Bilder, die mit dem einzelnen visuellen Befundtyp des Multilabel-Trainingsdatensatzes gekennzeichnet sind und eine wilde Prävalenz des einzelnen visuellen Befundtyps in der Praxis anzeigen.
Das System nach Anspruch 1, wobei die mehreren anatomischen Bilder des Multilabel-Trainingsdatensatzes in drei Cluster zusammengefasst werden, die Folgendes umfassen: einen Cluster für einen einzigen visuellen Befundtyp, der anatomische Bilder enthält, die mindestens den einzigen visuellen Befundtyp darstellen, einen Cluster für einen allgemeinen positiven Befund, der anatomische Bilder enthält, die mindestens einen der mehreren visuellen Befundtypen mit Ausnahme des einzigen visuellen Befundtyps darstellen, und einen Cluster für einen negativen Befund, der anatomische Bilder enthält, die keinen der mehreren visuellen Befundtypen darstellen, wobei der Einzellabel-Trainingsdatensatz durch zufälliges Abtasten eines Bildes aus jedem der Cluster in Folge erzeugt wird.
Ein System zur Erkennung einer Indikation auf einen einzelnen visuellen Befundtyp in einem anatomischen Zielbild eines Zielindividuums durch ein neuronales Einzellabel-Netzwerk, wobei der einzelne visuelle Befundtyp einen akuten medizinischen Zustand für eine frühe und schnelle Behandlung desselben bezeichnet, umfassend: Eine Rechenvorrichtung, wobei die Rechenvorrichtung mindestens einen Hardware-Prozessor, und einen Speicher umfasst, wobei ein Code ausführbar durch den Hardware-Prozessor in dem Speicher gespeichert ist, wobei der Code Anweisungen erhält, zur: Einspeisung eines anatomischen Zielbildes aufgenommen durch ein Bildgebungsgerät in ein neuronales Einzellabel-Netzwerk, wobei die anatomischen Bilder durch die Rechenvorrichtung empfangbar sind von der Bildgebungsvorrichtung und/oder einem Bildspeicher über zumindest eine Bildgebungsschnittstelle und wobei die Code Anweisungen des trainierten neuronalen Einzellabel-Netzwerks in dem Speicher gespeichert sind; und Berechnung der Wahrscheinlichkeit einer Indikation des einzelnen visuellen Befundtyps im anatomischen Zielbild durch das neuronale Einzellabel-Netzwerk, wobei die Rechenvorrichtung derart ausgebildet ist die Indikation der berechneten Wahrscheinlichkeit an einen Server zu übermitteln, wobei der Server durch die Rechenvorrichtung über eine Datenschnittstelle in der Rechenvorrichtung erreichbar ist, wobei das neuronale Einzellabel-Netzwerk durch eine Feinabstimmung und/oder ein Neutraining eines trainierten neuronalen Multilabel-Netzwerks gemäß einem Einzellabel-Trainingsdatensatz einer Vielzahl von anatomischen Bildern, die mit einer Indikation des visuellen Befundtyps gekennzeichnet sind, ausgewählt aus einer Vielzahl von visuellen Befundtypen zum Markieren eines Multilabel-Netzwerks, berechnet wird, wobei das neuronale Multilabel-Netzwerk trainiert wird, um die Wahrscheinlichkeit jedes einer Vielzahl von visuellen Befundtypen auf der Grundlage eines Multilabel-Trainingsdatensatzes einer Vielzahl von anatomischen Bildern, die mit der Vielzahl von visuellen Befundtypen gekennzeichnet sind, zu berechnen wobei die Anweisungen des Multi-Label Netzwerks in dem Speicher gespeichert sind, wobei der einzelne visuelle Befundtyp durch das trainierte neuronale Einzellabel-Netzwerk aus einer Vielzahl von visuellen Befundtypen durch das trainierte neuronale Multi-Label Netzwerkerkannt wird.
Das System nach Anspruch 14, wobei die Zuführung und die Berechnung für jedes einer Vielzahl von anatomischen Zielbildern iteriert werden, und ferner umfassend: Generierung von Anweisungen zur Erzeugung einer Triage-Liste zur manuellen Überprüfung der jeweiligen anatomischen Zielbilder, die mit hoher Wahrscheinlichkeit berechnet wurden, einschließlich der Indikation des visuellen Befundtyps, durch einen menschlichen Benutzer, wobei der visuelle Befundtyp einen akuten medizinischen Zustand anzeigt, der eine dringende Behandlung erfordert, wobei eine zeitliche Verzögerung bei der Diagnose und Behandlung des akuten medizinischen Zustands zu einem erhöhten Morbiditätsrisiko für den Patienten führt.