-
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Auswertung von medizinischen Bilddaten sowie eine Vorrichtung zur Auswertung von medizinischen Bilddaten. Außerdem werden ein zugehöriges Computerprogrammprodukt, ein Datenspeichermedium sowie ein Datenstrom (engl. „stream“) bereitgestellt.
-
Medizinische Bildgebungsverfahren wie etwa Computertomographie (CT), Magnetresonanztomographie (MRT), Nukleardiagnostik, Röntgendiagnostik etc. werden stetig weiterentwickelt und finden immer weitere Verbreitung. Lange erfolgte die Auswertung der medizinischen Bilddaten vollständig und ausschließlich durch spezielle Fachärzte, die die Bilddaten visuell untersuchten und daraus Schlüsse zogen. Diese Vorgehensweise ist einerseits sehr zeitaufwändig und erfordert andererseits eine hervorragende Ausbildung und einen hohen Grad an Erfahrung bei den Fachärzten.
-
Bei der Beurteilung der Bilddaten werden teilweise auch intuitive Schlüsse gezogen, die die Gesamterscheinung der medizinischen Bilddaten mit in Betracht ziehen. Eine vollständige Automatisierung der Auswertung der medizinischen Bilddaten bietet daher trotz stetig voranschreitender Bildverarbeitungstechnologien noch Herausforderungen.
-
Verfahren der so genannten Computer-unterstützten Diagnose (engl. „computer-aided diagnostics“, CAD) werden zunehmend häufig eingesetzt, wobei diese Verfahren oft noch sehr starr konzipiert sind. Beispiele hierfür können beispielsweise der wissenschaftlichen Veröffentlichung von Santos et al., „Artificial intelligence, machine learning, computer-aided diagnosis, and radiomics: advances in imaging towards to precision medicine“, DOI: 10.1590/0100-3984.2019.0049 entnommen werden.
-
Üblicherweise erfolgt in einem ersten Schritt eine Extraktion von Daten aus dem medizinischen Bildmaterial, wobei z.B. verdächtige Stellen (Pixel oder Voxel, oder auch zuvor bestimmte Segmentierungsabschnitte) bestimmt werden. Dies erfolgt etwa dadurch, dass entweder einzelnen Pixeln oder Voxeln, oder daraus gebildeten Teilbereichen der Bilddaten, Klassifikationen zugewiesen werden, und zwar üblicherweise derart, dass für jede mögliche Klassifikation eine Wahrscheinlichkeit bestimmt wird. Eine mögliche Ausgabe eines künstlichen neuronalen Netzes, welches so eine Klassifikationsaufgabe löst, kann somit pro Pixel/Voxel des Bildmaterials ein Vektor sein, dessen Einträge jeweils die Wahrscheinlichkeit angeben, dass das Pixel/Voxel einer bestimmten Klassifikation zuzuweisen ist. Üblicherweise gibt es auch eine Auffang-Klassifikation wie etwa „Rest“ oder „Hintergrund“ (engl. „background“).
-
In einem zweiten Schritt erfolgt dann eine Beurteilung der klinischen Relevanz der festgestellten Klassifikation unter Verwendung eines Schwellwerts. Wird beispielsweise einem Pixel eine Wahrscheinlichkeit von 0,7 dafür zugewiesen, dass das Pixel in z.B. eine Klassifikation „Anomalie“ fällt, und liegt der Schwellwert bei 0,8, so wird die vermeintliche Anomalie als „nicht klinisch relevant“ (oder kurz: „nicht relevant“) eingestuft.
-
Es ist eine Aufgabe der vorliegenden Erfindung, Verfahren und Vorrichtungen bereitzustellen, die eine spezifischere und somit auch akkuratere Auswertung von medizinischen Bilddaten ermöglichen.
-
Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst.
-
Somit wird ein computerimplementiertes Verfahren zur Auswertung von medizinischen Bilddaten bereitgestellt, umfassend:
- - Bereitstellen von medizinischen Bilddaten eines zu untersuchenden Patienten;
- - Bestimmen, für mindestens einen Teilbereich der medizinischen Bilddaten, eines jeweiligen Klassifikations-Wahrscheinlichkeitswerts bezüglich mindestens einer Klassifikation aus einer Liste vorgegebener Klassifikationen;
- - Bestimmen eines patientenspezifischen Relevanzkriteriums für mindestens eine der mindestens einen Klassifikation für (zumindest) den mindestens einen Teilbereich der bereitgestellten medizinischen Bilddaten; und
- - Bestimmen einer klinischen Relevanz der mindestens einen der mindestens einen Klassifikation für den mindestens einen Teilbereich der medizinischen Bilddaten anhand des zugehörigen bestimmten patientenspezifischen Relevanzkriteriums sowie basierend auf den bestimmten Klassifikations-Wahrscheinlichkeitswerten und/oder basierend auf dem mindestens einen Teilbereich.
-
Weiterhin stellt die Erfindung eine Vorrichtung zur Auswertung von medizinischen Bilddaten bereit, umfassend:
- eine Eingabeschnittstelle, über welche der Vorrichtung medizinische Bilddaten eines zu untersuchenden Patienten bereitstellbar sind;
- eine Recheneinrichtung, welche dazu eingerichtet ist:
- - für mindestens einen Teilbereich der medizinischen Bilddaten einen jeweiligen Klassifikations-Wahrscheinlichkeitswert bezüglich mindestens einer Klassifikation aus einer Liste vorgegebener Klassifikationen zu bestimmen;
- - ein patientenspezifisches Relevanzkriterium für mindestens eine der mindestens einen Klassifikation für die bereitgestellten medizinischen Bilddaten zu bestimmen; und
- - eine klinische Relevanz der mindestens einen der mindestens einen Klassifikation für (zumindest) den mindestens einen Teilbereich der medizinischen Bilddaten anhand des zugehörigen bestimmten patientenspezifischen Relevanzkriteriums sowie basierend auf den bestimmten Klassifikations-Wahrscheinlichkeitswerten und/oder basierend auf dem mindestens einen Teilbereich zu bestimmen; und
einer Ausgabeschnittstelle, welche zum Ausgeben eines Ausgabesignals, welches die bestimmte klinische Relevanz indiziert, eingerichtet ist.
-
Die erfindungsgemäße Vorrichtung ist vorteilhaft dazu eingerichtet, das erfindungsgemäße Verfahren durchzuführen und kann somit gemäß allen für das erfindungsgemäße Verfahren beschriebenen Varianten, Modifikationen und Weiterbildungen von Ausführungsformen angepasst werden, und umgekehrt.
-
Die Auswertung kann, sowohl bei Verfahren als auch bei Vorrichtung, insbesondere im Rahmen einer computerunterstützten Diagnose (engl. „computer-aided diagnosis“, CAD) stattfinden. Hierzu gehören etwa computerunterstützte Erkennung (engl. „computer-aided detection“, CADe), computerunterstützte Diagnose im engeren Sinne (CADx), computerunterstützte Detektion/Diagnose (CADe/x), und computerunterstützte Triage (engl. „computer-aided triage“, CADt).
-
Medizinische Bilddaten können dabei insbesondere Bilddaten (2-dimensional, 3-dimensional oder 4-dimensional) umfassen, welche durch Computertomographie, Magnetresonanztomographie, Nukleardiagnostik, Röntgendiagnostik oder dergleichen erzeugt wurden. Die medizinischen Bilddaten können dabei Rohdaten eines Scans darstellen oder bereits einen oder mehrere Vorverarbeitungsschritte (insbesondere ein Bildrekonstruktionsverfahren) durchlaufen haben.
-
Bei einem Teilbereich der medizinischen Bilddaten kann es sich insbesondere um ein Pixel oder Voxel handeln. Es können aber auch größere Teilbereiche zusammengefasst werden, etwa wenn (z.B. durch ein künstliches neuronales Netz, oder andere dem Fachmann bekannte Bildsegmentierungsverfahren) eine Segmentierung von Bilddaten vorgenommen wird und dadurch gebildete einzelne Segmente jeweils in ihrer Gesamtheit klassifiziert werden, d.h. Klassifikations-Wahrscheinlichkeitswerte erhalten. Die Teilbereiche können insbesondere solche sein, welche durch ein künstliches neuronales Netz vorausgewählt werden, etwa als „verdächtig“, „auffällig“, „anomal“ oder dergleichen, oder welche nach vordefinierten Kriterien auffällig Klassifikations-Wahrscheinlichkeitswerte aufweisen. Hierfür können vorteilhaft bekannte Algorithmen oder Verfahren zur Objektklassifikation verwendet werden.
-
Vorliegend sollen sich die medizinischen Bilddaten, welche auszuwerten sind, bevorzugt jeweils auf eine einzelne Untersuchung (oder einen einzelnen Scan) beziehen oder aus dieser (oder diesem) herrühren.
-
Eine grundlegende Idee der vorliegenden Erfindung ist es, bei der Beurteilung der klinischen Relevanz keine festen Schwellwerte zu verwenden, sondern ein patientenspezifisches Relevanzkriterium. „Patientenspezifisch“ kann auch als „personalisiert“ bezeichnet werden. Ein solches Relevanzkriterium kann gemäß einer weiteren Idee eine Qualität der medizinischen Bilddaten für einen bestimmten Zweck (z.B. Befund) beschreiben. Allgemein gesagt, kann eine höhere Qualität zu einer niedrigen Schwelle für klinische Relevanz führen, und eine niedrigere Qualität zu einer höheren Schwelle.
-
Eine (zumindest auch) auf dem mindestens einen Teilbereich basierende Bestimmung, oder Entscheidung, kann insbesondere Eigenschaften des Teilbereichs berücksichtigen, z.B. dessen Ausdehnung, Kontrast, und dergleichen.
-
Eine weitere grundlegende Idee besteht darin, dass solche patientenspezifischen Relevanzkriterien (vorzugsweise ausschließlich) basierend auf den medizinischen Bilddaten selbst (oder: „bild-intrinsisch“) bestimmt werden können. Somit brauchen keine Metadaten, keine medizinische Vorgeschichte des Patienten oder dergleichen übermittelt oder auch nur vorhanden zu sein - die Verfügbarkeit der medizinischen Bilddaten selbst ist ausreichend. Wenn die medizinischen Bilddaten anonym oder anonymisiert bzw. pseudonym oder pseudonymisiert sind, können somit patientenspezifische Relevanzkriterien bestimmt werden, ohne dass die Identität des Patienten, oder Kontextdaten, welche einen Rückschluss auf die Identität des Patienten erlauben, benötigt werden.
-
Es können (je nach konkreter Ausführungsform) auch solche Inhalte der Bilddaten ausgewertet werden, welche an sich keine pathologischen Befunde indizieren. Beispielsweise kann (direkt oder indirekt, etwa mittels einer trainierten künstliche-Intelligenz-Entität) unterschieden werden, ob Pleurallinien klar oder diffus sind, ob eine generelle Textur des zu untersuchenden Gewebes klar oder diffus ist, und dergleichen mehr.
-
Dies kann zum Schutz von Patientendaten beitragen, da möglicherweise nur ein geringer Teil der Daten des Patienten zwischen verschiedenen Örtlichkeiten oder Services oder Software-Modulen übertragen werden, oder überhaupt bekannt sein, muss.
-
Darüber hinaus können die medizinischen Bilddaten „für sich sprechen“, etwa wenn - durch besondere Belastung oder eine bisher unerkannte Krankheit - der Körper eines Patienten deutlich stärker gealtert oder geschwächt ist als das reine Alter des Patienten es vermuten lassen würde.
-
Wie im Nachfolgenden noch genauer erläutert werden wird, wird besonders bevorzugt ein künstliches neuronales Netzwerk eingesetzt, welches als Input (oder Eingabe) die medizinischen Bilddaten (oder zumindest einen Teil davon) erhält und als Ausgabe das oder die patientenspezifischen Relevanzkriterien ausgibt.
-
Das Relevanzkriterium kann in einer einfachen Ausführung als ein numerischer Wert ausgebildet sein, bevorzugt als ein skalarer numerischer Wert, besonders bevorzugt als Wahrscheinlichkeits-Schwellwert ausgebildet sein, mit welchem ein jeweiliger Klassifikations-Wahrscheinlichkeitswert verglichen wird. Ein solcher Wahrscheinlichkeits-Schwellwert, der im Stand der Technik konstant und vorbestimmt ist wird dort auch als „Betriebspunkt“ (engl. „operation point“) bezeichnet.
-
Im Folgenden wird der Einfachheit halber häufig das Beispiel mit numerischen Wahrscheinlichkeits-Schwellwerten als Relevanzkriterien verwendet werden, da es unmittelbar einleuchtet; es versteht sich jedoch, dass auch andere Relevanzkriterien verwendet werden können, beispielsweise Formeln, welche als Input Klassifikations-Wahrscheinlichkeitswerte erhalten und dergleichen mehr. Solche Formeln können etwa verschiedene (Einzel-) Relevanzkriterien mit Hilfe von logischen Operatoren, Gewichtungen und dergleichen verknüpfen.
-
Der Begriff „Klassifikation“ kann in vielen Ausführungsformen mit dem Begriff „Befund“ gleichgesetzt werden, da häufig verschiedene Klassifikationen (oder: Klassen) jeweils das Vorliegen eines bestimmten klinischen Befunds bezeichnen, oder einen Verdacht darauf indizieren.
-
Die Erfinder haben festgestellt, dass eine - für die Auswertung von medizinischen Bilddaten - bedeutende patientenspezifische Eigenheit das Alter der Patienten ist. Das Verwenden von patientenspezifischen Relevanzkriterien kann somit beispielsweise der Tatsache Rechnung tragen, dass das Gewebe von älteren Menschen im Vergleich zu dem Gewebe von jüngeren Menschen andere Eigenschaften hat und somit in bildgebenden Verfahren mitunter anders erfasst wird, z.B. mit weniger klaren Linien und/oder insgesamt größerer Unschärfe.
-
Dies kann dazu führen, dass bei einem vergleichbaren Scan (d.h. bildgebenden Verfahren) und Klassifikation durch dieselbe Software bei einer älteren Person tendenziell deutlich mehr vermeintliche Anomalien gefunden werden. In diesem Zusammenhang bedeutet „tendenziell mehr Anomalien finden“, wie bereits erwähnt, dass tendenziell mehr Teilbereichen der Bilddaten die Klassifikation „Anomalie“ mit einem tendenziell jeweils höheren Klassifikations-Wahrscheinlichkeitswert zugewiesen wird.
-
Ein fester, verhältnismäßig niedrig eingestellter Wahrscheinlichkeits-Schwellwert für die klinische Relevanz der Klassifikation „Anomalie“ könnte demnach in diesem Beispiel dazu führen, dass potenziell zu viele Klassifikationen bei älteren Menschen als klinisch relevant eingestuft würden. Im Gegensatz dazu könnte ein fester, verhältnismäßig hoch eingestellter Wahrscheinlichkeits-Schwellwert für die klinische Relevanz der Klassifikation „Anomalie“ dazu führen, dass bei potenziell zu wenige Klassifikationen bei jüngeren Menschen als klinisch relevant eingestuft würden.
-
Im ersteren Fall ergibt sich das Problem des hohen Arbeitsaufwands für Fachärzte bei der nachfolgenden Beurteilung der Auswertung. Im zweiten Fall ergibt sich das Problem, dass möglicherweise klinisch eigentlich tatsächlich relevante Informationen den Fachärzten in der Auswertung nicht automatisch zur Verfügung gestellt werden und von diesen daher mit zusätzlichem Aufwand erhoben werden müssen.
-
Unter „Bestimmen einer klinischen Relevanz“ ist insbesondere zu verstehen, dass bestimmt wird, ob eine festgestellte Klassifikation für den mindestens einen Teilbereich der medizinischen Daten einem Facharzt (oder anderem medizinischem Fachpersonal) hervorgehoben dargestellt oder mitgeteilt wird oder einen nachfolgenden Workflow auslöst („klinisch relevant“), oder nicht („nicht klinisch relevant“).
-
Beispielsweise können Teilbereiche der medizinischen Bilddaten, die eine Klassifikation aufweisen, die nach Anwendung des patientenspezifischen Relevanzkriteriums als „klinisch relevant“ eingestuft wurden (also: „relevante Teilbereiche“), medizinischem Fachpersonal durch eine Displayeinrichtung mit einer dem Bildmaterial entsprechend überlagerten Umrandung, Umrahmung, Schraffur, Einfärbung oder dergleichen dargestellt werden, in einer Liste aufgeführt werden oder dergleichen mehr.
-
Das Bestimmen der klinischen Relevanz für verschiedene Teilbereiche der medizinischen Bilddaten kann somit auch implizit dadurch geschehen, dass verschiedenen Teilbereichen verschiedene Darstellungsweisen, Workflows, Speichersysteme, Metadaten oder dergleichen zugeteilt werden.
-
Bei dem Bestimmen der klinischen Relevanz kann eine Unterscheidung ausschließlich in „klinisch relevant“/„klinisch nicht relevant“ vorgenommen werden. Denkbar ist jedoch auch, dass beispielsweise zwei (oder „x“) Trennungen zwischen möglichen Entscheidungsergebnissen vorgesehen sind, d.h. drei (oder „x+1“) verschiedene Entscheidungsergebnisse möglich sind. Beispielsweise könnten zwei (oder „x“) Wahrscheinlichkeits-Schwellwerte verwendet werden, welche die Bandbreite der Klassifikations-Wahrscheinlichkeitswerte in drei (oder „x+1“) Relevanzbereiche unterteilt, beispielsweise in „nicht klinisch relevant„/“ möglicherweise klinisch relevant“/„klinisch relevant“.
-
Eine Einstufung als „klinisch relevant“ könnte dabei eine automatische Auslösung eines Workflows bewirken, z.B. Terminierung einer speziellen weiteren Untersuchung, Priorisierung des Patienten, Benachrichtigung einer spezifischen Person wie z.B. eines Chefarztes, Bestellung bestimmter Behandlungsmittel wie Arzneimittel oder Hilfsgegenstände, spezifische Steuerung eines Untersuchungsgeräts mit bestimmten Parametern oder dergleichen.
-
Eine Einstufung als „möglicherweise klinisch relevant“ könnte dagegen dies nicht auslösen, jedoch einer medizinischen Fachperson - wie bereits beschrieben - hervorgehoben dargestellt oder mitgeteilt werden. Eine Einstufung als „nicht klinisch relevant“ würde keine weiteren Folgen auslösen. Auf diese Weise könnte in eindeutigen Fällen effizient und zeitsparend gehandelt werden, und die Arbeit der Fachpersonen könnte sich auf die Zweifelsfälle (d.h. „möglicherweise klinisch relevant“) beschränken.
-
Eine weitere grundlegende Idee der vorliegenden Erfindung ist es, dass das patientenspezifische Relevanzkriterium (oder deren mehrere) auch basierend auf patientenspezifischen oder externen Kontextdaten erzeugt werden kann (bzw. können). Kontextdaten bezeichnen hierbei Informationen, die über die auszuwertenden medizinischen Bilddaten hinausgehen. Hierzu können beispielsweise in einem DICOM-Header enthaltene Informationen gehören, oder noch weiter entfernte Datenquellen wie etwa eine Patienten-Krankenakte, Fragebögen, weitere Untersuchungsergebnisse von manuellen oder bildgebenden Untersuchungsverfahren und dergleichen mehr.
-
Dabei können sich patientenspezifische Kontextdaten auf den zu untersuchenden Patienten beziehen, während sich im Allgemeinen Kontextdaten auch auf weitere Patienten (so genannte „Drittpatienten“) oder auf abstrakte Patientengruppen beziehen können. Auf diese Weise ist es möglich, den zu untersuchenden Patienten beispielsweise einer (z.B. für jede Klassifikation separate) Patientengruppe mit zuzuordnen und basierend auf der Patientengruppe dann das patientenspezifische Relevanzkriterium für mindestens eine Klassifikation zu bestimmen. Hierzu können bekannte Clustering-Verfahren eingesetzt werden.
-
Dies hat eine Analogie zu dem bisherigen Verfahren: Ein Facharzt (z.B. Radiologe) wird im Regelfall die Akte des Patienten studieren, ehe er medizinisches Bildmaterial des Patienten auswertet. Wenn die Akte des Patienten ergibt, dass der Patient beispielsweise eine Prädisposition für bestimmte Krankheiten hat, oder ein starker Konsument eines bestimmten Stoffs ist, wird der Facharzt (bewusst oder unbewusst) dies bei der Auswertung berücksichtigen.
-
Dementsprechend können Patientengruppen etwa gebildet werden basierend auf:
- - gleichen körperlichen Eigenschaften (Alter, Geschlecht, Blutgruppe, genetische Faktoren);
- - gleiche Krankheitsgeschichten oder Krankheitsbilder;
- - gleichem Konsumverhalten bezüglich eines Stoffs (z.B. Nikotin, Alkohol, ein spezifisches Medikament);
- - und/oder dergleichen mehr.
-
Einige Patientengruppen können bestimmte Relevanzkriterien direkt vorgeben (z.B. „Wahrscheinlichkeits-Schwellwert X für Klassifikation Y wenn Patient in Altersgruppe Z ist“) und/oder Anpassungen vorgeben („bisherigen Wahrscheinlichkeits-Schwellwert für die klinische Relevanz mit 1,2 multiplizieren falls Patient regelmäßiger Raucher ist“). Patientengruppen können Relevanzkriterien für jeweils eine, oder für mehrere, oder sogar für alle Klassifikationen vorgeben, je nachdem, welche Klassifikationen vorgesehen sind und ob sich die entsprechende Gruppe auf die entsprechende Klassifikation nach aktuellen Erkenntnissen auswirkt oder nicht.
-
Ein patientenspezifisches Relevanzkriterium kann für genau eine mögliche Klassifikation verwendet werden, oder für alle möglichen Klassifikationen. Es ist auch möglich, dass für einige Klassifikationen ein patientenspezifisches Relevanzkriterium verwendet wird, während andere Klassifikationen ein (jeweiliges, oder globales) vorgegebenes Relevanzkriterium (z.B. einen festen Wahrscheinlichkeits-Schwellwert) verwenden.
-
Beispielsweise kann bekannt sein, dass eine erste Klassifikation stark patientenabhängig relevant oder nicht relevant ist, während eine zweite Klassifikation praktisch patientenunabhängig als klinisch relevant oder nicht klinisch relevant einstufbar ist. Für den zweiten Fall könnte somit das Bestimmen eines patientenspezifischen Relevanzkriteriums entfallen.
-
Weitere vorteilhafte Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren. Es versteht sich, dass aufgrund des grundlegenden Charakters der vorliegenden Erfindungsidee eine Vielzahl von Kombinationen einzelner Merkmale möglich ist, ohne dass diese jeweils explizit erwähnt werden müssten.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen erfolgt das Bestimmen des patientenspezifischen Relevanzkriteriums unter Verwendung eines trainierten künstlichen neuronalen Netzes (KNN). Im Stand der Technik ist generell eine Vielzahl von Architekturen für künstliche neuronale Netzwerke bekannt, wobei sich insbesondere so genannte convolutional neural networks für die Auswertung von Bilddaten eignen. Somit können in dem trainierten künstlichen neuronalen Netzwerk convolutional layers, fully-connected layers, pooling layers und dergleichen mehr verwendet werden.
-
Das Training eines solchen künstlichen neuronalen Netzes erfolgt vorzugsweise durch beaufsichtigtes Lernen („supervised learning“), indem Parameter (z.B. Gewichtungen „weights“ und Vorspannungen „biases“ oder Filtereinträge eines convolutional kernels) iterativ verbessert werden, um eine Fehlerfunktion, welche Unterschiede zwischen tatsächlichen Ergebnissen des künstlichen neuronalen Netzwerks basierend auf Trainingsbildern und einem jeweiligen für jedes Trainingsbild vorgegebenen Zielwert („label“ oder „ground truth“) indiziert, zu minimieren.
-
Beispielsweise können Trainingsdaten erzeugt werden, indem für medizinische Bilddaten (z.B. Magnetresonanztomographie-Scans eines bestimmten Ausschnitts des menschlichen Körpers) für eine Vielzahl verschiedener Patienten jeweils zunächst durch einen Facharzt festgelegt wird, für wie wahrscheinlich er bezüglich bestimmter Teilbereiche jeweils bestimmte Klassifikationen hält (oder, alternativ, festgelegt wird, ob die Klassifikation zutrifft oder nicht). Diese Einstufung des Facharztes bildet die „labels“. Das künstliche neuronale Netzwerk kann dann so lange trainiert werden, bis es für ein beliebiges der Trainingsbilder als Eingabe dann als Ausgabe möglichst die „labels“ als Klassifikations-Wahrscheinlichkeitswerte ausgibt, oder diesen zumindest gewünscht nahe kommt.
-
Das Training eines solchen künstlichen neuronalen Netzes kann auch derart erfolgen, dass das Netz lernt, welches Relevanzkriterium optimal ist, basierend auf Optimierungsvorgaben. Solche Optimierungsvorgaben können beispielsweise umfassen:
- - dass das Relevanzkriterium möglichst nahe an einem vorbestimmten globalen Relevanzkriterium sein muss (um unrealistische übergroße Abweichungen davon zu verhindern) ;
- - dass die Relevanz einer Klassifikation (oder: Befund, oder: Pathologie) korrekt bestimmt wird; und/oder
- - die Minimierung einer benutzerspezifischen Verlustfunktion, wie sie etwa in Zarei et al. (Zarei et al., „User Loss A Forced-Choice-Inspired Approach to Train Neural Networks Directly by User Interaction“, Bildverarbeitung für die Medizin 2019, Springer Vieweg, Wiesbaden, 2019, 92-97) beschrieben ist.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen ist das trainierte künstliche neuronale Netzwerk dazu trainiert und eingerichtet, zumindest den mindestens einen Teilbereich der medizinischen Bilddaten als Eingabe zu erhalten und drauf basierend zumindest das patientenspezifische Relevanzkriterium als Ausgabe auszugeben. Somit kann die Entscheidung über die Relevanz eines Teilbereichs spezifisch auf z.B. die Bildqualität in genau diesem Teilbereich zugeschnitten werden. Es können jedoch auch die gesamten medizinischen Bilddaten als Eingabe verwendet werden, z.B. um eine ausgewogenere Beurteilung zu bewirken.
-
Werden für mehrere Teilbereiche patientenspezifische Relevanzkriterien bestimmt, so kann jeder Teilbereich einzeln in das künstliche neuronale Netzwerk eingegeben werden, oder es können die gesamten Bilddaten oder ein Ausschnitt der Bilddaten verwendet werden, welcher die mehreren Teilbereiche umfasst.
-
Es hat sich herausgestellt, dass beispielsweise mit einem Alter des Patienten einhergehende Gewebeveränderungen gut durch künstliche neuronale Netze erkannt werden können und auf diese Weise bereits sinnvoll ein angepasster Wahrscheinlichkeits-Schwellwert als ein patientenspezifisches Relevanzkriterium durch ein künstliches neuronales Netzwerk ausgegeben werden kann. Dieser Schwellwert kann in einer einfachen Variante für sämtliche Klassifikationen verwendet werden, da das Alter des Patienten und die damit einhergehenden Gewebeveränderungen auf viele Klassifikationen Einfluss haben.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen basiert das Bestimmen des patientenspezifischen Relevanzkriteriums alternativ oder zusätzlich auf patientenspezifischen Kontextdaten von außerhalb der medizinischen Bilddaten. Solche patientenspezifischen Kontextdaten können von mindestens einer der folgenden Quellen stammen und/oder von einer solchen Quelle erhalten werden:
- - Metadaten oder Metadatenattribute ;
- - Textdokumente;
- - weitere medizinische Bilddaten;
- - ärztliche Befunde oder Anmerkungen; und/oder
- - elektronische Patientenakte.
-
Metadaten können beispielsweise Geschlecht oder Alter umfassen und z.B. aus der automatischen Auswertung von DICOM-Headern stammen.
-
Textdokumente können beispielsweise medizinische Indikationen, Gewohnheiten, vorherige Ergebnisse aus klinischen Berichten, Pathologien, Laborberichte und dergleichen mehr umfassen. Die Kontextdaten können aus den Textdokumenten beispielsweise durch künstliche Intelligenz-Entitäten zur Auswertung von Textdokumenten extrahiert werden.
-
Weitere medizinische Bilddaten können beispielsweise weitere Scans, d.h. Ergebnisse bildgebender Verfahren, für denselben Patienten umfassen, welche mit anderen Modalitäten (Technologien oder Geräten) erzeugt wurden als die auszuwertenden medizinischen Bilddaten.
-
Ärztliche Befunde können beispielsweise ausgefüllte Checklisten zum Gesundheitszustand des zu untersuchenden Patienten, Diktate in natürlicher Sprache oder dergleichen umfassen. Diktate in natürlicher Sprache können durch künstliche Intelligenz-Entitäten (z.B. künstliche neuronale Netze) zur Verarbeitung von natürlicher Sprache (engl. „natural language processing“, NLP) verarbeitet werden. Danach kann beispielsweise eine Stichwortsuche durchgeführt werden.
-
Eine elektronische Patientenakte kann etwa klinische Indikationen umfassen wie vermutete Befunde, oder eine Beurteilung einer Röhrenlage des Patienten in einer Untersuchungsröhre des medizinischen Bildgebungsgeräts (oder Scanners).
-
Alle diese zusätzlichen Kontextdaten ermöglichen es, bei der Bestimmung des patientenspezifischen Relevanzkriteriums zusätzliche Faktoren zu berücksichtigen, ähnlich wie ein Facharzt bei der Auswertung von medizinischen Bilddaten bewusst oder unbewusst alle ihm gegenwärtigen Informationen über den Patienten berücksichtigt. Es versteht sich, dass ein computerimplementiertes Verfahren hier den Vorteil hat, dass es sämtliche bekannten Kontextdaten verwenden und berücksichtigen kann.
-
Wiederum bevorzugt wird ein künstliches neuronales Netzwerk eingesetzt, welches dazu ausgelegt und trainiert ist, Kontextdaten in vordefinierter Form zu empfangen, als Eingabe zu verwenden und darauf basierend eine Ausgabe zu erzeugen, welche das patientenspezifische Relevanzkriterium bestimmt und/oder anpasst. Dieses künstliche neuronale Netzwerk kann auch dazu ausgebildet sein, zumindest den Teilbereich der medizinischen Bilddaten zu empfangen und darauf basierend eine Ausgabe zu erzeugen, welche das patientenspezifische Relevanzkriterium bestimmt und/oder anpasst, wie es im Vorangehenden beschrieben wurde.
-
Es können auch zwei (oder noch mehr) verschiedene künstliche neuronale Netze vorgesehen sein: eines, welches zumindest den Teilbereich der medizinischen Bilddaten als Eingabe verwendet und eines (oder mehrere), welche (jeweils) einen Teil der Kontextdaten empfangen. Ergebnisse der einzelnen künstlichen neuronalen Netzwerke können gemittelt werden, gewichtet gemittelt werden, oder einander anpassen. Beispielsweise kann ein Standardwert wie etwa 0,8 (oder: 80%) von jedem der vorgesehenen künstlichen neuronalen Netzwerke mit einem als Ausgabe generierten Modifikationsfaktor (z.B. 0,7 und 1,3) versehen werden, sodass sich am Ende beispielsweise ein Wahrscheinlichkeits-Schwellwert von 0,8*0,7*1,3=0,728 als patientenspezifisches Relevanzkriterium ergeben könnte.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen werden bei dem Bestimmen des patientenspezifischen Relevanzkriteriums auch Kontextdaten verwendet, welche für andere Patienten als den zu untersuchenden Patienten spezifisch sind. Dies wurde im Vorangehenden bereits im Zusammenhang mit Patientengruppen genauer erläutert. Somit kann es sich bei den „anderen Patienten“ beispielsweise um eine Patienten einer Patientengruppe handeln, zu welcher auch der zu untersuchende Patient gehört. Alternativ kann es sich auch um Einzelpersonen handeln, etwa einen Zwilling des zu untersuchenden Patienten oder eine aus anderen Gründen ausgewählte spezifische Person. Weiterhin sind auch „virtuelle Patienten“ möglich, welche etwa durch Anonymisierung einer Vielzahl von Patientendaten zur Wahrung des Datenschutzes erzeugt werden.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen ist das Relevanzkriterium ein Wahrscheinlichkeits-Schwellwert, und die klinische Relevanz wird durch Vergleich eines Klassifikations-Wahrscheinlichkeitswerts mit dem zugehörigen Wahrscheinlichkeits-Schwellwert bestimmt. Auf diese Weise kann eine schnelle und auch transparent nachvollziehbare Relevanzbeurteilung getroffen werden. Ein Facharzt kann die Relevanzbeurteilung etwa durch prüfen, dass er den Klassifikations-Wahrscheinlichkeitswert mit dem als Relevanzkriterium fungierenden Wahrscheinlichkeits-Schwellwert vergleicht.
-
Es versteht sich, dass bei einem Schwellwert der Wert des Schwellwerts selbst entweder dem darunter- oder dem darüberliegenden Bereich zugeteilt werden kann. Etwa kann vorgesehen sein, dass bei einem Schwellwert x für eine Klassifikation alle Klassifikations-Wahrscheinlichkeitswerte kleiner oder gleich x bedeuten, dass diese Klassifikation nicht klinisch relevant ist und Klassifikations-Wahrscheinlichkeitswerte größer x bedeuten, dass diese Klassifikation klinisch relevant ist. Alternativ kann vorgesehen sein, dass bei einem Schwellwert x für eine Klassifikation alle Klassifikations-Wahrscheinlichkeitswerte kleiner x bedeuten, dass diese Klassifikation nicht klinisch relevant ist und Klassifikations-Wahrscheinlichkeitswerte größer oder gleich x bedeuten, dass diese Klassifikation klinisch relevant ist.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen wird eine klinische Relevanz für eine Vielzahl von Klassifikationen bestimmt. Somit können beispielsweise verschiedene klinische/medizinische Befunde (von denen jeder einer Klassifikation entsprechen kann, wobei eine zusätzliche Klassifikation „kein Befund“ bedeutet) gleichzeitig geprüft werden. Dies ermöglicht eine zeitsparende Auswertung mehrere Klassifikationen, oder Befunde, gleichzeitig.
-
Für jede Klassifikation kann ein vorbestimmtes Standard-Relevanzkriterium vorgesehen sein, welches durch ein patientenspezifische Relevanzkriterium ersetzt wird, falls ein solches bestimmt wird, und bestehen bleibt, falls kein patientenspezifisches Relevanzkriterium bestimmt wird. Im Falle von Wahrscheinlichkeits-Schwellwerten für die Klassifikations-Wahrscheinlichkeitswerte als Relevanzkriterien kann ein jeweiliger vorbestimmter Standard-Wahrscheinlichkeits-Schwellwert entweder durch einen neu generierten Wahrscheinlichkeits-Schwellwert (als patientenspezifisches Relevanzkriterium) ersetzt werden oder der jeweilige vorbestimmte Standard-Wahrscheinlichkeits-Schwellwert kann, wie im Vorangehenden beschrieben, durch multiplikative (oder additive) Faktoren modifiziert (oder: adaptiert) werden. Es können für verschiedene Klassifikationen auch verschiedene dieser Berechnungsformen durchgeführt werden.
-
Gemäß einigen bevorzugten Varianten, Ausführungsformen und Weiterbildungen von Ausführungsformen der erfindungsgemäßen Vorrichtung ist die Eingabeschnittstelle außerdem zum Empfangen von Kontextdaten ausgebildet. Wie im Vorangehenden bezüglich des erfindungsgemäßen Verfahrens bereits ausführlich beschrieben wurde, kann es sich dabei um Kontextdaten handeln, welche patientenspezifisch für den zu untersuchenden Patienten sind und/oder um Kontextdaten handeln, welche für einen Patienten spezifisch sind, welcher sich von dem zu untersuchenden Patienten unterscheidet.
-
Die Eingabeschnittstelle kann somit zum Empfangen von Kontextdaten beispielsweise von einem Cloudspeicher (oder einer Cloud-Datenbank, d.h. einem cloudbasierten Datenspeicher- oder Datenbanksystem), einem PACS (engl. „picture archiving and communication system“), einem Krankenhausserver, einer Datenbank oder dergleichen ausgebildet sein, und zwar über kabelgebundene und/oder über drahtlose Signalträger.
-
Die Erfindung stellt gemäß einem weiteren Aspekt ein Computerprogrammprodukt bereit, welches ausführbaren Programmcode umfasst, welcher dazu ausgebildet ist, das Verfahren gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen, wenn er ausgeführt wird.
-
Außerdem stellt die Erfindung, gemäß einem weiteren Aspekt, ein nicht-flüchtiges Datenspeichermedium bereit, welches ausführbaren Programmcode umfasst, welcher dazu ausgebildet ist, das Verfahren gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen, wenn er ausgeführt wird. Bei dem Datenspeichermedium kann es sich insbesondere um eine Festplatte, einen Memorystick, eine DVD, eine BluRay-Disc und dergleichen handeln.
-
Außerdem stellt die Erfindung, gemäß noch einem weiteren Aspekt, einen Datenstrom bereit, welcher ausführbaren Programmcode umfasst oder repräsentiert, welcher dazu ausgebildet ist, das Verfahren gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen, wenn er ausgeführt wird.
-
Figurenliste
-
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
- 1 eine schematische Darstellung eines Verfahrens zur Auswertung von medizinischen Bilddaten gemäß einer Ausführungsform;
- 2 eine schematische Darstellung eines Verfahrens zur Auswertung von medizinischen Bilddaten gemäß einer weiteren Ausführungsform;
- 3 schematisch eine Vorrichtung zur Auswertung von medizinischen Bilddaten gemäß einer weiteren Ausführungsform;
- 4 schematisch ein Computerprogrammprodukt gemäß noch einer weiteren Ausführungsform; und
- 5 schematisch ein Datenspeichermedium gemäß noch einer weiteren Ausführungsform.
-
Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll insbesondere nicht, sofern nichts anderes angegeben ist, eine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden.
-
Detaillierte Beschreibung der Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Verfahrens zur Auswertung von medizinischen Bilddaten gemäß einer Ausführungsform.
-
In einem Schritt S10 werden medizinische Bilddaten 1 eines zu untersuchenden Patienten bereitgestellt, beispielsweise 2-, 3-, oder 4-dimensionale Bilddaten mit Pixeln oder Voxeln, welche in einem MRT-Scan, einem CT-Scan, einer Röntgenaufnahme oder dergleichen von dem Patienten erzeugt wurden. Das Bereitstellen S10 kann beispielsweise ein Übertragen der medizinischen Bilddaten 1 an eine Vorrichtung, welche das vorliegende Verfahren ausführt, umfassen. Die medizinischen Bilddaten 1 können dabei etwa aus einem PACS oder einer Clouddatenbank übertragen bzw. empfangen werden, oder auch direkt von einem medizinischen Bildgebungsgerät wie einem MRT-Scanner, einem CT-Scanner, einem Röntgengerät oder dergleichen. Wird das Verfahren innerhalb eines medizinischen Bildgebungsgeräts durchgeführt, erfolgt das Bereitstellen S10 der medizinischen Bilddaten 1 gerätsintern.
-
Die bereitgestellten medizinischen Bilddaten 1 werden in einem Schritt S21 als Eingabe eines Untersuchungsmoduls 20 verwendet, oder, anders ausgedrückt, in das Untersuchungsmodul 20 eingegeben.
-
Das Untersuchungsmodul 20 ist insgesamt dazu ausgebildet und eingerichtet, für mindestens einen Teilbereich der medizinischen Bilddaten 1 einen jeweiligen Klassifikations-Wahrscheinlichkeitswert bezüglich mindestens einer Klassifikation aus einer Liste vorgegebener Klassifikationen zu bestimmen S20.
-
Der Einfachheit halber wird das Verfahren im Folgenden jeweils nur bezüglich einer einzelnen Klassifikation beschrieben, welche einem spezifischen Befund entspricht (z.B. „Tumor“). Es versteht sich, dass das Verfahren analog für eine Mehrzahl von Klassifikationen erweiterbar ist. Außerdem wird für das vorliegende Beispiel jedes Pixel (oder Voxel) der medizinischen Bilddaten 1 als ein Teilbereich betrachtet, und es wird für jeden Pixel oder Voxel, und somit für jeden Teilbereich, ein eigener Klassifikations-Wahrscheinlichkeitswert berechnet.
-
Liegen die medizinischen Bilddaten 1 beispielsweise als zweidimensionales Bild mit L Pixeln in der Länge und H Pixeln in der Breite, also mit L*H Pixeln insgesamt, vor, soll das Untersuchungsmodul 20 für jedes der L*H Pixel einen Wahrscheinlichkeitswert dafür ausgeben, dass dieses Pixel der Klassifikation zu der Klassifikation „Tumor“ gehört.
-
Das Untersuchungsmodul 20 kann als Hard- und oder Software realisiert sein, insbesondere durch eine künstliche-Intelligenz-Entität (wie etwa ein künstliches neuronales Netz), welche durch deine Recheneinrichtung implementiert und ausgeführt wird, etwa wie im Vorangehenden bereits beschrieben wurde oder im Nachfolgenden mit Bezug auf 3 näher beschrieben wird.
-
In der Ausführungsform gemäß 1 umfasst das Untersuchungsmodul 20 ein Merkmals-Extraktionsmodul 21, welches dazu eingerichtet ist, in einem Schritt S22 Merkmale aus den bereitgestellten medizinischen Bilddaten 1 zu extrahieren. Auch das Merkmals-Extraktionsmodul 21 kann insbesondere als eine künstliche Intelligenz-Entität, bevorzugt ein künstliches neuronales Netz, ausgebildet sein, welches vorteilhaft mindestens einen convolutional layer aufweist. Für das Merkmals-Extraktionsmodul 21 können vorteilhaft bekannte Lösungen aus dem Stand der Technik für Objekterkennung in (medizinischen) Bilddaten verwendet werden.
-
Eine Ausgabe (engl. „output“) des Merkmals-Extraktionsmoduls 21 wird einem Klassifikatormodul 22 als Eingabe (engl. „input“) übergeben, welches daraus wiederum die Klassifikations-Wahrscheinlichkeitswerte für die L*H Pixel ermittelt (oder, mit anderen Worten, die Pixel „klassifiziert“).
-
Bezüglich der folgenden Figuren werden noch weitere Varianten beschrieben werden, in welchen etwa durch das Merkmals-Extraktionsmodul 21 einzelne Abschnitte der medizinischen Bilddaten 1 identifiziert und mit virtuellen Begrenzungsrahmen (engl. „bounding box“) versehen werden, welche dann als Teilbereiche der medizinischen Bilddaten 1 im Sinne der vorliegenden Erfindung weiter verarbeitet werden können, z.B. durch das Klassifikatormodul 22 klassifiziert werden können. Es versteht sich, dass auch solche Definitionen von Teilbereichen bei dem Verfahren gemäß 1 verwendet werden können.
-
Wieder Bezug nehmend auf 1, werden die zu untersuchenden Teilbereiche der medizinischen Bilddaten 1 in einem Schritt S41 einem Relevanzkriteriums-Bestimmungsmodul 40 übergeben, welches ebenfalls durch Hardware und/oder Software implementiert sein kann. In der vorliegend beschriebenen Ausführungsform, in welcher sämtliche Pixel/Voxel der medizinischen Bilddaten 1 als zu untersuchende, insbesondere zu klassifizierende, Teilbereiche verstanden werden, kann die Übergabe in Schritt S41 unmittelbar nach Bereitstellen S10 der medizinischen Bilddaten 1 erfolgen.
-
In anderen Fällen, etwa wenn die zu untersuchenden Teilbereiche erst durch das Merkmals-Extraktionsmodul 21 bestimmt werden, kann ebenso vorgegangen werden. Es kann aber auch vorgesehen sein, dass die Teilbereiche (oder ein die Teilbereiche umfassender Abschnitt der medizinischen Bilddaten 1) durch das Merkmals-Extraktionsmodul 21 an das Relevanzkriteriums-Bestimmungsmodul übergeben, oder diesem mitgeteilt wird. Letzteres kann durch Übergabe von Koordinaten etwa der Begrenzungsrahmen durch das Merkmals-Extraktionsmodul 21 erfolgen. Aufgrund der Kandidaten kann das Relevanzkriteriums-Bestimmungsmodul 40 die entsprechenden Abschnitte oder Teilbereiche aus den medizinischen Bilddaten 1 entnehmen.
-
Das Relevanzkriteriums-Bestimmungsmodul 40 in der Ausführungsform gemäß 1 ist dazu ausgebildet, ein patientenspezifisches Relevanzkriterium in Form eines Wahrscheinlichkeits-Schwellwerts 2 für die eine definierte Klassifikation für alle Teilbereiche (d.h. Pixel/Voxel) der medizinischen Bilddaten 1 zu bestimmen. Bei dieser Ausführungsform ist das Relevanzkriterium somit nicht nur patientenspezifisch, sondern sogar zusätzlich noch spezifisch für die konkreten medizinischen Bilddaten, auf denen sie basieren.
-
Bevorzugt ist das Relevanzkriteriums-Bestimmungsmodul 40 als eine künstliche Intelligenz-Entität, bevorzugt ein trainiertes künstliches neuronales Netz, ausgebildet, welches vorteilhaft mindestens einen convolutional layer aufweist. Ein solches künstliches neuronales Netz kann auch als „Kalibrierungsparameter-Regressionsnetz“ bezeichnet werden, da das Relevanzkriterium einen Kalibrierungsparameter der Beurteilung der Relevanz darstellt und das Netz eine Regression von Parametern aufgrund der Bilddaten durchführen kann.
-
Beispielsweise können Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes des Relevanzkriteriums-Bestimmungsmoduls 40 erzeugt werden, indem für medizinische Bilddaten (z.B. Magnetresonanztomographie-Scans eines bestimmten Ausschnitts des menschlichen Körpers) für eine Vielzahl verschiedener Patienten jeweils zunächst durch einen Facharzt jeweils festgelegt wird, welchen Wahrscheinlichkeits-Schwellwert er für eine jeweilige Klassifikation für angemessen hält. Die Einstufung kann dann als „labels“ für Trainingsdaten verwendet werden, und es kann überwachtes Lernen durchgeführt werden, um das künstliche neuronale Netz zu trainieren.
-
Alternativ können die Trainingsdaten als „labels“ auch eine Information enthalten, ob eine Klassifikation zutrifft oder nicht, und das künstliche neuronale Netz wird trainiert, das Relevanzkriterium derart zu bestimmen, dass basierend auf den Trainingsdaten diese „labels“ jeweils als Ausgabe erzeugt werden.
-
In einem einfachen Fall können in dem Relevanzkriteriums-Bestimmungsmodul 40 auch bekannte trainierte künstliche neuronale Netz verwendet werden, welche eine Bildqualität bestimmen, z.B. einen Wert zwischen 1 und 10 vergeben, wobei 1 „absolut unklar“ und 10 „absolut klar“ bedeutet, etwa was Linien und Grenzen zwischen Objekten in den medizinischen Bilddaten 1 angeht. Es kann dann vorgesehen sein, dass ein Wahrscheinlichkeits-Schwellwert umgekehrt proportional zu dem bestimmten Wert der Bildqualität gesetzt wird, oder gemäß einer solchen umgekehrten Proportionalität innerhalb eines vorgegebenen Rahmens stetig variiert wird, etwa zwischen: Bildqualität 1 -> Wahrscheinlichkeits-Schwellwert 0,8; und Bildqualität 10 -> Wahrscheinlichkeits-Schwellwert 0,6. Es versteht sich, dass diese Zahlen beliebig an die tatsächlichen Verhältnisse und Anwendungen anpassbar sind.
-
Das künstliche neuronale Netz des Relevanzkriteriums-Bestimmungsmoduls 40 erhält die in Schritt S41 übergebenen, zu untersuchenden Teilbereiche der medizinischen Bilddaten 1 als Eingabe und generiert in einem Schritt S40 darauf basierend, unter Verwendung seiner durch das Training angepassten Parameter, den Wahrscheinlichkeits-Schwellwert 2.
-
In einem Schritt S31 wird der generierte Wahrscheinlichkeits-Schwellwert 2 einem Relevanz-Bestimmungsmodul 30 bereitgestellt, welches auch die von dem Untersuchungsmodul erzeugten Klassifikations-Wahrscheinlichkeitswerte erhält. Durch Vergleich der Klassifikations-Wahrscheinlichkeitswerte für die verschiedenen Teilbereiche (hier: Pixel/Voxel) mit dem Wahrscheinlichkeits-Schwellwert 2 beurteilt das Relevanz-Bestimmungsmodul 30 in einem Schritt S30 für jeden Teilbereich die klinische Relevanz und gibt ein entsprechendes Ausgabesignal 70 aus, welches die klinische Relevanz (KR) oder eben fehlende klinische Relevanz (KNR) indiziert.
-
Das Ausgabesignal 70 kann beispielsweise nur noch diejenigen Teilbereiche umfassen, oder in den medizinischen Bilddaten 1 nur noch diejenigen Teilbereiche mit Begrenzungsrahmen hervorheben, welche als klinisch relevant indiziert wurden. Auch das Relevanz-Bestimmungsmodul 30 kann als Hardware und/oder Software ausgebildet sein.
-
Das Ausgabesignal 70 kann beispielsweise dazu ausgebildet sein, eine Displayeinrichtung zu steuern, die medizinischen Bilddaten 1 mit hervorgehobenen Teilbereichen, bei denen die Klassifikation als klinisch relevant bestimmt wurde, darzustellen.
-
2 zeigt eine schematische Darstellung eines Verfahrens zur Auswertung von medizinischen Bilddaten gemäß einer weiteren Ausführungsform.
-
Die Ausführungsform gemäß 2 ähnelt in einigen Punkten derjenigen gemäß 2, sodass im Folgenden lediglich die Unterschiede erläutert werden. Die wesentlichen Unterschiede sind zweierlei: erstens werden bei der Ausführungsform gemäß 2 Kontextdaten verwendet, um das Relevanzkriterium 2 zu bestimmen, und zweitens werden einzelne zu untersuchende Teilbereiche 3 definiert, für die jeweils die klinische Relevanz der Klassifikation zu beurteilen ist. Auch in diesem Beispiel wird lediglich von einer einzigen Klassifikation ausgegangen, wobei es sich versteht, dass das Verfahren problemlos auf eine Vielzahl von Klassifikationen erweiterbar ist.
-
Dementsprechend werden auch bei der Ausführungsform gemäß 2 die in Schritt S10 bereitgestellten medizinischen Bilddaten 1 einem Untersuchungsmodul 20 in Schritt S21 übergeben. Dieses kann ebenfalls, wie im Vorangehenden beschrieben, ein Merkmals-Extraktionsmodul 21 und/oder ein Klassifikatormodul 22 umfassen. Das Untersuchungsmodul 20 kann jedoch auch anders aufgebaut sein, beispielsweise ohne die genannte Zweiteilung, d.h. beispielsweise nur ein einzelnes trainiertes künstliches neuronales Netzwerk umfassend.
-
2 zeigt als Beispiel für medizinische Bilddaten 1 ein Scanbild eines menschlichen Brustkorbs. Das Untersuchungsmodul 20 ist hierbei dazu eingerichtet (und ggfs. trainiert), basierend auf den medizinischen Bilddaten 1 als Eingabe verdächtige (oder: interessierende) Teilbereiche 3 zu identifizieren, etwa durch Bestimmen von zugehörigen Begrenzungsrahmen („bounding boxes“). Solche Teilbereiche 3 können gemäß im Stand der Technik bekannten Verfahren ermittelt werden. Dabei bestimmt das Untersuchungsmodul 20 in dem Schritt S20 wiederum Klassifikations-Wahrscheinlichkeitswerte für die Teilbereiche 3. In 2 sind drei verschiedene Teilbereiche 3 illustriert, mit verschieden großen Begrenzungsrahmen.
-
Wie auch bei dem vorherigen Ausführungsbeispiel gemäß 1 soll das Relevanz-Bestimmungsmodul in dem Schritt S30 für jeden Teilbereich 3 nun die klinische Relevanz der Klassifikation (oder, bei mehreren Klassifikationen: die klinische Relevanz jeder der Klassifikationen) bestimmen. Hierfür wird jedoch erfindungsgemäß wiederum ein patientenspezifisches Relevanzkriterium 4 eingesetzt. Das patientenspezifische Relevanzkriterium 4 wird wiederum durch ein Relevanzkriteriums-Bestimmungsmodul 40 in einem Schritt S40 erzeugt und in einem Schritt S31 an das Relevanz-Bestimmungsmodul 30 übergeben.
-
Das patientenspezifische Relevanzkriterium kann wiederum ein Wahrscheinlichkeits-Schwellwert 2 sein, wie anhand von 1 ausführlich erläutert wurde. Alternativ sind jedoch auch andere patientenspezifische Relevanzkriterien denkbar, welche sich nicht, oder nicht nur, auf die Klassifikations-Wahrscheinlichkeitswerte beziehen. Beispielsweise kann das Relevanzkriterium auch eine Größe der Begrenzungsrahmen, oder, damit gleichbedeutend, eine Größe der Teilbereiche 3 betreffen. Somit könnte das Relevanzkriterium 4 einen Teilbereich-Größenschwellwert umfassen, welcher die Teilbereiche 3 in größere (klinisch relevante) einerseits und kleinere (nicht klinisch relevante) Teilbereiche andererseits unterscheidet.
-
Das Relevanzkriterium 4 kann auch sowohl einen Teilbereich-Größenschwellwert als auch einen Wahrscheinlichkeits-Schwellwert 2 umfassen, sodass etwa nur solche Teilbereiche 3 als klinisch relevant beurteilt werden sollen, welche sowohl einen Klassifikations-Wahrscheinlichkeitswert oberhalb des Wahrscheinlichkeits-Schwellwerts 2 als auch eine Größe oberhalb des Teilbereich-Größenschwellwerts aufweisen. Denkbar sind auch kompliziertere Regeln mit jeweiligen Gewichtungen sowie andere Maßzahlen für die Teilbereiche 3.
-
Bei der Ausführungsform gemäß 2 werden durch das Relevanzkriteriums-Bestimmungsmodul 40 patientenspezifische Kontextdaten 61, 62, 63, 64 berücksichtigt, welche in einem jeweiligen Schritt S60 dem Relevanzkriteriums-Bestimmungsmodul 40 bereitgestellt werden, etwa über eine entsprechende Eingabeschnittstelle oder interne Schnittstelle.
-
Beispielhaft, jedoch nicht abschließend, sind in 2 verschiedene Kontextdaten bzw. Kontextdatenquellen dargestellt:
- - Textdokument-Kontextdaten 61 aus einem oder mehreren Textdokumenten, welche z.B. Gewohnheiten des Patienten oder Ergebnisse früherer Untersuchungen beschreiben;
- - medizinische Bilddaten 62 (oder darauf basierende oder daraus extrahierte Informationen) früherer Untersuchungen desselben (oder sogar anderer) Patienten, etwa Größe und Position von früher bereits als verdächtig eingestuften Teilbereichen 3;
- - Bild-Metadaten 63 der medizinischen Bilddaten 1 (oder der früheren medizinischen Bilddaten 62), etwa aus einem DICOM-Header extrahierte Informationen über Alter, Geschlecht etc. des Patienten;
- - Untersuchungsdaten 64 betreffend die aktuelle Untersuchung, welche die medizinischen Bilddaten 1 erzeugte.
-
Die Berücksichtigung medizinischer Bilddaten 62 desselben Patienten aus früheren Untersuchungen ermöglicht auch komplexe Relevanzkriterien, beispielsweise, ob sich ein „verdächtiger Teilbereich“ 3 über die Zeit hinweg verringert oder vergrö-ßert hat. Als Teil eines Relevanzkriteriums für einen solchen Teilbereich 3 könnte somit vorgesehen sein, dass dieser als klinisch relevant angesehen wird, wenn er sich vergrößert hat oder gleich groß geblieben ist, und als nicht klinisch relevant (oder je nach Abstufung als „möglicherweise klinisch relevant“) angesehen wird, falls er verkleinert hat, wobei der Fall der gleichbleibenden Größe auch anders zugewiesen werden könnte. Somit kann etwa vorbestimmt sein, dass sich vergrö-ßernde Teilbereiche 3 stets als „klinisch relevant“ bestimmt werden, unabhängig von etwaigen anderen Relevanzkriterien.
-
Es versteht sich, dass eine Vielzahl von anderen patientenspezifischen, aber von auch für andere Patienten spezifischen, Kontextdaten dem Relevanzkriteriums-Bestimmungsmodul 40 bereitgestellt werden kann. Ebenso kann das Relevanzkriteriums-Bestimmungsmodul 40 zusätzlich auch noch die Funktionalität wie in 1 aufweisen, d.h. dazu in der Lage sein, einen Teil des Relevanzkriteriums 4 (wie z.B. einen Wahrscheinlichkeits-Schwellwert) aus den medizinischen Bilddaten 1 selbst zu generieren.
-
Die jeweiligen Kontextdaten können von dem Relevanzkriteriums-Bestimmungsmodul 40 dazu verwendet werden, gruppenspezifische Beurteilungen durchzuführen, d.h. insbesondere den Patienten in eine Gruppe mit anderen Patienten einzuteilen und (unter anderem, oder auch ausschließlich) basierend auf dieser Gruppierung das patientenspezifische Relevanzkriterium 4 zu bestimmen.
-
Wenn die sozusagen bild-intrinsische Verarbeitung wie in der Ausführungsform gemäß 1 und die Verwendung zusätzlicher Kontextdaten wie in der Ausführungsform gemäß 2 beide durchgeführt werden, können diese beiden Teil-Schritte vorteilhaft auf verschiedenen Plattformen, auf verschiedenen Geräten, in verschiedenen Umgebungen oder durch verschiedene Applikationen durchgeführt werden.
-
Der Grund hierfür ist, dass die bild-intrinsische Verarbeitung gemäß 1 im Wesentlichen anonym, d.h. ohne Kenntnis der Identität des Patienten erfolgen kann und dafür geringere Anforderungen (z.B. datenschutzrechtlicher Art) vorliegen können als für die Verwendung der Kontextdaten, die strengeren Anforderungen unterliegen könnten. Somit könnte die bild-intrinsische Verarbeitung etwa durch eine Cloud-Rechenplattform durchgeführt werden, während die weitere Verarbeitung inklusive der Verwendung der Kontextdaten dann onpremise, d.h. etwa im sicheren Netzwerk eines Krankenhauses oder Forschungsinstituts, durchgeführt werden könnte.
-
3 erläutert schematisch eine Vorrichtung 100 zur Auswertung von medizinischen Bilddaten gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Die Vorrichtung 100 ist insbesondere zum Durchführen des erfindungsgemäßen Verfahrens zur Auswertung von medizinischen Bilddaten eingerichtet, bevorzugt gemäß einer der anhand von 1 und/oder 2 oder gemäß der Vorbesprechung erläuterten Ausführungsformen. Es wird daher im Wesentlichen auf die vorhergehende Beschreibung und auch auf die 1 und 2 verwiesen.
-
Die Vorrichtung 100 umfasst eine Eingabeschnittstelle 110, über welche der Vorrichtung 100 auszuwertende medizinische Bilddaten 1 eines zu untersuchenden Patienten bereitstellbar sind. Die Vorrichtung 100 umfasst außerdem eine Recheneinrichtung 150.
-
Die Recheneinrichtung 150 kann insbesondere eine zentrale Prozessoreinrichtung (CPU), einen Datenspeicher, einen Arbeitsspeicher (RAM) und/oder einen Graphikprozessor (GPU) umfassen, welche miteinander operativ gekoppelt sind und zum Ausführen von Software miteinander zusammenwirken.
-
Die Recheneinrichtung 150 ist vorteilhaft dazu eingerichtet, eines, mehrere, oder alle der im Vorangehenden beschriebenen Module 20, 21, 22, 30, 40 in Form von Software zu implementieren und auszuführen.
-
Somit kann die Recheneinrichtung vorteilhaft dazu eingerichtet sein:
- - für mindestens einen Teilbereich 3 der medizinischen Bilddaten 1 einen jeweiligen Klassifikations-Wahrscheinlichkeitswert bezüglich mindestens einer Klassifikation aus einer Liste vorgegebener Klassifikationen zu bestimmen, etwa durch Implementieren und Ausführen des Untersuchungsmoduls 20;
- - ein patientenspezifisches Relevanzkriterium 4 für mindestens eine der mindestens einen Klassifikation für die bereitgestellten medizinischen Bilddaten 1 zu bestimmen, etwa durch Implementieren und Ausführen des Relevanzkriteriums-Bestimmungsmoduls 40; und
- - eine klinische Relevanz der mindestens einen der mindestens einen Klassifikation für den mindestens einen Teilbereich 3 der medizinischen Bilddaten 1 anhand des zugehörigen bestimmten patientenspezifischen Relevanzkriteriums 4 sowie basierend auf den bestimmten Klassifikations-Wahrscheinlichkeitswerten und/oder basierend auf dem mindestens einen Teilbereich 3 zu bestimmen, etwa durch Implementieren und Ausführen des Relevanz-Bestimmungsmoduls 30.
-
Es versteht sich, dass durch die Recheneinrichtung 150 auch sämtliche weiteren Module oder Sub-Module implementiert und ausgeführt werden können, und dass auch alle weiteren beschriebenen Varianten, Modifikationen und Weiterbildungen von Ausführungsformen bezüglich des erfindungsgemäßen Verfahrens durch die Vorrichtung 100, verwirklicht werden können.
-
Die Vorrichtung 100 umfasst außerdem eine Ausgabeschnittstelle 190, welche zum Ausgeben des Ausgabesignals 70, welches die bestimmte(n) klinische(n) Relevanz(en) indiziert, eingerichtet ist. Das Ausgabesignal 70 kann über die Ausgabeschnittstelle 190 einer Displayeinrichtung 80 übergeben werden, sodass die medizinischen Bilddaten 1 beispielsweise mit hervorgehobenen Teilbereichen 3 mit klinischer Relevanz automatisch dargestellt werden.
-
Die Displayeinrichtung 80 kann außerhalb der Vorrichtung 100 liegen oder als Teil der Vorrichtung 100 ausgebildet sein. Die Displayeinrichtung 80 kann auch Teil eines lokalen Computers oder Terminals sein, während die Recheneinrichtung 150 der Vorrichtung 100 als Cloud-Rechenplattform ausgebildet ist. Die Displayeinrichtung kann insbesondere einen Prozessor (CPU), einen Graphikprozessor (GPU), einen Datenspeicher und einen Arbeitsspeicher (RAM) umfassen, welche das Ausgabesignal 70 zum Anzeigen der medizinischen Bilddaten 1 mit den hervorgehobenen Teilbereichen 3 mit klinisches Relevanz verarbeiten.
-
Die Eingabeschnittstelle 110 kann außerdem zum Empfangen S60 von Kontextdaten 61, 62, 63, 64 ausgebildet sein, welche patientenspezifisch für den zu untersuchenden Patienten sind und/oder welche für einen Patienten spezifisch sind, welcher sich von dem zu untersuchenden Patienten unterscheidet. Somit können diese Kontextdaten 61, 62, 63, 64 bei dem Bestimmen des Relevanzkriteriums 4 berücksichtigt werden, wie im Vorangehenden bereits ausführlich erläutert wurde.
-
4 zeigt schematisch ein Computerprogrammprodukt 200 gemäß noch einer weiteren Ausführungsform. Das Computerprogrammprodukt 200 umfasst ausführbaren Programmcode 250, welcher dazu ausgelegt ist, wenn er ausgeführt wird (z.B. durch eine lokale und/oder eine cloud-gebundene Recheneinrichtung) das erfindungsgemäße Verfahren in einer seiner Ausführungsformen durchzuführen.
-
5 zeigt schematisch ein nicht-flüchtiges, computerlesbares Datenspeichermedium 300 gemäß noch einer weiteren Ausführungsform. Das Datenspeichermedium 300 umfasst ausführbaren Programmcode 350, welcher dazu ausgelegt ist, wenn er ausgeführt wird (z.B. durch eine lokale und/oder eine cloud-gebundene Recheneinrichtung) das erfindungsgemäße Verfahren in einer seiner Ausführungsformen durchzuführen.
-
Die Ausführungsbeispiele wurden ausgewählt und beschrieben, um die der Erfindung zugrundeliegenden Prinzipien und ihre Anwendungsmöglichkeiten in der Praxis bestmöglich darstellen zu können. Dadurch können Fachleute die Erfindung und ihre verschiedenen Ausführungsbeispiele in Bezug auf den beabsichtigten Einsatzzweck optimal modifizieren und nutzen.
