DE102021209169A1

DE102021209169A1 - Validierung KI-basierter Ergebnisdaten

Info

Publication number: DE102021209169A1
Application number: DE102021209169.5A
Authority: DE
Inventors: Ramyar BINIAZAN; Andreas Fieselmann; Christian Hümmer; Ludwig Ritschl
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2021-08-20
Filing date: 2021-08-20
Publication date: 2023-02-23
Also published as: CN115708168A; US20230054619A1

Abstract

Es wird ein Verfahren zur Validierung KI-basierter Ergebnisdaten (ED) von Bilddaten (BD) beschrieben. Bei dem Verfahren werden Vergleichs-Merkmale (Fij) aus gelabelten Referenz-Bilddaten (BDi) regelbasiert extrahiert. Weiterhin werden Merkmale (Fj*) aus den Bilddaten (BD) extrahiert. Dann erfolgt ein statistisches Vergleichen der Vergleichs-Merkmale (Fij) mit den Merkmalen (Fj*). Auf Basis des statistischen Vergleichs und eines vorbestimmten Qualitätskriteriums wird die Qualität der KI-basierten Ergebnisdaten (ED) ermittelt. Es wird auch ein Ergebnisdaten-Korrekturverfahren beschrieben. Des Weiteren wird ein Verfahren zur KI-basierten Gewinnung von Ergebnisdaten (ED, KED) auf Basis von Untersuchungsmessdaten beschrieben. Daneben wird eine Validierungseinrichtung (20) beschrieben. Außerdem wird eine Ergebnisdaten-Korrektureinrichtung (80) beschrieben. Ferner wird eine Ergebnisdaten-Gewinnungseinrichtung (90) beschrieben. Außerdem wird eine medizintechnische bildgebende Einrichtung (30) beschrieben.

Description

Die Erfindung betrifft ein Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten. Außerdem betrifft die Erfindung ein Ergebnisdaten-Korrekturverfahren. Zudem betrifft die Erfindung ein Verfahren zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten. Weiterhin betrifft die Erfindung eine Validierungseinrichtung. Überdies betrifft die Erfindung eine Ergebnisdaten-Korrektureinrichtung. Daneben betrifft die Erfindung eine Ergebnisdaten-Gewinnungseinrichtung. Ferner betrifft die Erfindung eine medizintechnische bildgebende Einrichtung.
Mit Hilfe moderner bildgebender Verfahren werden häufig zwei- oder dreidimensionale Bilddaten erzeugt, die zur Visualisierung eines abzubildenden Patienten, beispielsweise ein Mensch oder ein Tier, und darüber hinaus auch für weitere Anwendungen genutzt werden können.
Künstliche Intelligenz (abgekürzt mit KI) und insbesondere Deep Learning bzw. maschinelles Lernen sind Verfahren, die bei der Bildsegmentierung, der Objektdetektion, der Klassifizierung und Regressionsproblemen genutzt werden. Bei Deep Learning oder maschinellem Lernen wird ein Modell mit Hilfe von Trainingsdaten dazu trainiert, Ergebnisdaten, sogenannte Label, auf Basis von Eingangsdaten, beispielsweise medizinische Bilddaten, zu ermitteln. Solche Label können bildbasierte Label umfassen, die sich auf ein gesamtes Bild beziehen. Beispielsweise wird einem Bild als Ergebnis zugewiesen, dass es eine Pathologie zeigt. Label können aber auch Ausschnitte eines Bildes betreffen, beispielsweise die Bezeichnung eines Objekts bzw. Körperbereichs in einem größeren Bild. Das Modell kann nach dem Training zur Ermittlung von Ergebnisdaten auf Basis neuer Eingangsdaten genutzt werden.
KI-basierte Vorhersagen weisen eine gewisse Unsicherheit auf. Daher ist eine Überprüfung der Verlässlichkeit solcher Modelle wünschenswert. Derartige Modelle liefern keine Vergleichsgrößen für ihre individuellen Vorhersagen. Falls ein trainiertes neuronales Netzwerk eine falsche Vorhersage macht, ist eine zusätzliche Maßnahme notwendig, um sicherzugehen, dass das Gesamtsystem nicht scheitert. Das neuronale Netzwerk hat also keine Vorstellung davon, wie seine Ergebnisse ausfallen sollen und macht daher Vorhersagen allein basierend auf den Eingangsdaten.
Mithin wird eine zusätzliche Überprüfung eines solchen auf künstlicher Intelligenz basierenden Vorhersagemodells benötigt.
Es gibt bereits einige Verfahren zur Erhöhung der Transparenz und der Verlässlichkeit von KI-basierten Ergebnisdaten. Eine erhöhte Transparenz bedeutet in diesem Zusammenhang, dass der Benutzer in die Lage versetzt wird zu verstehen, wie die Ergebnisdaten erzeugt werden. Dabei werden Bildbereiche visualisiert, die als Grundlage für die KI-basierten Ergebnisdaten, wie zum Beispiel Aktivierungskarten, Segmentierungen oder Objektdetektionen, dienen. Derartige Verfahren sind in https://arxiv.org/abs/2008.02766 bzw. in Nishanth Arun et al., „Assessing the (Un)Trustworthiness of Saliency Maps for Localizing Abnormalities in Medical Imaging“, beschrieben. Dadurch wird zwar eine gewisse Transparenz erreicht, aber keine explizite Information geliefert, um die Verlässlichkeit der geschätzten Ergebnisse zu überprüfen.
Die Verlässlichkeit, d. h. ein Maß, um die Sicherheit von Ergebnisdaten zu ermitteln, kann durch Ausgabe eines Konfidenzwerts angegeben werden. Ein solcher Wert repräsentiert die Sensitivität oder Spezifizität eines Algorithmus. Dadurch wird eine durchschnittliche Verlässlichkeit, aber keine explizite Information bezüglich einer aktuellen Schätzung bzw. von aktuellen Ergebnisdaten angegeben.
Eine gewisse Unsicherheit kann auch in einem KI-basierten Trainingsverfahren mitberücksichtigt werden. Eine derartige Vorgehensweise ist in https://arxiv.org/pdf/1709.09844.pdf bzw. in Amit Mandelbaum et al., „Distance-based Confidence Score for Neural Network Classifiers“, beschrieben. Solche Konzepte scheitern aber meist bei der Anwendung auf Eingangsdaten, die von den Trainingsdaten deutlich abweichen. Eine solche Situation wird auch als out-of-domain-Situation bezeichnet.
Es kann auch eine Durchschnittsbildung für ein Ensemble von Ergebnisdaten erfolgen, um eine Unsicherheit abschätzen zu können. Eine solche Vorgehensweise ist in bzw. https://papers.nips.cc/paper/2017/file/9ef2ed4b7fd2c810847ffa 5fa85bce38-Paper.pdf in Balaji Lakshminarayanan et al., „Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles“, beschrieben. Allerdings müssen dazu mehrere Algorithmen für dieselbe Aufgabe genutzt werden, was entsprechend aufwändig ist.
Es ist daher eine Aufgabe der vorliegenden Erfindung, KI-basiert erzeugte Ergebnisse, insbesondere bei der Auswertung von medizinischen Bilddaten, mit einer erhöhten Verlässlichkeit zu erzeugen.
Diese Aufgabe wird durch ein Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß Patentanspruch 1, ein Ergebnisdaten-Korrekturverfahren gemäß Patentanspruch 7, ein Verfahren zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten gemäß Patentanspruch 9, durch eine Validierungseinrichtung gemäß Patentanspruch 10, eine Ergebnisdaten-Korrektureinrichtung gemäß Patentanspruch 11, eine Ergebnisdaten-Gewinnungseinrichtung gemäß Patentanspruch 12 und durch eine medizintechnische bildgebende Einrichtung gemäß Patentanspruch 13 gelöst.
Es soll an dieser Stelle erwähnt werden, dass die nachstehend beschriebenen Verfahren vorzugsweise vollständig automatisiert durchgeführt werden, so dass der Benutzer zur Gewinnung eines Ergebnisses oder Teilergebnisses eines der Verfahren nicht in den Fortgang des jeweiligen Verfahrens eingreifen braucht oder gar einzelne Schritte selbstständig durchführen muss.
Bei dem erfindungsgemäßen Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten werden regelbasiert Vergleichs-Merkmale aus Referenz-Ergebnisdaten extrahiert. Als künstliche Intelligenz bzw. Algorithmen, die Eigenschaften künstlicher Intelligenz aufweisen, sind lernfähige Datenverarbeitungsprozesse zu verstehen. Verfahren zur Abbildung von allgemeinen Regeln auf Basis einer Menge von Daten werden in diesem Zusammenhang als maschinelles Lernen bezeichnet. Typische Strukturen für KI-basierte Algorithmen sind künstliche neuronale Netze.
Die bereits erwähnten Referenz-Ergebnisdaten können sogenannte Label umfassen, mit denen KI-basierte Modelle trainiert werden. Die Referenz-Ergebnisdaten können auch durch Expertenwissen erzeugt werden. Die Regeln umfassen Relationen zwischen Labeln bzw. Komponenten von Ergebnisdaten. Typische Regeln basieren auf anatomischen oder physikalischen Charakteristiken des Untersuchungsgegenstands. Ein Beispiel für solche Regeln sind Abstandsbeziehungen zwischen Landmarken in medizinischen Bilddaten.
Weiterhin werden Merkmale aus den Ergebnisdaten selbst ebenfalls regelbasiert extrahiert. Die Ergebnisdaten können beispielsweise auf Bilddaten basieren und können Annotierungen bzw. Label in den Bilddaten umfassen. Die Label können sogenannte „image“-level-Label, die das ganze Bild betreffen, oder sogenannte Label für ROIs (ROI = region of interest), die Teilbereiche eines Bildes betreffen, umfassen. Anschließend erfolgt ein statistischer Vergleich der Vergleichs-Merkmale mit den Merkmalen, welche aktuellen Ergebnisdaten zugeordnet sind. Da die Vergleichs-Merkmale statistisch verteilt sind, erfolgt an dieser Stelle eine statistische Auswertung. Als statistische Auswertung soll verstanden werden, dass man in einer repräsentativen Menge die Verteilung der Vergleichs-Merkmale anschaut und diese Verteilung als Referenz für einen Vergleich mit den Merkmalen, welche den aktuellen Ergebnisdaten zugeordnet sind, nimmt.
Als Vergleichsmaßstab kann zum Beispiel eine euklidische Metrik verwendet werden. Es können auch sogenannte Clustering-Verfahren für den statistischen Vergleich zwischen den aktuell extrahierten Merkmalen und den Vergleichs-Merkmalen eingesetzt werden.
Beispielsweise ist der Pektoralmuskel in der mediolateralobliquen Ansicht (MLO-Ansicht) immer „oben in der Ecke“ im Bild angeordnet. Dieses regelbasierte Vergleichs-Merkmal kann nun mit dem korrespondierenden Merkmal, welches anhand der aktuellen Ergebnisdaten gewonnen wurde, verglichen werden. Liegt der mit „Pektoralmuskel“ identifizierte Bereich eines aktuell aufgenommenen medizinischen Bildes „oben links in der Ecke“, so kann dieses Vergleichsergebnis als Hinweis auf die Validität der aktuellen Ergebnisdaten aufgefasst werden.
Auf Basis des statistischen Vergleichs und eines vorbestimmten Qualitätskriteriums wird die Qualität der KI-basiert ermittelten Ergebnisdaten ermittelt. Beispielsweise kann ein solches Qualitätskriterium ein Schwellwert sein, der bei dem beschriebenen Vergleich nicht überschritten werden darf. Wird er überschritten, so werden die Ergebnisdaten als nicht verlässlich eingestuft. Vorteilhaft wird eine erhöhte Transparenz bei der Einschätzung der Verlässlichkeit der Ergebnisdaten erreicht. Es kann sogar auf Basis der Validierung, wie noch im Einzelnen erläutert, automatisiert eine Korrektur von als nicht verlässlich eingestuften Ergebnisdaten vorgenommen werden, so dass die geprüften Daten korrigiert und auch bei einem negativen Validierungsergebnis nicht verworfen werden müssen, sondern nach Korrektur für den ursprünglichen Analyseprozess, beispielsweise eine Bildsegmentierung, genutzt werden können.
Bei dem erfindungsgemäßen Ergebnisdaten-Korrekturverfahren wird ein Validierungsergebnis auf Basis des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten ermittelt. Weiterhin werden korrigierte Ergebnisdaten, für den Fall, dass das Validierungsergebnis negativ ist, erzeugt. Die korrigierten Ergebnisdaten können bevorzugt durch erneutes Erfassen von Ersatz-Ergebnisdaten von dem Untersuchungsergebnis und Ersetzen der Ergebnisdaten durch die Ersatz-Ergebnisdaten erzeugt werden. Bei dieser Variante wird die Erzeugung der Ergebnisdaten für den Fall, dass die validierten Ergebnisdaten nicht als valide ermittelt wurden, einfach wiederholt.
Es kann aber auch ein direktes Korrigieren der Ergebnisdaten auf Basis des Vergleichs der Vergleichs-Merkmale mit den Merkmalen vorgenommen werden. Die Beziehung zwischen den Vergleichs-Merkmalen und den Referenz-Ergebnisdaten ist ja bekannt bzw. kann leicht anhand der vorhandenen gelabelten Trainingsdaten ermittelt werden.
Wird nun ein extrahiertes Merkmal korrigiert, so dass es bei einem statistischen Vergleich mit den Vergleichs-Merkmalen valide wird, so können auf Basis dieser Korrektur auch korrigierte Ergebnisdaten erzeugt werden, wenn die bei der Extraktion der Vergleichs-Merkmale angewandten Regeln quasi invers angewendet werden.
Vorteilhaft werden nicht nur unzuverlässige Ergebnisdaten erkannt, sondern sogar automatisiert ersetzt, so dass der Benutzer ohne sein Eingreifen valide Ergebnisdaten erhält und dem Benutzer im Vergleich zu einer herkömmlichen Vorgehensweise Zeitaufwand und Arbeitsaufwand erspart wird.
Bei dem erfindungsgemäßen Verfahren zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten, vorzugsweise medizinischen Bilddaten, werden Untersuchungsmessdaten von einem Untersuchungsobjekt erfasst. Diese Untersuchungsmessdaten können zum Beispiel medizinische Bilddaten von einem Patienten umfassen. Anschließend werden auf Basis der Untersuchungsmessdaten KI-basiert Ergebnisdaten ermittelt. Solche Ergebnisdaten können zum Beispiel Annotierungen der Bilddaten umfassen. Beispielsweise werden Läsionen an bestimmten Positionen in einzelnen Segmenten eines Untersuchungsbildes angegeben.
Anschließend erfolgt eine Ermittlung eines Validierungsergebnisses durch Anwendung des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten auf die ermittelten Ergebnisdaten. Wird nun anhand der Validierung ermittelt, dass die Segmentierung nicht korrekt war, beispielsweise, weil Abstände zwischen Landmarken, welche in diesem Fall die Vergleichs-Merkmale bilden, nicht mit den Referenz-Merkmalen, also Abständen zwischen denselben Landmarken, die auf Basis einer Statistik gewonnen wurden, konform sind, so werden Ergebnisdaten auf Basis des Validierungsergebnisses und des erfindungsgemäßen Ergebnisdaten-Korrekturverfahrens gewonnen. Wie bereits erwähnt, lässt sich die bekannte Relation zwischen den Vergleichs-Merkmalen und den Referenz-Ergebnisdaten zur Ermittlung korrigierter Ergebnisdaten heranziehen. Das Verfahren zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten teilt die Vorteile des erfindungsgemäßen Ergebnisdaten-Korrekturverfahrens.
Die erfindungsgemäße Validierungseinrichtung weist eine Extraktionseinheit zum regelbasierten Extrahieren von Vergleichs-Merkmalen aus gelabelten Referenz-Ergebnisdaten und zum Extrahieren von Merkmalen aus Ergebnisdaten auf. Die erfindungsgemäße Validierungseinrichtung umfasst auch eine Vergleichseinheit zum statistischen Vergleichen der Vergleichs-Merkmale mit den Merkmalen. Teil der erfindungsgemäßen Validierungseinrichtung ist auch eine Validierungseinheit zum Ermitteln der Qualität der KI-basierten Ergebnisdaten auf Basis des statistischen Vergleichs und eines vorbestimmten Qualitätskriteriums. Die erfindungsgemäße Validierungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten.
Die erfindungsgemäße Ergebnisdaten-Korrektureinrichtung weist eine erfindungsgemäße Validierungseinrichtung zum Ermitteln eines Validierungsergebnisses auf Basis von KI-basiert gewonnenen Ergebnisdaten und Referenz-Ergebnisdaten sowie eine Korrektureinheit zum Erzeugen korrigierter Ergebnisdaten, für den Fall, dass das Validierungsergebnis negativ ist, auf. Die erfindungsgemäße Ergebnisdaten-Korrektureinrichtung teilt die Vorteile des erfindungsgemäßen Ergebnisdaten-Korrekturverfahrens.
Die erfindungsgemäße Ergebnisdaten-Gewinnungseinrichtung weist eine Eingangsschnittstelle zum Erfassen von Untersuchungsmessdaten von einem Untersuchungsobjekt auf. Daneben umfasst die erfindungsgemäße Ergebnisdaten-Gewinnungseinrichtung eine Ermittlungseinheit zum KI-basierten Ermitteln von Ergebnisdaten auf Basis der Untersuchungsmessdaten. Teil der erfindungsgemäßen Ergebnisdaten-Gewinnungseinrichtung ist auch eine Validierungseinrichtung zum Ermitteln eines Validierungsergebnisses auf Basis der ermittelten Ergebnisdaten und auf Basis von Referenz-Ergebnisdaten. Wie bereits erwähnt, werden zur Validierung aus einer Vergleichsstatistik Vergleichs-Merkmale gewonnen und mit dazu korrespondierenden Merkmalen, die aus den aktuellen Ergebnisdaten ermittelt werden, statistisch verglichen. Anschließend erfolgt eine Ausgabe eines Validierungsergebnisses, auf dessen Basis eine Korrektureinheit, welche ebenfalls Teil der erfindungsgemäßen Ergebnisdaten-Gewinnungseinrichtung ist, korrigierte Ergebnisdaten für den Fall, dass das Validierungsergebnis negativ ist, ermittelt. Die erfindungsgemäße Ergebnisdaten-Gewinnungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten.
Die erfindungsgemäße medizintechnische bildgebende Einrichtung, vorzugsweise eine Röntgenbildgebungseinrichtung, besonders bevorzugt ein CT-System oder ein MR-System, umfasst eine Aufnahmeeinheit, beispielsweise eine Scaneinheit, zum Erzeugen von Bilddaten von einem Untersuchungsbereich. Teil der erfindungsgemäßen medizintechnischen bildgebenden Einrichtung ist auch eine Ermittlungseinheit zur KI-basierten Ermittlung von Ergebnisdaten auf Basis der Bilddaten. Die erfindungsgemäße medizintechnische bildgebende Einrichtung umfasst auch eine erfindungsgemäße Validierungseinrichtung zur Validierung der Ergebnisdaten. Teil der erfindungsgemäßen medizintechnischen bildgebenden Einrichtung kann auch eine erfindungsgemä-ße Ergebnisdaten-Korrektureinrichtung oder eine erfindungsgemäße Ergebnisdaten-Gewinnungseinrichtung sein.
Die erfindungsgemäße medizintechnische bildgebende Einrichtung teilt die Vorteile der erfindungsgemäßen Validierungseinrichtung bzw. der erfindungsgemäßen Ergebnisdaten-Korrektureinrichtung oder der erfindungsgemäßen Ergebnisdaten-Gewinnungseinrichtung.
Ein Teil der Komponenten der erfindungsgemäßen Validierungseinrichtung, der erfindungsgemäßen Ergebnisdaten-Korrektureinrichtung, der erfindungsgemäßen Ergebnisdaten-Gewinnungseinrichtung und der erfindungsgemäßen medizintechnischen bildgebenden Einrichtung kann zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Extraktionseinheit, der Vergleichseinheit und der Validierungseinheit der Validierungseinrichtung, Teile der Korrektureinheit der Ergebnisdaten-Korrektureinrichtung und Teile der Ermittlungseinheit der Ergebnisdaten-Gewinnungseinrichtung bzw. der medizintechnischen bildgebenden Einrichtung. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Rechnereinheiten oder Steuereinrichtungen von bildgebenden medizintechnischen Einrichtungen auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung einer Rechnereinheit oder einer Steuereinrichtung einer medizintechnischen bildgebenden Einrichtung ladbar ist und Programmabschnitte umfasst, um alle Schritte der jeweiligen erfindungsgemäßen Verfahren auszuführen, wenn das Computerprogramm in der Rechnereinheit oder Steuereinrichtung der medizintechnischen bildgebenden Einrichtung ausgeführt wird.
Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile wie z. B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z. B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
Zum Transport zur Speichereinrichtung einer Rechnereinheit einer medizintechnischen bildgebenden Einrichtung und/oder zur Speicherung an der Rechnereinheit der medizintechnischen bildgebenden Einrichtung kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einer Rechnereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z. B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.
Weitere, besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen sowie der nachfolgenden Beschreibung und den Figuren, wobei die unabhängigen Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie weitergebildet sein können.
Bevorzugt werden bei dem erfindungsgemäßen Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten die Ergebnisdaten anhand von Bilddaten gewonnen. Beispielsweise können solche Ergebnisdaten Landmarken, Bildeigenschaften oder auch Störeffekte, wie zum Beispiel Rauschanteile umfassen, die mit Hilfe der Validierung geprüft werden können. Vorteilhaft wird durch die Validierung die Qualität der Informationen gesichert bzw. sogar verbessert.
Besonders bevorzugt umfassen bei dem erfindungsgemäßen Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten die Ergebnisdaten einen der folgenden Datentypen:

- Bildsegmentierungen,
- detektierte Objekte,
- Klassifizierungen,
- Regressionsergebnisse.

Vorteilhaft kann das erfindungsgemäße Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten für ganz unterschiedliche Anwendungen eingesetzt werden. Eine Auswertung von Bilddaten, insbesondere von medizinischen Bilddaten, ist aber bevorzugt. Die Auswertung von Bilddaten in der Medizin umfasst meist die Einteilung der Bilddaten in unterschiedliche Bereiche und deren Identifizierung. Eine solche Vorgehensweise wird auch Segmentierung bezeichnet. Eine Segmentierung ist im Prozess der KI-basierten Auswertung von Bilddaten üblicherweise der erste Schritt der Bildanalyse und kommt nach der Bildvorverarbeitung. Als nächstes kann sich zum Beispiel eine Merkmalsextraktion, eine Klassifizierung der Merkmale sowie eine Aussage auf Basis der Klassifizierungen anschließen.
Ein Objekt kann zum Beispiel auf Basis von einem oder mehreren unterschiedlichen extrahierten Merkmalen detektiert werden. Ein Beispiel wäre zum Beispiel eine Läsion, welche auf Basis von Helligkeitswerten und Strukturparametern bzw. Strukturmerkmale ermittelt wird.
Weiterhin könnte dann eine Klassifizierung der Läsion bezüglich bestimmter Spezialmerkmale erfolgen. Allgemein kann eine Klassifizierung als qualitative Einstufung betrachtet werden. Liegen die Ergebnisse eines maschinellen Lernprozesses in diskreter Form vor bzw. sind die Werte qualitativ, so spricht man von einem Klassifikationsproblem.
Liegen die Ergebnisse der Ausgabe eines Lernprozesses im Rahmen des maschinellen Lernens in einer stetigen Verteilung, deren Ergebnisse beliebige quantitative Werte eines vorgegebenen Wertebereiches annehmen kann, vor, so spricht man von einem Regressionsproblem.
Die erfindungsgemäßen Verfahren lassen sich also vorteilhaft auf sehr unterschiedliche KI-basiert lösbare Problemstellungen anwenden, insbesondere im Bereich der Auswertung von medizinischen Bilddaten zur Vorbereitung einer Befundung.
Ebenfalls bevorzugt umfassen bei dem erfindungsgemäßen Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten die Referenz-Bilddaten gelabelte Trainings-Bilddaten. Vorteilhaft können aus den Trainings-Bilddaten bzw. den Labeln der Trainings-Bilddaten Vergleichs-Merkmale extrahiert werden. Die Vergleichs-Merkmale dienen dann als Basis für die erfindungsgemäße Validierung von Ergebnisdaten.
In einer Variante des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten erfolgt für den Fall, dass das Qualitätskriterium nicht erfüllt ist, eine der folgenden Maßnahmen:

- es wird eine Information an einen Benutzer ausgegeben, dass die Verlässlichkeit der Ergebnisdaten nicht ausreicht,
- die Ergebnisdaten werden auf Basis der Vergleichs-Merkmale und der Regeln zur Extraktion der Vergleichs-Merkmale korrigiert.

Das Qualitätskriterium kann zum Beispiel einen Schwellwert umfassen. Falls dieser Schwellwert bei dem beschriebenen Vergleich zwischen den extrahierten Merkmalen und den Vergleichs-Merkmalen überschritten wird, so wird der Benutzer über die vorhandene Unsicherheit der Ergebnisdaten informiert oder die Ergebnisdaten werden geeignet korrigiert, so dass sie nicht verworfen werden müssen.
In einer vorteilhaften Variante des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten, welche bei der Auswertung von Bilddaten, insbesondere im medizinischen Bereich, Anwendung findet, werden als Ergebnisdaten die Positionen von Landmarken verwendet und als Merkmalsdaten wird das Verhältnis des minimalen Abstands zwischen den Landmarken verwendet. Ist der minimale Abstand der Landmarken anhand von Trainingsdaten oder einer anderen Referenz-Datenquelle bekannt, so können vorteilhaft die Positionen der Landmarken, die KI-basiert in medizinischen Bilddaten ermittelt wurden, im Nachhinein auf ihre Zuverlässigkeit und Konsistenz geprüft werden. Auf diese Weise kann eine medizinische Untersuchung oder Befundung sicherer und zuverlässiger gemacht werden, da Fehler bei der Auswertung der medizinischen Daten erkannt und gegebenenfalls sogar automatisiert korrigiert werden können.
Die Landmarken können bevorzugt die folgenden Knochen oder Organe umfassen:

- das Schlüsselbein,
- die Carina tracheae,
- das Atrium.

Vorteilhaft kann zum Beispiel eine fehlerhafte Lokalisierung von Landmarken im Brustbereich vermieden werden. Eine solche fehlerhafte Lokalisierung kann zum Beispiel aufgrund eines Kollapses der Lunge erfolgen, da in einem solchen Fall die Positionen und die Ausdehnung einzelner Organe verändert ist und Abstände zwischen den genannten Organen nicht mehr den üblichen Werten entsprechen.
Ein wichtiges Anwendungsgebiet des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten stellt die Segmentierung von anatomischen Landmarken in medizinischen Bilddaten dar. Bei der Mammographie spielt beispielsweise eine Segmentierung der Brustwarzen und des Brustmuskels eine Schlüsselrolle für quantitative Analysen des Brustparenchyms. Die erwähnten Landmarken weisen Restriktionen auf und können verwendet werden, um die Zuverlässigkeit von KI-basiert ermittelten Vorhersagen zu prüfen.
Bei dieser sehr spezifischen Variante des erfindungsgemäßen Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten wird bei der Brustsegmentierung eines der folgenden Vergleichs-Merkmale verwendet:

- der segmentierte Brustmuskel in der mediolateralen Schrägansicht liegt in der oberen Ecke des Bildes ohne Kontakt mit der Brusthautlinie,
- der segmentierte Brustwarzenbereich liegt nahe bei dem Brustmuskel oder der Brustwand,
- der segmentierte Brustmuskel sollte keinen größeren Winkel als eine vorbestimmte Winkelgröße aufweisen,
- die Linie des segmentierten Brustmuskels sollte eine glatte Kante haben und die Ableitung der Brustmuskellinie kann einen gewissen Wert nicht überschreiten,
- der segmentierte Brustwarzenbereich liegt nahe bei der Brusthautlinie und der Abstand zwischen den beiden überschreitet einen gewissen Wert nicht.

Vorteilhaft können fehlerhafte Ergebnisdaten in den Darstellungen durch Abgleich mit den genannten Regeln bei der Brustbildgebung erkannt werden. Ist eine der vorstehend genannten Regeln nicht erfüllt, so liegt ein Hinweis für eine fehlerhafte KI-basierte Auswertung der Bilddaten vor.
Das erfindungsgemäße Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten kann auch bei einem Vorgang zur Reduktion des Bildrauschens eingesetzt werden. Dabei wird als Vergleichs-Merkmal ein Referenz-Bildrauschen verwendet und es erfolgt ein Vergleich des Bildrauschens der Bilddaten mit dem Referenz-Bildrauschen.
Das Vergleichs-Merkmal umfasst ein in eine definierte Anzahl von Frequenzkomponenten zerlegtes Referenz-Bildrauschen und das statistische Vergleichen der Vergleichs-Merkmale mit den Merkmalen weist einen Vergleich zwischen den Frequenzkomponenten des Referenz-Bildrauschens mit Frequenzkomponenten des Bildrauschens der Bilddaten auf.
Nach dem Vergleich werden statistische Ausreißer aus jeder der Frequenzkomponenten des Bildrauschens der Bilddaten entfernt, die korrigierten Frequenzkomponenten des Bildrauschens werden durch Mischen wieder zusammengefügt und das korrigierte Bildrauschen wird von den Bilddaten subtrahiert. Vorteilhaft lässt sich die Bildqualität von Bilddaten, vorzugsweise medizinischen Bilddaten, durch Entfernung von unzuverlässigen Rauschinformationen verbessern.
Bevorzugt umfasst die erfindungsgemäße Validierungseinrichtung neben den bereits erwähnten Einheiten eine erste Schnittstelle für das Empfangen von auf Trainingsdaten basierenden Referenz-Ergebnisdaten und eine zweite Eingangsschnittstelle zum Empfangen von Ergebnisdaten, welche durch eine KI-basierte Auswertungseinrichtung auf Basis von Bilddaten erzeugt wurden. Vorteilhaft können die in einer KI-basierten Auswertungseinheit zu deren Training genutzten gelabelten Trainingsdaten auch für die Validierung genutzt werden und es müssen keine zusätzlichen Referenzdaten erzeugt werden. Dabei können aus den Referenz-Ergebnisdaten der Trainingsdaten Vergleichs-Merkmalsdaten gewonnen werden, die zur Validierung durch einen Vergleich mit Merkmalsdaten, die anhand von aktuellen Ergebnisdaten gewonnen wurden, genutzt werden.
Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Dabei sind in den verschiedenen Figuren gleiche Komponenten mit identischen Bezugsziffern versehen. Es zeigen:

1 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß einem ersten Ausführungsbeispiel der Erfindung,
2 eine schematische Darstellung einer Validierungseinrichtung gemäß einem Ausführungsbeispiel der Erfindung,
3 eine schematische Darstellung einer medizintechnischen bildgebenden Einrichtung gemäß einem Ausführungsbeispiel der Erfindung,
4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß einem zweiten Ausführungsbeispiel der Erfindung,
5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß einem dritten Ausführungsbeispiel der Erfindung,
6 ein Flussdiagramm zur Veranschaulichung eines Ergebnisdaten-Korrekturverfahrens gemäß einem Ausführungsbeispiel der Erfindung,
7 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten,
8 eine schematische Darstellung einer Ergebnisdaten-Korrektureinrichtung gemäß einem Ausführungsbeispiel der Erfindung,
9 eine schematische Darstellung einer Ergebnisdaten-Gewinnungseinrichtung gemäß einem Ausführungsbeispiel der Erfindung.

1 zeigt ein Flussdiagramm 100 zur Veranschaulichung eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß einem ersten Ausführungsbeispiel der Erfindung.
Bei dem Schritt 1.I werden Ergebnisdaten als Referenz-Ergebnisdaten R-ED_i erzeugt. Die Referenz-Ergebnisdaten R-ED_i können beispielsweise sogenannte Label von Trainingsdaten für ein KI-basiertes Verfahren umfassen, sie können aber auch unabhängig von einem Trainingsvorgang für ein KI-basiertes Verfahren erzeugt werden, sind aber von demselben Typ wie die Label der für das KI-basierte Verfahren verwendeten Trainingsdaten. Dabei gibt der Index i eine Nummer für einen Datensatz, beispielsweise einen Bilddatensatz, dem die Referenz-Ergebnisdaten R-ED_i zugeordnet sind, an.
Bei dem Schritt 1.II werden anhand der Referenz-Ergebnisdaten R-ED_i regelbasiert Referenz-Merkmale F_ij extrahiert. Dabei gibt der Index j eine Nummer eines extrahierten Merkmals an, welches dem i-ten Referenz-Ergebnisdatensatz R-ED_i zugeordnet ist. Die Regeln R umfassen dabei Relationen zwischen unterschiedlichen Labeln von Referenz-Ergebnisdaten R-ED_i. Diese Label können zum Beispiel unterschiedliche anatomische oder physikalische Charakteristiken umfassen. Die Regeln können durch Fachleute definiert oder durch einen Algorithmus oder einen auf maschinellem Lernen basierten Ansatz ermittelt werden.
Bei dem Schritt 1.III werden KI-basierte Ergebnisdaten ED erzeugt. Diese Ergebnisdaten ED können zum Beispiel auf der Basis von aktuell KI-basiert analysierten Daten, wie zum Beispiel Bilddaten, ermittelt werden und umfassen Sätze von Labeln, die Charakteristiken dieser aktuellen Daten wiedergeben.
Bei dem Schritt 1.IV werden nun mit denselben Regeln R, die auch bei dem Schritt 1.II angewendet wurden, Merkmale F_j* aus den bei dem Schritt 1.III ermittelten Ergebnisdaten ED extrahiert.
Bei dem Schritt 1.V wird eine Validierung der bei dem Schritt 1.III ermittelten Ergebnisdaten ED durchgeführt. Hierzu werden die aktuell extrahierten Merkmale F_j* statistisch mit den Vergleichs-Merkmalen F_ij verglichen. Dabei kann zum Beispiel der Abstand eines extrahierten Merkmals F_j* von k nächsten Nachbarn ermittelt und mit einem Schwellwert verglichen werden. Auf diese Weise kann ermittelt werden, ob sich dieses Merkmal erwartungsgemäß verhält oder möglicherweise so stark abweicht, dass auch die zugeordneten Ergebnisdaten bzw. die dem analysierten Datensatz zugeordneten Label nicht als zuverlässig eingestuft werden können. Als Vergleichsmaßstab kann zum Beispiel eine euklidische Metrik verwendet werden. Es können auch sogenannte Clustering-Verfahren für den statistischen Vergleich zwischen den aktuell extrahierten Merkmalen F_j* und den Vergleichs-Merkmalen F_ij eingesetzt werden.
Bei dem Schritt 1.VI erfolgt schließlich eine Reaktion auf das bei dem Schritt 1.IV gefundene Validierungsergebnis VE.
Eine mögliche Variante ist die Übermittlung des Validierungsergebnisses VE an den Benutzer. Dabei wird dem Benutzer angezeigt, ob eine KI-basierte Analyse eines aktuellen Datensatzes, beispielsweise ein Bilddatensatz, verlässlich ist oder nicht. Alternativ oder zusätzlich kann für den Fall, dass das extrahierte Merkmal F_j* als nicht repräsentativ eingestuft wurde, eine Transformation des extrahierten Merkmals F_j* erfolgen, so dass es konform mit dem Vergleichsdatensatz wird. Zusätzlich kann dann auch der Ergebnisdatensatz auf Basis der bei der Extraktion des Merkmals F_j* angewendeten Regel R ebenfalls geändert werden, so dass die so korrigierten Ergebnisdaten ED weiterverwendet werden können und nicht verworfen werden müssen.
In 2 ist eine schematische Darstellung einer Validierungseinrichtung 20 gemäß einem Ausführungsbeispiel der Erfindung gezeigt. Die Validierungseinrichtung 20 umfasst eine erste Schnittstelle 21 für das Empfangen von auf Trainingsbilddaten basierenden Referenz-Ergebnisdaten R-ED_i. Teil der Validierungseinrichtung 20 ist auch eine zweite Eingangsschnittstelle zum Empfangen von aktuellen Ergebnisdaten ED, welche durch eine KI-basiert arbeitende Ermittlungseinheit 32 (siehe 3) auf Basis von Bilddaten BD erzeugt wurden. Die in 2 gezeigte Validierungseinrichtung 20 umfasst auch eine Extraktionseinheit 23 zum regelbasierten Extrahieren von Vergleichs-Merkmalen F_ij aus den Labeln der Referenz-Ergebnisdaten R-ED_i und zum Extrahieren von Merkmalen F_j* aus den Labeln der aktuell ermittelten Ergebnisdaten ED. Die extrahierten Merkmale F_j* und Vergleichs-Merkmale F_ij werden an eine Vergleichseinheit 24 übermittelt, welche dazu eingerichtet ist, die Vergleichs-Merkmale F_ij mit den Merkmalen F_j* statistisch auf die im Zusammenhang mit 1 gezeigte Art und Weise zu vergleichen. Das Vergleichsergebnis V wird an eine Validierungseinheit 25 übermittelt. Die Validierungseinheit 25 ermittelt die Qualität der KI-basierten Ergebnisdaten ED auf Basis des statistischen Vergleichs und eines vorbestimmten Qualitätskriteriums.
In 3 ist eine schematische Darstellung einer medizintechnischen bildgebenden Einrichtung 30 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
Teil der medizintechnischen bildgebenden Einrichtung 30 ist eine Aufnahmeeinheit 31 zum Erzeugen von Bilddaten BD von einem Untersuchungsbereich. Die Bilddaten BD werden an eine Ermittlungseinheit 32, die ebenfalls Teil der medizintechnischen bildgebenden Einrichtung 30 ist, zur KI-basierten Ermittlung von Ergebnisdaten ED auf Basis der Bilddaten BD übermittelt. Schließlich umfasst die medizintechnische bildgebende Einrichtung 30 auch die in 2 bereits veranschaulichte Validierungseinrichtung 20, welche ein Validierungsergebnis VE auf Basis der aktuell erzeugten Ergebnisdaten ED ausgibt.
In 4 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß einem zweiten Ausführungsbeispiel der Erfindung gezeigt.
Bei dem Schritt 4.I werden auf Basis von anatomischen Trainingsbilddaten die statistisch zu erwartenden Positionen von Körperteilen, in diesem Fall des Schlüsselbeins, der Carina tracheae sowie des Atriums, ermittelt. Weiterhin werden als regelbasierte Vergleichs-Merkmale F_ij minimale Abstände D_minstat zwischen den genannten Körperteilen statistisch ermittelt.
Bei dem Schritt 4.II werden auf Basis eines trainierten KI-basierten Modells in aktuellen Bilddaten die genannten Körperteile, d. h. das Schlüsselbein, die Carina tracheae und das Atrium, als Landmarken LM lokalisiert und auf Basis der aktuellen Position dieser Körperteile bzw. Landmarken werden als Merkmale F_j* minimale Abstände D_min zwischen diesen Körperteilen berechnet.
Bei dem Schritt 4.III erfolgt nun ein statistischer Vergleich der aktuellen Merkmale F_j* mit den Vergleichs-Merkmalen F_ij. Dabei wird ermittelt, ob eine Differenz zwischen den statistischen minimalen Abständen D_minstat zwischen den Körperteilen und dem aktuellen Wert D_min einen Schwellwert SW unterschreitet oder nicht.
Ist das Vergleichsergebnis positiv, was in 4 mit „y“ gekennzeichnet ist, so werden bei dem Schritt 4.IV die erzeugten Landmarken LM, d. h. die Positionen der erwähnten Körperteile, als verlässliche Ergebnisdaten an den Benutzer ausgegeben. Falls das Vergleichsergebnis negativ ist, was in 4 mit „n“ gekennzeichnet ist, so wird bei dem Schritt 4.V eine Fehlermeldung FM ausgegeben, welche die Information umfasst, welche der Landmarken LM unzuverlässig ist. Der Benutzer kann anhand dieser Informationen zum Beispiel die Ursache dieses unzuverlässigen Ergebnisses erkennen. Ist zum Beispiel der Abstand zwischen dem Schlüsselbein und der Carina tracheae nicht korrekt, so kann daraus geschlossen werden, dass möglicherweise die Lunge kollabiert ist.
In 5 ist ein Flussdiagramm 500 zur Veranschaulichung eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten gemäß einem dritten Ausführungsbeispiel der Erfindung gezeigt, bei dem Rauschanteile von Bilddaten ermittelt und entfernt werden.
Bei dem Schritt 5.I werden charakteristische Rauschdaten CN_i für vorbestimmte Bildaufnahmeparameter ermittelt. Das in Bilddaten auftretende Rauschen kann zum Beispiel durch elektronisches Rauschen oder photonisches Rauschen der Detektoren verursacht werden. Elektronisches Rauschen weist eine Gauß-Verteilung auf, photonisches Rauschen eine Poisson-Verteilung. Die charakteristischen Rauschdaten CN_i liegen bereits als nach Frequenzanteilen zerlegte Komponenten des charakteristischen Rauschens vor.
Bei dem Schritt 5.II werden aktuell erfasste Bilddaten BD von einer Aufnahmeeinheit empfangen. Bei dem Schritt 5.III werden Rauschanteile N in den Bilddaten BD identifiziert und extrahiert. Die Identifikation der Rauschanteile erfolgt bei diesem Ausführungsbeispiel ebenfalls KI-basiert.
Die Rauschanteile N werden bei dem Schritt 5.IV in eine definierte Anzahl von Rauschkomponenten N_i zerlegt, die jeweils unterschiedlichen Frequenzbändern zugeordnet sind. Jedes der Frequenzbänder wird bei dem Schritt 5.V auf statistische Ausreißer SAR untersucht. Bei dem Schritt 5.VI werden um die statistischen Ausreißer SAR korrigierte Rauschkomponenten MN_i erzeugt. D. h., die statistischen Ausreißer SAR werden aus den jeweiligen Rauschkomponenten N_i entfernt. Diese Entfernung erfolgt auf Basis eines Vergleichs der Rauschkomponenten N_i mit den charakteristischen Rauschdaten CN_i. Die korrigierten Rauschkomponenten MN_i werden nachfolgend bei dem Schritt 5.VII wieder zu einem korrigierten und kombinierten Rauschanteil MN zusammengefügt. Schließlich werden bei dem Schritt 5.VIII um Rauscheffekte korrigierte Bilddaten BD_korr erzeugt, indem der korrigierte und kombinierte Rauschanteil MN von den ursprünglich empfangenen Bilddaten BD subtrahiert wird.
In 6 ist ein Flussdiagramm 600 zur Veranschaulichung eines Ergebnisdaten-Korrekturverfahrens gemäß einem Ausführungsbeispiel der Erfindung gezeigt.
Bei dem Schritt 6.I wird zunächst ein Validierungsergebnis VE durch ein Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten auf Basis von Ergebnisdaten ermittelt, wie es im Zusammenhang mit 1, 4 oder 5 bereits veranschaulicht wurde. Bei dem Schritt 6.II wird ein aus den Ergebnisdaten extrahiertes Merkmal F_j* derart transformiert, dass es bei einem statistischen Vergleich mit den Vergleichs-Merkmalen F_ij valide wird. Beispielsweise kann anhand des statistischen Vergleichs ermittelt werden, dass es sich bei dem extrahierten Merkmal, beispielsweise ein Abstand zwischen unterschiedlichen Landmarken, um einen „Ausreißer“ handelt. Das extrahierte Merkmal Fj* wird dann entsprechend korrigiert. Dabei wird es beispielsweise durch einen Erwartungswert der dem Vergleich zugrundeliegenden Statistik ersetzt. Dieser korrigierte Merkmalswert wird anschließend bei dem Schritt 6.III dazu genutzt, korrigierte Ergebnisdaten KED zu berechnen. Bei dieser Berechnung werden die bei der Extraktion der Vergleichs-Merkmale F_ij angewandten Regeln berücksichtigt, d.h. die Relation zwischen den Vergleichs-Merkmalen F_ij und den entsprechenden Referenz-Ergebnisdaten R-ED_i.
In 7 ist ein Flussdiagramm 700 zur Veranschaulichung eines Verfahrens zur KI-basierten Gewinnung von Ergebnisdaten auf Basis von Untersuchungsmessdaten gezeigt.
Bei dem Schritt 7.I werden Bilddaten BD von einem Untersuchungsobjekt erfasst. Auf Basis der Bilddaten BD werden bei dem Schritt 7.II KI-basiert Ergebnisdaten ED ermittelt. Weiterhin wird bei dem Schritt 7.III auf Basis der Ergebnisdaten ED ein Validierungsergebnis VE durch Anwendung eines erfindungsgemäßen Verfahrens zur Validierung der ermittelten Ergebnisdaten ED ermittelt. Bei dem Schritt 7.IV werden schließlich korrigierte Ergebnisdaten KED auf Basis des in 6 gezeigten Ergebnisdaten-Korrekturverfahrens ermittelt.
In 8 ist eine schematische Darstellung einer Ergebnisdaten-Korrektureinrichtung 80 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
Die in 8 veranschaulichte Ergebnisdaten-Korrektureinrichtung 80 weist eine bereits in 2 veranschaulichte Validierungseinrichtung 20 auf. Die Validierungseinrichtung empfängt Ergebnisdaten ED und ermittelt ein Validierungsergebnis VE auf Basis der KI-basiert gewonnenen Ergebnisdaten ED und auf Basis von Referenz-Ergebnisdaten R-ED_i, die zum Beispiel aus einer Datenbank (nicht gezeigt) bezogen werden.
Teil der Ergebnisdaten-Korrektureinrichtung 80 ist auch eine Korrektureinheit 81 zum Erzeugen korrigierter Ergebnisdaten KED für den Fall, dass das Validierungsergebnis VE negativ ist.
In 9 ist eine schematische Darstellung einer Ergebnisdaten-Gewinnungseinrichtung 90 gemäß einem Ausführungsbeispiel der Erfindung gezeigt.
Die Ergebnisdaten-Gewinnungseinrichtung 90 umfasst eine Eingangsschnittstelle 91 zum Erfassen von Bilddaten BD von einem Untersuchungsobjekt. Teil der Ergebnisdaten-Gewinnungseinrichtung 90 ist auch eine Ermittlungseinheit 32 zum KI-basierten Ermitteln von Ergebnisdaten ED auf Basis der Untersuchungsmessdaten BD. Weiterhin umfasst die Ergebnisdaten-Gewinnungseinrichtung auch die bereits in 8 veranschaulichte Ergebnisdaten-Korrektureinrichtung 80, welche eine Validierungseinrichtung 20 zum Ermitteln eines Validierungsergebnisses VE auf Basis der ermittelten Ergebnisdaten ED und eine Korrektureinheit 81 zum Erzeugen korrigierter Ergebnisdaten KED, für den Fall, dass das Validierungsergebnis VE negativ ist, umfasst.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorhergehend detailliert beschriebenen Verfahren und Vorrichtungen lediglich um Ausführungsbeispiele handelt, welche vom Fachmann in verschiedenster Weise modifiziert werden können, ohne den Bereich der Erfindung zu verlassen. Weiterhin schließt die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht aus, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit“ nicht aus, dass die betreffende Komponente aus mehreren zusammenwirkenden Teil-Komponenten, die gegebenenfalls auch räumlich verteilt sein können, besteht.

Claims

Verfahren zur Validierung von KI-basiert gewonnenen Ergebnisdaten (ED), aufweisend die Schritte: - regelbasiertes Extrahieren von Vergleichs-Merkmalen (F_ij) aus Referenz-Ergebnisdaten (R-ED_i), - Extrahieren von Merkmalen (F_j*) aus den Ergebnisdaten (ED), - statistisches Vergleichen der Vergleichs-Merkmale (F_ij) mit den Merkmalen (F_j*), - Ermitteln der Qualität der KI-basierten Ergebnisdaten (ED) auf Basis des statistischen Vergleichs und eines vorbestimmten Qualitätskriteriums.
Verfahren nach Anspruch 1, wobei die Ergebnisdaten (ED) anhand von Bilddaten (BD) gewonnen wurden.
Verfahren nach Anspruch 1 oder 2, wobei die Ergebnisdaten (ED) einen der folgenden Datentypen umfassen: - Bildsegmentierungsdaten, - detektierte Objekte, - Klassifizierungsdaten, - Regressionsdaten.
Verfahren nach einem der vorstehenden Ansprüche, wobei für den Fall, dass das Qualitätskriterium nicht erfüllt ist, eine der folgenden Maßnahmen erfolgt: - es wird eine Information an einen Benutzer ausgegeben, dass die Verlässlichkeit der Ergebnisdaten (ED) nicht ausreicht, - die Ergebnisdaten (ED) werden auf Basis der Vergleichs-Merkmale (F_ij) und der Regeln zur Extraktion der Vergleichs-Merkmale (F_ij) korrigiert.
Verfahren nach einem der vorstehenden Ansprüche, wobei bei einem Vorgang zur Reduktion von Bildrauschen von Bilddaten (BD) als Vergleichs-Merkmal (F_ij) ein Referenz-Bildrauschen verwendet wird und ein Vergleich des Bildrauschens der Bilddaten (BD) mit dem Referenz-Bildrauschen erfolgt.
Verfahren nach Anspruch 5, wobei das Vergleichs-Merkmal (F_ij) ein in eine definierte Anzahl von Frequenzkomponenten (CN_i) zerlegtes Referenz-Bildrauschen umfasst und das statistische Vergleichen der Vergleichs-Merkmale (F_ij) mit den Merkmalen (F_j*) einen Vergleich zwischen den Frequenzkomponenten (CN_i) des Referenz-Bildrauschens mit Frequenzkomponenten (N_i) des Bildrauschens der Bilddaten (BD) umfasst.
Ergebnisdaten-Korrekturverfahren, aufweisend die Schritte: - Ermitteln eines Validierungsergebnisses (VE) auf Basis eines Verfahrens zur Validierung von KI-basiert gewonnenen Ergebnisdaten (ED) nach einem der Ansprüche 1 bis 6, - Erzeugen korrigierter Ergebnisdaten (KED), für den Fall, dass das Validierungsergebnis (VE) negativ ist.
Ergebnisdaten-Korrekturverfahren nach Anspruch 7, wobei das Erzeugen korrigierter Ergebnisdaten (KED) mindestens eine der folgenden Vorgehensweisen umfasst: - erneutes Erfassen von Ersatz-Ergebnisdaten und Ersetzen der Ergebnisdaten (ED) durch die Ersatz-Ergebnisdaten, - direktes Korrigieren der Ergebnisdaten (ED) auf Basis des Vergleichs der Vergleichs-Merkmale (F_ij) mit den Merkmalen (F_j*), aufweisend die Schritte: - Korrigieren eines extrahierten Merkmals (F_j*), so dass es bei einem statistischen Vergleich mit den Vergleichs-Merkmalen (F_ij) valide wird, - Erzeugen korrigierter Ergebnisdaten (KED) auf Basis der bei der Extraktion der Vergleichs-Merkmale (F_ij) angewandten Regeln (R).
Verfahren zur KI-basierten Gewinnung von Ergebnisdaten (ED, KED) auf Basis von Untersuchungsmessdaten (BD), vorzugsweise medizinischen Bilddaten, aufweisend die Schritte: - Erfassen von Untersuchungsmessdaten (BD) von einem Untersuchungsobjekt, - KI-basiertes Ermitteln von Ergebnisdaten (ED) auf Basis der Untersuchungsmessdaten (BD), - Ermitteln eines Validierungsergebnisses (VE) auf Basis des Verfahrens nach einem der Ansprüche 1 bis 6 zur Validierung der ermittelten Ergebnisdaten (ED), - Ermitteln von gegebenenfalls korrigierten Ergebnisdaten (ED, KED) auf Basis des Validierungsergebnisses (VE) und des Verfahrens nach einem der Ansprüche 7 oder 8.
Validierungseinrichtung (20), aufweisend: - eine Extraktionseinheit (23) zum regelbasierten Extrahieren von Vergleichs-Merkmalen (F_ij) aus gelabelten Referenz-Ergebnisdaten (R-ED_i) und zum Extrahieren von Merkmalen (F_j*) aus Ergebnisdaten (ED), - eine Vergleichseinheit (24) zum statistischen Vergleichen der Vergleichs-Merkmale (F_ij) mit den Merkmalen (F_j*), - eine Validierungseinheit (25) zum Ermitteln der Qualität der KI-basierten Ergebnisdaten (ED) auf Basis des statistischen Vergleichs und eines vorbestimmten Qualitätskriteriums.
Ergebnisdaten-Korrektureinrichtung (80), aufweisend - eine Validierungseinrichtung (20) nach Anspruch 10, zum Ermitteln eines Validierungsergebnisses (VE) auf Basis von KI-basiert gewonnenen Ergebnisdaten (ED) und Referenz-Ergebnisdaten (R-ED_i), - eine Korrektureinheit (81) zum Erzeugen korrigierter Ergebnisdaten (KED), für den Fall, dass das Validierungsergebnis (VE) negativ ist.
Ergebnisdaten-Gewinnungseinrichtung (90), aufweisend: - eine Eingangsschnittstelle (91) zum Erfassen von Untersuchungsmessdaten (BD) von einem Untersuchungsobjekt, - eine Ermittlungseinheit (32) zum KI-basierten Ermitteln von Ergebnisdaten (ED) auf Basis der Untersuchungsmessdaten (BD), - eine Validierungseinrichtung (20) nach Anspruch 10 zum Ermitteln eines Validierungsergebnisses (VE) auf Basis der ermittelten Ergebnisdaten (ED) - eine Korrektureinheit (81) zum Erzeugen korrigierter Ergebnisdaten (KED), für den Fall, dass das Validierungsergebnis (VE) negativ ist.
Medizintechnische bildgebende Einrichtung (30), aufweisend: - eine Aufnahmeeinheit (31) zum Erzeugen von Bilddaten (BD) von einem Untersuchungsbereich, - eine Ermittlungseinheit (32) zur KI-basierten Ermittlung von Ergebnisdaten (ED) auf Basis der Bilddaten (BD), - eine Validierungseinrichtung (20) nach Anspruch 10 zur Validierung der Ergebnisdaten (ED) oder eine Ergebnisdaten-Korrektureinrichtung (80) nach Anspruch 11 oder eine Ergebnisdaten-Gewinnungseinrichtung (90) nach Anspruch 12.
Computerprogrammprodukt mit einem Computerprogramm, welches direkt in eine Speichereinheit einer medizintechnischen bildgebenden Einrichtung (30) ladbar ist, mit Programmabschnitten, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 auszuführen, wenn das Computerprogramm in der medizintechnischen bildgebenden Einrichtung (30) ausgeführt wird.
Computerlesbares Medium, auf welchem von einer Rechnereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 auszuführen, wenn die Programmabschnitte von der Rechnereinheit ausgeführt werden.