DE102020122749A1

DE102020122749A1 - System zur automatisierten Harmonisierung strukturierter Daten aus verschiedenen Erfassungseinrichtungen

Info

Publication number: DE102020122749A1
Application number: DE102020122749.3A
Authority: DE
Inventors: Sebastian Niehaus; Daniel Lichterfeld; Michael Diebold; Janis Reinelt
Original assignee: Aicura Medical GmbH
Current assignee: Aicura Medical GmbH
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2022-03-03
Also published as: WO2022043585A1; EP4205041A1

Abstract

Die Erfindung betrifft ein System zur automatisierten Harmonisierung strukturierter Daten aus verschiedenen Erfassungseinrichtungen vorgeschlagen, das die folgenden Komponenten umfasst:- einen Eingang für Eingangsdatensätze in verschiedenen, systemerfassungseinrichtungsspezifischen Datenstrukturen, d.h. jeweils in einer Struktur, wie sie von einer jeweiligen Erfassungseinrichtung geliefert wird,- ein Harmonisierungsmodul, welches ein Harmonisierungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, einen jeweiligen Eingangsdatensatz aus der jeweiligen systemerfassungseinrichtungsspezifischen Struktur in wenigstens einen harmonisierten Datensatz in einer global einheitlichen, harmonisierten Datenstruktur des Systems zu überführen,- ein Vorverarbeitungsmodul, das ein Vorverarbeitungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, Daten aus einem harmonisierten Daten-satz in der global einheitlichen, harmonisierten Datenstruktur in Daten in einer modellspezifische Datenstruktur zu überführen, insbesondere eine Merkmalsreduktion durchzuführen, so dass ein Datensatz mit vorverarbeiteten Daten in der modellspezifischen Datenstruktur weniger Merkmale repräsentiert, als ein entsprechender Datensatz in der global einheitlichen Struktur, und- eine automatisierte Verarbeitungseinrichtung, die dazu konfiguriert ist, vorverarbeitete Daten in der modellspezifischen Datenstruktur automatisiert zu verarbeiten, insbesondere zu Klassifizieren und ein eine mögliche Verarbeitungsungenauigkeit (loss) repräsentierendes Verlustmaß zu erzeugen und wahlweise an das Harmonisierungsmodell oder das Vorverarbeitungsmodell auszugeben.

Description

Die Erfindung betrifft ein System zum automatisierten Harmonisieren strukturierter Daten aus verschiedenen Erfassungseinrichtungen.
Erfassungseinrichtungen können beispielsweise bildgebende Geräte in der Medizintechnik wie Tomographen oder dergleichen, aber auch Messgeräte, Analysegeräte und andere Geräte sein, die Daten liefern, die typischerweise in relationalen Datensätzen strukturiert sind. Ein Problem für eine technische Datenverarbeitung ist, dass selbst Daten aus ähnlichen Geräten für den gleichen Zweck, z.B. Daten aus Tomographen - trotz einiger de facto Standards wie z.B. FIHR (Fast Healthcare Interoperability Resources) - nicht notwendigerweise die gleiche Struktur oder das gleiche Format haben. Damit ist eine einheitliche technisch automatisierte Auswertung oder Analyse dieser Daten - insbesondere eine automatisierte Analyse - nur schwer möglich.
Zur Lösung dieses Problems wird ein System zur automatisierten Harmonisierung strukturierter Daten aus verschiedenen Erfassungseinrichtungen vorgeschlagen, das die folgenden Komponenten umfasst:

- einen Eingang für Eingangsdatensätze in verschiedenen, erfassungseinrichtungsspezifischen Datenstrukturen, d.h. jeweils in einer Struktur, wie sie von einer jeweiligen Erfassungseinrichtung geliefert wird,
- ein Harmonisierungsmodul, welches ein Harmonisierungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, einen jeweiligen Eingangsdatensatz aus der jeweiligen erfassungseinrichtungsspezifischen Struktur in wenigstens einen harmonisierten Datensatz in einer global einheitlichen, harmonisierten Datenstruktur des Systems zu überführen,
- ein Vorverarbeitungsmodul, das ein Vorverarbeitungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, Daten aus einem harmonisierten Datensatz in der global einheitlichen, harmonisierten Datenstruktur in Daten in einer modellspezifische Datenstruktur zu überführen, insbesondere eine Merkmalsreduktion durchzuführen, so dass ein Datensatz mit vorverarbeiteten Daten in der modellspezifischen Datenstruktur weniger Merkmale repräsentiert, als ein entsprechender Datensatz in der global einheitlichen Struktur, und
- eine automatisierte Verarbeitungseinrichtung, die dazu konfiguriert ist, vorverarbeitete Daten in der modellspezifischen Datenstruktur automatisiert zu verarbeiten, insbesondere zu Klassifizieren und ein eine mögliche Verarbeitungsungenauigkeit (loss) repräsentierendes Verlustmaß zu erzeugen und wahlweise an das Harmonisierungsmodell oder das Vorverarbeitungsmodell auszugeben.

Das erfindungsgemäße System dient dazu, es dessen automatisierter Verarbeitungseinrichtung zu ermöglichen, Daten aus verschiedenartigen Eingangsdatensätzen, die von unterschiedlichen Quellen stammen können, gleichermaßen mittels einem oder mehrerer Klassifikationsmodelle oder einem oder mehrerer Regressionsmodelle zu verarbeiten. Die automatisierte Verarbeitungseinrichtung verkörpert somit ein oder mehrere Klassifikationsmodelle oder Regressionsmodelle, die vorzugsweise in Form jeweils eines neuronalen Netzes vorliegen.
Erfassungseinrichtungen können Geräte, wie beispielsweise Tomographen, sein, aber insbesondere auch Datenverarbeitungseinrichtungen, die Daten aus verschiedenen Quellen zu einem relationalen Datensatz zusammenführen. Die zusammengeführten Daten können Anamnesedaten sein, Patientenstammdaten, Laborwerte verschiedener Labore, Bild- oder Modelldaten von verschiedenen Modalitäten wie beispielsweise Tomographen etc.
Dementsprechend können die Formate der verschiedenen Daten voneinander abweichen, obwohl sie im Grunde den gleichen Parameter wie beispielsweise eine Leukozytenzahl betreffen können. Aber auch die Struktur der relationalen Datensätze kann unterschiedlich sein, je nachdem, wie die verschiedenen Teildatensätze aus den unterschiedlichen Quellen zu einem jeweiligen relationalen Datensatz zusammengeführt wurden.
Aus diesen Gründen können die Eingangsdatensätze sehr unterschiedlich sein, auch wenn sie um Grunde die gleichen Daten betreffen können.
Für eine automatisierte Verarbeitung ergibt sich das Problem, dass Datensätze, die sich in der Struktur und in der Form der Repräsentation von zugrundeliegenden Werten wie z.B. Labordaten etc. unterscheiden, nicht mit großer Zugehörigkeitswahrscheinlichkeit bestimmten Klassen zugeordnet werden, also zuverlässig klassifiziert werden können.
Von einer Erfassungseinrichtung gelieferte Daten bilden jeweils einen Eingangsdatensatz, der typischerweise mehrere Teildatensätze umfasst und eine Struktur hat, die von einer für das System vorgegebenen, global einheitlichen, harmonisierte Datenstruktur abweicht.
Eine Erfassungseinrichtung kann eine Vorrichtung sein, die Daten erzeugt, z.B. Bilddaten, die ein aufgenommenes Bild repräsentieren. Eine Erfassungseinrichtung kann auch eine Datenverarbeitungseinrichtung sein, mit der Daten aus verschiedenen Quellen zu einem Datensatz (der als Eingangsdatensatz für das erfindungsgemäße System dienen kann) zusammengefasst werden.
Die Daten in den Teildatensätzen können beispielsweise aufgenommene Bilder oder Volumenmodelle repräsentieren, sowie Patientendaten wie etwa Alter, Geschlecht, Größe, Gewicht, Blutgruppe, BMI, Anamnese etc. oder Labordaten, z.B. als Ergebnis einer Blutuntersuchung.
Gegenstand der Erfindung ist daher ein System zum automatisierten Harmonisieren von Datensätzen die von verschiedenen Erfassungseinrichtungen stammen. Insbesondere geht es um relationale Datensätze, die Daten aus verschiedenen Quellen bspw. von bildgebenden Geräten in Form von Teildatensätzen umfassen.
Eingehende, bspw. von einer Erfassungseinrichtung gelieferte Daten werden zunächst von einem Harmonisierungsmodul in eine global einheitliche, harmonisierte Datenstruktur überführt. Anschließend werden die einheitlich strukturierten Daten von einem Vorverarbeitungsmodul in Daten mit einer modellspezifischen Datenstruktur überführt. Diese Daten in der modellspezifischen Datenstruktur werden schließlich einer automatisierten Verarbeitungseinrichtung, bspw. einem Klassifikator oder Regressor zugeführt, der in Form eines parametrischen Modells (neuronale Netze, logische Regression etc.) oder eines nicht-parametrischen Modells (Entscheidungsbaum, Support Vector Machines, Gradient Boosting Trees etc.) realisiert sein kann.
Die automatisierte Verarbeitungseinrichtung implementiert ein Klassifikations- oder ein Regressionsmodell. Modellveränderungen des von der automatisierten Verarbeitungseinrichtung implementierten Klassifikations- oder ein Regressionsmodell werden in an sich bekannter Weise anhand von Vorhersagefehlern (Prediction Error) umgesetzt, vorzugsweise als Supervised Learning Algorithmus. Der Vorhersagefehler (prediction error) kann beispielsweise in an sich bekannter Weise mit einer loss Funktion ermittelt werden und die Veränderung des von der automatisierten Verarbeitungseinrichtung implementierten Klassifikations- oder ein Regressionsmodell kann im Falle eines neuronalen Netzes durch Anpassung der Gewichte in Knoten der Schichten durch Backpropagation erfolgen.
Der Vorhersagefehler der automatisierten Verarbeitungseinrichtung soll so gering wie möglich sein. Der Vorhersagefehler der automatisierten Verarbeitungseinrichtung beruht dabeinicht nur auf der Verarbeitung der durch das Vorverarbeitungsmodul gelieferten Daten durch die automatisierte Verarbeitungseinrichtung selbst, sondern auch auf der Verarbeitung der Eingangsdatensätze durch das Harmonisierungsmodul und der Verarbeitung der harmonisierten Datensätze durch das Vorverarbeitungsmodul. Der Vorhersagefehler wird daher nicht nur für die Anpassung des von der automatisierten Verarbeitungseinrichtung implementierten Klassifikations- oder Regressionsmodells genutzt, sondern auch zum Optimieren des durch das Harmonisierungsmodul verkörperten Harmonisierungsmodells und des durch das Vorverarbeitungsmodul verkörperte Vorverarbeitungsmodell. Sowohl das Harmonisierungsmodul als auch das Vorverarbeitungsmodul sind somit lernfähig, d.h. auf dem Wege des maschinellen Lernens trainierbar.
Das Trainieren des Harmonisierungsmoduls und des Vorverarbeitungsmoduls erfolgen somit unter Berücksichtigung des Vorhersagefehlers der automatisierten Verarbeitungseinrichtung.
Vorzugsweise verkörpert das Harmonisierungsmodul ein trainiertes neuronales Netz, insbesondere ein mehrschichtiges vollvernetztes Perzeptron oder ein tiefes Q-Netzwerk.
Vorzugsweise verkörpert das Vorverarbeitungsmodul ein trainiertes neuronales Netz, insbesondere einen Autoencoder.
Vorzugsweise ist das Harmonisierungsmodul mit mehreren Vorverarbeitungsmodulen verbunden und jedes der Vorverarbeitungsmodule ist mit einer automatisierten Verarbeitungseinrichtung verbunden.
Vorzugsweise ist die oder jede automatisierte Verarbeitungseinrichtung zum Liefern eines Feedbacks an das Harmonisierungsmodul mit diesem verbunden.
Vorzugsweise ist die oder jede automatisierte Verarbeitungseinrichtung zum Liefern eines Feedbacks an das jeweils vorgeschaltete Vorverarbeitungsmodul mit diesem verbunden.
Erfindungsgemäß wird auch ein Verbund aus mehreren Systemen der hier beschriebenen Art vorgeschlagen, bei dem die Systeme zum Austauschen von Parameterdatensätzen miteinander verbunden sind, um ein föderiertes oder kollaboratives maschinelles Lernen zu ermöglichen. Die Parameterdatensätze enthalten Parameterwerte, die durch Training erzeugte Gewichtungen der durch die Harmonisierungs- oder Vorverarbeitungsmodule verkörperten Harmonisierungs- oder Vorverarbeitungsmodelle repräsentieren.
Das Harmonisierungsmodul
Das von dem Harmonisierungsmodul verkörperte Harmonisierungsmodell ist ein Modell zum Zusammenfassen und Zuordnen der in den Teildatensätzen repräsentierenden Daten zu Teildatensätzen einer einheitlichen, harmonisierten Datenstruktur, die eine zuverlässige Verarbeitung der Daten durch die automatisierte Verarbeitungseinrichtung erleichtert. Die Zuordnungsentscheidung - d.h. die Entscheidung welche Daten aus den Teildatensätzen des jeweiligen Eingangsdatensatzes den Teildatensätzen eines Datensatzes in der global einheitlichen, harmonisierten Struktur zugeordnet werden - wird dabei als Klassifikation modelliert. Das Harmonisierungsmodul verkörpert daher vorzugsweise einen Klassifikator (classifier). Dieser kann beispielsweise als 3-schichtiges Perzeptron aufgebaut sein, das 12 Knoten pro Schicht aufweist, die miteinander voll-vernetzt sind (fully connected). Die Aktivierungsfunktion der Knoten ist vorzugsweise nichtlinear, beispielsweise eine leaky ReLU Funktion, Datengrundlage für die Zuordnungsentscheidung sind im Kontext erfasste Daten und die Herkunft des jeweiligen Eingangsdatensatzes. Das Harmonisierungsmodell ist allerdings vorzugsweise nicht vollständig approximiert, sondern ist als regelbasierte Struktur abgebildet, die um ein approximiertes (trainiertes) Modell erweitert wird.
Das Harmonisierungsmodul ist in dem trainierten Zustand des durch das Harmonisierungsmodul verkörperten Harmonisierungsmodells dazu konfiguriert, für eine geeignete Zuordnung von Teildatensätzen aus einem Eingangsdatensatz zu einem Teildatensatz der global einheitlichen, harmonisierten Datenstruktur des Systems den jeweils passendsten Teildatensatz der global einheitlichen, harmonisierten Datenstruktur zu suchen. Die Suche wird vorzugsweise als hierarchische Suche realisiert, wobei das Suchverhalten durch eine, aus einer Metaheuristik abgeleiteten deterministischen Heuristik oder einem Agenten mit einem Suchverhalten bestimmt wird, das über bestärkendes Lernen (Reinforcement Learning) approximiert wurde.
Das Suchverhalten wird vorzugsweise deterministisch durch eine Reward-Funktion eingeschränkt, die sich aus dem Feedback der automatisierten Verarbeitungseinrichtung und einem definierten Regelsatz zusammensetzt. Das Feedback der automatisierten Verarbeitungseinrichtung kann beispielsweise der mittels der loss Funktion ermittelte Loss sein, der sich als Folge des Vorhersagefehlers (prediction error) ergibt, wie er im Rahmen des überwachten Lernens (supervised learning) der automatisierten Verarbeitungseinrichtung auftritt.
Der Suchraum, innerhalb dessen das Harmonisierungsmodul nach einer geeigneten Zuordnung sucht, ist dabei durch die hierarchische Struktur der vorgegebenen global einheitlichen, harmonisierten Datenstruktur des Systems, die das Ziel der Harmonisierung ist, vorgegeben. Die vorgegebene global einheitliche, harmonisierte Datenstruktur des Systems stellt das Environment für das bevorzugte bestärkende Lernen (Reinforcement Learning) dar. Im Falle des bestärkenden Lernens kann das Training des Harmonisierungsmoduls durch vorgegebene Aktionsräume begrenzt und somit optimiert werden.
Die vorgegebenen Aktionsräume für das bestärkende Lernen können einen definierten Regelsatz repräsentieren. Dieser kann auch als Dictionary für die Zuordnung der Teildatensätze eines jeweiligen Eingangsdatensatzes zu Teildatensätzen der vorgegebenen global einheitlichen, harmonisierten Datenstruktur realisiert werden.
Die das Feedback für das Training des Harmonisierungsmoduls (also z.B. den Vorhersagefehler oder den Loss) liefernde automatisierte Verarbeitungseinrichtung kann dabei eine Black-Box-Funktion sein, welche lediglich eine Bewertung der Eingangsparameter und eine Abweichung für den Zielwert zurückgibt.
In einer Trainingsphase werden sowohl das von dem Harmonisierungsmodul verkörperte Harmonisierungsmodell als auch das vom dem Vorverarbeitungsmodul verkörperte Vorverarbeitungsmodell mittels des Feedbacks von der automatisierten Verarbeitungseinrichtung optimiert - jedoch nicht gleichzeitig, sondern nacheinander - also nur ein Modul zur jeweiligen Zeit. Dazu wird Feedback von der automatisierten Verarbeitungseinrichtung, also z.B. dem klassifizierenden neuronalen Netz, verwendet, insbesondere der Loss. Dieser soll möglichst niedrig sein.
Das erste Modul, das die eingehenden Daten verarbeitet, ist das Harmonisierungsmodul. Dieses kann bspw. eine Metaheuristik verkörpern, die eine (Entscheidungs-) Baumstruktur bildet. Während des Trainings werden für jede Knotenverbindung (Verbindung zwischen zwei Knoten im Entscheidungsbaum) der Metaheuristik in Abhängigkeit des von dem klassifizierenden neuronalen Netz gelieferten Feedbacks (insbesondere des Losses) Punkte (Gewichtungen) gebildet. Die stärksten Knotenverbindungen, also diejenigen mit der höchsten Gewichtung oder den meisten Punkten, bleiben schließlich erhalten und bilden nach dem Training eine deterministische Heuristik. Das Anpassen der Knotenverbindungen geschieht solange, bis sich eine geeignete deterministische Heuristik ausgebildet hat.
Die Metaheuristik kann also ein ursprünglicher Entscheidungsbaum sein, bei dem alle möglichen Knotenverbindungen vorhanden sind. Durch das Training entsteht eine deterministische Heuristik, die ein Entscheidungsbaum sein kann, der nur noch eindeutige Kanten hat.
Eine derartige deterministische Heuristik kann auch manuell erzeugt werden, dies wäre jedoch sehr zeitaufwendig. Erfindungsgemäß wird stattdessen eine Metaheuristik verwendet, die eine heuristische Suche ermöglicht.
Wenn das Harmonisierungsmodell eine Metaheuristik ist, die eine Baumstruktur bildet, die sich im Rahmen des Trainings ausbildet (sh. oben: es werden Punkte für die jeweiligen Knotenverbindungen gegeben um auf diese Weise weniger relevante Knotenverbindungen „absterben“ zu lassen) erfolgt die Optimierung zunächst stochastisch, in dem Merkmale aus der systemspezifischen Struktur zufällig auf Merkmale in der global einheitlichen Struktur abgebildet werden und dann schließlich das resultierende Klassifikationsergebnis betrachtet wird und die Struktur zumindest anfänglich nach einer Art Trial-and-Error-Verfahren ausgebildet und optimiert wird.
Auf diese Weise erzeugte Harmonisierungsmodelle, also bspw. aus einer Metaheuristik mittels Training erzeugte deterministische Heuristiken mit einer Baumstruktur, können für verschiedene im Übrigen lokal nicht miteinander verbundene Systeme gesammelt und aggregiert werden und jeweils anderen Systemen zur Verfügung gestellt werden, so dass ein lokal erzeugtes Harmonisierungsmodell mit einem (oder mit mehreren) lokal gespeicherten Harmonisierungsmodell hinsichtlich des Klassifikationserfolgs durch die automatisierte Verarbeitung miteinander verglichen werden.
Während des Trainings des Harmonisierungsmodells werden mögliche Zuordnungen basierend auf den hierarchischen Strukturen des Kodierungssystems exploriert und die Ergebnisveränderungen nachgeschalteter Verarbeitungsmodelle (bspw. machine learning Modelle) als Feedback für das Harmonisierungsmodell verwendet.
Verschiedene Harmonisierungsmodelle verschiedener Harmonisierungsmodule können dezentral über mehrere Instanzen mittels föderiertem oder kollaborativem Lernen approximier werden, indem zwischen den Harmonisierungsmodulen Parameterdatensätze ausgetauscht werden, die die durch das Training entstandenen Parameterwerte, insbesondere die Gewichtungen der Knoten eines jeweiligen neuronalen Netzes, enthalten.
Die Datenkommunikation zum Austausch derartiger Parameterdatensätze zwischen den einzelnen Harmonisierungsmodulen kann über einen globalen Server (siehe 5 oder 6) oder direkt von Modul zu Modul erfolgen.
Voraussetzung dafür, dass ein derartiges föderiertes oder kollaboratives Training verschiedener Harmonisierungs- oder auch Vorverarbeitungsmodule, ist, dass die jeweiligen Module Modelle mit gleicher Topologie oder Struktur verkörpern.
Alternativ kann das Harmonisierungsmodell auch auf dem Wege des bestärkenden Lernens (Reinforcement Learning) erzeugt werden, das aufeinem Markov-Modell mit Zuständen, Zustandsübergängen und einem virtuellen Agenten basiert, der Zustandsübergänge herbeiführt. Für dieses Reinforcement Learning steht das Environment fest. Das Environment sind zum einen die beim Training vorgegebenen Eingangsdatensätze mit ihren Teildatensätzen und zum anderen die vorgegebene global einheitliche Datenstruktur, auf die die Teildatensätze und die darin enthaltenen Daten abgebildet werden sollen. Im Ergebnis verkörpert das trainierte Harmonisierungsmodul Abbildungsregeln zum Abbilden der eingehenden Daten in ihrer jeweiligen systemspezifischen Datenstruktur auf die global einheitliche Datenstruktur. Die Abbildungsregeln können durch eine heuristische Suche oder ein mittels bestärkendem Lernen trainierten neuronalen Netz definiert sein.
Das Harmonisierungsmodul kann für mehrere Klassifikationsmodelle jeweils dasselbe sein und daher mit Feedback von mehreren Klassifikationsmodellen optimiert werden (Maximum-Likelyhood-Methode).
Das Harmonisierungsmodell ist vorzugsweise in Form eines tiefen Q-Netzwerks (Deep Q-Network) implementiert. Dieses hat die Topologie eines vielschichtigen Perzeptrons mit einer Eingangsschicht und einer Ausgangsschicht und zwei dazwischenliegenden verdeckten Schichten (hidden layers). Das Perzeptron wird auf dem Wege des bestärkenden Lernens, insbesondere des Q-Learnings trainiert und ist damit ein tiefes Q-Netzwerk. Ein Training mittels Q-Learnings impliziert Agenten, die Zustandsübergänge bewirken können, also beispielsweise die Zuordnung eines Teildatensatzes des Eingangsdatensatzes zu einem Teildatensatz des harmonisierten Datensatzes. Das Training basiert darauf, dass im Ergebnis günstige (vorteilhafte) Zustandsübergänge mit einem Reward für den Agenten belohnt werden. Im Rahmen des Q-Learnings kann einem jeweiligen Agenten ein Aktionsraum vorgegeben werden, sodass der Agent für Zustandsübergänge außerhalb des Aktionsraums keinen Reward erhält. Die im Rahmen des Q-Learnings vorgegebenen Aktionsräume stellen eine Regelbasis dar, die dem Harmonisierungsmodell und damit dem Harmonisierungsmodul zugrunde liegt.
Vorzugsweise ist eine derartige Regelbasis vorgegeben, da dies das Training beschleunigt und hilft, Fehlzuordnungen zu vermeiden.
Der Reward hängt auch von dem Feedback ab, das erfindungsgemäß von der automatisierten Verarbeitungseinrichtung an das Harmonisierungsmodell zurückgegeben wird. Dieses Feedback hängt von dem Vorhersagefehler ab (insbesondere dem Loss), der sich beim Training der automatisierten Verarbeitungseinrichtung auf Basis von Trainingsdatensätzen (ground truth) ergibt. Der Vorhersagefehler einer als Klassifikator oder Regressor ausgebildeten automatisierten Verarbeitungseinrichtung während des Trainings hängt nicht direkt von den als Eingangsdatensätzen genutzten Trainingsdatensätzen ab, da diese Eingangsdatensätze, bevor sie der automatisierten Verarbeitungseinrichtung zugeführt werden, zunächst von dem Harmonisierungsmodul und von dem Vorverarbeitungsmodul verarbeitet werden. Der jeweilige Vorhersagefehler, auf dem auch das Feedback zu dem Harmonisierungsmodul und dem Vorverarbeitungsmodul basiert, hängt also von der Verarbeitung der Eingangsdatensätze in dem Harmonisierungsmodul, in dem Vorverarbeitungsmodul und in der automatisierten Verarbeitungseinrichtung ab.
Das Training des Harmonisierungsmoduls oder des Vorverarbeitungsmoduls erfolgt gleichzeitig mit dem Training der automatisierten Verarbeitungseinrichtung auf Basis von Eingangsdatensätzen, die eine ground truth bilden. Durch Vergleich des Klassifikationsergebnisses oder des Regressionsergebnisses, das die automatisierte Verarbeitungseinrichtung liefert, mit den ground truth Daten lässt sich der entsprechende Vorhersagefehler bzw. Loss bestimmen.
Beim Training wird das Feedback von der automatisierten Verarbeitungseinrichtung jedoch nicht gleichzeitig sowohl dem Harmonisierungsmodul als auch dem Vorverarbeitungsmodul zuggeführt, sondern immer nur einem von beiden Modulen, sodass zusammen mit der automatisierten Verarbeitungseinrichtung entweder das Harmonisierungsmodul oder das Vorverarbeitungsmodul trainiert werden.
Die global einheitliche, harmonisierte Struktur der Datensätze, die das Harmonisierungsmodul als Ausgang liefert, ist vorgegeben und kann beispielsweise FHIR-konform sein.
Das Vorverarbeitungsmodul
Das Vorverarbeitungsmodul ist vorzugsweise dazu konfiguriert, eine Merkmalsreduktion auf dem Wege einer Hauptkomponentenanalyse durchzuführen (PCA; Principle Component Analysis). Derartiges kann bspw. dadurch erfolgen, dass das Vorverarbeitungsmodul einen Autoencoder verkörpert, der größere Merkmalsvektoren auf kleinere Merkmalsvektoren abbildet. Die Eingangsschicht des Autoencoders würde dann so viele Knoten haben, wie der Eingangsvektor Dimensionen hat und die Ausgangsschicht des Autoencoders hätte eine entsprechend geringere Zahl von Ausgangsknoten.
Auch das Vorverarbeitungsmodell, also bspw. der Autoencoder, wird mithilfe des Feedbacks von der automatisierten Verarbeitungseinrichtung, also z.B. einem Klassifikator, der ein Klassifikationsmodell in Form eines klassifizierenden neuronalen Netzes verkörpert, trainiert, um zu vorverarbeiteten Datensätzen in einer modellspezifischen Datenstruktur zu gelangen, die zu einer jeweils möglichst guten Klassifikation durch die automatisierte Verarbeitungseinrichtung führen. Das von einem jeweiligen Vorverarbeitungsmodul verkörperte Vorverarbeitungsmodell ist für ein jeweiliges Klassifikationsmodell der automatisierten Verarbeitungseinrichtung spezifisch, wie bspw. der entnommen werden kann.
Vorzugsweise ist das Vorverarbeitungsmodul dazu konfiguriert, Daten aus einem Teildatensatz eines harmonisierten Datensatzes in einen Teildatensatz zu überführen, in dem die Daten merkmalsreduziert vorliegen.
Auch für das Training des Harmonisierungsmoduls kann die das Feedback (also z.B. den Vorhersagefehler oder den Loss) liefernde automatisierte Verarbeitungseinrichtung eine Black-Box-Funktion sein, welche lediglich eine Bewertung der Eingangsparameter und einer Abweichung für den Zielwert zurückgibt.
Die Erfindung soll nun anhand von Ausführungsbeispielen mit Bezug auf die Figuren näher erläutert werden. Von den Figuren zeigt:

1: einen schematischen Überblick über das erfindungsgemäße System;
2: eine Skizze, die das Training des Harmonisierungsmoduls erläutert;
3: eine Skizze, die das Training des Vorverarbeitungsmoduls erläutert;
4: eine Skizze, die das Training des Harmonisierungsmoduls anhand des Feedbacks von verschiedenen automatisierten Verarbeitungseinrichtungen illustriert;
5: eine Skizze, die illustriert, wie trainierte Vorverarbeitungsmodelle von verschiedenen Vorverarbeitungsmodulen nach Art eines föderierten Lernens (federated learning) optimiert werden können; und
6: eine Skizze, die illustriert, wie trainierte Harmonisierungsmodelle von verschiedenen Harmonisierungsmodulen nach Art eines föderierten Lernens optimiert werden können.

1 zeigt ein System 10 zur automatisierten Harmonisierung strukturierter Daten aus verschiedenen Erfassungseinrichtungen.
Das System weist einen Eingang 12 für einen Eingangsdatensatz 14 in einer erfassungseinrichtungsspezifischen Struktur auf, d.h. in einer Struktur, wie sie von einer jeweiligen Erfassungseinrichtung geliefert wird.
Das System weist weiterhin ein Harmonisierungsmodul 16 auf, welches ein Harmonisierungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, die Daten aus der jeweiligen erfassungseinrichtungsspezifischen Struktur in wenigstens einen harmonisierten Datensatz 18 eine global einheitliche Struktur des Systems zu überführen,
Das System weist außerdem ein Vorverarbeitungsmodul 20 auf, das ein Vorverarbeitungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, Daten aus einem harmonisierten Datensatz 18 in der global einheitlichen Struktur in vorverarbeitete Daten 22 in einer modellspezifischen Datenstruktur zu überführen, insbesondere eine Merkmalsreduktion durchzuführen, so dass vorverarbeitete Daten 22 in einem vorverarbeiteten Datensatz in der modellspezifischen Datenstruktur weniger Einträge umfasst, als ein entsprechender Datensatz in der global einheitlichen Struktur.
Außerdem weist das System eine automatisierte Verarbeitungseinrichtung 24 auf, die dazu konfiguriert ist, vorverarbeitete Daten 22 in der modellspezifischen Datenstruktur automatisiert zu verarbeiten, insbesondere zu Klassifizieren und ein eine mögliche Verarbeitungsungenauigkeit (loss) oder einen möglichen Vorhersagefehler (prediction error) repräsentierendes Verlustmaß zu erzeugen und als Feedback 26 wahlweise an das Harmonisierungsmodul 16 oder das Vorverarbeitungsmodul 20 auszugeben. Die automatisierte Verarbeitungseinrichtung 24 liefert beispielsweise als Ausgangswert eine Zugehörigkeit oder eine Zugehörigkeitswahrscheinlichkeit des Eingangsdatensatzes zu einer Klasse - beispielsweise einer Krankheit - für die die automatisierte Verarbeitungseinrichtung trainiert wurde.
Die automatisierte Verarbeitungseinrichtung 24 ist beispielsweise dazu konfiguriert, einen Zugehörigkeitswahrscheinlichkeitswert zu bestimmen, der eine jeweils für beispielsweise eine Klasse ermittelte Zugehörigkeitswahrscheinlichkeit repräsentiert. Diese Zugehörigkeitswahrscheinlichkeitswerte stellen eine Vorhersage dar, die während des überwachten Lernens mit eine Ground Truth liefernden Trainingsdaten aus entsprechenden Eingangsdatensätzen für das System 10 verglichen werden kann, um einen Vorhersagefehler und/oder einen Loss zu bestimmen. Den Vorhersagefehler oder den Loss kann die automatisierte Verarbeitungseinrichtung 24 als Feedback zum Harmonisierungsmodul 18 oder zum Vorverarbeitungsmodul 20 zurück übermitteln. Dies erlaubt es, sowohl das Harmonisierungsmodul 18 als auch das Vorverarbeitungsmodul 20 während des Trainings das Systems 10 automatisch so zu optimieren, dass die von der automatisierten Verarbeitungseinrichtung 24 für jeweilige eine Klasse ermittelte Zugehörigkeitswahrscheinlichkeit möglichst groß und der Vorhersagefehler und/oder Loss möglichst klein sind.
Ein Eingangsdatensatz 14 in einer erfassungseinrichtungsspezifischen Struktur ist ein heterogener relationaler Datensatz, der aus mehreren heterogenen Teildatensätzen zusammengesetzt ist und beispielsweise in einem XML Format vorliegen kann. Beispielsweise kann ein Eingangsdatensatz einen Bilddatensatz als Teildatensatz enthalten, der ein durch Pixel oder Voxel repräsentiertes Bild oder Volumenmodell repräsentiert. Ein anderer Teildatensatz dieses Eingangsdatensatzes kann Metadaten zu dem Bilddatensatz enthalten, beispielsweise Daten, die den Aufnahmezeitpunkt, das Aufnahmemedium (die Modalität), Aufnahmeparameter wie die Schrittweite oder die Energie etc. repräsentieren. Ein weiterer Teildatensatz kann beispielsweise Laborergebnisse einer Blutuntersuchung oder ein EKG desselben Patienten repräsentieren, zu dem auch die anderen Teildatensätze gehören.
Beispielsweise kann der Eingangsdatensatz 14 für jeden Patienten Anamnesedaten (Aufnahmediagnose, Vorerkrankungen, Alter, Wohnort, BMI, Allergien usw.) und verschieden Laborwerte (Anzahl Leukozyten, verschiedene Antikörperkonzentrationen etc.) enthalten.
Das Harmonisierungsmodul 16
Die Eingangsdatensätze 14 aus unterschiedlichen Quellen - also z.B. von unterschiedlichen Kliniken - können sehr verschieden aufgebaut sein und auch verschiedenartige Teildatensätze enthalten.
Funktion des Harmonisierungsmoduls 16 ist es, unterschiedliche Eingangsdatensätze 14 in wenigstens einen harmonisierten Datensatz 18 in einem einheitlichen, harmonisierten Datenformat zu überführen und so zu jedem Eingangsdatensatz 14 einen harmonisierten Datensatz 18 zu erzeugen.
Hierzu kann das Harmonisierungsmodul 16 beispielsweise eine deterministische Heuristik verkörpern, die nach Art eines Zuordnungsbaums Daten aus den Teildatensätzen des Eingangsdatensatzes entsprechenden Teildatensätzen eines harmonisierten Datensatzes zuordnet. Die deterministische Heuristik ist aus einer Metaheuristik erzeugt, die eine allgemeine Baumstruktur repräsentiert, in der viele Knoten eines Zuordnungsbaums über viele Knotenverbindungen mit vielen anderen Knoten verbunden sind. Im Rahmen des überwachten Lernens wird dann die Anzahl der Knotenverbindungen reduziert, um eine determinierte Zuordnung von Teildatensätzen eines Eingangsdatensatzes zu Teildatensätzen eines harmonisierten Datensatzes zu bewirken.
Die deterministische Heuristik kann auch durch ein neuronales Netz approximiert sein - also in Form eines neuronalen Netzes implementiert sein. Ein geeignetes Netz ist beispielsweise ein vollvernetztes Perzeptron, das mittels bestärkendem Lernen (Reinforcment Learning) trainiert ist. Besonders geeignet ist ein tiefes Q-Netz, dass mittels Q-Learning trainiert ist. Q-Learning ist eine Form des bestärkenden Lernens, bei der dem Q-Learning Algorithmus zugrundeliegenden Agenten Aktionsräume vorgegeben werden können. Diese Aktionsräume definieren eine vorgegebene Regelbasis und strukturieren einen durch die Metaheuristik vorgegeben Entscheidungsbaum. Der Q-Learning-Algorithmus basiert auf virtuellen Agenten, die Zustandsübergänge (entsprechend den Übergängen im Entscheidungsbaum) herbeiführen und einen höheren Reward erhalten, wenn die herbeigeführten Zustandsübergänge zu einem besseren Ergebnis - also beispielsweise zu einem kleineren Vorhersagefehler der automatisierten Verarbeitungseinrichtung - führen. Durch den vorgegebenen Aktionsraum können bestimmte Zustandsübergänge pönalisiert werden. Außerdem kann das Q-Learning effizienter erfolgen, da die Anzahl möglicher Zustände kleiner wird - d.h. der Entscheidungsbaum als untrainierte Metaheuristik weniger mögliche Entscheidungen zulässt.
Für die Implementierung eines tiefen Q-Netzes eignet sich beispielsweise ein 34schichtiges Perzeptron mit jeweils 12 Knoten pro Schicht. Ein solches Perzeptron weist eine Eingangsschicht, eine Ausgangsschicht und zwei dazwischenliegende verdeckte Schichten auf. Die 12 Knoten jeder Schicht sind mit den Knoten der jeweils benachbarten Schicht(en) voll vernetzt (fully connected). Die Aktivierungsfunktion der Knoten ist vorzugsweise nichtlinear, beispielsweise eine ReLU Funktion und insbesondere eine leaky ReLU Funktion.
Alternativ kann das Harmonisierungsmodul 16 auch ein Bayes-Netz, insbesondere ein Markov-Modell und vor allem ein Hidden-Markov-Model verkörpern, das auf dem Wege des überwachten Lernens (Supervised learning) erzeugt wurde. Auch das Bayes-Netz oder das Markov-Modell können durch ein Perzeptron approximiert sein - also in Form eines Perzeptrons implementiert und durch überwachtes Lernen trainiert sein.
Zum Ausbilden der deterministischen Heuristik oder des Markov-Modells werden die beim Training der automatisierten Verarbeitungseinrichtung auftretenden Vorhersagefehler (prediction error), beispielsweise in Form eines mittels einer loss-Funktion ermittelten Losses, an das Harmonisierungsmodul rückübermittelt und die deterministische Heuristik oder das Markov-Modell oder das diese repräsentierende Perzeptron mittels bestärkenden Lernens (reinforcement learning) so trainiert, dass die von dem Harmonisierungsmodul erzeugten harmonisierten Datensätze zu einem möglichst kleinen Vorhersagefehler oder Loss für eine jeweilige Klasse führen. Voraussetzung hierfür ist, dass das Training mit grundsätzlich geeigneten Eingangsdatensätzen erfolgt, für die (als Ground Truth) bekannt ist, welcher Klasse die in dem jeweiligen Eingangsdatensatz enthaltenen Daten zuzuordnen sind.
Wenn in einer Klinik A und in einer Klinik F jeweils ein anderes Verfahren für die Bestimmung der Leukozytenanzahl verwendet wird, als in der anderen Klinik, welches nicht vergleichbare Werte liefert, kann sowohl die Art der Repräsentation (Kodierung) der Leukozytenzahlen als auch die Datenstruktur, die die repräsentierenden Daten enthält, verschieden sein. Dementsprechend können sich die von verschiedenen Kliniken stammenden Eingangsdatensätze sowohl hinsichtlich der Form der Daten als auch hinsichtlich der Position, in der die Daten im Datensatz gespeichert sind, unterscheiden. Um die Eingangsdatensätze mit einer automatisierten Verarbeitungseinrichtung, z.B. einem von einem neuronalen Netz gebildeten Klassifikator oder Regressor, verarbeiten zu können, müssen die unterschiedlichen Eingangsdatensätze in eine global einheitliche, harmonisierte Datenstruktur überführt werden, die für das System vorgegeben ist.
Ziel der Klassifikation oder Regression mittels der automatisierten Verarbeitungseinrichtung 24 kann es beispielsweise sein, auf Basis der Daten eines jeweiligen Eingangsdatensatzes das Infektionsrisiko mit Krankenhauskeimen und/oder die voraussichtliche Liegezeit zu bestimmen und/oder einen Score für das voraussichtliche Risiko von Krankenhauskeimen zu bestimmen.
Damit dies im Ergebnis möglich ist, wird jeder Eingangsdatensatz 14 zunächst dem Harmonisierungsmodul 16 zugeführt. Dieses verkörpert ein trainiertes Harmonisierungsmodell; siehe 1.
Das Harmonisierungsmodell wird mit Hilfe des Feedbacks von der automatisierten Verarbeitungseinrichtung 24 dahingehend trainiert, dass das Harmonisierungsmodul 16 Teildatensätze eines Eingangsdatensatzes erkennt und in einen geeigneten Teildatensatz der global einheitlichen, harmonisierten Datenstruktur des Systems überführt; siehe 2.
In Bezug auf die Werte (z.B. Pixel, Voxel, Laborwerte etc.) repräsentierenden Daten innerhalb eines jeweiligen Teildatensatzes ist das Harmonisierungsmodell mit Hilfe des Feedbacks von der automatisierten Verarbeitungseinrichtung dahingehend trainiert, dass das Harmonisierungsmodul die Ähnlichkeit zwischen den durch die Daten repräsentierten Werten erkennt und die Daten somit in eine einheitliche Repräsentationsform (Code-System) überführt. Für die Leukozytenanzahl wird das Harmonisierungsmodell beispielsweise dahingehend trainiert, dass es die Werte repräsentierenden Daten auf zwei Repräsentationsformen (Code-Systeme) aufteilt - also auf zwei unterschiedliche Teildatensätze der global einheitlichen, harmonisierten Datenstruktur des Systems. Der Grund hierfür ist, dass eine Gleichbehandlung der auf unterschiedliche Weise repräsentierten Werte - auch wenn sie jeweils Leukozytenzahlen repräsentieren - zu einer schlechteren Klassifikation mit einer geringeren Zugehörigkeitswahrscheinlichkeit führen. Eine äquivalente Behandlung der Werte aus den unterschiedlichen Messverfahren resultiert in einem schlechteren Zugehörigkeitswahrscheinlichkeitswert (schlecherer Reward, größerer Loss), weil der Klassifikator verschieden repräsentierte Werte nicht so genau auf einzelne Klassen abbilden kann. Die Zuordnung zu unterschiedlichen Teildatensätzen führt dazu, dass die Teildatensätze auch unterschiedlich klassifiziert werden, d.h. einem jeweils anderen Klassifikationsmodell zugeführt werden. Wechselnde Klassifikationsmodelle sorgen dafür, dass keine Überanpassung zu Gunsten eines Klassifikationsmodells entsteht. Der Austausch zwischen den Kliniken erlaubt es bereits trainierte Parameter zu nutzen und somit einen Transfereffekt zu nutzen.
Das Vorverarbeitungsmodul 20
Das Vorverarbeitungsmodell 20 sorgt für eine Auswahl der relevanten Parameter und übersetzt beide Leukozytenwerttypen in ein einheitliches Format. Insbesondere die relevanten Parameter sind dabei modellspezifisch.
Die harmonisierten Datensätze 18 werden dem Vorverarbeitungsmodul 20 zugeführt; siehe 1. Das Vorverarbeitungsmodul 20 ist ausgebildet, wenigstens einige Teildatensätze eines jeweiligen harmonisierten Datensatzes 18 in vorverarbeitete Daten 22 in einer modellspezifischen Datenstruktur zu überführen, insbesondere eine Merkmalsreduktion durchzuführen, die insofern modellspezifisch ist, als sie auf ein durch die automatisierte Verarbeitungseinrichtung 24 repräsentiertes (Multiklassen-) Klassifikationsmodell angepasst ist, weil das Vorverarbeitungsmodell (nur) mit dem Feedback der jeweils nachgeschalteten automatisierten Verarbeitungseinrichtung 24 trainiert wurde.
Beispielsweise ist das Vorverarbeitungsmodul 20 dazu konfiguriert, eine Merkmalsreduktion für solche Teildatensätze durchzuführen, die Pixel repräsentierende Bilddaten oder Voxel repräsentierende Volumendaten enthalten. Derartige Teildatensätze können beispielsweise eine Vielzahl durch Rauschen hervorgerufene Merkmale (Features) repräsentieren, die auf dem Wege der Merkmalsreduktion eliminiert werden können, so dass ein vorverarbeiteter Teildatensatz des vorverarbeiteten, modellspezifischen Datensatzes beispielsweise ein weniger verrauschtes Bild repräsentiert.
Zu diesem Zweck kann das Vorverarbeitungsmodul 20 dazu konfiguriert sein, eine Hauptkomponentenanalyse durchzuführen, für die das Vorverarbeitungsmodul als Autoencoder ausgebildet sein kann. Mögliche Implementierungen sind beispielsweise in Kramer, M. A.: „Nonlinear principal component analysis using autoassociative neural networks.“ AIChE Journal 37 (1991), Nr. 2, S. 233-243 oder Matthias Scholz „Nichtlineare Hauptkomponentenanalyse auf Basis neuronaler Netze“, Diplomarbeit, Humboldt-Universität zu Berlin, 2002 beschrieben.
Die modellspezifische Verarbeitung eines jeweils vereinheitlichten harmonisierten Datensatzes 18 durch das Vorverarbeitungsmodul 20 hat den Zweck, Daten aus bestimmten Teildatensätzen der harmonisierten Datenstruktur für die nachfolgende Verarbeitung durch die automatisierte Verarbeitungseinrichtung aufzubereiten. Wenn das Vorverarbeitungsmodul einen Autoencoder verkörpert, kann dieser dahingehend trainiert sein, dass er Labordaten aus einem jeweiligen Teildatensatz des harmonisierten Datensatzes auf eine einheitliche Skala skaliert. Auch ist es möglich, dass der Autoencoder zusätzlich oder alternativ dahingehend trainiert ist, dass er nur einzelne Labordaten auf der Ausgangsschicht wiedergibt und somit im Ergebnis die Labordaten, die auf die Eingangsschicht des Autoencoders gegeben werden, dahingehend filtert, dass nur für die nachfolgende Verarbeitung durch die automatisierte Verarbeitungseinrichtung relevantere Labordaten an diese weitergegeben werden. Falls der dem Vorverarbeitungsmodul zugeführte Teildatensatz Bilddaten enthält, kann der von dem Vorverarbeitungsmodul verkörperte Autoencoder auch dahingehend trainiert sein, in den Bilddaten repräsentiertes Rauschen zu unterdrücken oder Kontraste in den Bilddaten zu verstärken, um auf diese Weise auf der Ausgangsschicht eine matrixartige Repräsentation des jeweiligen Bildes wiederzugeben, die eine zuverlässigere Verarbeitung durch die nachfolgende automatisierte Verarbeitungseinrichtung zur Folge hat.
Auch das Vorverarbeitungsmodul 20 wird zunächst durch Training mittels Feedback von der jeweils nachgeschalteten automatisierten Verarbeitungseinrichtung 24 trainiert, allerdings nicht gleichzeitig mit dem Harmonisierungsmodul 16; siehe 3.
Auch das Training des einen Autoencoder verkörpernden Vorverarbeitungsmoduls 20 erfolgt auf Basis des Feedbacks von der automatisierten Verarbeitungseinrichtung dahingehend, dass der Vorhersagefehler der automatisierten Verarbeitungseinrichtung gegenüber der Ground Truth (die durch die Eingangsdatensätze während des Trainings des Systems 10 aus Harmonisierungsmodul 16, Vorverarbeitungsmodul 20 und automatisierter Verarbeitungseinrichtung 24 gegeben ist) möglichst klein ist. Wie bereits erläutert, kann als Maß für den Vorhersagefehler ein mittels der an sich bekannten Loss-Funktion ermittelter Loss herangezogen und als Feedback für das Training des Harmonisierungsmoduls 16 oder des Vorverarbeitungsmoduls 20 genutzt werden.
Während das Harmonisierungsmodul 16 beispielsweise ein Perzeptron verkörpert, das auf dem Wege des Q-Learnings trainiert wird und somit im Ergebnis ein tiefes Q-Netzwerk darstellt, verkörpert das Vorverarbeitungsmodul 20 beispielsweise einen Autoencoder, der mittels Backpropagation trainiert wird. Sowohl das Training des Harmonisierungsmoduls 16 als auch das Training des Vorverarbeitungsmoduls 20 basiert dabei auch auf dem Vorhersagefehler, den die automatisierte Verarbeitungseinrichtung 24 (als Klassifikator oder Regressor) gegenüber den im Training des Systems verwendeten Eingangsdatensätzen, die eine Ground Truth darstellt, liefert.
Um Eingangsdatensätze für unterschiedliche Klassifikationen oder Regressionen nutzen zu können, können entsprechend unterschiedliche automatisierte Verarbeitungseinrichtungen 24.1, 24.2 und 24.3 vorgesehen sein; siehe 4. In diesem Fall ist vorzugsweise jeder automatisierten Verarbeitungseinrichtung 24.1, 24.2 und 24,3 ein eigens Vorverarbeitungsmodul 20.1, 20.2 und 20.3 vorgeschaltet, um die Daten für das jeweilige von der automatisierten Verarbeitungseinrichtung verkörperte Klassifikations- oder Regressionsmodell modellspezifisch vorzuverarbeiten.
Das Überführen in eine einheitliche, harmonisierte Datenstruktur kann hingegen zentral erfolgen, Daher ist auch nur ein Harmonisierungsmodul 16 erforderlich.
Die von dem Harmonisierungsmodul 16, dem Vorverarbeitungsmodul 20 und der automatisierten Verarbeitungseinrichtung 24 verkörperten Modelle können typischerweise durch ihre Struktur oder Topologie und durch ihre Parametrisierung beschrieben werden. Im Falle eines neuronalen Netzes kann die Struktur und Topologie des jeweiligen neuronalen Netzes durch einen Strukturdatensatz definiert werden, der beispielsweise Angaben dazu enthält, wie viele Schichten das neuronale Netz aufweist und welcher Art diese Schichten sind, wie viel Knoten jede Schicht aufweist und wie diese mit Knoten benachbarter Schichten vernetzt sind, welche Aktivierungsfunktion ein jeweiliger Knoten implementiert usw. Ein derartiger Strukturdatensatz definiert das neuronale Netz sowohl im untrainierten wie auch im trainierten Zustand.
Durch Training des neuronalen Netzes bilden sich die Gewichtungen in den einzelnen Knoten aus, die bestimmen, wie stark Ausgangswerte von Knoten vorangegangener Schichten von einem mit diesen verbundenen Knoten einer nachfolgenden Schicht berücksichtigt werden. Die sich durch das Training des neuronalen Netzes ausbildenden Parameterwerte, also insbesondere die Gewichtungen, können in einem Parameterdatensatz gespeichert sein. Dies ermöglicht es beispielsweise, Parameterwerte von einem trainierten Harmonisierungsmodul 16 oder Vorverarbeitungsmodul 20 zu einem anderen, bis dahin untrainierten Harmonisierungsmodul 16 oder Vorverarbeitungsmodul 20 zu übertragen, sofern die jeweils verkörperten Harmonisierungs- oder Vorverarbeitungsmodelle die gleiche, durch einen Strukturdatensatz definierte Struktur haben.
Entsprechend ist es möglich, dass sowohl die Harmonisierungsmodelle als auch die Vorverarbeitungsmodelle (die jeweils durch ein Harmonisierungsmodul 16 oder ein Vorverarbeitungsmodul 20 verkörpert sind) dezentral und über mehrere Instanzen mittels föderiertem oder kollaborativem Lernen approximiert werden. Dies ist in den 5 und 6 dargestellt. Die Kommunikation zwischen einzelnen Vorverarbeitungsmodulen 20 oder einzelnen Harmonisierungsmodulen 16 kann dabei entweder direkt von Modul zu Modul erfolgen oder über einen globalen Server, der in den 5 und 6 als Wolke dargestellt ist.
In einer beispielhaften Ausführungsform hat das Harmonisierungsmodul die Struktur eines vierlagigen Perzeptrons mit einer Eingangsschicht, zwei verdeckten Schichten (hidden layers) und einer Ausgangsschicht. Jede der Schichten weist zwölf Knoten auf und die Schichten sind voll miteinander vernetzt (fully connected). Die Aktivierungsfunktion der Knoten ist vorzugsweise eine leaky ReLU-Funktion (ReLU: rectified linear unit). Entsprechend beschreibt ein zu dem Harmonisierungsmodul 16 zugehöriger Strukturdatensatz ein derartiges vierschichtiges Perzeptron. Wenn das beispielsweise vierschichte Perzeptron mittels bestärkendem Lernen (Reinforcement Learning) trainiert ist, kann das Harmonisierungsmodul 16 auch ein tiefes Q-Netzwerk (Deep-Q-Network, DQN) verkörpern.
Das jeweilige Vorverarbeitungsmodul 20 verkörpert vorzugsweise einen Auto-Encoder für die Hauptkomponentenanalyse. Der Auto-Encoder hat eine Eingangsschicht und eine Ausgangsschicht und dazwischenliegende verdeckte Schichten, beispielsweise drei verdeckte Schichten (hidden layers). Die verdeckten Schichten weisen dabei weniger Knoten auf, als die Eingangs- und die Ausgangsschichten. In an sich bekannter Weise ist ein derartiger Auto-Encoder dazu ausgebildet, die Gewichtungen in den Knoten der einzelnen Schichten derart zu optimieren - beispielsweise auf dem Weg der Backpropagation - dass beispielsweise eine auf die Eingangsschicht gegebene Pixelmatrix von der Ausgangsschicht möglichst ähnlich wiedergegeben wird. Das heißt die Abweichung der Werte der entsprechenden Knoten der Eingangsschicht und der Ausgangsschicht wird minimiert. Die sich im Rahmen des Trainings ausbildenden Gewichtungen an den Knoten einer mittleren (verdeckten) Schicht repräsentieren die Hauptgrundkomponenten der Eingangsmatrix. Die mittlere Schicht hat weniger Knoten, als die Eingangs- oder die Ausgangsschicht. Eingangsschicht und Ausgangsschicht haben jeweils die gleiche Anzahl von Knoten.
Folgendes Anwendungsbeispiel illustriert die Funktionsweise des Systems:
Sechs verschiedene Klinken liefern jeweils Eingangsdatensätze.
Ein jeweiliger Eingangsdatensatz kann beispielsweise für einen Patienten Anamnesedaten (Aufnahmediagnose, Vorerkrankungen, Alter, Wohnort, BMI, Allergien usw.) und verschieden Laborwerte (Anzahl Leukozyten, verschiedene Antikörperkonzentrationen etc.) enthalten. Ebenfalls liegen stellenweise für Patienten EKGs und medizinische Bilder vor.
Aufgabe der automatisierten Verarbeitungseinrichtungen ist es beispielsweise, auf Basis der Eingangsdatensätze das Infektionsrisiko mit Krankenhauskeimen zu bestimmen, die voraussichtliche Liegezeit zu bestimmen und einen Erwartungswert (Score) für das voraussichtliche Risiko von Krankenhauskeimen zu bestimmen. Für jede dieser Aufgaben kann eine eigene automatisierte Verarbeitungsvorrichtung 24.1, 24.2 und 24.3 vorgesehen sein (siehe 4), die jeweils ein Entscheidungsmodell nämlich beispielsweise einen Klassifikator oder Regressor, verkörpert. Jedes der Entscheidungsmodelle kann als parametrisches Modell (neuronale Netze, logische Regression etc.) oder als nicht-parametrisches Modell (Entscheidungsbaum, Support Vector Machines, Gradient Boosting Trees etc.) realisiert sein. Die Modellveränderungen werden anhand von Vorhersagefehlern umgesetzt, vorzugsweise als Supervised Learning Algorithmus.
In der Praxis ist es häufig ein Problem, dass in einer Klinik A und F ein anderes Verfahren für die Bestimmung der Leukozytenanzahl verwendet wird, als in den anderen Kliniken, welches nicht vergleichbare Werte liefert. Dementsprechend werden diese auch an einer anderen Position in dem als Eingangsdatensatz dienenden Datenmodell gespeichert. Ebenfalls sind alle sechs Datensätze in anderen Informationssystemen und Datenbankstrukturen abgelegt. Damit liegen alle sechs Datensätze in einem anderen Standard vor.
Aufgabe ist es somit zunächst, die Eingangsdatensätze in ein harmonisiertes Datensatzformat zu überführen. Dies geschieht mit Hilfe des Harmonisierungsmoduls 16 und des durch dieses verkörperte Harmonisierungsmodell (das beispielsweise ein auf dem Wege des bestärkenden Lernens trainiertes Perzeptron sein kann, siehe oben).
Während des Trainings wird das Harmonisierungsmodell auf Basis der Vorhersagefehler der drei automatisierten Verarbeitungseinrichtungen 24.1, 24.2 und 24.3 aktualisiert. Das Harmonisierungsmodell 16, welches als tiefes Q-Netzwerk (engl.: Deep Q-Network (DQN)) realisiert ist, wird vorzugsweise auf dem Wege des bestärkenden Lernens über einen Reward aktualisiert, der auf den Fehlerwerten der von den automatisierten Verarbeitungseinrichtungen 24.1, 24.2 und 24.3 verkörperten Entscheidungsmodelle basiert. Dafür wird initial eine Baumsuche eingesetzt, die die unterschiedlichen Datenformate und Datenstandards in einen globalen Standard einordnet. Der Reward erhöht sich, wenn die Zuordnung in allen Kliniken konstant zu einer Verbesserung des Harmonisierungsmodells führt.
Für die Leukozytenanzahl wird das Harmonisierungsmodell 16 dahingehend trainiert, dass es die Werte auf zwei Code-Systeme aufteilt. Eine äquivalente Behandlung der Werte aus den unterschiedlichen Messverfahren resultiert in einem schlechteren Reward. Die wechselnden Entscheidungsmodelle sorgen dafür, dass keine Überanpassung zu Gunsten eines Modells entsteht. Die DQN-Modelle werden in einem Federated Learning Setup (siehe 6) trainiert, was den Klinik-Bias reduziert. Der Austausch zwischen den Kliniken erlaubt es, bereits trainierte Parameter zu nutzen und somit einen Transfereffekt zu erzielen.
Das jeweilige Vorverarbeitungsmodul 20.1, 20.2 oder 20.3 sorgt für eine Auswahl der relevanten Parameter und übersetzt beide Leukozytenwerttypen in ein einheitliches Format. Insbesondere die relevanten Parameter sind dabei für die jeweilige automatisierte Verarbeitungseinrichtung und das durch diese verkörperte Entscheidungsmodell spezifisch. Das von dem Vorverarbeitungsmodul verkörperte Vorverarbeitungsmodell kann als Autoencoder umgesetzt werden, welcher ebenfalls förderiert trainiert wird, siehe 5.

Claims

System zur automatisierten Harmonisierung strukturierter Daten aus verschiedenen Erfassungseinrichtungen vorgeschlagen, das die folgenden Komponenten umfasst: - einen Eingang für einen Eingangsdatensatz mit heterogenen Daten in einer erfassungseinrichtungsspezifischen Struktur, - ein Harmonisierungsmodul, welches ein Harmonisierungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, einen jeweiligen Eingangsdatensatz in dessen jeweiliger erfassungseinrichtungsspezifischen Struktur in einen harmonisierten Datensatz in einer vorgegebenen, global einheitlichen Struktur des Systems zu überführen, - ein Vorverarbeitungsmodul, das ein Vorverarbeitungsmodell verkörpert, das maschinell erzeugt und dazu konfiguriert ist, Daten aus einem harmonisierten Datensatz in der global einheitlichen Struktur in vorverarbeitete Daten in einer modellspezifische Datenstruktur zu überführen, insbesondere eine Merkmalsreduktion durchzuführen, und - eine automatisierte Verarbeitungseinrichtung, die dazu konfiguriert ist, Datensätze mit vorverarbeitete Daten in der modellspezifischen Datenstruktur automatisiert zu verarbeiten, insbesondere zu Klassifizieren und ein eine mögliche Verarbeitungsungenauigkeit (loss) Verlustmaß zu erzeugen und wahlweise an das Harmonisierungsmodell oder das Vorverarbeitungsmodell auszugeben.
System gemäß Anspruch 1, bei dem das Harmonisierungsmodul ein trainiertes neuronales Netz verkörpert, insbesondere ein mehrschichtiges vollvernetztes Perzeptron oder ein tiefes Q-Netzwerk.
System gemäß Anspruch 1 oder 2, bei dem das Vorverarbeitungsmodul ein trainiertes neuronales Netz verkörpert, insbesondere einen Autoencoder.
System nach wenigstens einem der Ansprüche 1 bis 3, bei dem ein Harmonisierungsmodul mit mehreren Vorverarbeitungsmodulen verbunden ist und jedes der Vorverarbeitungsmodule mit einer automatisierten Verarbeitungseinrichtung verbunden ist.
System nach wenigstens einem der Ansprüche 1 bis 4, bei dem die oder jede automatisierte Verarbeitungseinrichtung zum Liefern eines Feedbacks an das Harmonisierungsmodul mit diesem verbunden ist.
System nach wenigstens einem der Ansprüche 1 bis 5, bei dem die oder jede automatisierte Verarbeitungseinrichtung zum Liefern eines Feedbacks an das jeweils vorgeschaltete Vorverarbeitungsmodul mit diesem verbunden ist.
System nach wenigstens einem der Ansprüche 1 bis 6, bei dem das Vorverarbeitungsmodul dazu konfiguriert ist, Daten aus einem Teildatensatz eines harmonisierten Datensatzes in einen Teildatensatz zu überführen, in dem die Daten merkmalsreduziert vorliegen.
Verbund aus mehreren Systemen gemäß der Ansprüche 1 bis 7, die zum Austauschen von Parameterdatensätzen, die Parameterwerte enthalten, die durch Training erzeugte Gewichtungen der durch die Harmonisierungs- oder Vorverarbeitungsmodule verkörperten Harmonisierungs- oder Vorverarbeitungsmodelle repräsentieren, miteinander verbunden sind, um ein föderiertes oder kollaboratives maschinelles Lernen zu ermöglichen.