DE102020101763A1

DE102020101763A1 - Machine-learning gestützte pipeline zur dimensionierung einer intraokularlinse

Info

Publication number: DE102020101763A1
Application number: DE102020101763.4A
Authority: DE
Inventors: Hendrik Burwinkel; Holger Matz; Stefan Saur; Christoph Hauger
Original assignee: Technische Universitaet Muenchen; Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2020-01-24
Filing date: 2020-01-24
Publication date: 2021-07-29
Also published as: US20230078161A1; WO2021148518A1; CN115103653A; EP4093329A1; JP2023511199A

Abstract

Es wird ein Computer-implementiertes Verfahren für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das Verfahren weist ein Bereitstellen eines Scan-Ergebnisses eines Auges. Dabei stellt das Scan-Ergebnis ein Bild einer anatomischen Struktur des Auges dar. Weiterhin weist das Verfahren ein Bestimmen von biometrischen Daten des Auges aus den Scan-Ergebnissen eines Auges und ein Verwenden eines ersten, trainierten maschinellen Lernsystems zur Bestimmung einer finalen Lageposition einer einzusetzenden Intraokularlinse, wobei ophthalmologische Daten als Eingangsdaten für das erste maschinelle Lernsystem dienen. Darüber hinaus weist das Verfahren ein Bestimmen einer ersten Brechkraft der einzusetzenden Intraokularlinse auf, welches auf einem physikalischen Modell basiert, bei dem die bestimmte finale Lageposition der Intraokularlinse und die bestimmten biometrischen Daten als Eingangsvariablen für das physikalische Modell genutzt werden.

Description

Gebiet der Erfindung
Die Erfindung bezieht sich auf eine Brechkraftbestimmung für eine Intraokularlinse und insbesondere auf ein Computer-implementiertes Verfahren für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse, ein entsprechendes System sowie ein entsprechendes Computerprogrammprodukt zur Ausführung des Verfahrens.
Technischer Hintergrund
In der Augenheilkunde ist es in den letzten Jahren immer üblicher geworden, die biologische Linse eines Auges gegen eine künstliche Intraokularlinse (IOL) - beispielsweise bei (Alters-) Fehlsichtigkeit oder bei Katarakten - auszutauschen. Dabei wird die biologische Linse durch einen minimalinvasiven Eingriff aus dem Kapselsack herausgelöst und entfernt. Die, im Falle eines Kataraktes, getrübte Linse wird dann durch ein künstliches Linsenimplantat ersetzt. Dieses künstliche Linsenimplantat oder Intraokularlinse wird dabei in den dann leeren Kapselsack eingesetzt. Die Kenntnis der richtigen Position der Intraokularlinse und der erforderlichen Brechkraft bedingen sich gegenseitig.
Aktuell genutzte IOL-Kalkulationsformeln weisen mehrere Problematiken auf. Zunächst wird die Position der Intraokularlinse in vielen Formeln als effektive Linsenposition (ELP) berechnet. Da es sich bei dieser Größe nicht um eine reale anatomische Größe handelt, kann sie nicht direkt in einem physikalischen Modell berücksichtigt werden, um hiermit die komplexe Augenoptik eines Patienten zu berechnen. Die ELP ist für die jeweilige Formel berechnet und optimiert, sodass keine direkte Vergleichbarkeit zwischen den ELPs verschiedener Formeln gegeben ist und das Modell kein anatomisch korrektes optisches System nutzt.
Ein zweiter Aspekt ist, dass aktuelle IOL-Formeln in ihrer Prädiktion Modelle nutzen, die versuchen, über einige Parameter ein Fine-Tuning auf eine Datenlage vorzunehmen. Da diese von den Entwicklern manuell vordefiniert sind, handelt es sich hierbei nicht zwangsläufig um die jeweils beste Repräsentation. Neue Formeln wie die Hill-RBF-Formel umgehen diese Beschränkung durch die Nutzung von Machine-Learning-Ansätzen, die in der Lage sind, sich selbstständig an der Datenlage zu optimieren. Hierbei beruht ihre Vorhersage aber auf reiner Datenmasse, d.h., das System nutzt keine physikalischen Konzepte und ist daher in seiner Effektivität beschränkt.
Generell zeigen die aktuellen Ansätze keine optimale Kombination aller vorhandenen Informationen und Modelle, die zur Verfügung stehen.
Ausgehend von den Nachteilen der bekannten Verfahren zur näherungsweisen Bestimmung einer korrekten Brechkraft für eine einzusetzende IOL besteht eine zugrunde liegende Aufgabe für das hier vorgestellte Konzept darin, ein Verfahren und ein System für verbesserte, integrierte und schnelle IOL-Brechkraftvorhersagen für eine Intraokularlinse anzugeben, das elegant erweiterbar ist.
Übersicht über die Erfindung
Diese Aufgabe wird durch das hier vorgeschlagene Verfahren, das entsprechende System und das zugehörige Computerprogrammprodukt entsprechend den unabhängigen Ansprüchen gelöst. Weitere Ausgestaltungen werden durch die jeweils abhängigen Ansprüche beschrieben.
Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Computer-implementiertes Verfahren für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das Verfahren kann ein Bereitstellen eines Scan-Ergebnisses eines Auges aufweisen. Das Scan-Ergebnis kann ein Bild einer anatomischen Struktur des Auges darstellen.
Das Verfahren kann weiterhin ein Bestimmen von biometrischen Daten des Auges aus den Scan-Ergebnissen eines Auges und ein Verwenden eines ersten trainierten maschinellen Lernsystems zur Bestimmung einer finalen Lageposition einer einzusetzenden Intraokularlinse aufweisen. Dabei können ophthalmologische Daten als Eingangsdaten für das erste maschinelle Lernsystem dienen. Schließlich kann das Verfahren ein Bestimmen einer ersten Brechkraft der einzusetzenden Intraokularlinse basierend auf einem physikalischen Modell, bei dem die bestimmte finale Lageposition der Intraokularlinse und die bestimmten biometrischen Daten als Eingangsvariablen für das physikalischen Modell genutzt werden, aufweisen.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verarbeitungspipeline-System für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse vorgestellt.
Das Verarbeitungspipeline-System kann ein Empfangsmodul, das angepasst ist zum Bereitstellen eines Scan-Ergebnisses eines Auges, aufweisen. Dabei kann das Scan-Ergebnis ein Bild einer anatomischen Struktur des Auges darstellen.
Weiterhin kann das Verarbeitungspipeline-System eine Bestimmungseinheit, die angepasst ist zum Bestimmen von biometrischen Daten des Auges aus den Scan-Ergebnissen eines Auges, und ein erstes trainiertes maschinelles Lernsystem zur Bestimmung einer finalen Lageposition einer einzusetzenden Intraokularlinse aufweisen. Die ophthalmologische Daten können als Eingangsdaten für das erste maschinelle Lernsystem dienen.
Schließlich kann das Verarbeitungspipeline-System eine Bestimmungseinheit, die angepasst ist zum Bestimmen einer ersten Brechkraft der einzusetzenden Intraokularlinse basierend auf einem physikalischen Modell, bei dem die bestimmte finale Lageposition der Intraokularlinse und die bestimmten biometrischen Daten als Eingangsvariablen für das physikalische Modell genutzt werden, aufweisen.
Darüber hinaus können sich Ausführungsformen auf ein Computerprogrammprodukt beziehen, auf welches von einem Computer-verwendbaren oder Computer-lesbaren Medium zugegriffen werden kann, das Programm-Code zur Nutzung durch oder in Verbindung mit einem Computer oder anderen Instruktionsverarbeitungssystemen aufweist. Im Kontext dieser Beschreibung kann ein Computer-verwendbares oder Computer-lesbares Medium jede Vorrichtung sein, die zur Speicherung, zum Kommunizieren, zur Weiterleitung oder zum Transport des Programm-Codes geeignet ist.
Das Computer-implementierte Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse weist mehrere Vorteile und technische Effekte auf, die auch entsprechend für das zugehörige System gelten können: das hier vorgestellte Verfahren adressiert elegant die bekannten negativen Eigenschaften der bereits oben beschriebenen Nachteile. Insbesondere ermöglicht der dem Verfahren zugrunde liegende Algorithmus „ZAI“ eine optimierte Berechnung der notwendigen Brechkraft einer während einer Katarakt-Operation eingesetzten Intraokularlinse. Der vorgestellte Algorithmus erlaubt es, eine durch Machine-Learning optimierte anatomisch korrekte Prädiktion der IOL-Position mit einem komplexen physikalischen Modell zu vereinen und die IOL Kalkulation durch Machine-Learning zu verfeinern. Damit können sowohl eine IOL-Position wie auch eine IOL-Brechkraftbestimmung in einem Vorgang - oder anders ausgedrückt: innerhalb eine Pipeline - ohne Medienbrüche bestimmt werden.
Dabei können sowohl physikalische Rechenmodelle wie auch Konzepte des maschinellen Lernens auf der Basis von klinischen ophthalmologischen Daten miteinander verknüpft in einer Pipeline zur integrierten Positionsbestimmung wie auch zur Brechkraftbestimmung der Intraokularlinse genutzt werden.
Ein maschinelles Lemsystem für die Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das ausschließlich auf verfügbaren klinischen ophthalmologischen Daten basiert, würde einerseits eine vergleichsweise lange Trainingszeit benötigen, und anderseits würden bekannte Eigenschaften von physikalischen Modellen nicht berücksichtigt werden können.
Dabei wird jeweils der Geschwindigkeitsvorteil ausgenutzt, der entsteht, wenn ein bereits trainiertes maschinelles Lernmodell durch bessere oder weitere Trainingsdaten erneut trainiert wird. Dies kann die gesamte Trainingszeit signifikant verkürzen, wodurch deutlich Rechenleistung gespart werden kann, und somit die vorhandenen Rechnerkapazitäten besser eingesetzt werden können.
Weiterhin erlaubt es die Nutzung der echten physikalischen Position der IOL, Modelle beliebiger Genauigkeit und letztlich auch exakte physikalische Modelle zu verwenden. Das vorgestellte Verfahren ist also nicht auf Modelle von bestimmten Größen beschränkt und der final zu bestimmende Wert ist letztlich universell. Im Gegensatz dazu stehen die bisher verwendeten Formeln als effektive Linsenposition (ELP), da es sich bei dieser Größe nicht um eine reale anatomische Größe handelt. Sie kann deshalb auch nicht direkt in einem physikalischen Modell berücksichtigt werden, um hiermit die komplexe Augenoptik eines Patienten zu berechnen.
Intraokularlinse in vielen Formeln als effektive Linsenposition (ELP) berechnet. Da es sich bei dieser Größe nicht um eine reale anatomische Größe handelt, kann sie nicht direkt in einem physikalischen Modell berücksichtigt werden, um hiermit die komplexe Augenoptik eines Patienten zu berechnen. Die ELP ist für die jeweilige Formel berechnet und optimiert, sodass keine direkte Vergleichbarkeit zwischen den ELPs verschiedener Formeln gegeben ist und das Modell kein anatomisch korrektes optisches System nutzt
Im Folgenden werden weitere Ausführungsbeispiele vorgestellt, die sowohl im Zusammenhang mit dem Verfahren, wie auch mit dem entsprechenden System, Gültigkeit haben können.
Gemäß einem vorteilhaften Ausführungsbeispiel, kann das Verfahren zusätzlich ein Bestimmen einer finalen Brechkraft der Intraokularlinse mittels eines zweiten maschinellen Lernsystems aufweisen, wobei mindestens eine Größe aus den biometrischen Daten und die erste Brechkraft als Eingangsvariablen genutzt werden können. Die mindestens eine Größe kann beispielsweise die axiale Länge des Auges sein. Damit kann praktisch ein Transfer-Learning-Schritt vollzogen werden, der das in dem physikalischen Modell vorhandene Wissen als Basis nimmt, um eine genauere Brechkraftbestimmung zu ermöglichen. Das zweite maschinelle Lernsystem sollte dazu mit klinischen ophthalmologischen Daten, also mit Daten von realen früheren Patienten, trainiert worden sein. Typischerweise werden solche klinischen ophthalmologischen Daten annotiert. Auf diese Weise geht keine Information in der Pipeline verloren: sowohl die theoretischen Daten des physikalischen Modells wie auch die praktischen Erfahrungsdaten aus dem klinischen Alltag können berücksichtigt werden.
Auf diese Weise lassen sich auch charakteristische Eigenschaften bestimmter Kliniken bzw. deren Operationsverfahren in die Pipeline einbeziehen. Der Einsatz physikalischer Modelle erlaubt das in der Regel nicht oder nur mit dem Nachteil, von den bekannten Standards abzuweichen.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens können die biometrischen Daten des Auges mindestens eines ausgewählt aus der Gruppe bestehend aus folgendem aufweisen: einer präoperationalen axialen Länge, einer präoperationalen Linsendicke, einer präoperativen Vorkammertiefe, und einer intraoperationalen Vorkammertiefe. Diese können aus dem Verfahrensschritt „Bestimmen von biometrischen Daten des Auges aus den Scan-Ergebnissen eines Auges“ abgeleitet werden. Dies kann entweder klassisch geschehen; allerdings kann bereits auch hierfür ein maschinelles Lernsystem eingesetzt werden, welches die biometrischen Daten des Auges in einem Scan-Direkt-Verfahren bestimmen, bei dem keine manuellen Schritte erforderlich sind. Die aufgenommenen Bilddaten eines Scan-Ergebnisses können direkt zur Bestimmung der biologischen Parameter genutzt werden.
Gemäß einem vorteilhaften Ausführungsbeispiel des Verfahrens kann bei dem ersten maschinellen Lernsystem ein Convolutional Neural Network, ein Graph Attention Network, oder eine Kombination der beiden vorgenannten, eingesetzt werden. Das Convolutional Neural Network kann beispielsweise eingesetzt werden, um charakteristische Merkmale in den aufgenommenen Scan-Ergebnissen zu erkennen und um die erzeugten Bilddaten zu komprimieren. Durch das Graph Attention Network können bekannte, annotierte Bilder bzw. deren komprimierte Darstellung in einem Graphen angeordnet sein. Durch ein neu aufgenommenes, aktuelles Bild eines Patientenauges können dann durch eine Distanzmessung, zu bereits im Graphen vorhandenen Bildern, die erforderlichen biometrischen Daten bestimmt werden, z.B. die postoperative finale Lageposition der Intraokularlinse. Diese kann dann gleich in der ZAI-Pipeline genutzt werden.
Gemäß einem weiterentwickelten Ausführungsbeispiel des Verfahrens kann das zweite maschinelle Lernsystem zweistufig trainiert werden, wobei der erste Trainingsschritt ein Erzeugen - insbesondere mittels eines Computers - von ersten Trainingsdaten für ein maschinelles Lernsystem, auf Basis eines ersten physikalischen Modells für eine Brechkraft, für eine Intraokularlinse aufweisen kann. Anschießend kann dann ein Trainieren des zweiten maschinellen Lernsystems mittels der erzeugten ersten Trainingsdaten zur Bildung eines entsprechenden Lernmodells für eine Brechkraftbestimmung erfolgen. Dabei sind die Hyperparameter des maschinellen Lernsystems durch das Design und die Auswahl des maschinellen Lernsystems festgelegt, während die internen Parameter des maschinellen Lernsystems durch das Training stückweise angepasst werden.
In einem zweiten Trainingsschritt kann dann ein Trainieren des mit den ersten Trainingsdaten trainierten maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten zur Bildung eines zweiten Lernmodells für die Brechkraftbestimmung erfolgen. Dabei wird das Prinzip des Transfer-Leaming genutzt; d.h. das bereits erlernte Wissen aus dem physikalischen Modell wird jetzt durch die Nutzung von realen, klinischen, ophthalmologischen Trainingsdaten weiter spezifiziert. Auf diese Weise lässt sich der Trainingsprozess bedeutend beschleunigen und es sind weniger klinische ophthalmologische Trainingsdaten erforderlich, da die Grundstruktur bereits durch das Training mit den Daten aus dem physikalischen Modell vorkonditioniert sind.
Gemäß einem erweiterten Ausführungsbeispiel des Verfahrens kann die eine Größe aus den biometrischen Daten die präoperationale axiale Länge sein. Diese variable Größe lässt sich elegant mit bekannten Messverfahren bestimmen (z.B. mittels OCT-Messung, z.B. einem A-Scan, einem B-Scan oder eine en-face OCT-Messung).
Gemäß einem wiederum erweiterten Ausführungsbeispiel des Verfahrens kann die Bestimmung der biometrischen Daten des Auges aus dem Bild manuell oder mittels eines maschinellen Lernsystems aus den bereitgestellten Scan-Ergebnissen des Auges erfolgen. An dieser Stelle bleibt es bei dem vorgeschlagenen Verfahren offen, welches Teilverfahren für die Bestimmung der biometrischen Daten des Auges verwendet wird. Allerdings bietet sich im Sinne des Pipeline-Gedankens eine Machine-Learning-basierte Ermittlung der biometrischen Daten an.
Gemäß einem erneut erweiterten Ausführungsbeispiel des Verfahrens können bei der Bestimmung der finalen Lageposition der einzusetzenden Intraokularlinse weitere Parameter des Auges bestimmt werden. Diese können sich auf die folgenden beziehen: Als typischer weiterer Parameter könnte die IOL-Position - insbesondere die erwartete finale Lageposition der IOL nach einem Einwachsprozess - genannt werden. Darüber hinaus kann auch ein Wert von IOL-Shift genutzt werden, der eine Verschiebung senkrecht zur optischen Achse bezeichnet. Abhängig vom Shift-Wert würde sich der Strahlengang im jeweils gewählten Modell verändern.
Zusätzlich oder ergänzend kann auch ein IOL-Tilt-Wert (d.h., Verkippungswinkel der IOL gegenüber der optischen Achse) genutzt werden; auch hierdurch würde sich durch die Änderung der Strahlengang anzupassen sein. Denkbar wäre auch der IOL-Typ - insbesondere welche Haptik, welche Form, etc. eingesetzt werden. Sie kann die Position der Linse durch die Haptik/Form bestimmen und so Einfluss auf die finale Qualität der Operation (Einsatz der richtigen IOL) nehmen.
Ergänzend als zusätzlicher Parameter des Auges seien noch Kräfte auf die IOL durch den Kapselsack, etc. genannt. Hiermit können mögliche langfristige erwartete Änderungen in der Position berücksichtigt werden.
Figurenliste
Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung mit Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Ausführungsbeispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon ist es einem Fachmann möglich, aus der hier vorstehenden und nachfolgenden Beschreibung - wenn nicht anderweitig darauf hingewiesen - mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch, wenn sie zu unterschiedlichen Anspruchskategorien gehören.
Bereits oben beschriebene Aspekte sowie zusätzliche Aspekte der vorliegenden Erfindung ergeben sich unter anderem aus den beschriebenen Ausführungsbeispielen und aus den zusätzlichen weiteren, durch Bezug auf die Figuren beschriebenen, konkreten Ausgestaltungen.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden beispielhaft und mit Bezug auf die folgenden Figuren beschrieben:

1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des Computer-implementierten Verfahrens für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse dar.
2 stellt einen Querschnitt eines Teils eines Auges dar.
3 stellt ein Auge, zusammen mit verschiedenen biometrischen Parametern des Auges, dar.
4 stellt einen schematischen Aufbau wesentlicher Funktionsblöcke der Machine-Learning-gestützten Pipeline zur Dimensionierung einer Intraokularlinse, mittels des genannten Verfahrens, dar.
5 stellt ein Diagramm des erfinderischen Verarbeitungspipeline-Systems für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse dar.
6 stellt ein Diagramm eines Computersystems dar, welches zusätzlich das Verarbeitungspipeline-System gemäß 5, ganz oder teilweise, aufweisen kann.

Detaillierte Figurenbeschreibung
Im Kontext dieser Beschreibung sollen Konventionen, Begriffe und/oder Ausdrücke folgendermaßen verstanden werden:
Der Begriff „Machine-Learning gestützte Verarbeitungspipeline“ beschreibt das Gesamtkonzept des hier vorgestellten Verfahrens bzw. auch des hier vorgestellten Systems. Ausgehend von einem aufgenommenen digitalen Bild kann die finale Brechkraft einer einzusetzenden Intraokularlinse ohne Medienbruch und ohne zwischengeschobene manuelle Parameterbestimmung bestimmt werden. Dabei wird als Zwischenergebnis die finale postoperative IOL-Position auch ohne eine notwendige manuelle Parameterbestimmung genutzt. Die Verarbeitungspipeline setzt an verschiedenen Stellen maschinelle Lernsysteme ein, die mit realen Patientendaten trainiert wurden. Zusätzlich können physikalische Modelle genutzt werden. Auf diese Weise fließen in die finale Brechkraftbestimmung sowohl das Knowhow theoretischer Modelle als auch von realen Erfahrungswerten ein.
Der Begriff „Intraokularlinse“ beschreibt eine künstliche Linse, die operativ anstelle der natürlichen, biologischen Linse in das Auge eines Patienten eingesetzt werden kann.
Der Begriff „maschinelles Lernsystem“ beschreibt ein System, das auch typischerweise einem Verfahren zugeordnet ist, welches aus Beispielen lernt. Dazu wird das maschinelle Lernsystem mit annotierten (d.h. auch Metadaten enthaltenden) Trainingsdaten gefüttert, um bereits vorher festgelegte Ausgabewerte - im Falle eines Klassifikationssystems Ausgabeklassen - vorherzusagen. Wenn die Ausgabeklassen mit genügender Präzision - d.h. einer vorher bestimmten Fehlerrate - korrekt ausgegeben werden, bezeichnet man das maschinelle Lernsystem als trainiert. Es sind verschiedene maschinelle Lernsysteme bekannt. Dazu gehören neuronale Netzwerke, gefaltete neuronale Netzwerke (CNN = Convolutional Neural Network) oder auch rekurrente neuronale Netzwerke (RNN, Recurrent Neural Network).
Grundsätzlich ist der Begriff „Machine-Learning“ (bzw. maschinelles Lernen) ein Grundbegriff bzw. eine Grundfunktion aus dem Gebiet der künstlichen Intelligenz, wobei z.B. statistische Verfahren verwendet werden, um Computersystemen die Fähigkeit des „Lernens“ zu geben. Beispielsweise werden dabei bestimmte Verhaltensmuster innerhalb eines spezifischen Aufgabenbereiches optimiert. Die verwendeten Verfahren versetzen trainierte Systeme des maschinellen Lernens in die Lage, Daten zu analysieren, ohne, dass es dazu einer expliziten prozeduralen Programmierung bedarf. Typischerweise handelt es sich z.B. bei einem NN (neuronales Netzwerk) oder CNN (Convolutional Neural Network) um Beispiele für Systeme für maschinelles Lernen, um ein Netzwerk von Knoten zu bilden, welche als künstliche Neuronen agieren, und um künstliche Verbindungen zwischen den künstlichen Neuronen (sogenannte Links), wobei den künstlichen Verbindungen Parameter (z.B. Gewichtsparameter für die Verbindung) zugeordnet werden können. Während des Trainings des neuronalen Netzes passen sich die Gewichtsparameterwerte den Verbindungen automatisch, auf Basis von Eingangssignalen zur Erzeugung eines gewünschten Ergebnisses, an. Beim überwachten Lernen werden die als Eingabewerte (Trainingsdaten) gelieferten Bilder - allgemein (Eingangs-)Daten - durch gewünschte Ausgabedaten (Annotationen) ergänzt, um einen gewünschten Ausgabewert (gewünschte Klasse) zu erzeugen. Ganz allgemein betrachtet wird eine Abbildung von Eingangsdaten auf Ausgangsdaten gelernt.
Der Begriff „neuronales Netzwerk“ beschreibt ein Netzwerk aus elektronisch realisierten Knoten mit einem oder mehreren Eingängen und einem oder mehreren Ausgängen zur Durchführung von Rechenoperationen. Dabei sind ausgewählte Knoten mittels Verbindungen - sogenannte Links oder Edges - miteinander verbunden. Die Verbindungen können bestimmte Attribute, zum Beispiel Gewichtsparameterwerte, aufweisen, durch die Ausgangswerte von vorangegangenen Knoten beeinflusst werden können.
Neuronale Netze sind typischerweise in mehreren Schichten aufgebaut. Es ist mindestens eine Eingangsschicht, eine verborgene Schicht und eine Ausgangschicht vorhanden. In einem einfachen Beispiel können Bilddaten der Eingangsschicht zugeführt werden, und die Ausgangsschicht kann Klassifikationsergebnisse bezüglich der Bilddaten aufweisen. Typische neuronale Netze weisen allerdings eine große Vielzahl von verborgenen Schichten auf. Die Art und Weise der Verbindung der Knoten mit Links hängt von der Art des jeweiligen neuronalen Netzes ab. Im vorliegenden Beispiel kann der Vorhersagewert des neuronalen Lernsystems die gesuchte Brechkraft der Intraokularlinse sein.
Der Begriff „Convolutional Neural Network“ (CNN) beschreibt - als ein Beispiel für einen Klassifikator/ein Klassifikatorsystem - eine Klasse von künstlichen neuronalen Netzwerken, die auf Feed-Forward-Techniken basieren. Sie werden häufig für Bildanalysen mit Bildern, bzw. deren Pixeln, als Eingangsdaten eingesetzt. Hauptbestandteil von Convolutional Neural Networks sind dabei Faltungsschichten (daher der Name), welche eine effiziente Auswertung durch Parameter-Sharing ermöglicht. Im Gegensatz zum CNN würde in einem klassischen neuronalen Netzwerk typischerweise jeder Pixel des aufgenommenen Bildes einem künstlichen Neuron des neuronalen Netzwerkes als Eingangswert zugewiesen.
Der Begriff „Graph Attention Network“ (GAT) beschreibt ein neuronales Network, das auf graphenstrukturierten Daten operiert. Es zeigt ein besseres Verhalten als die älteren „Graph-Convolution-Netzwerke“ (CGN). Dabei kommen maskierte selbstbezogenen Schichten von Knoten zum Einsatz, die die bekannten Näherungen in CGNs verbessern, ohne auf rechenintensive Matrixoperationen aufzubauen. Statt eines GAT wäre auch ein „GCN“ (graphical convolutional network) denkbar, bei welchem es sich um eine bestimmte Architektur von neuronalen Netzen handelt, welche auch direkt auf Graphen operieren können und die dort vorhandenen strukturellen Informationen nutzen können. Alternativ wäre auch das Framework „GraphSage“ einsetzbar. Es ist für induktives Repräsentationslemen im Kontext von großen Graphen gut geeignet. Dabei kann GraphSage zum Generieren von niedrigdimensionalen Vektordarstellungen für Knoten verwendet werden und ist besonders nützlich für Diagramme mit umfangreichen Knotenattributinformationen.
Der Begriff „Transfer-Learning“ (oder auch Curriculum-Learning) beschreibt im Kontext dieses Textes, dass ein einmal entwickeltes Lernmodell - entwickelt über ein Training des maschinellen Lernsystems mit den Trainingsdaten des physikalischen Modells - erneut trainiert wird. Dieses zweite Mal wird es zwar mit verwandten Daten trainiert; allerdings stammen diese Daten aus einer anderen Quelle als beim ersten Training. Sie können entweder aus klinischen ophthalmologischen Daten bestehen oder aus einem zweiten physikalischen Modell, das für eine höhere Genauigkeit der erzielten Ergebnisse bekannt ist. Dadurch wird ein zweites Lernmodell erzeugt, das sowohl die physikalischen Modellparameter als auch die realen klinischen Daten in sich vereint. Das „Wissen“ des jeweils ersten Lernmodells wird also als Basis bzw. Ausgangspunkt für das Training zur Erzeugung des zweiten Lernmodells herangezogen. Der Lerneffekt des ersten Trainings kann so also auf den Lerneffekt des zweiten Trainings transferiert werden. Ein wesentlicher Vorteil besteht darin, dass das zweite Training vergleichsweise effektiver durchgeführt werden kann, wodurch Computerressourcen gespart werden können und wodurch das zweite Training schneller und gezielter abläuft.
Der Begriff „Parameterwert“ beschreibt geometrische bzw. biometrische Werte, bzw. ophthalmologische Daten eines Auges eines Patienten. Beispiele für Parameterwerte eines Auges werden anhand von 2 näher diskutiert.
Der Begriff „Scan-Ergebnis“ beschreibt digitale Daten, z.B. basierend auf digitalen Bildern/Aufnahmen, welche das Ergebnis einer OCT-Untersuchung (optische Kohärenztomographie) an einem Auge eines Patienten darstellt.
Der Begriff „optische Kohärenztomographie“ (abgekürzt OCT = optical coherence tomopgraphy) beschreibt ein, in der Augenheilkunde bekanntes, bildgebendes Verfahren, um zwei- und dreidimensionale Aufnahmen (2D oder 3D) aus streuenden Materialien (beispielsweise biologisches Gewebe) in Mikrometerauflösung zu erhalten. Dabei werden im Wesentlichen eine Lichtquelle, ein Strahlenteiler und ein Sensor - beispielsweise in Form eines digitalen Bildsensors - eingesetzt. In der Ophthalmologie werden durch OCT räumliche Unterschiede im Reflexionsverhalten einzelner Netzhautschichten erfasst, und morphologische Strukturen können hochaufgelöst dargestellt werden.
Der Begriff „A-Scan“ (auch axialer Tiefenscan) beschreibt ein eindimensionales Ergebnis eines Scans eines Patientenauges, welches Aufschluss über geometrische Dimensionen und Orte von Strukturen innerhalb des Auges beschreibt.
Der Begriff „B-Scan‟ beschreibt eine laterale Überlagerung mehrerer der genannten A-Scans, um einen Schnitt durch das Auge zu erzeugen. Durch eine Kombination von mehreren, so erzeugten, Schichten des Auges sind auch Volumenansichten erzeugbar.
Der Begriff „en-face OCT“ beschreibt hier ein Verfahren zur Herstellung von transversalen Schnittbildern des Auges - im Gegensatz zu longitudinalen Schnittbildern mit den oben genannten A- bzw. B-Scans.
Der Begriff „Bild“ oder auch „digitales Bild“ - z.B. aus einem Scan - beschreibt hier eine Abbildung oder das Ergebnis einer Erzeugung einer Datenmenge in Form von Pixel-Daten eines real existierenden Gegenstandes: hier beispielsweise eine Retina eines Auges. Verallgemeinert kann ein „digitales Bild“ als eine zweidimensionale Signalmatrix verstanden werden. Die Einzelvektoren der Matrix lassen sich auch aneinander fügen, um so einen Eingangsvektor für eine Schicht eines CNN zu erzeugen. Die digitalen Bilder können auch einzelne Frames von Videosequenzen sein. Bild und digitales Bild können hier als Synonyme verstanden werden.
Der Begriff „klinische ophthalmologische Trainingsdaten“ - beschreibt Daten über Patientenaugen und bereits bei diesen Patienten in der Vergangenheit eingesetzte Intraokularlinsen. Zu den klinischen ophthalmologischen Trainingsdaten können ermittelte ophthalmologische Parameterwerte, wie auch die Brechkraft und die Position der eingesetzten Linse, gehören. Diese Daten werden zu Trainingszwecken des maschinellen Lernsystems, das bereits vorher auf Basis von Daten aus einem physikalischen Modell trainiert wurde, genutzt. Die klinischen ophthalmologischen Trainingsdaten sind in der Regel annotiert.
Der Begriff „physikalisches Modell“ bezieht sich auf eine mathematische Formel, welche verschiedene Parameter eines Auges in Beziehung zueinander setzt, um Brechkraftbestimmungen vorzunehmen. Eine bekannte Formel ist die von Haigis.
Der Begriff „Brechkraft einer Intraokularlinse“ beschreibt den Brechungsindex der IOL.
Im Folgenden wird eine detaillierte Beschreibung der Figuren angegeben. Dabei versteht es sich, dass alle Details und Anweisungen in den Figuren schematisch dargestellt sind. Zunächst wird ein Blockdiagramm eines Ausführungsbeispiels des erfindungsgemäßen des erfinderischen Computer-implementierten Verfahrens für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse dargestellt. Nachfolgend werden weitere Ausführungsbeispiele, bzw. Ausführungsbeispiele für das entsprechende System beschrieben:
1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des erfinderischen Computer-implementierten Verfahrens 100 für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse - insbesondere einzusetzen in ein Auge eines Patienten - dar. Das Verfahren 100 weist dabei ein Bereitstellen 102 eines Scan-Ergebnisses eines Auges auf, wobei das Scan-Ergebnis ein Bild einer anatomischen Struktur des Auges darstellt. Dies kann mittels OCT geschehen. Ein alternatives - aber ungenaueres verfahren basiert auf Ultraschall.
Das Verfahren 100 weist weiterhin ein Bestimmen 104 von biometrischen Daten des Auges - entweder traditionell oder bereits mit Hilfe eines maschinellen Lernsystems - aus den Scan-Ergebnissen eines Auges und ein Verwenden 106 eines ersten trainierten maschinellen Lernsystems zur Bestimmung einer finalen Lageposition der einzusetzenden Intraokularlinse im Auge auf. Als finale Lageposition wird dabei die langfristige post-operative Position der IOL verstanden. Eine Bestimmung, die auf einem trainierten maschinellen Lernsystem basiert, kann die langfristige post-operative Position direkt aus einem aufgenommen Bild (oder mehreren) des Patientenauges bestimmen; manuelle Zwischenschritte können dabei entfallen. Alternativ können die ophthalmologischen Daten - insbesondere die aus dem Vorschritt oder solche, die mittels „Scan-direkt“ ermittelt werden - als Eingangsdaten für das erste trainierte maschinelle Lernsystem dienen.
Schließlich weist das Verfahren 100 ein Bestimmen 108 einer ersten Brechkraft der einzusetzenden Intraokularlinse, basierend auf einem physikalischen Modell, auf, bei dem die bestimmte finale Lageposition der Intraokularlinse und die bestimmten biometrischen Daten als Eingangsvariablen für das physikalische Modell genutzt werden. Das physikalische Modell ist dabei ein mathematisches, deterministisches Modell.
Optional kann das Bestimmen 110 der finalen Brechkraft mittels eines zweiten maschinellen Lernsystems verfeinert bzw. verbessert werden. Dabei werden die erste Brechkraft und mindestens eine Größe der biometrischen Daten - z.B. die axiale Länge - als Eingangsdaten für das zweite trainierte maschinelle Lernsystem genutzt.
2 zeigt eine symbolische Darstellung eines Querschnittes eines Auges 200 dar. Man erkennt die eingesetzte Intraokularlinse 202, die operativ nach einem Entfernen der natürlichen Augenlinse in den Kapselsack 204 eingesetzt wurde. Seitliche Strukturen 206 an der Intraokularlinse 202 sollen dafür sorgen, dass die Intraokularlinse 202 sich wirklich stabil im Kapselsack 204 verankert. Allerdings kann eine genaue Position der Intraokularlinse 202, die sich nach einer längeren Einwachsphase von beispielsweise mehreren Wochen einstellt, bisher praktisch nicht vorhergesagt werden. Das liegt unter anderem daran, dass der Kapselsack 204 im Vergleich zur eingesetzten Intraokularlinse 202 deutlich größer ist, daher vorher die komplette natürliche, aber nun entfernte Augenlinse umschlossen hat. Diese Sehnen und Muskelgewebe 208, die den Kapselsack 204 im Auge bzw. im Schädel verankern, verändern sich nach einer derartigen Operation, wodurch sich auch die Größe, die Form und die Lage des Kapselsackes 204 und damit auch die Lage der eingesetzten Intraokularlinse 202 verändern. Damit verändert sich auch der Abstand zwischen der eingesetzten Intraokularlinse 202 und der weiter hinten im Auge liegenden Retina. Optimale postoperative Ergebnisse können aber nur durch eine optimale Abstimmung der Brechkraft (Brechungsindex) der eingesetzten Intraokularlinse 202 und des Abstandes zur Retina erzielt werden. Da die Brechkraft der eingesetzten Intraokularlinse 202 nachträglich normalerweise nicht veränderbar ist, ist eine Lagevorhersage der eingesetzten Intraokularlinse 202 sehr wünschenswert.
3 stellt ein Auge 300 mit verschiedenen biometrischen Parametern des Auges dar. Insbesondere sind folgende Parameter dargestellt: axiale Länge 302 (AL, axial length), vordere Kammerdicke 304 (ACD, anterior chamber depth), Keratometriewert 306 (K, Radius), Brechkraft der Linse, Linsendicke 308 (LT, lense thickness), zentrale Korneadicke 310 (CCT, central cornea thickness), Weiß-zu-Weiß-Abstand 312 (WTW, white-to-white distance), Pupillengröße 314 (PS, pupil size), hintere Kammertiefe 316 (PCD, posterior chamber depth), Retinadicke 318 (RT, retina thickness). Mindestens einer dieser Parameter ist sowohl in den ophthalmologischen Trainingsdaten als auch in den ophthalmologischen Daten eines Patienten enthalten, die jeweils in dem Gegenstand des hier vorgestellten Konzeptes enthalten sind.
Mit anderen Worten wird zunächst mithilfe physikalischer Modelle ein maschinelles Lernsystemmodell erstellt, das das bekannte physikalische Vorwissen inkorporiert. Dies kann geschehen, indem zum Beispiel das maschinelle Lernsystem auf Simulationsdaten vortrainiert wird, oder das Training selbst kann physikalische Randbedingungen enthalten (constraint based training). Anschließend wird das Lernmodell mithilfe realer klinischer ophthalmologischer Daten an echte anatomische Variationen angepasst. Hierbei ermöglicht der gewählte Ansatz eine selbst erlernte Optimierung für das gesamte maschinelle Lernsystem auf eine beliebige Datenlage (z.B. Post-LASIK-Operationen). Hierbei kann für jeden Arzt bzw. jedes Klinikum explizit eine Anpassung vorgenommen werden. In der Anwendungsphase des maschinellen Lernsystems werden dann reale biometrische Daten als Eingabewerte für das maschinelle Lernsystem genutzt, um so die optimierte Intraokularlinsenbrechkraft zu bestimmen bzw. vorherzusagen.
Die Formulierung eines physikalischen Modells wird in die reine Parameterform eines neuronalen Netzwerkes überführt. Dieses kann sich dann in einer zweiten Trainingsphase selbstständig und bestmöglich an eine reale Datenstruktur anpassen. Mithilfe des optischen physikalischen Modells können somit eine beliebige Anzahl an Trainingsdaten erzeugt werden. Diese enthalten die Parameter des Augenmodells sowie die zugehörige IOL-Brechkraft als sogenannter Ground Truth. Mithilfe des Konzeptes „Transfer-Learning“ kann das so trainierte Modell an ein komplexeres, physikalisches Modell weitergegeben werden, das nach dem gleichen Konzept Trainingsdaten erzeugt. Somit besitzt das neuronale Netzwerk bereits vortrainierte künstliche Neuronen und kann sich so schneller und leichter an das stärkere bzw. bessere physikalische Modell anpassen. Dieses Curriculum-Learning kann bis zu einem Modell beliebiger Stärke fortgeführt werden (z.B. ein Ray-Tracing-Modell).
Im letzten Schritt wird dann das Lernmodell durch reale biometrische Daten von Patientenaugen „feinge-tuned“, wobei die dabei tatsächlich verwendeten IOL-Brechkräfte als Ground Truth verwendet werden. Somit kann das trainierte Modell in der Prädikationsphase die Vorhersage der final nötigen IOL- Brechkraft durchführen. In der Realität zeigt sich, dass, je mehr reale Daten (klinisch ophthalmologische Daten) zur Verfügung stehen, sich das maschinelle Lemsystem umso stärker in Bezug auf diese Daten optimieren lässt. Daher lässt sich das Lernmodell entsprechend der Datenlage sukzessive weiterentwickeln sowie auf verschiedene reale Datensätze anpassen.
Grundsätzlich verwendet die Pipeline ein maschinelles Lernmodell, um die Eingangsdaten aus OCT-Messungen des Patientenauges für eine optimierte Prädikation der anatomisch korrekten Position der Intraokularlinse zu verwenden. Diese Position wird dann in einem physikalischen Modell genutzt, das aufgrund der bekannten Position der Intraokularlinse ein beliebig realistisches Modell sein kann (z.B. ein normales mathematisch physikalisches Modell oder auch Ray-Tracing). Das physikalische Modell berechnet die notwendige IOL-Brechkraft für das Auge, anschließend wird das Ergebnis mithilfe von maschinellem Lernen zusätzlich verfeinert, um kleinere Modellfehler im physikalischen Modell zu korrigieren. Für das Training werden sowohl die IOL-Brechkraft-Ground-Truth-Daten als auch die IOL-Positions-Ground-Truth-Daten verwendet, um die Informationsnutzung zu optimieren.
Dazu zeigt 4 einen schematischen Aufbau wesentlicher Funktionsblöcke 400 der Machine-Learning-gestützten Pipeline zur Dimensionierung einer Intraokularlinse, mittels des genannten Verfahrens inklusive der Scanergebnisse/die Images 402 des Scans des Auges. Diese Ergebnisse - insbesondere in Form mindestens einen digitalen Bildes - können für eine klassische Extraktion biometrischer Daten 404 genutzt werden. Mindestens ein Teil dieser biometrischen Daten, wie auch die Scan-Ergebnisse selbst, werden einem Graphenbasierenden neuronalen Netzwerk 406 als Eingangsdaten zugeführt, um daraus direkt eine postoperative finale IOL-Position 408 zu bestimmen.
Als nächstes erfolgt eine manuelle, formelbasierte Brechkraftbestimmung 410 auf der Basis eines mathematisch physikalischen Modells. Als Eingangswerte für diese Brechkraftbestimmung 410 dienen sowohl die extrahierten biometrischen Daten (oder ein Teil davon) als auch die finale IOL-Position 408. Zusätzlich kann ein weiteres maschinelles Lernsystem 412 für eine optimierte Brechkraftbestimmung eingesetzt werden, welches als Eingangsdaten sowohl die zuerst bestimmte Brechkraft der Intraokularlinse (als Ergebnis der Brechkraftbestimmung 410) als auch die zuvor bestimmten biometrischen Daten 404 (oder ein Teil davon) nutzt. Das trainierte maschinelle Lernsystem 412 liefert dann auf der Basis eines entsprechenden maschinellen Lernmodells die endgültige finale Brechkraft 414.
Durch die Darstellung der in 4 genannten einzelnen Stufen bzw. Funktionseinheiten erschließt sich unmittelbar und eindeutig der Begriff der Pipeline, da sowohl die finale postoperative IOL-Position 408 wie auch die finale optimierte IOL-Brechkraft, mittels eines integrierten Prozesses, mit ineinandergreifenden Teilprozessen bestimmt werden kann.
5 stellt - der Vollständigkeit halber - ein bevorzugtes Ausführungsbeispiel von Komponenten des Verarbeitungspipeline-Systems 500 für eine Machine-Learning gestützten Verarbeitungspipelines zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse dar. Das Verarbeitungspipeline-System 500 weist ein Empfangsmodul 502 auf, das angepasst ist zum Bereitstellen eines Scan-Ergebnisses eines Auges, wobei das Scan-Ergebnis mindestens ein Bild einer anatomischen Struktur des Auges darstellt.
Weiterhin weist das Pipeline Verarbeitungssystem 500 eine Bestimmungseinheit 504, die angepasst ist zum Bestimmen von biometrischen Daten des Auges aus den Scan-Ergebnissen eines Auges, und ein erstes trainiertes maschinelles Lernsystems 506 (vgl. auch das Graphen-basierte neuronale Netzwerk 406, 4) zur Bestimmung einer finalen Lageposition einer einzusetzenden Intraokularlinse auf, wobei ophthalmologische Daten als Eingangsdaten für das erste maschinelle Lernsystem dienen.
Darüber hinaus weist das Verarbeitungspipeline-System 500 eine Bestimmungseinheit 508 (vgl. auch Funktionsblock 410, 4) auf, die angepasst ist zum Bestimmen einer ersten Brechkraft der einzusetzenden Intraokularlinse basierend auf einem physikalischen Modell, bei dem die bestimmte finale Lageposition der Intraokularlinse und die bestimmten biometrischen Daten als Eingangsvariablen für das physikalische Modell genutzt werden.
Ergänzend kann auch ein weiteres maschinelles Lernsystem 510 für eine verbesserte Vorhersage der IOL-Brechkraft genutzt werden (vgl. Funktionsblock 412, 4).
Es sei ausdrücklich darauf hingewiesen, dass die Module und Einheiten - insbesondere das Empfangsmodul 502, die Bestimmungseinheit 504, das erste trainierte maschinelle Lernsystem 506, und die Bestimmungseinheit 508 zum Bestimmen einer ersten Brechkraft mit elektrischen Signalleitungen oder über ein systeminternes Bussystem 512 verbunden sein können, um entsprechende Signale und/oder Daten von einem Modul (eine Einheit) zu einem anderen zu übertragen. Weiterhin optional können zusätzliche Module oder Funktionseinheiten an das systeminterne Bussystem 512 angeschlossen sein.
Wird als maschinelles Lernsystem ein Klassifikationssystem eingesetzt, ergibt sich die vorhergesagte Brechkraft entsprechend der vorhergesagten Klasse, die mit der größten Wahrscheinlichkeit vorhergesagt wird. Alternativ kann die finale Brechkraft der IOL auch mittels eines Regressionssystems als maschinelles Lernsystem mit numerischen Ausgabegrößen implementiert werden.
Weiterhin kann das System 500 eine Ausgabeneinheit (nicht dargestellt) aufweisen, welche zur Ausgabe oder Anzeige der vorhergesagten finalen IOL-Brechkraft, optional auch zur Anzeige der vorhergesagten IOL-Position, geeignet ist.
6 stellt ein Blockdiagramm eines Computersystems dar, welches mindestens Teile des Systems zur Brechkraftbestimmung aufweisen kann. Ausführungsformen des hier vorgeschlagenen Konzepts können grundsätzlich zusammen mit praktisch jedem Typ von Computer, unabhängig von der darin verwendeten Plattform zur Speicherung und/oder Ausführung von Programmcodes, genutzt werden. 6 stellt beispielhaft ein Computersystem 600 dar, welches zur Ausführung von Programmcode entsprechend des hier vorgestellten Verfahrens geeignet ist, aber auch das Vorhersagesystem ganz oder teilweise enthalten kann.
Das Computersystem 600 weist eine Mehrzahl von allgemein nutzbaren Funktionen (general purpose functions) auf. Dabei kann das Computersystem ein Tablet-Computer, ein Laptop-/Notebook-Computer, ein anderes tragbares oder mobiles elektronisches Gerät, ein Mikroprozessorsystem, ein Mikroprozessor-basiertes System, ein Smartphone, ein Computer-system mit speziell eingerichteten Sonderfunktionen, oder auch ein Bestandteil von einem Mikroskopsystem sein. Das Computersystem 600 kann eingerichtet sein zur Ausführung vom Computer-System ausführbaren Anweisungen - wie beispielsweise Programmmodulen - die ausgeführt werden können, um Funktionen der hier vorgeschlagenen Konzepte umzusetzen. Dazu können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. aufweisen, um bestimmte Aufgaben oder bestimmte abstrakte Datentypen zu implementieren.
Die Komponenten des Computersystems können Folgendes aufweisen: einen oder mehrere Prozessoren oder Verarbeitungseinheiten 602, ein Speichersystem 604 und ein Bussystem 606, welches verschiedene Systemkomponenten, inklusive des Speichersystems 604, mit dem Prozessor 602 verbindet. Typischerweise weist das Computersystem 600 eine Mehrzahl von, durch das Computersystem 600, zugreifbaren flüchtigen oder nicht-flüchtigen Speichermedien auf. Im Speichersystem 604 können die Daten und/oder Instruktionen (Befehle) der Speichermedien in flüchtiger Form - wie beispielsweise in einem RAM (random access memory) 608 - gespeichert sein, um von dem Prozessor 602 ausgeführt zu werden. Diese Daten und Instruktionen realisieren einzelne oder mehrere Funktionen bzw. Schritte des hier vorgestellten Konzeptes. Weitere Komponenten des Speichersystems 604 können ein Permanentspeicher (ROM) 610 und ein Langzeitspeicher 612 sein, in dem die Programmmodule und Daten (Bezugszeichen 616), wie auch Workflows, gespeichert sein können.
Das Computersystem weist zur Kommunikation eine Reihe von dedizierten Vorrichtungen (Tastatur 618, Maus/Pointing Device (nicht dargestellt), Bildschirm 620, usw.) auf. Diese dedizierten Vorrichtungen können auch in einem berührungsempfindlichen Display vereint sein. Ein separat vorgesehener I/O-Controller 614 sorgt für einen reibungslosen Datenaustausch zu externen Geräten. Zur Kommunikation über ein lokales oder globales Netzwerk (LAN, WAN, beispielsweise über das Internet) steht ein Netzwerkadapter 622 zur Verfügung. Auf dem Netzwerkadapter kann durch andere Komponenten des Computersystems 600 über das Bussystem 606 zugegriffen werden. Dabei versteht es sich, dass - obwohl nicht dargestellt - auch andere Vorrichtungen an das Computersystem 600 angeschlossen sein können.
Darüber hinaus können mindestens Teile des Systems 500 für eine Brechkraftbestimmung einer IOL (vgl. 5) an das Bussystem 606 angeschlossen sein.
Die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung wurde zum besseren Verständnis dargestellt, dient aber nicht einer unmittelbaren Einschränkung der erfinderischen Idee auf diese Ausführungsbeispiele. Weitere Modifikationen und Variationen erschließt sich der Fachmann selbst. Die hier genutzte Terminologie wurde so gewählt, um die grundsätzlichen Prinzipien der Ausführungsbeispiele am besten zu beschreiben und sie dem Fachmann leicht zugänglich zu machen.
Das hier vorgestellte Prinzip kann sowohl als System, als Verfahren, Kombinationen davon und/oder auch als Computerprogrammprodukt verkörpert sein. Dabei kann das Computerprogrammprodukt ein (oder mehrere) Computer-lesbare/s Speichermedium/-medien aufweisen, welches Computer-lesbare Programminstruktionen aufweist, um einen Prozessor oder ein Steuerungssystem dazu zu veranlassen, verschiedene Aspekte der vorliegenden Erfindung auszuführen.
Als Medien kommen elektronische, magnetische, optische, elektromagnetische, Infrarot-Medien oder Halbleitersysteme als Weiterleitungsmedium zum Einsatz; beispielsweise SSDs (solid state device/drive als Festkörperspeicher), RAM (Random Access Memory) und/oder ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) oder eine beliebige Kombination davon. Als Weiterleitungsmedien kommen auch sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen in Wellenleitern oder anderen Übertragungsmedien (z.B. Lichtimpulse in optischen Kabeln) oder elektrische Signale, die in Drähten übertragen werden, in Frage.
Das Computer-lesbare Speichermedium kann eine verkörpernde Vorrichtung sein, welche Instruktionen für eine Nutzung durch ein Instruktionsausführungsgerät vorhält bzw. speichert. Die Computer-lesbaren Programminstruktionen, die hier beschrieben sind, können auch auf ein entsprechendes Computersystem heruntergeladen werden, beispielsweise als (Smartphone-) App von einem Service-Provider über eine kabelbasierte Verbindung oder ein Mobilfunknetzwerk.
Die Computer-lesbaren Programminstruktionen zur Ausführung von Operationen der hier beschriebenen Erfindung können maschinenabhängig sein oder maschinenunabhängige Instruktionen, Microcode, Firmware, Status-definierende Daten oder jeglicher Source-Code oder Objektcode, der beispielsweise in C++, Java oder ähnlichen bzw. in konventionellen prozeduralen Programmiersprachen, wie beispielsweise der Programmiersprache „C“ oder ähnlichen Programmiersprachen, geschrieben sein. Die Computer-lesbaren Programminstruktionen können komplett durch ein Computersystem ausgeführt werden. In einigen Ausführungsbeispielen können es auch elektronische Schaltkreise, wie beispielsweise programmierbare Logikschaltkreise, Feld-programmierbare Gate Arrays (FPGA) oder programmierbare Logik-Arrays (PLA), sein, die die Computer-lesbaren Programminstruktionen durch Nutzung von Statusinformationen der Computer-lesbaren Programminstruktionen ausführen, um die elektronischen Schaltkreise entsprechend Aspekten der vorliegenden Erfindung zu konfigurieren bzw. zu individualisieren.
Darüber hinaus ist die hier vorgestellte Erfindung mit Bezug auf Flussdiagramme und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten entsprechend Ausführungsbeispielen der Erfindung dargestellt. Es sei darauf hingewiesen, dass praktisch jeder Block der Flussdiagramme und/oder Blockdiagramme als Computer-lesbare Programminstruktionen ausgestaltet sein kann.
Die Computer-lesbaren Programminstruktionen können einem General-Purpose-Computer, einem Spezialcomputer oder einem anderweitig programmierbaren Datenverarbeitungssystem zur Verfügung gestellt werden, um eine Maschine herzustellen, sodass die Instruktionen, welche durch den Prozessor oder den Computer oder andere programmierbare Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel erzeugen, um die Funktionen oder Vorgänge, die in dem Flussdiagramm und/oder Blockdiagrammen dargestellt sind, zu implementieren. Diese Computer-lesbaren Programminstruktionen können entsprechend auch auf einem Computer-lesbaren Speichermedium gespeichert werden.
In diesem Sinne kann jeder Block in dem dargestellten Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder Anteile an Instruktionen darstellen, welche mehrere ausführbare Instruktionen zur Implementierung der spezifischen Logikfunktion darstellt. In einigen Ausführungsbeispielen können die Funktionen, die in den einzelnen Blöcken dargestellt sind, in einer anderen Reihenfolge - gegebenenfalls auch parallel - ausgeführt werden.
Die dargestellten Strukturen, Materialien, Abläufe und Äquivalente aller Mittel und/oder Schritte mit zugehörigen Funktionen in den untenstehenden Ansprüchen sind dazu gedacht, alle Strukturen, Materialien oder Abläufe anzuwenden, wie es durch die Ansprüche ausgedrückt ist.
Bezugszeichenliste

100: Verfahren zum kontextsensitiven Weißabgleich
102: Verfahrensschritt zu 100
104: Verfahrensschritt zu 100
106: Verfahrensschritt zu 100
108: Verfahrensschritt zu 100
110: Verfahrensschritt zu 100
200: Auge mit Intraokularlinse
202: Intraokularlinse
204: Kapselsack
206: seitliche Strukturen
208: Sehnen und Muskeln
300: Auge
302: axiale Länge
304: vordere Kammerdicke
306: Keratometriewert
308: Linsendicke
310: zentrale Corneadicke
312: Weiß-zu-Weiß-Abstand
314: Pupillengröße
316: hintere Kammertiefe
318: Retinadicke
400: Funktionsblöcke für die Ausführung des Verfahrens
402: Scanergebnisse
404: biometrische Daten
406: neuronales Netzwerk
408: IOL-Position
410: formelbasierte Brechkraftbestimmung
412: maschinelles Lernsystem
414: finale Brechkraft
500: System zu Brechkraftvorhersage
502: Erzeugungsmodul
504: erstes Trainingsmodul
506: zweites Trainingsmodul
508: Empfangsmodul
510: weiteres maschinelles Lernsystem
512: Bussystem
600: Vorhersagesystem
600: Computersystem
602: Prozessor
604: Speichersystem
606: Bussystem
608: RAM
610: ROM
612: Langzeitspeicher
614: I/O-Controller
616: Programmmodule, potenzielle Daten
618: Tastatur
620: Bildschirm
622: Netzwerkadapter

Claims

Ein computer-implementiertes Verfahren (100) für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse (202), das Verfahren (100) aufweisend - Bereitstellen (102) eines Scan-Ergebnisses (402) eines Auges (300), wobei das Scan-Ergebnis (402) ein Bild einer anatomischen Struktur des Auges (300) darstellt, - Bestimmen (104) von biometrischen Daten (404) des Auges (300) aus den Scan-Ergebnissen (402) eines Auges, - Verwenden (106) eines ersten, trainierten maschinellen Lernsystems (406) zur Bestimmung einer finalen Lageposition (408) einer einzusetzenden Intraokularlinse (202), wobei ophthalmologische Daten (404) als Eingangsdaten für das erste maschinelle Lernsystem (406) dienen, und - Bestimmen (108) einer ersten Brechkraft (414) der einzusetzenden Intraokularlinse (202), basierend auf einem physikalischen Modell (410), bei dem die bestimmte finale Lageposition (408) der Intraokularlinse (202) und die bestimmten biometrischen Daten (404) als Eingangsvariablen für das physikalische Modell (410) genutzt werden.
Das Verfahren (100) gemäß Anspruch 1, zusätzlich aufweisend - Bestimmen einer finalen Brechkraft der Intraokularlinse mittels eines zweiten, maschinellen Lernsystems, wobei mindestens eine Größe aus den biometrischen Daten (404) und die erste Brechkraft (414) als Eingangsvariablen genutzt werden.
Das Verfahren (100) gemäß Anspruch 1 oder 2, wobei die biometrischen Daten des Auges mindestens eines ausgewählte aus der Gruppe bestehend aus einer präoperationale axiale Länge (302), einer präoperationale Linsendicke, einer präoperativen Vorkammertiefe (304), und einer intraoperationale Vorkammertiefe aufweist.
Das Verfahren (100) gemäß Anspruch 2 oder 3, bei dem das erste maschinelle Lernsystem (406) ein Convolutional Neural Network, ein Graph Attention Network oder eine Kombination der beiden vorgenannten ist.
Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem das zweite maschinelle Lernsystem (412) zweistufig trainiert wird, wobei - der ersten Trainingsschritt aufweist: - Erzeugen von ersten Trainingsdaten für ein maschinelles Lernsystem auf Basis eines ersten physikalischen Modells für eine Brechkraft für eine Intraokularlinse, - Trainieren des maschinellen Lernsystems mittels der erzeugten ersten Trainingsdaten zur Bildung eines ersten Lernmodells für eine Brechkraftbestimmung, und - wobei der zweite Trainingsschritt aufweist: - Trainieren des mit den ersten Trainingsdaten trainierten maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten zur Bildung eines zweiten Lernmodells für die Brechkraftbestimmung.
Das Verfahren (100) gemäß einem der Ansprüche 2 bis 5, wobei die eine Größe aus den biometrischen Daten (404) die präoperationale axiale Länge ist.
Das Verfahren(100) gemäß einem der vorangegangenen Ansprüche, wobei die Bestimmung von biometrischen Daten (404) des Auges aus dem Bild manuell oder mittels eines maschinellen Lernsystems aus den bereitgestellten Scan-Ergebnissen (402) des Auges erfolgt.
Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei bei der Bestimmung der finalen Lageposition (414) der einzusetzenden Intraokularlinse weitere Parameter des Auges (300) bestimmt werden.
Ein Verarbeitungspipeline-System (500) für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse (202), das Verarbeitungspipeline-System (500) aufweisend - ein Empfangsmodul (502), das angepasst ist zum Bereitstellen eines Scan-Ergebnisses (402) eines Auges (300), wobei das Scan-Ergebnis (402) ein Bild einer anatomischen Struktur des Auges (300) darstellt, - eine Bestimmungseinheit (504), die angepasst ist zum Bestimmen von biometrischen Daten (404) des Auges (300) aus den Scan-Ergebnissen (402) eines Auges (300), - ein erstes trainiertes maschinelles Lernsystem (406) zur Bestimmung einer finalen Lageposition (408) einer einzusetzenden Intraokularlinse (202), wobei ophthalmologische Daten (404) als Eingangsdaten für das erste maschinelle Lernsystem (406) dienen, und - eine Bestimmungseinheit (508), die angepasst ist zum Bestimmen einer ersten Brechkraft der einzusetzenden Intraokularlinse basierend auf einem physikalischen Modell, bei dem die bestimmte finale Lageposition der Intraokularlinse und die bestimmten biometrischen Daten als Eingangsvariablen für das physikalischen Modell genutzt werden.
Ein Computerprogrammprodukt für eine Machine-Learning gestützte Verarbeitungspipeline zur Parameterwertebestimmung für eine einzusetzende Intraokularlinse, wobei das Computerprogrammprodukt ein Computer-lesbares Speichermedium aufweist, welches darauf gespeicherte Programminstruktionen aufweist, wobei die Programminstruktionen durch einen oder mehrere Computer oder Steuereinheiten ausführbar sind und den einen oder die mehreren Computer oder Steuereinheiten dazu veranlasst, das Verfahren entsprechend einem der Ansprüche 1 bis 8 auszuführen.