DE102020106607A1

DE102020106607A1 - Maschinelles Lernsystem für eine Zustandserkennung einer Operation und Assistenzfunktion

Info

Publication number: DE102020106607A1
Application number: DE102020106607.4A
Authority: DE
Inventors: Stefan Saur; Christoph Hauger
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2021-09-16
Also published as: US11416699B2; US20210286996A1

Abstract

Es wird ein Verfahren sowie ein System zur Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation vorgestellt. Das Verfahren weist ein Erfassen von digitalen Bilddaten eines Operationsmikroskops auf, die während einer ophthalmologischen Operation von einem Bildsensor erzeugt wurden und annotiert sind. Das Verfahren weist weiterhin ein Erfassen von Sensordaten eines Phakosystems auf, die während der ophthalmologischen Operation von einem Sensor des Phakosystems erzeugt wurden und annotiert sind, wobei die annotierten Sensordaten und die annotierten digitalen Bilddaten synchronisierte Zeitstempel aufweisen, und wobei die Annotationen indikativ für einen Zustand einer ophthalmologischen Operation sind. Schließlich weist das Verfahren ein Trainieren eines ersten maschinellen Lernsystems mittels der annotierten Bilddaten und der annotierten Sensordaten zum Erzeugen eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals auf, wobei das Steuerungssignal geeignet ist, eine Assistenzfunktion bei einem späteren Einsatz des trainierten Lernmodels während einer Vorhersagephase eines maschinellen Lernsystems zu ermöglichen.

Description

Gebiet der Erfindung
Die Erfindung bezieht sich auf ein Assistenzsystem für eine ophthalmologische Operation und insbesondere auf ein Assistenzsystem, das einen Zustand der ophthalmologischen Operation erkennt und ein Steuerungssignal ausgibt. Außerdem bezieht sich die Erfindung auf ein entsprechendes System sowie ein entsprechendes Computerprogrammprodukt zur Ausführung des Verfahrens.
Technischer Hintergrund
In der Augenheilkunde ist es in den letzten Jahren - neben anderen Augenoperationen - immer üblicher geworden, die biologische Linse eines Auges gegen eine künstliche Intraokularlinse (IOL) - beispielsweise bei (Alters-) Fehlsichtigkeit oder bei Katarakten - auszutauschen. Dabei wird die biologische Linse durch einen minimalinvasiven Eingriff aus dem Kapselsack herausgelöst und entfernt. Die, im Falle eines Kataraktes, getrübte Linse wird dann durch ein künstliches Linsenimplantat ersetzt. Dieses künstliche Linsenimplantat, oder Intraokularlinse, wird dabei in den dann leeren Kapselsack eingesetzt. Die Kenntnis der richtigen Position der Intraokularlinse und der erforderlichen Brechkraft bedingen sich gegenseitig.
Für diese Operationen werden Ärzte von hochentwickelten Systemen unterstützt. Beispiele für derartige hochentwickelte Systeme sind Operationsmikroskope, Phakosysteme und teilweise Robotersysteme und OCT-Systeme (Optical Coherence Tomograpgie), die während der Operation einsetzbar sind. Diese Systeme erzeugen während der Operation eine Reihe von Sensordaten, die allerdings bisher praktisch nicht, oder nur sehr bedingt, für zukünftige Operation nutzbar gemacht werden. Darüber hinaus ist ein Zusammenwirken beziehungsweise eine gemeinsame und koordinierte Nutzung der so erzeugten Messdaten während der Operation derzeit nicht vorgesehen.
Ausgehend von diesen Nachteilen der bekannten Verfahren und Unterstützungssystemen bei ophthalmologischen Operationen besteht eine zugrundeliegende Aufgabe für das hier vorgestellte Konzept darin, ein Verfahren und ein System für eine verbesserte, integrierte und schnell einsetzbare Assistenzfunktion für ophthalmologische Operationen vorzustellen.
Übersicht über die Erfindung
Diese Aufgabe wird durch das hier vorgeschlagene Verfahren, das entsprechende System beziehungsweise das zugehörige Computerprogrammprodukt entsprechend den unabhängigen Ansprüchen gelöst. Weitere Ausgestaltungen werden durch die jeweils abhängigen Ansprüche beschrieben.
Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Computer-implementiertes Verfahren für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation vorgestellt. Das Verfahren kann ein Erfassen von digitalen Bilddaten eines Operationsmikroskops, die während einer ophthalmologischen Operation von einem Bildsensor erzeugt wurden und annotiert sind, und ein Erfassen von Sensordaten eines Phakosystems aufweisen, die während der ophthalmologischen Operation von einem Sensor des Phakosystems erzeugt wurden und annotiert sind. Dabei können die annotierten Sensordaten und die annotierten digitalen Bilddaten synchronisierte Zeitstempel aufweisen, und die Annotationen können indikativ für einen Zustand einer ophthalmologischen Operation sein.
Weiterhin kann das Verfahren ein Trainieren eines ersten maschinellen Lernsystems mittels der annotierten Bilddaten und der annotierten Sensordaten zum Erzeugen eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation und darauf basierend zum Ausgeben eines Steuerungssignals aufweisen. Dabei kann das Steuerungssignal geeignet sein, eine Assistenzfunktion bei einem späteren Einsatz des trainierten Lernmodells während einer Vorhersagephase eines maschinellen Lernsystems zu ermöglichen.
Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Verwenden eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation vorgestellt. Das Verfahren kann ein Erfassen von digitalen Bilddaten eines Operationsmikroskops während einer ophthalmologischen Operation und ein Erfassen von Sensordaten eines Phakosystems während der ophthalmologischen Operation aufweisen.
Zusätzlich kann dieses Verfahren ein Bestimmen eines Zustandes einer ophthalmologischen Operation mittels eines zweiten maschinellen Lernsystems aufweisen, welches ein trainiertes Lernmodell aufweist, das zum Vorhersagen eines Zustandes einer ophthalmologischen Operation angepasst ist, Basierend auf der Vorhersage des Zustandes kann das Verfahren ein Ausgeben eines Steuerungssignals vorsehen. Darüber hinaus kann das Verfahren ein Steuern einer Assistenzfunktion durch das Steuerungssignal während einer Vorhersagephase des zweiten maschinellen Lernsystems während der ophthalmologischen Operation aufweisen.
Entsprechend einem weiteren Aspekt der vorliegenden Erfindung wird ein erstes maschinelles Lernsystem für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation vorgestellt. Dieses System kann eine Speichereinheit zum Speichern von digitalen Bilddaten eines Operationsmikroskops aufweisen, die während einer ophthalmologische Operation von einem Bildsensor erzeugt wurden und annotiert sind. Dabei kann die Speichereinheit auch zum Speichern von Sensordaten eines Phakosystems angepasst sein, die während der ophthalmologischen Operation von einem Sensor des Phakosystems erzeugt wurden und annotiert sind, wobei die annotierten Sensordaten und die annotierten digitalen Bilddaten synchronisierte Zeitstempel aufweisen, und wobei die Annotationen auf Zustände der ophthalmologischen Operation verweisen können.
Darüber hinaus kann eine Datenverarbeitungsanlage vorgesehen sein, die die Speichereinheit, die mit einem Prozessor verbunden ist, und ein Trainingsmodul aufweisen, das mit dem Prozessor verbunden ist. Dieses kann zusammen mit dem Prozessor angepasst sein zum Trainieren des ersten maschinellen Lernsystems mittels der annotierten Bilddaten und der annotierten Sensordaten zum Erzeugen eines Lernmodells zum Vorhersagen eines Zustandes der ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals. Dabei kann das Steuerungssignal geeignet sein, eine Assistenzfunktion bei einem späteren Einsatz des maschinellen Lernmodells während einer Vorhersagephase eines maschinellen Lernsystems zu ermöglichen.
Entsprechend einem vierten Aspekt der vorliegenden Erfindung wird ein Operationsassistenzsystem zum Verwenden eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals vorgestellt. Das Operationsassistenzsystem kann dazu ein erstes Erfassungsmodul zum Erfassen von digitalen Bilddaten eines Operationsmikroskops während einer ophthalmologischen Operation aufweisen, wobei das erste Erfassungsmodul und das Operationsmikroskops elektrisch für einen Signalaustausch miteinander verbunden sein können.
Das Operationsassistenzsystem kann weiterhin ein zweites Erfassungsmodul zum Erfassen von Sensordaten eines Phakosystems während der ophthalmologischen Operation aufweisen, wobei das zweite Erfassungsmodul und das Phakosystem elektrisch für einen Signalsautausch mit einem Datenverarbeitungssystem verbunden sein können. Die Erfassungsmodule können sind dazu elektrisch mit den Sensoren zum Datenaustausch miteinander verbunden sein.
Zusätzlich kann ein Vorhersagemodul eines zweiten maschinellen Lernsystems für eine Vorhersage eines Zustandes der ophthalmologischen Operation vorgesehen sein, welches ein trainiertes Lernmodell aufweist, das durch vorheriges Training angepasst ist zum Vorhersagen eines Zustandes einer ophthalmologischen Operation und, basierend auf der Vorhersage des Zustandes, angepasst sein zum Ausgeben eines Steuerungssignals.
Dieses Steuerungssignal kann wiederum als Eingangssignal für ein Steuerungsmodul genutzt werden, welches das Steuerungsmodul verwendet, um während einer Vorhersagephase des zweiten maschinellen Lernsystems und während der ophthalmologischen Operation einen Parameter eines, bei der ophthalmologischen Operation, genutzten Gerätes zu steuern.
Darüber hinaus können sich Ausführungsformen auf ein Computerprogrammprodukt beziehen, auf welches von einem Computer-verwendbaren oder Computer-lesbaren Medium zugegriffen werden kann, das Programm-Code zur Nutzung durch oder in Verbindung mit einem Computer oder anderen Instruktionsverarbeitungssystemen aufweist. Im Kontext dieser Beschreibung kann ein Computer-verwendbares oder Computer-lesbares Medium jede Vorrichtung sein, die zur Speicherung, zum Kommunizieren, zur Weiterleitung oder zum Transport des Programm-Codes geeignet ist.
Das Computer-implementierte Verfahren für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation kann mehrere Vorteile und technische Effekte aufweisen, die auch entsprechend für das zugehörige System gelten können:
Assistenzfunktionen sind für Chirurgen - in der Augenheilkunde, ebenso wie bei anderen chirurgischen Eingriffen - eine willkommenen Hilfe, um Eingriffe sicherer zu machen. Durch das hier vorgeschlagene Konzept wird eine operationsgeräteübergreifende Assistenzfunktion verfügbar gemacht. Dabei wird nicht nur auf Sensordaten (welche auch Bilddaten einschließen) eines Gerätes zurückgegriffen, sondern es werden Sensordaten von mehr als einem Gerät berücksichtigt. Das daraus abgeleitete Lernmodell kann somit Korrelationen nicht nur von Sensordaten innerhalb eines Gerätes berücksichtigen, sondern das Zusammenwirken und die integrierte Benutzung unterschiedlicher Funktionen und Zustände der Geräte wird genutzt. Damit wird eine operationsgeräteübergreifende Zustandserkennung, insbesondere einer Phase der jeweiligen Operation, ermöglicht - eine Funktion die vorher nicht realisiert werden konnte, da die Gerätesensordaten nicht gemeinsam ausgewertet wurden, um ein Lernmodell für ein maschinelles Lernsystem aus Daten von historischen Operationen zu erstellen (d.h. zu trainieren).
Mit dem neu vorgestellten Konzept kann aus der Zustandserkennung der Operation mindestens ein Steuerungssignal erzeugt werden, sodass die Operationsgeräte in ihrem Zusammenspiel den Chirurgen bei der Operation unterstützt. Damit werden Einzeloptimierungen der Geräte, die u.U. widersprüchlich sind, sicher vermieden. Der Chirurg erhält somit eine Assistenzfunktion, die sich - je nach Operationsphase im Zuge einer ophthalmologischen Operation - auf ein Live-OCT-System (bzw. Intraoperatives-OCT-System), ein Operationsmikroskop, ein Robotersystem (was Teil des Operationsmikroskops sein kann) und ein Phakosystem erstrecken kann. Zusätzlich können auch gleichzeitig und koordiniert mehrere Steuerungssignale erzeugt werden, wenn ein bestimmter Zustand der Operation, und damit eine bestimmte Phase, erkannt wird. Das maschinelle Lernsystem erzeugt dann - je nach Sensoreingangsdaten - entsprechend aufeinander abgestimmte Steuerungssignale, die gleich mehrere Geräte betreffen können.
Auf diese Weise lassen sich - im Falle einer ophthalmologischen Operation - Vorteile wie eine Reduzierung der Phakoenergie, eine Erfassung der Linsenelemente, eine gute Schnittleistung und eine erhöhte Kammerstabilität für schnelle, sichere und effektive Operationen erreichen. Eine Umschaltung zwischen einer Peristaltik- und der Venturipumpe bei einem Phakosystem lassen sich ebenso steuern wie veränderte Beleuchtungsverhältnisse durch eine Erhöhung oder Verringerung der Strahlungsdichte des Mikroskops.
Wird beispielsweise eine Retinablutung anhand der Bildsensordaten durch das maschinelle Lernsystem erkannt, kann die maximale Irrigation automatisch über das Steuerungssignal aktiviert werden. Außerdem lassen sich Farbtemperaturen der Beleuchtungssysteme eines Phakosystems über das Steuerungssignal anpassen.
Eine Anzeigemöglichkeit des erkannten Zustandes der Operation durch das maschinelle Lernsystem im Okular ermöglicht nicht nur eine automatische Erzeugung des Steuerungssignals, sondern auch eine Auswahlmöglichkeit durch den Operateur. Er kann das erzeugte Steuerungssignal bestätigen oder ablehnen und bleibt somit auch in schwierigen Situationen Herr über das Geschehen der Operation. Dadurch wird die chirurgische Präzision weiter erhöht und eine „Expert-in-the-Box“ Funktion ermöglicht.
Dabei werden einige Assistenzfunktion erst durch eine Zusammenwirken möglich, wenn sowohl Sensordaten vom Mikroskop als auch vom Phakosystem vorliegen und als Eingangsdaten für das maschinelle Lernsystem genutzt werden können. Beispielsweise werden für eine verbesserte Regelung des intraokularen Drucks neben den Phakosystemsensordaten für die Irrigation und Aspiration auch bildbasierte Daten des Mikroskops z.B. der Cornea als Eingangsdaten für das maschinelle Lernsystem genutzt, um in einem frühen Stadium ein kollabierendes Auge zu erkennen, und um ein entsprechendes Steuerungssignal zu erzeugen, dass beispielsweise auch eine Warnung an den Operateur auslösen kann oder die Irrigations- und/oder Aspirationsparamater anpassen kann.
Bei einer auf Bilderkennung eingeschränkten Operationsphasenerkennung für eine Assistenzfunktion in der Phase der Phakoemulsifikation muss die Phakospitze bildbasiert erkannt werden. Dies kann zu Fehlern führen. Im Gegensatz dazu erlaubt das hier vorgeschlagenen Konzept unter gleichzeitiger Hinzunahme der Sensordaten des Phakosystems eine präzise, eindeutige Auswahl des Steuerungssignals - und damit der Assistenzfunktion - basierend auf des trainierten Verhaltens der Benutzungsphasen des Phakosystems und muss somit die Verwendung nicht indirekt über die Bildanalyse erkennen. Die erhöht die Operationssicherheit und damit auch die Effizienz des Operateurs.
Im Folgenden werden weitere Ausführungsbeispiele vorgestellt, die sowohl im Zusammenhang mit dem Verfahren, wie auch mit dem entsprechenden System, vorteilhaft sein können.
Gemäß einem vorteilhaften Ausführungsbeispiel kann das Verfahren ein Erfassen von Sensor- und/oder Bilddaten eines Operationsroboters aufweisen, wobei die Sensor- und/oder Bilddaten während der ophthalmologischen Operation erzeugt wurden und annotiert werden. Weiterhin kann das Verfahren einen Nutzen der annotierten Sensor- und/oder Bilddaten des Operationsroboters beim Training zur Erzeugung des Lernmodells aufweisen. Darüber hinaus können eine Reihe weiterer Sensordaten genutzt werden, die zusammen mit den bereits besprochenen Bild- und Sensordaten für die Erstellung des Lernmodells genutzt werden können. Beispiele sind weitere Sensordaten des Operationsmikroskops wie Zoom, Fokus- und Lichtintensitätseinstellungen sowie bei einem robotischen, motorisierten Operationsmikroskop zusätzliche Achspositionsdaten.
Außerdem können zusätzlich Rotationssensoren vorhanden sein, wenn nicht nur linear in x-, y- oder z-Richtung verfahren werden muss. Diese können dann rotationsanhängige Sensordaten liefern. Dies wäre beispielsweise bei Gehirnoperationen, bei denen Neurooperationsmikroskope verwendet werden, hilfreich, da in solchen Fällen Operationszugänge flexibel einstellbar sein müssen.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens können außerdem OCT-Bilddaten eines OCT-Scanners und/oder eines Operationsroboters erfasst werden. Die OCT-Bilddaten und/oder die Achspositionsdaten können auch während der ophthalmologischen Operation erzeugt worden sein und außerdem annotiert worden sein. Auch diese Daten können als zusätzliche Trainingsdaten herangezogen werden. Grundsätzlich gibt es eine Einschränkung bei der Nutzung von Trainingsdaten, solange sie aus dem Umfeld von echten historischen Operationen stammen.
Gemäß einem ergänzenden vorteilhaften Ausführungsbeispiel des Verfahrens kann die Bestimmung des Zustandes der ophthalmologischen Operation auf einer Bestimmung eines für die jeweilige Operationsphase charakteristischen Operationsinstrumentes durch Anwendung des maschinellen Lernsystems beruhen. In diesem Fall kann das maschinelle Lernsystem speziell auf die digitalen aufgenommenen Bilder des Operationsmikroskops und das darin detektierbare Operationsinstrument trainiert worden sein. Auch eine Abfolge von Operationsinstrumenten kann detektiert werden. Beispielsweise ist der Einsatz eines Phakosystems erst nach einem Einsatz eines OCT-Systems sinnvoll. Und der Einsatz einer Intraokularlinse ist erst nach einem Einsatz des Phakosystems sinnvoll. Derartige Regeln können als zusätzliche Randbedingungen beim Training des maschinellen Lernsystems eingesetzt werden. Auf diese Weise kann der Einsatz des Lernmodells in einer operativen Phase zuverlässiger gestaltet sein.
Gemäß einem weiterentwickelten Ausführungsbeispiel des Verfahrens kann das Steuerungssignal zur Steuerung von mindestens einem Parameter von, bei der ophthalmologischen Operation eingesetzte, Geräte einsetzbar sein. Dazu sind eine Reihe von Optionen möglich: Steuerung der Lichtintensität eine Operationsbeleuchtung, akustische oder optische Warnungen, um auf Besonderheiten während der Operation hinzuweisen (z.B. falsche manuelle Einstellungen von Geräteparametern), Zoom-, Fokus und oder x/y-Positions-Einstellung, Druckeinstellung im Phakosystem für Irrigation und Aspiration, Pulsformeinstellung des Phakosystems, Ultraschallenergieeinstellung des Phakosystems, Einschaltzustand des Ultraschalls am Phakosystem, um nur einige Beispiele zu nennen. Wenn Operationsroboter zum Einsatz kommen, können auch Rotationseinstelllungen der Freiheitsgrade-kontrollierenden Aktuatoren des Operationsroboters gesteuert werden.
Gemäß einem weiter ergänzenden Ausführungsbeispiel des Verfahrens können die erfassten digitalen Bilddaten und Sensordaten in einem gemeinsamen Speichersystem zeitsynchronisiert erfasst werden. Zeitsynchronisiert heißt hier, dass sie jeweils mit einem Zeitstempel versehen sind, somit in einer Zeitreihe zur Verfügung stehen und über die zeitliche Abhängigkeit einander zugeordnet werden können.
Übersicht über die Figuren
Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung mit Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Beispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon ist es einem Fachmann möglich, aus der hier vorstehenden und nachfolgenden Beschreibung - wenn nicht anderweitig darauf hingewiesen - mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch, wenn sie zu unterschiedlichen Anspruchskategorien gehören.
Bereits oben beschriebene Aspekte sowie zusätzliche Aspekte der vorliegenden Erfindung ergeben sich unter anderem aus den beschriebenen Ausführungsbeispielen und aus den zusätzlichen weiteren, durch Bezug auf die Figuren beschriebenen, konkreten Ausgestaltungen.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend beispielhaft und mit Bezug auf die folgenden Figuren beschrieben:

1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des Computer-implementierten Verfahrens für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation dar.
2 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des Computer-implementierten Verfahrens für ein Verfahren zum Verwenden eines zweiten Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation dar.
3 stellt ein Ausführungsbeispiel eines Blockdiagramms eines Aufbaus zur Erzeugung des Lernmodells sowie zur Nutzung des Lernmodells dar.
4 stellt ein Blockdiagram der Erzeugung des Lernmodells und der Nutzung des Lernmodells in getrennten Systemen dar.
5 stellt ein beispielhaftes Blockdiagramm für das erste maschinelle Lernsystem für die Erzeugung der Assistenzfunktion für eine ophthalmologische Operation dar.
6 stellt das Operationsassistenzsystem zum Verwenden eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation dar.
7 stellt ein Diagramm eines Computersystems dar, welches zusätzlich das maschinelle Lemsystem gemäß 5 oder das Operationsassistenzsystem gemäß 6 ganz oder teilweise aufweisen kann.

Detaillierte Figurenbeschreibung
Im Kontext dieser Beschreibung sollen Konventionen, Begriffe und/oder Ausdrücke folgendermaßen verstanden werden:
Der Begriff „Assistenzfunktion“ beschreibt eine Steuerung von Operationshilfsgeräten mittels eines Steuerungssignals, das von einem maschinellen Lernsystem abgeleitet werden kann, welches einen Zustand einer Operation - z.B. einer ophthalmologischen Operation oder einer Neuro-Operation - bzw. einer Operationsphase mittels eines trainierten maschinellen Lernsystems mittels eines maschinellen Lernmodells erkennen kann.
Der Begriff „Operationshilfsgerät“ beschreibt operationsunterstützende Geräte wie ein Operationsmikroskop, ein Phakosystem, ein Operationsroboter oder ein OCT-Gerät. Allerdings können auch - im Falle von speziellen Operationen - andere oder zusätzliche Operationshilfsgeräte zum Einsatz kommen. Beim Operationsmikroskop können unterschiedliche Gerätetypen zum Einsatz kommen. Bei ophthalmologischen Operationen werden häufig solche verwendet, die sich in der xy-Ebene bewegen. Eine Bewegung in Z-Richtung ist während der Operation oft nicht erforderlich. Trotzdem können neben den x- und y-Koordinaten auch z-Werte als Sensordaten erfasst werden. Bei Neuro-Operationen kann es sich um ein robotisches Mikroskop handeln. Dieses ist mehr oder weniger frei im Raum positionierbar. In so einem Falle können die jeweiligen Achspositionen als Sensordaten erfasst werden. Außerdem können noch mindestens Zoom, Fokus und Lichteinstellungen des Operationsmikroskops als Sensordaten erfasst werden.
Der Begriff „Bild“ oder auch „digitales Bild“ - z.B. von einem Bildsensor eines Mikroskops - beschreibt hier eine Abbildung oder das Ergebnis einer Erzeugung einer Datenmenge in Form von Pixel-Daten eines real existierenden Gegenstandes: bei einer ophthalmologischen Operationen beispielsweise des Inneren eines Auges. Verallgemeinert kann ein „digitales Bild“ als eine zweidimensionale Signalmatrix verstanden werden. Die Einzelvektoren der Matrix lassen sich auch aneinander fügen, um so einen Eingangsvektor für eine Schicht eines CNN zu erzeugen. Die digitalen Bilder können auch einzelne Frames von Videosequenzen sein. Bild und digitales Bild bzw. digitale Bilddaten können hier als Synonyme verstanden werden.
Der Begriff „Sensordaten“ beschreibt Messdaten von Sensoren eines Operationshilfsgerätes. Dabei kann es sich um Bilddaten-, Zoom-, Fokus-, Beleuchtungs-, Positions-, Fluss-, Energie-, Geräteaktivierungsdaten oder auch Zeitwerte handeln. Im Prinzip können alle während einer Operation durch einen Sensor erfassten Signale als Sensordaten genutzt werden.
Der Begriff „Phakosystem“ beschreibt ein System mittels dessen eine Phakoemulsifikation durchgeführt werden kann. Darunter versteht man das Zerkleinern und Absaugen des Linsenkerns eines Auges mittels einer mit Ultraschall angeregten Kanüle und das anschließende Absaugen der Trümmer mittels einer Saugspülvorrichtung. Dieses Verfahren wird häufig bei einem Katarakt angewendet.
Der Begriff „Zustand einer ophthalmologischen Operation“ beschreibt typischerweise eine Phase der Operation. Auf verschiedene Phasen wie z.B. Präparationsphase, Capsulorhexis-Phase, Hydrodissections-Phase, Phako-Emulsifikationsphase, Einsetzphase und Verschlussphase wird an anderer Stelle in diesem Dokument eingegangen. Die Zustandserkennung kann dann zur Erzeugung eines Steuerungssignals führen, welches eine Assistenzfunktion für den Operateur darstellt oder ermöglicht. Es sei außerdem angemerkt, dass ein Zustand auch auf einem Vergleich mit einer Referenz oder Norm abgeleitet werden kann. Um Anomalien im Operationsablauf zu erkennen, sollte gegen eine Standardoperation mit vordefinierten Zuständen verglichen werden. Eine auftretende Blutung ist dabei operationsphasenunabhängig und kann zu einer entsprechenden Assistenzfunktion führen.
Der Begriff „maschinelles Lernsystem“ beschreibt ein System, das auch typischerweise einem Verfahren zugeordnet ist, welches aus Beispielen lernt. Dazu wird das maschinelle Lernsystem mit annotierten (d.h. auch Metadaten enthaltenden) Trainingsdaten gefüttert, um bereits vorher festgelegte Ausgabewerte - im Falle eines Klassifikationssystems Ausgabeklassen - vorherzusagen. Wenn die Ausgabeklassen mit genügender Präzision - d.h. einer vorher bestimmten Fehlerrate - korrekt ausgegeben werden, bezeichnet man das maschinelle Lernsystem als trainiert. Es sind verschiedene maschinelle Lernsysteme bekannt. Dazu gehören neuronale Netzwerke, gefaltete neuronale Netzwerke (CNN = Convolutional Neural Network) oder auch rekurrente neuronale Netzwerke (RNN, Recurrent Neural Network). Ist das maschinelle Lernsystem trainiert, existiert ein maschinelles Lernmodell, das durch die Parameter einzelner Funktionen des maschinellen Lernsystems beschrieben werden kann. Im Falle eines neuronalen Netzwerkes würde es sich um Gewichtsparameter einzelner Knoten des neuronalen Netzwerkes handeln.
Grundsätzlich ist der Begriff „Machine-Learning“ (bzw. maschinelles Lernen) ein Grundbegriff bzw. eine Grundfunktion aus dem Gebiet der künstlichen Intelligenz, wobei z.B. statistische Verfahren verwendet werden, um Computersystemen die Fähigkeit des „Lernens“ zu geben. Beispielsweise werden dabei bestimmte Verhaltensmuster innerhalb eines spezifischen Aufgabenbereiches optimiert. Die verwendeten Verfahren versetzen trainierte Systeme des maschinellen Lernens in die Lage, Daten zu analysieren, ohne, dass es dazu einer expliziten prozeduralen Programmierung bedarf. Typischerweise handelt es sich z.B. bei einem NN (neuronales Netzwerk) oder CNN (Convolutional Neural Network) um Beispiele für Systeme für maschinelles Lernen, um ein Netzwerk von Knoten zu bilden, welche als künstliche Neuronen agieren, und um künstliche Verbindungen zwischen den künstlichen Neuronen (sogenannte Links), wobei den künstlichen Verbindungen Parameter (z.B. Gewichtsparameter für die Verbindung) zugeordnet werden können. Während des Trainings des neuronalen Netzes passen sich die Gewichtsparameterwerte der Verbindungen automatisch auf Basis von Eingangssignalen zur Erzeugung eines gewünschten Ergebnisses an. Beim überwachten Lernen werden die als Eingabewerte (Trainingsdaten) gelieferten Bilder - allgemein (Eingangs-)Daten - durch gewünschte Ausgabedaten (Annotationen) ergänzt, um einen gewünschten Ausgabewert (gewünschte Klasse) zu erzeugen. Ganz allgemein betrachtet wird eine Abbildung von Eingangsdaten auf Ausgangsdaten gelernt.
Der Begriff „neuronales Netzwerk“ beschreibt ein Netzwerk aus elektronisch realisierten Knoten mit einem oder mehreren Eingängen und einem oder mehreren Ausgängen zur Durchführung von Rechenoperationen. Dabei sind ausgewählte Knoten mittels Verbindungen - sogenannte Links oder Edges - miteinander verbunden. Die Verbindungen können bestimmte Attribute, zum Beispiel Gewichtsparameterwerte, aufweisen, durch die Ausgangswerte von vorangegangenen Knoten beeinflusst werden können.
Neuronale Netze sind typischerweise in mehreren Schichten aufgebaut. Es ist mindestens eine Eingangsschicht, eine verborgene Schicht und eine Ausgangsschicht vorhanden. In einem einfachen Beispiel können z.B. Bilddaten der Eingangsschicht zugeführt werden, und die Ausgangsschicht kann Klassifikationsergebnisse bezüglich der Bilddaten aufweisen. Typische neuronale Netze weisen allerdings eine große Vielzahl von verborgenen Schichten auf. Die Art und Weise der Verbindung der Knoten mit Links hängt von der Art des jeweiligen neuronalen Netzes ab. Im vorliegenden Beispiel kann der Vorhersagewert des neuronalen Lernsystems der gesuchte Zustand der Operation sein, aus der dann ein Steuerungssignal abgeleitet wird.
Der Begriff „Annotation“ - bzw. auch „annotiert“ - bezeichnet eine Form von Metadaten, wie sie im Kontext von maschinellem Lernen für Nutzdaten - d.h., z.B. Trainingsdaten - verwendet werden. Im Falle von überwachtem Lernen (supervised learning) werden Trainingsdaten dazu mit Metadaten - nämlich den Annotationsbegriffen oder verkürzt Annotationen versehen - die im Falle eines Klassifizierungssystems die gewünschte Ausgabenklasse in Bezug auf einen bestimmten Datensatz aufweist. Auf diese Weise lernt das maschinelle Lernsystem an Beispielen. Ein gut trainiertes maschinelles Lernsystem gibt dann in der Vorhersage- oder Inferenzphase (d.h. in der operativen Phase nach dem Training) die Klasse in Reaktion auf einen Eingabedatensatz aus, die entsprechend den Trainingsdaten die nächstliegende ist.
Im vorliegenden Fall würden die Trainingsdaten mit den zugehörigen Zuständen oder Phasen der Operation annotiert sein. Ggfs. können sie auch zusätzlich durch potentielle Steuerungssignal-Annotationen ergänzt sein. Allerdings ließen sich die Steuerungssignale auch direkt aus den ermittelten - d.h. vorhergesagten - Operationsphasen bzw. Zuständen ableiten.
Der Begriff „Convolutional Neural Network“ (CNN) - als ein Beispiel für einen Klassifikator/ein Klassifikatorsystem - beschreibt eine Klasse von künstlichen neuronalen Netzwerken, die auf Feed-Forward-Techniken basieren. Sie werden häufig für Bildanalysen mit Bildern, bzw. deren Pixeln, als Eingangsdaten eingesetzt. Hauptbestandteil von Convolutional Neural Networks sind dabei Faltungsschichten (daher der Name), welche eine effiziente Auswertung durch Parameter-Sharing ermöglicht. Im Gegensatz zum CNN würde in einem klassischen neuronalen Netzwerk typischerweise jeder Pixel des aufgenommenen Bildes einem künstlichen Neuron des neuronalen Netzwerkes als Eingangswert zugewiesen.
Der Begriff „Support Vector Maschine“ (SVM) wird als Klassifikator zum Klassifizieren von erfassten Daten und Regressor für Regressionsanalysen eingesetzt. Eine Support-Vector-Maschine unterteilt eine Menge von Objekten so in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt; sie ist also ein sogenannter Large Margin Classifier (dt. „Breiter-Rand-Klassifikator“). Eine SVM dient der Mustererkennung von erfassten Daten - z.B. Bilddaten nach einer Trainingsphase.
Der Begriff „(LSTM - Long Short-Term Memory) beschreibt eine Technik, die zur Verbesserung der Entwicklung von künstlicher Intelligenz wesentlich beitragen kann. Beim Trainieren von künstlichen neuronalen Netzen werden Verfahren des Fehlersignalabstiegs genutzt. Bei mehreren vertiefenden Schichten kann dies zu kurz greifen. Das LSTM-Verfahren löst dieses Problem, indem es für eine LSTM-Zelle zur besseren Erinnerung drei Torsorten verwendet: Ein Eingangstor (Input Gate), ein Merk- und Vergesstor (Forget Gate) und ein Ausgangstor (Output Gate). LSTM ermöglicht auf diese Weise im Gegensatz zu herkömmlichen rekurrenten neuronalen Netzen eine Art Erinnerung an frühere Erfahrungen: Ein Kurzzeitgedächtnis, das lange anhält.
Der Begriff „Random Forest‟ beschreibt ein Klassifikationsverfahren, das aus mehreren korrelierten Entscheidungsbäumen besteht. Alle Entscheidungsbäume sind unter einer bestimmten Art von Randomisierung während des Lernprozesses gewachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation.
Der Begriff „AdaBoost“ (kurz für Adaptive Boost) beschreibt einen Machine-Learningmeta-Algorithmus. Er kann mit anderen Lernalgorithmen verwendet werden, um die Leistungsfähigkeit zu verbessern. Dabei werden Ausgabenwerte von anderen Lernalgorithmen (von „schwachen Lernern“) mit einer gewichteten Summe so kombiniert, um die Ausgabewerte des verbesserten Klassifizierers zu repräsentieren. AdaBoost ist insofern adaptierbar, als dass falsch klassifizierte Ergebnisse von vorangegangenen Lernsystemen angepasst werden. Auf diese Weise kann ein schwaches Lernsystem in ein starkes Lernsystem verändert werden.
Im Folgenden wird eine detaillierte Beschreibung der Figuren angegeben. Dabei versteht es sich, dass alle Details und Anweisungen in den Figuren schematisch dargestellt sind. Zunächst werden Blockdiagramme für Ausführungsbeispiele für das Computer-implementierten Verfahren für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation und für das Verfahren zum Verwenden eines zweiten Lernmodells, zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, dargestellt. Nachfolgend werden weitere Ausführungsbeispiele, bzw. Ausführungsbeispiele für die entsprechenden Systeme beschrieben:
1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des erfinderischen Computer-implementierten Verfahrens 100 für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation dar. Bei der Assistenzfunktion kann es sich beispielsweise um eine operationsphasenabhängige Schaltung von Geräteparametern handeln, die bei der Operation eingesetzt werden. Ein Beispiel wäre eine Variation der Lichtintensität oder des Einstrahlwinkels. Außerdem können Anomalien während des Operationsverlaufes Warnungen (optisch oder akustisch) erzeugt werden und so eine operationsphasenabhängige „Guidance“ (d.h., Workflowunterstützung) für den Chirurgen - etwa vergleichbar mit GPS-Funktionen in einem Fahrzeug - ermöglicht werden.
Beispiele für so unterstützbare Operationstypen aus dem ophthalmologischen Bereich sind Kataraktoperationen, Retinaoperationen oder Hornhauttransplatationen. Allerdings ist das hier vorgestellte Konzept auch auf andere chirurgische Eingriffe, wie beispielsweise in der Neuro-Chirurgie, einsetzbar.
Das Verfahren 100 weist dazu ein Erfassen 102 von digitalen Bilddaten auf-d.h., digitale Images von Augen während einer Operation - eines Operationsmikroskops, die während einer ophthalmologischen Operation von einem oder mehreren Bildsensoren erzeugt wurden und anschließend manuell oder (teil-)automatisiert annotiert (106) werden. Weiterhin weist das Verfahren 100 ein Erfassen 104 von Sensordaten eines Phakosystems auf, die während der ophthalmologischen Operation von einem Sensor des Phakosystems erzeugt wurden. Die Sensordaten können während oder nach der eigentlichen Operation manuell oder (teil-)automatisch annotiert (106) werden, um individuelle Zustände oder Phasen der Operation kenntlich zu machen und als Metadaten für die aufgenommenen Sensordaten zu verwenden. Bei den Sensordaten kann es sich um verschiedene Drücke handeln (z.B. Irrigation, Aspirationsfluss), der aktuellen Ultraschallenergie, des Ultraschallpulsmoduses oder der Einschaltzeiten des Ultraschallsystems.
Hilfreich ist es, wenn die annotierten Sensordaten und die annotierten digitalen Bilddaten des Operationsmikroskops synchronisierte Zeitstempel aufweisen, und die Annotationen indikativ für einen Zustand bzw. eine Phase der ophthalmologischen Operation verweisen. Bei den Zuständen kann es sich z.B. um aufgetretene Anomalien, erkannte Krankheitsbilder und/oder erkannte Schweregrade des Kataraktes handeln. Bei den Phasen kann es sich z.B. - insbesondere bei Kataraktoperationen - um eine Präparationsphase, eine Capsulorhexis-Phase, eine Hydrodissections-Phase, eine PhaKo-Emulsifikationsphase, eine Intraokularlinsen-Einsetzphase und um eine Verschlussphase handeln; oder anders ausgedrückt, kann es sich um die Phasen Präparation, Incision und OVD/BSS Application, Paracenthesis, Capsulorhexis, Hydodissektion, Phakoemulsifikation, Cortex-Entfernung, Polieren (Poishing), Intraokularlinse-Einsetzen, OVD-Entfernung, Wundtrocknung und Linsenpositionsmessung, Irrigation, externe OVD-Anwendung, Fixierung, handeln.
Weiterhin weist das Verfahren 100 ein Trainieren 108 des ersten maschinellen Lernsystems mittels der annotierten Bilddaten und der annotierten Sensordaten zum Erzeugen eines Lernmodells zum Vorhersagen des Zustandes einer ophthalmologischen Operation auf und darauf basierend, zum Ausgeben eines Steuerungssignals, das bei einem späteren Einsatz des vorgeschlagenen Verfahrens eine Assistenzfunktion durch das trainierte Lernmodel während einer Vorhersagephase eines maschinellen Lernsystems mit dem hier erzeugten Lernmodell ermöglicht. Als mögliche Typen für das maschinelle Lernsystem kommen beispielsweise CNN, LSTM, SVM, Random Forest oder AdaBoost zum Einsatz.
2 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des Computer-implementierten Verfahrens 200 zum Verwenden eines zweiten Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation dar. Dabei versteht es sich, dass das zweite Lernmodell dem entsprechen kann, welche mittels des erfinderischen Computer-implementierten Verfahrens 100 für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation erzeugt wurde.
Das Verfahren 200 weist ein Erfassen 202 von digitalen Bilddaten eines Operationsmikroskops während einer ophthalmologischen Operation und ein Erfassen 204 von Sensordaten eines Phakosystems während der ophthalmologischen Operation auf. Diese Daten werden einem zweiten maschinellen Lernsystem zugeführt, welches eingesetzt wird zum Bestimmen 206 eines Zustandes einer ophthalmologischen Operation mittels des zweiten maschinellen Lernsystems, welches das trainierte Lernmodell (vgl. Verfahren 100) aufweist, das angepasst ist zum Vorhersagen eines Zustandes einer ophthalmologischen Operation. und basierend auf der Vorhersage des Zustandes, Ausgeben 208 eines Steuerungssignals.
Schließlich weist das Verfahren 200 ein Steuern 210 einer Assistenzfunktion durch das Steuerungssignal während einer Vorhersagephase des zweiten maschinellen Lernsystems während der ophthalmologischen Operation auf. Beispiele für Assistenzfunktionen, die durch die bei der Operation verwendeten Geräte und Systeme (Operationsmikroskop, Phakosystem, Operationsroboter und/oder OCT-System) umgesetzt werden, wurden bereits weiter oben angegeben.
3 stellt ein Ausführungsbeispiel eines Blockdiagramms für einen Aufbau 300 zur Erzeugung des Lernmodells 320 sowie zur Nutzung des Lernmodells 320 dar. Während einer Lernphase für ein maschinelles Lernsystem zum Erzeugen des Lernmodells 320 werden Sensordaten (Bilddaten und andere Zustandsdaten der Geräte) von Operationshilfsgeräten wie ein OCT-System 302, ein Operationsmikroskop 304, ein Phakosystem 306 und ein Operationsroboter 308 an ein gemeinsames Datenverarbeitungssystem 318 („joint data processing system“) gesandt und dort empfangen. Dieses gemeinsame Datenverarbeitungssystem 318 weist ein maschinelles Lernsystem (das erste ML-System, neuronales Netz, NN) auf, um die empfangenen annotierten Sensor- und Bilddaten als Trainingsdaten zur Erzeugung (Pfeil 322) des Lernmodells 320 zu nutzen.
In einer produktiven Phase wird dann das Lernmodell 320 von einem Assistenzsystem 326 genutzt (Pfeil 324), um die aktuellen Bild und/oder Sensordaten 310, 312, 314, 316 von genutzten Operationshilfsgeräten während der ophthalmologischen (oder anderen) Operation als Eingabedaten für eine Vorhersagefunktion („prediction phase“) des maschinellen Lernsystems 326 zum Erzeugen eines Steuersignals zu nutzen.
Dabei sei angemerkt, dass es sich typischerweise um verschiedene Steuerungssignal 328 während der Trainingsphase und der Prädikationsphase handelt. Das maschinelle Lernmodell kann also zentral mit einer großen Vielzahl von Trainingsdaten von verschiedensten Operationen trainiert werden, um es dann später dezentral durch ein anderes maschinelles Lernsystem der gleichen Typklasse in eine Operationsassistenzfunktion umzusetzen.
Dazu wird das Steuerungssignal 328 - oder mehrere gerätespezifische Steuerungssignale - erzeugt, die auf die angeschlossenen Operationshilfs- oder -unterstützungsgeräte - wie ein OCT-System 302, ein Operationsmikroskop 304, eine Phakosystem 306 und ein Operationsroboter 308 - geleitet werden, um die Operationsassistenzfunktion umzusetzen. Da das Steuerungssignal 328 nur in der operativen Phase erzeugt wird, sind die entsprechenden Steuerungsleitungen für das Steuerungssignal 328 gestrichelt dargestellt.
Selbstverständlich kann das maschinelle Lernsystem 318, das in der Trainingsphase eingesetzt wird, auch als maschinelles Lernsystem 326 während der Prädikationsphase eingesetzt werden.
4 stellt ein Blockdiagram 400 der Erzeugung des Lernmodells und der Nutzung des Lernmodells in getrennten Systemen dar. Zunächst wird das Verfahren 100 (vgl. 1) genutzt, um das Lernmodell 320 in einer Trainingsphase 402 zu erzeugen. Dies kann an einem zentralen Ort (z.B. beim Gerätehersteller oder Integrator) mit Hilfe von aufgenommenen Sensordaten von einer Vielzahl von Operationen geschehen, um einen Querschnitt von vielen Operationen von vielen verschiedenen Operateuren als Trainingsdaten zur Verfügung zu haben. Alternativ kann das Verfahren 100 zum Aufbau des Lernmodells 320 für eine ganz spezifische Klinik oder ein einzelnes Ärzteteam genutzt werden, um eine spezielle Operationstechnik möglichst gut zu unterstützen.
In einem späteren Einsatz in einer Anwendungsphase 404 kann dann das einmal erzeugte Lernmodell dezentral im Sinne der „Expert-in-the-Box“ Idee genutzt werden. Dazu wird das Lernmodell zunächst aus dem zentralen System exportiert, um dann vor Ort dezentral gemäß dem Verfahren 200 zum Verwenden eines zweiten Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation genutzt zu werden. Dabei ist angenommen, dass das erste (exportierte) und das zweite (importierte) Lernmodell identisch sind, d.h., es werden die gleichen Parameterwerte in Lernmodellen des gleichen Typs, d.h. mit gleichen Hyperparametern genutzt.
5 stellt ein beispielhaftes Blockdiagramm für ein erstes maschinelles Lernsystem 500 für die Erzeugung der Assistenzfunktion für eine ophthalmologische Operation dar. Das maschinelle Lernsystem 500 weist eine Speichereinheit zum Speichern von digitalen Bilddaten eines Operationsmikroskops auf, die während einer ophthalmologische Operation von einem Bildsensor erzeugt wurden und annotiert sind. Die die Speichereinheit ist auch angepasst zum Speichern von Sensordaten eines Phakosystems, die während der ophthalmologischen Operation von einem Sensor des Phakosystems erzeugt wurden und annotiert sind, wobei die annotierten Sensordaten und die annotierten digitalen Bilddaten synchronisierte Zeitstempel aufweisen, und wobei die Annotationen auf Zustände der ophthalmologischen Operation verweisen. Das Speichersystem - bzw. die Speichereinheit 504 - kann ein gemeinsames Speichersystem für eine Sensordatenspeicherung von allen beteiligten Operationshilfsgeräten sein. Dabei kann es sich, muss sich aber nicht um ein dediziertes Gerät handeln. Das Speichersystem kann auch in eines der beteiligten Operationshilfsgeräte integriert sein.
Das maschinelle Lernsystem 500 weist auch eine Datenverarbeitungsanlage 502 („joined-data processing unit) auf, in die die Speichereinheit 504 integriert sein kann, die wiederum mit einem Prozessor 506 verbunden ist, und ein Trainingsmodul 508, das mit dem Prozessor 506 verbunden ist. Das Trainingsmodul 508 ist zusammen mit dem Prozessor 506 angepasst zum Trainieren des ersten maschinellen Lernsystems mittels der annotierten Bilddaten und der annotierten Sensordaten zum Erzeugen eines Lernmodells zum Vorhersagen eines Zustandes der ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals.
Dabei ist das Steuerungssignal geeignet bzw. ausgelegt, eine Assistenzfunktion bei einem späteren Einsatz des maschinellen Lernmodells während einer Vorhersagephase eines maschinellen Lernsystems zu ermöglichen. Das Steuerungssignal kann mittelbaren (via Freigabe) oder unmittelbaren (ohne explizite Bestätigung durch den Operateur) Einfluss auf die Funktion der Operationshilfsgeräte nehmen. Die Module des Systems 500 können entweder durch elektrische Signalaustauschleitungen miteinander verbunden sein oder über das systeminterne Bussystem 510.
6 stellt das Operationsassistenzsystem 600 zum Verwenden eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals dar. Das Operationsassistenzsystem 600 weist ein erstes Erfassungsmodul 602 zum Erfassen von digitalen Bilddaten eines Operationsmikroskops während einer ophthalmologischen Operation auf. Das erste Erfassungsmodul und das Operationsmikroskop sind dazu elektrisch für einen Signalaustausch miteinander verbunden. Das Operationsassistenzsystem 600 weist auch ein zweites Erfassungsmodul 604 zum Erfassen von Sensordaten eines Phakosystems während der ophthalmologischen Operation auf, wobei das zweite Erfassungsmodul und das Phakosystem elektrisch für einen Signalsautausch mit einem Datenverarbeitungssystem verbunden sind.
Zusätzlich weist das Operationsassistenzsystem 600 ein Vorhersagemodul 606 eines zweiten maschinellen Lernsystems (nicht dargestellt) für eine Vorhersage eines Zustandes der ophthalmologischen Operation auf. Das zweite maschinelle Lernsystem weist ein trainiertes Lernmodell auf bzw. nutzt es, das durch vorheriges Training (potenziell auf einem anderen typgleichen Lernsystem) zum Vorhersagen (in der Prädikationsphase) eines Zustandes einer ophthalmologischen Operation, und basierend darauf, das Ausgeben eines Steuerungssignals.
Ergänzend kann im Operationsassistenzsystem 600 ein Steuerungsmodul 608 vorhanden sein, welches das Steuerungssignal als Eingangssignal erhält. Das Steuerungsmodul 608 wird dadurch in die Lage versetzt, während einer Vorhersagephase des zweiten maschinellen Lernsystems während der ophthalmologischen Operation einen Parameter eines der ophthalmologischen Operation Geräte zu steuern. Die Module des Operationsassistenzsystems 600 können entweder durch elektrische Signalaustauschleitungen miteinander verbunden sein oder über das systeminterne Bussystem 610.
7 stellt ein Diagramm eines Computersystems dar, welches zusätzlich das maschinelle Lernsystem 500 gemäß 5 oder das Operationsassistenzsystem 600 gemäß 6 ganz oder teilweise aufweisen kann.
Ausführungsformen des hier vorgeschlagenen Konzeptes können grundsätzlich zusammen mit praktisch jedem Typ von Computer, unabhängig von der darin verwendeten Plattform zur Speicherung und/oder Ausführung von Programmcodes, genutzt werden. 7 stellt beispielhaft ein Computersystem 700 dar, welches zur Ausführung von Programmcode entsprechend des hier vorgestellten Verfahrens geeignet ist, aber auch das Vorhersagesystem ganz oder teilweise enthalten kann.
Das Computersystem 700 weist eine Mehrzahl von allgemein nutzbaren Funktionen (general purpose functions) auf. Dabei kann das Computersystem ein Tablet-Computer, ein Laptop-/Notebook-Computer, ein anderes tragbares oder mobiles elektronisches Gerät, ein Mikroprozessorsystem, ein Mikroprozessor-basiertes System, ein Smartphone, ein Computer-system mit speziell eingerichteten Sonderfunktionen, oder auch ein Bestandteil von einem Mikroskopsystem sein. Das Computersystem 700 kann eingerichtet sein zur Ausführung vom Computer-System ausführbaren Anweisungen - wie beispielsweise Programm-Modulen - die ausgeführt werden können, um Funktionen der hier vorgeschlagenen Konzepte umzusetzen. Dazu können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. aufweisen, um bestimmte Aufgaben oder bestimmte abstrakte Datentypen zu implementieren.
Die Komponenten des Computersystems können Folgendes aufweisen: einen oder mehrere Prozessoren oder Verarbeitungseinheiten 702, ein Speichersystem 704 und ein Bussystem 706, welches verschiedene Systemkomponenten, inklusive des Speichersystems 704, mit dem Prozessor 702 verbindet. Typischerweise weist das Computersystem 700 eine Mehrzahl von, durch das Computersystem 700, zugreifbaren flüchtigen oder nicht-flüchtigen Speichermedien auf. Im Speichersystem 704 können die Daten und/oder Instruktionen (Befehle) der Speichermedien in flüchtiger Form - wie beispielsweise in einem RAM (random access memory) 708 - gespeichert sein, um von dem Prozessor 702 ausgeführt zu werden. Diese Daten und Instruktionen realisieren einzelne oder mehrere Funktionen bzw. Schritte des hier vorgestellten Konzeptes. Weitere Komponenten des Speichersystems 704 können ein Permanentspeicher (ROM) 710 und ein Langzeitspeicher 712 sein, in dem die Programmmodule und Daten (Bezugszeichen 716), wie auch Workflows, gespeichert sein können.
Das Computersystem weist zur Kommunikation eine Reihe von dedizierten Vorrichtungen (Tastatur 718, Maus/Pointing Device (nicht dargestellt), Bildschirm 720, usw.) auf. Diese dedizierten Vorrichtungen können auch in einem berührungsempfindlichen Display vereint sein. Ein separat vorgesehener I/O-Controller 714 sorgt für einen reibungslosen Datenaustausch zu externen Geräten. Zur Kommunikation über ein lokales oder globales Netzwerk (LAN, WAN, beispielsweise über das Internet) steht ein Netzwerkadapter 722 zur Verfügung. Auf dem Netzwerkadapter kann durch andere Komponenten des Computersystems 700 über das Bussystem 706 zugegriffen werden. Dabei versteht es sich, dass - obwohl nicht dargestellt - auch andere Vorrichtungen an das Computersystem 700 angeschlossen sein können.
Darüber hinaus können mindestens Teile des erstes maschinellen Lernsystems 500 für die Erzeugung der Assistenzfunktion für eine ophthalmologische Operation (vgl. 5) und/oder des Operationsassistenzsystems 600 zum Verwenden eines Lernmodells zum Vorhersagen eines Zustandes einer ophthalmologischen Operation (vgl. 6) an das Bussystem 706 angeschlossen sein.
Die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung wurde zum besseren Verständnis dargestellt, dient aber nicht einer unmittelbaren Einschränkung der erfinderischen Idee auf diese Ausführungsbeispiele. Weitere Modifikationen und Variationen erschließt sich der Fachmann selbst. Die hier genutzte Terminologie wurde so gewählt, um die grundsätzlichen Prinzipien der Ausführungsbeispiele am besten zu beschreiben und sie dem Fachmann leicht zugänglich zu machen.
Das hier vorgestellte Prinzip kann sowohl als System, als Verfahren, Kombinationen davon und/oder auch als Computerprogrammprodukt verkörpert sein. Dabei kann das Computerprogrammprodukt ein (oder mehrere) Computer-lesbare/s Speichermedium/-medien aufweisen, welches Computer-lesbare Programminstruktionen aufweist, um einen Prozessor oder ein Steuerungssystem dazu zu veranlassen, verschiedene Aspekte der vorliegenden Erfindung auszuführen.
Als Medien kommen elektronische, magnetische, optische, elektromagnetische, Infrarot-Medien oder Halbleitersysteme als Weiterleitungsmedium zum Einsatz; beispielsweise SSDs (solid state device/drive als Festkörperspeicher), RAM (Random Access Memory) und/oder ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) oder eine beliebige Kombination davon. Als Weiterleitungsmedien kommen auch sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen in Wellenleitern oder anderen Übertragungsmedien (z.B. Lichtimpulse in optischen Kabeln) oder elektrische Signale, die in Drähten übertragen werden, in Frage.
Das Computer-lesbare Speichermedium kann eine verkörpernde Vorrichtung sein, welche Instruktionen für eine Nutzung durch ein Instruktionsausführungsgerät vorhält bzw. speichert. Die Computer-lesbaren Programminstruktionen, die hier beschrieben sind, können auch auf ein entsprechendes Computersystem heruntergeladen werden, beispielsweise als (Smartphone-) App von einem Service-Provider über eine kabelbasierte Verbindung oder ein Mobilfunknetzwerk.
Die Computer-lesbaren Programminstruktionen zur Ausführung von Operationen der hier beschriebenen Erfindung können maschinenabhängig sein oder maschinenunabhängige Instruktionen, Microcode, Firmware, Status-definierende Daten oder jeglicher Source-Code oder Objektcode, der beispielsweise in C++, Java oder ähnlichen bzw. in konventionellen prozeduralen Programmiersprachen, wie beispielsweise der Programmiersprache „C“ oder ähnlichen Programmiersprachen, geschrieben sein. Die Computer-lesbaren Programminstruktionen können komplett durch ein Computersystem ausgeführt werden. In einigen Ausführungsbeispielen können es auch elektronische Schaltkreise, wie beispielsweise programmierbare Logikschaltkreise, Feld-programmierbare Gate Arrays (FPGA) oder programmierbare Logik-Arrays (PLA), sein, die die Computer-lesbaren Programminstruktionen durch Nutzung von Statusinformationen der Computer-lesbaren Programminstruktionen ausführen, um die elektronischen Schaltkreise entsprechend Aspekten der vorliegenden Erfindung zu konfigurieren bzw. zu individualisieren.
Darüber hinaus ist die hier vorgestellte Erfindung mit Bezug auf Flussdiagramme und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten entsprechend Ausführungsbeispielen der Erfindung dargestellt. Es sei darauf hingewiesen, dass praktisch jeder Block der Flussdiagramme und/oder Blockdiagramme als Computer-lesbare Programminstruktionen ausgestaltet sein kann.
Die Computer-lesbaren Programminstruktionen können einem General-Purpose-Computer, einem Spezialcomputer oder einem anderweitig programmierbaren Datenverarbeitungssystem zur Verfügung gestellt werden, um eine Maschine herzustellen, sodass die Instruktionen, welche durch den Prozessor oder den Computer oder andere programmierbare Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel erzeugen, um die Funktionen oder Vorgänge, die in dem Flussdiagramm und/oder Blockdiagrammen dargestellt sind, zu implementieren. Diese Computer-lesbaren Programminstruktionen können entsprechend auch auf einem Computer-lesbaren Speichermedium gespeichert werden.
In diesem Sinne kann jeder Block in dem dargestellten Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder Anteile an Instruktionen darstellen, welche mehrere ausführbare Instruktionen zur Implementierung der spezifischen Logikfunktion darstellt. In einigen Ausführungsbeispielen können die Funktionen, die in den einzelnen Blöcken dargestellt sind, in einer anderen Reihenfolge - gegebenenfalls auch parallel - ausgeführt werden.
Die dargestellten Strukturen, Materialien, Abläufe und Äquivalente aller Mittel und/oder Schritte mit zugehörigen Funktionen in den untenstehenden Ansprüchen sind dazu gedacht, alle Strukturen, Materialien oder Abläufe anzuwenden, wie es durch die Ansprüche ausgedrückt ist.
Bezugszeichenliste

100: Verfahren für eine Erzeugung einer Assistenzfunktion
102: Verfahrensschritt zu 100
104: Verfahrensschritt zu 100
106: Verfahrensschritt zu 100
108: Verfahrensschritt zu 100
200: Verfahren zum Verwenden des Lernmodells
202: Verfahrensschritt zu 200
204: Verfahrensschritt zu 200
206: Verfahrensschritt zu 200
208: Verfahrensschritt zu 200
300: praxisnaher Aufbau für ein System zur Erzeugung eines Lernmodells für eine Assistenzfunktion
302: Operationsmikroskop
304: Phakosystem
306: Robotersystem
308: OCT-System
310: Daten des Operationsmikroskops
312: Daten des Phakosystems
314: Daten des Robotersystems
316: Daten des OCT-Systems
318: erstes maschinelles Lernsystem
320: maschinelles Lernmodell
322: Hinweispfeil
324: Hinweispfeil
326: zweites maschinelles Lernsystem
328: Steuerungssignal
402: Trainingsphase
404: Anwendungsphase
500: erstes maschinelles Lernsystem
502: DV-Anlage
504: Speichereinheit
506: Prozessor
508: Trainingsmodul
510: systeminternes Bussystem
600: Operationsassistenzsystem
602: erstes Erfassungsmodul
604: zweites Erfassungsmodul
606: Vorhersagemodul
608: Steuerungsmodul
610: systeminternes Bussystem
700: Computersystem
702: Prozessor
704: Speichersystem
706: Bussystem
708: RAM
710: ROM
712: Langzeitspeicher
714: I/O-Controller
716: Programmmodule, potenzielle Daten
718: Tastatur
720: Bildschirm
722: Netzwerkadapter

Claims

Ein Computer-implementiertes Verfahren (100) für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation, das Verfahren (100) aufweisend - Erfassen (102) von digitalen Bilddaten (310) eines Operationsmikroskops (302), die während einer ophthalmologischen Operation von einem Bildsensor erzeugt wurden und annotiert sind, - Erfassen (104) von Sensordaten (312) eines Phakosystems (304), die während der ophthalmologischen Operation von einem Sensor des Phakosystems (304) erzeugt wurden und annotiert (106) sind, wobei die annotierten Sensordaten (312) und die annotierten digitalen Bilddaten synchronisierte Zeitstempel aufweisen, und wobei die Annotationen indikativ für einen Zustand einer ophthalmologischen Operation verweisen, und - Trainieren (108) eines ersten maschinellen Lernsystems (318) mittels der annotierten Bilddaten (310) und der annotierten Sensordaten (312) zum Erzeugen eines Lernmodells (320) zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals (328), - wobei das Steuerungssignal (328) geeignet ist, eine Assistenzfunktion bei einem späteren Einsatz des trainierten Lernmodels (320) während einer Vorhersagephase eines maschinellen Lernsystems 326 zu ermöglichen.
Das Verfahren (100) gemäß Anspruch 1, zusätzlich aufweisend - Erfassen von Sensor- und/oder Bilddaten (314) eines Operationsroboters (306), wobei die Sensor- und/oder Bilddaten während der ophthalmologischen Operation erzeugt wurden und annotiert werden, und - Nutzen der annotierten Sensor- und/oder Bilddaten (314) des Operationsroboters (306) beim Training zur Erzeugung des Lernmodells (320).
Das Verfahren (100) gemäß Anspruch 1 oder 2, zusätzlich aufweisend - Erfassen von OCT-Bilddaten (310) eines OCT-Scanners (308) und/oder eines Operationsroboters (306), wobei die OCT-Bilddaten (316) und/oder die Achspositionsdaten des Operationsroboters (306) während der ophthalmologischen Operation erzeugt wurden und annotiert werden, und - Nutzen der annotierten OCT-Bilddaten (312) und/oder der Achspositionsdaten beim Training (108) zur Erzeugung des Lernmodells (320).
Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei die Bestimmung des Zustandes der ophthalmologischen Operation auf einer Bestimmung eines für die jeweilige Operationsphase charakteristischen Operationsinstrumentes durch Anwendung des maschinellen Lernsystems (320) beruht.
Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei das Steuerungssignal (328) zur Steuerung von mindestens einem Parameter von bei der ophthalmologischen Operation eingesetzten Geräten (302, 304, 306, 308) einsetzbar ist.
Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei die erfassten digitalen Bilddaten und Sensordaten (310, 312, 314, 316) in einem gemeinsamen Speichersystem (504) zeitsynchronisiert erfasst werden.
Ein Verfahren (200) zum Verwenden eines zweiten Lernmodells (320) zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, wobei das Verfahren ausweist - Erfassen (202) von digitalen Bilddaten (310) eines Operationsmikroskops (302) während einer ophthalmologischen Operation, - Erfassen (204) von Sensordaten (312) eines Phakosystems (304) während der ophthalmologischen Operation, - Bestimmen (206) eines Zustandes einer ophthalmologischen Operation mittels eines zweiten maschinellen Lernsystems (326), welches ein trainiertes Lernmodell aufweist, das angepasst ist zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und basierend auf dem Vorhersagen des Zustandes, Ausgeben eines Steuerungssignals, und - Steuern einer Assistenzfunktion durch das Steuerungssignal während einer Vorhersagephase des zweiten maschinellen Lernsystems während der ophthalmologischen Operation.
Ein erstes maschinelles Lernsystem (318) für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation, das Verfahren aufweisend - eine Speichereinheit (504) zum Speichern von digitalen Bilddaten (31) eines Operationsmikroskops (320), die während einer ophthalmologischen Operation von einem Bildsensor erzeugt wurden und annotiert sind, - wobei die Speichereinheit (504) auch angepasst zum Speichern von Sensordaten (312) eines Phakosystems (304) ist, die während der ophthalmologischen Operation von einem Sensor des Phakosystems (304) erzeugt wurden und annotiert sind, wobei die annotierten Sensordaten (312) und die annotierten digitalen Bilddaten (310) synchronisierte Zeitstempel aufweisen, und wobei die Annotationen auf Zustände der ophthalmologischen Operation verweisen, - eine Datenverarbeitungsanlage (502) aufweisend - die Speichereinheit (504), die mit einem Prozessor (702) verbunden ist, und - ein Trainingsmodul, das mit dem Prozessor (506) verbunden ist, und das zusammen mit dem Prozessor (506) angepasst ist zum Trainieren (108) des ersten maschinellen Lernsystems (318 mittels der annotierten Bilddaten (310) und der annotierten Sensordaten (312) zum Erzeugen eines Lernmodells (320) zum Vorhersagen eines Zustandes der ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals (328), - wobei das Steuerungssignal (328) geeignet ist, eine Assistenzfunktion bei einem späteren Einsatz des maschinellen Lernmodells (320) während einer Vorhersagephase eines maschinellen Lernsystems (326) zu ermöglichen.
Ein Operationsassistenzsystem (600) zum Verwenden eines Lernmodells (320) zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und darauf basierend, zum Ausgeben eines Steuerungssignals (328), wobei das Operationsassistenzsystem (600) aufweist - ein erstes Erfassungsmodul (602) zum Erfassen von digitalen Bilddaten (310) eines Operationsmikroskops (302) während einer ophthalmologischen Operation, wobei das erste Erfassungsmodul (602) und das Operationsmikroskop (302) elektrisch für einen Signalaustausch miteinander verbunden sind, - ein zweites Erfassungsmodul (604) zum Erfassen von Sensordaten (312) eines Phakosystems (304) während der ophthalmologischen Operation, wobei das zweite Erfassungsmodul (604) und das Phakosystems (304) elektrisch für einen Signalaustausch mit einem Datenverarbeitungssystem (700) verbunden sind, und - Vorhersagemodul (606) eines zweiten maschinellen Lernsystems (326) für eine Vorhersage eines Zustandes der ophthalmologischen Operation, welches ein trainiertes Lernmodell (320) aufweist, das durch vorheriges Training angepasst ist zum Vorhersagen eines Zustandes einer ophthalmologischen Operation, und basierend auf der Vorhersagen des Zustandes, zum Ausgeben eines Steuerungssignals (328), und - ein Steuerungsmodul (608), welches das Steuerungssignal (328) als Eingangssignal erhält, wobei das Steuerungsmodul (608), während einer Vorhersagephase des zweiten maschinellen Lernsystems (326) während der ophthalmologischen Operation, einen Parameter eines bei der ophthalmologischen Operation genutzten Gerätes (302, 304, 306, 308) steuert.
Ein Computerprogrammprodukt für eine Erzeugung einer Assistenzfunktion für eine ophthalmologische Operation, welches darauf gespeicherte Programminstruktionen aufweist, wobei die Programminstruktionen durch einen oder mehrere Computer (700) oder Steuereinheiten ausführbar sind und den einen, oder die mehreren, Computer (700) oder Steuereinheiten dazu veranlasst, das Verfahren (100) entsprechend einem der Ansprüche 1 bis 7 auszuführen.