AT525510A1 - Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut - Google Patents
Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut Download PDFInfo
- Publication number
- AT525510A1 AT525510A1 ATA50759/2021A AT507592021A AT525510A1 AT 525510 A1 AT525510 A1 AT 525510A1 AT 507592021 A AT507592021 A AT 507592021A AT 525510 A1 AT525510 A1 AT 525510A1
- Authority
- AT
- Austria
- Prior art keywords
- retina
- digital
- image
- imaging
- stage
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut (8) des menschlichen und/oder tierischen Auges (1) bestehend aus einem die Netzhaut (8) abbildenden Objektiv (11), das einen zu beurteilenden Abschnitt der Netzhaut auf 5 einen digitalen Bildsensor (12) projiziert, dessen Signale mindestens einem Display (13) zugeführt werden, wobei die Signale des Bildsensors (12) als Datensatz (19) eines Videostreams zusätzlich einer Bildverarbeitung (20) zugeführt werden, welche in der Art einer künstlichen Intelligenz (30) eine Mustererkennung des Datensatzes (19) in mehreren seriell hintereinander geschalteten und durch eine 10 Vielzahl von Signalpfaden (22, 24, 28) verknüpften Entscheidungsstufen (21, 23, 25, 26) ausführt und dass in einer Ausgabestufe (26a, 26b) eine alphanumerische Anzeige (29) über den Zustand der Netzhaut (8) ausgegeben wird.
Description
15
20
25
30
Verfahren zum Betrieb einer diqitalen Kamera zur Abbildung der Netzhaut
Die Erfindung betrifft ein Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut sowie eine nach dem Verfahren arbeitende digitale Kamera und ferner eine digitale Applikation im Betriebssystem eines Mobiltelefons mit einer dort angeordneten Kamera zur Abbildung der Netzhaut des menschlichen und/oder
tierischen Auges.
Mit der DE 10 2019 106 428 A1 ist ein Verfahren und eine Vorrichtung zur berührungslosen Aufnahme von Bildern der Netzhaut bekannt geworden, bei dem das Abbild der Netzhaut über Strahlteiler auf ein Display geleitet wird, um die
Netzhaut optisch darzustellen und untersuchbar zu machen.
Mit der DE 102 90 005 B4 ist ophthalmologisches Untersuchungsgerät für den Augenhintergrund auf der Basis der indirekten Ophthalmoskopie bekannt geworden, bei dem ebenfalls über Strahlteiler und voneinander getrennte optische Wege ein Abbild der Netzhaut zu Diagnose- und gegebenenfalls Therapiezwecken
erzeugt wird.
Die Hauptfunktion einer Kamera ist die Bilddokumentation unterschiedlicher Erkrankungen. Einsatzgebiete sind die normale Bilddokumentation im weißen oder farbigen Licht, die Fluoreszenz- oder CG-Angiografie und die Aufzeichnung von
Eigenfluoreszenz.
Die aus der letztgenannten Druckschrift bekannte Kamera hat allerdings den Nachteil, dass nur eine optische Abbildung der Netzhaut möglich ist, ohne eine gezielte, automatisierte online-Diagnose über den Netzhautzustand treffen zu
können.
Um eine automatisierte Diagnose von Netzhauterkrankungen vorzunehmen, ist es bekannt, dass bei der Diagnostik von Erkrankungen des Sehnervenkopfes digitale Module mit künstlicher Intelligenz zur Bilddatenanalyse verwendet werden. Dabei
fallen so große Datenmengen an, dass deren Verarbeitung nur mit speziellen
15
20
25
30
2
räumlich entfernten Rechnern möglich ist, was kurzgefasst als „Big Data“
bezeichnet wird.
„Big Data“ beschreibt demnach die Analyse von großen Datenmengen. Diese ermöglicht die kostengünstige und _ressourcensparende Beantwortung verschiedener klinischer Fragestellungen, um so auch übergeordnete Zusammenhänge aufzeigen zu können. Basis für diese Auswertungen sind große, strukturierte und digitale Datensammlungen. Dies hat im Bereich der Augenheilkunde dazu geführt, dass verschiedene Register gegründet wurden. Besonders nennenswert sind in diesem Zusammenhang das „Save Sight“-Register in Australien, das „IRIS“-Register in den USA und das „OREGIS“-Register unter Schirmherrschaft der Deutschen Ophthalmologischen Gesellschaft (DOG) in
Deutschland.
Gerade in Zeiten einer Pandemie kann sich dies als hilfreich erweisen. So ist es unter Anwendung von „Big Data“ bekannt, dass das individuelle Risiko eines Fortschreitens einer Augenerkrankung — wie z.B. eine Druckerhöhung im Gehirn durch eine Thrombose nach einer Covid19-Impfung- durch eine verzögerte Inanspruchnahme der Versorgung und das Morbiditätsrisiko möglich ist, was eine
sofortige Zuweisung an eine Schlaganfall-Ambulanz erfordert.
Weitere Möglichkeiten von strukturierten großen Datensätzen sind die Anwendung von Kl für eine Segmentierung und Klassifikation oder Prädiktion des
Krankheitsverlaufs von Erkrankungen des Sehnervs.
Kl (künstliche Intelligenz) ist ein Teilbereich der Informatik und beschreibt
Algorithmen, die in der Lage sind, „intelligente“ Entscheidungen zu treffen.
Maschinelles Lernen (ML) und Deep Learning (DL) sind Unterbegriffe der Kl und beschreiben Algorithmen, welche die Fähigkeiten besitzen, bestimmte
Lösungsansätze selbständig zu „erlernen“.
Solche Algorithmen sind insbesondere für die automatische Bildanalyse geeignet,
jedoch sind für den Anwender die Entscheidungsprozesse nicht immer
15
20
25
30
3
nachvollziehbar und die Auswertung derartiger „Big Data“-Datenmengen ist mit
einem relativ großen Zeit-, Maschinen- und Rechenaufwand verbunden.
Es ist bisher lediglich bekannt, die Daten einer automatischen Bildanalyse für die Beurteilung der Netzhaut des menschlichen oder tierischen Auges über eine Datenfernverbindung einem entfernten Server einzuspeichern, der — mit großem Rechenaufwand und entsprechender Rechenzeit — eine automatisierte Auswertung
des Zustandes der Netzhaut liefert.
In der täglichen Augenarztpraxis sind derartige Big-Data-Auswertungen jedoch unbrauchbar, weil die von der Aufnahme der Netzhaut mit einer digitalen Kamera angefertigten digitalen Daten einer möglicherweise vorhandenen Notsituation nicht
gerecht werden, die eine sofortige Intervention des Arztes erfordert.
So kann es vorkommen, dass aufgrund einer COVID-19-Exposition der Patient einen Verschluss der ableitenden Blutwege in den zentralen Netzhautgefäßen des Sehnervenkopfes erleidet. Daher kann es bei Behinderung des Blutabflusses zur Schwellung und Stauungspapille der normalerweise im Zentrum leicht eingesunkenen Sehnervenpapille kommen. Neben Verschlüssen der ableitenden Blutwege (Zentralvenenthrombose, Sinusthrombose) können dafür verschiedene Erkrankungen, die zu einem erhöhten Druck im Hirnschädelinneren (Intrakranieller
Druck) führen, der Grund sein.
Hirnvenenthrombosen sind öfter Folge einer Sinusthrombose, da bei längerem Blutstau auch in den austretenden Hirnvenen ebenfalls Blut gerinnt. Sinusthrombosen behindern jedoch nicht nur den Blutabfluss, sondern auch die Drainage von Zerebrospinalflüssigkeit und führen zu einem Anstieg des
Gehirninnendrucks.
Die Symptome und der klinische Verlauf von zerebralen Venen- und Sinusthrombosen sind überaus variabel, sodass sich eine typische Symptomatik kaum angeben lässt. Häufig treten Kopfschmerzen auf, daneben oft umschriebene motorische Defizite wie Lähmungen oder Sprachstörungen, nicht selten auch
epileptische Anfälle und Bewusstseinsstörungen bis hin zum Koma. Schwere
15
20
25
30
4
mögliche Komplikationen sind ausgedehnte Hirnblutungen und lebensbedrohliche
Hirndrucksteigerungen mit Kompression des Gehirns.
Derartige Sinusthrombosen können als unerwünschte Begleiterscheinung einer COVID-19-Impfung auftreten und bedürfen einer sofortigen Intervention. Es ist daher unerwünscht, pathologisch veränderte Abbildungen der Netzhaut über ein Big-Data-System automatisiert auswerten zu lassen, weil damit wertvolle Zeit für
eine dringend notwendige, sofortige Intervention verlorengeht.
Der Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut des menschlichen und/oder tierischen Auges sowie eine das Verfahren ausführende digitale Kamera und ferner eine für den Betrieb der Kamera geeignete digitale Applikation in der Weise vorzuschlagen, dass mit einem beschleunigtem automatisierten Verfahren im Wege einer automatisierten Bildverarbeitung sofort am Ort der Diagnose eine schnelle und
treffende Diagnose einer Sinusvenenthrombose gestellt werden kann.
Zur Lösung der gestellten Aufgabe ist die Erfindung durch ein Verfahren nach dem
unabhängigen Anspruch 1 gekennzeichnet.
Eine digitale Kamera, welche die gestellte Aufgabe löst, ist Gegenstand des unabhängigen Anspruches 5 und eine digitale Applikation, die im Betriebssystem eines Mobiltelefons implementiert ist und die Funktion einer digitalen Kamera
ausführt, ist Gegenstand des unabhängigen Anspruches 7.
Mit der technischen Lehre der unabhängigen Ansprüche wird es erstmals möglich, eine automatisierte Bildverarbeitung des Abbilds der Netzhaut des menschlichen und/oder tierischen Auges zu erzeugen, die ohne wesentlichen Zeitverzug zu einer sofortigen Diagnose einer pathologisch veränderten Netzhaut und insbesondere
eines pathologisch veränderten Sehnervenkopfes führt.
In einer bevorzugten Ausgestaltung ist es dabei vorgesehen, dass die Signale des Bildsensors der digitalen Kamera als multivektorieller (mehr-dimensionaler)
Datensatz eines Videostreams einer digitalen Bildverarbeitung zugeführt werden,
15
20
25
30
5
welche in der Art einer künstlichen Intelligenz eine Mustererkennung des Datensatzes in mehreren seriell hintereinander geschalteten und durch eine Vielzahl von Signalpfaden verknüpften Entscheidungsstufen ausführt, so dass in einer letzten Ausgabestufe der künstlichen Intelligenz bevorzugt eine alphanummerische Anzeige über den Zustand der Netzhaut ausgegeben werden
kann.
Der Videostream besteht aus einer Vielzahl seriell hintereinander angeordneten Einzelaufnahmen der Netzhaut, von denen einige optimal für eine nachgeschaltete Verarbeitung geeignet sind und andere nicht. Solche Einzelaufnahmen können auch digitale Tags tragen, welche die spätere Verarbeitung erleichtern. Die KI hat unter anderem die Aufgabe durch eine automatisierte Auswertung der Bilder des Videostreams die für die spätere Auswertung optimal geeignete Aufnahme zu
erkennen, zu identifizieren und den nachgeschalteten Stufen der KI einzuspeisen
Eine digitale Kamera arbeitet mit einer solchen künstlichen Intelligenz. In einer bevorzugten Ausgestaltung ist vorgesehen, dass in einem Betriebssystem eines Mobiltelefons eine digitale Applikation lauffähig ist, die in der Lage ist, die Signale des Bildsensors der Mobiltelefon-Kamera als Datensatz eines digitalen Videostreams einer in der digitalen Applikation angesiedelten Bildverarbeitung zuzuführen, welche in der Art einer künstlichen Intelligenz eine Mustererkennung des Datensatzes in mehreren seriell hintereinander geschalteten und durch eine Vielzahl von Signalpfaden (im Sinne eines neuronalen Netzwerks) verknüpften Entscheidungsstufen ausführt, wobei in einer Ausgabestufe vorzugsweise eine
alphanummerische Anzeige über den Zustand der Netzhaut gegeben ist.
Von besonderem Vorteil dabei ist, dass als Eingangskomponente für die digitale Bilderzeugung der von der Kamera erzeugter Videofilm (z.B. im Format mp4 oder mov) ist, der aus einer Serie von Abbildungen der Netzhaut besteht. Damit ist es möglich, dass die KI schnell und zuverlässig das beste Bild zur nachgeschalteten Bildanalyse aus dem Videostream auswählt, ohne dass es — wie bei Big-DataAnwendungen -— üblich eines Eingriffs einer Person bedarf, die aus mehreren Bildern das beste Bild manuell heraussucht, eventuell kritische Bereiche markiert
und den sich daraus ergebenden Datensatz einer Fernverarbeitung zuführt.
15
20
25
30
Die vorher erwähnten ML-Modelle haben genauso wie die klassischen statistischen Modelle das Ziel, durch „Training“ anhand von Musterdaten exakte Vorhersagen zu treffen. Bei der hier erwähnten künstlichen Intelligenz, die bevorzugt auf einem Deep Learning (DL) beruht, werden sogenannte tiefe neuronale Netzwerke verwendet, bei denen Algorithmen orientiert an der Struktur des menschlichen
Gehirns aufgebaut sind.
In der hier bevorzugten Ausführungsform besteht das neuronale Netzwerk der erfindungsgemäßen künstlichen Intelligenz aus einer Eingangsstufe, welche aus mehreren zueinander parallelen Prozessoren besteht, die in der Lage sind, den von dem digitalen Bildsensor gelieferten Datensatz eines Videostreams in
unterschiedliche, kleinere Datensätze zu zerlegen.
In einem ersten Prozessor dieser Eingangsstufe erfolgt beispielsweise mit Hilfe von Farbfiltern eine Zerlegung der Bilder des Videostreams in die verschiedenen Spektralanteile; ein zweiter Prozessor der gleichen Eingangsstufe führt bevorzugt eine Mustererkennung eines umgewandelten Schwarz-Weiß-Bildes durch; ein dritter Prozessor der Eingangsstufe führt eine Größenbestimmung, eine Kalibrierung und eine Weiß-Schwarz-Erkennung durch. Auch kann die sogenannte Autofluoreszenz hilfreich sein. So dienen die parallel geschalteten Prozessoren der Eingangsstufe zunächst der Bildzerlegung und der Bildanalyse. Die Prozessoren der Eingangsstufe liefern über vielfältig miteinander verknüpfte Signalpfade die ermittelten Daten an eine nachgeschaltete Vorverarbeitungsstufe, in der weitere Prozessoren parallel zueinander geschaltet sind, welche die von den eingangsseitigen Prozessoren der Eingangsstufe gelieferten Signale weiter auswerten und beispielsweise zu einer grundsätzlichen Aussage im Hinblick auf
eine pathologische Veränderung der Netzhaut kommen.
Die Prozessoren der Vorverarbeitungsstufe sind bevorzugt über eine Anzahl von miteinander verknüpften und sich überkreuzenden Signalpfade mit den parallel geschalteten Prozessoren einer nachgeschalteten Entscheidungsstufe verknüpft, in denen aufgrund eines Lernmodells und einer Lernstufe digitale Abbildungen von
pathologisch veränderten MNetzhäuten eingespeist sind, um so einen
15
20
25
30
7
Mustervergleich in der Entscheidungsstufe mit den von den beiden vorgeschalteten Stufen verarbeiteten digitalen Bild zu treffen.
Die Prozessoren der Entscheidungsstufe sind miteinander verknüpft, und die sich hieraus ergebenden Signalpfade sind schließlich auf eine ausgangsseitigen Ausgabestufe geleitet, in der bevorzugt eine alphanummerische Anzeige der
erkannten pathologischen Veränderung der Netzhaut erzeugt wird.
So haben Untersuchungen ergeben, dass die Aussage, dass eine Stauungspapille vorhanden ist, mit 95%iger Sicherheit getroffen werden kann und die — falschnegative — Aussage, dass es sich um eine gesunde Netzhaut handelt, nur mit einer
Wahrscheinlichkeit von 5 % erzeugt wird.
Daraus ergibt sich der Vorteil der Erfindung, weil ein schnellablaufendes Verfahren mit einer schnellen Diagnose aufgrund eines direkt erzeugten Videostreams vorgeschlagen wird, für den die digitale Kamera die automatisierte Bildverarbeitung durchführt.
So wurde festgestellt, dass insbesondere in der Eingangsstufe eine Bildsegmentierung vorteilhaft ist, bei der die Überprüfung eines jeden einzelnen Bildpunktes stattfindet und entschieden wird, ob diesem einen interessierenden
Objekt, wie z. B. einer anatomischen Struktur der Netzhaut, angehört oder nicht.
So ist es zweckmäßig, mit einem Modell eine automatische Segmentierung des Abbildes des Sehnervenkopfes durchzuführen, um mit Hilfe des hier dargestellten tiefen neuralen Netzes in einem ersten Schritt aus dem Fundusfoto vorher nicht definierte Merkmale des Sehnervenkopfes zu extrahieren. Somit wird eine aufwändige und fehleranfällige manuelle Markierung umgangen, da das System
bevorzugt selbständig nach Merkmalen sucht.
In der Vorverarbeitungsstufe wurden diese Merkmale als Input für ein weiteres Regressionsmodell zur Vorhersage des Zustandes des Sehnervenkopfes verwendet. Mit den modernen fotografischen Applikationen eines herkömmlichen Mobiltelefons ist es — im Gegensatz zu Fundusfotos — möglich, einen OCT-Scan mit
einer drei-dimensionalen Darstellung des Sehnervenkopfes und des peripapillären
15
20
25
30
8
Gewebes durchzuführen. Dies führt zu verbesserten Darstellungen von strukturellen Veränderungen im Bereich des Sehnervs bei verschiedenen
Optikuserkrankungen.
Von besonderem Vorteil dabei ist, dass die in der Eingangsstufe verwendeten Bildsegmentierungsalgorithmen universell bei allen Erkrankungen des Sehnervenkopfes anwendbar sind, da sie nicht speziell auf die automatische Identifikation einer bestimmten Erkrankung, sondern allein auf eine optimierte Segmentierung einer Bildgebungsmodalität trainiert sind. Demnach gelingt es auf besonders einfache und schnelle Weise unter Ausnutzung der Fähigkeiten einer 3D-Aufnahme mit der Videokamera eines herkömmlichen Mobiltelefons ein neuartiges Verfahren zum Betrieb einer solchen digitalen Kamera vorzuschlagen, wobei eine besonders schnelle und einfache automatisierte Bildauswertung gegeben ist, ohne dass wertvolle Zeit für eine notwendige Intervention des Arztes verlorengeht. Von besonderem Vorteil ist, dass das erfindungsgemässe Verfahren nicht auf die Handhabung durch einen Augenarzt angewiesen ist. Vielmehr kann die Untersuchung von jedem auch für derartige Fragestellungen nicht ausgebildeten Arzt ausgeführt werden und die sich aus dem automatisierten Verfahren ergebende Diagnose ohne weitere Fachkenntnis richtig deuten.
Der Erfindungsgegenstand der vorliegenden Erfindung ergibt sich nicht nur aus dem Gegenstand der einzelnen Patentansprüche, sondern auch aus der Kombination
der einzelnen Patentansprüche untereinander.
Alle in den Unterlagen, einschließlich der Zusammenfassung offenbarten Angaben und Merkmale, insbesondere die in den Zeichnungen dargestellte räumliche Ausbildung, könnten als erfindungswesentlich beansprucht werden, soweit sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind. Die Verwendung der Begriffe „wesentlich“ oder „erfindungsgemäß“ oder „erfindungswesentlich“ ist subjektiv und impliziert nicht, dass die so benannten Merkmale zwangsläufig Bestandteil eines oder mehrerer Patentansprüche sein
müssen.
Im Folgenden wird die Erfindung anhand von lediglich einen Ausführungsweg
darstellenden Zeichnungen näher erläutert. Hierbei gehen aus den Zeichnungen
15
20
25
30
9
und ihrer Beschreibung weitere erfindungswesentliche Merkmale und Vorteile der
Erfindung hervor.
Es zeigen:
Figur 1: schematisierte Darstellung einer digitalen Kamera zur Abbildung der Netzhaut mit automatisierter Bilddatenanalyse
Figur 2: eine ähnliche Darstellung wie Figur 1 mit Darstellung der
automatisieren Auswertung eines dreidimensionalen Fundusfotos mit einer auf einer künstlichen Intelligenz beruhenden digitalen
Bildverarbeitung
Figur 3: Die Anwendung des Verfahrens in der Smartphone-Retinoskopie
In Figur 1 ist ein Schnitt durch ein menschliches Auge 1 dargestellt, welches eine Pupille 2 aufweist, die von einer Iris 3 begrenzt ist und nach vorne von einer Hornhaut 4 abgeschlossen ist. Die Hornhaut 4 wird von der Lederhaut 5 umfasst, und im Innenraum des Auges ist der Glaskörper 9, an dessen Außenumfang die Aderhaut 6 sitzt.
Der Sehnerv 7 tritt schräg von unten als Sehnervenkopf 37 in den Innenraum des Auges 1 ein. Die Netzhaut 8 erstreckt sich rings um den Sehnervenkopf 37 und über
den gesamten Innenumfang des Auges 1.
Erfindungsgemäß wird eine herkömmliche Digitalkamera 10 eines Smartphones (Mobiltelefons) verwendet, welche geeignet ist, zweidimensionale VideoAufnahmen über einen optischen Pfad 27 von der Netzhaut 8 des Auges 1 aufzunehmen. Zu diesem Zweck wird ein Objektiv 11 verwendet, dessen Strahlengang als Abbildung 16 auf einen digitalen Bildsensor 12 wirkt, der in der
Lage ist, zweidimensionale Videobilder zu erzeugen.
15
20
25
30
10
Erst das die Videobilder verarbeitende Programm erzeugt aus dem Videostream und der Anzahl der aufgenommenen Einzelbilder eine Pseudo-3-dimensionale
(diagnostisch verwertbare) Aufnahmereihe.
Bestimmte Typen von Smartphones sind jedoch unter Verwendung eines zusätzlichen Sensors (bevorzugt ein LiDAR-Sensor, welcher, ähnlich einem Timeof-Flight-Sensor, genauere Tiefeninformationen für AR liefert) auch in der Lage dreidimensionale Videoaufnahmen zu erzeugen. Die Erzeugung von Pseudo-3dimensionalen Einzelbildern in der App des Smartphones entfällt dann, weil die Einzelbilder ohne weitere Vorverarbeitung 3-dimensional mit den implementierten
Tiefeninformationen ausgewertet werden.
In einer Weiterbildung der Erfindung kann es vorgesehen sein, dass die VideoAufnahmen von der bildgebenden Vorderseite eines vom Untersucher 42 im Abstand gegen das Auge des Patienten 43 gehaltenen Vergrößerungsglases 44
angefertigt werden. Dies ist in Figur 3 dargestellt.
In der Digitalkamera 10 ist in an sich bekannter Weise ein Auslöser 15 für die Videobildaufnahme angeordnet und gegebenenfalls auch eine Beleuchtungsquelle 14 für eine zusätzliche Beleuchtung des Augenhintergrundes. Die Beleuchtungsquelle 14 erzeugt Lichtstrahlen 36 in Richtung auf den Innenraum des Auges 1. Auf einem Display 13 kann das so erfasste Bild der Netzhaut 8 optisch als
Videostream dargestellt werden.
Erfindungsgemäß ist im Betriebssystem der Digitalkamera 10 eine künstliche Intelligenz in Form einer digitalen Applikation 33 implementiert, die den Datensatz als Videostream aus dem Bildsensor 12 über einen Signalpfad 35 empfängt und in der Art, wie es in Figur 2 dargestellt ist, eine automatisierte Bildverarbeitung durchführt.
Das Ergebnis der automatisierten Bildverarbeitung des dreidimensionalen
Videostreams wird über den Signalpfad 28 vorzugsweise als alphanummerische
Anzeige der ermittelten Diagnose auf dem Display 12 angezeigt.
15
20
25
30
11
Einzelheiten der erfindungsgemäßen digitalen Bildverarbeitung 20 sind aus Figur 2
zu entnehmen.
Die Figur 2 zeigt einen Ausschnitt aus einem Videostream in Form eines einzigen dreidimensionalen Fundusfotos als Abbildung der Netzhaut 8, in der eine
Stauungspapille 18 zu erkennen ist.
Der so erfasste dreidimensionale Datensatz 19 des Videostreams wird über den
Signalpfad 17 der erfindungsgemäßen digitalen Bildverarbeitung 20 eingespeist.
In der Eingangsstufe 21 der verwendeten künstlichen Intelligenz 30 sind eine Anzahl von parallel zueinander geschalteten Prozessoren 38 vorhanden, in denen eine Bildsegmentierung der einzelnen Aufnahmen des Videostreams stattfindet. Die Prozessoren 38 sind über eine Vielzahl von Signalpfade 22 mit der nachgeschalteten Vorverarbeitungsstufe 23 —verschaltet, in welcher Vorverarbeitungsstufe 23 wiederum eine Reihe von parallel geschalteten Prozessoren 39 eine Auswertung der in der Eingangsstufe 21 vorgenommenen
Bildsegmentierung des Videostreams ausführen.
Das Ergebnis der Auswertung besteht aus einer oder mehreren als optimal erkannten Einzelaufnahmen aus dem Videostream. Diese werden über eine Vielzahl von miteinander verknüpften Signalpfaden 24 einer Entscheidungsstufe 25 zugeführt, die aus einer Mehrzahl von parallel miteinander verknüpften Prozessoren 40 besteht.
In dieser Entscheidungsstufe erfolgt auch der Vergleich von digitalen Abbildungen 32 pathologisch veränderter Netzhäute, die über eine Lernstufe 31 und den
Signalpfad 41 der Entscheidungsstufe 25 als Lernmodell eingespeist werden.
Nach erfolgtem Vergleich des einen oder der mehreren digital bearbeiteten dreidimensionalen Fotos der Stauungspapille 18 mit den gespeicherten digitalen Abbildungen 32 in der Lernstufe 31 erfolgt über die Signalpfade 28 eine Entscheidung über das Ergebnis der Bildanalyse, wobei mit einer Wahrscheinlichkeit von 95 % eine Stauungspapille 18 in der Entscheidungsstufe
26b — bevorzugt als alphanumerische Anzeige 29 auf dem Display 13 angezeigt
15
20
25
30
12
wird, während ein falsch-negatives Ergebnis nur noch mit einer Wahrscheinlichkeit
von 5 % in der Entscheidungsstufe 26a angezeigt wird.
Aus der gegebenen Beschreibung ergibt sich, dass es sich um ein sehr schnelles und einfaches Verfahren zur Erkennung pathologischer Veränderungen der Netzhaut des menschlichen und/oder tierischen Auges handelt und dass es keiner zeitaufwändigen Big-Data-Verarbeitung bedarf, die in entfernten Rechenzentren
erst mehrere Stunden später ein Ergebnis liefert.
Mit der vorgegebenen digitalen Bildanalyse und der Ausnutzung einer künstlichen Intelligenz 30 erfolgt dies innerhalb von wenigen Sekunden, und der behandelnde
Arzt kann sofort bei Erkennung eines pathologischen Zustandes intervenieren.
Figur 3 zeigt die Anwendung der Erfindung. Dabei ist die problemlose Anwendung wesentlicher Bestandteil der Erfindung. Die Anwendung wird deshalb auch als „Smartphone-Retinoskopie“ bezeichnet. Das verwendete Smartphone mit seiner Kamera und der Auswerteelektronik kann als „bionisches Auge“ bezeichnet werden, da zwischen der zu untersuchenden Netzhaut und dem Rechner lediglich ein Vergrösserungsglas 44 und die Kamera eines Smartphones geschaltet ist und
die Bilddokumentation innerhalb von Sekunden möglich ist.
Die erfindungsgemässe Retinoskopie wird mit einem herkömmlichen Smartphone und mit einem vom Untersucher 42 gehaltenen, handgeführten Vergrösserungsglas 44 durchgeführt, das vom Untersucher vor das zu untersuchende Auge des Patienten 43 gehalten wird. Das Vergrösserungsglas 44 hat dabei vorzugsweise eine Vergrößerung im Bereich von +20 bis +40 Dioptrien, bevorzugt +30 Dioptrien. Die Kamera des Smartphones 34 filmt die bildgebende Oberfläche des Vergrösserungsglases 44 ab. Damit wird der oben beschriebene Videostream erzeugt, der in der Smartphone-seitigen App nach dem
vorbeschriebenen Verfahren ausgewertet wird.
15
20
25
30
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
13
Zeichnungslegende
Auge
Pupille
Iris
Hornhaut Lederhaut Aderhaut
Sehnerv
Netzhaut Glaskörper Digitalkamera Objektiv
Bildsensor
Display Beleuchtungsquelle Auslöser
Abbildung Signalpfad Stauungspapille Datensatz Bildverarbeitung Eingangsstufe Signalstufe Vorverarbeitungsstufe Signalpfade Entscheidungsstufe Ausgabestufe a, b optischer Pfad Signalpfad alphanummerische Anzeige künstliche Intelligenz Lernstufe
digitale Abbildungen
33 34 35 36 37 38 39 40 41 42 43 44
digitale Applikation Mobiltelefon (Smartphone) Signalpfad Lichtstrahlen Sehnervenkopf Prozessor (von 21) Prozessor (von 23) Prozessor (von 25) Signalpfad Untersucher Patient
Vergrösserungsglas
14
Claims (9)
1. Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut (8) des menschlichen und/oder tierischen Auges (1) bestehend aus einem die Netzhaut (8) abbildenden Objektiv (11), das einen zu beurteilenden Abschnitt der Netzhaut auf einen digitalen Bildsensor (12) projiziert, dessen Signale mindestens einem Display (13) zugeführt werden, dadurch gekennzeichnet, dass die Signale des Bildsensors (12) als Datensatz (19) eines Videostreams zusätzlich einer Bildverarbeitung (20) zugeführt werden, welche in der Art einer künstlichen Intelligenz (30) eine Mustererkennung des Datensatzes (19) in mehreren seriell hintereinander geschalteten und durch eine Vielzahl von Signalpfaden (22, 24, 28) verknüpften Entscheidungsstufen (21, 23, 25, 26) ausführt und dass in einer Ausgabestufe (26a, 26b) eine alphanumerische Anzeige (29) über den Zustand der
Netzhaut (8) ausgegeben wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitung (20) eine Entscheidungsstufe (25) aufweist, welche mit einer Lernstufe (31) verbunden ist, in welche Lernstufe (31) eine Vielzahl von digitalen Abbildungen (32) pathologisch veränderter Netzhäute (8) eingespeichert sind und dass die Abbildungen (32) der Lernstufe (31) zum Vergleich mit dem aktuell erfassten Abbild der Netzhaut (8) der Entscheidungsstufe (25) eingespeist werden.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Bildverarbeitung (20) aus dem erfassten pathologisch veränderten Abbild (17, 19) der Netzhaut (8) eine Diagnose im Hinblick auf eine Stauungspapille (18) der Netzhaut (8) trifft.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Quelle der digitalen Bildverarbeitung (20) ein vom digitalen Bildsensor (12) erzeugter mehrdimensionaler Videostream ist, aus dessen Einzelbildern mit einer künstlichen Intelligenz (30) die eine oder mehrere für die nachgeschaltete Mustererkennung geeignet Aufnahme automatisch extrahiert wird und in einem
digitalen Programm (App) in einem Smartphone verarbeitet wird.
15
20
25
30
16
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass vor das Auge des Patienten (43) ein Vergrösserungsglas (44) gehalten wird und der die Netzhaut abbildende Videostream von der bildgebenden, vergrössernden Seite
des Vergrösserungsglases (44) abgeleitet wird.
6. Digitale Kamera zur Abbildung der Netzhaut (8) des menschlichen und/oder tierischen Auges (1) bestehend aus einem die Netzhaut (8) mindestens teilweise abbildenden Objektiv (11) und einem vorgeschalteten Vergrösserungsglas (44), das ein brauchbares Abbild der Netzhaut auf einen digitalen Bildsensor (12) projiziert, dessen Signale als Videostream mindestens einem Display (13) zuführbar sind, wobei die Signale des Bildsensors (12) zusätzlich als Datensatz (19) eines Videostreams einer Bildverarbeitung (20) zuführbar sind, welche in der Art einer künstlichen Intelligenz (30) eine Mustererkennung des Datensatzes (19) in mehreren seriell hintereinander geschalteten und durch eine Vielzahl von Signalpfaden (22, 24, 28) verknüpften Entscheidungsstufen (21, 23, 25, 26) ausführt und dass in einer Ausgabestufe (26a, 26b) eine alphanumerische Anzeige (29) über
den Zustand der Netzhaut (8) angeordnet ist.
7. Digitale Kamera nach Anspruch 6, dadurch gekennzeichnet, dass sie Teil eines Mobiltelefons (34) ist.
8. Digitale Applikation (33) im Betriebssystem eines Mobiltelefons (34) mit einer Kamera zur Abbildung der Netzhaut (8) des menschlichen und/oder tierischen Auges (1) bestehend aus einem die Netzhaut (8) abbildenden Objektiv (11), das ein auswertbares Abbild der Netzhaut auf einen digitalen Bildsensor (12) projiziert, dessen Signale mindestens einem Display (13) zuführbar sind, dadurch gekennzeichnet, dass die Signale des Bildsensors (12) zusätzlich als Datensatz (19) eines Videostreams einer Bildverarbeitung (20) zuführbar sind, welche in der Art einer künstlichen Intelligenz (30) eine Mustererkennung des Datensatzes (19) in mehreren seriell hintereinander geschalteten und durch eine Vielzahl von Signalpfaden (22, 24, 28) verknüpften Entscheidungsstufen (21, 23, 25, 26) ausführt und dass an einer Ausgabestufe (26a, 26b) eine alphanumerische Anzeige (29)
über den Zustand der Netzhaut (8) angeschlossen ist.
9. Digitale Applikation (33) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass im Speicher der Applikation (33) eine Mehrzahl von digitalen Abbildern (32)
pathologisch veränderter Netzhäute (8) eingespeichert sind.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA50759/2021A AT525510A1 (de) | 2021-09-24 | 2021-09-24 | Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA50759/2021A AT525510A1 (de) | 2021-09-24 | 2021-09-24 | Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut |
Publications (1)
Publication Number | Publication Date |
---|---|
AT525510A1 true AT525510A1 (de) | 2023-04-15 |
Family
ID=86006177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ATA50759/2021A AT525510A1 (de) | 2021-09-24 | 2021-09-24 | Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut |
Country Status (1)
Country | Link |
---|---|
AT (1) | AT525510A1 (de) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190110753A1 (en) * | 2017-10-13 | 2019-04-18 | Ai Technologies Inc. | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders |
US20200211235A1 (en) * | 2017-07-28 | 2020-07-02 | National University Of Singapore | Method of modifying a retina fundus image for a deep learning model |
WO2020176039A1 (en) * | 2019-02-26 | 2020-09-03 | Ngee Ann Polytechnic | System and method for classifying eye images |
WO2020200087A1 (en) * | 2019-03-29 | 2020-10-08 | Ai Technologies Inc. | Image-based detection of ophthalmic and systemic diseases |
WO2021026039A1 (en) * | 2019-08-02 | 2021-02-11 | Genentech, Inc. | Using deep learning to process images of the eye to predict visual acuity |
-
2021
- 2021-09-24 AT ATA50759/2021A patent/AT525510A1/de unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200211235A1 (en) * | 2017-07-28 | 2020-07-02 | National University Of Singapore | Method of modifying a retina fundus image for a deep learning model |
US20190110753A1 (en) * | 2017-10-13 | 2019-04-18 | Ai Technologies Inc. | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders |
WO2020176039A1 (en) * | 2019-02-26 | 2020-09-03 | Ngee Ann Polytechnic | System and method for classifying eye images |
WO2020200087A1 (en) * | 2019-03-29 | 2020-10-08 | Ai Technologies Inc. | Image-based detection of ophthalmic and systemic diseases |
WO2021026039A1 (en) * | 2019-08-02 | 2021-02-11 | Genentech, Inc. | Using deep learning to process images of the eye to predict visual acuity |
Non-Patent Citations (1)
Title |
---|
{oDocs Eye Care} „Smartphone ophthalmoscope DIY" {YouTube} [online - 25.12.2016] [video], [abgerufen am 19.05.2022]. Abgerufen im Internet < https://www.youtube.com/watch?v=mz2DIGg3i24 > * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Spinelli et al. | Adaptation to conflict frequency without contingency and temporal learning: Evidence from the picture–word interference task. | |
EP3192051B1 (de) | Automatische analyse von angiographischen bildern | |
DE10393711T5 (de) | Verfahren und System zum Abrufen eines medizinischen Bildes | |
DE69403072T3 (de) | Verfahren und vorrichtung zur prüfung des wahrnehmungsvermögens eines probanden bezüglich visueller stimuli | |
DE10290005B4 (de) | Vorrichtung und Verfahren zur Bildgebung, Stimulierung, Messung und Therapie insbesondere am Auge | |
EP3168783A1 (de) | Verfahren und vorrichtung zum auswerten von ergebnissen einer blickerfassung | |
EP3540632B1 (de) | Verfahren zum klassifizieren von gewebeproben | |
DE112010002000T5 (de) | Gerät zur überwachung und einteilung von diabetischer retinopathie | |
WO2019091509A1 (de) | Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb | |
DE102011081541A1 (de) | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programmspeicherträger | |
DE2409614A1 (de) | Verfahren zur pruefung des gesichtsfeldes | |
Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
DE19854852C2 (de) | Verfahren zur Selektion von Augenstellungs-Meßdaten und Vorrichtung zur Durchführung des Verfahrens | |
EP3586721B1 (de) | Verfahren zum optimieren eines optischen hilfsmittels mittels automatischer bestimmung subjektiver sehleistung | |
AT525510A1 (de) | Verfahren zum Betrieb einer digitalen Kamera zur Abbildung der Netzhaut | |
DE102015109853A1 (de) | Assistenz- und Entscheidungssystem und Verfahren zur Auswertung von Elektroenzephalogrammen | |
Gandhimathi et al. | Detection of neovascularization in proliferative diabetic retinopathy fundus images. | |
DE102020111584A1 (de) | Verfahren zum Gewinnen von Daten mithilfe von Operationsmikroskopiesystemen | |
Datta et al. | Detection of eye ailments using segmentation of blood vessels from eye fundus image | |
DE10254941B4 (de) | Vorrichtung zum Aufbau einer medizinischen Datenbank | |
Aljazaeri et al. | Deep segmentation architecture with self attention for glaucoma detection | |
Gurevich et al. | Research and Development of the Method for Automating the Diagnostic Analysis of Human Fundus Images Produced by Optical Coherent Tomography Angiography | |
Morelle et al. | Multimodal imaging and evaluation in the age of artificial intelligence | |
EP4248923A1 (de) | System, vorrichtung und verfahren zur erstellung von planungsdatensätzen für die gewebebehandlung der netzhaut eines patienten | |
DE102020111563A1 (de) | Verfahren zum Gewinnen annotierter Daten mithilfe von Operationsmikroskopiesystemen |