DE10297574T5

DE10297574T5 - Verfahren und Vorrichtung zur Augenerfassung

Info

Publication number: DE10297574T5
Application number: DE10297574T
Authority: DE
Inventors: Horia Grecu; Ralf Weise
Original assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Current assignee: Alcon Inc
Priority date: 2001-12-21
Filing date: 2002-12-23
Publication date: 2005-04-07
Anticipated expiration: 2022-12-24
Also published as: US20120127429A1; US10213104B2; US8591030B2; AU2002361210A8; DE10297574B4; WO2003053228A3; US8048065B2; WO2003053228A2; US20140049750A1; AU2002361210A1; US20050119642A1

Abstract

System (10) zur Erfassung und Verfolgung der Position des Auges (12) einer Person, insbesondere zum Zwecke der Augenchirurgie, welches aufweist:
– ein Kamerasystem (18) zur Aufnahme von Bildern des Auges (12) der Person;
– eine Speichereinrichtung, die mit dem Kamerasystem (18) verbunden ist, um zumindest ein Augenbild als Referenzaugenbild zu speichern;
– ein Bildverarbeitungssystem (22), das mit der Speichereinrichtung und/oder dem Kamerasystem (18) verbunden ist, um ein momentanes Augenbild mit dem Referenzaugenbild zu vergleichen und ein Signal auszugeben, das eine Veränderung der Augenposition zwischen dem Referenzaugenbild und dem momentanen Augenbild repräsentiert,
– dadurch gekennzeichnet, dass das System so ausgebildet ist, dass Augenbilder, welche zumindest die Iris und die Pupille des Auges (12) enthalten, bei einer ersten Lichtwellenlänge erstellt werden und dass Augenbilder, welche sklerale Blutadern enthalten, bei einer unterschiedlichen zweiten Lichtwellenlänge gemacht werden.

Description

Die vorliegende Erfindung betrifft ein System zur Erfassung und Verfolgung der Position des Auges einer Person, insbesondere für refraktive Augenchirurgie, welches aufweist:

– ein Kamerasystem (18) zum Aufnehmen von Bildern des Auges der Person;
– eine Speichereinrichtung, die mit dem Kamerasystem (18) verbunden ist, um zumindest ein Augenbild als Referenz-Augenbild zu speichern;
– ein Bildverarbeitungssystem, das mit der Speichereinrichtung und dem Kamerasystem (18) verbunden ist, um ein momentanes Augenbild mit dem Referenzaugenbild zu vergleichen und ein Signal auszugeben, das eine Veränderung der Augenposition zwischen dem Referenzaugenbild und dem momentanen Augenbild repräsentiert.

Solche Systeme werden beispielsweise in der refraktiven Augenchirurgie verwendet, d.h. bei chirurgischen Operationen, bei denen die Cornea eines Auges eines Patienten mittels eines Laserstrahls geformt wird, um Sehdefekte zu korrigieren. Vor der chirurgischen Operation wird eine Messung des Auges des Patienten durchgeführt, wobei der Patient üblicherweise in einer aufrechten Position sitzt, während er ein Zielbild fokussiert. Ein sogenannter Wellenfrontanalysator oder refraktives diagnostisches Gerät, wie etwa ein Cornea-Topograph oder Refraktometer, bestimmt dann objektiv eine geeignete Wellenfrontkorrektur für die Umgestaltung der Cornea des Auges. Typischerweise berechnet der Wellenfrontanalysator ein zylindrisches oder quasi-zylindrisches Abtragungsprofil, welches auf das Auge mittels eines fokussierten Laserstrahls appliziert werden soll.
Während der refraktiven chirurgischen Operation liegt der Patient üblicherweise auf seinem Rücken, d.h. sein Kopf ist typischerweise in einer anderen Position als während der Diagnose mit dem Wellenfrontanalysator. Um das vorher berechnete Abtragungsprofil korrekt auf das Auge zu applizieren, ist es daher essentiell, die Posi tion des Auges der Person korrekt zu erfassen, d.h. die Translations- und Rotationsverschiebung des Auges bezüglich seiner Position während der Diagnose zu bestimmen, so dass das System "weiß", wie das vorher berechnete Abtragungsprofil auf die Cornea in ihrer momentanen Position appliziert werden soll.
Nicht nur Veränderungen der Augenposition zwischen Diagnose und Operation, sondern auch Augenbewegungen während der Operation müssen in Betracht gezogen werden. Bei refraktiven Lasersystemen operiert der Laser in festen räumlichen Koordinaten. Das Auge des Patienten ist klassischer Weise durch freiwillige visuelle Fixierung eines visuellen Targets stabilisiert. Augenbewegungen können jedoch nicht vollständig durch freiwillige Fixierung eliminiert werden, daneben treten ferner langsamere Kopfbewegungen während der Operationsprozedur auf, welche beide die Augenposition bezüglich des Lasers verändern. Mit der zunehmenden Nachfrage nach angepasster Cornea-Abtragung, insbesondere der Verwendung von kleineren Strahlgrößen, schnelleren Wiederholraten und größerer Korrekturpräzision, wurde die exakte Positionierung jedes einzelnen Laser-Shots auf das Auge zunehmend wichtiger. Dieses Bedürfnis für größere Positionierungsgenauigkeit lieferte den Antrieb für mehrere refraktive Laserfirmen, Augenverfolgungssysteme in ihre chirurgischen Systeme zu implementieren, um den Abtragungsstrahl akkurat auf die Cornea-Oberfläche zu positionieren und Kopf- und Augenbewegungen des Patienten während der Operation zu kompensieren. Viele Augenverfolgungssysteme verfolgen das Bild der Pupille. Die exakte Position dieses Bildes hängt jedoch von der Brechung des Lichts durch die Cornea vor der Pupille ab. Der Betrag von Cornea-Gewebe, durch welches das Licht passiert, kann abhängig von der Orientierung des Auges variieren, was zu einer künstlichen Verschiebung der Bildposition führt, welche die Verfolgung negativ beeinflusst.
Wenn Markierungen auf das Auge angebracht werden und an Stelle oder zusätzlich zur Pupille verfolgt werden, entstehen andere Probleme. Die Markierungen können das Auge irritieren oder eine Betäubung erfordern. In anderen Fällen kann die Anbringung von Markierungen auf das Auge des Patienten nicht viel länger als bei spielsweise eine Stunde anhalten, wodurch eine Zeitbegrenzung für die Operation und die erlaubte Zeit zwischen refraktiver Messung und Korrektur gesetzt wird.
Das Dokument WO 01/78584 A2 beschreibt ein System zur Erfassung und Verfolgung der Position eines Auges eine Position gemäß des Oberbegriffs von Anspruch 1. Zur Erfassung vergleicht dieses System das Limbuszentrum des Auges in dem Referenzbild, das seiner Position während der Diagnose entspricht und in dem momentanen Augenbild und berechnet eine Translationsverschiebung des Auges aus der Differenz der Limbuszentren. Ferner werden die Positionen von weiteren Augenmerkmalen wie beispielsweise retinalen Blutadern, skleralen Blutadern oder eines retinalen Nervs zwischen dem Referenzbild und dem momentanen Bild verglichen, um die Rotation des Auges zwischen seiner Diagnoseposition und seiner Operationsposition zu bestimmen.
In diesem System nach dem Stand der Technik wird das Auge im Wesentlichen durch Tageslicht beleuchtet und die Kameras, die zur Aufnahme von Bildern des Auges verwendet werden, sind "übliche" Kameras zur Aufnahme von Farbbildern. Alle Augenmerkmale, die für die Erfassung nötig sind, sind deshalb in jedem Bild sichtbar. Da jedoch alle Augenmerkmale ständig von Tageslicht erleuchtet sind, ist insbesondere der Kontrast zwischen Blutadern schwach. Die Erfassungsanordnung in dem obigen Dokument zum Stand der Technik ist jedoch zu langsam für die Verwendung in einer klinischen Situation, bei der längere Operationszeiten in geringerem Einkommen resultieren, insbesondere aufgrund der Tatsache, dass der schwache Kontrast der essentiellen Augenmerkmale in allen Farbbildern die Lokalisierung dieser Merkmale zeitraubend macht.
Eine weitere Beschränkung des Systems nach dem Stand der Technik besteht darin, dass es nicht zwischen Blutadern differenziert, die relativ zum Auge (der Cornea) stabil sind und Adern, die relativ zum Kopf stabil sind. Da es für das Auge des Patienten möglich ist, unabhängig vom Kopf zu rotieren, führt dies dazu, dass einige Adern sich relativ zur Cornea (dem Operationszielgebiet) bewegen, und zwar mit unterschiedlicher Häufigkeit bzw. Geschwindigkeit. Blutadern können sich mit unterschiedlichen Geschwindigkeiten bewegen, abhängig von der Beziehung zwischen der Rotation des Kopfes, der Rotation des Auges, der Tiefe der Ader in dem Bindegewebe oder der Sklera und der Position der Ader relativ zu den Augenliedern oder der Cornea. Daher kann das oben beschriebene Verfahren in inkorrekten oder ungenauen Ergebnissen resultieren, aufgrund der Nicht-Differenzierung zwischen den Adern, die mit dem Auge sich bewegen, und den Adern, die sich mit dem Kopf bewegen.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein schnelleres, genaueres System für die Erfassung und Verfolgung der Position eines Auges einer Person zu schaffen.
Gemäß der Erfindung wird diese Aufgabe gelöst durch ein System nach Anspruch 1. Das System gemäß der Erfindung erlaubt die Aufnahme von Bildern der Iris-/Pupillenregion des Auges bei unterschiedlichen Lichtwellenlängen als von skleralen Blutadern, so dass beide Wellenlängen auf geeignete Werte gesetzt werden können, um den Kontrast des jeweiligen Augenmerkmals zu erhöhen.
Als ein Beispiel in einem Ausführungsbeispiel des Systems gemäß der Erfindung liegt die erste Wellenlänge in einem Wellenlängenbereich zwischen vorzugsweise 810 nm und 880 nm, kann aber auch zwischen 780 nm und 950 nm liegen, und die zweite Wellenlänge liegt in einem Wellenlängenbereich zwischen vorzugsweise 520 nm und 570 nm, kann aber auch zwischen 500 nm und 580 nm liegen. In diesem Fall entspricht die erste Wellenlänge infrarotem (IR) Licht, von dem bekannt ist, dass es geeignet ist, den Kontrast der Iris/Pupille zu verstärken. Die zweite Wellenlänge entspricht grünem Licht, das den Kontrast von Blutadern verstärkt.
Um den Kontrast der skleralen Blutadern weiter zu verstärken, kann die zweite Wellenlänge auf ein lokales Maximum eines Absorptionsspektrums von Hämoglobin gesetzt werden. Wie bekannt ist, liegt dieses Maximum bei einer Wellenlänge von etwa 550 nm, entspricht also grünem Licht.
Um die zwei Arten von Bildern mit unterschiedlichen Wellenlängen zu erzeugen, umfasst ein Ausführungsbeispiel des Systems gemäß der Erfindung ein erstes Lichtquellensystem, welches die Iris und die Pupille des Auges illuminiert und ein zweites Lichtquellensystem, welches die Sklera des Auges illuminiert. In diesem Fall emittiert die erste Lichtquelle Licht der ersten Wellenlänge, wobei die zweite Lichtquelle Licht der zweiten Wellenlänge emittiert.
Bezüglich der Frage, wie diese Lichtquellensysteme zusammenarbeiten und wie die zwei Arten von Bildern mit Licht unterschiedlicher Wellenlänge gemacht werden, sind unterschiedliche Ansätze vorstellbar:
In einem Ausführungsbeispiel des Systems gemäß der Erfindung werden das erste und zweite Lichtquellensystem so gesteuert, dass sie simultan die jeweiligen Teile des Auges illuminieren. In diesem Fall wird das Auge des Patienten simultan mit Licht zweier unterschiedlicher Wellenlängen illuminiert, das von zwei unterschiedlichen Lichtquellensystemen kommt: Der zentrale Teil des Auges, nämlich die Pupille und die Iris, werden mit einem fokussierten IR-Strahl illuminiert, während die Sklera des Auges gleichzeitig mit grünem Licht illuminiert wird.
Zumindest was die Augenverfolgung während einer chirurgischen Operation betrifft, kann davon ausgegangen werden, dass die Amplitude von Augenbewegungen ausreichend gering ist, um sicherzustellen, dass keine Fehlausrichtungsprobleme bezüglich der räumlich strukturierten Anordnung der Lichtquellen auftreten. Beide Lichtquellensysteme können daher stationär sein. Das räumliche Emissionsprofil des IR-Lichtquellensystems entspricht dann im Wesentlichen einem Lichtkonus, der einen Durchmesser von etwa 10 bis 11 mm aufweist, was sicherstellt, das kein IR-Licht das Auge außerhalb des Limbus erreicht. Auf ähnliche Weise muss das Lichtimmissionsprofil des zweiten Lichtquellensystems so beschaffen sein, dass sichergestellt wird, das kein grünes Licht der zweiten Wellenlänge auf die Iris und Pupille fällt.
Eine besonders flexible Anpassung der räumlich strukturierten Strahlen von den zwei Lichtquellensystemen kann erhalten werden, wenn das System gemäß der Erfindung ferner eine Lichtlenkeinrichtung zum variablen Lenken des Lichts des ersten Lichtquellensystems und/oder des zweiten Lichtquellensystems auf die jeweiligen Teile des Auges umfasst. Als vorzugsweise Beispiele solcher Lichtlenkeinrichtungen können ein Abtastspiegel und/oder bewegliche Linsen genannt werden. Die Verwendung solcher optischer Vorrichtungen zum präzisen Lenken von Lichtstrahlen auf ein Ziel, in diesem Fall die Region innerhalb oder außerhalb des Limbus, ist allgemein bekannt und wir daher nicht im Detail beschrieben.
Als eine Alternative zu dem oben diskutierten Beispiel eines Systems, welches einen räumlich strukturierten Strahl verwendet, kann ein anderes Ausführungsbeispiel eine Multiplexeinrichtung zur Steuerung der ersten und zweiten Lichtquellensysteme umfassen, und zwar so, dass alternierend das gesamte Auge illuminiert wird. In anderen Worten verwendet solch ein Ausführungsbeispiel nicht räumlich strukturierte Strahlen, sondern vielmehr zwei separate größere Strahlen unterschiedlicher "Farbe", die zeitlich strukturiert sind. Als ein Beispiel kann die Multiplexeinrichtung das erste Lichtquellensystem zuerst auswählen, so dass das gesamte Auge mit IR-Licht illuminiert wird. Das Kamerasystem nimmt ein momentanes IR-Bild des gesamten Auges auf, in dem insbesondere die Iris-/Pupillenregion einen starken Kontrast aufweist, und in dem fast keine Blutadern sichtbar sind. Dieses momentane IR-Bild kann in der Speichereinrichtung gespeichert werden. Dann schaltet die Multiplexeinrichtung von dem ersten Lichtquellensystem auf das zweite Lichtquellensystem um, welches dann das gesamte Auge mit grünem Licht illuminiert. Wiederum wird ein momentanes Bild des Auges aufgenommen, indem insbesondere die Blutadern einen starken Kontrast aufweisen. Dieses Bild kann auch in der Speichereinrichtung gespeichert werden. Das Bildverarbeitungssystem kann dann eine Translationsverschiebung des Auges bezüglich dem Referenzbild basierend auf dem IR-Bild des Auges berechnen, was eine präzise Lokalisierung der Pupille erlaubt. Dann kann eine mögliche Rotation des Auges bezüglich dem Referenzbild berechnet werden, basierend auf dem grünen Bild, was eine präzise Lokalisierung der skleralen Blutadern erlaubt.
In noch einem weiteren Ausführungsbeispiel der Erfindung ist das Bildverarbeitungssystem so ausgestaltet, dass es ein Bild, das bei der zweiten Wellenlänge von dem zweiten Lichtquellensystem aufgenommen wird, von einem vorhergehenden Bild, das bei der ersten Wellenlänge des Lichts von dem ersten Lichtquellensystem aufgenommen wurde, subtrahiert. Das verbleibende "Differenzbild" ist sogar noch stärker von den skleralen Blutadern dominiert als das zweite Bild selbst, was dann die Präzision der Blutkörperlokalisierung noch verstärkt.
Im Hinblick auf einen geeigneten Kontrast der Pupille/Iris kann das erste Lichtquellensystem so angeordnet werden, dass es das Auge in einem Winkel von ungefähr 30° bezüglich der visuellen Achse illuminiert. Insbesondere eine Illuminierung der Iris und der Pupille aus etwa 30° unterhalb der visuellen Achse hat sich als geeignet in der praktischen Operation herausgestellt.
Während das erste Lichtquellensystem, welches im Wesentlichen einen einzelnen IR-Lichtkonus erzeugen muss, aus einer einzelnen IR-Lichtquelle bestehen kann, ist die Realisierung des zweiten Lichtquellensystems schwieriger, da es zwei unterschiedliche Regionen des Auges, nämlich die Sklera auf der linken und rechten Seite der Iris illuminieren soll. In einem Ausführungsbeispiel der Erfindung, das zur Erfüllung dieses Illuminationserfordernisses bezüglich der zweiten Lichtwellenlänge geeignet ist, umfasst das zweite Lichtquellensystem zwei Lichtquellen, die so angeordnet sind, dass sie symmetrisch das Auge aus jeweils etwa +35° und –35° bezüglich der visuellen Achse illuminieren.
Um die Qualität der aufgenommenen Bilder weiter zu erhöhen, d.h. zur Verstärkung des Kontrasts der Pupille/Iris in den IR-Bildern und der skleralen Blutadern in den grünen Bildern, können weitere Maßnahmen im Hinblick auf das Kamerasystem getroffen werden: In einem Ausführungsbeispiel der Erfindung kann das Kamerasystem nur sensitiv für Licht der ersten und zweiten Wellenlänge sein. In diesem Fall beeinflusst Tageslicht im Operationsraum die Bilder nicht negativ.
In der Praxis kann eine solche Anordnung erhalten werden, wenn das Kamerasystem eine einzelne Kamera umfasst, die mit einem Doppel-Bandpassfilter ausgerüstet ist. Alternativ dazu kann das Kamerasystem eine CCD-Kamera umfassen, die einen Kombinationschip mit zumindest zwei unterschiedlichen Farbbändern aufweist, welche jeweils der ersten und zweiten Wellenlänge entsprechen.
Als noch weitere Alternative kann das Kamerasystem eine erste Kamera aufweisen, die nur sensitiv für die erste Wellenlänge ist, und eine zweite Kamera, die nur sensitiv für die zweite Wellenlänge ist.
Die Erfindung betrifft ferner ein Verfahren zur Erfassung und Verfolgung der Position des Auges einer Person, insbesondere für refraktive Augenchirurgie, welches folgende Schritte aufweist:
Aufnahme des Bildes des Auges einer Person in einer Referenzposition;
Speichern des Bildes als Referenzaugenbild;
Aufnehmen zumindest eines momentanen Augenbildes;
Berechnen einer Veränderung der Augenposition zwischen dem Referenzaugenbild und dem zumindest einen momentanen Augenbild; und
Ausgeben eines Signals, welches die Veränderung der Augenposition repräsentiert,
dadurch gekennzeichnet, dass der Schritt des Aufnehmens zumindest eines momentanen Augenbilds umfasst: Aufnehmen eines ersten Bilds, welches die Iris und die Pupille des Auges enthält, bei einer ersten Lichtwellenlänge und Aufnehmen eines zweiten Bildes, welches sklerale Blutadern enthält, bei einer zweiten unterschiedlichen Lichtwellenlänge, wobei der Schritt des Berechnens der Veränderung der Augenposition die Berechnung der Verschiebung der skleralen Blutadern zwischen dem Referenzaugenbild und dem zweiten Bild umfasst. Wie oben beschrie ben, kann die erste Wellenlänge im Hinblick auf einen optimalen Kontrast der Iris/Pupille zur Ermittlung der Translationsverschiebung des Auges optimiert werden, während die zweite Wellenlänge so festgelegt werden kann, dass der Kontrast der skleralen Blutadern für die Bestimmung der Rotationsverschiebung optimiert wird. Wie oben beschrieben, entspricht die erste Wellenlänge daher vorzugsweise IR-Licht und die zweite Wellenlänge entspricht vorzugsweise einem lokalen Absorptionsmaximum von Hämoglobin.
In einem weiteren Ausführungsbeispiel des Verfahrens gemäß der Erfindung umfasst dieses den Schritt des Extrahierens von skleralen Blutadern aus dem zweiten Bild und in einem noch weiteren Ausführungsbeispiel umfasst es auch einen Schritt des Klassifizierens von extrahierten Blutadern bezüglich ihrer Stabilität und Verfolgbarkeit. Der Subtraktionsschritt kann wie oben beschrieben durchgeführt werden, d.h. durch Subtrahieren des grünen Bildes von dem IR-Bild. Andere mögliche Verfahren umfassen ausgewählte Verstärkung/Filterung, die Verwendung von angepassten Filtern und (Multi-)Schwellwertanwendungen, die Verwendung anisotroper Filter und (Multi-)Schwellwertanwendung und insbesondere akkumulierte Wasserscheiden-Segmentierung. Die Wasserscheidentechnik hat ein Ungleichgewicht bezüglich vollständig eingeschlossener Merkmale. Ein Verfahren zur Entfernung dieses Ungleichgewichts besteht darin, künstlich Merkmale zu dem Bild hinzuzufügen, wie beispielsweise ein schwarzes Gitter, um Verbundenheit oder Zirkularität der Merkmale zu verstärken und dann die Wasserscheidensegmentierung durchzuführen. Das hinzugefügte künstliche Merkmal wird dann von dem Ergebnis abgezogen, was zu einem weitaus weniger gestörten Wasserscheiden-segmentierten Bild führt. Wiederholte Wasserscheidensegmentierung mit absteigenden Höhenpegeln enthüllt zunehmend feinere Blutadern. Dies liefert eine stabile Abschätzung der Breite der Blutadern, da breitere Adern tiefere Täler in dem Graustufenbild erzeugen und in mehr Höhenpegel segmentiert werden können.
Kriterien für die Klassifizierung der erfassten Blutadern umfassen, unter anderem, die Frage, ob ein Merkmal eine Blutader und nicht beispielsweise eine Augenwimper oder an anderes Artefakt ist, ferner, ob eine Blutader zur Sklera oder zum Bin degewebe gehört. Diese Klassifizierung kann basierend auf Eigenschaften der Adern, wie beispielsweise Erscheinungsbild, Ort, Dicke, Fokus, Verbundenheit der Adern, Adernform, Adernrichtung oder Kontur und Intensität/Kontrast oder Kontrastveränderungen entlang der Länge der Adern durchgeführt werden.
Beispielsweise ist es möglich, Blutadern von einer Augenwimper, basierend auf der Geradheit, Länge und Richtung (z.B. ± 30° von der Vertikalen) oder dem Fokus des Bildes zu unterscheiden.
Als eine Alternative zur Extraktion und Klassifizierung von Blutadern kann das Verfahren gemäß der Erfindung die Definition eines interessierenden Gebiets (Area of Interest) in dem Referenzaugenbild umfassen sowie ferner die Berechnung eines maximalen Korrelationskoeffizienten zwischen dem Interessengebiet und dem zweiten Bild.
Gemäß einem weiteren Ausführungsbeispiel befasst sich die vorliegende Erfindung mit dem Problem, in dem Bild eines Auges dasjenige Gebiet oder die Gebiete zu lokalisieren, welche Blutadern enthalten, so dass diese Bereiche entweder für die Augenerfassung oder die Augenverfolgung verwendet werden können. Während es wahrscheinlich viele Gebiete in einem Augenbild gibt, welche Bildelemente enthalten, die Blutadern repräsentieren, wäre es hilfreich für den Zweck der Augenverfolgung oder die Augenerfassung, wenn eine oder mehrere Bereiche ausgewählt würden, wo die Blutadern auf eine solche Weise vorliegen, dass sie besonders geeignet für die Verfolgung oder Erfassung sind.
Gemäß einem Ausführungsbeispiel der Erfindung wird ein Verfahren für die Augenerfassung oder die Augenverfolgung basierend auf einem anfänglichen oder Referenzbild und einem momentanen Bild geschaffen, wobei das Verfahren aufweist: Erhalten von einem oder mehreren Merkmalen in dem anfänglichen Bild, welche Bilddaten enthalten, die wahrscheinlich Blutadern oder Teile davon repräsentieren, und basierend auf diesen Merkmalen (Landmarks), auswählen von einem oder mehreren Interessengebieten als Teile des anfänglichen Bildes, die für die Augenverfolgung oder -erfassung verwendet werden sollen. Gemäß diesem Ausführungsbeispiel macht es die Merkmalsauswahl (Landmark Selection) möglich, Gebiete (Interessengebiete) in dem anfänglichen Bild auszuwählen, die besonders geeignet für die Verfolgung oder Erfassung sind.
Gemäß einem weiteren Ausführungsbeispiel wird für jedes der Interessengebiete (Regions of Interest) ein Verschiebungswert zwischen dem anfänglichen Bild und dem momentanen Bild ermittelt, und wenn mehrere Interessengebiete verwendet werden, so werden die mehreren Verschiebungsmessungen kombiniert, um ein endgültiges Verschiebungsmaß zu erhalten. Dies ermöglicht es, in Betracht zu ziehen, dass trotz der Auswahl von Interessengebieten, die besonders für die Verfolgung geeignet sind, jede einzelne Messung fehlerhaft sein kann und durch die Verwendung mehrfacher Messungen die Genauigkeit erhöht werden kann.
Gemäß einem weiteren Ausführungsbeispiel umfasst der Schritt des Erhaltens der Merkmale (Landmarks) eines oder mehr von Folgendem:
Durchführen einer Fourier-Transformation, basierend auf dem anfänglichen Bild und Auswählen von Pixeln oder Gruppen von Pixeln als Merkmale, welche eine hohe Intensität in der Frequenzdomäne aufweisen;
Falten des anfänglichen Bildes mit einem oder mehreren Mustern (Templates), die eine Kante oder eine Ecke oder eine Kurve repräsentieren, um aus dem gefalteten Bild oder den Bildern solche Gebiete auszuwählen, in denen Ecken-, Kanten- oder Kurvenstrukturen detektiert wurden; oder
Berechnen von orthogonalen Gradienten für das anfängliche Bild und Auswählen der Interessengebiete, basierend auf den berechneten Gradienten.
Die vorgenannten Verfahren der Merkmalsselektion machen es möglich, die Merkmalsselektion automatisch durchzuführen. Das macht es für den Nutzer einfacher, das Verfahren der Erfindung auszuführen. Die genannten Verfahren geben alle An zeichen dafür, wo in dem Referenzbild Strukturen enthalten sind, die für die Verfolgung geeignet sein können, in anderen Worten geben sie Anzeichen dafür, wo es wahrscheinlich ist, dass Blutadern vorliegen, und basierend auf diesen Anzeichen können dann die Interessengebiete auf automatische Weise ausgewählt werden, was komfortabler ist als eine manuelle Selektion der Interessengebiete. Diese Verfahren basieren auf Annahmen darüber, wie geeignete Blutadern oder Teile davon aussehen sollten und die genannten Bildverarbeitungsverfahren sind "sensitiv" auf solche Strukturen und können daher für die automatische Extraktion von Merkmalen verwendet werden.
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung wird ein Verfahren geschaffen, das zuerst basierend auf einem anfänglichen oder Referenzbild zwei Gradientenbilder für orthogonale Gradientenrichtungen berechnet. Diese Gradientenbilder geben einen Anhaltspunkt dafür, wie stark oder steil sich die Bildintensität entlang der zwei orthogonalen Richtungen ändert und sie geben daher eine Art von grobem Hinweis über das Vorliegen von Blutadern, da Blutadern Bereiche sind, wo eine Art von Bildgradient in zumindest einer Richtung vorliegen sollte.
Das Verfahren gemäß einem Ausführungsbeispiel der Erfindung führt dann eine mathematische Operation basierend auf den zwei Gradientenbildern durch, welche sicherstellt, dass es zumindest einen minimalen Gradienten in beiden der orthogonalen Richtungen gibt. Dies stellt sicher, dass eine Bildintensitätsveränderung in beiden orthogonalen Richtungen vorliegt, was bedeutet, dass es eine gewisse Sicherheit gibt, dass die Bildstruktur, die durch diese Gradienten indiziert wird, nicht nur beispielsweise eine Blutader ist, die nur sich in die X- oder die Y-Richtung erstreckt, sondern vielmehr eine Struktur ist, die eine Intensitätsveränderung (und damit eine Bildstruktur) entlang zweier orthogonaler Richtungen aufweist. Dies ist besonders hilfreich für den Zweck der Detektion von Rotationswinkeln für die Augenverfolgung oder die Augenerfassung, da die Struktur für die Erfassung oder die Verfolgung so sein muss, dass sie nicht nur eindimensional ist.
Gemäß einem besonders bevorzugten Ausführungsbeispiel verwendet die mathematische Operation, die sicherstellt, dass ein minimaler Gradient in beide orthogonale Richtungen vorliegt, einen mathematischen Ansatz, der sicherstellt, dass die Intensitätsveränderung unabhängig vom Koordinatensystem ist. Zu diesem Zweck wird eine Kovarianzmatrix, basierend auf den zwei Gradientenbildern, verwendet. Es wird eine Kovarianzmatrix für ein bestimmtes Fenster um jeden Pixel des Referenzbildes gebildet und basieren auf dieser Kovarianzmatrix werden die Eigenwerte berechnet. Diese Eigenwerte repräsentieren den Bildgradienten in zwei orthogonale Richtungen auf eine Art, die unabhängig vom Koordinatensystem ist, d.h. auf eine kovariante Art.
Durch Verwendung der minimalen Eigenwerte für jedes vorbestimmte Fenster um jeden Pixel des Referenz- oder anfänglichen Bildes kann sichergestellt werden, dass die damit ausgewählten Eigenwerte einen Anhaltspunkt über den minimalen Gradienten des Bildes in beide orthogonale Richtungen geben.
Das vorgenannte Verfahren kann für alle Pixel des Referenzbildes angewendet werden, wodurch ein minimaler Eigenwert für jeden der Pixel des Referenzbildes erhalten wird, wobei jeder minimale Eigenwert, der so berechnet wird, ein Anzeichen dafür darstellt, wie stark der Bildgradient in zwei orthogonale Richtungen zumindest ist. Da besonders für den Zweck der Rotationsmessung es wichtig ist, dass die ausgewählten Merkmale (und die ausgewählten Interessengebiete, die die geeigneten Merkmale enthalten) Gradienten in beide orthogonale Richtungen aufweisen, um eine Rotationsmessung möglich zu machen. Dies kann durch das vorgenannte Verfahren der Verwendung der minimalen Eigenwerte erreicht werden, die für jeden der Pixel des Referenzbildes berechnet wurden.
Basierend auf dem so erhaltenen Eigenwertbild kann man dann gemäß einem Ausführungsbeispiel diejenigen Gebiete des Referenzbildes auswählen, von denen angenommen werden kann, dass sie besonders geeignete Strukturen (Blutadern) für den Zweck der Verfolgung oder der Augenerfassung enthalten. Diese Gebiete (oder sogar individuelle Pixel) können Merkmale genannt werden und sie werden, basierend auf dem Bild der minimalen Eigenwerte, ausgewählt. Beispielsweise kann zunächst unter den Eigenwertbild-Pixeln derjenige ausgewählt werden, der den maximalen Eigenwert besitzt und dann ein Interessengebiet um diesen ausgewählten Pixel definiert werden. Dies gibt dann ein erstes Interessengebiet für den Zweck der Augenverfolgung.
Nachdem dann die so ausgewählten Pixel aus dem Bild gelöscht wurden, kann dann wiederum das Eigenwertbild des Referenzbildes durchsucht und der nächst höchste Eigenwert ausgewählt werden. Um diesen Pixel kann dann ein zweites Interessengebiet gebildet werden und die Prozedur kann dann wiederholt werden, entweder, bis eine geeignete Anzahl von Interessengebieten erhalten wurde oder bis beispielsweise der Eigenwert, der einem bestimmten Pixel des Referenzbildes entspricht, unter einen bestimmten Schwellwert fällt.
Natürlich ist es auch möglich, sich andere Arten der Auswahl oder Extraktion sogenannter "Merkmale" (Landmarks) in dem anfänglichen Bild vorzustellen, wobei angenommen werden kann, dass die Merkmale geeignete Blutaderstrukturen aufweisen. So können beispielsweise Gruppen von Pixeln, beispielsweise in einer Blockgröße 5×5 des Eigenwertbildes genommen werden, ihre mittlere Intensität berechnet werden und basierend auf diesen Werten diejenigen Blöcke ausgewählt werden, für die die mittlere Intensität vergleichsweise hoch ist, beispielsweise durch Anwenden eines Schwellwerts und durch Auswahl der n Blöcke mit der höchsten mittleren Intensität oder Ähnliches.
Die so ausgewählten Merkmale bilden dann die Basis für die "Interessengebiete", die dann für einen Vergleich zwischen dem Referenzbild und dem momentanen Bild für die Verfolgung oder Erfassung verwendet werden. Die Interessengebiete sind typischerweise Gebiete, die so gewählt werden, dass sie die ausgewählten "Merkmale" umgeben, beispielsweise durch Bildung eines vordefinierten Fensters um sie herum.
Gemäß einem weiteren Ausführungsbeispiel können dann die so erhaltenen vorbestimmten Bereiche (Interessengebiete) zum Zwecke der Verschiebungsmessung verwendet werden. Zu diesem Zweck vergleicht man jedes Interessengebiet in dem Referenzbild mit einem momentanen Bild, um zu sehen, um wieviel das Interessengebiet verschoben werden muss, um das Interessengebiet in dem momentanen Bild wiederzufinden (Suche nach einer Übereinstimmung). Dies kann beispielsweise durch Berechnung eines Korrelationsmaßes für jede Verschiebung oder jeden Verschiebungswert innerhalb eines bestimmten vordefinierten Fensters um das Interessengebiet durchgeführt werden, und dies führt dann zu einer "Karte" oder einem "Bild" von Korrelationswerten, wobei jeder Pixel einem bestimmten Verschiebungswert des Referenzbildes entspricht und das Korrelationsmaß für diese Verschiebung angibt.
Gemäß einem bevorzugten Ausführungsbeispiel wird der berechnete Übereinstimmungswert (das Korrelationsmaß) ferner gewichtet durch einen Gewichtungswert, welcher die "Gerichtetheit" der Merkmale in dem Referenzbild wie etwa Blutadern angibt. Dies kann beispielsweise durch die Anwendung anisotroper gerichteter Filter wie beispielsweise einer Bank von Laplace-Gauß-Filtern. Dies gibt dann einen Anhaltspunkt über die "Gerichtetheit" von Merkmalen für jeden der Pixel des Referenzbildes, und es "verstärkt" diejenigen Strukturen, für die eine starke Gerichtetheit wie im Falle von Blutadern vorliegt, die ja lang und von schmaler Form sind, also eine starke Gerichtetheit aufweisen.
Basierend auf der Gewichtung wird dann eine Übereinstimmungsmaß-Karte für jeden der Interessenbereiche erhalten, wobei jeder Pixel der Übereinstimmungsmaß-Karte das Übereinstimmungsmaß für eine bestimmte Verschiebung des Referenzbildes angibt, und zwar basierend auf dem Korrelationswert, der für diese Verschiebung berechnet wurde und mit der Gewichtungskarte gewichtet wurde.
Gemäß einem bevorzugten Ausführungsbeispiel werden die Übereinstimmungsmaße dann für die individuellen Verschiebungswerte und für die Mehrzahl der In teressengebiete kumuliert, um dadurch einen Verschiebungswert zu erhalten, der am wahrscheinlichsten den tatsächlichen Verschiebungswert repräsentiert.
Diese Akkumulation von mehrfachen Übereinstimmungsmaß-Karten berücksichtigt und korrigiert zu einem gewissen Maß verschiedene Effekte, die die Messung für die einzelnen Interessengebiete negativ beeinflussen können. Beispielsweise können einzelnen Blutadern ihre Position unabhängig von der Augenbewegung einfach aufgrund ihrer Instabilität verändern. Darüber hinaus kann die Messung selbst fehlerhaft sein. Diese Effekte können zumindest in einem gewissen Maß berücksichtigt und korrigiert werden, indem die Übereinstimmungsmaße für die individuellen Interessengebiete akkumuliert werden.
Gemäß einem bevorzugten Ausführungsbeispiel wird ferner a priori-Wissen über den Korrelationskoeffizienten und die Wahrscheinlichkeit, dass die Eigenverschiebung tatsächlich den gemessenen Wert annimmt, verwendet, um das Korrelationsmaß durch eine entsprechende Wahrscheinlichkeit zu ersetzen. Die Verwendung der so erhaltenen Wahrscheinlichkeit wird dann die akkumulierte Wahrscheinlichkeit für jede der individuellen Verschiebungen berechnet, und zwar basierend auf den mehreren Interessengebieten, für die die Korrelationskarte berechnet wurde.
Dies ergibt dann eine maximale Wahrscheinlichkeit für einen der Verschiebungswerte, der dann als endgültiger Verschiebungswert, der aus der Messung erhalten wurde, verwendet wird.
Gemäß einem weiteren bevorzugten Ausführungsbeispiel wird auch die Positionsunbestimmtheit, die von dem Messfehler herrührt, berücksichtigt, indem für jede Position die akkumulierte Wahrscheinlichkeit ihrer Nachbarn berechnet wird.
Gemäß einem weiteren Ausführungsbeispiel ist es auch möglich, die ausgewählten Merkmale oder Interessengebiete weiter entsprechend ihrer Eignung für die Verfolgung zu klassifizieren. Dies kann durch irgendein bekanntes Klassifikationsverfah ren oder ein Verfahren überwachten Lernens, wie neuronale Netze, durchgeführt werden. Solche Klassifikationstechniken oder überwachte Lerntechniken können auch selbst für die Auswahl der Merkmale oder Interessensgebiete verwendet werden. Dies kann beispielsweise durch sukzessive Klassifikation von Interessengebieten in dem anfänglichen Bild unter Verwendung eines Klassifizierers wie einem neuronalen Netz oder einem anderen Verfahren überwachten Lernens und Klassifizierens durchgeführt werden.
Weitere Aspekte und Vorteile von bevorzugten Ausführungsbeispielen der Erfindung werden nun unter Bezugnahme auf die beigefügten Zeichnungen illustriert. Es zeigen:
1 ist eine schematische Ansicht eines Ausführungsbeispiels des Systems gemäß der Erfindung, bei dem das erste und zweite Lichtquellensystem simultan unterschiedliche Teile des Auges illuminieren;
2 ist ein Graph, der die räumliche Struktur des Strahls, der das Auge im Ausführungsbeispiel gemäß 1 illuminiert, illustriert.
3 ist eine schematische Ansicht des Systems gemäß 1 während einer Cornea-Abtragung.
4 ist eine schematische Ansicht eines zweiten Ausführungsbeispiels des Systems gemäß der Erfindung, bei dem die zwei Lichtquellensysteme alternierend das gesamte Auge illuminieren.
5 zeigt ein Bild eines Auges.
6 zeigt ein Flussdiagramm gemäß einem Ausführungsbeispiel der Erfindung.
7 zeigt ein Verfahren der Verschiebungsmessung gemäß einem Ausführungsbeispiel der Erfindung.
8 zeigt sklerale Blutadern in einem anfänglichen Bild.
9 zeigt die Merkmalskarte, die dem Bild aus 8 entspricht.
10 zeigt illustrierend Merkmale in einem anfänglichen Bild und einem momentanen Bild.
11 zeigt die vorbestimmten Bereiche, die jeweils die Merkmale von 8 umgeben.
1 zeigt ein erstes Ausführungsbeispiel eines Systems 10 gemäß der Erfindung, das zur Erfassung und der Verfolgung der Position eines Auges eines Patienten 12 dient.
Das System umfasst eine erste Lichtquelle 14, die IR-Licht in Richtung der Iris und der Pupille des Auges 12 emittiert. Ferner umfasst das System 10 zwei zweite Lichtquellen 16a, b, die grünes Licht in Richtung der Sklera des Auges emittieren.
Wie klar aus 1 erkennbar ist, illuminieren die drei Lichtquellen 14, 16a, b gleichzeitig das Auge 12: Grünes Licht von der zweiten Lichtquelle 16a trifft auf den linken Teil der Sklera auf der linken Seite der Iris, IR-Licht von der ersten Lichtquelle 14 trifft gleichzeitig auf die Iris selbst und ein anderer Konus von grünem Licht von der zweiten Lichtquelle 16b illuminiert den rechten Teil der Sklera auf der rechten Seite der Iris.
Die Reflektionen, die diesen drei Lichtkoni zugeordnet sind, sind auf eine Kamera 18 mittels eines beweglichen Kameraspiegels 20 gerichtet. Beispielsweise ist diese Kamera eine CCD-Kamera, die einen Kombinationschip mit zwei unterschiedlichen Farbbändern aufweist, die dem IR-Licht von der ersten Lichtquelle 14 und dem grü nen Licht von der zweiten Lichtquelle 16a, b entsprechen. In anderen Worten nimmt die Kamera 18 gleichzeitig zwei Bilder des Auges 12 auf, nämlich ein IR-Bild, das beinahe ausschließlich die Iris-/Pupillenregion zeigt, und ein grünes Bild, das beinahe ausschließlich die Sklera des Auges 12 mit einem besonders scharfen Kontrast der skleralen Blutadern zeigt.
Die räumliche Struktur des auf dem Patientenauge 12 eintreffenden Lichts ist in 2 als Graph der Lichtintensität als Funktion einer Augenkoordinate gezeigt. Man erkennt klar den zentralen IR-Lichtkonus und die zwei benachbarten Koni von grünem (oder blauem) Licht, die auf die Sklera und ihre Blutadern treffen.
Die Kamera 18 digitalisiert die zwei Bilder und sendet die entsprechenden Informationen an ein Informationsverarbeitungssystem 22 über die Datenleitung 24.
Das Informationsverarbeitungssystem 22 vergleicht beide Bilder mit einem Referenzaugenbild, das in der Speichereinrichtung (nicht gezeigt in den Figuren) gespeichert ist. Der Vergleich zwischen dem IR-Bild und dem Referenzbild erlaubt es, beliebige Translationsverschiebungen des Auges 12 zu bestimmen, wobei der Vergleich zwischen dem grünen Bild, das die Blutaderpositionen enthält, und dem Referenzbild es erlaubt, beliebige Rotationsverschiebungen des Auges 12 zu bestimmen, wie nachfolgend im Detail beschrieben wird.
Das Bildverarbeitungssystem 23 gibt ein Signal an eine Scanvorrichtung 26 über eine Datenleitung 28 aus, welches die Veränderung der Augenposition repräsentiert. Basierend auf diesem Signal modifiziert die Scanvorrichtung 26 die Position eines beweglichen Laserspiegels 30, welcher dazu dient, einen Laserstrahl von einem Laser 32 auf das Auge 12 zum Zwecke der Abtragung zu richten. Indem die Scanvorrichtung 26 korrekt den beweglichen Laserspiegel 30 steuert, können Augenbewegungen, die durch das Bildverarbeitungssystem 22 detektiert werden, entweder zum Zwecke der Erfassung oder für Verfolgungszwecke berücksichtigt werden.
3 zeigt das System 10 gemäß 1 und 2 während des letzten Schritts der Cornea-Abtragung. Die Scanvorrichtung 26 hat den beweglichen Laserspiegel 30 leicht bezüglich seiner ursprünglichen Position in 1 geneigt und der Laser 32 emittiert einen Laserstrahl, der mittels des leicht geneigten Laserspiegels 30 auf das Auge 12 reflektiert wird. Die Neigung des Spiegels 30 kompensiert alle Translations- und Rotationsänderungen der Augenposition, wie schematisch durch eine kleine Rotation des Auges 12 in 3 bezüglich 1 angegeben. Die IR-Lichtquelle wird hier aus Klarheitsgründen weggelassen.
4 zeigt ein zweites Ausführungsbeispiel des Systems 10 gemäß der Erfindung. In diesem zweiten Ausführungsbeispiel illuminieren die erste Lichtquelle 14 und die zweite Lichtquelle 16a, b alternierend das gesamte Auge. In 4 ist die erste Lichtquelle 14 aus Klarheitsgründen weggelassen. 4 zeigt eine Situation, bei der die zweiten Lichtquellen 16a, b aktiv sind, so dass in der in 4 gezeigten Situation die Kamera 18 nur ein grünes Bild erfasst. Wie oben erläutert, kann dieses Bild selbst mit dem Referenzaugenbild durch das Bildverarbeitungssystem 22 verglichen werden, um Augenrotationen basierend auf Positionsänderungen der skleralen Blutadern zu ermitteln, oder das grüne Bild, das während der Anordnung von 4 erhalten wurde, kann von einem vorhergehenden IR-Bild abgezogen werden, um ein Differenzbild zu erhalten, welches im Wesentlichen nur Blutaderninformationen enthält. Alle anderen Komponenten des zweiten Ausführungsbeispiels des Systems 10 gemäß der Erfindung entsprechen dem ersten Ausführungsbeispiel und werden daher hier nicht weiter im Detail beschrieben.
Nachfolgend wird nun etwas genauer eine Bildverarbeitung zum Zwecke der Verfolgung oder Erfassung gemäß einem Ausführungsbeispiel der Erfindung beschrieben.
5 zeigt ein Bild eines Auges, das den Startpunkt für das Verfahren der Bildverarbeitung bei der Verwendung der Augenerfassung oder der Augenverfolgung bilden kann. Das in 5 gezeigte Bild kann zu zwei Zeitpunkten aufgenommen werden, einmal als Referenz- oder anfängliches Bild als Startpunkt, und dann spä ter als momentanes Bild, wobei das Auge sich etwas verschoben oder bewegt hat, verglichen mit dem Referenzbild.
Unter der Annahme, dass 5 das Referenzbild zeigt, wird nun mit der Erläuterung des Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung fortgefahren.
Zunächst wird eine 2D-Zentrierung/Erfassung des Bildes durchgeführt. Das bedeutet, dass zunächst das Zentrum des Auges gesucht wird. Dies hilft dann später, das Blutaderngebiet basierend auf der anatomischen Geometrie des Auges zu extrahieren und es kann ferner dazu verwendet werden, eine anfängliche 2D-Verschiebung zwischen den zwei Bildern (Referenzbild und momentanes Bild) zu liefern.
Zum Zwecke der Zentrierung/Erfassung wird angenommen, dass das Augenzentrum durch entweder den Limbus oder das Pupillenzentrum approximiert werden kann. Das Pupillenzentrum kann berechnet werden durch Verwendung des Schwerpunkts einer konvexen Hülle, durch Objektsegmentierung unter Verwendung von Intensitätsschwellwertbildung, oder alternativ durch Hough-Transformation oder elliptischen Fit der Eckpunkte. Diese Liste von Verfahren ist nicht erschöpfend und andere Techniken, die allgemein bekannt sind, können verwendet werden. Das Limbuszentrum kann berechnet werden durch Verwendung des Gradienten der Pixelintensität entlang einer radialen Linie von dem Pupillenzentrum. Unter Verwendung eines vorbestimmten Gradientenschwellwerts können die Eckpunkte des Limbus gefunden werden und ein elliptischer Fit-Algorithmus kann angewendet werden, um das Limbuszentrum zu finden.
Beide Verfahren sind lediglich Hilfsverfahren für den Zweck der Blutadernverfolgung und bilden eher einen anfänglichen Startpunkt für die später durchzuführende Bildverarbeitung.
Für den Zweck leichterer Bildverarbeitung und leichterer Berechnung des Verschiebungswerts wird als Nächstes eine Polarkoordinatentransformation durchgeführt. Insbesondere zum Zweck der Torsionsmessung ist die Transformation in Polarkoordinaten sehr hilfreich, da sie die Berechnung wesentlich einfacher macht. Natürlich beruht diese Transformation auf einer korrekten Identifikation des Augenzentrums. Ungenauigkeiten in der Zentrumsbestimmung können jedoch beim Ende der Verarbeitung kompensiert werden, da sie leicht durch Ungenauigkeiten in der 2D-Erfassung (gleiche Torsionswerte mit gegenteiligen Vorzeichen) auf der linken und rechten Seite des Bildes erkannt werden. Die Transformation kann beispielsweise für Bildgebiete, die auf der linken und rechten Seite der Iris angeordnet sind, und zwar in einem ungefähren Bereich von: θ × R = [–pi/4: pi/4] × [6 mm: 11 mm]. (1)
Bei der Transformation wird bilineare Interpolation verwendet, wie sie für den Fachmann bekannt ist. Sämtliche Pixel, die außerhalb des Bildbereichs fallen, werden bestimmungsgemäß auf Null gesetzt.
Es sollte bemerkt werden, dass, wenn nachfolgend x, y-Koordinaten erwähnt werden, dies entweder sich auf kartesische Koordinaten oder auf Polarkoordinaten beziehen kann, wobei letztere tatsächlich für insbesondere die Torsionsmessung praktikabler sind.
Als ein weiterer Vorbereitungsschritt werden die ungültigen Bereiche des Augenbildes markiert oder maskiert. Als erstes werden die sogenannten Cornea-Reflektionen detektiert. Dies sind Flecken im Auge, die besonders hell, wesentlich heller als die umgebenden Gebiete sind. Zur Markierung oder Maskierung dieser Gebiete kann der folgende Ansatz verwendet werden.
Als erstes wird ein Medianfilter wie folgt auf das Bild angewendet:
Als nächstes wird die die Differenz zwischen dem Medianbild und dem Referenzbild berechnet: jdiff = I–Imedian (3)
Als nächster Schritt werden dann diejenigen Orte aufgefunden; für die eine hohe Differenz existiert (mit T als festem Parameter): {X,Y} = {(x,y)|Idiff(x,y) > T}, (4)
Für die so aufgefundenen Pixel kann davon ausgegangen werden, dass es sich um Cornea-Reflektionen handelt und sie müssen entweder herausgenommen oder "geglättet" werden. Das kann beispielsweise dadurch geschehen, dass die aufgefundenen Pixel mit durch nicht-korrumpierte Werte mittels des folgenden Ansatzes ersetzt werden: I(X,Y) = Imedian(X,Y) (5)
Als nächster Schritt wird dann ein Maskierschritt durchgeführt, der die gültigen Regionen segmentiert, d.h. ausgewählte Regionen innerhalb des Sklera-Gebiets. Es kann angenommen werden, dass die Adern in der Sklera-Region auf einem weißen Hintergrund liegen und daher der Kontrast vergleichsweise hoch ist.
Um die Sklera-Region zu extrahieren oder segmentieren, kann das folgende Verfahren verwendet werden. Zunächst wird angenommen, dass die Sklera-Region eine höhere Reflektivität als die Augenlider hat. Das bedeutet, dass die Augenlid-Sklera-Grenze dann Gradienten im Bild erzeugt. Als Konsequenz davon ändert sich die Helligkeit räumlich, und basierend auf dieser anfänglichen Annahme kann die Sklera-Region mittels des folgenden Verfahrens extrahiert werden.
Zunächst wird ein global gewichtetes Bild mit stärkerer Betonung auf Gradientenpunkten berechnet: Valglobal = mean(I*grad(I)), Gradglobal = mean(grad(I)) (6,7)
Dabei ist grad(I) irgendein Gradientenoperator, wie beispielsweise gerichtete LoG-Filter. Ein besonderes Ausführungsbeispiel solch eines Filters wird später genauer im Detail beschrieben.
Dann wird das Bild in einen Satz von nicht überlappenden Unterregionen (z.B. 3×3-Pixel) aufgeteilt und dann für jede Region der gleiche Parameter wie in Gleichung (6) und (7) berechnet: Vallocal = mean(Ilocal*grad(Ilocal)), Gradlocal = mean(grad(Ilocal)) (8,9)
Als Nächstes wird dann ein Schwellwert für jede Subregion angewendet:
α ist dabei ein vordefinierter Parameter zur Gewichtung des Einflusses der lokalen Statistik.
Basierend auf dem Schwellwert kann dann entschieden werden, ob die entsprechenden Pixel zur Sklera gehören oder nicht und abhängig davon wird ihnen entweder eine 0 oder eine 1 zugewiesen, wodurch eine Maske erzeugt wird, die die Nicht-Skleraregion maskiert.
Unter der Annahme, dass einige morphologische Irregularitäten während der vorgenannten Prozedur auftreten, können diese Spikes oder Löcher durch geeignete morphologische Operationen wie Öffnen oder Schließen eliminiert werden.
Weiter können die morphologischen Operationen angewendet werden, um die Grenzpixel in der Nähe der Augenlider und des Limbus zu eliminieren. Diese morphologischen Operationen des Öffnens und Schließens und der Erosion sind dem Fachmann bekannt und werden daher nicht weiter im Detail beschrieben.
Basierend auf den vorgenannten Operationen wurde nun eine Maske erhalten, die die Skleraregion als den Startpunkt für die weitere Prozedur maskiert.
Der nächste Schritt betrifft dann das Auffinden derjenigen Teile der Skleraregion, welche Bildmerkmale enthalten, die besonders geeignet für die Bildverfolgung sind. Dies bedeutet, dass diejenigen Pixel oder Gruppen von Pixeln gefunden werden müssen, bei denen Bildinformation über Blutadern nicht nur vorliegt, sondern auch auf eine Weise vorliegt, die besonders geeignet für die Verfolgung ist. Das Ergebnis dieses Schritts wird sein, dass einige sogenannte Merkmale gefunden werden, von denen angenommen werden kann, dass die entsprechende Bildinformation in dem Referenzbild nicht nur sich auf das Vorliegen von Blutadern bezieht, sondern auch auf eine Weise, die sie geeignet macht für die Bildverfolgung und die Erfassung.
Dieser Schritt des Verfahrens der vorliegenden Erfindung basiert auf der Annahme, dass eine gute Verfolgungsqualität nur dann erhalten werden kann, wenn das Merkmal einen signifikanten Gradienten in orthogonale Richtungen aufweist. Es basiert daher zunächst darauf, dass auf dem anfänglichen Referenzbild ein Gradientenoperator angewendet wird, welcher zu zwei Gradientenbildern führt, eines in jeder orthogonalen Richtung. Dieser Schritt kann mathematisch ausgedrückt werden wie folgt:
Zwei resultierende Gradientenbilder ergeben dann einen ersten Anhaltspunkt über die Gradienten des Referenzbildes in orthogonalen Richtungen. Es ist jedoch gemäß dem Verfahren dieses vorliegenden Ausführungsbeispiels nicht nur der Gradient in eine Richtung entscheidend, sondern vielmehr sollte ein besonders gutes Gebiet für die Bildverfolgung signifikante Gradienten in beide orthogonale Richtungen aufweisen. Es wird daher nach Bildteilen gesucht, bei denen die Gradienten in beide orthogonale Richtungen signifikant sind.
Gemäß einem möglichen Ausführungsbeispiel kann man für jeden der Pixel der Gradientenbilder nach dem Minimum der zwei Gradientenwerte suchen und diesen Minimalwert als Pixelwert für ein resultierendes endgültiges "Minimalgradientenbild" verwenden. Dann würde jeder Pixel in diesem endgültigen minimalen Gradientenbild den minimalen Gradienten in den zwei orthogonalen Richtungen für jeden Pixel des Referenzbildes repräsentieren.
Gemäß einem besonders bevorzugten Ausführungsbeispiel wird jedoch ein leicht geänderter Ansatz verwendet, welcher einen kovarianten Ausdruck verwendet, der die beiden Gradientenbilder berücksichtigt. Zu diesem Zweck wird für jeden der Pixel des Referenzbildes eine Kovarianzmatrix über einen Block einer Größe von 32×32 Pixeln gebildet, der in jedem der Pixel des Referenzbildes zentriert ist. Dies kann mathematisch wie folgt ausgedrückt werden:
Die Kovarianzmatrix ist dann eine Formulierung, die koordinatensystemunabhängig ist und dennoch die Bildgradienten in die zwei orthogonalen Richtungen über einen Block umgebend jeden Pixel des Referenzbildes mit einer vorbestimmten Größe berücksichtigt.
Als nächster Schritt werden dann die Eigenwerte der Kovarianzmatrix H berechnet und für jeden der Pixel des Referenzbildes werden so zwei Eigenwerte erhalten.
Um ein endgültiges Bild zu erhalten, das die Qualität der Gradienten in beide Richtungen repräsentiert (das endgültige Gradientenbild) oder Qualitätsbild I_quality wird dann für jeden der Pixel der minimale Eigenwert ausgewählt, der der Matrix entspricht, die diesem Pixel entspricht. Dies kann mathematisch wie folgt ausgedrückt werden: Iquality(x,y) = min(λ1 x,y, λ2 x,y) (13)
Das somit erhaltene qualitätsrepräsentierende Bild ist ein Anhaltspunkt für jeden der Pixel des Referenzbildes dahingehend, wie stark dort die Gradienten sind, oder besser gesagt, bezüglich des minimalen Gradienten in zwei orthogonalen Richtungen in diesem Bildpunkt. Für diejenigen Pixel, wo dieser Wert besonders hoch ist, kann angenommen werden, dass sie einen guten Bildteil darstellen, welcher Bildmerkmale enthält, die geeignet für die Verfolgung sind. Daher wird zunächst der Maximalwert dieses Bildes als Startpunkt für einen ersten Interessensbereich, der für die Verfolgung geeignet ist, ausgewählt. Dies kann wie folgt geschehen: MaxV = max(Iquality) (14)
Dieser Maximalwert gibt dann ein erstes Merkmal oder einen ersten Bildteil, von dem man annehmen kann, dass er Merkmale enthält, die geeignet oder besonders geeignet für die Bildverfolgung sind.
Man kann dann ein Interessensgebiet als vordefiniertes Fenster bilden, der das so aufgefundene Merkmal umgibt.
Dann wird die Suche nach weiteren Merkmalen fortgesetzt. Dies kann beispielsweise geschehen, indem nach weiteren Pixeln im Qualitätsbild gesucht wird, für die der Pixelwert hoch ist, beispielsweise der nächsthöchste Wert nach dem Maximum. Um sicherzustellen, dass das so erhaltene nächste Merkmal nicht zu nahe beim anfänglich erhaltenen Wert liegt, werden zunächst alle Nachbarn des anfänglichen Werts auf Null gesetzt, beispielsweise in einem Bereich eines Minimalabstands von 16 Pixeln. Dann wird nach dem nächsten Maximalwert im Qualitätsbild gesucht.
Die vorgenannte Prozedur wird kurz erläutert in einem Flussdiagramm in 6. Zunächst werden alle beiden Gradientenbilder berechnet, dann wird die Kovarianzmatrix für jeden Pixel des Referenzbildes, basierend auf den zwei Gradientenbildern, berechnet. Dann werden basierend auf der Kovarianzmatrix die Eigenwerte berechnet und dann für jeden Pixel des Referenzbildes wird der Minimaleigenwert ausgewählt, um ein Qualitätsbild zu erhalten, das die "Merkmalsqualität" bezüglich ihrer Eignung für den Zweck der Bildverfolgung repräsentiert. Basierend auf dem so erhaltenen Qualitätsbild werden dann Bildelemente oder Bereiche als Merkmale ausgewählt, die für die Bildverfolgung geeignet sind. Ein "Merkmal" kann daher ein Pixel sein, der aus dem Qualitätsbild ausgewählt wurde, oder es kann ein Gebiet sein, das einen Pixel umgibt, der von dem Qualitätsbild ausgewählt wurde, oder es kann ein Gebiet sein, das aus dem Qualitätsbild ausgewählt wurde. In dem nachfolgend beschriebenen Ausführungsbeispiel ist ein Merkmal ein Pixel und das Interessensgebiet ist ein Gebiet, das ihn umgibt. Das Interessensgebiet kann jedoch auch direkt basierend auf dem Qualitätsbild ausgewählt werden, beispielsweise als ein Gebiet, das die höchste mittlere Intensität aufweist.
Angenommen, das ausgewählte Merkmal ist ein Pixel im Qualitätsbild, so wird dann für jedes der ausgewählten Merkmale ein entsprechendes Interessensgebiet ausgewählt, beispielsweise durch Auswahl eines vordefinierten Umgebungsgebiets für jedes Merkmal. Dieses Interessensgebiet ist dann die Basis für die Berechnung eines Korrelationsfaktors zwischen dem Referenzbild und dem später aufgenommenen momentanen Bild. Zu diesem Zweck wird dann geschaut, wieviel das Interessensgebiet verschoben oder bewegt werden muss von seiner Position im Referenzbild, um mit seiner Position im momentanen Bild übereinzustimmen. Der einfachste Ansatz wäre es, einfach den Differenzwert zwischen dem Interessensgebiet im momentanen Bild und dem Referenzbild für jeden möglichen Verschiebungswert zu berechnen. Da die mögliche Bewegung des Auges etwas eingeschränkt ist, kann jedoch ein vorbestimmtes Gebiet gesetzt werden (eine Art "Verschiebungs fenster"), das jedes Interessensgebiet umgibt und für das angenommen werden kann, dass die Augenbewegung innerhalb von ihm liegen sollte. Für dieses vorbestimmte Gebiet oder Verschiebungsfenster kann dann die Differenz zwischen dem momentanen Bild und dem Referenzbild für das Interessensgebiet für jeden möglichen Verschiebungswert berechnet werden. Dies ist schematisch in 7 illustriert. Innerhalb des Auges 1200 im Referenzbild ist ein vorbestimmtes Fenster (Verschiebungsfenster) 1210 definiert, innerhalb dessen das Interessensgebiet 1220, das basierend auf der Merkmalsextraktion ermittelt wurde, sich bewegen kann. Für das momentane Bild 1250 werden dann innerhalb des vorbestimmten Gebiets (des Verschiebungsfensters) 1260 unterschiedliche Bilder für jede mögliche Verschiebung des Interessensgebiets 1270 berechnet. Dies ist schematisch durch die gestrichelten Versionen des Interessensgebiets 1270 angezeigt.
Dies resultiert dann in einem Differenzbild für jede mögliche Verschiebung (innerhalb des Verschiebungsfensters) und für die tatsächliche Verschiebung kann man beispielsweise einen Verschiebungswert verwenden, für den das Differenzbild ein Minimum annimmt, beispielsweise durch Aufaddieren aller Pixel des Differenzbildes und Suchen nach demjenigen Verschiebungswert, für den diese Summe ein Minimum annimmt.
Während dies ein vergleichsweise einfacher Ansatz wäre, kann gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ein raffinierterer Ansatz verfolgt werden.
Zunächst sind gemäß einem bevorzugten Ausführungsbeispiel die Merkmale, die durch das vorher erläuterte Verfahren aufgefunden wurden, nicht der einzige Input für die Berechnung des endgültigen Korrelationswerts. Vielmehr gibt es einen weiteren Input, der auf der Annahme basiert, dass diejenigen Gebiete des Referenzbildes, wo Blutadern vorliegen, stärker bei der Berechnung des endgültigen Korrelationswerts gewichtet werden sollten.
Zu diesem Zweck wird zunächst eine Gewichtungskarte berechnet, welche für jeden der Pixel des Referenzbildes einen Gewichtungswert zuordnet. Diejenigen Pixel oder Gebiete, wo Blutadern vorliegen, sollten stärker gewichtet werden als andere Gebiete.
Unter der Annahme, dass Blutadern dunkle, dünne, bandartige Strukturen mit klarer Gerichtetheit sind, kann man diese Blutadern auffinden oder eine Repräsentation des Bildes, wo sie als verstärkte Merkmale auftauchen, indem ein Operator angewendet wird, der diese Merkmale verstärkt. Ein Beispiel für einen solchen Gerichtetheits-verstärkenden Operator ist eine Bank von LoG-anisotropen gerichteten Filtern.
In einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden fünf Filter mit äquidistanter Orientierung im Bereich [0:pi/2] verwendet. Die verwendeten Standardabweichungen für die Gauß-Kurven sind σ_d, σ_s = 1.5, 3, wobei d für Ableitung und s für Glättung stehen.
Auf das Bild kann dann das Filterband wie folgt angewendet werden: Fi = I⊗LoGi, für i = 1:5 (15)
Der Output der Anwendung des Filters kann dann als min/max-Differenz wie folgt verwendet werden: FM(x,y) = maxi(Fi(x,y)) – mini(Fi(x,y)) (16)
Dabei ist der Basis-LoG-Filter (mit Orientierung 0) gegeben durch:
Die gerichteten Filter werden erhalten durch Rotieren der Basisversion um einen Winkel θ: LoG(θ) = rotθ(LoG(0)) (18)
Dies resultiert dann in einem Bild, welches eine Art von Merkmalsbild oder Merkmalskarte darstellt, wobei für jeden Pixel des Referenzbildes ein gewichteter Wert erhalten wird, welcher zwischen 0 und 1 liegt und einen Anhaltspunkt dafür darstellt, wie wahrscheinlich es ist, dass der Pixel eine Blutader enthält oder zu einer Blutader gehört.
Basierend auf den aufgefundenen Merkmalen und der aufgefundenen Gewichtungskarte (der Merkmalskarte) können dann die Merkmale, die für die Bildverfolgung verwendet werden, initialisiert werden. Wie bereits erwähnt, werden die Merkmale basierend auf der Kovarianzmatrix und ihren Eigenwerten extrahiert, und dann wird für jedes ausgewählte Merkmal ein Interessensgebiet, das es umgibt, definiert. Dies resultiert in mehrfachen Interessensgebieten und für jedes von ihnen wird innerhalb eines Verschiebungsfensters eine Verschiebungsmessung durchgeführt.
Für jedes dieser mehrfachen Interessensgebiete wird dann die entsprechende Merkmalskarte oder Gewichtungswertkarte erhalten. Als weitere Alternative kann vor der Durchführung der tatsächlichen Übereinstimmungsberechnung die Merkmalskarte berechnet werden, worauf dann die Merkmale und ihre Umgebungsgebiete (Interessensgebiete) berechnet werden und diese Interessensgebiete sind dann die Gebiete, für die die tatsächliche Übereinstimmungsberechnung (Matching) durchgeführt wird. Diese Interessensgebiete sind daher "Muster", die tatsächlich die Gebiete definieren, innerhalb derer das tatsächliche Referenzbild und die Merkmalskarte (Gewichtungskarte) für Verschiebungsmessungen verwendet werden, und sie können daher vorab als Muster nach ihrer Berechnung basierend auf dem anfänglichen Bild abgespeichert werden. Für das Gebiet der Muster wird dann Korrelationswert für solche Verschiebungswerte berechnet, bei denen die Muster innerhalb einem vorbestimmten Fenster (Verschiebungsfenster) liegen.
Diese zwei Bilder oder Muster (eines für das tatsächliche Referenzbild, eines für die Merkmalskarte) entsprechen den mehrfachen Interessensgebieten und bilden daher den Input für den tatsächlichen "Matching-Prozess".
Die Übereinstimmungsmessung (Matching-Prozess) selbst wird nun nachfolgend genauer im Detail beschrieben.
8 zeigt ein Beispiel eines Teils des Referenzbildes, welches Blutadern enthält, und 9 zeigt als ein Beispiel das Gewichtungsbild oder die Merkmalskarte, die aus dem Teil des Referenzbildes unter Verwendung der vorgenannten Methode erhalten wurden. Es ist zu erkennen, dass in dem Gewichtungsbild die Blutaderstrukturen klar verstärkt sind und daher stärkeres Gewicht auf die Blutaderstrukturen gelegt wird, wenn das endgültige Korrelationsmaß berechnet wird.
Zum Zweck der Augenerfassung oder der Augenverfolgung muss ein Verschiebungswert berechnet werden, welcher angibt, um wieviel das momentane Bild bezüglich des ursprünglichen Referenzbildes verschoben ist. Dieser Verschiebungswert wird basierend auf den Interessensgebieten berechnet, welche basierend auf der Extraktion der Merkmale erhalten wurden.
Für jedes der Interessensgebiete, welches durch die Merkmalsextraktion erhalten wurde, wird ein Umgebungsgebiet (ein Verschiebungsfenster) definiert, und zwar beispielsweise wie folgt. Auf der linken und rechten Seite ist das Umgebungsgebiet 10 Pixel breiter als das Interessensgebiet, das durch die Merkmalsextraktion erhalten wurde. In der vertikalen Richtung ist das vordefinierte Gebiet beispielsweise um so viele Pixel höher als der entsprechende Block wie durch 15° nach jeder Seite repräsentiert wird. Angenommen, das ausgewählte Merkmal ist ein Block von 32×32 Pixeln, dann resultiert dies in einem vordefinierten Fenster von 52 Pixeln Breite und 152–162 in Höhe.
Das auf der Merkmalsextraktion basierende Interessensgebiet wird dann als Muster verwendet und innerhalb es vordefinierten Gebiets (des Verschiebungsfensters) so verschoben, dass es noch vollständig innerhalb davon liegt.
Für jedes der Muster wird dann ein Matching zwischen dem anfänglichen Bild und dem momentanen Bild durchgeführt. Dies wird schematisch in 10 illustriert. 10 zeigt die Merkmale in dem anfänglichen Bild (links) und dem momentanen Bild (rechts). 11 illustriert dann, dass das tatsächliche Matching für Interessensgebiete durchgeführt wird, die die Merkmale umgeben. Diese sind als Rechtecke in 11 gezeigt.
Das Matching (die Übereinstimmung) zwischen dem Muster und dem darunterliegenden Block des momentanen Bildes (B_xy) wird wie folgt berechnet: MS(x,y) = ms(Timage, Tweight, Bxy),Bxy ⊂ ROI (19)
Dabei repräsentiert MS(x,y) eine Übereinstimmungsmaß-Funktion, welche nachfolgend beschrieben wird.
Angenommen, T_image sei der Bildteil des Referenzbildes, welcher dem basierend auf der Merkmalsextraktion ausgewählten Interessensgebiet entspricht. Ferner angenommen, dass T_weight der entsprechende Teil des Gewichtungsbilds (der Muster) ist, so läuft die Prozedur wie folgt.
Zunächst wird T_image normalisiert und auch B wird normalisiert. Dann ist B das momentane Bild.
Dann wird eine gewichtete Statistik für T_image basierend auf T_weight berechnet. Dies wird durchgeführt unter Berechnung üblicher Statistiken, welche die Wichtigkeit jedes Pixels berücksichtigen. Dies kann mathematisch wie folgt ausgedrückt werden:
Als Nächstes wird dann der Kontrast wie folgt berechnet: C = stdTweight(Timage)/stdTweight(B) (22)
Dann wird das Differenzbild zwischen dem momentanen Bild B und dem Referenzbild T_image berechnet, indem die Statistik wie folgt berücksichtigt wird: Idiff = c*(B – mTweight(B)) – (Timage – mTweight(Timage)) (23)
Als Nächstes wird dann das Übereinstimmungsmaß (Matching Score) wie folgt berechnet:
Die vorgenannte Normalisierung der Bilder dient dem Zweck des Entfernens von Illuminationsunterschieden. Sie basiert auf der Annahme, dass Illuminationsdifferenzen durch planare Oberflächen approximiert werden können. Die Normalisierung wird wie folgt durchgeführt.
Zunächst werden alle algebraischen Momente der Ordnung m₀₀, m₀₁, m₁₀ für ein gegebenes Bild wie folgt berechnet:
Dann wird der Beitrag der entsprechenden Polynome subtrahiert:
Die verwendeten Polynome sind dabei P00 = 1,P10 = x, P01 = y (27)
Das resultierende Übereinstimmungsmaß gibt für jeden Verschiebungswert des Interessensgebiets innerhalb des vordefinierten Fensters einen entsprechenden Matching Score an und resultiert damit in einer Matching-Score-Karte (Übereinstimmungskarte), wobei jedes Pixelelement einem Verschiebungswert entspricht.
Solch eine Übereinstimmungs-Karte wird für jedes der Interessensgebiete (jedes Muster), die durch die Merkmalsextraktion erhalten wurden, erhalten.
Dies bedeutet, dass eine Mehrzahl von Übereinstimmungs-Karten erhalten wurde, wobei jede Karte einem bestimmten Interessensgebiet entspricht und jede eine individuelle Abschätzung für einen bestimmten Verschiebungswert angibt, der innerhalb dem vordefinierten Fenster (Verschiebungsfenster) liegt.
Im nächsten Schritt werden diese Übereinstimmungsmaße oder Matching-Ergebnisse aggregiert oder akkumuliert, um ein endgültiges Übereinstimmungsmaß für die individuellen Verschiebungswerte zu erhalten, um damit einen endgültigen Verschiebungswert zu erhalten. Dies wird basierend auf der Annahme durchgeführt, dass die Messung der Verschiebungen durch Messfehler beeinflusst wird, ferner gibt es wahrscheinlich auch einen Einfluss von instabilen Blutadern. Diese Einflüsse sollten sich herausmitteln, wenn die individuellen Messergebnisse akkumuliert werden und durch Verwendung des wahrscheinlichsten Messergebnisses sollte eine gute Annäherung für den tatsächlichen Verschiebungswert erhalten werden.
Es wird daher ein Maximum-Likelihood-Ansatz (maximaler Wahrscheinlichkeitsansatz) für die Torsion als Art eines Optimum-Abschätzers verfolgt.
Zunächst werden alle individuellen Übereinstimmungsmaße in entsprechende Wahrscheinlichkeitswerte transformiert. Dies geschieht basierend auf a-priori-Wissen über Entsprechungen zwischen der Wahrscheinlichkeit eines Übereinstimmungsmaßes und einer bestimmten Wahrscheinlichkeit, dass die Verschiebung tatsächlich diesen Wert annimmt. In anderen Worten, es gibt eine Beziehung zwischen der Übereinstimmungsmaßverteilung und der Wahrscheinlichkeitsverteilung, welche in jedem Punkt eine Wahrscheinlichkeit besitzt, dass das Merkmal in dieser Position oder in naher Nachbarschaft davon liegt.
Dies bedeutet, dass eine statistische Korrelation zwischen dem Übereinstimmungsmaß und der Merkmalsexistenz bei einem vorgegebenen Ort existiert. Diese Korrelation ist jedoch lose im Sinne, dass kein Übereinstimmungsmaß die Existenz oder die Nicht-Existenz des Merkmals an einem bestimmten Ort garantieren kann. Die Typen von Störungen für das Übereinstimmungsmaß fallen in der Tat in zwei große Kategorien: Zunächst die Ungenauigkeit, d.h. das Übereinstimmungsmaß in der korrekten Position kann geringer sein als das von einem oder mehreren Punkten in der Nachbarschaft der gültigen Position. Eine weitere Ungenauigkeit resultiert von Ausreißern, d.h. das Übereinstimmungsmaß in der korrekten Position ist geringer als eine oder mehrere Punkte weit entfernt von der gültigen Position.
Basierend auf diesen Annahmen wird ein a-priori-Wissen über die bedingte Wahrscheinlichkeit eines Übereinstimmungsmaßes bei gültiger Detektion p(s/v) konstruiert. Diese Wahrscheinlichkeitsfunktion kann experimentell erhalten werden. Sie kann entweder in einer Nachschlagtabelle gespeichert werden oder sie kann mittels einer analytischen Funktion angenähert werden. Im vorliegenden Ausführungsbeispiel wird letzterer Ansatz wie folgt verwendet:
Dabei ist p_outlier der Betrag der Wahrscheinlichkeit, der bei beliebigem Wert des Übereinstimmungsmaßes nicht vernachlässigt werden kann. Basierend auf dieser Korrelation wird dann die Übereinstimmungskarte in eine Wahrscheinlichkeitskarte unter Verwendung der obigen Beziehung (28) wie folgt transformiert: P_i(x,y) = p(MS_i(x,y)), wobei i der Index des Merkmals ist (29) Die Wahrscheinlichkeitskarte wird dann normalisiert, so dass:
Die Übereinstimmungsmaß-Karte wird daher in ein Wahrscheinlichkeitsfeld wie folgt transformiert: MSi → PFi (31)
Die Wahrscheinlichkeitsfelder auf jeder Seite der Iris (linke und rechte Seite):
Es sollte festgehalten werden, dass die "mathematisch korrekte" Implementierung wie folgt lauten sollte:
Aus Einfachheitsgründen wird jedoch die Version aus Gleichung (32) verwendet. Dann wird der maximale Wert und der maximale Ort in jedem Akkumulator bestimmt, wobei s die Seite (links oder rechts der Iris) angibt:
Die tatsächliche Verschiebung wird erhalten, indem einfach der Ort des Maximums berücksichtigt wird.
Angenommen, die Berechnung erfolgt in Polarkoordinaten und ferner angenommen, dass die vertikale Koordinate (y) der Torsion entspricht, dann kann die Torsion durch Berücksichtigung der vertikalen Position des Maximumsortes bestimmt werden:
Wenn |TL| – |TR| > 1.5 deg, dann kann der glaubhafteste Wert (basierend auf W_R, W_L) ausgewählt werden. Wenn nicht, dann:
Die Konfidenz kann wie folgt berechnet werden:
Bei der Berechnung des Wahrscheinlichkeitsfeldes kann die Positionsunbestimmtheit eingeschlossen werden, indem für jede Position die akkumulierte Wahrscheinlichkeit ihrer Nachbarn berechnet wird:
wobei der Parameter σ die lokale Unbestimmtheit steuert (beispielsweise σ = 3).
Mit dem vorgehenden Ausführungsbeispiel ist es möglich, einen Verschiebungswert zu berechnen, der nicht nur auf einem Teil des Bildes basiert, sondern vielmehr auf mehreren Bildteilen. Die mehrfachen Gebiete, die für die Verschiebungsberechnung verwendet werden, basieren auf Merkmalsextraktion, d.h. sie wurden so ausgewählt, dass basierend auf den Merkmalen, die sie enthalten, sie besonders geeignet für den Zweck der Augenerfassung oder der Bildverfolgung sind.
Durch Verwendung eines Korrelationswertes, der berechnet wird, indem ferner eine Gewichtungskarte berücksichtigt wird, wird sichergestellt, dass diejenigen Bereiche, für die das Vorhandensein von Blutadern angenommen werden kann, besonders gewichtet werden und damit die Korrektheit des endgültigen Ergebnisses verstärkt wird.
Durch Akkumulieren der mehrfachen Korrelationswerte für die mehrfachen Interessensgebiete können Messfehler und Effekte aufgrund von Instabilitäten von Blutadern herausgemittelt werden, oder in anderen Worten, indem der wahrscheinlichste Verschiebungswert gewählt wird, kann der negative Einfluss dieser Effekte klein gehalten werden, so dass schließlich ein guter Verschiebungswert erhalten wird und die Augenerfassung oder die Augenverfolgung sehr gut durchgeführt werden können.
Es ist für den Fachmann klar, dass die vorgehende Beschreibung die Erfindung lediglich mittels illustrativer Ausführungsbeispiele erläutert und dass ohne Abweichung von der Erfindung Veränderungen möglich sind.
ZUSAMMENFASSUNG
Die Erfindung betrifft ein System (10) zur Erfassung und Verfolgung der Position des Auges einer Person, insbesondere für refraktive Augenchirurgie. Gemäß der Erfindung ist das System so ausgestaltet, dass die Augenbilder, die zumindest die Iris und die Pupille des Auges enthalten, bei einer ersten Wellenlänge aufgenommen werden und Augenbilder, die sklerale Blutadern enthalten, bei einer davon unterschiedlichen zweiten Lichtwellenlänge aufgenommen werden. Die Erfindung betrifft ferner ein entsprechendes Verfahren zur Erfassung und Verfolgung der Position des Auges einer Person.
(1)

Claims

System (10) zur Erfassung und Verfolgung der Position des Auges (12) einer Person, insbesondere zum Zwecke der Augenchirurgie, welches aufweist: – ein Kamerasystem (18) zur Aufnahme von Bildern des Auges (12) der Person; – eine Speichereinrichtung, die mit dem Kamerasystem (18) verbunden ist, um zumindest ein Augenbild als Referenzaugenbild zu speichern; – ein Bildverarbeitungssystem (22), das mit der Speichereinrichtung und/oder dem Kamerasystem (18) verbunden ist, um ein momentanes Augenbild mit dem Referenzaugenbild zu vergleichen und ein Signal auszugeben, das eine Veränderung der Augenposition zwischen dem Referenzaugenbild und dem momentanen Augenbild repräsentiert, – dadurch gekennzeichnet, dass das System so ausgebildet ist, dass Augenbilder, welche zumindest die Iris und die Pupille des Auges (12) enthalten, bei einer ersten Lichtwellenlänge erstellt werden und dass Augenbilder, welche sklerale Blutadern enthalten, bei einer unterschiedlichen zweiten Lichtwellenlänge gemacht werden.
System (10) nach Anspruch 1, dadurch gekennzeichnet, dass die erste Wellenlänge in einem Wellenlängenbereich zwischen 780 nm und 950 nm liegt und die zweite Wellenlänge in einem Wellenlängenbereich zwischen 550 nm und 580 nm liegt.
System (10) nach Anspruch 2, dadurch gekennzeichnet, dass die zweite Wellenlänge auf das lokale Maximum eines Absorptionsspektrums von Hämoglobin gesetzt ist.
System (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ein erstes Lichtquellensystem (14) umfasst, welches die Iris und die Pupille des Auges (12) illuminiert und ein zweites Lichtquellensystem (16a; b), welches die Sklera des Auges (12) illuminiert.
System (10) nach Anspruch 4, dadurch gekennzeichnet, dass das erste und zweite Lichtquellensystem (14; 16a, b) so gesteuert werden, dass sie simultan die jeweiligen Teile des Auges (12) illuminieren.
System (10) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass es ferner eine Lichtlenkeinrichtung aufweist, um das Licht des ersten Lichtquellensystems (14) und/oder des zweiten Lichtquellensystems (16a, b) variabel auf die jeweiligen Teile des Auges (12) zu richten.
System (10) nach Anspruch 6, dadurch gekennzeichnet, dass die Lichtlenkeinrichtung einen Scanspiegel und/oder eine bewegliche Linse aufweist.
System (10) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass es ferner eine Multiplex-Einrichtung aufweist, um das erste und zweite Lichtquellensystem (14; 16a, b) so anzusteuern, dass sie alternierend das gesamte Auge (12) illuminieren.
System (10) nach Anspruch 8, dadurch gekennzeichnet, dass das Bildverarbeitungssystem (22) so ausgestaltet ist, dass ein Bild, welches bei der zweiten Lichtwellenlänge von dem zweiten Lichtquellensystem (16a, b) aufgenommen wurde, von einem vorhergehenden Bild, das bei der ersten Lichtwellenlänge von dem ersten Lichtquellensystem (14) aufgenommen wurde, subtrahiert wird.
System (10) nach einem der Ansprüche 4 bis 9, dadurch gekennzeichnet, dass das erste Lichtquellensystem (14) so angeordnet ist, dass es das Auge (12) in einem Winkel von etwa 30° bezüglich der visuellen Achse illuminiert.
System (10) nach einem der Ansprüche 4 bis 10, dadurch gekennzeichnet, dass das zweite Lichtquellensystem (16a, b) zwei Lichtquellen aufweist, die so angeordnet sind, dass sie symmetrisch das Auge (12) bei Winkeln von etwa +35° und –35° bezüglich der visuellen Achse illuminieren.
System (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kamerasystem (18) nur sensitiv auf Licht der ersten und der zweiten Wellenlänge ist.
System (10) nach Anspruch 12, dadurch gekennzeichnet, dass das Kamerasystem (18) eine einzelne Kamera aufweist, welche mit einem Doppel-Passbandfilter ausgerüstet ist.
System (10) nach Anspruch 12, dadurch gekennzeichnet, dass das Kamerasystem (18) eine CCD-Kamera aufweist, welche einen Kombinationschip aufweist mit zumindest zwei separaten Farbbändern, welche jeweils der ersten und zweiten Wellenlänge entsprechen.
System (10) nach Anspruch 12, dadurch gekennzeichnet, dass das Kamerasystem (18) eine erste Kamera aufweist, welche nur für die erste Wellenlänge sensitiv ist, und eine zweite Kamera, welche nur für die zweite Wellenlänge sensitiv ist.
Verfahren zum Erfassen und Verfolgen der Position des Auges einer Person (12), insbesondere für refraktive Augenchirurgie, welches folgende Schritte aufweist: – Aufnehmen des Bildes eines Auges (12) der Person in einer Referenzposition; – Speichern des Bildes als Referenzaugenbild; – Aufnehmen zumindest eines momentanen Augenbildes; – Berechnung einer Veränderung der Augenposition zwischen dem Referenzaugenbild und dem zumindest einen momentanen Augenbild; und – Ausgeben eines Signals, welches die Veränderung der Augenposition repräsentiert, – dadurch gekennzeichnet, dass der Schritt des Aufnehmens zumindest eines momentanen Augenbilds aufweist: – Aufnehmen eines ersten Bildes, welches die Iris und die Pupille des Auges (12) enthält, bei einer ersten Lichtwellenlänge und Aufnehmen eines zweiten Bildes, welches sklerale Blutadern enthält, bei einer zweiten unterschiedlichen Lichtwellenlänge, und dass der Schritt des Berechnens der Veränderung der Augenposition aufweist: – Berechnen einer Verschiebung der skleralen Blutadern zwischen dem Referenzaugenbild und dem zweiten Bild.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die erste Wellenlänge in einem Wellenlängenbereich zwischen 780 nm und 950 nm liegt, und die zweite Wellenlänge in einem Wellenlängenbereich zwischen 500 nm und 580 nm liegt.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die zweite Wellenlänge auf ein lokales Maximum eines Absorptionsspektrums von Hämoglobin gesetzt ist.
Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass es einen Schritt des Extrahierens skleraler Blutadern aus dem zweiten Bild aufweist.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass es einen Schritt des Klassifizierens extrahierter Blutadern gemäß ihrer Stabilität und Verfolgbarkeit aufweist.
Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass es aufweist: – Definieren eines Interessensgebiets in dem Referenzaugenbild und Berechnen eines maximalen Korrelationskoeffizienten zwischen dem Interessensgebiet und dem zweiten Bild.
Verfahren zur Augenerfassung oder Augenverfolgung basierend auf einem anfänglichen oder Referenzbild und einem momentanen Bild, wobei das Verfahren aufweist: – Erhalten von einem oder mehreren Merkmalen (sogenannten Landmarks) in dem anfänglichen Bild, welche Bilddaten enthalten, die wahrscheinlich Blutadern oder Teile davon repräsentieren; – basierend auf den Merkmalen, Auswählen von einem oder mehreren Interessensgebieten als Teile des anfänglichen Bildes, welche für die Augenverfolgung oder Augenerfassung verwendet werden sollen.
Verfahren nach Anspruch 22, welches ferner aufweist: – für jedes der Interessensgebiete, Erhalten eines Verschiebungsmaßes zwischen dem anfänglichen Bild und dem momentanen Bild; und – falls mehrere Interessensgebiete verwendet werden, Kombinieren der mehreren Verschiebungsmaße, um ein endgültiges Verschiebungsmaß zu erhalten.
Verfahren nach Anspruch 22 oder 23, wobei der Schritt des Erhaltens der Merkmale einen oder mehrere der folgenden Schritte aufweist: – Durchführen einer Fouriertransformation basierend auf dem anfänglichen Bild und Auswahl von solchen Pixeln oder Gruppen von Pixeln, welche eine hohe Intensität in der Frequenzdomäne aufweisen, als Merkmale; – Falten des anfänglichen Bildes mit einem oder mehreren Mustern, welche eine Kante oder eine Ecke oder eine Kurve repräsentieren, um aus dem gefalteten Bild oder den Bildern solche Gebiete auszuwählen, in denen Ecken-, Kanten- oder Kurven-Strukturen detektiert wurden; – Berechnen von orthogonalen Gradienten für das anfängliche Bild und Auswählen der Interessensgebiete, basierend auf den berechneten Gradienten; – sukzessive Eingabe von möglichen Interessensgebieten des anfänglichen Bildes in eine Klassifiziereinrichtung wie beispielsweise ein neuronales Netz und Auswählen der endgültigen Interessensgebiete, basierend auf der Ausgabe der Klassifiziervorrichtung.
Verfahren nach einem der Ansprüche 22 bis 24, wobei das Verfahren aufweist: – Berechnen von zwei Gradientenbildern, basierend auf dem anfänglichen Bild, eines für jede der zwei Richtungen orthogonal zueinander; – basierend auf der Gradientenbildberechnung, Durchführen einer mathematischen Operation, welche für jeden einzelnen Pixel des anfänglichen Bildes oder für Gruppen von Pixeln des anfänglichen Bildes den minimalen Gradienten in einer von zwei orthogonalen Richtungen angibt; – basierend auf dem Ergebnis der mathematischen Operation, Identifizieren von einem oder mehreren Pixeln oder Gebieten in dem Augenbild als für die Verfolgung geeignete Merkmale, für die die vorher berechnete Angabe des minimalen Gradienten größer ist als für andere Pixel oder Gruppen von Pixeln.
Verfahren nach Anspruch 25, bei dem die Berechnung der Angabe des minimalen Gradienten aufweist: – Berechnen des Gradienten in zwei orthogonale Richtungen für jeden Pixel; – für ein vorbestimmtes Fenster um jeden Pixel des anfänglichen Bildes herum als Zentrum, Berechnen einer Kovarianzmatrix der Gradienten in die zwei orthogonalen Richtungen, um dadurch eine Kovarianzmatrix für jeden Pixel des Augenbildes zu erhalten; – Berechnen der Eigenwerte jeder Matrix, die jedem der Pixel entspricht; – Auswahl des jeweiligen minimalen Eigenwerts jeder Kovarianzmatrix als ein Anhaltspunkt, welcher den kleinsten Gradienten für den Pixel in einer der beiden orthogonalen Richtungen angibt; – Auswählen von einem oder mehreren Interessensgebieten, basierend auf den minimalen Eigenwerten, die für die Pixel des anfänglichen Bildes berechnet wurden.
Verfahren nach Anspruch 26, welches ferner einen oder mehrere der folgenden Schritte aufweist: – Auswahl derjenigen Pixel, für die die minimalen Eigenwerte jenseits eines bestimmten Schwellenwerts liegen oder eine bestimmte Bedingung erfüllen als Zentrum eines Interessensgebiets vorbestimmter Größe; – Auswahl einer Anzahl von n Interessensgebieten, basierend auf den n Pixeln, für die die minimalen Eigenwerte die höchsten Werte annehmen.
Verfahren nach einem der Ansprüche 22 bis 27, welches ferner aufweist: – basierend auf den Pixeln oder Gruppen von Pixeln, die als Interessensgebiete bestimmt wurden, Durchführung folgender Schritte: – innerhalb eines Verschiebungsfensters als vorbestimmtes Gebiet, das das Interessensgebiet umgibt, und für jede mögliche Verschiebung des Interessensgebiets innerhalb der vorbestimmten Region, Berechnung eines Korrelationswerts zwischen dem Referenzbild des Auges und einem momentanen Bild des Auges, um dadurch einen Korrelationswert für jede mögliche Verschiebung innerhalb des vorbestimmten Fensters und für jedes Interessensgebiet zu erhalten.
Verfahren nach Anspruch 28, wobei die Berechnung des Korrelationswertes Folgendes umfasst: – für jedes der Interessensgebiete und für jeden Verschiebungswert innerhalb des vorbestimmten Fensters, Berechnen der Differenz zwischen dem Referenzbild und dem momentanen Bild als vorläufiges Übereinstimmungsmaß.
Verfahren nach Anspruch 29, bei dem das vorläufige Übereinstimmungsmaß ferner mittels eines Gewichtungswerts gewichtet wird, welcher für jeden Pixel das Vorliegen der Gerichtetheit eines Merkmals wie etwa einer Blutader angibt.
Verfahren nach Anspruch 30, bei dem der Gewichtungsfaktor auf einer Gewichtungskarte basiert, die für das Bild basierend auf der Anmeldung einer Bank von anisotropen gerichteten Filtern berechnet wurde, wie etwa einer Bank von Laplace-Gauß-Filtern.
Verfahren nach einem der Ansprüche 22 bis 31, welches aufweist: – Erhalten einer Übereinstimmungsmaß-Karte für jedes der Interessensgebiete, wobei jeder Pixelwert der Übereinstimmungsmaß-Karte das Übereinstimmungsmaß für einen bestimmten Verschiebungswert des Interessensgebiets des anfänglichen Bildes bezüglich eines momentanen Bildes angibt, und zwar basierend auf dem Korrelationswert, der für diesen Verschiebungswert für das individuelle Interessensgebiet berechnet wurde; – basierend auf einer Akkumulation der Übereinstimmungsmaße für die individuellen Verschiebungswerte und die mehreren Interessensgebiete, Erhalten eines Verschiebungswertes, welcher am wahrscheinlichsten den tatsächlichen Verschiebungswert repräsentiert.
Verfahren nach Anspruch 32, welches ferner aufweist: – Ersetzen des erhaltenen Übereinstimmungsmaßes durch einen entsprechenden Wahrscheinlichkeitswert dafür, dass dieses Übereinstimmungsmaß die tatsächliche Verschiebung repräsentiert, wobei der Wahrscheinlichkeitswert basiert auf a priori-Wissen, welches aus experimentellen Ergebnissen stammt und eine Korrelation zwischen einem Übereinstimmungsmaß und einem Wahrscheinlichkeitswert darstellt, welcher die Wahrscheinlichkeit dafür darstellt, dass dieses Übereinstimmungsmaß die tatsächliche Verschiebung repräsentiert; – Akkumulieren der so erhaltenen Wahrscheinlichkeitswerte für die individuellen Verschiebungswerte für die individuellen Interessensgebiete, um so einen Verschiebungswert, der die maximale Wahrscheinlichkeit aufweist, als denjenigen Wert zu erhalten, um den das Referenzbild verschoben werden muss, um mit dem momentanen Bild übereinzustimmen.
Verfahren nach Anspruch 32 oder 33, welches ferner aufweist: – Einschließen der Präzisionsungenauigkeit einer Messung durch Berechnung der akkumulierten Wahrscheinlichkeit ihrer Nachbarn für jede Position.
Verfahren zur Erfassung oder Verfolgung eines Auges, wobei das Verfahren aufweist: – basierend auf Interessensgebieten, die für die Erfassung oder Verfolgung geeignet sind, und durch Durchführung eines Verfahrens gemäß einem der Ansprüche 22 bis 34 aufgefunden wurden, Durchführen einer Verschiebungsmessung, um eine Verschiebung zwischen dem anfänglichen Bild und einem momentanen Bild zu erhalten, wobei die Verschiebungsmessung ferner die Schritte eines der Ansprüche 16 bis 21 aufweist.
Computerprogrammprodukt, welches computerlesbaren Code umfasst, um einen Computer in die Lage zu versetzen, ein Verfahren gemäß einem der Ansprüche 22 bis 35 auszuführen, wenn der Code ausgeführt wird.