DE102005025221A1

DE102005025221A1 - Verfahren und Vorrichtung für bildbasierte Augenverfolgung zur retinalen Diagnostik oder für eine Chirurgievorrichtung

Info

Publication number: DE102005025221A1
Application number: DE102005025221A
Authority: DE
Inventors: Winfried Teiwes; Horia Grecu
Original assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Current assignee: Od-Os 14513 Teltow De GmbH
Priority date: 2004-06-02
Filing date: 2005-06-01
Publication date: 2006-02-09
Anticipated expiration: 2025-06-02
Also published as: EP1602321A1; DE102005025221B4; US8811657B2; US20140334707A1; US20050270486A1

Abstract

Augenverfolgungsverfahren zum Bestimmen der Position eines Auges oder eines Teils eines Auges in einem Bild einer Bildsequenz durch Durchführen eines Vergleichs zwischen dem Bild und einem Referenzbild, wobei das Verfahren einschließt: Ausrichten eines Satzes von Bildern; Berechnen eines qualitätsverbesserten Referenzbildes, basierend auf einer Kombination des Satzes von ausgerichteten Bildern; und Bestimmen der Position in dem Bild der Bildsequenz durch Vergleich des Bildes der Bildsequenz und des qualitätsverbesserten Referenzbildes, um eine Bewegungsabschätzung zwischen dem Referenzbild und dem Bild der Bildsequenz zu erhalten.

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung, die Verwendung findet bei der bildbasierten Verfolgung einer Augenbewegung oder einer Position in einer Vorrichtung für retinale Diagnose/Chirurgie.

Hintergrund der Erfindung

Bildbasierte Verfolgung einer Augenbewegung oder einer Augenposition wird bekanntermaßen für verschiedene Anwendungen durchgeführt, etwa für die Chirurgie und die Diagnose, ein Beispiel ist dabei eine Vorrichtung für retinale Diagnose/Chirurgie. Herkömmliche Augenverfolgungstechniken leiden jedoch unter verschiedenen Problemen. Ein Problem besteht darin, daß die Bildqualität des Systems, d. h. das Signal-Rausch-Verhältnis (SNR). Ist das SNR niedrig, so sind die Bildverarbeitungstechniken, die für die Augenverfolgung verwendet werden, nicht so akkurat, wie sie sein könnten. Ferner gibt es Probleme, die aus dem spezifischen instrumentellen Aufbau resultieren.

Ein solches Beispiel ist das retinale Videoverfolgen für einen optischen Kohärenztomographen (OCT) zur Messung der Dicke und Struktur der Retinaschichten, aber andere spezifische Felder wie etwa Vorrichtungen für die Chirurgie, die Diagnose oder das Überwachen des Auges können hier auch erwähnt werden.

Im Falle eines OCT-Systems interferiert der Meßstrahl des OCT mit dem Bild des Augenhintergrunds (Fundus) aufgrund der Tatsache, daß das Illuminationsspektrum des Strahls nahe dem abbildenden Spektrum (nahes Infrarot) ist. Die Effekte des OCT-Strahls können als die folgenden zwei Komponenten aufweisend beschrieben werden:

– Sättigung des Bildes auf kleinen Bereichen, an denen der Strahl der Retinaoberfläche trifft
– Niederfrequente Illuminationsveränderungen, die durch Lichtdiffusion des Strahls auf der Retinaoberfläche und Lichtreflektion des Strahls von der Retinaoberfläche verursacht werden.

Ferner wird das Bild verschlechtert durch ein Aufnahmerauschen und durch Illuminationsstörungen, die durch Veränderungen der Pupillengröße und der Ausrichtung während der Prozedur verursacht werden. Die Erfindung kann angewendet werden auf jede Vorrichtung, in der entweder ein Meß-Scanstrahl oder ein chirurgischer Laserstrahl das für das Verfolgen oder die Ausrichtung verwendete Retinabild beeinflußt.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, die in der Lage ist, die Leistungsfähigkeit eines herkömmlichen Augenverfolgungssystems zu erhöhen.

Zusammenfassung der Erfindung

Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Augenverfolgungsverfahren bereitgestellt zum Bestimmen der Position eines Auges oder eines Augenmerkmals wie etwa der Retina in einem Bild einer Bildsequenz, und zwar durch Durchführen eines Vergleichs zwischen dem Bild und einem Referenzbild, wobei das Verfahren einschließt:
Ausrichten eines Satzes von Bildern;
Berechnen eines qualitätsverbesserten Referenzbildes basierend auf einer Kombination des Sätzen von ausgerichteten Bildern; und
Bestimmen der Position in dem Bild der Bildsequenz durch Vergleichen des Bildes der Bildsequenz und des qualitätsverbesserten Referenzbildes, um eine Bewegungsabschätzung zwischen dem Referenzbild und dem Bild der Sequenz zu erhalten.

Durch Verwendung eines qualitätsverbesserten (oder verbesserten) Referenzbildes wird es möglich, die Gesamtgenauigkeit des Augenverfolgungsverfahrens zu verbessern und dadurch dessen Leistungsfähigkeit zu verbessern.

Im Falle eines OCT-Systems wird es damit möglich, trotz der Verwendung von gestörter (Echtzeit-) Bilder ein Verfolgen zu ermöglichen, ohne daß irgendwelche Hardwareänderungen oder Änderungen an der Optik erforderlich sind, um den Einfluß des Scan-Strahls zu verringern, und zwar aufgrund der Verwendung eines qualitätsverbesserten Referenzbildes für den Vergleich mit den Echtzeitbildern.

Ein Satz von im Voraus aufgenommenen Bildern kann auf dieselbe Retinaposition ausgerichtet werden und dann durch Mittelbildung des ausgerichteten Satzes von Bildern kombiniert werden, um das qualitätsverbesserte Referenzbild zu erzeugen. Dieses qualitätsverbesserte Referenzbild kann dann verwendet werden, um Positionsbestimmung und Augenverfolgung in Verbindung mit einer Diagnose- und/oder Chirurgie-Vorrichtung durchzuführen. Die Diagnose- und/oder Chirurgievorrichtung kann in einem Ausführungsbeispiel eines der folgenden sein:
eine OCT-Vorrichtung;
eine refraktive Chirurgie-Vorrichtung.

Gemäß einem Ausführungsbeispiel wird eine OCT-Spot-Spurwiederherstellung durchgeführt, um eine gesättigte OCT-Spot-Spur aus einem Bild in der Sequenz zu eliminieren, indem das gesättigte Gebiet durch Interpolation oder eine Durchschnittsintensität in einem entsprechendem Gebiet von ungesättigten Bildern ersetzt wird, was unter Verwendung eines oder mehrerer geeigneter Filter Illuminationsvariationen kompensiert. Dies reduziert den störenden Effekt des OCT-Spots.

Gemäß einem Ausführungsbeispiel umfaßt eine Bewegungsabschätzung:
Durchführen einer globalen Bewegungsabschätzung zwischen dem Referenzbild und dem Bild der Sequenz; und
Durchführen einer Bewegungsabschätzung basierend auf Landmarks des Referenzbildes und des Bildes der Bildsequenz. Dieser zweischrittige Mechanismus erzielt eine bessere Genauigkeit und ist weniger anfällig für Störeffekte.

In einem Ausführungsbeispiel wird die globale Bewegungsabschätzung durch eine Bewegungsabschätzung basierend auf Teilen oder Landmarks verbessert. Diese können vom Benutzer ausgewählt werden oder automatisch ausgewählt werden.

In einem Ausführungsbeispiel wird das qualitätsverbesserte Referenzbild für einen der folgenden Schritte verwendet:
OCT-Spot Wiederherstellung;
Ableiten eines spektral angepaßten Filters zum Auswählen einer oder mehrerer Retina-Spektrumkomponenten mit dem höchsten Signal-Rausch-Verhältnis.

In einem Ausführungsbeispiel umfaßt das Verfahren ferner:
Ausrichten von während unterschiedlicher Zeitperioden aufgenommener Bildsequenzen durch Ausrichten eines qualitätsverbesserten Referenzbildes, das einer der Sequenzen entspricht, mit einem Referenzbild oder qualitätsverbesserten Referenzbild, das der zweiten Sequenz entspricht. Dies ermöglicht eine Ausrichtung unterschiedlicher Sessions, was für eine Langzeitdiagnose nötig ist.

Gemäß einem Ausführungsbeispiel wird ein Verfahren bereitgestellt zum Verbessern der Videoanzeige des Bildes eines Auges oder eines Teils eines Auges, wobei das Verfahren aufweist:
Ausrichten einer Sequenz von Bildern, die einem momentanen Bild des Videostreams vorhergehen, bezüglich des momentanen Bilds;
Kombinieren des resultierenden ausgerichteten Satzes von Bildern in ein qualitätsverbessertes Bild, das als Basis für ein qualitätsverbessertes momentanes Bild des Videostreams verwendet wird. Dadurch wird die Qualität des Videostreams verbessert.

Gemäß einem Ausführungsbeispiel umfaßt das Verfahren das Ausrichten der Bilder der vorhergehenden Sequenz basierend auf Augenverfolgungsinformationen, und für die Augenverfolgung kann das qualitätsverbesserte Referenzbild verwendet werden.

Gemäß einem Ausführungsbeispiel wird ein Verfahren zum Betrieb einer diagnostischen oder chirurgischen Vorrichtung basierend auf Augenverfolgung geschaffen, wobei das Verfahren aufweist:
Bestimmen, ob eine Anomalie während der Augenverfolgung detektiert wird;
falls eine Anomalie detektiert wird während der Augenverfolgung, Versetzen der diagnostischen oder chirurgischen Vorrichtung in einen HOLD-Modus. Dies ermöglicht es dem System, die negativen Einflüsse von Anomalien in der Augenbewegung wie etwa ruckartiges Anhalten (Sakkade oder Links).

Gemäß einem Ausführungsbeispiel ist eine Anomalie eines der folgenden:
eine Veränderung in der Bildqualität jenseits eines bestimmten Schwellwerts;
eine schnelle Bewegung des Auges, dessen Geschwindigkeit jenseits eines bestimmten Schwellwerts liegt;
eine Verwischung (blurring) des für die Augenverfolgung verwendeten Bildes;
eine Verwischung des für die Augenverfolgung verwendeten Bildes in Verbindung mit einer schnellen Bewegung;
eine kumulierte Differenz zwischen aufeinanderfolgenden Verfolgungsbildern, die jenseits eines bestimmten Schwellwerts liegt.

In einem Ausführungsbeispiel kann das Verfahren ferner aufweisen:
Bestimmen derjenigen Orte, an denen der Betrieb der chirurgischen oder diagnostischen Vorrichtung nicht zu einem korrekten Resultat führte;
erneutes Durchführen des Betriebs der chirurgischen oder diagnostischen Vorrichtung für diese ermittelten Orte.

Weitere Ausführungsbeispiele umfassen Systeme und Vorrichtungen, welche Verfahren gemäß den Ausführungsbeispielen der Erfindung implementieren.

Beschreibung der Zeichnungen
1 illustriert schematisch einen Aufbau zum Implementieren eines Ausführungsbeispiels der Erfindung.
2 illustriert schematisch ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung.
3 illustriert schematisch ein Verfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung.
4 illustriert schematisch ein Bewegungsabschätzungsverfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung.
5 illustriert schematisch ein Verfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Detaillierte Beschreibung
Ein erstes Ausführungsbeispiel der Erfindung wird nun in Verbindung mit 1 beschrieben. Eine Kamera (z. B. CCT-Kamera) 110 nimmt Videobilder eines Auges auf, und die Bilder werden an einen Computer eingegeben. Solch eine Anordnung entspricht einem herkömmlichen Augenverfolgungssystem und kann auch für die folgende Erfindung Anwendung finden. In dem herkömmlichen Augenverfolgungssystem „verfolgt" der Computer 120 basierend auf den aufgenommenen Bildern die Augenbewegung, z. B. durch Vergleich der Position einiger „Landmarks" in dem momentanen Bild mit der Position in dem vorhergehenden Bild, um damit die Bewegung des Auges „zu verfolgen". Basierend auf der verfolgten tatsächlichen Position kann ein Feedbacksignal bestimmt werden, das dann verwendet wird, um eine Positionskompensation bei einer chirurgischen oder diagnostischen Vorrichtung (nicht in 1 gezeigt) durchzuführen.
Um die Bewegung des Auges zu verfolgen oder die Position eines Auges zu bestimmen wird ein momentanes Bild des Auges mit einem Referenzbild verglichen. Gemäß dem Ausführungsbeispiel wird dieses Referenzbild dadurch erhalten, daß eine Mehrzahl von Bildern in ein qualitätsverbessertes Referenzbild kombiniert wird. Dies wird nun in Verbindung mit 2 etwas detaillierter erläutert.
In Operation 200 wird eine Mehrzahl von „anfänglichen Bildern" aufgenommen, z. B. durch Aufnahme einer Bildsequenz bevor die tatsächliche Verfolgung startet. So nimmt beispielsweise die Kamera für 0,5 Sekunden vor der tatsächlichen Verfolgung eine Bildsequenz auf, dies ergibt dann den Satz von „anfänglichen Bildern" basierend auf denen das qualitätsverbesserte Referenzbild erhalten wird.
In Operation 200 werden dann die anfänglichen Bilder hinsichtlich ihrer Position ausgerichtet. Dies kann unter Verwendung eines Standard-Bewegungsabschätzungsverfahrens für jedes der anfänglichen Bilder durchgeführt werden, die dann basierend auf dem Ergebnis ausgerichtet werden.
In der Operation 220 werden dann die ausgerichteten anfänglichen Bilder in ein qualitätsverbessertes Referenzbild kombiniert, beispielsweise durch Mittelwertbildung der anfänglichen Bilder in ein einzelnes Bild, welches dann ein qualitätsverbessertes Signal-Rausch-Verhältnis aufweist.
In Operation 230 wird das qualitätsverbesserte Referenzbild dann verwendet, um zu verfolgen oder die Position zu messen, z. B. durch Vergleich der Position eines momentanen Bildes mit dem qualitätsverbesserten Referenzbild.
Gemäß einem Ausführungsbeispiel besteht die Augenverfolgung aus zwei Hauptelementen, welche die folgenden sind:

A. Ausrichtung eines Bildsatzes
B. Ausrichtung einer Bildsequenz

Die Ausrichtung eines Bildsatzes nimmt einen Satz von (beispielsweise) Retina-Bildern als Eingabe und erzeugt ein qualitätsverbessertes (Retina-) Bild als Ausgabe durch Kombination der Information in dem Bildsatz. Die Bildsatzausrichtung wird in einem Ausführungsbeispiel ausgeführt, bevor das tatsächliche Verfolgen ausgeführt wird, und sie trägt keine Echtzeit-Beschränkungen, so daß das Verfahren auf eine Art und Weise ausgeführt werden kann, die darauf ausgerichtet ist, die Qualität des Ergebnisses zu maximieren.
Die Ausrichtung der Bildsequenz verwendet das qualitätsverbesserte Retina-Bild, das vorher produziert wurde, um eine Sequenz von neuen Retina-Bildern mit dem erwähnten qualitätsverbesserten Retina-Bild zu vergleichen, um eine Augenposition/Augenbewegung zu ermitteln, um eine Augenverfolgung durchzuführen. Dies Bildsequenzausrichtung trägt Echtzeit-Anforderungen (aufgrund des kontinuierlichen Inputs von momentanen Echtzeit-Bildern) und gemäß einem Ausführungsbeispiel ist sie darauf ausgerichtet, einen optimalen Kompromiß zwischen der Bewegungsabschätzungsqualität und dem notwendigen Rechenaufwand zu erzielen.
Nachfolgend wird ein anderes Ausführungsbeispiel etwas genauer im Detail beschrieben, das sich auf eine Anwendung auf dem Gebiet der optischen Kohärenztomographie (OCT) bezieht. Ein OCT-System arbeitet ähnlich einer Ultraschall-Bildvorrichtung, ausgenommen daß anstelle von Ultraschall Infrarot (IR)-Licht verwendet wird, das als OCT-Strahl emittiert wird, von der Retina reflektiert wird und dann basierend auf dem reflektierten Licht und Bildverarbeitungsverfahren ein diagnostisches Bild erhalten wird. Solche Systeme sind dem Fachmann wohl bekannt und werden daher nicht weiter hier beschrieben. Sowohl in der Satzausrichtung als auch in der Sequenzausrichtung ist ein Hauptproblem bei einem OCT-System das der unerwünschten Effekte des OCT-Strahls. Ein Vorverarbeitungsverfahren, das diese Effekte kompensiert, wird nachfolgend beschrieben. Gemäß einem Ausführungsbeispiel umfaßt dieses Verfahren die Aufnahme des Bildsatzes, das zum Erhalten des qualitätsverbesserten Referenzbildes verwendet wurde, ferner umfaßt es eine Illuminationsnormalisierung und eine OCT-Spot-Spurwiederherstellung.
Zunächst wird das Vorverarbeitungsverfahren beschrieben. Danach wird die Bildsatz-/Sequenzausrichtung beschrieben.
Das Vorverarbeitungsverfahren besteht in einem Ausführungsbeispiel aus den folgenden Unterschritten:

1. Auswählen eines kleinen Satzes (oder Untersatzes) von Bildern zu Beginn der Prozedur
2. Vorverarbeiten jedes Bildes, um die Illuminationsstöreffekte zu reduzieren
3. Vorverarbeiten jedes Bildes, um die OCT-Spot-Spur (saturierte Pixel) wiederherzustellen
4. Ausrichten des Bildsatzes bezogen aufeinander und temporäre Mittelbildung, um den Effekt des Aufnahmerauschens sowie anderer Reststörungen zu reduzieren.

Der Untersatz von Bildern wird vor dem Beginn des Scanmodus aufgenommen, und zwar im Scan-Ausrichtungsmodus. In einem Ausführungsbeispiel werden etwas 0,5 Sekunden eines Live-Videostreams aufgenommen, die in den Speicher gepuffert und nachfolgend verarbeitet werden. Falls Bilder während dieser Periode unter schlechter Qualität leiden (sehr niedriger Kontrast oder große saturierte Gebiete), so werden sie verworfen.
Dann schreitet die Vorverarbeitung fort mit einer Illuminationsnormalisierung. Die Illuminationsnormalisierung wird in einem Ausführungsbeispiel als Kombination eines homomorphen und eines Hochpaß-Filters durchgeführt. Das bedeutet, die Signalpixel werden durch einen multiplikativen oder/und additiven Einfluß der Illuminationsstärke verändert. Falls Licht von der Retina reflektiert wird, so ist dieser Effekt multiplikativ (d. h. der Kontrast vergrößert sich). Falls Licht durch die Retina von punktuellen Quellen gestreut wird, so ist der Effekt additiv (d. h. die Helligkeit vergrößert sich).
In Wirklichkeit treten beide Effekte auf. Im Gebiet der Pupille ist der Effekt hauptsächlich multiplikativ, während nahe an der Strahlspur der Effekt eher additiv ist. Ein Versuch der Illuminationsnormalisierung, um diese Effekte zu reduzieren, kann in einem Ausführungsbeispiel wie folgt durchgeführt werden:

1. Durchführen einer Tiefpaßfilterung mit einem großen Kern (z. B. 10 – 20 Pixel). Das Ergebnis repräsentiert die Illuminationsvariation Ilum. Standardmethoden, die dem Fachmann bekannt sind, können angewendet werden, um die Tiefpaßfilterung durchzuführen.
2. Korrigieren jedes Pixels gemäß der Beziehung: Im(x,y) = alpha·(Im(x,y)/Ilum(x,y)) + (1 – alpha)·(Im(x,y) – Ilum(x,y))Der Parameter alpha steuert das Gewicht der multiplikativen/additiven Korrektur und variiert mit der Position in dem Bild. Genauer gesagt hängt der Wert alpha von der Intensität von Pixeln in Im(x,y) gemäß einer vordefinierten Funktion ab. Typischerweise wird er für dunkle Pixel näher an 1 gewählt, während er für Pixel, die nahe der Sättigung liegen, näher an 0 gewählt wird. Sowohl additive als auch multiplikative Bildkorrekturverfahren sind im Stand der Technik bekannt. Die Kombination der beiden Modelle ist also für den Fachmann nicht schwierig. Details können in jedem Bildverarbeitungshandbuch gefunden werden, beispielsweise in: Anil K. Jain, Fundamentals of Digital Image Processsing, Prentice Hall 1988. (Beachte: Der Einfachheit halber sind bei den gegebenen Gleichungen bestimmte feste Offset-/Skalierungsfaktoren weggelassen, die verwendet werden, um die multiplikativen/additiven Bilder vergleichbar zu machen).

Es sollte festgehalten werden, daß die obige Tiefpaßfilterung eine Ringbildung in der Umgebung des OCT-Strahlspots erzeugt, da die Illumination in diesen Gebieten sehr abrupt variiert.
Die Behandlung von saturierten Pixeln erfordert daher einen unterschiedlichen Kompensation- (oder „Korrektur"-)Ansatz. In einem Ausführungsbeispiel können die Saturationseffekte mit einem Verfahren behandelt werden, das die folgenden Schritte aufweist:

1. Die OCT-Spotspur wird zunächst identifiziert durch Anwenden eines Bildschwellwertes, um die sehr hellen Pixel zu detektieren.
2. Das Binärbild wird „verwaschen" (blurred) mit einem Kern, der identisch demjenigen ist, der bei der Illuminationsnormalisierung verwendet wurde. Alle Pixel, die in diesem Maskenbild nicht Null sind, repräsentieren ungültige Pixel (entsprechen gesättigten Pixeln). Das „Verwaschen" berücksichtigt, daß die Schwellwertbildung einige Pixel an den Kanten der saturierten Gebiete „übersehen" kann, die tatsächlich auch als eine Kompensation bedürfend angesehen werden sollten. Für das „Verwaschen" kann jedes Standard-„Blurring-Verfahren", das Fachleuten auf dem Gebiet der Bildverarbeitung bekannt ist, verwendet werden.
3. Der Gesamtsatz von illuminationsnormalisierten Bildern wird über die Zeit gemittelt, wobei aufgepaßt wird, daß ungültige Pixel ignoriert werden. Die ungültigen Pixel werden auf andere Weise wie nachfolgend beschrieben behandelt.
4. Jedes Bild wird in den ungültigen Pixeln wiederhergestellt als alpha-Mischung (alpha-blending) zwischen Bild und dem Mittelwertbild. Der alpha-Faktor wird repräsentiert durch das Maskenbild, das während des Illuminationsnormalisierungsprozesses berechnet wurde.

Nach der Illuminationsnormalisierung ist die Vorverarbeitung gemäß einem Ausführungsbeispiel vollständig, und das Verfahren kann nun mit der Ausrichtung des anfänglichen Satzes oder Untersatzes von Bildern beginnen, die vorverarbeitet wurden.
Direkte Bild-zu-Bild-Ausrichtung ist bei Bildern mit niedrigem Signal-Rausch-Verhältnis schwierig. Gemäß einem Ausführungsbeispiel der Erfindung kann daher ein qualitätsverbessertes Referenzbild erhalten werden, das dann für die Augenpositionsbestimmung verwendet wird. Dies verbessert das Signal-Rausch-Verhältnis und erzielt eine bessere Genauigkeit.
Im Detail wird gemäß einem Ausführungsbeispiel die Ausrichtung des anfänglichen Satzes zum Erhalten des qualitätsverbesserten Referenzbildes zur Verbesserung des Signal-Rausch-Verhältnisses wie folgt durchgeführt. Zunächst wird ein großer Satz von Messungen, die redundant sind, durchgeführt und es wird fortgeschritten mit der Lösung eines über bestimmten (??) Systems von Gleichungen. Seien n Bilder gegeben, so würde ein salcher Ansatz es erfordern, die Verschiebung zwischen jedem Paar von Bildern (1, 2) (1, 3)..(1, n), (2, 3), (2, 4)..(2, n).. (n – 1, n) zu berechnen. Dies führt zu n(n + 1)/2 Bildpaarvergleichen, um die Verschiebungen der individuellen Bilder zu ermitteln, welche dann ausgerichtet und addiert oder gemittelt werden können. Allerdings handelt es sich dabei, was die erforderliche Zeit zur Berechnung anbetrifft, um eine Art von „brute force"-Methode, die zwar im Prinzip arbeitet, aber die – gemäß weiterer Ausführungsbeispiele – durch effizientere Kalkulationsverfahren ersetzt werden kann.
Beispielsweise kann angemerkt werden, daß im Falle von linearen Operatoren (wie etwas der Korrelationsfamilie) die Ordnung von Operationen invertiert werden kann, man kann nämlich zuerst k Bilder addieren und dann die Verschiebung berechnen, anstelle der Berechnung von k Verschiebungen und dann dem Aufaddieren der Ergebnisse. Dieser Ansatz arbeitet so lange die k Bilder nicht bezüglich zueinander sich bewegen.
Augenbewegungsforschung führt jedoch zu den folgenden Fakten:

– Bewegung während kurzer Fixationen sind gering
– Fixationsdauern sind zumindest 100 ms
– Sakkaden/Zwinkern während Fixationen sind kleiner als 30 ms
– Sakkaden/Zwinkern während Fixationen haben niedrige Frequenz < 3/sec

Basierend darauf kann ein Ausführungsbeispiel wie folgt arbeiten:

1. Teile einen anfänglichen Satz von 32 Bildern in 4 Untersätze von 8 Bildern. Jeder Untersatz repräsentiert eine Zeitspanne von 128 ms.
2. Mittle jeden Untersatz, um ein Mittelbild von Untersatz zu erhalten.
3. Messe die Verschiebung eines Bildes bezüglich der 3 Mittelbilder der Untersätze, zu denen es nicht gehört.
4. Nehme den Median der 3 Messungen als tatsächliche Verschiebung
5. Basierend auf den Ergebnissen, verschiebe jedes Bild so, daß der Satz nun ausgerichtet ist, und ermittle dann alle 32 Bilder, um das endgültige qualitätsverbesserte Referenzbild zu erhalten.

Die genauen Zahlen in dem vorhergehenden Beispiel sollen als lediglich informative Beispiele verstanden werden, das Verfahren kann auf jede Anzahl von Bildern/Untersätzen etc. angewendet werden.
Nachdem das qualitätsverbessere Referenzbild wie vorher beschrieben erhalten wurde, kann dieses Referenzbild verwendet werden, um die Augenposition oder Augenbewegung zu bestimmen oder Augenverfolgung durchzuführen. Ein Beispiel der Verwendung des qualitätsverbesserten Bildes wäre in Verbindung mit einer chirurgischen/diagnostischen Vorrichtung, welche eine Rückkopplung für die Kompensation der Bewegung des Auges benötigt, typischerweise in Echtzeit. Der Betrieb eines solchen Systems ist schematisch durch das Flußdiagramm aus 3 illustriert.
In Operation 300 wird ein Echtzeitbild des Auges (oder eines Teils davon oder einiger seiner Teile) erhalten, z. B. durch Verwendung eines schematisch in 1 gezeigten Systems. Das damit erhaltene Bild wird dann in Operation 310 mit dem qualitätsverbesserten Referenzbild verglichen, z. B. unter Verwendung eines Standardverfahrens, um die Bewegung oder die Verschiebung zwischen den Bildern zu bestimmen. Solche Verfahren für die Bewegungsabschätzung sind dem Fachmann wohl bekannt und werden daher hier nicht weiter im Detail beschrieben.
In Operation 320 wird dann die tatsächliche Verschiebung bestimmt, und zwar unter Verwendung der Bewegungsabschätzungsmethode, die in Operation 310 angewendet wurde. Dies führt dann zu der tatsächlichen Position (oder der Verschiebung des Referenzbildes) des Bildes, das in Operation 300 aufgenommen wurde. Basierend auf der Verschiebung wird in Operation 330 dann ein Kompensationsrückkopplungswert bestimmt, dieser kann z. B. ein Signal sein, das verwendet wird, um die chirurgische/diagnostische Vorrichtung zu steuern oder deren Komponenten, so daß die Augenbewegung kompensiert wird. In Operation 340 wird dann basierend auf dieser Rückkopplung die tatsächliche Kompensation in der chirurgischen/diagnostischen Vorrichtung durchgeführt. Danach kann die Prozedur durch Erhalten des nächsten Bildes fortgesetzt werden, indem zu Operation 300 zurückgekehrt wird.
Bildsequenzausrichtung (oder Positionsmessung) unterscheidet sich von Bildsatzausrichtung durch die Tatsache, daß die Bilddaten in einer temporalen Sequenz anstelle von simultan vorliegen. Das bedeutet, daß die Ausrichtung eines Bildes nur mit der Information durchgeführt werden kann, die bis zum Zeitpunkt der Messung vorliegt. Sequenzausrichtung ist die Basis jedes Echtzeit-Videotrackings.
Das Sequenzausrichtungsverfahren des vorliegenden Ausführungsbeispiels verwendet das wie vorher beschriebene qualitätsverbesserte Referenzbild. Gemäß einem besonderen Ausführungsbeispiel wird das qualitätsverbesserte Referenzbild bei der Sequenzausrichtung oder der Echtzeit-Positionsbestimmung für einen der folgenden Zwecke verwendet:

1. Für OCT-Spot-Wiederherstellung. Ähnlich dem OCT-Spot-Wiederherstellungsverfahren, das vorher in Verbindung mit der Ausrichtung des anfänglichen Satzes von Bildern beschrieben wurde, kann die OCT-Wiederherstellung auch für die Echtzeitbilder, die während eines OCT-Scans erhalten werden, durchgeführt werden. Die saturierten Pixel werden dann durch Pixelwerte ersetzt, die auf den Werten des qualitätsverbesserten Referenzbildes für diese Pixel basieren.
2. Zum Erhalten eines spektral angepaßten Filters, das die retinalen Spektrumkomponenten mit dem höchsten Signal-Rauschverhältnis auswählt. Basierend auf dem qualitätsverbesserten Referenzbild kann eine Analyse durchgeführt werden, welche Spektralkomponenten das höchste Signal-Rauschverhältnis aufweisen. Diese Spektralkomponenten können dann auch für die tatsächliche Sequenzausrichtung während der Echtzeit Datenaquisition verwendet werden.
3. Für die Detektion nützlicher Landmarks wie etwa Retina-Adern, optische Nerven, Makularen Exsudaten. Die damit detektierten Charakteristika (Landmarks), die in dem qualitätsverbesserten Bild entweder manuell oder automatisch detektiert wurden, können dann während der Sequenzausrichtung für die Positionsbestimmung verwendet werden.
4. Zum Durchführen von Abgleich-Techniken (matching techniques) (wie beispielsweise Fadenkorrelation, Kreuzkorrelation, Entropiemaximierung etc.) zwischen Referenzbild und dem gemessenen Bild. Diese Verfahren ergeben dann tatsächlich die Verschiebung, welche dann verwendet werden kann, um ein Kompensationsfeedback an die diagnostische oder chirurgische Vorrichtung zu erzeugen. Die Matching-Techniken können global auf der Ebene des gesamten Bildes oder lokal auf der Ebene von Landmarks wie in Schritt 3 detektiert sein.

In allen genannten Punkten vergrößert die höhere Qualität des qualitätsverbesserten Referenzbildes die Leistungsfähigkeit gegenüber der Verwendung irgendeines beliebigen Bildes der Sequenz.
Ein spezifisches Ausführungsbeispiel zum Bestimmen der Position des Auges wird nun nachfolgend beschrieben. Grundsätzlich umfaßt das Verfahren zwei Hauptelemente, ein erstes besteht in der Bewegungsabschätzung auf einer globalen Ebene, und das Ergebnis dieser globalen Bewegungsabschätzung wird verfeinert unter Verwendung einer lokalen Bewegungsabschätzung, indem eine oder mehrere Charakteristika (Landmarks), die in dem Referenzbild detektiert wurden, verwendet wurden. Dies ist schematisch in 4 illustriert, wo Operation 400 eine globale Bewegungsabschätzung basierend auf dem gesamten tatsächlichen Bild und dem gesamten Referenzbild zeigt. Die resultierende Abschätzung leidet unter Ungenauigkeiten, die resultieren können aus mehrfachen Bewegungen oder aus Okklusionen/Sättigungseffekten aufgrund des OCT-Strahls. Diese Abschätzung wird dann in Operation 410 durch die lokale Bewegungsabschätzung verfeinert, welche auf einer oder mehreren Landmarks basieren kann, die in dem qualitätsverbesserten Referenzbild ausgewählt wurden.
Dies kann etwas genauer im Detail wie folgt beschrieben werden.

1. Eine Abschätzung auf globaler Ebene wird durchgeführt unter Verwendung der gesamten verfügbaren Information. Diese Abschätzung wird durch angepaßte Phasenkorrelation (matched phase correlation) durchgeführt. Angepaßte Phasenkorrelation ist ein Verfahren zur Bewegungsabschätzung und dem Fachmann wohl bekannt. Es erzeugt einen Satz von Peaks an Positionen, die möglichen Verschiebungen und dem Referenzbild entsprechen. Die globale Abschätzung liefert einen kleinen Satz von möglichen Orten der Retina (1 bis 5 Orten), die jeweiligen möglichen Augenbewegungen entsprechen. Der globale Schritt liefert Robustheit gegen Illuminationsveränderungen, Rauschen etc.
2. Dann wird eine Abschätzung auf lokaler Ebene durchgeführt, und zwar unter Verwendung eines Satzes von Landmarks, die in dem Referenzbild detektiert wurden. Dies hilft zu entscheiden, welche der Ortskandidaten, die in Schritt 1 geliefert wurden, der korrekte ist. Die lokale Abschätzung liefert die Flexibilität zur Anpassung an Objektokklusionen und Mehrfachbewegungen, die der globale Schritt nicht auflösen kann.

Nachfolgend wird ein weiteres Ausführungsbeispiel der vorliegenden Erfindung beschrieben, das sich auf eine OCT-Vorrichtung bezieht, welche ein OCT-Bild der Retina liefert. Diese Vorrichtung verwendet einen Retina-Tracker, welcher Echtzeit- Informationen über die x/y-Verschiebungen der Retina relativ zum Referenzbild liefert. Das OCT-Scansystem paßt das Scanmuster so an, daß die Veränderungen in der Retinaposition berücksichtigt werden, so daß der Scanpfad der beabsichtigten Trajektorie folgt.
Die standardmäßigen videobasierten Augenverfolger (<= 60 Hz) sind jedoch zu langsam, um korrekt die schnellen Bewegungen der Retina zu kompensieren, die typisch für Sakkaden (ruckartiges Anhalten) sind. Auch kann eine retinale Verfolgung zeitweise unverfügbar sein, beispielsweise wegen Zwinkern, großen Pupillenokklusionen etc. Um diese Effekte zu berücksichtigen und zu kompensieren, werden in diesem Ausführungsbeispiel die nachfolgenden zwei Methoden durchgeführt.

I. Die diagnostische/chirurgische Vorrichtung, und in einem besonderen Ausführungsbeispiel der OCT-Scan Beam werden auf HALT gesetzt, wenn eine Anomalie in der für die Verfolgung verwendeten Bildsequenz detektiert wird. Das retinale Verfolgungssystem detektiert Anomalien bei der Verfolgung wie etwa ruckartiges Anhalten, Zwinkern, etc. (siehe Operation 500 in 5). Dies kann unter Anwendung bestimmter geeigneter Kriteria durchgeführt werden. So kann ein plötzlicher Verlust in der Bildqualität (ein Verringern eines Qualitätsfaktors oder einen bestimmten Schwellwert) ein Zwinkern repräsentieren. Weiter kann ein Verwaschen des Bildes in Verbindung mit einer schnellen Bewegung als repräsentativ für ein ruckartiges Anhalten angesehen werden. Unter Verwendung dieser Art von Kriterien kann bestimmt werden, ob eine Anomalie aufgetreten ist, welche die Leitungsfähigkeit der Verfolgung und/oder die Leistungsfähigkeit des chirurgischen/diagnostischen Geräts beeinflussen könnte. In unserem spezifischen Ausführungsbeispiel ist die Vorrichtung eine OCT-Vorrichtung, und falls eine Anomalie detektiert wird, so liefert in Operation 510 das retinale Verfolgungssystem ein HALT-Signal an das OCT-Scansystem. Wenn das HALT-Signal aktiv ist (solange Operation 520 in 5 nicht zu einer positiven Antwort führt), stoppt das OCT-Scansystem das Scanmusterprogramm. Wenn in Operation 520 bestimmt wird, daß die Anomalie nicht mehr vorhanden ist, dann wird das HALT-Signal inaktiv und der Scan wird fortgeführt. Auf diese Weise können Übergangsabschnitte vermieden werden, solange sie durch das retinale Verfolgungssystem detektiert werden.
II. Eine weitere Operation kann zusätzlich oder alternativ ausgeführt werden. Im vorliegenden Ausführungsbeispiel wird sie zusätzlich ausgeführt, und zwar bevor das System alle unter I. beschriebenen Teile ausführt. Zusätzlich können basierend auf weiteren Daten, die durch das retinale Verfolgungssystem und möglicherweise durch die OCT-Scan-Daten erhalten wurden, beispielsweise die zukünftige Trajektorie der Retina, bestimmte Scanabschnitte retrospektiv als ungültig angesehen werden. Die Invalidation wird dabei hauptsächlich in zwei Situationen auftreten: a) die Erkennung eines ruckartigen Anhaltens (Sakkade) erlaubt die Eliminierung der Samples von dem Start der Sakkade, die durch das erste Verfahren nicht eliminiert werden konnten. Die Sakkaden werden detektiert mittels retinaler Geschwindigkeit als eine Sequenz von 3 bis 5 Hochgeschwindigkeitssamples. Durch Fitten einer vordefinierten parametrisierten Funktion (wie etwa Sigmoid oder Polynominal) an die Datensamples kann ein präziserer Start/präziseres Ende der Sakkade erhalten werden. b) eine Detektion zufälliger Verfolgungsfehler, die als Unterbrechung der Trajektorie der Retina erscheinen. Diese Ausreißer-Messungen werden detektiert durch statistische Filterung. Im Pinzip bedeutet dies die Auswertung der Wahrscheinlichkeit, daß ein bestimmter Positionswert in einem gegebenen Trajektorienkontext auftaucht. Die Wahrscheinlichkeiten werden off-line berechnet basierend auf einem großen Datensatz von üblicher Augendynamik. Die Messungen mit niedriger Wahrscheinlichkeit von üblicher Augendynamik. Die Messungen mit niedriger Wahrscheinlichkeit werden verworfen.

Das OCT-Scansystem programmiert dann erneut die erneute Aufnahme der ungülten Teile in einem zweiten Lauf. Ein dritter Lauf und weitere Läufe können durchgeführt werden, bis das gewünschte Resultat erzielt ist. Dieses Verfahren kann eine größere Robustheit liefern, da die Entscheidung, ob das Scannen inadäquat war, auf mehr Daten basiert.
Nachfolgend wird ein weiteres Ausführungsbeispiel der vorliegenden Erfindung beschrieben, wobei die Erfindung in einer OCT-Vorrichtung für retinale Bildgebung verwendet wird. Die Diagnose einer retinalen Erkrankung erfordert üblicherweise die Überwachung von Veränderungen in der Retina über einen bestimmten Zeitraum. Dies impliziert, daß mehrere OCT-Scans durchgeführt werden müssen, und zwar unterschiedlichen Intervallen bei dem gleichen Patienten am gleichen Ort der Retina.
Um signifikante Veränderungen zuverlässig überwachen zu können, ist es von hoher Wichtigkeit, sicherstellen zu können, daß unterschiedliche Scansessions an dem gleichen Ort der Retina durchgeführt werden. Die momentanen Inter-Sessions-Ausrichtungsverfahren sind sehr ungenau, da die niedrige Qualität des Infrarot-Augenhintergrund-Videos es dem Arzt nicht erlaubt, präzise Anpassungen der Scanplatzierung durchzuführen. Die Fähigkeit zum rot-freien Schnappschuß (redfree image snapshot capability) kann nicht vor der Diagnose – lediglich nach der Diagnose – verwendet werden, da das helle grüne Licht die Pupille einengt. Es ist jedoch wünschenswert, das OCT-System vor dem Scan ordentlich auszurichten, und für diesen Zweck kann das rot-freie Bild wegen dessen Effekten auf die Pupille, die die nachfolgende diagnostische Messung stören würden, nicht verwendet werden. Das qualitätsverbesserte Referenzbild jedoch liefert ausreichend visuelle Qualität, um entweder manuell oder automatisch verwendet zu werden, um die Ausrichtung des Scans bezüglich eines anderen chirurgischen Eingriffs durchzuführen.
Gemäß einem Ausführungsbeispiel ist das System in der Lage, die folgenden automatischen Ausrichtungen auszuführen:

1. Qualitätsverbessertes ER-zu-Qualitätsverbessertes ER
2. Qualitätsverbessertes ER-zu-rotfrei

Die gleichen Typen von Ausrichtungen können manuell von dem Arzt ausgeführt werden, dem ein Softwaretool zur Verfügung gestellt wird, das freie Anpassungen eines qualitätsverbesserten ER-Bildes erlaubt, um unterschiedliche Merkmale (Retina-Blutadern, optische Nervenköpfe, Exudate etc.) zu „highlighten". Im Falle der automatischen Ausrichtung wird irgendein Bewegungsabschätzungsalgorithmus verwendet und basierend auf seinen Resultaten wird dann die Ausrichtung ausgeführt. Die Verwendung des qualitätsverbesserten Referenzbildes führt zu folgenden Vorteilen:

– es kann im Gegensatz zu dem rot-freien Bild vor dem Start des Scannens verwendet werden
– es bietet die erforderliche visuelle Qualität, die es dem Operator erlaubt, die Ausrichtung durchzuführen und zu validieren
– es erlaubt robuste Ausrichtung mit qualitätsverbesserten ER-Bildern oder rot-frei-Bildern von anderen Sessions

Nachfolgend wird ein weiteres Ausführungsbeispiel der Erfindung beschrieben, das die Verbesserung der Qualität eines Video-Bildstroms betrifft. Der Roh-Videostrom hat ein schlechtes Signal-Rausch-Verhältnis, das typische Korrekturen wie etwa Helligkeits-Kontrast-Anpassungen ineffektiv macht.
Das vorliegende Ausführungsbeispiel verwendet die Verfolgungsinformation, um das Signal-Rausch-Verhältnis jedes Videobildes zu verbessern. Nachfolgend können andere Qualitätsverbesserungstechniken (Helligkeits/Kontrast-Anpassung, Schärfung, Schattenkorrektur, etc.) angewendet werden, um eine qualitätsverbesserte Anzeige in Echtzeit zu liefern. Das Verfahren besteht aus den folgenden Schritten:
Für jedes Bild in dem Videostream

1. Nehme die letzten N Bilder (N = 10 – 25) und richte sie bezüglich des momentanen Bildes aus, basierend auf der Verfolgungsinformation. Die Ausrichtung wird hier durchgeführt, indem Bilder in x- und y-Koordinaten verschoben werden. Andere Typen von Ausrichtung wie etwa Rotation oder Skalierung oder Kombination von beiden kann ebenfalls falls erforderlich verwendet werden.
2. Ersetze jeden Pixelwert in der Bildanzeige durch den Mittelwert (oder das gewichtete Mittel) der Pixelwerte in den letzten N ausgerichteten Bildern. Die obigen zwei Schritte können durch die folgende Beziehung ausgedrückt werden: Displn(x, y) = Imn(x, y) + Imn-1(x – dxn-1, y – dyn-1) + .. Imn-N(x – dxn-N, y –dyn-N),Dabei ist n das n-te Bild des Videostreams, dx'/dy' representieren die Verschiebung in x/y-Richtung des Bildes i bezüglich des Bildes n.
3. Wende die gewünschten Qualitätsverbesserungstechniken auf Bild Displ an und sende es an den Display-Output.

Mit der oben beschriebenen Methode kann die Qualität jedes individuellen Videobildes verbessert werden und damit kann die Qualität des gesamten Videostreams verbessert werden.
Der Fachmann versteht, daß die Verfahren, Vorrichtungen und Systeme gemäß den Ausführungsbeispielen der Erfindung wie vor beschrieben implementiert werden können durch eine Konfiguration, welche eine Standardvideokamera und einen Standardcomputer wie schematisch illustriert in 1 umfassen. Der Computer kann mit irgendeiner Standardsoftware für die Videoaufnahme versehen sein, und soweit die vorhergehende Beschreibung und die Ansprüche sich auf Module oder Komponenten zur Implementierung der Erfindung beziehen versteht der Fachmann, daß sie entweder in Hardware oder in Software in Verbindung mit der Basiskonfiguration aus 1 implementiert werden können. Abgesehen von Video-Augenverfolgungssystemen kann die Erfindung angewendet werden auf jedes Augenverfolgungssystem, das Augenpositionsdaten ausgibt. Basierend auf der vorhergehenden Beschreibung wird der Fachmann in der Lage sein, das in 1 gezeigte System durch geeignete Programmierung des Computers und seiner Komponenten so anzupassen, daß sie die Funktionen ausführen, die in Verbindung mit den Ausführungsbeispielen der Erfindung beschrieben wurden.
Es wird ferner verstanden, daß die vorhergehenden Ausführungsbeispiele als lediglich exemplarische Ausführungsbeispiele verstanden werden sollen, und daß Modifikationen dieser Ausführungsbeispiele für den Fachmann möglich sind und daher als im Rahmen des Umfangs der Erfindung liegend verstanden werden sollen. So kann z. B. eine OCT-Vorrichtung der Erfindung für irgendeine chirurgische oder diagnostische Vorrichtung verwendet werden. Ferner kann abgesehen von dem Gebiet der chirurgischen und diagnostischen Vorrichtungen die vorliegende Erfindung angewendet werden auf dem Gebiet der Augenverfolgung und allgemein in Augenverfolgungsvorrichtungen.

Claims

Augenverfolgungsverfahren zum Bestimmen der Position eines Auges oder eines Teils eines Auges in einem Bild einer Bildsequenz durch Durchführen eines Vergleichs zwischen dem Bild und einem Referenzbild, wobei das Verfahren einschließt: Ausrichten eines Satzes von Bildern; Berechnen eines qualitätsverbesserten Referenzbildes basierend auf einer Kombination des Satzes von ausgerichteten Bildern; und Bestimmen der Position in dem Bild der Bildsequenz durch Vergleich des Bildes der Bildsequenz und des qualitätsverbesserten Referenzbildes, um eine Bewegungsabschätzung zwischen dem Referenzbild und dem Bild der Bildsequenz zu erhalten.
Verfahren nach Anspruch 1, welches ferner aufweist: Ausrichten des Satzes von Bildern, welche vor der Bildsequenz aufgenommen wurden, auf die gleiche Retinaposition; Kombinieren des ausgerichteten Satzes von Bildern durch Mittelbildung des ausgerichteten Satzes von Bildern, um das qualitätsverbessernde Referenzbild zu generieren.
Verfahren nach Anspruch 1 oder 2, welches ferner aufweist: Verwenden der Retinaposition, die in der Bildsequenz bestimmt wurde, für die Verfolgung und/oder Positionskompensation in Verbindung mit einer diagnostischen und/oder chirurgischen Vorrichtung.
Verfahren nach Anspruch 3, wobei die chirurgische und/oder diagnostische Vorrichtung eines der folgenden ist: eine OCT-Vorrichtung; eine refraktive chirurgische Vorrichtung.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner eines oder mehrere der folgenden aufweist: Durchführen einer OCT-Spotspur-Wiederherstellung, um eine gesättigte OCT-Spotspur aus einem Bild in der Sequenz zu eliminieren, indem das saturierte Gebiet durch eine Interpolation oder eine mittlere Intensität in einem entsprechenden Gebiet unsaturierter Bilder ersetzt wird; Kompensieren von Illuminationsvariationen unter Verwendung eines oder mehrerer geeigneter Filter.
Verfahren nach einem der vorhergehenden Ansprüche, welches eines oder mehrere der folgenden aufweist: Durchführen einer globalen Bewegungsabschätzung zwischen dem Referenzbild und dem Bild der Bildsequenz; Durchführen einer Bewegungsabschätzung basierend auf Teilen oder Landmarks des Referenzbildes und des Bildes der Bildsequenz.
Verfahren nach Anspruch 6, wobei die globale Bewegungsabschätzung verfeinert wird durch die Bewegungsabschätzung basierend auf Teilen oder Landmarks.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das qualitätsverbessernde Referenzbild verwendet wird für eines oder mehrere der folgenden: OCT-Spot-Wiederherstellung; Erhalten eines spektral angepaßten Filters zum Auswählen von einer oder mehreren Retina-Spektrumkomponenten, welche das höchste Signal-Rausch-Verhältnis aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner aufweist: Ausrichten von Bildsequenzen, die zu unterschiedlichen Zeitdauern aufgenommen wurden, durch Ausrichten eines qualitätsverbesserten Referenzbildes, welches einer der Sequenzen entspricht, mit einem Referenzbild oder einem qualitätsverbesserten Referenzbild, welches der zweiten Sequenz entspricht.
Verfahren nach Anspruch 9, wobei das Referenzbild, welches der zweiten Sequenz entspricht, ein rot-freies Bild ist.
Verfahren zur Qualitätsverbesserung der Videoanzeige eines Bildes oder eines Auges oder eines Teils eines Auges, wobei das Verfahren aufweist: Ausrichten einer Sequenz von Bildern, welche einem momentanten Bild des Videostreams vorausgehen, in Bezug auf das momentane Bild; Kombinieren des resultierenden ausgerichteten Satzes von Bildern in ein qualitätsverbessertes Bild, welches als Basis für ein qualitätsverbessertes momentanes Bild des Videostroms verwendet wird.
Verfahren nach Anspruch 11, wobei für jedes momentane Bild des Videostroms die Anzeige auf dem qualitätsverbesserten Bild basiert, welches aus einer Kombination von ausgerichteten Bildern resultiert, die dem momentanen Bild vorausgehen.
Verfahren nach Anspruch 10, 11 oder 12, welches ferner aufweist: Ausrichten der Bilder der vorhergehenden Sequenz basierend auf Augenverfolgungsinformationen.
Verfahren nach Anspruch 13, wobei die Verfolungsinformation erhalten wird basierend auf einem qualitätsverbesserten Referenzbild wie in einem der Ansprüche 1 bis 10 definiert.
Verfahren zum Betrieb einer diagnostischen oder chirurgischen Vorrichtung basierend auf Augenverfolgung, wobei das Verfahren aufweist: Bestimmen, ob eine Anomalie während der Augenverfolung detektiert wird; falls eine Anomalie während der Augenverfolung detektiert wird, Versetzen der diagnostischen oder chirurgischen Vorrichtung in einen HALT-Modus und/oder erneutes Durchführen des Betriebs der diagnostischen oder chirurgischen Vorrichtung für diejenigen Teile des Auges, bei denen eine Anomalie detektiert wurde.
Verfahren nach Anspruch 15, wobei die Anomalie eines oder mehrere der folgenden sind: eine Veränderung in der Bildqualität jenseits eines bestimmten Schwellwerts; eine schnelle Bewegung des Auges, deren Geschwindigkeit jenseits eines bestimmten Schwellwerts liegt; ein Verwaschen des Bildes, das für die Augenverfolgung verwendet wird; ein Verwaschen des Bildes, das für die Augenverfolgung verwendet wird, in Verbindung mit einer schnellen Bewegung; eine kumulierte Differenz zwischen aufeinander folgenden Tracking-Bildern liegt jenseits eines bestimmten Schwellwerts; ein Tracking-Fehler, der basierend auf einem oder mehreren Bildern detektiert wurde, wird als statistischer Ausreißer angesehen; eine Sequenz von Bildern mit einer Retinabewegung von hoher Geschwindigkeit; ein Bildsequenzmuster, das ein ruckartiges Anhalten repräsentiert; ein Bildsequenzmuster, welches ein Zwinkern repräsentiert.
Verfahren nach Anspruch 15 oder 16, wobei die Bestimmung, ob eine Anomalie detektiert wurde, in Echtzeit ausgeführt wird, und falls eine Anomalie detektiert wurde, die diagnostische oder chirurgische Vorrichtung in einen HALT-Modus versetzt wird.
Verfahren nach Anspruch 15, 16 oder 17, wobei die Anomalie während der Augenverfolgung basiert auf der retrospektiven Evaluierung von Bildern, welche während der Augenverfolgung erhalten wurden, um Anomalien zu identifizieren, wobei das Verfahren ferner aufweist: Erneutes Durchführen des Betriebs der chirurgischen oder diagnostischen Vorrichtung an den Orten, an denen Anomalien festgestellt wurden.
Verfahren nach Anspruch 18, wobei die retrospektive Evaluierung aufweist: Vergleichen der Bildsequenzen, die während des Betriebs der chirurgischen oder diagnostischen Vorrichtung erhalten wurden, mit Bewegungsmustern, welche übliche Augenbewegungen repräsentieren, um die Anomalien zu detektieren.
Augenverfolgungssystem zum Bestimmen einer Position eines Auges oder eines Teils eines Auges in einem Bild einer Bildsequenz durch Durchführen eines Vergleichs zwischen dem Bild und einem Referenzbild, wobei das Verfahren einschließt: ein Modul zum Ausrichten eines Satzes von Bildern; ein Modul zum Berechnen eines qualitätsverbesserten Referenzbilds basierend auf einer Kombination des Satzes der ausgerichteten Bilder; und ein Modul zum Bestimmen der Position in dem Bild der Bildsequenz durch Vergleichen des Bild der Bildsequenz und des qualitätsverbesserten Referenzbilds, um eine Bewegungsabschätzung zwischen dem qualitätsverbesserten Referenzbild und dem Bild der Bildsequenz zu erhalten.
System nach Anspruch 20, welches ferner aufweist: ein Modul zum Ausrichten eines Satzes von Bildern, welche vor der Bildsequenz aufgenommen wurden, zu derselben Retinaposition; ein Modul zum Kombinieren des ausgerichteten Satzes von Bildern durch Mittelung des ausgerichteten Satzes von Bildern, um das qualitätsverbesserte Referenzbild zu erzeugen.
System nach Anspruch 20 oder 21, welches ferner aufweist: ein Modul zum Verwenden der in der Bildsequenz ermittelten Retinaposition für die Verfolgung und/oder die Positionskompensation in Verbindung mit einer diagnostischen oder chirurgischen Vorrichtung.
System nach Anspruch 21, wobei die diagnostische und/oder chirurgische Vorrichtung eines der folgenden ist: eine OCT-Vorrichtung; eine refraktive chirurgische Vorrichtung
System nach einem der Ansprüche 21 bis 23 welches ferner ein oder mehrere der folgenden aufweist: ein Modul zum Durchführen einer OCT-Spotspur-Wiederherstellung, um eine gesättigte OCT-Spotspur aus einem Bild in der Bildsequenz zu eliminieren, indem das gesättigte Gebiet durch eine Interpolation oder eine gemittelte Intensität in einem entsprechenden Gebiet von ungesättigten Bildern ersetzt wird; ein Modul zum Kompensieren von Illuminationsvariationen unter Verwendung eines oder mehrerer geeigneter Filter.
System nach einem der Ansprüche 21 bis 24 welches ferner ein oder mehrere der folgenden aufweist: ein Modul zum Durchführen einer globalen Bewegungsabschätzung zwischen dem Referenzbild und dem Bild der Bildsequenz; ein Modul zum Durchführen einer Bewegungsabschätzung basierend auf Teilen oder Landmarks des Referenzbilds und des Bilds der Bildsequenz.
System nach Anspruch 25, wobei die globale Bewegungsabschätzung verfeinert wird durch die Bewegungsabschätzung basierend auf Teilen oder Landmarks.
System nach einem der Ansprüche 20 bis 26, wobei das qualitätsverbesserte Referenzbild für eines oder mehrere der folgenden verwendet wird: OCT-Spot-Wiederherstellung; Erhalten eines spektral angepaßten Filters zum Auswählen einer oder mehrere Retina-Spektrumkomponenten, welche das höchste Signal-Rauschverhältnis aufweisen.
System nach einem der Ansprüche 20 bis 27, welches ferner aufweist: ein Modul zum Ausrichten von Bildsequenzen, die zu unterschiedlichen Zeitdauern aufgenommen wurden, indem ein qualitätsverbessertes Referenzbild, welches einer der Sequenzen entspricht, mit einem Referenzbild und einem qualitätsverbesserten Referenzbild, welches der zweiten Sequenz entspricht, ausgerichtet wird.
System nach Anspruch 28, wobei das Referenzbild, das der zweiten Sequenz entspricht, ein rot-freies Bild ist.
Vorrichtung zum Verbessern der Videoanzeige eines Bildes eines Auges oder eines Teils eines Auges, wobei die Vorrichtung aufweist: ein Modul zum Ausrichten einer Sequenz von Bildern, welche einem momentanten Bild des Videostroms vorausgehen, bezüglich des momentanen Bildes; ein Modul zum Kombinieren des resultierenden ausgerichteten Satzes von Bildern in ein qualitätsverbessertes Referenzbild, das verwendet wird als Basis für ein qualitätsverbessertes momentanes Bild des Videostroms.
Vorrichtung nach Anspruch 30, wobei für jedes Videobild des Videostroms die Anzeige basiert auf dem qualitätsverbesserten Referenzbild, welches resultiert aus einer Kombination von ausgerichteten Bildern, die dem momentanen Bild vorausgehen.
Vorrichtung nach Anspruch 30 oder 31, welche ferner aufweist: ein Modul zum Ausrichten der Bilder der vorhergehenden Sequenz basierend auf Augenverfolgungsinformationen.
Vorrichtung nach Anspruch 32, wobei die Verfolgungsinformationen erhalten werden basierend auf einem qualitätsverbesserten Referenzbild wie in einem der Ansprüche 20 bis 29 definiert.
Vorrichtung zur Verwendung in Verbindung mit einer diagnostischen oder chirurgischen Vorrichtung, welche basierend auf Augenverfolgung arbeitet, wobei die Vorrichtung aufweist: ein Modul zum Bestimmen, ob eine Anomalie während der Augenverfolgung detektiert wurde; und ein Modul, um falls eine Anomalie während der Augenverfolgung detektiert wurde, die diagnostische oder chirurgische Vorrichtung in einen HALT-Modus zu setzen und/oder ein Modul zum erneuten Ausführen des Betriebs der die diagnostischen oder chirurgischen Vorrichtung für diejenigen Teile des Auges, für die eine Anomalie detektiert wurde.
Vorrichtung nach Anspruch 34, wobei die Anomalie eines oder mehrere der folgenden ist: eine Veränderung in der Bildqualität jenseits eines bestimmten Schwellwerts; eine schnelle Bewegung des Auges, deren Geschwindigkeit jenseits eines bestimmten Schwellwerts liegt; ein Verwaschen des Bildes, das für die Augenverfolgung verwendet wird; ein Verwaschen des Bildes, das für die Augenverfolgung verwendet wird, in Verbindung mit einer schnellen Bewegung; eine kumulierte Differenz zwischen aufeinander folgenden Tracking-Bildern liegt jenseits eines bestimmten Schwellwerts; ein Tracking-Fehler, der basierend auf einem oder mehreren Bildern detektiert wurde, wird als statistischer Ausreißer angesehen; eine Sequenz von Bildern mit einer Retinabewegung von hoher Geschwindigkeit; ein Bildsequenzmuster, das ein ruckartiges Anhalten repräsentiert; ein Bildsequenzmuster, welches ein Zwinkern repräsentiert.
Vorrichtung nach Anspruch 34 oder 35, wobei die Bestimmung, ob eine Anomalie detektiert wurde, in Echtzeit ausgeführt wird, und falls eine Anomalie detektiert wurde, die diagnostische oder chirurgische Vorrichtung in einen HALT-Modus versetzt wird.
Vorrichtung nach Anspruch 34, 35 oder 36, wobei die Anomalie während der Augenverfolgung basiert auf der retrospektiven Auswertung von Bildern, welche während der Augenverfolgung für die Identifizierung von Anomalien erhalten wurden, wobei die Vorrichtung ferner aufweist: ein Modul zum erneuten Ausführen des Betriebs der chirurgischen oder diagnostischen Vorrichtung an denjenigen Orten, für die Anomalien detektiert wurden.
Vorrichtung nach Anspruch 37, wobei die retrospektive Auswertung aufweist: Vergleichen von Bildsequenzen, die während des Betriebs der chirurgischen oder diagnostischen Vorrichtung erhalten wurden, mit Augenbewegungsmustern, welche übliche Augenbewegungen repräsentieren, um Anomalien zu detektieren.
Computerprogramm, welches von einem Computer ausführbare Instruktionen aufweist, um einen Computer in die Lage zu versetzen, ein Verfahren gemäß einem der Ansprüche 1 bis 19 auszuführen.