-
Die
vorliegende Erfindung betrifft ein Verfahren zur Erfassung von mehrdimensionalen
Augenbewegungen mit einem optoelektronischen Sensor gemäß dem Oberbegriff
von Patentanspruch 1, sowie eine Vorrichtung zur Erfassung von mehrdimensionalen
Augenbewegungen mit einem optoelektronischen Sensor gemäß dem Oberbegriff
von Patentanspruch 15.
-
Die
Messung von Augenbewegungen ist ein wesentliches Hilfsmittel für Wissenschaftler
in den unterschiedlichsten Arbeitsgebieten, beispielsweise für Physiologen,
Ergonomen, Ophtalmologen und Neurologen. Dabei dient oftmals die
Messung der Augenbewegungen der Erzielung neuer Erkenntnisse im
Bereich der Forschung. Durch die Messung von Augenbewegungen sind
weiterhin vielfältige
Anwendungsmöglichkeiten
gegeben, beispielsweise die Steuerung von Geräten durch die Blickrichtung
einer Person, die Steuerung oder Einstellung bestimmter Display-Anzeigen,
usw. Dementsprechend steht die Entwicklung universell einsetzbarer
Messtechniken stets im Mittelpunkt des allgemeinen Interesses.
-
Ein
grundsätzliches
Problem bei der Erfassung der Augenbewegungen ist die Erzielung
einer ausreichend hohen Genauigkeit. Zumeist sind hochauflösende Messtechniken
erforderlich, um die Blickrichtung einer Person exakt zu bestimmen.
-
Das
menschliche Auge wird von drei mehr oder weniger rechtwinklig zueinander
geordneten Muskelpaaren positioniert bzw. bewegt. Dies erlaubt die
Rotation des Auges um drei orthogonale Achsen des Auges im Kopf.
Die Komponenten der Rotationsbewegung werden allgemein als horizontale,
vertikale und torsionale Rotationskomponente bezeichnet.
-
In
der Vergangenheit wurden zunächst
Methoden zur zweidimensionalen Messung der Augenbewegung, d.h. zur
Messung der horizontalen und der vertikalen Komponente der Augenbewegung, entwickelt.
Darunter sind fotografische und kinematografische Ansätze, vor
allem aber videookulografische Ansätze, zu finden, die auf einem
sogenannten Objekt-Tracking im Bild basieren (CLARKE A.H. et. al. „Videooculography – an alternative
method for measurement of three-dimensional eye movements", 1991, S. 431-443, in Schmidt R.
Zambarbierie D (Eds) Oculomotor Control and Cognitive Processes Elsevier,
Amsterdam). Diese gestatten die Messung der horizontalen und vertikalen
Augenposition, typischerweise mit Messgenauigkeiten von 0,1 Grad über einen
Bereich von +/- 20 Grad.
-
Die
Abtastraten reichen in der Regel von der Standard-Bildfrequenz für Videosysteme,
d.h. von 25/30 Hz bis zu 200/240 Hz, wobei das letztere eine vierfache
Dezimierung der örtlichen
Auflösung
mit sich bringt. Dabei wird vorausgesetzt, dass der Pupillenmittelpunkt
einen festen Punkt auf dem Augenbulbus darstellt und somit als akkurater
Indikator der horizontalen und vertikalen Position des Auges im
Kopf dient. Diese Annahme wird jedoch in Frage gestellt (Wyatt H.J.
(1995) „The
Form of the Human Pupil", Vision
Res. 35, 14, 2021-2036). In diesem bekannten Stand der Technik wird
festgestellt, dass der Schwerpunkt der Pupille bei Konstriktion
bzw. Dilatation variiert.
-
Zur
dreidimensionalen Messung der Augenbewegung, d.h. der horizontalen,
vertikalen und torsionalen Rotationskomponenten sind prinzipiell
nur zwei Lösungsansätze bekannt.
-
So
erlaubt die auf elektromagnetischer Induktion basierende sklerale „Search-Coil"-Technik die genaueste
Messung der Rotation des Auges um alle drei Achsen. Bei diesem im
Jahre 1963 eingeführten
Verfahren wird eine in einem kontaktlinsenähnlichen Annulus eingebettete
Spule mit etwa 10 Windungen auf das zu messende Auge aufgesetzt, während sich
der Kopf des Probanden innerhalb eines homogenen Magnetfeldes befindet.
Nach dem elektromagnetischen Induktionsgesetz wird eine Spannung
proportional zum Winkel zwischen der Spule und dem magnetischen
Feld induziert. Diese Spannung gibt die Winkelposition des Auges
im Raum wieder. Somit wird die Position des Auges im Raum bestimmt.
Da es bei vielen Fragestellungen notwendig ist, die Position des
Auges relativ zum Kopf zu bestimmen, wird häufig eine zusätzliche
Magnet-Suchspule auf dem Kopf fixiert.
-
Die
Search-Coil-Technik hat jedoch den Nachteil, dass der Proband eine
Haftschale mit einer eingebetteten Drahtspule auf dem Auge tragen muss.
Dies bedeutet einen halb-invasiven Eingriff mit einigen gesundheitlichen
Risiken für
den Probanden. Außerdem
verursachen die individuell verschiedenen Krümmungen des Auges bzw. der
Kornea Probleme bei der Kalibrierung und es kommt immer wieder zum Wegrutschen
der Haftschale, was zum Beispiel durch Blinzeln verursacht wird.
Hinzu kommt, dass der elektromagnetische Aufbau durch diverse metallische
Gegenstände
gestört
werden kann. Schließlich sind
die Kosten der verwendeten Haftschalen hoch und ihre Lebensdauer
ist mit ein bis sechs Messungen sehr gering. Darüber hinaus erlaubt diese Messtechnik
mit einer elektromagnetischen Induktionsspule eine Messung der Rotation,
nicht jedoch der Translation der Suchspule, wenn sie auf dem Auge oder
auf dem Kopf platziert ist. Weiterhin ist die nachträgliche Berechnung,
zum Beispiel Koordinatentransformationen, sehr aufwendig.
-
In
EP 0 456 166 B1 und
in Clarke et al, 1991, sowie CLARKE A. H. "Neuere Aspekte des vestibulookulären Reflexes", European Archives
of Oto-Rhino-Laryngology,
Suppl. 1995/I, S. 117-153, wird die Messung der dreidimensionalen
Augenbewegung mit Hilfe der Bildverarbeitungstechnik, d.h. durch
Videookulografie, beschrieben. Diese Verfahren basieren auf ausschließlich auf
der Auswertung von Bildsequenzen des natürlichen Auges, die mit herkömmlichen
Videokameras aufgezeichnet werden. Sie gestatten die Messung der
horizontalen, vertikalen und torsionalen Augenposition, typischerweise
mit einer Messgenauigkeit von 0,1 Grad. Bei den Systemen wird die
Abtastrate durch die Standard-Bildfrequenz für Videosysteme, d.h. 25 bis
30 Hz, bestimmt.
-
In
letzter Zeit sind mit Hilfe von CMOS Bildsensoren und dedizierten
Digital-Signal-Prozessoren
Abtastraten von bis zu 400 Hz erreicht worden (CLARKE A. H. et.
al. „USING
high frame rate CMOS sensors for three-dimensional eye tracking", Behaviour Research
Methods, Instruments & Computers, 2002,
34 (4), 549-560). Dadurch kann bei der Messung aller drei Freiheitsgrade
der Augenbewegung eine höhere
Genauigkeit erzielt werden, wobei neben der horizontalen und der
vertikalen Komponente auch die torsionale Komponente gemessen wird,
d.h. die Drehung des Auges um die Blickachse.
-
Die
auf Bildverarbeitungstechniken bzw. Videookulografie basierenden
Systeme verwenden häufig
ein kopfmontiertes Gestell oder eine Helmstruktur, um die Bildsensoren
und die dazu gehörige Optik
vor dem Auge zu positionieren. Somit wird die Position des Auges
relativ zum Kopf erfasst. Dabei lässt sich ein Verrutschen der
Messanordnung auf dem Kopf nicht vollständig vermeiden. Somit entsteht das
Problem, dass die Bewegungen des Auges im Kopf von einem Verrutschen
des Messgerätes
diskriminiert bzw. getrennt werden müssen und die Messungen entsprechend
korrigiert werden müssen.
-
Dieses
Problem ist umso schwerwiegender, wenn die Bildkamera nicht kopfmontiert
sondern raumfest vor dem Probanden aufgestellt ist. In solchen Fällen wird
häufig
ein zweites Messsystem zur Erfassung der Position des Kopfes im
Raum eingesetzt.
-
Aufgabe
der vorliegenden Erfindung ist es, die vorstehend genannten Nachteile
bei der Messung von Augenbewegungen zu beseitigen und ein Verfahren
und eine Vorrichtung anzugeben, mit denen die Rotation des Auges
im Kopf mit erhöhter
Genauigkeit und in Echtzeit gemessen werden kann.
-
Die
Aufgabe wird gelöst
durch das Verfahren zur Erfassung von mehrdimensionalen Augenbewegungen
gemäß Patentanspruch
1 und durch die Vorrichtung zur Erfassung von mehrdimensionalen
Augenbewegungen gemäß Patentanspruch
15. Weitere vorteilhafte Merkmale, Aspekte und Details der Erfindung
sind in den abhängigen
Patentansprüchen,
der Beschreibung und den Zeichnungen gezeigt.
-
Bei
dem erfindungsgemäßen Verfahren
zur Erfassung von mehrdimensionalen Augenbewegungen werden mit einem
optoelektronischen Sensor Bildfolgen mindestens eines Auges erfasst
und als Bilddaten einer Recheneinheit zur Verarbeitung zugeführt, die
aus den Bilddaten die Position des Auges im jeweiligen Bild ermittelt,
wobei ein Bereich des Kopfes mit Markierungen versehen ist oder
versehen wird, die vom Sensor in den Bildfolgen mit erfasst werden,
und wobei die Recheneinheit unter Berücksichtigung der Lage des Auges
im Bild und der sich am Kopf befindlichen Markierungen eine Folge
von Werten ermittelt, die zur Bestimmung der Position des Auges
und des Kopfes geeignet sind.
-
Dadurch
kann sowohl die Rotation des Auges im Kopf als auch die Rotation
und Translation des Kopfes ermittelt werden, weshalb sich eine größere Messgenauigkeit
bei der Ermittlung der Augenbewegungen und der Augenposition ergibt.
Bei einer am Kopf montierten Kamera lässt sich ein Verrutschen der
Kamera, d.h. des Sensors und der Optik, leicht berechnen. Bei einer
im Raum aufgestellten Kamera kann die Translation und Rotation des
Kopfes von der Bewegung der Augen im Kopf präzis diskriminiert bzw. getrennt
werden.
-
Es
können
die Positionen beider Augen oder auch nur die Position eines Auges
bestimmt werden, um die jeweiligen Augenbewegungen im Kopf zu ermitteln.
-
Bei
dem Verfahren kann die Position des Auges bzw. beider Augen zum
Beispiel in jedem Bild durch Bestimmung des bzw. der Pupillenmittelpunkte ermittelt
werden.
-
Auch
kann die Position des mindestens einen Auges, das heißt eines
Auges oder beider Augen, in jedem Bild durch Verrechnung der Lage
von sonstigen Merkmalen im Auge ermittelt werden, wie zum Beispiel
künstlich
angebrachte Markierungen auf der Sklera.
-
Es
können
die Positionen beider Augen und des Kopfes aus ein und demselben
Bild ermittelt werden. Insbesondere wird jedes Verrutschen der Kamera
am Kopf oder eines sonstigen Messgerätes relativ zum Kopf erfasst
und die Fehler, die durch ein Verrutschen entstehen, eliminiert.
Somit wird die Messung der Augenposition im Kopf deutlich verbessert,
ohne dass eine zusätzliche
Messanordnung benötigt
wird.
-
Es
lassen sich die Bewegungen der Messanordnung relativ zum Kopf berechnen
und unter Berücksichtigung
des Ergebnisses die Augenposition im Kopf korrekt bestimmen. Die
kopffeste Positionierung ist besonders vorteilhaft in Situationen,
in denen der Kopf viel bewegt wird, beispielsweise bei Gleichgewichtsuntersuchungen
in einem Drehstuhl oder einer Schlittenanlage sowie bei der Lokomotion
oder anderen aktiven Bewegungen der betreffenden Person im Raum.
-
Durch
die Erfassung des Auges bzw. beider Augen und der Markierungen bzw.
Kopfmarkierungen kann jedes Verrutschen oder „Slippage" des Sensors in Bezug auf den Kopf ausgerechnet
bzw. berücksichtigt
werden.
-
Der
Sensor kann aber auch mit einer Optik im Raum vor dem Kopf befestigt
sein, so dass er unabhängig
von den Bewegungen des Kopfes ist. Durch die Erfassung des Auges
bzw. beider Augen und der Kopfmarkierung bzw. der Markierungen werden
die Position des Kopfes im Raum und des Auges im Kopf berechnet.
Dabei werden beispielsweise sowohl die Augenbewegungen als auch
die Kopfbewegungen in Bezug auf Raumkoordinaten gemessen bzw. berechnet.
Anschließend
wird zum Beispiel die Bewegung der Augen relativ zum Kopf berechnet. Das
heißt,
es lassen sich die Positionen der Augen sowie des Kopfes im Raum
berechnen, so dass wiederum die Position der Augen im Kopf mit Hilfe
der Kopfposition genauer bzw. korrekter berechnet werden kann. Nach
entsprechender Kalibrierung kann auch die Blickrichtung im Raum
bestimmt werden. In dieser Ausgestaltung ist das Verfahren als kontaktfreies
Messverfahren besonders geeignet. Bei besonderen Anwendungen, wie
beispielsweise der Bildschirmbetrachtungsmessung zur Untersuchung von
Werbung, der Informationswahrnehmung, der Ermittlung der Ergonomie
und für
psychologische Fragestellungen, aber auch im Bereich von Simulatoren
und Virtual-Reality-Anwendungen, ist es von großem Vorteil, wenn der Kopf
frei von Messeinrichtungen ist.
-
Beispielsweise
kann als Kamera eine sogenannte Remote-Camera in etwa einem Meter
Abstand zum Kopf angeordnet sein, um die Kopfposition im Raum zu
messen. Dies wird durch die Verfolgung der kopffesten Markierung
bei der Messung möglich. Dabei
kann gegebenenfalls zwischen einer Rotation und einer Translation
des Kopfes unterschieden werden. Dies kann unter Umständen aber
davon abhängig
sein, inwieweit eine Bewegung des Kopfes bei der Messung erlaubt
sein soll.
-
Vorteilhaft
liegt die Frequenz der Bildfolge im Bereich von mindestens 1000,
bevorzugt im Bereich von ca. 1500 bis 2000 Bildern pro Sekunde.
Dadurch wird eine besonders hohe Messgenauigkeit erzielt, vor allem
bei schnellen Augen- und
Kopfbewegungen, wobei Geschwindigkeiten von bis zu 500 0/S erreicht werden können.
-
Bevorzugt
findet auf dem Sensor eine On-Chip-Verarbeitung der Bildinhalte
statt. Dadurch erfolgt eine besonders schnelle Bildverarbeitung,
wodurch sehr hohe Bildfolgefrequenzen erzielt werden können.
-
Vorteilhafterweise
werden aus den mit dem Sensor aufgenommenen Bildern jeweils mindestens zwei,
bevorzugt drei örtliche
Interessengebiete ausgelesen und für die weitere Bildverarbeitung
verwendet, wobei zum Beispiel mindestens ein Interessengebiet die
Markierung bzw. die Kopfmarkierungen enthält. Das heißt, es werden zum Beispiel
drei sogenannte Regions-of-Interest aus dem Kamerabild aufgenommen
und verarbeitet, wobei zum Beispiel zwei Interessengebiete bzw.
Regions-of-Interest im Bereich der Augen bzw. um die Augen liegen,
und ein drittes Interessengebiet eine Markierung am Kopf ist, die
zum Beispiel entweder künstlich
dort angebracht ist oder unter Umständen auch natürlich sein
kann.
-
Bevorzugt
werden die Markierungen mit einer Tinktur auf der Stirn oberhalb
des Auges angebracht. Dabei wird als Tinktur bevorzugt eine hautverträgliche Tinktur
verwendet. Die Farbe der Markierungen wird bevorzugt so gewählt, dass
ihre automatische Erfassung mittels digitaler Bildverarbeitung besonders
begünstigt
wird. Beispielsweise wird die Farbe derart gewählt, dass die Markierung bzw.
die Markierungspunkte Infrarotlicht besonders gut reflektieren,
sodass die Punkte bei infraroter Beleuchtung für die Kamera besonders gut
sichtbar sind und einen hohen Kontrast zu den übrigen Bildbereichen aufweisen.
Es sind aber auch andere Bereiche des Lichts zur Aufnahme möglich. Insbesondere
sind Markierungen in schwarzer Farbe bzw. unter nah-infraroter Beleuchtung
sichtbarer Farbe günstig.
-
Die
Markierungen, die zum Beispiel aus mehreren Punkten bestehen, werden
vorteilhafter weise in einer definierten geometrischen Anordnung angebracht,
insbesondere bevorzugt in Form eines Dreiecks oder eines Quadrats.
Dadurch werden die Berechnungen zur Bestimmung der Augenposition und/oder
der Augenbewegung erleichtert. Die geometrische Anordnung der applizierten
Markierungen wird insbesondere so gewählt, dass durch geometrische
Verrechnung ihrer Bildkoordinaten eine Bestimmung der Rotation um
alle drei orthogonalen Achsen sowie der Translation des Kopfes entlang
aller drei Achsen ermöglicht
wird. Die Verwendung eines Dreiecks als Markierung bietet den besonderen
Vorteil, dass bei einer Rotation des Kopfes die Distanz zwischen
den Punkten, in horizontaler oder in vertikaler Richtung, im aufgenommenen
Bild variiert, während bei
einer Translation diese Achsen konstant bleiben. Dies ist vor allem
bei Verwendung einer nicht am Kopf befestigten Remote-Camera, wie
sie oben bereits angesprochen ist, von Bedeutung.
-
Es
können
auch natürliche
Strukturen des Kopfes als Markierungen bzw. Kopfmarkierungen verwendet
werden. Dies hat den Vorteil, dass das Verfahren schneller durchführbar ist,
wobei eine Vorbereitung der Person durch künstliches Anbringen von Markierungen
entfällt.
Der Begriff Markierung soll hierin also auch natürliche Strukturen des Kopfes umfassen
und nicht auf künstlich
angebrachte Markierungen beschränkt
sein.
-
Bevorzugt
wird eine Schwellwerttrennung des Luminanzsignals der schwarzen
Pupille und der zum Beispiel künstlich
angebrachten Markierungen bzw. Kopfmarkierungen durchgeführt. Vorteilhafterweise
wird eine Binarisierung der in der Bildfolge enthaltenen Bilder
durchgeführt.
-
Besonders
vorteilhaft ist es, wenn eine Berechnung basierend auf dem nullten
und ersten Moment der Form der segmentierten Pupille sowie der Markierungen
erfolgt.
-
Gemäß einem
Aspekt der Erfindung wird eine Vorrichtung zur Erfassung von mehrdimensionalen
Augenbewegungen geschaffen, mit einem optoelektronischen Sensor
zur Erfassung von Bildfolgen mindestens eines Auges und zur Erzeugung
von Bilddaten; und mit einer Recheneinheit zur Verarbeitung der
Bilddaten des Sensors, wobei die Recheneinheit aus den Bilddaten
die Position des jeweiligen Auges zur Bestimmung von Augenbewegungen
ermittelt, und wobei der Sensor zur gleichzeitigen Erfassung von
Markierungen im Bereich des Kopfes ausgestaltet ist, und die Recheneinheit
derart programmiert ist, dass sie aus der Lage des Auges im Bild
und der sich am Kopf befindlichen Markierungen eine Folge von Werten
ermittelt, die zur Bestimmung der Position des Auges im Kopf und
des Kopfes im Raum dienen.
-
Die
Vorteile, Merkmale und Details, die im Zusammenhang mit dem oben
beschriebenen Verfahren genannt wurden und nachfolgend noch detaillierter
erläutert
werden, gelten analog auch für
die erfindungsgemäße Vorrichtung,
ebenso wie umgekehrt die Vorteile, Merkmale und Details, die im
Zusammenhang mit der Vorrichtung beschrieben sind, auch für das Verfahren
gelten.
-
Insbesondere
ist es mit der erfindungsgemäßen Vorrichtung
möglich,
Augenbewegungen mit besonders hoher räumlicher und zeitlicher Auflösung zu messen,
wobei eine Echtzeitverarbeitung möglich ist.
-
Vorteilhafterweise
umfasst die Vorrichtung eine Halteeinrichtung zur Befestigung des
Sensors am Kopf. Damit können
Augenbewegungen relativ zum Kopf gemessen werden und Fehler, die
zum Beispiel durch Verrutschen der Messanordnung verursacht sind,
gemessen und abgezogen werden.
-
Der
Sensor erfasst vorteilhafter weise Bildfolgen im Bereich von mindestens
1000 Bildern pro Sekunde, bevorzugt 2000 Bildern pro Sekunde. Dadurch
ergibt sich eine besonders große
Genauigkeit der Messung.
-
Bevorzugt
umfasst der Sensor eine Parallelarchitektur mit einer Anordnung
von On-Chip ADC's und
Pixelprozessoren. Dadurch wird eine besonders hohe Bildfolge möglich, sodass
sehr große
Auswerteraten erreicht werden können.
-
Vorteilhaft
weist der Sensor eine Pixelfläche mit
einem Seitenverhältnis
im Bereich von ca. 1:3, typischerweise in der Größenordnung von 500 mal 1500
Pixeln auf. Dadurch ist der Sensor für die Registrierung der Bewegungen
von beiden Augen sowie des Kopfes besonders geeignet
-
Nachfolgend
wird die Erfindung beispielhaft anhand der Figuren beschrieben,
in denen:
-
1 schematisch
eine Vorrichtung zur Messung der Augenbewegungen mit einem kopfmontierten
Sensor gemäß einer
besonders bevorzugten Ausführungsform
der Erfindung zeigt;
-
2 schematisch
eine Vorrichtung zur Messung der Augenbewegungen mit einem raumfest montierten
Sensor gemäß einer
weiteren besonders bevorzugten Ausführungsform der Erfindung zeigt;
-
3 ein
Auge mit drei zugehörigen
Muskelpaaren und den drei orthogonalen Drehachsen schematisch zeigt;
-
4 ein
gemäß einer
besonders bevorzugten Ausgestaltung durch den Sensor erfasstes Bild der
Augen einer Person zeigt, wobei gleichzeitig Kopf-Markierungen im
Bild enthalten sind; und
-
5 schematisch
eine Auswerteeinrichtung als Teil der erfindungsgemäßen Vorrichtung zeigt,
mit einer beispielhaften Display-Anzeige.
-
1 zeigt
eine Vorrichtung 10 zur Erfassung der Augenbewegungen einer
Person gemäß einer
ersten bevorzugten Ausführungsform
der Erfindung. Die Vorrichtung 10 umfasst einen Tragerahmen 11,
der zum Zweck der Messung auf dem Kopf 20 der Person positioniert
bzw. befestigt wird. An dem Tragerahmen 11 ist ein optoelektronischer
Sensor 12 als Teil einer Kamera montiert, der dazu dient, Bilder
der Augen 21a und der umgebenden Bereiche aufzunehmen.
Im Betrieb erfasst der Sensor 12 Bildfolgen mindestens
eines Auges 21a mit einem angrenzenden Bereich des Kopfes 20,
um Bewegungen der Augen 21a zu ermitteln. Dabei ist der
Sensor 12 zur gleichzeitigen Erfassung von Markierungen
im Bereich des Kopfes 20 ausgestaltet. Der Sensor ist elektrisch
durch ein Kabel 13 mit einer Recheneinheit 14 gekoppelt,
die zur Auswertung aus den Bilddaten den Pupillenmittelpunkt des
Auges 21a oder der beiden Augen ermittelt. Dabei ist die
Recheneinheit 14 derart ausgestaltet bzw. programmiert,
dass sie aus der Lage des Pupillenmittelpunktes und der am Kopf 20 angebrachten
Markierungen eine Folge von Werten ermittelt, die zur Bestimmung
der Bewegung des Auges 21a und des Kopfes 20 dienen.
-
Der
Tragerahmen 11 umfasst im wesentlichen ein ringförmiges,
verstellbares erstes Band 11a, das an die jeweilige Kopfgröße anpassbar
ist und auf den Kopf 20 von oben aufsetzbar ist, sodass
es fest auf dem Kopf 20 positioniert werden kann. Quer
zum Verlauf des ersten Bandes 11a erstreckt sich ein zweites
einstellbares Band 11b von einer Seite des Kopfes 20 zur
anderen Seite, wobei die jeweiligen Enden des zweiten Bandes 11b am
ersten Band befestigt sind.
-
Im
vorderen Bereich des Tragerahmens 11 befindet sich ein
Gestell 15, dass schwenkbar am Tragerahmen 11 befestigt
ist. An dem Gestell 15 ist die Kamera mit dem optoelektronischen
Sensor 12 befestigt, sowie ein Spiegel 16, der
dazu dient, das Bild des Auges 21a bzw. der beiden Augen
zum Sensor 12 hin zu lenken. Die Kamera befindet sich somit nicht
im direkten Blickfeld bzw. in der Blickrichtung der Person. Der
Spiegel 16 ist in diesem Beispiel als Infrarotspiegel ausgestaltet.
-
2 zeigt
alternativ dazu eine Vorrichtung 30 zur Messung der Augenbewegungen
mit einem raumfest montierten Sensor 12 gemäß einer
weiteren besonders bevorzugten Ausführungsform der Erfindung. Gleiche
oder ähnliche
Merkmale wie bei der in 1 gezeigten Ausführungsform
sind mit denselben Bezugszeichen versehen. Der Unterschied zu der
in 1 gezeigten Ausführungsform besteht im wesentlichen
in der raumfesten Positionierung des Sensors 12, sodass
die Erfassung der Bewegung der Augen 21a und der Markierungen
in Bezug auf raumfeste Koordinaten erfolgt.
-
3 zeigt
zum besseren Verständnis
der Augenbewegungen ein menschliches Auge 21a mit drei
zugehörigen
Muskelpaaren und den drei orthogonalen Drehachsen.
-
Die
erste Drehachse X ist in Blickrichtung gerichtet, das heißt, dass
das Auge 21a eine Torsion um die Blickrichtung durchführt, wenn
es durch die Muskulatur zu einer Rotationsbewegung um die X-Achse gebracht
wird. Dies ist die torsionale Komponente der Augenrotation.
-
Die
zweite Drehachse Y ist im wesentlichen senkrecht zur X-Achse gerichtet.
Bei einer Rotationsbewegung des Auges 21a um die Y-Achse ändert sich
die Blickrichtung vertikal nach oben oder nach unten. Dies ist die
vertikale Komponente der Augenrotation.
-
Die
dritte Drehachse Z ist im wesentlichen senkrecht zur X- und Y-Achse
gerichtet. Bei einer Rotationsbewegung um die Z-Achse bewegt sich
die Blickrichtung horizontal nach rechts oder links. Dies ist die
horizontale Komponente der Augenrotation.
-
4 zeigt
ein durch den Sensor 12 erfasstes Bild 40 der Augen 21a, 21b der
Person. In dem Bild 40 sind drei rechteckige Interessengebiete bzw. Regions-Of-Interest 41, 42, 43 enthalten.
Die erste Region-Of-Interest 41 umschließt bzw.
enthält
das linke Auge 21a der Person, während die zweite Region-Of-Interest 42 das
rechte Auge 21b der Person umschließt bzw. enthält. Dazwischen
befindet sich die Nase 22 mit ihren Randbegrenzungen 22a.
Die dritte Region-Of-Interest 43 umschließt eine
Anordnung von punktförmigen
Markierungen 17, die in diesem Beispiel Form eines Dreiecks
angeordnet sind, dessen Ecken jeweils durch einen Punkt gebildet sind.
-
Bei
dem Verfahren wird zunächst
der Tragerahmen 11 (siehe 1 und 2)
mit der Kamera bzw. dem Sensor 12 auf dem Kopf 20 des
Probanden positioniert. Alternativ dazu kann die Kamera auch fest
im Raum angeordnet werden, sodass sie unabhängig von den Bewegungen des
Probanden ist. Die Kamera wird so ausgerichtet, dass der Bildsensor 12 das
Bild der Augen 21a, 21b und zusätzlich mindestens
einen weiteren Bereich des Kopfes 20 aufnimmt. In diesem
weiteren Bereich werden die Markierungen 17 angebracht,
bevorzugt mit einer schwarzen, hautfreundlichen, nichttoxischen
Tinktur. Auch im Falle von Aufnahmen bei Infrarotbeleuchtung wird
die Tinktur so gewählt,
dass sich unter den jeweiligen Lichtverhältnissen bestmögliche Kontraste
zur automatischen digitalen Bildverarbeitung ergeben.
-
Die
geometrische Anordnung der applizierten Markierungen wird so gewählt. Dass
durch geometrische Verrechnung ihrer Bildkoordinaten eine Bestimmung
der Rotation um alle drei orthogonalen Achsen X, Y, Z sowie der
Translation des Kopfes 20 entlang aller drei Achsen X,
Y, Z ermöglicht
wird.
-
Bei
der Messung wird eine Bildsequenz mit Hilfe des elektronischen Bildsensors 12 erfasst,
der zum Beispiel ein CCD oder CMOS Sensor ist, oder durch eine anderweitige
optoelektronische Matrix gebildet wird. Anschließend erfolgt die Verarbeitung
der Bilddaten mit digitalen Bildverarbeitungstechniken. Dabei umfassen
die aufgezeichneten Bilder sowohl die Augen 21a, 21b als
auch den markierten Bereich 43 des Kopfes 20,
das heißt,
den Bereich des Kopfes 20, auf dem sich die Markierungen 17 befinden.
-
In
erster Linie wird die Augenposition durch Erkennung der Pupille
und Berechnung ihres Mittelpunktes berechnet. In ähnlicher
Weise sind die applizierten Markierzungen 17 so gestaltet,
dass sie sich deutlich von den übrigen
Teilen des Bildes absetzen, so dass eine Schwellwerttrennung des
Luninanzsignals und ihre Segmentierung möglich wird. Auf diese Weise
wird jedes Bild der Sequenz binarisiert und die Koordinaten der
Pupillen sowie der erkannten Markierungspunkte werden mit bekannten
Algorithmen berechnet, die dem Fachmann geläufig sind. Da die Form und
Anordnung der applizierten Markierungen vorgegeben ist, eignen sich
hierfür
zum Beispiel die Berechnung des nullten und ersten Moments der Markierungsform,
wie es in CLARKE A. H. „Neuere Aspekte
des vestibuookulären
Reflexes", European Archives
of Oto-Rhino-Laryngology,
Suppl. 1995/I, S. 117 – 153,
beschrieben ist, bzw. die Anwendung des sogenannten „template-matching"-Verfahrens.
-
Bei
dem hier beschriebenen Verfahren wird zum Beispiel auf komplexe
Graustufenberechnungsverfahren verzichtet, so dass eine Echtzeiterfassung und
darüber
hinaus eine starke Erhöhung
der zeitlichen Auflösung
der Messung erreicht werden kann. Das heißt, die Messung erfolgt mit
einer höheren Bildabtastfrequenz
und mit entsprechend schnellen optoelektronischen Sensoren. Der
verwendete Bildsensor 12 besitzt eine sehr hohe Auflösung für die Erfassung
der beispielsweise zwei, drei oder mehr Regions-of-Interest. Insgesamt
ergibt sich eine Kombination von hoher Auflösung und sehr schneller Verarbeitung.
-
Anstelle
der künstlichen
Markierungen oder zusätzlich
zu diesen können
auch natürliche
Strukturen, wie zum Beispiel Hautfalten oder Hautstrukturen wie
die Randbegrenzungen 22a der Nase 22, verwendet
werden, je nach den Erfordernissen der jeweiligen Anwendung. Dadurch
wird eine sehr hohe Flexibilität
erreicht. Andererseits führen
die künstlich angebrachten
Markierungen 17 in der Regel zu noch genaueren Ergebnissen.
-
5 zeigt
eine Auswerteeinrichtung 50 mit einer beispielhaften Display-Anzeige als Teil
der erfindungsgemäßen Vorrichtung.
Die Auswerteeinrichtung 50 umfasst neben einem Display 51 eine Schnittstelle 52 zur
elektrischen Verbindung mit der Kamera bzw. dem optoelektronischen
Sensor 12, sowie eine Prozessoreinheit 53. Die
Auswerteeinrichtung 50 umfasst bzw. bildet zum Beispiel
die Recheneinheit 14 in 1 und 2 zur
Verarbeitung der Bilddaten, die vom Sensor 12 zugeführt werden.
-
Das
Display 51 wird durch einen Video-Monitor mit einer grafischen
Benutzeroberfläche
gebildet. An seinem rechten Rand in 5 befinden
sich Steuerelemente 54, die vom Benutzer bedient werden können, beispielsweise
um Messparameter einzustellen. Im Display werden die beiden Regions-of-Interest 41, 42 dargestellt,
die die Bilder der beiden Augen 21a, 21b enthalten.
-
Darunter
ist der Verlauf der berechneten Augenbewegung über die Zeit abgebildet, in
diesem Beispiel die horizontale und die vertikale Augenposition.
-
Das
Verfahren ist sowohl bei kopffester Positionierung der Kamera als
auch bei raumfester Positionierung der Kamera anwendbar. Bei der
kopffesten Positionierung wird aus der Bewegung der Markierungen
im Bild ein Verrutschen der Kameraposition berechnet. Mit diesem
Wert, der die Relativbewegung der Kamera relativ zum Kopf repräsentiert,
erfolgt eine Korrektur der gemessenen Werte der Augenbewegung.
-
Bei
der raumfesten Positionierung werden sowohl die Augenbewegungen
mittels der Regions-Of-Interest 41, 42 der Augen
als auch die Kopfbewegungen mittels der Region-Of-Interest 43 der Markierungen
in Bezug auf feste Raumkoordinaten gemessen. Anschließend kann
die Bewegung der Augen 21a, 21b relativ zum Kopf 20 berechnet
werden
-
Durch
die Applikation von künstlichen
Markierungen außerhalb
der Augen bzw. in deren Nähe wird
eine wesentliche Verbesserung der bisher bekannten Techniken erzielt,
insbesondere was die Messgenauigkeit und die Schnelligkeit der Datenverarbeitung
betrifft. Das Verfahren und die Vorrichtung sind nicht auf die Messung
der Augenbewegung beim Menschen beschränkt, sondern es können auch
Augenbewegungen von Tieren gemessen bzw. erfasst werden, was zum
Beispiel für
die Verhaltensforschung von Bedeutung ist.