DE19731303A1

DE19731303A1 - Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen

Info

Publication number: DE19731303A1
Application number: DE19731303A
Authority: DE
Inventors: Winfried Dr Ing Teiwes; Wulf Dipl Ing Teiwes
Original assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Current assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date: 1997-07-13
Filing date: 1997-07-13
Publication date: 1999-02-04
Anticipated expiration: 2017-07-14
Also published as: DE19731303B4

Description

Die Erfindung betrifft ein Verfahren zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen, bei dem das Auge mit Infrarotlicht pulsierend oder nicht pulsierend beleuchtet, durch ein optisches System abgebildet, von mindestens einem Bildsensor (CCD-Kamera) aufgenommen und das so gewonnene Bild anschließend in einem, durch einen Hauptprozessor konfigurierbaren Blickrichtungs-Prozessor zur Bestimmung der Blickposition durch Ermittlung der Position der Pupillenmitte und kornealen Reflexionen weiterverarbeitet und auf einem Monitor angezeigt wird.

Die Erfindung betrifft weiterhin eine Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen, mit mindestens eine das Auge beleuchtenden Infrarotdiode, mindestens einem das Auge abbildenden optischen System, bestehend aus Objektiv mit Fokus, Zoom, Blende und mit mindestens einen das Bild erfassenden CCD-Sensor, einem die Blickrichtung berechnenden, an einen Hauptprozessor angeschlossenen Prozessor und einem die Pupillenmitte und die kornealen Reflexionen anzeigenden Monitor.

Aus der US-PS 4 950 069 ist ein Augenbewegungsdetektor für die Bedienung eines Computers bekannt, dessen Display eine Vielzahl von individuellen Flächen aufweist, die verschiedene Auswahlfelder darstellen, welche vom Betrachter auswählbar sind, wenn er diese für eine vorbestimmte Zeit betrachtet.

Eine Kamera mit einem Objektiv ist nahe am Display angeordnet und in solch einer Weise ausgerichtet, daß das Auge des Betrachters abgebildet wird, wenn dieser auf den Display blickt.

Mit Infrarotstrahlen wird das Auge abgetastet, so daß die vom Auge reflektierten Strahlen ermöglichen, den Mittelpunkt der Pupille und die kornealen Reflexionen über einen Computer zu bestimmen und daraus die Blickrichtung des Nutzers festzustellen.

Sobald der Nutzer aber eine größere Kopfbewegung ausführt, wandert der korneale Reflex aus dem Erfassungsbereich der Kamera und macht eine Bestimmung der Blickrichtung unmöglich. Deshalb ist diese bekannte Detektoreinrichtung nur bei geringer Bewegung des Auges zum Detektor einsetzbar.

Bekannte Eye-Tracking-Systeme wie sie beispielsweise in der US-PS 4 952 024, US-PS 5 481 622, EP 0 456 166 A1, EP 0 691 559 A1, EP 0 704 739 A2, 0 716 329 A1 oder DE 42 91 016 T2 beschrieben sind, sind ortsfest am Kopf durch einen Helm oder eine Brille gehalten. Diese Lösungen sind nicht geeignet, die absolute Blickrichtung einer Person in raumfesten Koordinaten bei freier Kopfbewegung festzustellen, sondern eignen sich lediglich zur kopfbezogenen Augenbewegungsmessung.

Aus der EP 0 350 957 A1 ist ferner ein Bildaufnahmegerät bekannt, das kontaktlos und helmfrei arbeitet. Es besitzt Beleuchtungsmittel zum Beleuchten des Objektes mit polarisiertem Licht, beispielsweise Infrarotlicht, Bilderfassungselemente, eine CCD-Kamera und einen Prozessor für die Verarbeitung der ermittelten Pupillenkoordinaten und der kornealen Reflexionen zur Bestimmung der Blickrichtung. Die Infrarotdioden sind ortsfest um die optische Achse der Linsen der Kamera angeordnet. Das gesamte optische System ist raumfest und damit nicht geeignet, große Kopfbewegungen in horizontaler oder vertikaler Richtung zu kompensieren. Der Betrachter bzw. Proband muß bei diesem bekannten Gerät in einer zuvor exakt bestimmten Lage verbleiben. Dies schränkt die Anwendung des bekannten Gerätes in Bezug auf die Interaktion in der Beziehung Mensch-Maschine wesentlich ein.

Des weiteren ist aus der EP 0 596 868 A2 ein Verfahren zur Feststellung der Blickrichtung bekannt, das aus den Schritten der Ermittlung einer Position und einer Richtung des Kopfes von einem Gesichtsbild, der Ermittlung eines Merkmalpunktes eines Auges und der Berechnung der Augenstellung in Übereinstimmung mit der ermittelten Position und Richtung des Kopfes und des Merkmalpunktes des Auges besteht.

Das Auge wird mit Infrarotlicht beleuchtet, das von Dioden abgestrahlt wird, die ringartig um die Linse der Kamera angeordnet sind.

Die EP 0 596 749 A1 beschreibt ferner ein ophthalmologisches Gerät, das Bestrahlungsmittel für die Bestrahlung des zu untersuchenden Auges mit Infrarotlicht, Bildaufnahmemittel für die Aufnahme des zu untersuchenden Auges, Vergleichs- und Speichermittel für den Vergleich der von den Bildaufnahmemitteln erhaltenen Bildinformationen mit einem für die fortschreitende Bildinformation bestimmten Schwellwert, Berechnungsmittel für die Berechnung der Werte des zu untersuchenden Auges auf der Basis der Bildinformationen, die im Vergleichs- und Speichermittel gespeichert sind.

In der US-PS 5 231 674 wird außerdem ein Verfahren und ein Gerät zur Blickrichtungsfeststellung offenbart, bei dem mit einer Kamera ein optisches, d. h. analoges, Bild aufgenommen wird, welches in einer Bildverarbeitung analysiert wird, um Informationen über den Blickpunkt und/oder die Blickrichtung des Auges zu gewinnen. Die IR-Lichtquelle, die das zu untersuchende Auge beleuchtet, befindet sich in der optischen Achse des Linsensystems der Kamera.

Durch die IR-Beleuchtung des Auges erscheint die Pupille des menschlichen Auges als zusammenhängende grauschwarze Fläche. Schattenzonen können aber auch durch Beleuchtung verursacht werden, beispielsweise dann, wenn die Lichtstrahlen nicht nur in einer Richtung auf die korneale Fläche reflektiert werden oder aber auch von anderen Objekten, die sich nahe dem Auge befinden. Sofern diese Objekte dem Auge gegenüberliegen, werden diese reflektiert und erscheinen auf dem Augenbild. Die korneale Oberfläche des Auges ist ein Spiegel, der etwa 2% des einfallenden Lichtes reflektiert. Daher hat jeder Gegenstand, der vor dem Auge positioniert ist, seinen Reflex auf der Kornea. Jeder Reflex bzw. Schattenzone, dessen Grauton dem Grauton der Pupille nahekommt, führt daher zu Verfälschungen bzw. Fehlern in der Bestimmung des Pupillenmittelpunktes bei den vorher beschriebenen Verfahren zur Blickrichtungsanalyse.

Allen diesen bekannten Lösungen ist der Nachteil gemeinsam, daß größere Kopfbewegungen in horizontaler und vertikaler Richtung bei der Blickrichtungsbestim mung nicht kompensiert werden können, die Verzögerungszeiten zwischen der Bildverarbeitung und der Bildaufnahme eine quasi-Echtzeit-Verarbeitung verhindert sowie Fehler und Verfälschungen in der Bestimmung des Pupillenmittelpunktes und der Blickrichtung auftreten.

In Kenntnis der Nachteile dieses Standes der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art zur Verfügung zu stellen, das bzw. die es erlaubt, die Blickrichtung auch bei größeren Kopfbewegungen in nahezu Echtzeit zu bestimmen und die Verzögerungszeit bei gleichzeitiger Fehlerminimierung zu verringern.

Dies wird mit dem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, daß aus dem erfaßten analogen Videosignal des Augenbildes durch zeilenorientierte Analog/Digital-Umsetzung ein digitales Graustufenbild im Speicher des Blickrichtungs-Prozessor erzeugt wird, das zeitlich nacheinander abgetastet, verarbeitet und gleichzeitig der digitale Datenstrom in eine Katendetektionslogik eingespeist wird, in der

a) die Graustufenverteilung über alle Videozeilen analysiert, als Histogramm zusammengestellt und dieses zur Speicherung und weiteren Verarbeitung dem Blickrichtungs-Prozessor und/oder
b) jede Videozeile nach Dunkel-Hell- bzw. Hell-Dunkel- Übergängen abgesucht, die Position der ermittelten Übergänge je Bildzeile dem Speicher des Blickrichtungs- Prozessors zur Speicherung in einer Ereignistabelle zugeführt werden, mit denen der Blickrichtungs-Prozessor die Koordinaten des Pupillenmittelpunktes und der kornealen Reflexionen bestimmt, und daß sodann die gewonnenen Koordinaten des Pupillenmittelpunktes und wenigstens einer kornealen Reflexion als Overlay in Form von Zielfadenkreuzen im Augenbild angezeigt werden, diese Koordinaten auf mindestens einem vorgegebenen Fixationspunkt kalibriert werden, in dem diese auf physikalische Größen des Gegenstandsfeldes umgerechnet und anschließend zwischen gespeichert werden, so daß bei jeder, eine vorgegebene Fehlergröße überschreitenden Veränderung automatisch eine Anpassung der Kalibrierdaten durchgeführt wird, und daß aus den zuvor bestimmten Koordinaten für den Pupillenmittelpunkt und der kornealen Reflexionen die Blickrichtung ermittelt wird, die an den Hauptprozessor weitergeleitet wird.

In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird das analoge Augenbild bei einer vertikalen Abtastfrequenz von 50 bis 250 Hz (Pixelfrequenz bis zu 20 Mhz) in ein Graustufenbild umgesetzt, gleichzeitig der digitale Datenstrom in der Kantendetektionslogik als Grauwert-Histogramm zusammengestellt wird, aus dem automatisch Schwellwerte für die Detektion der Pupille und der kornealen Reflexionen bestimmt werden.

Dazu werden die gewonnenen Graustufenbilder in einem Videospeicher gespeichert.

Eine weitere bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens sieht vor, daß das analoge Augenbild bei einer Pixelfrequenz von bis zu 20 Mhz und bei variablen horizontalen und vertikalen Abtastfrequenzen nach Einstellen von getrennten Grauton-Schwellwerten für die Pupille und kornealen Reflexionen sowie deren Kontrastwechsel durch eine Kantendetektions-Logik verarbeitet wird.

In zweckmäßiger Ausgestaltung dieses Merkmals ist der digitale Datenstrom des Analog/Digital-Umsetzers auf die Kantendetektions-Logik geschaltet.

Bisherige bekannte Impulsbeleuchtungen, beispielsweise EP 0 456 166 A1, haben zum Ziel, scharfe Abbildungen von schnell bewegten Objekten zu erzeugen, da nur ein Bruchteil der Integrationszeit das Auge beleuchtet wird, Störungen durch andere Beleuchtungsarten zu unterdrücken und die Strahlungsbelastung des Auges zu verringern.

Ein Hauptproblem bei größeren Kopf- und Augenbewegungen besteht in der Regelung der Nachführung der Kamera, d. h. der Schnelligkeit, mit der die Verschiebung des Auges relativ zum Kamerabild ausgeglichen werden kann. Dabei spielt die zeitliche Verzögerung zwischen der tatsächlichen Augenbewegung und dem Zeitpunkt der verfügbaren ermittelten Positionsdaten des Auges im Videobild eine wichtige Rolle.

Das Bild wird gemäß vorliegendem erfindungsgemäßen Verfahren mit der CCD-Videokamera durch Integration über ein Zeitintervall T_i erfaßt. Zum Zeitpunkt des Bildwechsels wird dann das Bild auf dem CCD-Sensor umgespeichert, damit das nachfolgende Bild erfaßt werden kann. Erst zu diesem Zeitpunkt erfolgt die Übertragung des zuvor erfaßten Bildes über die Verbindung zum Blickrichtungs-Prozessor.

Die Übertragung der Bildinformation benötigt wiederum einen Zeitraum T_i bis das gesamte Bild im Blickrichtungs-Prozessor digitalisiert ist und damit die Position des Auges analysiert werden kann. Frühestens nach zwei Abtastzeiträumen T_i ist dann die Augenposition digitalisiert und in Bezug auf die im Bild enthaltene Augenposition analysierbar. Erst nach einer weiteren Verarbeitungszeit T_a zur Analysierung des Videobildes, kann die Nachführung erfolgen.

Nach einem weiteren wesentlichen Merkmal des erfindungsgemäßen Verfahrens werden deshalb zur Pulssteuerung der Infrarotbeleuchtung die Zeitinformationen des Bildes verwendet, wobei die Infrarotbeleuchtung synchron zum anliegenden Bild verläuft, jedoch zum Ende der Bildrate hin zeitlich versetzt ein- und ausgeschaltet wird.

Der Blickrichtungs-Prozessor stellt in weiterer Ausgestaltung des erfindungsgemäßen Verfahrens die Zeit T_i für die Integration des Bildes, die Zeit T_u für die Digitaliserung und Übertragung des digitalisierten Bildes und die Zeit T_a für die Analyse des digitalisierten Bildes fest, stellt den Belichtungszeitraum der Infrarotbeleuchtung auf eine Zeit ein, die kleiner ist als die Zeit T_i für die Digitalisierung des vom Bildsensor aufgenommenen Bildes und legt den Beginn der Belichtung des Auges an das Ende des Integrationszeitraumes, wobei die Beleuchtung über eine von der Stromstärke regelbaren und zeitlich einstellbaren, durch den Blickrichtungs- Prozessor ansteuerbaren Stromquelle eingestellt wird.

Außerdem werden nach einem weiteren Merkmal des erfindungsgemäßen Verfahrens ein oder mehrere Infrarotquellen verwendet, um einen größeren Meßbereich zu erhalten.

Falls nur eine Reflexion sichtbar ist und Unklarheit bei der Ermittlung entsteht, durch welche Infrarotquelle die korneale Reflexion erzeugt wurde, wird eine alternierende abwechselnde Ansteuerung der einzelnen Infrarotquelle zur Zuordnung und bei der Auswertung des entsprechenden Videobildes durchgeführt.

In einem weiteren bevorzugten Merkmal des erfindungsgemäßen Verfahrens stellt der Blickrichtungs- Prozessor die Bildschärfe des digitalisierten Bildes mittels der räumlichen Konstrastunterschiede im Videobild durch Nachregelung der Fokussierung des Objektives ein.

Der Blickrichtungs-Prozessor ist eine Einschubkarte, die durch den Hauptprozessor konfigurierbar ist. Sie ist als eigenständige Einheit oder als integraler Bestandteil des Hauptprozessors einsetzbar.

Nach einem weiteren bevorzugten Merkmal des erfindungsgemäßen Verfahrens steuert der Hauptprozessor die Steuereinheit für ZOOM/Vergrößerung, Fokus und Blende des Objekts über eine serielle oder parallele Schnittstelle an und ermittelt deren Einstellung.

In weiterer bevorzugter Ausgestaltung des erfindungsgemäßen Verfahrens wird über die aktuelle Einstellung des Fokus der Abstand des Auges vom Objektiv ermittelt, wobei bei Abstandsänderungen die Kalibrierung automatisch angepaßt wird.

Dies ermöglicht, einen unterschiedlichen Augenabstand zwischen Auge und Kamera zu realisieren. Von Vorteil ist ferner, daß dadurch das Auge des Anwenders leichter aufgefunden werden kann.

Die Fokuseinstellung wird ebenfalls durch den Hauptprozessor über serielle Kommandos an die Steuereinheit eingestellt, um ein scharfes Bild des Auges, insbesondere der Pupille und der kornealen Reflexionen, zu erhalten.

Mit Hilfe des Blickrichtungs-Prozessors wird das digitalisierte Bild auf seine Bildschärfe hin analysiert, indem die Größe der kornealen Reflexionen und die räumlichen Kontrastunterschiede der Kanten der Pupille und der Reflexionen abgefragt werden. Durch die interne Datenverbindung des Blickrichtungs-Prozessors mit dem Hauptprozessor wird die Bildschärfe abgefragt und bei Notwendigkeit über eine serielle Schnittstelle die Bildschärfe mittels Veränderung der Fokussierung nachgeregelt.

Auch die Blende des optischen Systems wird durch den Hauptprozessor fernbedient, um eine Anpassung an die Helligkeit des Augenbildes zu gewährleisten.

"Die Steuerung der Blende erfolgt dabei über die Maximierung des Kontrastes des Videobildes ohne Helligkeits-Übersteuerung.

Zuvor wird durch die Pulssteuerung der Infrarotbeleuchtung die maximal zulässige Intensität der gepulsten IR-Beleuchtung eingestellt, damit eine maximale Tiefenschärfe des Bildes erreicht wird.

In weiterer bevorzugter Ausgestaltung des erfindungsgemäßem Verfahrens steuert der Blickrichtungs-Prozessor weiterhin die Steuereinheit der IR-Beleuchtung an.

Nach einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens steuert der Blickrichtungs-Prozessor außerdem eine Nachführeinheit für die Erfassung des Augenbildes bei horizontalen und vertikalen Kopfbewegungen über eine serielle oder parallele Schnittstelle an.

Die Nachführeinheit wird direkt von einen Motor zum getrennten Schwenken und Neigen angetrieben. Es gehört aber auch zu der Erfindung, wenn das erfaßte Bild nahezu zeitgleich den Kopfbewegungen mit einem Spiegelsystem nachgeführt wird.

Beide Varianten haben ihre Vorteile und sind den Anforderungen entsprechend einzusetzen. Die motorische Nachführung ist kleiner zu integrieren und besitzt geringere geometrische Verzerrungen bei großen Nachführwinkeln.

Das Spiegelsystem hat den Vorteil, daß es massenarmer ist und es sich schneller nachführen läßt.

In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden zur Kalibrierung des Systems im Raum horizontale, diagonale, in Kreuzform oder gleichmäßig auf dem Monitor verteilte Fixationspunkte angezeigt, auf die der Anwender nacheinander seinen Blick richtet. Dabei erfolgt eine automatische Kontrolle, ob der Anwender lange genug auf das Fixationsziel blickt und diesem folgt.

Aus den gewonnenen Meßdaten für die Pupillenposition und kornealen Reflexionen läßt sich eine Transformationsmatrix gewinnen, aus der die Blickrichtung bestimmt werden kann.

Nach einem weiteren bevorzugten Merkmal des erfindungsgemäßen Verfahrens ist das CCD-Videosignal auf den Analog/Digitalumsetzer und danach auf eine Kantendetektor-Logik geschaltet.

Die im Speicher abgelegte Histogrammfunktion gewährleistet in bevorzugter weiterer Ausgestaltung ein automatisches Erkennen der Pupille und der kornealen Reflexionen.

Die digitalen Bildausgangssignale werden in analoge Ausgangssignale umgesetzt, denen Falschfarben zumischbar sind.

Die Aufgabe wird weiterhin durch eine Vorrichtung gelöst, die aus einem Videomultiplexer, auf dessen Eingänge mehrere Video-Signale gelegt sind, denen die Bildsensoren zugeordnet sind, und dessen Ausgang direkt über einen Analog/Digital-Umsetzer und über eine Kantendetektions-Logik mit dem Blickrichtungs-Prozessor verbunden ist, und aus einem Digital/Analog-Wandler (RAMDAC) für die Bildsignale besteht, wobei wenigstens ein Video-Ausgang für die Anzeige des Augenbildes mit überlagerten Markierungen der Pupille und kornealen Reflexionen vorgesehen ist, und daß über eine oder mehrere serielle oder parallele Schnittstellen Steuereinheiten für den Antrieb zum Verschwenken in horizontaler und vertikaler Richtung zur Verfolgung der Kopfbewegung, für die automatische Fokussierung, Blendeneinstellung und automatische Suche des Augenbildes und für die IR-Beleuchtung mit dem Blickrichtungs-Prozessor verbunden sind.

In zweckmäßiger Ausgestaltung der erfindungsgemäßen Vorrichtung sind mehrere Infrarotquellen horizontal oder vertikal versetzt zur Achse des optischen Systems angeordnet. Dies hat den Vorteil eines größeren Meßbereiches.

Gleichmaßen kann, wenn erforderlich, nur eine einzige Infrarotquelle axial ortsfest vor dem Objektiv angeordnet sein.

Nach einer weiteren bevorzugten Ausgestaltung der erfindungsgemaßen Vorrichtung ist die Infrarotbeleuchtung über einen mittels einer Pulssteuerung vom Blickrichtungs-Prozessor gesteuerten Ein/Ausschalter mit einer geregelten Stromquelle verbunden.

Das Objektiv und der CCD-Bildsensor sind nach einem weiteren bevorzugten Merkmal der Erfindung auf einer zweiachsigen dreh- und schwenkbaren Nachführeinheit befestigt, deren Achsen zueinander senkrecht stehen und jeweils separat mit einem Motor, verbunden sind. Die Motoren werden durch eine Steuereinheit angesteuert, die ihre Richtungskommandos zur Nachführung vom Blickrichtungs-Prozessor über eine serielle oder parallele Datenleitung erhalten.

Die Infrarotbeleuchtung ist nach einer weiteren bevorzugten Merkmal der Erfindung an der Nachführeinheit, vorzugsweise Schwenk- und Neigefuß, montiert oder ortsfest im Raum angeordnet.

In weiterer bevorzugter Ausgestaltung der erfindungsgemäßen Vorrichtung ist das Objektiv und der CCD-Bildsensor jeweils ortsfest angeordnet, dem jeweils getrennt motorisch angetriebene, drehbare Horizontal- und Vertikalspiegel zugeordnet sind, die über eine serielle oder parallele Schnittstelle mit dem Blickrichtungs-Prozessor verbunden sind.

Die Motore sind in vorteilhafter Ausgestaltung der Erfindung Schrittschaltmotoren oder Galvanometer.

Die Bildsensoren weisen nach einem bevorzugten weiteren Merkmal eine vertikale Abtastfrequenz von 50 HZ oder höher auf, beispielsweise 60 Hz (PAL bzw. NTSC Video- Standard) und/oder bis zu 250 Hz.

Ein weiteres bevorzugtes Merkmal der erfindungsgemäßen Vorrichtung sieht vor, daß der Blickrichtungs-Prozessor als Zusatzkarte mit dem Hauptprozessor verbunden ist.

In zweckmäßiger weiterer Ausgestaltung der Erfindung kann der Blickrichtungs-Prozessor als eine eigenständige Einheit, einem standalone-Baustein, ausgebildet sein.

Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung ermöglicht die schattenfreie gleichmäßige Ausleuchtung des Auges des Betrachters. Dadurch wird eine gegenüber Umgebungslicht unempfindliche optimale Kontrastbildung zwischen Pupille und Iris des Betrachters erreicht, so daß der Pupillenmittelpunkt und die Lage der kornealen Reflexionen exakt bestimmbar wird.

Es hat weiterhin den wesentlichen Vorteil, daß größere Kopf- und Augenbewegungen durch den Betrachter in vertikaler oder horizontaler Richtung kompensiert werden, ohne die Blickrichtung des Betrachters zu verlieren.

Mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung wird es möglich, die Blickrichtung des Auges eines Probanden bei Betrachten eines Objektes auch bei größeren und schnelleren Kopfbewegungen und Entfernungen vom Objekt, d. h. signifikante Blickwinkeländerungen von vertikal ± 20° und horizontal ± 30° sowie Distanzen von bis zu zwei Metern kontaktfrei zu bestimmen.

Außerdem hat die Erfindung den Vorteil, daß Veränderungen des Augenabstandes vom Objektiv berücksichtigt werden können, in dem eine automatische Nachkalibrierung erfolgt.

Hieraus läßt sich der Vorteil der hohen Flexibilität und Variabilität des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung bei medizinischen Anwendungen oder Marketinganwendungen erkennen.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispieles unter Bezugnahme auf die beigefügten Zeichnungen.

Es zeigen im einzelnen:

Fig. 1 eine Prinzipdarstellung des Gesamtsystems, mit dem das erfindungsgemäße Verfahren durchgeführt wird,

Fig. 2 ein nach dem erfindungsgemäßen Verfahren gewonnenes typisches Augenbild,

Fig. 3 die Variante der motorischen Nachführung zum Erfassen von Kopfbewegungen,

Fig. 4 die Variante der Spiegelnachführung zum Erfassen von Kopfbewegungen,

Fig. 5 ein Blockschaltbild der Bilderfassung und -verarbeitung mit zeitlichem Verarbeitungsschema,

Fig. 6 ein Blockschaltbild der Steuerung der Impulsbeleuchtung,

Fig. 7 eine Darstellung des analogen Augenbildes mit Überlagerung (Overlays) des nach dem erfindungsgemäßen Verfahrens ermittelten Pupillenmittelpunktes und eines kornealen Reflexes,

Fig. 8 ein Blockschaltbild des erfindungsgemäßen Verfahrens,

Fig. 9 ein Ablaufdiagramm der Schwellwert- Binarisierung,

Fig. 10 ein Ablaufdiagramm zur Bestimmung der Pupillenposition und

Fig. 11 ein Ablaufdiagramm für die automatische Einstellung des Schwellwertes (Autothresholding).

Fig. 1 zeigt den Prinzipaufbau der erfindungsgemäßen Vorrichtung. Der Anwender 1 betrachtet mit seinen Augen 2 eines der auf dem Monitor 3 gezeigten Szenenbilder, die Objektgebiete 4 mit darin enthaltenen Objekten 5 beinhalten. Ein Auge 2 des Anwenders 1 wird mittels eines raumfest stehenden bzw. montierten optischen Systems 6 abgetastet. Das optische System 6 (siehe Fig. 3) besteht aus einem mit Zoom, Fokus, Blende und Filter versehenen Objektiv 7 und einem CCD-Bildsensor 8 (CCD- Videokamera). Das Objektiv 7 und der CCD-Bildsensor 8 besitzen jeweils eine separate Steuereinheit 9 und 31, wobei die Steuereinheit 9 von einem Hauptprozessor 10, 14 angesteuert wird.

Das Auge 2 des Anwenders bzw. Probanden 1 wird mit einer steuerbaren Infrarotbeleuchtung 11 beleuchtet und das vom Auge 2 reflektierte Infrarotlicht über das Objektiv 7 auf dem CCD-Bildsensor 8 abgebildet. Andere Lichtanteile außerhalb des IR-Spektrums werden vor dem Objektiv 7 durch nicht dargestellte Filter herausgefiltert, so daß nur infrarote Lichtanteile zum CCD-Bildsensor 8 gelangen.

Die Infrarotbeleuchtung 11 besteht wahlweise aus einer oder aus mehreren separat räumlich getrennten Infrarotquellen 12, die ihre Steuerkommandos vom Blickrichtungs-Prozessor 14 über eine Steuereinheit 32 bekommen.

Der CCD-Bildsensor 8 wandelt das Bild 13 des Auges 2 zusammen mit der Steuereinheit 31 in ein Videosignal um. Das gewonnene Videosignal wird an den Blickrichtungs-Prozessor 14, der als Zusatzkarte mit dem Hauptprozessor 10 verbunden ist, weitergeleitet. Der Blickrichtungs-Prozessor 14 digitalisiert das Augenbild und analysiert das Augenbild hinsichtlich der Pupillenlage und der durch die Infrarotbeleuchtung 11 entstandenen kornealen Reflexionen 19 (siehe Fig. 2).

Außerdem analysiert der Blickrichtungs-Prozessor 14 das digitalisierte Bild hinsichtlich der Bildschärfe, in dem verschiedene Algorithmen das Videobild in Bezug auf die Größe der kornealen Reflexionen und der räumlichen Kontrastunterschiede untersuchen. Durch die interne Datenverbindung des Blickrichtungs-Prozessors 14 mit dem Hauptprozessor 10 ist dieser in der Lage, die Bildschärfe abzufragen und durch eine Datenverbindung 15 vom Hauptprozessor 10 zur Steuerelektronik 9 des Objektivs 7 die Bildschärfe durch Veränderung der Fokussierung nachzuregeln.

Das mit dem optischen System 6 gewonnene Graubild des Auges 2 ist in Fig. 2 schematisch wiedergegeben und enthält eine zumindest zeitlich teilweise durch das obere und untere Augenlid abgedeckte dunkle Pupille 16 mit ihrem Mittelpunkt P, eine graue teilweise sichtbare Iris 17, eine etwas hellere Sklera 18 und eine oder mehrere korneale Reflexionen 19 durch eine oder mehrere Infrarotquellen 12.

Das Augenbild 13 wird im Blickrichtungs-Prozessor 14 analysiert, um den Mittelpunkt P und die Mittelpunkte C₁ . . . C_n der kornealen Reflexionen 19 zu ermitteln. Dazu werden die Zeilen 1 . . . N des Videosignals, beispielsweise CCIR, EIA-Standard oder auch frei definierte Signale zeitlich abgetastet und digitalisiert. Jedes digitalisierte Videobild ist somit als eine zweidimensionale Bildmatrix mit M Spalten und N Zeilen definiert.

Die tatsächliche Lage der einzelnen Mittelpunkte für Pupille 16 und korneale Reflexionen 19 werden aus der Bildmatrix als horizontale X- und vertikale Y-Koordinaten ermittelt. Die relative Lage dieser Punkte zueinander ist ein Maß für die Blickrichtung des Auges relativ zum raumfest montierten CCD-Bildsensor 8 und Infrarotbeleuchtung 11.

Um ein Augenbild auch bei größeren Kopfbewegungen relativ zum raumfest stehenden CCD-Bildsensor 8 zu erfassen, wird entweder das optische Bilderfassungssystem 6 oder das von ihm erfaßte Videobild den Kopfbewegungen nachgeführt.

Nach Fig. 3 ist das Objektiv 7 und der CCD-Bildsensor 8 auf einer zweiachsigen Nachführeinheit 20 befestigt. Dies besteht vorzugsweise aus einem Schwenk- und Neigefuß. Beide Achsen A und B der Nachführeinheit 20 sind durch je einen Motor 21 drehbar angetrieben, wodurch das optische System 6 durch ein horizontales Schwenken und ein vertikales Neigen den Kopfbewegungen folgen kann. Die Motoren 21 werden durch eine Steuereinheit 22 angesteuert, die ihre Richtungskommandos zur Nachführung des optischen Bilderfassungssystems 6 vom Blickrichtungs-Prozessor 14 erhalten. Dazu ist die Steuereinheit 22 über eine serielle oder parallele Schnittstelle 23 mit dem Blickrichtungs-Prozessor 14 verbunden.

Die Infrarotbeleuchtung 11 ist in diesem Beispiel an Nachführeinheit 20 befestigt, sie kann aber auch ortsfest montiert sein.

Für den Fall, daß das erfaßte Videobild den Kopfbewegungen nachgeführt wird, ist das Objektiv 7 und der CCD-Bildsensor B, wie in Fig. 4 dargestellt, separat raumfest montiert. Das durch das Objektiv 7 auf dem CCD-Bildsensor 8 abgebildete Augenbild 13 wird durch zwei davor liegende Spiegel 24 umgelenkt. Die Spiegel 24 werden von Schrittschaltmotoren 25 angetrieben. Ein Spiegel ist für die vertikale Umlenkung, der andere Spiegel für die horizontale Umlenkung verantwortlich.

Die Richtungskommandos erhalten die Motoren 25 vom Blickrichtungs-Prozessor 14, der über eine parallele Schnittstelle 23 mit der Steuereinheit 22 der Motoren 25 verbunden ist.

Die Infrarotbeleuchtung 11 ist ortsfest montiert und beleuchtet entweder direkt das Auge 2 oder wird ebenso über die Spiegel 24 umgelenkt.

Die Fig. 5 zeigt ein Blockschaltbild der Bilderfassung und -verarbeitung mit zeitlichem Verlauf der Verarbeitung der Informationen.

Das Bild des Auges 2 wird standardmäßig mit dem CCD- Bildsensor 8 durch Integration über ein Zeitintervall T_i erfaßt. Zum Zeitpunkt des Bildwechsels wird das Augenbild 13 auf dem CCD-Bildsensor 8 umgespeichert, damit das nachfolgende Bild erfaßt werden kann. Erst jetzt beginnt die Übertragung des zuvor erfaßten Bildes durch die Steuereinheit 31 über die Videoleitung 26 zum Blickrichtungs-Prozessor 14. Die Übertragung der Bildinformationen benötigt einen Zeitraum T_u bis das gesamte Bild im Blickrichtungs-Prozessor 14 digitalisiert worden ist. Erst ab diesem Zeitpunkt sind alle Daten verfügbar, um die Position des Auges zu analysieren. Frühestens ist damit erst nach einem Zeitraum T_i + T_u die Augenposition digitalisiert und in Bezug auf die Augenposition analysierbar.

Bei CCD-Kameras nach CCIR-Standard beträgt dieser Zeitraum beispielsweise 2 × 20 ms. Erst nach einer weiteren Verarbeitungszeit T_a zur Analysierung des Videobildes kann das Augenbild durch eine motorische Verschiebung des optischen Systems 6 auf eine Bewegung des Kopfes oder Augenbewegungen reagieren. Bekanntlich können Augenbewegungen und auch Kopfbewegungen sehr schnell erfolgen. Daher ist es möglich, daß durch die zeitliche Verzögerung die Nachführung zu spät erfolgt und das Augenbild verloren ist.

Um dieses Zeitintervall T₁ + T_u + T_a zu minimieren, wird das Auge durch eine zeitlich gesteuerte Impulsbeleuchtung für einen Zeitraum T_b < T_i beleuchtet. Der Beleuchtungszeitraum wird dabei so gewählt, daß er kurz vor Ablauf des Bildintegrationszeitraumes T_i des CCD-Bildsensors 8 liegt. Damit reduziert sich die Verzögerung auf T_u + T_b + T_a welche deutlich kleiner ist als T_i + T_u + T_a, da T_b < T_i ist.

Bei der Digitalisierung des Videobildes stellt der Blickrichtungs-Prozessor 14 die genauen Zeitpunkte für den Beginn und das Ende des Videobildes fest. Entsprechend der eingestellten Lichtenergie wird dann der Belichtungszeitraum vom Blickrichtungs-Prozessor 14 eingestellt und die Infrarotbeleuchtung 11 über eine von der Stromstärke einstellbaren und zeitlich steuerbaren Stromquelle 47 gesteuert.

Hierzu wird ein Ein/Ausschalter 28 durch die vom Blickrichtungs-Prozessor 14 gesteuerte Pulssteuerung 29 betätigt (siehe Fig. 6).

Die Fokuseinstellung des Objektives 7 ist über eine serielle oder auch parallele Schnittstelle 30 durch den Hauptprozessor 10 fernsteuerbar. Die Kommandos dazu erhält die Steuereinheit 9 des Objektives 8 vom Hauptprozessor 10 aus. Zugleich analysiert der Blickrichtungs-Prozessor 14 die Bildschärfe des Bildes, in dem in Bezug auf die Größe der kornealen Reflexionen 19 die maximale Schärfe bei minimaler Größe der Reflexionen kontrolliert wird. Ebenso werden die Kontrastunterschiede der Kanten der Pupille und Reflexionen auf maximale Schärfe bei steilsten Helligkeitsübergang an den Kanten untersucht. Durch die interne Datenverbindung von Blickrichtungs-Prozessor 14 und Hauptprozessor 10 kann letzterer die Bildschärfe abfragen. Durch die Datenverbindung 15 vom Hauptprozessor 10 zur Steuereinheit 9 des Objektives 7 läßt sich die Bildschärfe entsprechend nachregeln.

Auch die Vergrößerung des Objektivs 7 läßt sich vom Hauptprozessor 10 aus über die serielle Schnittstelle oder parallele Schnittstellen 30 verändern, in dem die Steuereinheit 9 vom Hauptprozessor 10 entsprechende Kommandos erhält. Dies ermöglicht einerseits einen unterschiedlichen Arbeitsabstand vom Auge zur Kamera zu realisieren und andererseits das Auge des Anwenders leichter aufzufinden. Dabei wird zuerst in einer Weitwinkelstellung der Kopf erkannt und darin das zu erfassende Auge 2 gefunden. Mit Hilfe der Spiegel 24 oder der Nachführeinheit 20 wird dann das Videobild auf das Auge zentriert. Anschließend wird das Bild kontinuierlich vergrößert, während die automatische Fokussierung das Bild scharf abbildet.

Die Nachführung hält dann das Auge zentriert bis das Augenbild ausreichend groß genug ist für die genaue Erfassung der Blickposition.

Wie aus Fig. 3 zu erkennen ist, wird auch die Blende des Objektivs 7 durch den Hauptprozessor 10 fernbedient, um eine Anpassung der Helligkeit des Augenbildes zu ermöglichen. Die Steuerung der Blende erfolgt ebenfalls über die serielle oder parallele Schnittstelle 30 vom Hauptprozessor 10 aus. Dies geschieht so, daß eine Maximierung des Kontrastes des Videobildes vorgenommen wird, ohne eine Helligkeits- Übersteuerung des CCD-Bildsensors 8 zu erzeugen. Zuvor wird durch die Pulssteuerung 29 die maximal zulässige Intensität der gepulsten IR-Beleuchtung eingestellt, damit durch eine möglichst große Blendeneinstellung eine maximale Tiefenschärfe erreicht wird.

Mit Hilfe des Blickrichtungs-Prozessors 14 und der zuvor beschriebenen erfindungsgemäßen Vorrichtung lassen sich nun die Koordinaten der Pupillenmitte P und der kornealen Reflexionen 19 ermitteln.

Um mit diesen Koordinaten die Blickrichtung in Bildschirmkoordinaten des zu betrachtenden Monitors bestimmen zu können, erfolgt eine Blickrichtungskalibrierung. Dazu werden eine unterschiedliche Anzahl von Fixationspunkten 33 auf dem Bildschirm des Monitors 3 gezeigt. Der Anwender fixiert diese Fixationspunkte ausreichend lang und in vorgegebener Reihenfolge.

Die Anzahl der Fixationspunkte variiert je nach Anforderung zwischen mindestens einem Punkt und maximal 13 Punkten. Dabei können 2 Punkte horizontal, 3 Punkte horizontal, 3 Punkte diagonal, 5 Punkte in Kreuzform, 5 Punkte diagonal, 9 bis 13 Punkte gleichmäßig auf dem Bildschirm verteilt dargestellt sein.

Aus den gewonnenen Meßdaten für die Pupillenposition, der kornealen Reflexionen und den Koordinaten der vorgegebenen Fixationspunkte läßt sich auf Basis unterschiedlicher mathematischer Modelle und mathematischer Näherungsverfahren eine Transformationsmatrix gewinnen, mit der anschließend die gemessenen Daten der Pupille und der kornealen Reflexionen in die Blickposition auf dem betrachteten Bildschirm transformiert werden können.

Die Korrektur systematischer Meßfehler der Blickposition, die durch zeitabhängige Veränderungen der Systemumgebung, beispielsweise durch Verschiebungen oder Verdrehen des Kopfes relativ zum CCD-Bildsensor oder auch durch Pupillendurchmesserveränderungen, erfolgt durch eine dynamische Rekalibrierung. Hierzu erfolgt ein Vergleich des Ist- und Sollwertes an zuvor definierten Gegenstandsobjekten des Monitors 3. Die Rekalibrierung wird nur dann ausgelöst, wenn der gemessene Fehler oberhalb einer durch die allgemeine Meßgenauigkeit des Systems vorgegebenen Grenze liegt. Zwei oder mehrere korneale Reflexionen 19 ermöglichen einen größeren Meßbereich und außerdem eine Kompensation der ermittelten Blickrichtung bei unterschiedlichen Entfernungen des Auges vom Augenbild. Je näher das Auge an die Beleuchtung 11 oder den CCD-Bildsensor 8 kommt, desto weiter liegen die kornealen Reflexionen 19 auseinander.

Die Einstellung der Fokussierung ist veränderlich mit dem Abstand des beobachteten Auges 2 vom Objektiv 7 und damit vom Bildschirm. Mit der Scharfstellung des Augenbildes durch die Autofokussierung erhält man durch Abfrage der aktuellen Fokuseinstellung eine Aussage über den Abstand Kopf zum Bildschirm. Der Hauptprozessor 10 erfaßt neben der Fokussierung auch die jeweils eingestellte Vergrößerung.

Über eine mehrdimensionale Kalibrierungsmatrix ermittelt der Hauptprozessor 10 den veränderten Augenabstand und korrigiert die Kalibrierung der Blickrichtung auf dem Bildschirm.

Der nachfolgend beschriebene erfindungsgemäße Verfahrensablauf gemäß Fig. 7 bis Fig. 11 erkennt Schatten als Grautöne, die nahe des Grautones der Pupille liegen, und daher die sichere Bestimmung des Pupillenmittelpunktes P stören können. Ahnliches gilt für zusätzliche Reflexionen auf der Kornea, welche die Erfassung der kornealen Reflexionen stören.

Durch die IR-Beleuchtung zur Ermittlung des Pupillenmittelpunktes P und der kornealen Reflexionen 19 wird eine hervorragende Bildqualität des Augenbildes erzielt, wie in Fig. 7 gezeigt. Die Zielfadenkreuze 50 und 51 der kornealen Reflexionen 19 sind deutlich zu erkennen.

In Fig. 8 ist ein Blockschaltbild gezeigt, nach dem das erfindungsgemäße Verfahren abläuft.

Auf einer PC ISA-kompatiblen Einschubkarte ist ein Videomultiplexer 34 mit maximal drei Videoeingängen realisiert.

Wahlweise stehen für diese drei Videoeingänge CCD- Bildsensoren 7 mit einer vertikalen Abtastfrequenz von 50 Hz für die Standardwiederholrate oder mit einer vertikalen Abtastfrequenz von 250 Hz für höhere Bildwiederholraten zur Verfügung.

Die analogen Signale gelangen einerseits über einen 8-bit-Analog/Digital-Umsetzer 35 als Graustufenbild zum Blickrichtungs-Prozessor 14. Die Verteilung der unterschiedlichen Grautöne wird mit einer Histogrammfunktion analysiert.

Außerdem werden die analogen Video-Eingangssignale nach der Analog-Digital-Umsetzung in einer Kantendetektionslogik 36 zunächst in Ereignisse zerlegt, die sich durch Dunkel-Hell-Übergänge bzw. Hell-Dunkel-Übergänge charakterisieren lassen. Diese Übergänge werden in Form von Ereignissen (Events) für jede Videozeile getrennt für die Pupille und die kornealen Reflexionen in einer Ereignistabelle im Speicher des Blickrichtungs-Prozessors 14 abgelegt.

Der Videoausgang 37 ist für das Augenbild 13 vorgesehen. Zusätzlich ist ein Videoausgang 39 mit handelsüblichem VGA-Standard vorhanden. Mit Hilfe eines RAMDAC 40 wird für den Ausgang 37 die Digital/Analog-Wandlung der Signale vorgenommen, mit der Möglichkeit mittels des Overlays 38, auch Falschfarben mit in das Ausgangssignal einzumischen.

Der 32-bit Prozessor-Bus 42 ist mit den Schnittstellen für die Peripherie verbunden. Die Ansteuerung externer Funktionen, beispielsweise Ansteuerung von Schaltern über Relais oder elektronischen Steuereinheiten, ermöglichen vier 12-bit DAC-Ports 43 mit 100 kHz Wandlungsrate. Ein 12-bit ADC-Port 44 für acht Kanäle im Multiplex-Betrieb kann zur Erfassung weiterer Meßwerte herangezogen werden.

Für den stand-alone-Betrieb sind ferner ein 8-bit Digital-Input/Output 45 und serielle Ports 46 vorgesehen.

Weiterhin ist eine Stromquelle 47 oder es sind mehrere Stromquellen vorhanden, die den erforderlichen Strom für die Infrarotquelle 12 bei der Abtastung des Auges 2 des Anwenders 1 durch den CCD-Bildsensor 8 liefern.

Der 16-bit ISA-Bus 48 stellt die Verbindung zu weiteren PC-Einschubkarten und dem Hauptprozessor 10 bei Einsatz im PC her.

Der Erweiterungsport 49 ermöglicht den Anschluß weiterer Funktionsbausteine, beispielsweise zusätzliche Koprozessoren und Logik.

Wie in Fig. 9 gezeigt, wird zunächst voneinander unabhängig für die Pupille und die korneale Reflexion ein Schwellwert für die Helligkeit der Pupille, die kornealen Reflexionen sowie den Kontrastwechsel entweder automatisch aus dem Histogramm und Kantenanalyse oder manuell eingestellt.

Jede Videozeile wird nach Dunkel-Hell- bzw. Hell- Dunkel-Übergängen abgesucht und bei Überschreiten der Schwellwerte diese Positionen als "Start of Line" (SOL), "Start Event" (SE) und "End Event" (EE) in der zuvor beschriebenen Ereignistabelle abgelegt.

Mit Hilfe der nachfolgend beschriebenen Analyse der Ereignistabelle werden die Koordinaten des Pupillenmittelpunktes P und die der kornealen Reflexionen 19 werden in der Maßeinheit Pixel ermittelt. Diese Maßeinheit bestimmt die horizontale und vertikale Anzahl von digitalisierten Punkten im Videobild.

Da die Pupille des menschlichen Auges 2 bei der Abtastung durch Infrarotstrahlen als zusammenhängende schwarze Fläche erscheint, beginnt die Bestimmung der Pupillenposition gemäß Ablaufdiagramm in Fig. 10 mit der Auswertung der entsprechenden Ereignisse.

Im nächsten Schritt gemäß Fig. 10 wird zeilenweise die Spanne zwischen den Ereignisse SE und EE bestimmt, die als Zahl der Pixel zwischen dem Beginn und dem Ende eines Ereignisses definiert ist. Die Spannen werden als horizontales Objekt einer Gruppe zugeteilt. Jedes weitere horizontale Objekt wird einer weiteren Gruppe zugeordnet.

Horizontale Objekte, die vertikal aneinander grenzen, bilden ein Flächenobjekt. Man kontrolliert, ob sich die horizontalen Objekte vertikal überschneiden. Ist dies der Fall, gehören diese zusammen.

Von den zweidimensionalen Objekten werden die Flächen ermittelt und daraus der Mittelpunkt erfaßt. Um jedes der Objekte wird ein Rechteck gelegt. Das Verhältnis der Seitenlängen und der Füllgrad des Rechtecks als ein spezifisches Maß für die Pupille filtern das korrekte Objekt heraus.

Die Bestimmung der kornealen Reflexionen verläuft analog zur Bestimmung der Pupillenposition. Der Beginn eines Ereignisses für die korneale Reflexion ist daher durch einen Dunkel-Hell-Übergang, sein Ende durch einen Hell-Dunkel-Übergang charakterisiert.

Bei der automatischen Bestimmung der Schwellwerte gemäß Fig. 11 werden über alle Videozeilen die einzelnen Graustufen ermittelt und in Form eines Histogramms zusammengestellt.

Ändert sich die Beleuchtung des Auges 2, verschiebt sich das Verteilungsspektrum des Graustufen- Histogramms. In diesem Fall erfolgt eine Anpassung der Schwellwerte für Helligkeit und Kontrastübergänge in die gleiche Richtung des Grauton-Spektrums.

Dies erlaubt ein automatisches Erkennen der Pupille und der kornealen Reflexionen.

Die Anwendung der Erfindung wird nachfolgend am Beispiel einer WWW-Marketinganalyse beschrieben.

Der grafische Teil des Internet, das "World Wide Web" (WWW), gewinnt mit seiner rasanten Wandlung vom Informationsnetz für Wissenschaftler zum Massenmedium stark an Bedeutung als Werbeträger.

Zur mediengerechten Gestaltung und gezielten Optimierung der Anzeigen werden Basisdaten über die Wahrnehmung von WWW-Anzeigen durch die Benutzer benötigt.

Mit der zuvor beschriebenen Erfindung läßt sich die Blickposition von WWW-Benutzern kontaktlos messen. Der Proband 1 arbeitet dabei an einem Standard-PC mit Internet-Browser-Software, beispielsweise Netscape Navigator oder Microsoft Internet Explorer. Unterhalb des PC-Bildschirms wird das erfindungsgemäße Bilderfassungssystem 6 angebracht.

Der vom Blickrichtungs-Prozessor 14 kontrollierte CCD-Bildsensor 8 (Videokamera) liefert aus einem Abstand von 50 bis 150 cm Bilder eines Auges des Probanden 1, die dann mit dem erfindungsgemäßen Verfahren analysiert werden. Die Augen des Probanden 1 werden wie vordem beschrieben mit Infrarotstrahlen der Infrarotbeleuchtung 11 unsichtbar beleuchtet. Helligkeit und Pulsdauer dieser Beleuchtung wird durch den Blickrichtungs-Prozessor 14 gesteuert. Die Kopfbewegungen des Probanden 1 werden durch die ebenfalls bereits beschriebene Nachführeinheit 20 kompensiert.

Zu Beginn der Meßsitzung werden mittels ein Kalibrierung mit 5 oder 9 Fixationspunkten 33 die Augenbewegungen des Probanden 1 auf dem Bildschirm des Internet-PC kalibriert. Danach benutzt der Proband 1 in völlig normaler Weise die Internet-Browser-Software zum Betrachten der WWW-Seiten mit dem zu analysierenden Werbeinhalt. Dabei wird die Blickposition des Probanden kontinuierlich in nahezu Echtzeit analysiert und aufgezeichnet.

Die Blickposition des Probanden wird in digitaler Form über die serielle oder parallele Schnittstelle oder über eine Netzwerkverbindung vom Internet-PC an den Kontroll-PC übertragen und dort gemeinsam mit dem HTML- Code der gerade vom Probanden betrachteten WWW-Seiten gespeichert. Analysen der Blickdaten können dabei sowohl online als auch nachträglich OFF-Line erfolgen.

Die gewonnenen Daten werden in folgender Weise analysiert.

Zunächst werden manuell geometrische Objekte definiert, die bestimmten Bereichen auf dem Bildschirm, beispielsweise einzelnen Werbeanzeigen auf der WWW-Seite, entsprechen. Mit der Erfindung kann dann die Dauer und Reihenfolge der Betrachtung dieser Objekte durch den Probanden ermittelt und ausgewertet werden. Diese Analyse ist sowohl online als auch OFF-Line durchführbar.

Die Objektanalyse kann jedoch auch automatisch auf dem vom Probanden benutzten Internet-PC durch Analyse des Codes der vom Browser dargestellten und vom Benutzer betrachteten HTML-Seite erfolgen.

Es ist weiterhin möglich, den Schritt des manuellen Anklickens der Verknüpfungen durch den Probanden entfallen zulassen und direkt die Blickpositions informationen in Verbindung mit HTML-basierter Online- Objektanalyse und einer Fixationsanalyse direkt zum Auslösen von Aktionen im Internet-PC zu nutzen, beispielsweise zum Aktivieren von Verknüpfungen. Somit ist die Bedienung von Browser-Software nur durch reine Augenbewegungen des Probanden möglich.

Im Gegensatz zu anderen bekannten Lösungen zur Messung der WWW-Werbung, bei denen die Zahl und Dauer der Zugriffe auf ganze WWW-Seiten oder das Klicken auf die Hypertext-Links gemessen werden, ist es durch die Erfindung möglich, die tatsächliche Betrachtungsdauer von einzelnen Objekten innerhalb einer WWW-Seite zu messen. Dies gestattet, zwischen mehreren auf derselben Seite plazierten Anzeigen zu differenzieren und die Attraktivität ihrer Gestaltung sowie die günstigste Plazierung objektiv zu beurteilen.

Bezugszeichenliste

1

Anwender bzw. Proband

2

Auge

3

Monitor

4

Objektgebiet

5

Objekte

6

optisches Bilderfassungssystem

7

Objektiv

8

CCD-Bildsensor (CCD-Videokamera)

9

Steuereinheit von

7

10

Hauptprozessor

11

Infrarotbeleuchtung

12

Infrarotquellen

13

Augenbild

14

Blickrichtungs-Prozessor

15

Datenverbindung zwischen Steuereinheit und Hauptprozessor

16

Pupille

17

Iris

18

Sklera

19

korneale Reflexionen

20

Nachführeinheit

21

Motore für

20

22

Steuereinheit für

21

und

25

23

serielle Schnittstelle für

22

24

Spiegel

25

Schrittschaltmotore für

24

26

Videoleitung

28

Ein/Ausschalter für

11

29

Pulssteuerung für

11

30

Schnittstelle für Fokus

31

Steuereinheit für CCD-Bildsensor

32

Steuereinheit für IR-Beleuchtung

33

Fixationspunkte für Kalibrierung

34

Video-Multiplexer

35

8-bit Analog/Digital-Umsetzer

36

Kantendetektor- Logik

37

Videoausgang

38

Overlay

39

zusätzlicher Videoeingang

40

RAMDAC mit Falschfarbenüberlagerung

41

Videospeicher

42

32-bit Prozessor-Bus

43

12-bit DAC-Port

44

12-bit ADC-Port

45

8-bit Digital Input/Output

46

serieller Port

47

Infrarotstromversorgung

48

16-bit ISA-Bus

49

Erweiterungsport

50

,

51

Zielfadenkreuze
A, B Achsen der Nachführeinheit
C₁

. . . C_n

Koordinaten der kornealen Reflexe
P Koordinaten der Pupille
T_i

Zeit für die Integration des Bildes
T_u

Zeit für die Übertragung des Bildes
T_a

Zeit für die Analyse des Bildes
T_b

Zeit für die Beleuchtung des Auges

Claims

1. Verfahren zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen, bei der das Auge mit oder ohne pulsierendem Infrarotlicht beleuchtet, durch ein optisches System abgebildet, von mindestens einem Bildsensor (CCD-Kamera) aufgenommen und das so gewonnene Bild anschließend in einem, durch einen Hauptprozessor konfigurierbaren Blickrichtungs-Prozessor zur Bestimmung der Blickposition durch Ermittlung der Positionen der Pupillenmitte und kornealen Reflexionen weiterverarbeitet und auf einem Monitor angezeigt wird, dadurch gekennzeichnet, daß aus dem erfaßten analogen Videosignal des Augenbildes durch zeilenorientierte Analog/Digital-Umsetzung ein digitales Graustufenbild im Speicher des Blickrichtungs-Prozessors erzeugt wird, das zeitlich nacheinander abgetastet, verarbeitet und gleichzeitig der digitale Datenstrom in eine Katendetektionslogik eingespeist wird, in der

a) die Graustufenverteilung über alle Videozeilen analysiert, als Histogramm zusammengestellt und dieses zur Speicherung und weiteren Verarbeitung dem Blickrichtungs-Prozessor und/oder
b) jede Videozeile nach Dunkel-Hell- bzw. Hell-Dunkel- Übergängen abgesucht, die Position der ermittelten Übergänge je Bildzeile dem Speicher des Blickrichtungs- Prozessors zur Speicherung in einer Ereignistabelle

zugeführt werden, mit denen der Blickrichtungs-Prozessor die Koordinaten des Pupillenmittelpunktes und der kornealen Reflexionen bestimmt, und daß sodann die gewonnenen Koordinaten des Pupillenmittelpunktes und wenigstens einer kornealen Reflexion als Overlay in Form von Zielfadenkreuzen im Augenbild angezeigt werden, diese Koordinaten auf mindestens einem vorgegebenen Fixationspunkt kalibriert werden, in dem diese auf physikalische Größen des Gegenstandsfeldes umgerechnet und anschließend zwischen gespeichert werden, so daß bei jeder, eine vorgegebene Fehlergröße überschreitenden Veränderung automatisch eine Anpassung der Kalibrierdaten durchgeführt wird, und daß aus den zuvor bestimmten Koordinaten für den Pupillenmittelpunkt und der kornealen Reflexionen die Blickrichtung ermittelt wird, die an den Hauptprozessor weitergeleitet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das analoge Augenbild bei einer vertikalen Abtastfrequenz von 50 bis 250 Hz (Pixelfrequenz bis zu 20 Mhz) in das Graustufenbild umgesetzt, gleichzeitig der digitale Datenstrom in der Kantendetektionslogik als Grauwert- Histogramm zusammengestellt wird, aus dem automatisch Schwellwerte für die Detektion der Pupille und der kornealen Reflexionen bestimmt werden.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das analoge Augenbild bei einer Pixelfrequenz von bis zu 20 Mhz und bei variablen horizontalen und vertikalen Abtastfrequenzen nach Einstellen von getrennten Grauton-Schwellwerten für die Pupille und kornealen Reflexionen sowie deren Kontrastwechsel durch eine Kantendetektions-Logik verarbeitet wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Pulssteuerung der Infrarotbeleuchtung die Zeitinformationen des Bildes verwendet werden, wobei die Infrarotbeleuchtung synchron zum anliegenden Videobild verläuft, jedoch zum Ende der Belichtungsdauer hin zeitlich versetzt ein- und ausgeschaltet wird.

5. Verfahren nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß vom Blickrichtungs-Prozessor die Zeit T_i für die Integration des Bildes, die Zeit T_u für die Digitalisierung und Übertragung des digitalisierten Bildes und die Zeit T_a für die Analyse des digitalisierten Bildes festgestellt, der Belichtungszeitraum der Infrarotbeleuchtung auf eine Zeit eingestellt wird, die kleiner ist als die Zeit T_i für die Digitalisierung des vom Bildsensor aufgenommenen Bildes und der Beginn der Belichtung des Auges an das Ende des Integrationszeitraumes des Bildes gelegt wird, wobei die Beleuchtung über eine von der Stromstärke regelbaren und zeitlich einstellbaren, durch den Prozessor ansteuerbaren Stromquelle eingestellt wird.

6. Verfahren nach Anspruch 1 bis 5, dadurch gekennzeichnet, daß zur Beleuchtung ein oder mehrere Infrarotquellen verwendet werden.

7. Verfahren nach Anspruch 1 bis 6, dadurch gekennzeichnet, daß zur Ausleuchtung des Auges und zur Erzeugung der kornealen Reflexionen separate Infrarotquellen verwendet werden.

8. Verfahren nach Anspruch 1 bis 7, dadurch gekennzeichnet, daß die Infrarotquellen zur Zuordnung und bei der Auswertung der entsprechenden Videobilder alternierend und abwechselnd angesteuert werden.

9. Verfahren nach Anspruch 1 bis 8, dadurch gekennzeichnet, daß durch den Blickrichtungs-Prozessor (14) die Bildschärfe des digitalisierten Bildes mittels der räumlichen Kontrastunterschiede im Videobild durch Nachregelung der Fokussierung des Objektivs (7) eingestellt wird.

10. Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß zusätzlich die Steuereinheit (31) die Bildschärfe vorauswertet und das Objektiv (7) danach fokussiert.

11. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß der Hauptprozessor (10) eine Steuereinheit (9) des Objektivs (7) für ZOOM/Vergrößerung, Fokus und Blende über eine serielle oder parallele Schnittstellen (30) ansteuert und deren Einstellung ermittelt.

12. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß über die aktuelle Einstellung des Fokus der Abstand des Auges vom Objektiv (7) ermittelt wird, wobei bei Abstandsänderungen die Kalibrierung automatisch angepaßt wird.

13. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß der Blickrichtungs-Prozessor (14) eine Steuereinheit (32) der IR- Beleuchtung (11) ansteuert.

14. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß der Blickrichtungs-Prozessor (14) eine Nachführeinheit (20) für die Erfassung des Augenbildes bei Kopf- und Augenbewegungen über eine serielle oder parallele Schnittstelle (23) ansteuert.

15. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Nachführeinheit (20) jeweils direkt von einem Motor (21) zum getrennten Schwenken und Neigen angetrieben werden.

16. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß das erfaßte Bild den Kopfbewegungen nahezu zeitgleich nachgeführt wird.

17. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Fixationspunkte (33) zur Kalibrierung horizontal, diagonal, in Kreuzform oder gleichmäßig verteilt auf dem Bildschirm dargestellt werden.

18. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß das CCD-Videosignal auf den Analog/Digital-Umsetzer (35) und danach auf eine Kantendetektor-Logik (36) geschaltet wird.

19. Verfahren nach einem oder mehreren der vorherigen Ansprüche, dadurch gekennzeichnet, daß die im Speicher abgelegte Histogrammfunktion ein automatisches Erkennen der Pupille und der kornealen Reflexionen gewährleistet.

20. Verfahren nach einem oder mehreren der, vorherigen Ansprüche, dadurch gekennzeichnet, daß die digitalen Bildausgangssignale in analoge Ausgangssignale umgesetzt werden, denen Falschfarben zumischbar sind.

21. Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung des Auges bei größeren und schnelleren Kopf- und Augenbewegungen, mit mindestens eine das Auge beleuchtenden Infrarotquelle, mindestens einem das Auge abbildenden optischen System, bestehend aus Objektiv mit Fokus, Zoom, Blende, Filter und mindestens einen das Bild erfassenden CCD-Sensor, einem die Blickrichtung berechnenden, an einen Hauptprozessor angeschlossenen Prozessor und einem die Pupillenmitte und die kornealen Reflexionen anzeigenden Monitor, dadurch gekennzeichnet, daß sie aus einem Videomultiplexer (34), auf dessen Eingänge mehrere Video-Signale gelegt sind, denen die Bildsensoren (8) zugeordnet sind, und dessen Ausgang entweder direkt über ein Analog/Digital-Umsetzer (35) und über eine Kantendetektions-Logik (36) mit dem Blickrichtungs-Prozessor (14) verbunden ist, und aus einem Digital/Analog-Wandler (RAMDAC) (40) für die Bildsignale besteht, wobei wenigstens ein Video-Ausgang (37) für die Anzeige des Augenbildes mit überlagerten Markierungen der Pupille und kornealen Reflexionen vorgesehen ist, und daß über eine oder mehrere serielle und/oder parallele Schnittstellen (23, 30) eine Steuereinheit (22, 9, 32) für den Antrieb zum Verschwenken in horizontaler und vertikaler Richtung zur Verfolgung der Kopfbewegung, für die automatische Fokussierung, die Blendeneinstellung und automatische Suche des Augenbildes und für die IR-Beleuchtung (11) mit dem Blickrichtungs- Prozessor (14) verbunden sind.

22. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß mehrere Infrarotquellen (12) horizontal oder vertikal versetzt zum optischen Bilderfassungssystem (6) angeordnet sind.

23. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß eine einzige Infrarotquelle (12) koaxial ortsfest vor dem Objektiv (7) angeordnet ist.

24. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß die Infrarotbeleuchtung (11) über einen mittels der Pulssteuerung (29) vom Blickrichtungs-Prozessor (14) gesteuerten Ein/Ausschalter (28) mit einer geregelten Stromquelle (47) verbunden ist.

25. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß das Objektiv (7), der CCD-Bildsensor (8) auf einer zweiachsigen dreh- und schwenkbaren Nachführeinheit (20) befestigt sind, deren Achsen (A,B) zueinander senkrecht stehen und die mit separaten Motoren (21) verbunden sind.

26. Vorrichtung nach Anspruch 21, 22 und 23, dadurch gekennzeichnet, daß die Infrarotquellen (12) an der Nachführeinheit (20), vorzugsweise einem Schwenk- und Neigefuß, montiert sind.

27. Vorrichtung nach Anspruch 21 und 22, dadurch gekennzeichnet, daß die Infrarotquellen (12) ortsfest im Raum angeordnet sind.

28. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß der CCD-Bildsensor (8) und das Objektiv (7) ortsfest angeordnet sind, dem jeweils separat motorisch angetriebene Horizontal- und Vertikalspiegel (24) zugeordnet sind, die in der Abbildungsebene des CCD-Bildsensors (8) liegen.

29. Vorrichtung nach Anspruch 28, dadurch gekennzeichnet, daß den Spiegeln (24) jeweils separate Schrittmotore oder Galvanometer zugeordnet sind.

30. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß der CCD-Bildsensor (8) eine vertikale Abtastfrequenz von 50 Hz oder höher aufweist.

31. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß der Blickrichtungs-Prozessor (14) eine Zusatzkarte ist, die mit dem Hauptprozessor (10) verbunden ist.

32. Verfahren nach Anspruch 21 und 31, dadurch gekennzeichnet, daß der Blickrichtungs-Prozessor (14) als eine eigenständige Einheit ausgebildet ist.