DE19736995B4

DE19736995B4 - Vorrichtung zum Bestimmen eines Fixationspunktes

Info

Publication number: DE19736995B4
Application number: DE1997136995
Authority: DE
Inventors: Jin Dr.-Ing. Liu
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 1997-08-26
Filing date: 1997-08-26
Publication date: 2009-05-07
Anticipated expiration: 2017-08-27
Also published as: WO1999009880A2; WO1999009880A3; DE19736995A1; US6553281B1

Abstract

Vorrichtung zum Bestimmen eines Fixationspunktes (3) eines anthropomorph aufgebauten Auges (5) beim Betrachten eines Gegenstandes (1) mit einer Augenreferenzpunktsdetektionseinrichtung, mit der das Auge (5) innerhalb eines vorbestimmten Raumbereiches abbildbar ist, mit einem als Flächendetektor ausgebildeten Augenreferenzpunktsdetektor (6), mit dem ein zu dem Auge (5) in fester räumlicher Beziehung stehender Augenreferenzpunkt (49) detektierbar ist, mit einer Blickrichtungsdetektionseinrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, wobei die Blickrichtungsdetektionseinrichtung über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor (9) verfügt, der mit einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement (11) auf das Auge (5) ausrichtbar ist und mit dem wenigstens die Pupille (13) sowie die unmittelbare Pupillenumgebung (14, 15) abbildbar ist, und wobei das Schwenk/Neigeelement (11) von einer mit Steuersignalen aus der Augenreferenzpunktsdetektionseinrichtung speisbaren und nachführbaren Nachführeinheit (21) so einstellbar ist, daß bei Bewegen des Auges (5) im Raum der Blickrichtungsdetektor (9) auf das Auge (5) ausgerichtet bleibt, und mit einer...

Description

Die Erfindung betriff eine Vorrichtung zum Bestimmen eines Fixationspunktes eines anthropomorph aufgebauten Auges beim Betrachten eines Gegenstandes mit einer Augenreferenzpunktsdetektionseinrichtung, mit der das Auge innerhalb eines vorbestimmten Raumbereiches abbildbar ist, mit einem als Flächendetektor ausgebildeten Augenreferenzpunktsdetektor, mit dem ein zu dem Auge in fester räumlicher Beziehung stehender Augenreferenzpunkt detektierbar ist, mit einer Blickrichtungsdetektionseinrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, wobei die Blickrichtungsdetektionseinrichtung über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor verfügt, der mit einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement auf das Auge ausrichtbar ist und mit dem wenigstens die Pupille sowie die unmittelbare Pupillenumgebung abbildbar ist, und wobei das Schwenk/Neigeelement von einer mit Steuersignalen aus der Augenreferenzpunktsdetektionseinrichtung speisbaren und nachführbaren Nachführeinheit so einstellbar ist, daß bei Bewegen des Auges im Raum der Blickrichtungsdetektor auf das Auge ausgerichtet bleibt, und mit einer Recheneinrichtung, mit der aus der Blickrichtungsfunktion der Fixationspunkt des Auges bestimmbar ist.
Eine derartige Vorrichtung ist aus der EP 0 240 336 B1 bekannt. Die vorbekannte Vorrichtung verfügt über eine Augenreferenzpunktsdetektionseinrichtung, mit der ein anthropomorph aufgebautes Auge innerhalb eines vorbestimmten Raumbereiches abbildbar ist. Weiter ist ein als Flächendetektor ausgebildeter Augenreferenzpunktsdetektor vorhanden, mit dem ein zu dem Auge in fester räumlicher Beziehung stehender, in diesem Fall durch die Pupille des betreffenden Auges gebildeter Augen referenzpunkt detektierbar ist. Die vorbekannte Vorrichtung ist weiterhin mit einer Blickrichtungsdetektionseinrichtung ausgestattet, die über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor verfügt. Der Blickrichtungsdetektor ist mit einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement, an dem ein Spiegel angebracht ist, in zwei überlagerbaren Richtungen schwenkbar und neigbar auf das Auge ausrichtbar und dient zum Abbilden wenigstens der Pupille sowie der unmittelbare Pupillenumgebung. Das Schwenk/Neigeelement ist mit einer mit Steuersignalen aus der Augenreferenzpunktsdetektionseinheit speisbaren und nachführbaren Nachführeinheit so einstellbar, dass bei Bewegen des Auges im Raum der Blickrichtungsdetektor auf das Auge ausgerichtet bleibt. Schließlich ist die vorbekannte Vorrichtung mit einer Recheneinrichtung ausgestattet, mit der aus der Blickrichtungsfunktion der Fixationspunkt des Auges bestimmbar ist.
Zwar sind mit der vorbekannten gattungsgemäßen Vorrichtung Fixationspunkte zum Analysieren des Sehverhaltens von Versuchspersonen bezüglich dargebotener bewegter Werbeszenen bestimmbar, allerdings ist die Genauigkeit auf Grund der alleinigen Berücksichtigung der Blickrichtungsfunktion für einige Anwendungen wie beispielsweise der Computersteuerung nicht in allen Fällen ausreichend.
Eine weitere Vorrichtung zum Bestimmen eines Fixationspunktes ist aus dem Abschlußbericht zu dem von dem Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie unter dem Förderkennzeichen 01BK203/8 geförderten Projekt "Fernseh-Bildgüte bei dynamischem Blickverhalten", „Anhang 2", bekannt. Bei der vorbekannten Vorrichtung ist als Augenreferenzpunktsdetektionseinrichtung ein raumfest angeordneter Kopfstellungssender und ein beispielsweise an einem brillenartigen Gestell an einem Kopf eines Anwenders angebrachten Kopfstel lungsdetektor vorgesehen. Weiterhin verfügt die Vorrichtung über eine Recheneinrichtung, mit der die Relativlage des Kopfstellungsdetektors in bezug auf den Kopfstellungssender in Raumkoordinaten, nämlich der Abstand und die Verdrehung des Kopfstellungsdetektors zu dem Kopfstellungssender, berechenbar ist.
Weiterhin weist die letztgenannte vorbekannte Vorrichtung eine Blickrichtungsdetektionseinrichtung auf, die ebenfalls an dem Gestell angebracht und zum Erfassen einer Blickrichtungsfunktion eines Auges, dessen Fixationspunkt auf einem Bildschirm zu erfassen ist, eingerichtet ist. Dabei wird die Blickrichtungsfunktion mit Hilfe eines Kalibrierverfahrens aus der bekannten Tatsache gewonnen, daß die mittels zweier Meßwerte erfaßte Augenstellung eindeutig einer Blickrichtungsfunktion zugeordnet werden kann. Weiterhin wird bei der vorbekannten Vorrichtung beispielsweise durch Abschätzung ein Translationsvektor zwischen dem Kopfstellungsdetektor und einem Augenreferenzpunkt, beispielsweise dem Pupillenmittelpunkt oder dem Augenmittelpunkt, ermittelt.
Zum Bestimmen des Fixationspunktes auf dem Bildschirm wird mittels der Recheneinrichtung verhältnismäßig rechenaufwendig die Blickrichtungsfunktion skaliert, um den Translationsvektor verschoben, mit einer die Verdrehung des Kopfes gegenüber dem Kopfstellungssender repräsentierenden Drehmatrix multipliziert und um den Abstandsvektor zwischen dem Kopfstellungssender und dem Kopfstellungsdetektor korrigiert. Zur Berechnung des Skalierungsfaktors wird die die Kopfverdrehung repräsentierende Drehmatrix zum einen mit dem Translationsvektor zwischen dem Kopfstellungsdetektor und dem Augenreferenzpunkt und zum anderen mit der vektoriellen Blickrichtungsfunktion mit nachfolgender Quotientenbildung multipliziert und die beiden Multiplikationsergebnisse miteinander dividiert.
Aus dem Artikel "Gaze Point Detection System Allowing Head Motion" von M. Iida und A. Tomono in Systems and Computers in Japan, Vol. 23, No. 6, 1992 ist eine ähnlich aufgebaute Vorrichtung mit einem an einem Kopf anzubringenden Gestell bekannt, an dem ein Kopfstellungssender zugeordneter Kopfstellungsdetektor, eine Augenreferenzpunktsdetektionseinrichtung und eine Blickrichtungsdetektionseinrichtung angebracht sind.
Aus der US-A-4,582,403 ist eine Vorrichtung bekannt, mit der durch Erfassen eines Referenzpunktes mittels einer Referenzpunktserfassungseinrichtung Kopfbewegungen beim Bestimmen eines Fixationspunktes ausgleichbar sind. Bei Ausgestaltungen dieser Vorrichtung ist zum einen in für einen Anwender wenig komfortabler Weise ein brillenartiges Gestell vorgesehen, das einen Referenzpunktsdetektor zum Erfassen eines Referenzpunktes auf einem Bildschirm sowie eine Blickrichtungsdetektionseinrichtung trägt. Bei einer anderen Ausgestaltung ist vorgesehen, den zu beobachtenden Referenzpunkt beispielsweise auf der Stirn eines Anwenders durch einen im infraroten Spektralbereich hochreflektiven Beschichtungspunkt auszugestalten. Allerdings besteht hier die Gefahr, daß sich der Beschichtungspunkt ablöst und die Vorrichtung vollkommen neu kalibriert werden muß.
Eine weitere Vorrichtung zum Bestimmen eines Fixationspunktes eines anthropomorph aufgebauten Auges beim Betrachten eines Gegenstandes ist aus der nachveröffentlichten DE 197 31 303 A1 bekannt, die die Merkmale der oben genannten vorbekannten Vorrichtung aufweist und bei der Verschiebungen oder Verdrehungen des Kopfes relativ zu dem Augenreferenzpunktsdetektor oder auch Pupillendurchmesserveränderungen über einen Soll/Istwertvergleich an Referenzpunkten des Gegenstandes durch dynamische Rekalibrierung berücksichtigbar sind. Dies führt jedoch zu einer gewissen Einschränkung bezüglich der zeitlichen Auflösung beim Bestimmen von Fixationspunkten.
Aus EP 0 631 222 A1 ist eine Vorrichtung zum Bestimmen eines Fixationspunktes bekannt, bei der ein Bildschirm, Mittel zum Berechnen einer Zentralposition auf einer Pupille eines Nutzers, der auf den Bildschirm blickt, und Mittel zum Detektieren von Veränderungen im Bereich der Pupille des Nutzers vorhanden sind. Weiterhin weist diese vorbekannte Vorrichtung Mittel zum Abschätzen des Fixationspunktes des Benutzers auf dem Bildschirm auf, die auf berechnete Daten zurückgreifen, die durch die Berechnungsmittel und Kalibrierungsdaten erhalten worden sind. Schließlich sind Mittel zum Verändern der Helligkeit des abgeschätzten Fixierpunktes vorhanden, wobei eine aktuelle Zentralposition der Pupille und ein abgeschätzter Fixierpunkt in den Abschätzmitteln aufgenommen werden, um als Kalibrierdaten zu dienen, um einen Fixationspunkt des Benutzers in Abhängigkeit einer detektierten Veränderung in dem Bereich der Pupille des Benutzers durch die Detektionsmittel und einer detektierten Veränderung in der Zentralposition der Pupille durch die Berechnungsmittel nach einem Wechsel in der Helligkeit abzuschätzen.
Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung der eingangs genannten Art anzugeben, die schnell und präzise die Erfassung eines Fixationspunktes auf einem betrachteten Gegenstand gestattet.
Diese Aufgabe wird bei einer Vorrichtung der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass mit der Augenreferenzpunktsdetektionseinrichtung die räumlichen Koordinaten des Augenreferenzpunktes als Augenreferenzpunktskoordinatenwerte bestimmbar sind und daß eine Kompensationseinheit vorhanden ist, der dem Gegenstand zugeordnete Gegenstands koordinatenwerte, dem Blickrichtungsdetektor zugeordnete Blickrichtungsdetektorkoordinatenwerte, der Blickrichtungsfunktion in einem Blickrichtungskoordinatensystem zugeordnete Blickrichtungswerte, der Ausrichtung des Blickrichtungsdetektors zugeordnete Ausrichtwerte sowie die Augenreferenzpunktskoordinatenwerte einspeisbar sind, wobei die Kompensationseinheit über ein Rotationskompensationsglied, mit dem die Blickrichtungsfunktion in ihren Blickrichtungswerten um die Ausrichtwerte korrigierbar ist, über ein Skalierungsglied, mit dem die Größe der drehkorrigierten Blickrichtungswerte bei Anblick des Gegenstandes berechenbar ist, und über ein Translationskompensationsglied verfügt, mit dem der Versatz des Augenreferenzpunktes gegenüber dem Ursprung eines Gegenstandskoordinatensystemes korrigierbar ist.
Dadurch, daß zum Bestimmen des Fixationspunktes mittels der Kompensationseinheit alle Kopfbewegungen durch Verrechnung der der Kompensationseinheit eingespeisten, durch den Augenreferenzpunktsdetektor und den Blickrichtungsdetektor sowie das Schwenk/Neigeelement gewonnenen Daten über Rotations-, Skalierungs- und Translationsrechenschritte berücksichtigt werden, ist eine kontinuierliche und durch die rechnerischen Koordinatentransformationen schnelle sowie genaue Bestimmung der Fixationspunkte erzielt.
Weitere zweckmäßige Ausgestaltungen und Vorteile der Erfindung sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung. Es zeigen:
1 in einem Blockschaltbild ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung, bei dem eine Augenreferenzpunktsdetektionseinrichtung und eine Blickrichtungs detektionseinrichtung jeweils mit einem Flächendetektor ausgestattet sind,
2 in einem Blockschaltbild den Aufbau einer Augenreferenzpunktsbewegungskompensationseinheit der Vorrichtung gemäß 1,
3 in einer schematischen Darstellung die bei der Vorrichtung gemäß 1 verwendeten Koordinatensysteme,
4 in einer graphischen Darstellung einen Ausrichtvorgang einer Blickrichtungsdetektionseinrichtung des Ausführungsbeispieles gemäß 1,
5 in einer graphischen Veranschaulichung die Funktionsweise von Teilschritten einer in der Augenreferenzpunktsbewegungskompensationseinheit gemäß 2 erfolgenden Kompensationsschritten und
6 in einem Blockschaltbild ein weiteres Ausführungsbeispiel einer Vorrichtung gemäß der Erfindung, bei der die Augenreferenzpunktsdetektionseinrichtung und die Blickrichtungsdetektionseinrichtung über einen gemeinsamen schwenkbar und neigbar gelagerten Flächendetektor verfügen.
1 zeigt in einem Blockschaltbild ein Ausführungsbeispiel einer Vorrichtung zum Bestimmen eines Fixationspunktes gemäß der Erfindung. Zum Bestimmen eines beispielsweise auf einem Bildschirm 1 eines Arbeitsplatzrechners als von einer Person 2 betrachteter Gegenstand gelegener Fixationspunkt 3, wobei unter Fixationspunkt 3 der Punkt auf dem Bildschirm 1 zu verstehen ist, der von einer Blicklinie 4 eines Auges 5 der Person 2 getroffen wird, ist eine Augenreferenzpunktsdetektionseinrichtung vorgesehen, die über einen Augenreferenzpunktsdetektor 6 verfügt. Der Augenreferenzpunktsdetektor 6 ist beispielsweise durch eine kurzbrennweitige Videokamera als Flächendetektor ausgeführt. Mit dem Augenreferenzpunktsdetektor 6 ist innerhalb eines vorbestimmten Raumbereiches beispielsweise der Kopf-Schulter-Bereich der Person 2 erfaßbar und in einem Kopfbildspeicher 7 als Bilddaten speicherbar. Der Kopfbildspeicher 7 ist an eine Flächenaugenreferenzpunktsbestimmungseinheit 8 der Augenreferenzpunktsdetektionseinrichtung angeschlossen, mit der ein Augenreferenzpunkt aus den Bilddaten des Kopfbildspeichers 7 bestimmbar ist. Aus meßtechnischen Gründen ist als Augenreferenzpunkt vorzugsweise der Pupillenmittelpunkt vorgesehen.
Weiterhin verfügt die Vorrichtung gemäß 1 über einen Blickrichtungsdetektor 9, der beispielsweise durch eine langbrennweitige Videokamera als Flächendetektor gebildet und zusammen mit einer Beleuchtungseinheit 10 auf einer in zwei Raumrichtungen schwenkbaren und neigbaren Schwenk/Neigeplattform 11 als Schwenk/Neigeelement angebracht ist. Die Beleuchtungseinheit 10 ist beispielsweise als im nahen infraroten Spektralbereich bei beispielsweise etwa 880 Nanometer emittierendes Leuchtdiodenarray ausgebildet, dessen Ausgangsstrahlung in die gleiche Richtung wie ein Sichtbereich des Blickrichtungsdetektors 9 abgegeben wird. Der Blickrichtungsdetektor 9 ist mit einem Autofokusmodul ausgestattet, das eine scharfe Abbildung des Auges 5 auch bei Änderung des Abstandes zwischen dem Auge 5 und dem Blickrichtungsdetektor 9 gestattet. Der Blickrichtungsdetektor 9 ist auf das Auge 5 der Person 2 ausgerichtet, dessen Fixationspunkt 3 zu bestimmen ist. Dabei ist bei dem Ausführungsbeispiel gemäß 1 das Auge 5 mit der Pupille, der Hornhaut, üblicherweise auch Cornea genannt, und dem sichtbaren Teil des Glaskörpers erfaßbar.
Der Blickrichtungsdetektor 9 ist an einen Augenbildspeicher 12 angeschlossen, in dem dessen Bilddaten speicherbar sind. In der Darstellung gemäß 1 sind als abgespeicherte Bilddaten schematisch ein Bild des Auges 5 mit der Pupille 13 und die sie umgebende Regenbogenhaut 14, der sogenannten Iris, mit dem sichtbaren Teil des Glaskörpers 15 als unmittelbare Pupillenumgebung dargestellt. Der Augenbildspeicher 12 ist an eine Flächenblickrichtungsbestimmungseinheit 16 der Blickrichtungs bestimmungseinrichtung angeschlossen, mit der beispielsweise nach der bekannten sogenannten "Cornea-Reflex-Methode", bei der aufgrund des monotonen Zusammenhanges zwischen einem durch Bestrahlung mit Ausgangslicht der Beleuchtungseinheit 10 auf der Hornhaut des Auges 5 erfaßten Reflexmittelpunktes 17 und dem Mittelpunkt der Pupille 13 als Meßwerte nach Durchführen eines Kalibriervorganges eine mit der Blickrichtung eineindeutig verknüpfte Blickrichtungsfunktion berechenbar ist. Weiterhin sind mit der Flächenblickrichtungsbestimmungseinheit 16 in einem dem Blickrichtungsdetektor 9 zugeordneten Blickrichtungsdetektorkoordinatensystem die flächigen zweidimensionalen Koordinaten des Augenreferenzpunktes in der Detektorebene des Blickrichtungsdetektors 9 bestimmbar.
Die Augenreferenzpunktsdetektionseinrichtung der Vorrichtung gemäß 1 weist eine an die Flächenaugenreferenzpunktsbestimmungseinheit 8 angeschlossene Raumaugenreferenzpunktsbestimmungseinheit 18 auf, die an die Flächenblickrichtungsbestimmungseinheit 16 angeschlossen und mit Augenreferenzpunktskoordinatenwerten in dem Blickrichtungskoordinatensystem beaufschlagbar ist. Weiterhin ist die Raumaugenreferenzpunktsbestimmungseinheit 18 mit Ursprungsraumkoordinaten als Blickrichtungsdetektorkoordinatenwerte aus einem Blickrichtungsdetektorkoordinatenspeicher 19 beaufschlagbar, die den Ursprung des Blickrichtungskoordinatensystemes repräsentieren.
Die Raumaugenreferenzpunktsbestimmungseinheit 18 ist mit Parameterdaten aus einem Blickrichtungsdetektorparameterspeicher 20 beaufschlagbar, die Abbildungseigenschaften des Blickrichtungsdetektors 9 zugeordnet sind. Schließlich ist die Raumaugenreferenzpunktsbestimmungseinheit 18 mit einem Schwenkwinkelwert und einem Neigungswinkelwert aus einer Nachführeinheit 21 der Blickrichtungsdetektionseinrichtung beaufschlagbar, mit denen über zugeordnete Stellsignale Verstellelemente der Schwenk/Neigeplattform 11 zum Ausrichten des Blickrichtungsdetektors 9 und der Beleuchtungseinheit 10 auf das Auge 5 der Person 2 ansteuerbar sind.
An die Raumaugenreferenzpunktsbestimmungseinheit 18 sind weiterhin ein Augenreferenzpunktsdetektorparameterspeicher 22 und ein Augenreferenzpunktsdetektorkoordinatenspeicher 23 angeschlossen, denen Geräteparameter des Augenreferenzpunktsdetektors 6 und Ursprungskoordinatenwerte eines dem Augenreferenzpunktsdetektor 6 zugeordneten Augenreferenzpunktsdetektorkoordinatensystems zum Berechnen von Augenreferenzpunktskoordinatenwerten einspeisbar sind.
Mit der Raumaugenreferenzpunktsbestimmungseinheit 18 sind räumliche Augenreferenzpunktskoordinatenwerte sowohl in dem Blickrichtungskoordinatensystem als auch in einem dem Bildschirm 1 zugeordneten Displaykoordinatensystem berechenbar. Die Augenreferenzpunktskoordinatenwerte in dem Blickrichtungskoordinatensystem sind über ein Rückführleitung auf die Nachführeinheit 21 rückführbar und dienen zur Ermittlung von neuen Neigungswinkelwerten und neuen Schwenkwinkelwerten zum nachführenden Ausrichten des Blickrichtungsdetektors 9 auf das Auge 5.
Augenreferenzpunktskoordinatenwerte in dem Displaykoordinatensystem sind über eine Raumaugenreferenzpunktsleitung 18' einer an die Raumaugenreferenzpunktsbestimmungseinheit 18 angeschlossenen Augenreferenzpunktsbewegungskompensationseinheit 24 einer Recheneinheit einspeisbar, die weiterhin über eine Blickrichtungsleitung 16' an die Flächenblickrichtungsbestimmungseinheit 16, über eine Blickrichtungsdetektorkoordinatenleitung 19' an den Blickrichtungsdetektorkoordinatenspeicher 19, über eine Nachführleitung 21' an die Nachführeinheit 21 sowie über eine Bildschirmkoordinatenleitung 25' an einen Bildschirmkoordinatenspeicher 25 angeschlossen ist. Mittels der Flächenblickrichtungsbestimmungseinheit 16 sind der Augenreferenzpunktsbewegungskompensationseinheit 24 Blickrichtungsfunktionswerte in dem Blickrichtungskoordinatensystem einspeisbar. Von der Nachführeinheit 21 sind der Augenreferenzpunktsbewegungskompensationseinheit 24 die Schwenkwinkelwerte und Neigungswinkelwerte des Blickrichtungsdetektors 9 zuführbar.
Schließlich sind der Augenreferenzpunktsbewegungskompensationseinheit 24 die Ursprungskoordinatenwerte für den Blickrichtungssensor 9 im zugeordneten Blickrichtungskoordinatensystem aus dem Blickrichtungsdetektorkoordinatenspeicher 19 und die räumlichen Koordinatenwerte des Bildschirmes 1 als Gegenstandskoordinatenwerte aus dem Bildschirmkoordinatenspeicher 25 einspeisbar. Wie weiter unten näher erläutert ist, sind mit der Augenreferenzpunktsbewegungskompensationseinheit 24 unter Kompensation von beispielsweise durch Kopfdrehungen und/oder Kopfverschiebungen hervorgerufenen räumliche Änderungen des Augenreferenzpunktes die Blickrichtungsfunktionswerte in dem Blickrichtungskoordinatensystem in Fixationspunktskoordinatenwerte des Fixationspunktes 3 in dem Displaykoordinatensystem transformierbar und einer der Augenreferenzpunktskompensationseinheit 24 nachgeordneten Fixationspunktskoordinatenauswerteeinheit 26 über eine Fixationspunktsleitung 24' einspeisbar. Mittels der Fixationspunktskoordinatenauswerteeinheit 26 sind beispielsweise Schaltfunktionen zur Steuerung des den Bildschirm 1 aufweisenden Arbeitsplatzrechners auslösbar, wenn der Fixationspunkt 3 in bestimmte Schaltfunktionen symbolisch darstellende Fensterbereiche fällt und dort über eine gewisse Zeit verbleibt.
2 zeigt in einem Blockschaltbild die Augenreferenzpunktsbewegungskompensationseinheit 24 gemäß 1, die über ein Rotationskompensationsglied 27, ein Skalierungsglied 28 und ein Translationskompensationsglied 29 verfügt. Das Rotationskompensationsglied 27 ist an die Blickrichtungsleitung 16', die Nachführwerteleitung 21' und die Bildschirmkoordinatenleitung 25' angeschlossen. Mit dem Rotationskompensationsglied 27 sind die Blickrichtungsfunktionswerte mittels einer Rotationsmatrix, die den Neigungswinkelwert und den Schwenkwinkelwert des Blickrichtungsdetektors 9 sowie räumliche Koordinatenwerte des Bildschirmes 1 als Gegenstandskoordinatenwerte enthält, in ein bewegliches kopffestes Kopfkoordinatensystem transformierbar.
Das dem Rotationskompensationsglied 27 nachgeordnete Skalierungsglied 28 ist an die Raumaugenreferenzpunktsleitung 18', die Blickrichtungsdetektor koordinatenleitung 19' und die Bildschirmkoordinatenleitung 25' angeschlossen. Mit dem Skalierungsglied 28 sind die Blickrichtungsfunktionswerte in dem Kopfkoordinatensystem unter Berücksichtigung der Tatsache, daß die Abbildung der Blickrichtungsfunktion auf den Blickrichtungsdetektor 9 proportional zu dem Abstand zwischen dem Auge 5 und dem Blickrichtungsdetektor 9 und die Abbildung auf dem Bildschirm 1 proportional zu dem Abstand zwischen dem Auge 5 und dem Bildschirm 1 ist, mit einem Skalierungsfaktor zum Bestimmen der Abbildungsgröße der Blickrichtungsfunktionswerte auf dem Bildschirm 1 multiplizierbar.
Das dem Skalierungsglied 28 nachgeordnete Translationskompensationsglied 29 ist schließlich an die Raumaugenreferenzpunktsleitung 18' sowie die Bildschirmkoordinatenleitung 25' angeschlossen und zum Verschieben des Koordinatenursprunges des Kopfkoordinatensystemes zu dem Ursprung des Displaykoordinatensystemes eingerichtet. Die somit bestimmten Fixationspunktskoordinaten in dem Displaykoordinatensystem sind über die Fixationspunktsleitung 24' der Fixationspunktskoordinatenauswerteeinheit 26 gemäß 1 einspeisbar.
3 zeigt in einer schematischen Darstellung die bei der erfindungsgemäßen Vorrichtung relevanten Koordinatensysteme. Ein dem Bildschirm 1 zugeordnetes Displaykoordinatensystem 30 hat seinen Ursprung beispielsweise in der Darstellung gemäß 3 in der linken oberen Ecke des Bildschirmes 1. Ist der Bildschirm 1 raumfest angeordnet, ist es zweckmäßig, das Displaykoordinatensystem 30 als Weltkoordinatensystem zu wählen. Die von der Blicklinie 4 beaufschlagte Displayoberfläche 31 liegt in der durch die x_D-Achse 32 und die y_D-Achse 33 des Displaykoordinatensystems 30 aufgespannten x_D-y_D-Ebene. Eine z_D-Achse 34 des Displaykoordinatensystemes 30 ist in Richtung des Auges 5 gerichtet. Mit dem so gewählten Displaykoordinatensystem 30 hat ein Fixationspunkt 3 auf der Displayoberfläche 31 die Koordinaten d_D = (d_DX, d_DY, 0).
Dem Augenreferenzpunktsdetektor 6 ist ein Augenreferenzpunktskoordinatensystem 35 zugeordnet, dessen x_P-Achse 36 und y_P-Achse 37 in der Detektorebene des Augenreferenzpunktsdetektors 6 liegen. Die z_P-Achse 38 des Augenreferenzpunktskoordinatensystemes 35 steht rechtwinklig auf der x_P-Achse 36 und der y_P-Achse 37.
Dem Blickrichtungsdetektor 9 ist ein Blickrichtungskoordinatensystem 39 zugeordnet, dessen x_B-Achse 40 sowie y_B-Achse 41 in der Detektorebene des Blickrichtungsdetektors 9 liegen und dessen z_B-Achse 42 in Richtung des aus meßtechnischen Gründen durch vorzugsweise aus dem Pupillenmittelpunkt, im Hinblick auf die Genauigkeit jedoch idealerweise durch den Augenmittelpunkt gebildeten Augenreferenzpunktes ausgerichtet ist.
Der Ursprung des Augenreferenzpunktskoordinatensystemes 35 in Koordinaten des Displaykoordinatensystemes 30 liegt in dem Punkt p_D = (p_DX, p_DY, p_DZ). Der Ursprung des Blickrichtungskoordinatensystemes 39 in den Koordinaten des Displaykoordinatensystemes liegt in dem Punkt b_D = (b_DX, b_DY, b_DZ).
Das Blickrichtungskoordinatensystem 39 ist um eine Neigeachse 43 um einen Neigewinkel α und um eine Schwenkachse 44 um einen Schwenkwinkel β neigbar beziehungsweise schwenkbar gegenüber dem Displaykoordinatensystem 30 ausrichtbar.
Weiterhin wird ein bewegliches, kopffestes Kopfkoordinatensystem 45 eingeführt, dessen Ursprung im Augenreferenzpunkt liegt. Der Ursprung des Kopfkoordinatensystemes 45 hat im Displaykoordinatensystem 30 die Koordinaten a_D = (a_DX, a_DY, a_DZ). Eine durch eine x_K-Achse 46 und eine y_K-Achse 47 aufgespannte x_K-y_K-Ebene des Kopfkoordinatensystemes 45 ist parallel zu der durch die x_B-Achse 40 und die y_B-Achse 41 des Blickrichtungskoordinatensystemes 39 aufgespannte Detektorebene ausgerichtet, während eine z_K-Achse 48 des Kopfkoordinatensystemes 45 parallel zu der z_B-Achse 42 des Blickrichtungskoordinatensystemes 39 ausgerichtet ist.
4 zeigt in einem Schaubild eine Nachführbewegung des Blickrichtungsdetektors 9 bei Bewegen des Augenreferenzpunktes 49 mit den Koordinaten a_B = (a_BX, a_BY, a_BZ) im Blickrichtungskoordinatensystem 39 nach Neigen um den Neigewinkel α und Schwenken um den Schwenkwinkel β zusammen mit den Verschiebestrecken a_BX, a_BY und a_BZ. Bei der Neigung um den Neigewinkel α wird die x_B-Achse so gedreht, daß die z_B-Achse auf der Strecke Oa_YZ liegt. Bei der Schwenkbewegung um den Schwenkwinkel β wird das Blickrichtungskoordinatensystem so um die y_B-Achse 41 gedreht, daß die z_B-Achse 41 auf der Strecke zwischen dem Ursprung O des Blickrichtungskoordinatensystemes 39 und dem Augenreferenzpunkt 49 liegt. Dabei sind der Neigewinkel α durch die Gleichung
und der Schwenkwinkel β durch die Gleichung
gegeben.
Zum Bestimmen der Koordinaten des Fixationspunktes 3 in dem Displaykoordinatensystem 30 muß die in dem Blickrichtungskoordinatensystem 39 gemessene Blickrichtungsfunktion f _B(g) = (f_BX(g_BX, g_BY), f_BY(g_BX, g_BY), a_BZ) nun in das Displaykoordinatensystem 30 transformiert werden, wobei g_BX, g_BY für die die Blicklinie der Blickrichtungsfunktion f _B(g) festlegenden Meßwerte stehen, f_BX und f_BY die Komponenten der Blickrichtungsfunktion in der durch die x_B-Achse 40 und die y_B-Achse aufgespannte x_B-y_B-Ebene 50 sind und a_BZ der Abstand zwischen dem Augenreferenzpunkt 49 und der x_B-y_B-Ebene 50 ist.
5 zeigt in einer schematischen Darstellung den Transformationsvorgang zum Transformieren der Blickrichtungsfunktion f _B(g) von dem Blickrichtungskoordinatensystem 39 in das Displaykoordinatensystem des Bildschirmes 1.
Zu Beginn dieser Transformation ist die durch die Blickrichtungsdetektionseinrichtung ermittelte Blickrichtungsfunktion f _B(g) in ihren Komponenten f_BX, f_BY und dem über die Raumaugenreferenzpunktsbestimmungseinheit 18 ermittelbaren Abstand a_BZ, die mittels der Augenreferenzpunktsdetektionseinrich tung ermittelten Raumkoordinaten a_D = (a_DX, a_DY, a_DT) im Displaykoordinatensystem 30 sowie der Neigewinkel α und Schwenkwinkel β des Blickrichtungsdetektors 9 gegeben.
Bei einem ersten Transformationsschritt wird das Blickrichtungskoordinatensystem 39 zuerst um den Augenreferenzpunkt 49 um die Winkel –β, -α zurückrotiert, so daß die x_B-y_B-Ebene 50 des Blickrichtungsdetektors 9 und die in der Displayoberfläche 31 liegende, durch die x_D-Achse 32 und die y_D-Achse 33 des Displaykoordinatensystemes 30 aufgespannte x_D-y_D-Ebene 50 parallel zueinander stehen. Diese Rotationstransformation wird mittels des Rotationskompensationsgliedes 27 der Augenreferenzpunktsbewegungskompensationseinheit 24 gemäß 1 und 2 durchgeführt.
Die resultierende Blickrichtungsfunktion f' _B(g) hat nunmehr die Gestalt f' B(g) = (f'BX, f'BY, z'B) = R·f B(g), (3)wobei R eine Rotationsmatrix und f _B(g) die im Blickrichtungskoordinatensystem 39 gemessene Blickrichtungsfunktion ist.
Bei Zusammenfallen des Displaykoordinatensystemes 30 mit dem Weltkoordinatensystem, beispielsweise bei einem feststehenden Bildschirm 1, hat die Rotationsmatrix R folgende Form:
wobei die Winkel α und β den Winkel gemäß obiger Gleichung (1) und Gleichung (2) entsprechen.
Diese Transformation stellt sich als Überführen der x_B-y_B-Ebene 50 in die parallel zu der Displayoberfläche 31 ausgerichteten x'_B-y'_B-Ebene 51 gemäß 5 dar.
Dann wird in einem zweiten Transformationsschritt die Blickrichtungsfunktion f'_B(g) mit einem Faktor
mit a_DZ als dem Abstand zwischen dem Augenreferenzpunkt 49 und der Displayoberfläche 31 und z'_B als dem Abstand zwischen dem Augenreferenzpunkt 49 und der x'_B-y'_B-Ebene 51 gemäß 5 skaliert. Die Größe z'_B berechnet sich gemäß z'B = (R·f B(g)), (6)so daß die Blickrichtungsfunktion auf der Bildschirmoberfläche 31 nunmehr die Größe (f' B)X,Y = F(R·f B(g))X,Y (7)aufweist. Die Transformation gemäß Gleichung (7) wird mittels des Skalierungsgliedes 28 durchgeführt.
In einem dritten Transformationsschritt, der mit dem Translationskompensationsglied 29 durchführbar ist, wird der Ursprung des Kopfkoordinatensystemes 45 auf den Ursprung des Displaykoordinatensystemes 30 verschoben. Die Koordinaten des Fixationspunktes 3 in dem Displaykoordinatensystem 30 lauten somit
Mit den drei Transformationsschritten, nämlich einer Rotation, einer Skalierung und einer Translation der x-y-Komponenten der Blickrichtungsfunktion ist eine effiziente, verhältnismäßig wenig rechenaufwendige Transformation erzielt. Da die Rotationsmatrix R die Ist-Rotationswinkel α, β des Blickrichtungsdetektors 9 beschreibt, ist deren mechanisch präzise Erfassung in verhältnismäßig einfacher Weise möglich.
Die Abweichungen der Ist-Rotationswinkel α, β von den durch die Raumaugenreferenzpunktsbestimmungseinheit 18 erfaßten Soll-Winkeln lassen sich durch die Rückkopplung der Augenreferenzpunktskoordinaten von der Raumaugenreferenzpunktsbestimmungseinheit 18 auf die Nachführeinheit 21 weitgehend verringern.
In vielen Fällen ist eine Bewegung des Augenreferenzpunktes 49 zum Blickrichtungsdetektor 9 und/oder zum Bildschirm 1 wesentlich kleiner als die Abstände z_B und a_DZ, so daß der Skalierungsfaktor F weitgehend von der Meßgenauigkeit des Augenreferenzpunktsdetektors 6 unabhängig ist. Die Genauig keit der drei Transformationsschritte wird im wesentlichen durch die Genauigkeit der x-y-Komponente des Augenreferenzpunktes im Displaykoordinatensystem 30 bestimmt. Diese Komponenten sind in der Regel genauer als die z-Komponente a_DZ gegeben.
6 zeigt in einem Blockschaltbild ein weiteres Ausführungsbeispiel einer Vorrichtung gemäß der Erfindung, wobei sich bei den Ausführungsbeispielen gemäß 1, 2 und 6 entsprechende Bauelemente mit den gleichen Bezugszeichen versehen und im weiteren nicht näher erläutert sind. Bei dem Ausführungsbeispiel gemäß 6 ist vorgesehen, für den Flächendetektor der Augenreferenzpunktsdetektionseinrichtung und Blickrichtungsdetektionseinrichtung gemeinsam einen hochauflösenden Doppeldetektor 52 vorzusehen, der auf der Schwenk/Neigeplattform 11 schwenkbar sowie neigbar angebracht ist und ein Autofokusmodul aufweist, dessen Autofokuswerte der Raumaugenreferenzpunktsbestimmungseinheit 18 einspeisbar sind.
Die in einem Doppelbildspeicher 53 speicherbaren beispielsweise dem Bildausschnitt des Blickrichtungsdetektors 9 gemäß 1 entsprechenden Bilddaten sind zum einen der Flächenblickrichtungsbestimmungseinheit 16 und zum anderen der Raumaugenreferenzpunktsbestimmungseinheit 18 einspeisbar. In Abweichung von dem Ausführungsbeispiel gemäß 1 ist mit der Raumaugenreferenzpunktsbestimmungseinheit 18 gemäß 6 der Augenreferenzpunkt mittels der Parameterdaten des Blickrichtungsdetektorparameterspeichers 20, die Abbildungseigenschaften des Doppeldetektors 52 zugeordnet sind, sowie der Autofokuswerte bestimmbar. Das Ausführungsbeispiel gemäß 6 zeichnet sich durch einen verhältnismäßig geringen apparativen Aufwand aus, da lediglich ein Flächendetektor sowohl zur Bestimmung des Augenreferenzpunktes als auch dem Erfassen der Blickrichtung vorgesehen ist.

Claims

Vorrichtung zum Bestimmen eines Fixationspunktes (3) eines anthropomorph aufgebauten Auges (5) beim Betrachten eines Gegenstandes (1) mit einer Augenreferenzpunktsdetektionseinrichtung, mit der das Auge (5) innerhalb eines vorbestimmten Raumbereiches abbildbar ist, mit einem als Flächendetektor ausgebildeten Augenreferenzpunktsdetektor (6), mit dem ein zu dem Auge (5) in fester räumlicher Beziehung stehender Augenreferenzpunkt (49) detektierbar ist, mit einer Blickrichtungsdetektionseinrichtung, mit der eine Blickrichtung des Auges als Blickrichtungsfunktion bestimmbar ist, wobei die Blickrichtungsdetektionseinrichtung über einen als Flächendetektor ausgebildeten Blickrichtungsdetektor (9) verfügt, der mit einem in zwei überlagerbaren Richtungen schwenkbaren und neigbaren Schwenk/Neigeelement (11) auf das Auge (5) ausrichtbar ist und mit dem wenigstens die Pupille (13) sowie die unmittelbare Pupillenumgebung (14, 15) abbildbar ist, und wobei das Schwenk/Neigeelement (11) von einer mit Steuersignalen aus der Augenreferenzpunktsdetektionseinrichtung speisbaren und nachführbaren Nachführeinheit (21) so einstellbar ist, daß bei Bewegen des Auges (5) im Raum der Blickrichtungsdetektor (9) auf das Auge (5) ausgerichtet bleibt, und mit einer Recheneinrichtung, mit der aus der Blickrichtungsfunktion der Fixationspunkt (3) des Auges (5) bestimmbar ist, dadurch gekennzeichnet, daß mit der Augenreferenzpunktsdetektionseinrichtung die räumlichen Koordinaten des Augenreferenzpunktes (49) als Augenreferenzpunktskoordinatenwerte be stimmbar sind und daß eine Kompensationseinheit (24) vorhanden ist, der dem Gegenstand (1) zugeordnete Gegenstandskoordinatenwerte, dem Blickrichtungsdetektor (9) zugeordnete Blickrichtungsdetektorkoordinatenwerte, der Blickrichtungsfunktion in einem Blickrichtungskoordinatensystem (39) zugeordnete Blickrichtungswerte, der Ausrichtung des Blickrichtungsdetektors (9) zugeordnete Ausrichtwerte sowie die Augenreferenzpunktskoordinatenwerte einspeisbar sind, wobei die Kompensationseinheit (24) über ein Rotationskompensationsglied (27), mit dem die Blickrichtungsfunktion in ihren Blickrichtungswerten um die Ausrichtwerte korrigierbar ist, über ein Skalierungsglied (28), mit dem die Größe der drehkorrigierten Blickrichtungswerte bei Anblick des Gegenstandes (1) berechenbar ist, und über ein Translationskompensationsglied (29) verfügt, mit dem der Versatz des Augenreferenzpunktes (49) gegenüber dem Ursprung eines Gegenstandskoordinatensystemes (30) korrigierbar ist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß an die Augenreferenzpunktsdetektionseinrichtung und das Kompensationsglied (24) Speicher (19, 20, 22, 23, 25) angeschlossen sind, mit denen interne geräteabhängige Parameter und Koordinatenwerte der Augenreferenzpunktsdetektionseinrichtung und der Blickrichtungsdetektionseinrichtung in bezug auf das Gegenstandskoordinatensystem (30) abspeicherbar sind.
Vorrichtung nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, daß die Blickrichtungsdetektionseinrich tung zum Ermitteln der Blickrichtungsfunktion nach dem sogenannten "Cornea-Reflex"-Verfahren eingerichtet ist.
Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Augenreferenzpunktsdetektionseinrichtung über eine Flächenaugenreferenzpunktsbestimmungseinheit (8) verfügt, mit der aus dem Bild des Augenreferenzpunktsdetektors (9) der Augenreferenzpunkt (49) in Flächenkoordinaten eines Augenreferenzpunktskoordinatensystemes (35) bestimmbar ist, und daß eine an die Flächenaugenreferenzpunktsbestimmungseinheit (8) angeschlossene Raumaugenreferenzpunktsbestimmungseinheit (18) vorgesehen ist, die neben den Flächenkoordinaten aus der Flächenaugenreferenzpunktsbestimmungseinheit (8) mit Flächenkoordinaten in einem Blickrichtungskoordinatensystem (39) des Augenreferenzpunktsdetektors (6) und des Blickrichtungsdetektors (9) sowie den Ausrichtwerten beaufschlagbar ist.
Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Augenreferenzpunktsdetektionseinrichtung und die Blickrichtungsdetektionseinrichtung über einen gemeinsamen, an das Schwenk/Neigeelement (11) angebrachte Flächendetektor (52) verfügt, mit dem das Auge (5) innerhalb des vorbestimmten Raumbereiches erfaßbar ist.