DE19819961A1

DE19819961A1 - Automatische Blickpunktanalyse mit Methoden der Bilderkennung zur Computersteuerung

Info

Publication number: DE19819961A1
Application number: DE19819961A
Authority: DE
Inventors: Dirk Kukulenz
Original assignee: Individual
Current assignee: Individual
Priority date: 1998-05-05
Filing date: 1998-05-05
Publication date: 1999-11-11

Abstract

Vorrichtung zur Steuerung eines Computers durch Analyse des Blickpunktes, wobei die bildliefernden Instrumente für die Blickpunktbestimmung (Kameras) unabhängig vom Kopf im Bereich des Monitors angebracht werden. DOLLAR A Bei den beschriebenen Vorrichtungen wird die Kamera bzw. die Kameras am Monitor angebracht. Sie fokussieren den Kopf (bzw. Teile davon) vor der dem Monitor sitzenden Person. Die aufgenommenen Bilder werden einem Computer zwecks Bilderkennung zugeführt. Es wird zunächst die Kopflage bestimmt und anschließend die Pupillenposition(en). Mit Hilfe dieser Größen werden die Sehlinie(n) und durch Bildung des Schnittpunktes mit der Monitoroberfläche der Blickpunkt ermittelt. Die Kameras sind in einer Ausführung drehbar und folgen jeweils dem Kopf der Person bei Bewegung zwecks größerer Bewegungsfreiheit und bei Benutzung eines Zoom-Objektivs größerer Auflösung. DOLLAR A Anwendung DOLLAR A Die Erfindung kann zur Computersteuerung verwendet werden, vorzugsweise in Verbindung mit einer Tastendruckabfrage. Ferner kann sie für psychologische Untersuchungen (z. B. Werbeanalyse) benutzt werden.

Description

Technisches Gebiet

Zwischen dem Menschen und dem Computer gibt es bestimmte Schnitt stellen zum beiderseitigen Informationsaustausch. Der Computer vermittelt dem Menschen meist Informationen durch ein Monitorbild. Andererseits gibt der Mensch einem Computer Daten und Befehle meist durch eine Tastatur oder Mouse ein. Neuerdings ist auch durch Spracheingabe eine Informationsübergabe bzw. Steuerung des Computers möglich.

Stand der Technik

Es wurden bereits verschiedene Methoden vorgeschlagen, um einen Compu ter mithilfe von Cameras, die die Person vor dem Monitor beobachten, zu steuern. Dabei wurden die Cameras in der Regel direkt am Kopf der Person angebracht, um die Pupillen fokussieren zu können. Anhand der Pupillen ausrichtung wurde der Blickpunkt ermittelt, dessen Kenntnis dazu dienen kann, einen Computer zu steuern. Die Steuerung kann dadurch zusätzlich erleichtern werden, daß man die Kenntnis des Blickpunktes z. B. mit einer Tastenabfrage kombiniert.

Es wurden weiterhin Methoden vorgestellt, einen Mousezeiger auf einem Mo nitor mithilfe einer Bilderkennung, die die Kopflage einer Person erkennt, zu steuern.

Mängel der bekannten Ausführungen

Die ersteren Vorrichtungen haben den Nachteil, daß die Person vor dem Monitor durch die Kamera am Kopf behindert wird. Die Methoden der Kopflagebestimmung haben den Nachteil, daß die Kopflage allein nicht so aussagestark ist, wie die Kenntnis der Kopflage und der zusätzlichen Kenntnis der Pupillenposition wie bei dem hier vorgestellten Verfahren.

Aufgabe (technisches Problem)

Entwicklung eines Gerätes, welches die Lage des Kopfes einer Person in Be zug auf ein ruhendes Raumkoordinatensystem ermittelt und andererseits die Position der Augen (bzw. Pupillen) in dem Koordinatensystem bestimmt. Aus diesen Größen werden die Sehlinie(n) in dem betreffenden Koordinaten system berechnet. Die Kenntnis des Schnittpunktes dieser Sehlinie(n) mit einem 2- oder 3-dimensionalen Bild auf einem Monitor kann z. B. für psycho logische Analysen der Person oder in Verbindung mit einem Schaltmecha nismus (z. B. Tastendruck) zur Computersteuerung (z. B. als Mouse-Ersatz) verwendet werden.

Lösung des Problems

Zur Lösung der Aufgabe wird die im folgenden beschriebene Apparatur vor geschlagen:
Eine bzw. mehrere Kameras ruhen im Raumkoordinatensystem (bis auf even tuelle Drehbewegungen um 2 Achsen). Sie sind mit einer Fokussierungsvor richtung und eventuell einer Vergrößerungsvorrichtung ausgerüstet. Die Ka meras fokussieren den Kopf einer Person bzw. Teile davon.

Zunächst wird bei einem Initialisierungsverfahren der Kopf in einer bzw. mehrerer der Analyse-Software bekannten räumlichen Lage(n) angenommen. Das Bild bzw. die Bilder werden mithilfe einer Bildverarbeitung/-erkennung ausgewertet in der Weise, daß bestimmte individuelle charakteristische Para meter wie Augenabstand und sonstige Gesichtsabmessungen ermittelt wer den. Diese Daten werden gespeichert.

Im laufenden Betrieb nehmen die Kamera(s) mit einer bestimmten Frequenz Bilder auf. Diese Bilder werden digitalisiert und teilweise gespeichert. Mit hilfe einer Bildverarbeitung/-erkennung, die auf die gespeicherten individuel len Parameter zurückgreift, werden alle Orientierungsgrößen des Kopfes bzw. der Augen bestimmt, die für eine Berechnung der Sehlinien und damit des Schnittpunktes mit dem Monitorbild notwendig sind.

Erreichte Vorteile

Die Person ist unabhängig von den Kameras, kann sich frei bewegen. Es tritt keine Behinderung durch eine Kamera, die am Auge angebracht ist, ein. Computer können auf diese Weise bequem und schnell gesteuert werden. Es wird weniger Zeit für Routineeingaben verschwendet.

Ausführungsbeispiele Ausführungsbeispiel 1

Wie in Abb. 1 dargestellt, wird eine elektronische Filmkamera über einem Computermonitor angebracht. Sie besitzt ein Zoom-Objektiv, das von ex tern durch elektrische Impulse gesteuert werden kann. Die Kamera fixiert den Kopf einer Person, die sich im Bereich vor dem Monitor befindet. Die Fokussierung erfolgt automatisch durch die Camera oder durch eine Bild verarbeitung bei steuerbarem Fokussierungszustand durch den Computer. Die Kamera nimmt mit einer bestimmten Frequenz (50 Hz) Bilder auf, die in digitalisierter Form einem Computer zugeführt werden.

Initialisierungs-/Lernprozeß

Zunächst wird der Kopf in eine klar definierte räumliche Position und La ge gebracht. Aus dem Bild, das die Kamera vom Kopf in dieser Position aufnimmt, ermittelt der Computer mit Hilfe einer Bildverarbeitungs- und Erkennungssoftware bestimmte charakteristische Parameter in der optischen Erscheinung des Kopfes der Person, z. B. (Abb. 2)

- die Länge des im folgenden so bezeichneten "Mundschattens", (Schatten zwischen den Lippen bei geschlossenem Mund),
- den Augenabstand,
- den Abstand zwischen einer Verbindungslinie beider Augen und der Na senunterseite.

Diese charakteristischen Parameter werden im Computer gespeichert und dienen als Referenzobjekte für die Bilderkennung, wenn sich der Kopf in ei ner abweichenden Position befindet.

Ermittlung der Kopflage im laufenden Betrieb

Im laufenden Betrieb wird zunächst die räumliche Kopflage durch Vergleich der Bilder der Kamera mit den gespeicherten Referenzobjekten ermittelt.

Die Entfernung des Kopfes von der Kamera wird aus der Länge des Mund schattens bestimmt (bei größerer Entfernung ist die Größe aller Objekte am Kopf im Kamerabild geringer).

Die horizontale und vertikale Position wird anhand eines Vergleiches von den ermittelten Referenzgrößen und den entsprechenden aus dem zu ana lysierenden Bild gewonnenen Größen in Hinblick auf bestimmte Bezugs punkte (z. B. Mundschattenenden, Nasenunterseite und Augenlage) be stimmt.

Die Drehung um eine horizontale Achse parallel zum Monitorbild wird durch einen entsprechenden Vergleich in Hinblick auf die Länge der Verbin dungslinie zwischen Nasenunterseite und einer Verbindungslinie zwischen beiden Augen und einer Schattenanalyse ermittelt.

Diese Verbindungslinie kann auch dazu benutzt werden, die Drehung des Kopfes um eine Achse senkrecht zum Monitorbild zu bestimmen.

Eine Drehung des Kopfes um eine vertikale Achse parallel zur Monitor fläche wird durch einen Vergleich von Referenz- und Analysebild bzw. den daraus gewonnene Parametern in Bezug auf die Längen der Streckenab schnitte von den Augen zu einer vertikalen Linie von der Nasenunterseite. Auf diese Weise wird die räumliche Orientierung des Kopfes ermittelt.

Anschließend wird die Position der Pupillen (bzw. der Iris) relativ zum Kopf anhand der digitalisierten Bilder der Kamera ermittelt. Diese Bil derkennung ist sehr anspruchsvoll, da die Pupillen teilweise von den Au genlidern bedeckt sein können und es ausserdem zu Spiegelungen kommen kann.

Aus der Kenntnis der Augenpositionen relativ zur räumlichen Lage des Kopfes können nun die Sehlinien ermittelt werden (die Richtung in die die Augen blicken). Daraus kann der Blickpunkt auf der Monitoroberfläche ermittelt werden. Es ist der Schnittpunkt der Sehlinien mit der Monitoro berfläche. Es genügt für diese Schnittpunktbildung auch die Sehlinie eines einzelnen Auges.

Ausführungsbeispiel 2

Ein Problem bei der 1. Ausführung ist die mangelnde Auflösung und ein daraus resultierender großer Fehler bei der Blickpunktbestimmung. Ein wei terer Nachteil ist der geringe Raumwinkel, der von der Kamera erfaßt wird. Daraus resultiert eine geringe Bewegungsmöglichkeit für die Person.

In der folgenden Ausführung ist der Aufbau weitgehend wie im 1. Beispiel. Zusätzlich sei die Kamera mit einem Zoom-Objektiv ausgestattet, das vom Computer steuerbar ist, und dessen Zustand vom Computer, abgefragt wer den kann. Desweiteren ist die Kamera um zwei Achsen (senkrecht aufein ander, parallel zur Bildebene des Monitors) beweglich. Der Drehwinkel der Camera ist ebenfalls vom Computer steuerbar.

Im laufenden Betrieb wird die Kamera in der Weise positioniert (d. h. ge dreht), daß immer ein bestimmter Teil des Kopfes der Person im Bild gehal ten wird, wenn sich die Person in einem bestimmten Raumbereich bewegt. Am Beginn kann zunächst das Zoom-Objektiv so gesteuert werden, daß ein größerer Raumbereich erfaßt wird. Dadurch kann mit einer Bilderkennung der zu fixierende Teil des Kopfes (Bereich um ein bzw. beide Augen) "gefunden" werden. Im folgenden wird die Kamera mit einer Bilderkennung bei Bewe gung des Kopfes der Person so gedreht, daß immer der zu fixierende Bereich im Bild ist. Das Zoom-Objektiv vergrössert das Bild der Kamera, so daß eine maximale Auflösung erzielt wird, jedoch genügend Gesichtskennlinien vorhanden sind, um die Kopflage ähnlich wie im I. Ausfürungsbeispiel zu bestimmen. Bei der Ermittlung der Kopflage müssen zusätzlich der Camera- Zoomzustand und der Camera-Drehwinkelzustand berücksichtigt werden.

Bestimmung des Camera-Drehwinkels

Es sind verschiedene Metho den zur Bewegungsverfolgung einer Camera mit Hilfe einer Bilderkennung bekannt, von denen hier zwei vorgeschlagen werden sollen.

Zunächst können am Kopf der Person in dem Bereich, den die Camera erfaßt ein bzw. mehrere Fixpunkte oder Objekte festgelegt werden. Anhand einer Grauwertfilterung (eventuell mit Farbselektion) und anschliessender Bilder kennung kann die Position dieser Objekte im Camerabild ermittelt werden. Die Camera wird dann in der Weise gesteuert, daß diese Fixobjekte bestimm te Koordinaten im Camerabild haben. Das Zoomobjektiv wird so gesteuert, daß die Fixobjekte bestimmte Größenmaße im Camerabild haben.

Es kann zur Bewegungsbestimmung ebenfalls die Differenz von 2 oder mehr Bildern betrachtet werden. Anhand der Grauwertänderung, die durch das Differenzbild sichtbar wird, kann auf die Art der Bewegung rückgeschlossen und entsprechend die Camera nachgeführt werden. Eine Feinabstimmung kann dann auf die Weise wie bei der ersten Methode erfolgen.

In Abb. 3 wird die Abfolge der Schritte beim Differenzbildanalysever fahren gezeigt. Die horizontale Achse ist die Zeitachse. Es werden zunächst zwei Bilder B1 und B2 aufgenommen. Es wird anschliessend die Differenz gebildet und dort gespeichert, wo vorher B1 war. Das Differenzbild wird ana lysiert, und entsprechend wird die Camera nachgeführt. Im Anschluß an die Cameranachführung wird ein neues Bild aufgenommen, z. B. B4 und unter Berücksichtigung der Cameranachführung mit B2 verglichen usw.

Ausführungsbeispiel 3

Der Aufbau ist im wesentlichen wie bei der Ausführung 2. Hier werden al lerdings 2 Kameras auf den Kopf bzw. Teile davon gerichtet. Mit Hilfe der Paralaxe der Stereobildpaare kann in bekannter Weise eine genauere Entfer nungsbestimmung des Kopfes von dem Monitorschirm erfolgen. Durch den Vergleich der Sehlinienbestimmung;beider Kamerabilder kann zusätzlich ei ne genauere Blickpunktbestimmung erfolgen. Der entscheidende Vorteil ist bei der Darstellung räumlicher Bilder auf dem Monitorschirm zu sehen. Der Blickpunkt kann hier allein durch den Schnittpunkt der Sehlinien beider Au gen ermittelt werden.

Claims

1. Vorrichtung zur automatischen Blickpunktbestimmung einer sich vor einem Monitor befindenden Person, dadurch gekennzeichnet, daß im Bereich des Monitors eine bzw. meh rere Kameras angebracht sind, die fortlaufend Bilder vom Kopf bzw. Teilbereichen des Kopfes der Person aufnehmen. Eine bzw. beide Pu pillen und gegebenenfalls die Kopflage (d. h. Raumposition und Dreh winkel) bezüglich eines Raumkoordinatensystems werden mit Hilfe ei nes elektronischen Datenverarbeitungssystems (z. B. einem PC) durch eine Bildverarbeitung und Erkennung anhand der digitalisierten Bilder der Kamera ermittelt. Aus der Kenntnis dieser Daten werden eine oder beide Sehlinien der Person bezüglich dem Raumkoordinatensystem er mittelt. Durch Bildung des Schnittpunktes dieser Sehlinie(n) mit dem Bild auf dem Monitor wird der Blickpunkt errechnet.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Person mithilfe einer oder mehrerer Lichtquelle(n) beleuchtet wird, um eine normierte Bildantwort zu erhalten.

3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Kame ra starr ist mit einer Fokussierungsvorrichtung.

4. Vorrichtung nach dem vorangegangenen Anspruch dadurch gekenn zeichnet, daß die Einstellung der Fokussierung durch die Kamera er folgt.

5. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß die Fokussierung der Kamera von außen kontrollier bar ist und durch eine Auswertung der Bilder der Kamera erfolgt.

6. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß der Fokussierungszustand der Kamera dem Positi onsanalyseprogramm zur Entfernungsbestimmung mitgeteilt wird.

7. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß die Kamera mit einem Zoom-Objektiv versehen ist um eine genauere Positionsparameteranalyse zu ermöglichen.

8. Vorrichtung nach dem vorangegangenen Anspruch dadurch gekennzeich net, daß der Zoom-Zustand des Objektivs dem Programm zur Analyse der Positionsparameter mitgeteilt wird und steuerbar ist.

9. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch ge kennzeichnet, daß die Kamera um eine oder zwei Achsen schwenkbar ist, um die zu analysierenden Teile des Kopfes bei Bewegung desselben im Bild zu behalten.

10. Vorrichtung nach dem vorangegangenen Anspruch dadurch gekenn zeichnet, daß die Steuerung der Drehposition der Kamera anhand einer Bewegungsanalyse der Kamerabilder (z. B. durch Bildung von Bilddif ferenzen und Auswertung) erfolgt.

11. Vorrichtung nach einem der vorrangegangenen Ansprüche dadurch ge kennzeichnet, daß die Positionssteuerung der Kamera in der Weise er folgt, daß ein bestimmter Referenzpunkt im Bild immer die gleich Po sition im Bild hat.

12. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß die Positionsbestimmung der Kamera auf andere Weise erfolgt.

13. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch ge kennzeichnet, daß 2 oder mehr gegebenenfalls bewegliche Kameras eventuell mit Objektiven Teile vom Kopf der Person im Bild haben, die im Bereich des Monitors angebracht sind, um eine genauere Lage bestimmung des Kopfes bzw. der Pupille(n) zu ermöglichen.

14. Vorrichtung nach dem vorangegangenen Anspruch dadurch gekenn zeichnet, daß anhand der Paralaxe beider Kamerabilder eine Entfer nungsmessung vorgenommen wird.

15. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß die Steuerung der Kameraposition(en) auf anderem Weg als durch eine Bildanalyse erfolgt.

16. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch ge kennzeichnet, daß die Bildverarbeitung in der Weise erweitert wird, daß der Blickpunkt auch beim Benutzen einer Sehhilfe (Brille etc.) be stimmt werden kann.

17. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß die Kenntnis des Blickpunktes mit einer anderen Eingabeinformation (z. B. Spracherkennung oder Tastendruck) gekop pelt wird um eine Steuerung eines Computers (z. B. wie mit einer Mou se) zu ermöglichen.

18. Vorrichtung nach einem der vorangegangenen Ansprüche dadurch ge kennzeichnet, daß die Kenntnis des Blickpunktes für psychologische Analysezweck (z. B. Testen der Wirksamkeit eines Werbespots) benutzt wird.