DE102016009142A1

DE102016009142A1 - Blickbasierte Aktionssteuerung durch adaptive Erkennung von natürlichen Objektauswahlsequenzen

Info

Publication number: DE102016009142A1
Application number: DE102016009142.8A
Authority: DE
Inventors: Achim Wagner; Leila Mekacher; Eugen Nordheimer; Essameddin Badreddin; Christian Bartolein
Original assignee: Universitaet Heidelberg
Current assignee: Universitaet Heidelberg
Priority date: 2015-07-28
Filing date: 2016-07-28
Publication date: 2017-02-02

Abstract

Die vorliegende Erfindung betrifft eine Blick-gesteuerte Aktivierung technischer Vorgänge oder Funktionen basierend auf einem Blickpfadmodell, welches eine Vielzahl von Blickpfaden derart festlegt, dass jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern mit zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatzes verknüpft; und jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist. Dabei umfasst ein erfindungsgemäßes Verfahren ein Erfassen einer zeitlichen Folge von Blickrichtungen (CFrpog(t)); ein Erfassen eines Umgebungsparametersatzes ({Ci}) zur zur Beschreibung charakteristischer Umgebungsmerkmale (Ci) in der sichtbaren Umgebung des Benutzers; ein Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus einer Vielzahl von vorbestimmten Blickbewegungsmustern; ein Zuordnen von Umgebungsmerkmalen aus dem Umgebungsparametersatz zu den Blickbewegungsmustern in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen; ein Bereitstellen des Blickpfadmodells ein Identifizieren zumindest eines Blickpfades innerhalb des Blickpfadmodells, dessen Folge von Blickpfadelementen der erzeugten Folge von Blickpfadelementen entspricht; und Ausgeben des dem zumindest einen identifizierten Blickpfad zugeordneten Aktionsbefehls.

Description

Die vorliegende Erfindung betrifft eine Blick-gesteuerte Aktivierung technischer Vorgänge oder Funktionen, insbesondere die Steuerung von technischen Geräten durch Blickbewegungen. Die vorgestellte Erfindung findet vorzugsweise Anwendung im Bereich der Mensch-Technik-Interaktion und Automation. Weitere Anwendungsfelder betreffen beispielsweise kognitive Wissenschaften, Marktforschung und Soziologie.
Das menschliche Blickverhalten wird oft im Wesentlichen in Fixationen und Sakkaden unterteilt. Die Fixationen beschreiben Augenwinkelstellungen mit den dazugehörenden Zielpunkten die sich in einem engen Bereich nur zeitlich wenig verändern, während die Sakkaden die Übergänge zwischen den einzelnen Fixationen darstellen. Laut neurologischer Untersuchungen findet die Wahrnehmung einer statischen Umgebung überwiegend während den Fixationen statt. Das Auge eines Menschen wird auf verschiedene Art und Weise bewegt um ein festes oder bewegliches Ziel in den Bereich der höchsten Auflösung (Fovea) zu bringen. In der Literatur werden die Augenbewegungen z. T. sogar in sieben verschiedene Bewegungsarten klassifiziert.

a) Konvergenz ist die Bewegung beider Augen relativ zueinander, um sicherzustellen, dass ein Objekt mit beiden Augen fixiert wird, wenn sich der Abstand vom Betrachter ändert. Je näher ein Objekt zum Kopf rückt, desto näher rücken auch die Blickwinkel zusammen. Diese Bewegung kann kontrolliert bewegt werden, ist aber normalerweise die Folge eines bewegten Fixationspunkts.
b) Rollen der Augen ist die rotative Bewegung des Auges um die Blickachse zwischen Pupille und Fovea. Diese Bewegung ist ungewollt und wird durch Nackenbewegung und andere Einflüsse hervorgerufen.
c) Sakkaden sind die grundlegenden Bewegungen der Augen, um verschieden Punkte in der visuellen Szene wahrzunehmen. Sakkaden sind plötzliche schnelle Augenbewegungen zwischen Fixationen. Die Reaktionszeit auf einen Stimulus bis zur Erzeugung einer Sakkade hat in der Regel eine Länge von 100–300 ms, gefolgt von einer Ausführungszeit von 30–120 ms abhängig vom Winkel den das Auge überstreichen muss. Die visuelle Bildverarbeitung ist während den Sakkaden stark eingeschränkt.
d) Verfolgungsbewegungen (engl. Pursuit Motion) werden ausgeführt um ein bewegliches Objekt in der Fovea zu halten. Diese sind langsamer und regelmäßiger als Sakkaden und hängen von den Bewegungen des Objekts im Sichtfeld ab.
e) Nystagmus ist ein Bewegungsmuster der Augen, das als Antwort auf den bewegten Kopf des Menschen oder auf regelmäßig wiederkehrende Muster auftritt. Es setzt sich aus einer weichen Verfolgungsbewegung in Bezug auf das relativ bewegte Objekt und einer schnellen Rückkehrbewegung zur Auswahl einer neuen Position zusammen.
f) Zwischen den Fixationen werden sprungförmige Augenbewegungen durchgeführt um von einem Zielpunkt zum nächsten zu wechseln – die Sakkaden. Da die Sprünge zum nächsten Zielpunkt nicht ohne Richtungsabweichung erfolgen, werden vom Auge schnelle Korrekturbewegungen in Form von Mikrosakkaden durchgeführt. Mikrosakkaden werden als Korrekturbewegungen in Bezug auf Zielpunkte ausgeführt.
g) Physiologischer Nystagmus wird benötigt um die Abbildung einer Szene auf der Retina periodisch zu verschieben um die Rezeptoren auf der Netzhaut aufzufrischen.

Für die genaue Zuordnung von Fixation zu Blickverhalten kennt man in der Literatur mehrere Modelle, die für diese Erfindung von untergeordnetem Rang sind. Wesentlich ist hingegen, dass einem Gebiet mit häufigen Fixationen eine semantische Bedeutung zugeordnet werden kann, die oft mit einem Objekt bzw. einer Zielregion (A01: Area Of Interest) mit hohen Nutzerinteresse verknüpft ist. Der Bedeutung des zeitlichen und räumlichen Verlaufs von Sakkaden wird hingegen in der Literatur eine untergeordnete Rolle zugeordnet. Eine Sonderstellung bei der Beschreibung des Blickverhaltens besitzen relativ regelmäßige Augenbewegungen (SPEM: Smooth Pursuit Eye Movement) die sich einstellen wenn ein Mensch ein langsam bewegtes Objekt verfolgt.
Die Fixationen im Blickverhalten sind im Regelfall den AOIs in der Umgebung zugeordnet, die mit dem aktuellen Nutzerziel verknüpft sind. Hierbei können die Zielgebiete wiederum geometrisch mit physikalischen Objekten oder Teilen davon in Verbindung stehen. Die Zielgebiete können weiterhin auch virtuellen Objekten zugeordnet sein, wenn sich der Blick auf eine Anzeige (z. B. einen Computermonitor oder Datenbrille) richtet. Im Gegensatz zur direkten Zuordnung des Zielgebietes auf einem Computermonitor mit einem RED, benötigt die Zuordnung des Zielgebiets in der physikalischen Umgebung weitere Merkmalsextraktionsverfahren für ein Szenenbild und/oder Koordinatenabgleich mit einem externen HT und einem Umgebungsmodel. Die Zeitdauern der Fixationen auf ein spezifisches Zielgebiet sowie der Abstand zum Zielgebiet (bzw. Mittelpunkt des Zielgebiets) sind von Objekt zu Objekt und von Nutzer zu Nutzer unterschiedlich und werden als Interesse an diesem Zielgebiet bzw. dem damit verknüpften Objekt interpretiert. Da die Fixationen nicht mit einer konstanten Blickrichtung sondern mit einer sprunghaften Bewegung der Augenrichtung in einem Zielgebiet erfolgen, werden für die Erkennung des Interessensniveaus bekannte Algorithmen verwendet, die den Abstand und die Verweilzeit auswerten. Das Interessenniveau kann zur Steuerung von Aktionen verwendet werden, wobei dieser Ansatz gegenüber dem reinen Verweilzeitansatz überlegen ist.
Die Erfassung von Blickbewegungen relativ zu Objekten im Raum kann dazu ausgenutzt werden, Aktionen mit dem Computer auszulösen, z. B. wenn eine Verweilzeit auf einem Bildschirmsymbol überschritten wird. Diese Aktionsauslösung ist jedoch mit einer hohen Fehlerquote behaftet, da kaum zwischen explorativen und aktiven Blicken unterschieden werden kann. Dieses als Midas-Touch-Problem bekannte Phänomen ist bisher nicht allgemein gelöst. Für spezielle Anwendungen sind Ansätze bekannt, in denen durch Bewegung von virtuellen Objekten auf einem Computerbildschirm ein SPEM angeregt wird, dass wiederum mit einem RED erfasst wird und entsprechend ausgewertet wird. In wird für das Verfolgen von Bildschirmobjekten z. B. ein Tastenfeld auf einem Computer-Monitor angewandt. Hierbei wird ein Objekt mit einer konstanten Geschwindigkeit in verschiedene Segmenten bewegt und der Abstand zwischen Blickpunkt und Objekt ausgewertet. Wird das Objekt bis zu einem Zielpunkt verfolgt, wir eine Aktion ausgelöst. Diese vorgegebene Bewegung ist jedoch unnatürlich und nur auf die Bildschirmdarstellung beschränkt.
Je nach Aufgabe und Interesse variiert das Blickverhalten in der Szene. Dieses ist dadurch charakterisiert, dass die Anzahl und zeitliche Dauer der Fixationen auf Objekte mit den Aufgaben korrelieren. Das Blickverhalten wird in vielen Fällen durch eine statische Auswertung der anteiligen Verweildauer auf manuell festgelegt AOIs beschrieben. Neben rein statistischen Zusammenhängen sind auch Modelle bekannt, die eine Reihenfolge von Fixationen auf Objekt mit probabilistischen Modellen auswerten. Weit verbreitete Modellierungsansätze basieren auf Bayes'schen Schätzverfahren wie z. B. Hidden-Markov-Modelle (HMM). Die hierzu verwendeten Ausführungen zum Blickverhalten beinhalten soweit bekannt nicht die Dauer der Fixationen auf Objekte und wegen der fehlenden zeitlichen Beziehung nicht den dynamischen Modellen zuzuordnen. HMM werden beispielsweise zur Aktionserkennung in einer statischen Szene eingesetzt, d. h. es wird geschätzt welche Aktion ein Subjekt in der Szene wahrgenommen hat. Modellierungen des dynamischen Blickverhaltens mit HMM wurden in Vorarbeiten untersucht. Diese beziehen sich im Gegensatz zu den oben beschriebenen Modellen nicht auf Fixationen sondern das kontinuierliche Blickverhalten über die Zeit und den damit verknüpften Blickzuständen des Nutzers. In Studien hat sich gezeigt, dass die Augenbewegungen (Blickwinkel und Winkelgeschwindigkeit) eine Information über die Relevanz von Blicken zum Steuern eines Elektrorollstuhls liefern können. So können beispielsweise Blicke zum Geradeausfahren, zur Vorbereitung der Kurvenfahrt, zur Kurvenfahrt und zur Wiederausrichtung jeweils nach links und rechts unterschieden werden. Eine Ablenkung bzw. eine Suche in der Umgebung wird ebenfalls durch charakteristische Blickmuster erkannt. Im Falle der Rollstuhlsteuerung werden jedoch nur Blicke in Bezug auf die Bewegungsrichtung des Rollstuhls untersucht. Für den Bezug zur Umgebung kann das Verfahren nicht angewandt werden.
Aufgabe der vorliegenden Erfindung ist es, die blickgesteuerte Auslösung von Aktionen zu verbessern. Diese Aufgabe wird durch ein Verfahren mit den in den Ansprüchen 1 oder 7, eine Vorrichtung mit den in den Ansprüchen 10 oder 11 und ein Computerprogrammprodukt mit den in Anspruch 12 angegebenen Merkmalen gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
In einem Aspekt betrifft die Erfindung somit ein Verfahren zur Auswertung von Blicken zur Steuerung von technischen Einrichtungen umfassend ein Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t)). Die Blickrichtungen können dabei insbesondere in Form von Positions- und/oder Winkelkoordinaten zur Festlegung der Position eines betrachteten Punktes im Raum bzw. einer Ausrichtung eines Auges oder beider Augen eines Benutzers im Raum erfasst werden. In einer bevorzugten Ausführungsform erfolgt das Erfassen einer zeitlichen Folge von Blickrichtungen mittels eines relativ zum Kopf festen Blickrichtungsmessgerätes (z. B. mit ETG: Eye Tracking Glasses).
Außerdem umfasst das Verfahren ein Erfassen eines Umgebungsparametersatzes zur Beschreibung charakteristischer bzw. blickrelevanter Umgebungsmerkmale (C_i) in der sichtbaren Umgebung des Benutzers Vorzugsweise setzt sich der Umgebungsparametersatz aus einer Menge von Objektparametersätzen C_i aller blickrelevanten Objekte/Merkmale i in der Umgebung des Benutzers zusammen. Dabei umfasst vorzugsweise jeder Objektparametersatz insbesondere eine Objektidentifikationsnummer Id_i und Ortskoordinaten r_i in einem Objektkoordinatensystem. Das Ermitteln eines Umgebungsparametersatzes kann auf unterschiedliche Weise erfolgen. In einer bevorzugten Ausführungsform umfasst das Ermitteln eines Umgebungsparametersatzes ein Erfassen eines Szenenbildes (zumindest eines Teils) der (sichtbaren) Umgebung des Benutzers mittels einer Szenenkamera und ein Extrahieren der Objektparametersätze z. B. mittels Mustererkennung. Diese bevorzugte Implementierung eignet sich besonders für Anwendungen in einer von vornherein unbekannten Umgebung des Benutzers. In einer anderen bevorzugten Ausführungsform, welche insbesondere im Falle von virtuellen Objekten beispielsweise auf einem Computerbildschirm besonders vorteilhaft ist, werden als Umgebungsparametersatz zumindest teilweise digitale Parameterdaten genutzt, welche als Grundlage für die visuelle Darstellung der virtuellen Objekte dienen können.
Außerdem umfasst das Verfahren ein Identifizieren einer Folge von Blickbewegungsmustern (im Folgenden teilweise auch Blickmerkmale genannt) innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus einer Vielzahl von vorbestimmten Blickbewegungsmustern. Beispielsweise kann dabei ein Unterteilen der zeitlichen Abfolge von Blickrichtungen in zeitlich zusammenhängende Abschnitte variabler Länge erfolgen. Zumindest für einige dieser Abschnitte wird ein Blickbewegungsmuster aus einer vordefinierten Menge von Blickbewegungsmustern identifiziert. Diese vordefinierte Menge könnte in einigen Ausführungsformen auch Definitionen für Fixationen, Sakkaden und SPEM umfassten.
Außerdem umfasst das Verfahren ein Zuordnen von zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatz zu zumindest einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen. Insbesondere könnte einer Mehrzahl der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern jeweils zumindest ein Umgebungsmerkmal zugeordnet werden. Vorzugsweise könnte auch jedem Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern jeweils zumindest ein Umgebungsmerkmal zugeordnet werden. Einem Blickbewegungsmuster kann bzw. können dabei ein oder mehrere Umgebungsmerkale zugeordnet werden. Die erzeugte Folge von Blickpfadelementen enthält somit insbesondere zumindest ein Blickpfadelement, welches zumindest einen Bezug zu zumindest einem Umgebungsmerkmal festlegt.
Außerdem umfasst das Verfahren ein Bereitstellen eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass

– jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert bzw. charakterisiert ist, von denen zumindest ein Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern mit zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatzes verknüpft, wobei vorzugsweise jedes Blickpfadelement des Blickpfades der Vielzahl von Blickpfaden ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und zumindest eins der Blickpfadelemente pro Blickpfad (vorzugsweise zumindest zwei der Blickpfadelemente pro Blickpfad) das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal verknüpf; und
– jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist.

Außerdem umfasst das Verfahren ein Identifizieren zumindest eines Blickpfades innerhalb des Blickpfadmodells, dessen Folge von Blickpfadelementen der erzeugten Folge von Blickpfadelementen entspricht. Eine Entsprechung ist insbesondere darin zu sehen, dass eine Zuordnung derselben Umgebungsmerkmale zu denselben Blickbewegungsmustern in derselben Reihenfolge vorliegt.
Schließlich umfasst das Verfahren ein Ausgeben des dem zumindest einen identifizierten Blickpfad zugeordneten Aktionsbefehls.
Eine besonders relevante Anwendung der vorliegenden Erfindung ist es, technische Einrichtungen bzw. Vorgänge in der Umgebung eines Nutzers mit den Augen anzusteuern indem die zeitlich veränderliche Blickrichtung des Nutzers (Blickverhalten) relativ zum Kopf und/oder relativ zur Umgebung des Nutzers erfasst und ausgewertet wird. Aus dem Blickverhalten werden Steuersignale abgeleitet, die an eine zu steuernde Einrichtung (z. B. elektronische Geräte) weitergeleitet werden und dort vorhandene Schaltfunktionen oder eine kontinuierliche Änderung von physikalischen Größen (im Folgenden Aktionen genannt) bewirken können. Durch ein hybrides Mustererkennungsverfahren, das auf der Erkennung von Blickprimitiven beruht, werden dem aktuellen Blickverhalten gewünschte Aktionen zugeordnet. Durch die verbesserte automatische Unterscheidung des relevanten und nicht-relevanten Blickverhaltens wird die Möglichkeit zur fehlerhaften Ausführung von Aktionen stark reduziert.
Vorzugsweise legt im Blickpfadmodell jedes Blickpfadelement eine Elementdauer fest, wobei das Identifizieren der Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen für jedes identifizierte Blickbewegungsmuster ein Erfassen einer Musterdauer umfasst und wobei das Identifizieren des zumindest einen Blickpfades unter Berücksichtigung eines Vergleichs der festgelegten Elementdauern innerhalb des zumindest einen identifizierten Blickpfades mit den erfassten Musterdauern innerhalb der identifizierten Folge von Blickbewegungsmustern erfolgt. Besonders bevorzugt erfolgt die Berücksichtigung eines Vergleichs der festgelegten Elementdauern mit den erfassten Musterdauern, wenn eine Identifikation des Blickpfades allein anhand einer Reihenfolge aufeinander folgender Blickbewegungsmuster und zugeordneter Umgebungsmerkmale nicht eindeutig zu einem Blickpfad führt, sondern, sondern mehrere Blickpfade eine gleich (oder ähnliche) Reihenfolge aufweisen.
Vorzugsweise legt im Blickpfadmodell jedes Blickpfadelement, das ein Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal verknüpft, zu jeder Verknüpfung des jeweiligen Blickbewegungsmusters mit einem Umgebungsmerkmal eine Verknüpfungsstärke fest, wobei das Zuordnen von Umgebungsmerkmalen zu identifizierten Bewegungsmustern für jedes identifizierte Bewegungsmuster, dem ein Umgebungsmerkmal zugeordnet wird, ein Ermitteln zumindest einer Verknüpfungsstärke zumindest eines zugeordneten Umgebungsmerkmals umfasst und wobei das Identifizieren des zumindest einen Blickpfades unter Berücksichtigung eines Vergleichs der Verknüpfungsstärken innerhalb des zumindest einen identifizierten Blickpfades mit den ermittelten Verknüpfungsstärken innerhalb der identifizierten Folge von Blickbewegungsmustern erfolgt. Besonders bevorzugt erfolgt die Berücksichtigung eines Vergleichs der Verknüpfungsstärken, wenn eine Identifikation des Blickpfades allein anhand einer Reihenfolge aufeinander folgender Blickbewegungsmuster und zugeordneter Umgebungsmerkmale (und insbesondere auch anhand eines Vergleichs von festgelegten Elementdauern mit erfassten Musterdauern) nicht eindeutig zu einem Blickpfad führt, sondern, sondern mehrere Blickpfade mit den geforderten Kriterien ergeben.
Besonders bevorzugt legt im Blickpfadmodell zumindest ein (vorzugsweise jedes) Blickpfadelement zu einem (bzw. dem jeweiligen) Blickbewegungsmuster zumindest zwei Verknüpfungen zu unterschiedlichen Umgebungsmerkmalen fest, wobei das Zuordnen von Umgebungsmerkmalen zu identifizierten Bewegungsmustern für zumindest ein (vorzugsweise jedes) identifizierte Bewegungsmuster ein Zuordnen von zumindest zwei Umgebungsmerkmalen und ein Ermitteln zumindest einer Verknüpfungsstärke zu jedem er zumindest zwei zugeordneten Umgebungsmerkmals umfasst. Insbesondere werden zumindest diejenigen zwei (oder mehr) Umgebungsmerkmale (zusammen mit einer entsprechenden Verknüpfungsstärke) zugeordnet und bei der Identifikation des Blickpfades berücksichtigt welche die höchsten (zwei bzw. drei oder mehr) Werte der ermittelten Verknüpfungsstärke aufweisen.
In einem weiteren Aspekt (Lern- bzw. Trainingsphase) bietet die Erfindung ein Verfahren zum Generieren eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass

– jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert bzw. charakterisiert ist, von denen zumindest ein Blickpfadelement ein Blickbewegungsmuster aus einer Vielzahl von vorbestimmten Blickbewegungsmustern mit zumindest einem Umgebungsmerkmal aus einem Umgebungsparametersatzes verknüpft, wobei vorzugsweise jedes Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von Blickbewegungsmustern festlegt und besonders bevorzugt zumindest ein weitere bevorzugt zumindest zwei Blickpfadelement(e) das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal verknüpft; und
– jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist,

– Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t))
– Erfassen des Umgebungsparametersatzes zur Beschreibung charakteristischer bzw. blickrelevanter Umgebungsmerkmale (C_i) in der sichtbaren Umgebung des Benutzers;
– Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus der Vielzahl von vorbestimmten Blickbewegungsmustern
– Zuordnen von zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatz zu zumindest einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen, wobei vorzugsweise zumindest zwei (oder allen) identifizierten Blickbewegungsmustern jeweils zumindest ein Umgebungsmerkmal zugeordnet wird;
– Erfassen eines Aktionsbefehl zur Steuerung einer technischen Einrichtung;
– Abspeichern der erzeugten Folge von Blickpfadelementen als Blickpfad zusammen mit einer Zuordnung des erfassten Aktionsbefehls.

Insbesondere kann mit diesem Verfahren das in Verfahren zur Auswertung von Blicken zur Steuerung von technischen Einrichtungen genutzte Blickpfadmodell geniert werden. Damit wird das Blickpfadmodell individuelle für einen Benutzer insbesondere in der genutzten Umgebung generiert und führt somit zu einer sehr hohen Zuverlässigkeit der Auswertung von Blicken und Steuerung technischer Einrichtungen.
Vorzugsweise umfasst das identifizieren der Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen für jedes identifizierte Blickbewegungsmuster ein Erfassen einer Musterdauer, wobei das Erzeugen der Folge von Blickpfadelementen für jedes Blickpfadelement die Musterdauer als Elementdauer festlegt.
Vorzugsweise umfasst das Zuordnen von Umgebungsmerkmalen zu identifizierten Bewegungsmustern für jedes identifizierte Bewegungsmuster ein Ermitteln zumindest einer Verknüpfungsstärke zumindest eines zugeordneten Umgebungsmerkmals.
Weiter bevorzugt erfolgt das Ermitteln der Verknüpfungsstärke gemäß
wobei

δ_i(t):: einen Winkelabstand der Blickrichtung vom Umgebungsmerkmal;
s_i:: einen Radius des Umgebungsmerkmals;
d_i(t):: einen Abstand des Benutzers vom Umgebungsmerkmal;
σ:: einen Streufaktor zur Berücksichtigung einer Messungenauigkeit in der Erfassung der zeitlichen Folge von Blickrichtungen; und
A:: einen Normierungsfaktor

Vorzugsweise legt das Blickpfadmodell die Vielzahl von Blickpfaden derart fest, dass zumindest einige der Blickpfade, vorzugsweise die Mehrzahl der Blickpfade, am meisten bevorzugt alle Blickpfade jeweils durch eine Folge einer Anzahl von Blickpfadelementen im Bereich von zumindest zwei, vorzugsweise zumindest drei und/oder nicht mehr als 30, vorzugsweise nicht mehr als 20 Blickpfadelementen definiert sind.
In einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung zur Auswertung von Blicken insbesondere zur Erzeugung von Steuersignalen zur Steuerung von technischen Einrichtungen umfassend:

– ein Blickbewegungsmodul zum
– Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t));
– Erfassen eines Umgebungsparametersatzes {C_i} zur Beschreibung charakteristischer Umgebungsmerkmale in der sichtbaren Umgebung des Benutzers; und
– Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus einer Vielzahl von vorbestimmten Blickbewegungsmustern;
– ein Bewertungsmodul zum Zuordnen von zumindest einem Umgebungsmerkmale aus dem Umgebungsparametersatz zu mindestens einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen;
– ein Blickpfadmodul zum:
– Bereitstellen eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass
– jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert bzw. charakterisiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und von denen zumindest ein Blickpfadelement das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatzes verknüpft; und
– jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist; und
– Identifizieren zumindest eines Blickpfades innerhalb des Blickpfadmodells, dessen Folge von Blickpfadelementen der erzeugten Folge von Blickpfadelementen entspricht; und
– ein Aktionsmodul zum Ausgeben des dem zumindest einen identifizierten Blickpfad zugeordneten Aktionsbefehls.

In einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung, insbesondere gemäß der oben beschriebenen Art, zum Generieren eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass

– jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert bzw. charakterisiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus einer Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und von denen zumindest ein Blickpfadelement das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal aus einem Umgebungsparametersatzes verknüpft; und
– jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist,

– ein Blickbewegungsmodul zum
– Erfassen einer zeitlichen Folge von Blickrichtungen ^CFr_pog(t)
– Erfassen des Umgebungsparametersatzes {C_i} zur Beschreibung charakteristischer bzw. blickrelevanter Umgebungsmerkmale C_i in der sichtbaren Umgebung des Benutzers; und
– Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus der Vielzahl von vorbestimmten Blickbewegungsmustern
– ein Bewertungsmodul zum Zuordnen von zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatz zu zumindest einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen;
– ein Aktionsmodul zum Erfassen eines Aktionsbefehl zur Steuerung einer technischen Einrichtung; und
– ein Blickpfadmodul zum Abspeichern der erzeugten Folge von Blickpfadelementen als Blickpfad zusammen mit einer Zuordnung des erfassten Aktionsbefehls.

In einem weiteren Aspekt betrifft die Erfindung ein Computerprogrammprodukt insbesondere in Form eines Speichermediums und/oder einer Signalfolge, welches Programmcode umfasst, der geladen und ausgeführt in einem programmierbaren Computersystem dieses System veranlasst, ein Verfahren gemäß der vorliegenden Erfindung insbesondere in einer der hier beschriebenen bevorzugten Ausführungsformen auszuführen.
Weitere Details insbesondere zu bevorzugten Ausführungsform und Implementierungen werden nachfolgend mit Bezug auf die beigefügten Zeichnungen beschrieben. Dabei zeigen:
1 ein schematisches Blockdiagramm einer Vorrichtung zur Auswertung von Blicken zur Steuerung von technischen Einrichtungen gemäß einer bevorzugten Ausführungsform der Erfindung;
2 eine schematische Darstellung von Blickpfaden, welche durch eine Folge von Blickpfadelementen festgelegt sind; und
3 ein Beispielszenario zur Anwendung der Erfindung in einer bevorzugten Ausführungsform.
Die Blickrichtung eines Nutzers wird beispielsweise mit einem Blickrichtungsmessgerät (ET: Eye Tracker oder GT: Gaze Tracker) relativ zum Kopf (z. B. mit ETG: Eye Tracking Glasses) und/oder relativ zur Umgebung des Nutzers (RED: Remote Eye Tracking Device) technisch erfasst. Zudem wird die Szene, die der Nutzer wahrnimmt, optional durch eine oder mehrere Kameras erfasst. Die Position des Kopfes kann über die Szenenkamera und Umgebungsmerkmale rekonstruiert werden und/oder durch eine zusätzliche Messeinrichtung (HT: Head Tracking) erfasst werden. Durch diese Anordnung ist die direkte Zuordnung von Blickrichtung und Zielposition der Blicke in der Umgebung möglich, wobei der Blickrichtungsvektor jedes Auges die Begrenzungsfläche in der Umgebung in einem Punkt schneidet. Bei der entsprechenden binokularen Auswertung der Blickrichtung und bei einer dreidimensionalen (3D) Umgebungsmodellierung ist der Auftreffpunkt eindeutig im Raum bestimmbar. Das 3D-Modell kann unmittelbar mit Hilfe von 3D-Messgeräten (z. B. 3D-Kamera) erstellt werden oder in einer Datenbasis abgelegt sein, die zuvor erstellt wurde.
Beispielsweise trägt ein Systemnutzer eine Blickrichtungsmessbrille (ETG: Eye Tracking Glasses, z. B. Pupil Pro, Fa. Pubil Labs). Die Brille besitzt Kameras zur Aufzeichnung der Augen und der Szene. Daraus extrahiert das System die Blickrichtung eines oder beider Augen im Brillenkoordinatensystem ^ETGr_pog(t) = (t, ^ETGx(t), ^ETGy(t)) und Markerkoordinaten ^ETGM_f(t) = (t, ^ETGx(t), ^ETGy(t), ^ETGz(t), ^ETGphi(t), ^ETGtheta(t), ^ETGpsi(t)) ebenfalls im Brillenkoordinatensystem. Dabei wird angenehmen oder vorausgesetzt, dass durch die Anbringung einer Anzahl von optischen Markern in der Umgebung immer mindestens ein Marker im Szenenbild sichtbar ist. Eine markerlose Referenzierung der Blickrichtungsmessung ist ebenfalls möglich.
Die Markerkoordinaten in x-y-Richtung definieren eine Ebene im Raum. Die Markerkoordinaten werden vorzugsweise vorher zur Welt referenziert mit den bekannten Markerkoordinaten ^WM_f(t) = (t, ^Wx(t), ^Wy(t), ^Wz(t), ^Wphi(t), ^Wtheta(t), ^Wpsi(t)) im Weltkoordinatensystem {W} für alle Marker f = 1 ... f_max.
Mit den bekannten Markerkoordinaten und durch Koordinatentransformation wird die Blickrichtung vom Brillen- ins Weltkoordinatensystem transformiert mit ^Wr_pog(t) = (t, ^Wx(t), ^Wy(t)). Der Schnittpunkt der Blickrichtung mit den Marker-Ebenen definiert ein Blickpunkt im Raum ^Wr_pog(t) = (t, ^Wx(t), ^Wy(t), z(t)). Alternativ kann auch die weitere Auswertung im jeweiligen aktuellen Markerkoordinatensystem {M_f} erfolgen.
Die Umgebungsmerkmale werden beispielsweise manuell für ausgezeichnete Positionen eines Objekts vorgegeben mit ^WC_i(t) = (^Wx_i, ^Wy_i, ^Wz_i, s_i) und dem Radius des Umgebungsmerkmals s_i. Diese Positionen entsprechen beispielsweise einer Ecke, Flächenschwerpunkt, ect. des Objekts).
Um das Blickverhalten in einer natürlichen Umgebung zu modellieren, wird vorzugsweise berücksichtigt, dass sich die Szene bewegt. Weiterhin können sich auch einzelne Objekte in der Umgebung, also relativ zur Szene bewegen. Daher werden vorzugsweise spezielle ETD mit zusätzlicher Erfassung des Kopfs in der Umgebung mit HT oder Objekterkennung im Szenenbild eingesetzt (s. o.). Damit kann nun die Blickrichtung in Bezug auf Umgebungsmerkmale erfasst werden. Sind die für den Nutzer interessanten Objektkandidaten und die AOI bekannt, können die Blickrichtungen auf diese Objektkandidaten in Bezug gesetzt werden.
Das Blickverhalten setzt sich aus unterscheidbaren zeitlich begrenzten Abschnitten des Bewegungsablaufs von Blickrichtungen, hier auch Blickmerkmalen genannt, zusammen. Um das Blickverhalten auf einem geeigneten Abstraktionsniveau und somit effizient zu beschreiben, wird ein zeitbehafteter hybrider Modellierungsansatz vorgeschlagen. Dieser basiert vorzugsweise auf zumindest einigen der folgenden Elemente:
Liste von Systemvariablen und Parametern gemäß bevorzugter Implementierungen der vorliegenden Erfindung:

t: Zeit
{W}: Ortsfestes oder bewegliches Koordinatensystem (W steht für „Welt”)
{K}: Szenenkoordinatensystem (K steht für „Kamera”)
{C_i(t)}: Menge von blickrelevanten Umgebungsmerkmalen (statische oder bewegliche Objekte oder Teile von Objekten) in einer Umgebung U des Benutzers. Ein Umgebungsmerkmal C_i = {ID_i, r_i} besitzt eine Identifikationsnummer ID_i und Koordinaten r_i in {W}, i = 1 ... i_max; i_max (maximale) Anzahl von (registrierten) Umgebungsmerkmalen
^CFr_pog(t) = (x(t), y(t), z(t))^T(t): Blickrichtung des Nutzers (Point-of-Gaze) im Koordinatensystem CF (z. B. CF = {W} od. CF = {K})
^CFv_pog(t) = (v_x(t), v_y(t), v_z(t))^T(t): zeitliche Änderung der Blickrichtung des Nutzers (d. h. Geschwindigkeit der Blickbewegung) im Koordinatensystem CF (z. B. CF = {W} od. CF = {K})
BM_m(t): Blickbewegungsmuster (im Folgenden auch regelmäßig als Blickmerkmale bezeichnet), m = 1 ... m_max; m_max (maximale) Anzahl (registrierter) Blickmerkmale;
BM_Ci(t): Blickmerkmal mit Bezug auf Umgebungsmerkmale im Sichtfeld;
I_ci(t): Bewertungsparameter für die Verknüpfungsstärke (Interesse) bzgl. der Merkmale C_i
BM₀(t): Blickmerkmale ohne Klassifikation
BE_j(t): diskrete Blickpfadelemente j = 1 ... j_max, j_max (maximale) Anzahl (registrierter) Blickpfadelemente;
P_k(t): Blickpfade, k = 1 ... k_max; k_max (maximale) Anzahl (registrierter) Blickpfade;
A_a(t): ausgelöste Aktion, a = 1 ... a_max; a_max (maximale) Anzahl (registrierter) Aktionen

1 zeigt ein schematisches Blockdiagramm einer Vorrichtung gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung. In dieser Ausführungsform umfasst die Vorrichtung ein Blickbewegungsmodul 20, welches ausgelegt ist, einen Blickrichtungsparametersatz ^Kr_pog(t) und vorzugsweise einen Umgebungsparametersatz {C_i} zu erfassen. Vorzugsweise erfolgt dieses Erfassen zumindest des Blickrichtungsparametersatzes ^Kr_pog(t) (zeitlich) kontinuierlich oder in diskreten, kurzen Zeitabständen (quasi-kontinuierlich). Vorzugsweise beschreibt der Blickrichtungsparametersatz ^Kr_pog(t) eine zeitliche Folge von Blickrichtungen (^CFr_pog(t)) eines Benutzers in einem Koordinatensystem CF, insbesondere im Koordinatensystem K. Vorzugsweise empfängt das Blickbewegungsmodul 20 den Blickrichtungsparametersatz ^Kr_pog(t) direkt oder indirekt von einer Blickrichtungserfassungseinheit (z. B. ETG).
Der Umgebungsparametersatz {C_i} legt vorzugsweise eine Menge von Objektparametersätzen C_i blickrelevanter Objekte i in der Umgebung des Benutzers fest (Szenenbild). Dabei umfasst vorzugsweise jeder Objektparametersatz insbesondere eine Objektidentifikationsnummer Id_i und Ortskoordinaten r_i in einem Objektkoordinatensystem. Das Ermitteln eines Umgebungsparametersatzes kann auf unterschiedliche Weise erfolgen. In einer bevorzugten Ausführungsform umfasst das Ermitteln eines Umgebungsparametersatzes ein Erfassen eines Szenenbildes (zumindest eines Teils) der (sichtbaren) Umgebung des Benutzers mittels einer Szenenkamera und ein Extrahieren der Objektparametersätze z. B. mittels Mustererkennung. Diese bevorzugte Implementierung eignet sich besonders für Anwendungen in einer von vornherein unbekannten Umgebung des Benutzers. In einer anderen bevorzugten Ausführungsform, welche insbesondere im Falle von virtuellen Objekten beispielsweise auf einem Computerbildschirm besonders vorteilhaft ist, werden als Umgebungsparametersatz zumindest teilweise digitale Parameterdaten, welche als Grundlage für die visuelle Darstellung der Objekte dienen oder zumindest als von vornherein bereits bekannt in einem Datenspeicher hinterlegt wurden, aus diesem Datenspeicher abgerufen. Beispielsweise kann dies besonders effizient sein, wenn grafische Steuerelemente in einer vordefinierten grafischen Benutzeroberfläche als visuelle Objekte für den Benutzer angezeigt werden, wobei sowohl die Position als auch die Form dieser grafischen Steuerelemente bekannt ist. Andererseits kann diese Implementierung auch besonders effizient sein, wenn der Umgebungsparametersatz Objekte in einer bekannten Umgebung beschreibt, insbesondere wenn die blickgesteuerte Auslösung einer Aktion dem erfindungsgemäßen System in der bekannten Umgebung von dem Benutzer antrainiert wurde.
Insbesondere basierend auf dem Blickrichtungsparametersatz ^Kr_pog(t) ist das Blickbewegungsmodul 20 in der dargestellten bevorzugten Ausführungsform ausgelegt, Blickbewegungsarten, hier auch als Blickmerkmale bezeichnet, zu identifizieren. Hierzu wird der Blickrichtungsparametersatz ^Kr_pog(t) (also der erfasste zeitliche Verlauf der Blickrichtung) vorzugsweise dahingehend analysiert, ob darin vorzugsweise vordefinierte Blickbewegungsarten (Blickmerkmale) enthalten sind. Vorzugsweise wird dazu ein Blickmerkmalsdatensatz bereitgestellt, der eine Vielzahl von Blickmerkmalen anhand von Blickmerkmalskriterien festlegt bzw. unterscheidet und damit zeitliche Abschnitte einer Blickbewegungsspur klassifiziert. Solche Blickmerkmalskriterien können insbesondere umfassen: Positionskriterien und/oder Geschwindigkeitskriterien und/oder Beschleunigungskriterien und/oder Kriterien für einen Verlauf zwischen zwei Positionen und/oder Kombinationen aus den genannten Kriterien. Beispielsweise können einzelne Blickmerkmale im Blickmerkmalsdatensatz gemäß folgender Kriterien festgelegt bzw. unterschieden werden. Vorzugsweise werden die Blickmerkmale dabei definiert über den Verlauf der Blickrichtungen ^Wr_pog(t).

1) Positionskriterien, Blickmerkmal BM₁: alle ^Wr_pog(t) befinden sich in einem Bereich Δr. Eintrittspunkt und Austrittspunkt in diesen Bereich bestimmen den Zeitraum mit |x(t₂) – x(t₁)| < Δr und |y(t₂) – y(t₁)| < Δr (alternativ |^Wr_pog(t₁) - ^Wr_pog(t₂)| < Δr). Damit wird der Blickverlauf im Zeitraum (t₂, t₁) dem Blickmerkmal BM₁ zugeordnet. Die Definition einer Sakkade nach dem „Dispersion Threshold Identification”-Verfahren verwendet ein spezielles Positionskriterium mit (t₂ – t₁) > t_DWELL mit der Verweilzeit t_DWELL. Anstelle eines einzelnen Bereichs Δr können auch mehrere Positionsintervalle Δr₁ = r₂ – r₁, Δr₂ = r₃ – r₂, usw. definiert werden und damit eine Anzahl von Blickmerkmalen mit der Zuordnung im jeweiligen Intervall Δr_x erfolgen.
2) Geschwindigkeitskriterien, Blickmerkmal BM₂: alle Blickgeschwindigkeiten ^Wv_pog(t) als Ableitung der Blickrichtung über die Zeit befinden Sich in einem Bereich Δv. Die Differenzenbildung kann entsprechend dem Positionskriterien komponentenweise oder vektoriell erfolgen mit |v_x(t₂) – v_x(t₁)| < Δv und |v_y(t₂) – v_y(t₁)| < Δv oder |^Wv_pog(t₁) – ^Wv_pog(t₂)| < Δv), mit einer Zuordnung zum Blickmerkmal BM₂.
3) Kriterien über die Beschleunigung ^Wa_pog(t) und höhere Ableitungen entsprechend. Definition von Blickmerkmale BM₃, BM₄ usw.
4) Kombination der obigen Kriterien 1) bis 3) führt zu weiteren Blickmerkmalen
5) Kriterien für den Verlauf zwischen zwei Positionen ^Wr₁(t₂) und ^Wr₂(t₁) mit dem Abstand d < Δd der aktuellen Blickrichtung ^Wr_pog(t) zwischen der Verbindungslinie der Positionen ^Wr₁(t₂) und ^Wr₂(t₁) und ^Wr_pog(t).

Somit bilden die Blickmerkmale zeitlich abgegrenzte Bereiche der gemessenen Blickrichtung über die Zeit (Blickspuren). Es erfolgt somit eine Klassifizierung der abgegrenzten Bereiche der gemessen Blickrichtung gemäß den vorbestimmten Blickmerkmalen. Blickspuren, die nicht einem Blickmerkmal nach den obigen Kriterien zugeordnet sind, können einer Null-Klasse zugeordnet werden. Blickmerkmale sind somit vorzugsweise vorab definiert und werden zur Laufzeit mit den obigen Kriterien der Blickrichtung zugeordnet.
Um auch gestörte und verrauschte Blicksignale verarbeiten zu können, wird vorgeschlagen die gemessenen Rohdaten durch einen Vorfilter (Tiefpassfilter, Medianfilter, oder andere Filter) zu verarbeiten, damit einzelne Messpunkte nicht fälschlicherweise aus den Kriterien fallen und somit viele neue Blickspuren bilden. Es kann auch alternativ getestet werden ob alle Blickrichtungen in einer Folge von n Blickrichtungsmessungen die Kriterien erfüllen, um schnelle Wechsel der Blickmerkmale zu verhindern.
Insgesamt werden mittels des Blickbewegungsmoduls somit vorzugsweise Blickmerkmale über eine zeitliche Folge von Blickrichtungen ^CFr_pog(t) in einem zeitlichen Fenster der Länge Δt = [t₁, t₂] klassifiziert. Die erkannten bzw. erfassten Blickmerkmale werden als Datensatz BM_m(t) zum jeweiligen Zeitpunkt vorzugsweise an ein Bewertungsmodul 22 übermittelt. Besonders bevorzugt werden weiterhin aus der gemessenen Bahn der Blicke ^CFr_pog(t) die darauf bezogenen Ableitungen (Geschwindigkeit, Beschleunigung, usw.) mit einem Filterverfahren (z. B. Kalman-Filter, Partikelfilter) geschätzt und als Eigenschaften den Blickmerkmalen zugeordnet.
Mit dem Umgebungsparametersatz {C_i} und der aktuellen Blickrichtung werden vorzugsweise Bezüge BM_Ci(t) der Blickmerkmale auf Objekte (Merkmale im Szenenbild), welche im Umgebungsparametersatz durch entsprechende Objektparametersätze C_i charakterisiert sind, und Blickmerkmale ohne Bezug auf Objekte BM₀(t) ermittelt. Insbesondere ist das Bewertungsmodul 22 als Bestandteil einer Vorrichtung gemäß einer bevorzugten Ausführungsform vorzugsweise ausgelegt, zum Zuordnen von Umgebungsmerkmalen C_i aus dem Umgebungsparametersatz zu den Blickmerkmalen in der identifizierten Folge von Blickmerkmalen, um damit eine Folge von Blickpfadelementen BE_j(t) zur erzeugen.
Zur Blickpfadelementgenerierung werden die Blickmerkmale in Bezug gesetzt auf Objekte in der Umgebung. Hierbei wird vorzugsweise zunächst unterschieden zwischen Blickmerkmalen BM₀(t) ohne Bezug auf Umgebungsmerkmale und Blickmerkmalen BM_Ci(t) mit Bezug auf (blickrelevante) Umgebungsmerkmale C_i(t). Vorzugsweise umfassen bzw. beschreiben die Umgebungsmerkmale jeweils einen Einzugsbereich (räumliche Ausdehnung) und Koordinaten in der Umgebung.
Die Blickpfadelemente BE_j(t) setzten sich vorzugsweise zusammen aus der Klasse der Blickmerkmale BM(t), der Dauer t_dj(BE_j), und der Blickspur als Blickrichtung ^CFr_pog(t) im jeweiligen Zeitraum t_dj(BE_j). Mit der Dauer im jeweiligen Einzugsbereich der Umgebungsmerkmale und mit dem relativen Abstand zwischen der Blickspur und den Einzugsbereichen kann eine Verknüpfungsstärke (Interessensniveau) ermittelt werden. Die Umgebungsmerkmale und Verknüpfungsstärken werden vorzugsweise ebenfalls dem Blickpfadelement BEj(t) zugeordnet. Damit besitzt ein Blickpfadelement vorzugsweise die Eigenschaften der Blickmerkmale, der Umgebungsmerkmale und Verknüpfungsstärken.
Insbesondere repräsentiert die Verknüpfungsstärke I_Ci(t) ist ein Maß, das die zeitabhängige Distanz der Blickrichtung auf alle definierten bzw. alle sich im Blickfeld des Nutzers befindlichen Umgebungsmerkale C_i bezieht. Hierfür kann z. B. folgende Interesse-Funktion angewandt werden:
mit

δ_i(t):: Winkelabstand der Blickrichtung vom Umgebungsmerkmal;
s_i:: Radius des Umgebungsmerkmals;
d_i(t):: Abstand des Benutzers vom Umgebungsmerkmal;
σ:: Streufaktor zur Berücksichtigung einer Messungenauigkeit in der Blickrichtungsmessung; und
A:: Normierungsfaktor.

Das Integral besitzt die zeitlichen Integrationsgrenzen des entsprechenden Blickmerkmals.
Blickpfadelemente sind insbesondere definiert über ein geschlossenes Zeitintervall von Blickrichtungen mit identischer Zuordnungen zu Blickmerkmalen (alle Blickrichtungsvektoren im Intervall können demselben Blickmerkmal zugeordnet werden). Z. B. können dann Blickpfadelemente erzeugt werden, wenn die Blickrichtung neuen Blickmerkmalen zugeordnet werden kann. Zum aktuellen Zeitpunkt t_j wird das Blickpfadelement BE_j(t_j) = {BM_m(t_j), t_dj, I_Ci(t_j-1, t_j), ^Wr_m(t_j, t_dj)} erzeugt mit dem beendeten Blickmerkmal BM_m(t_j), der aktuellen Zeit t_j, der Zeitdauer t_dj des Blickmerkmals und dem Blickpositions-Schwerpunkt ^Wr_m(t_j, t_dj). Zudem wird das Objekt mit dem höchsten Interesse (Imax(t) = argmax_(i=1-imax)(I_Ci(t_j – 1, t_j))) dem Blickpfadelement zugeordnet bzw. im Blickpfadelement gespeichert.
Das gesamte Blickverhalten eines Nutzers über einen (längeren) Zeitabschnitt wird als hybrider Blickprozess erfasst. 2 veranschaulicht hierzu schematisch eine Darstellung von Blickpfaden P₁, P₂, ... P_k, welche durch eine Folge von Blickpfadelementen BE_1,1 ... BE_k,nk festgelegt sind. Insbesondere umfasst eine erfindungsgemäße Vorrichtung in der in 1 dargestellten bevorzugten Ausführungsform hierfür ein Blickpfadmodul 24, welches ausgelegt ist:

– zum Bereitstellen eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass
– jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern mit zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatzes verknüpft; und
– jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist; und
– zum Identifizieren zumindest eines Blickpfades innerhalb des Blickpfadmodells, dessen Folge von Blickpfadelementen der erzeugten Folge von Blickpfadelementen entspricht.

In einer Lern- bzw. Trainingsphase ist das Blickpfadmodul 24 vorzugsweise ausgelegt zum Abspeichern einer erzeugten Folge von Blickpfadelementen als Blickpfad zusammen mit einer Zuordnung eines erfassten Aktionsbefehls.
Ausgehend von einem Ruhezustand werden neu auftretende Blickpfadelemente am Eingang des Blickpfadmoduls erkannt und in einer Lernphase in einem Blickpfad P_k angeordnet. Der Blickpfad endet beispielsweise, wenn der Nutzer über eine herkömmliche Eingabemöglichkeit (Sprache, Gesten usw.) eine Aktion A_a(t) auslöst oder eine Zeitschranke t_max überschritten ist. Diese Aktion (Aktionsbefehl) wird dem Blickpfad P_k zugeordnet und zusammen mit dem Pfad in einer Datenbank abgelegt. Während des Normalbetriebs werden auftretende Blickpfadelemente in einem aktuellen Blickpfad P(t) angeordnet und mit allen Pfaden P_k, k = 1 ... k_max der Datenbank verglichen. Eine Übereinstimmung des aktuellen Blickpfades mit dem Blickpfad P_k wird als Absicht zur Ausführung der Aktion A_a gewertet, wodurch diese automatisch oder interaktiv mit Nutzerbestätigung ausgeführt wird.
Neben der exakten Übereinstimmung kann auch eine teilweise Übereinstimmung zur Aktionswahl führen. Zum Vergleich von Teilpfaden und zur Bewertung der Übereinstimmung kann beispielsweise ein assoziativer Speicher verwendet werden. Im einfachsten Fall besteht ein Blickpfad aus nur einem Blickpfadelement. Weiterhin kann ein Qualitätsmaß für die Güte der Pfadzuordnung mit ausgegeben werden. Bei nicht eindeutiger Zuordnung bzw. bei geringer Unterscheidbarkeit der Pfade können weitere Eigenschaften der Blickpfadelemente (z. B. Zeiten und/oder Verknüpfungsstärken) ausgewertet werden oder es kann eine Rückfrage an den Nutzer erfolgen.
Blickpfade werden insbesondere in einer Lernphase erstellt. Dabei werden vorzugsweise alle Blickrichtungen ^Wr_pog(t) zur abgetasteten Zeit t = k·T_a mit einer Abtastrate T_a erfasst (z. B. Normierung auf T_a = 1)
Die Erstellung kann durch den folgenden Pseudo-Code beispielhaft beschrieben werden (siehe Definitionen der Variablen oben):
Während der operativen Phase werden vorzugsweise alle Blickrichtungen ^Wr_pog(t) im Intervall der Länge t_maxpath dauernd abgetastet und mit den gespeicherten Pfaden aus der Lernphase verglichen. Beispielhafter Pseud-Code:
Der ausgewählte bzw. identifizierte Blickpfad P_k(t) kann an ein Aktionsmodul 26 weitergeleitet werden, um eine Aktion A_a(t) auszulösen bzw. einen entsprechenden Aktionsbefehl auszugeben. Mögliche Aktionen sind die Ansteuerung von technischen Gewerken (Luft/Land/Wasser Fahrzeuge, Roboter, Prozess-/Gebäudesteuerung, usw.).
Aktionen sind vorzugsweise Steuerbefehle z. B. an einen Smart-Home Steuerungscomputer die entweder kabelgebunden oder über Funk übermittelt werden. Hierbei werden die Protokolle vorhandener Systeme verwendet um Lichtschalter, Dimmer, Rollladen-Aktoren oder Türöffner anzusteuern. Neben der Anbindung der Blickbasierten Steuerung an den Steuerungscomputer gibt es in der Regel mehrere manuelle Möglichkeiten zur Fernbedienung der Aktoren, wie z. B. über Funktaster, Smart-Phone, Sprachsteuerung usw.
3 veranschaulicht ein Beispielszenario. Der Nutzer hat zuvor den Pfad 1 zum Einschalten der Lampe definiert und den Pfad 2 zum Ausschalten. Treffen die Blicke auf den Lichtschalter (als Umgebungsmerkmal) für eine bestimmte Zeit, dann ohne Abschweifung auf ein Symbol der Sonne (als weiteres Umgebungsmerkmal) und dann die Lampe, wird die Aktion „Einschalten der Lampe” ausgeführt. Zum Ausschalten der Lampe Treffen die Blicke auf den Lichtschalter, ein Symbol eines Mondes (als weiteres Umgebungsmerkmal) und dann die Lampe mit den entsprechenden Verweildauern und Übergangszeiten. Eine Folge der Blicke vom Lichtschalter bis zur Lampe ohne zuvor die Sonne zu berühren oder auf anderen Umwegen führt hingegen nicht zu einer Aktion (Pfade 3 und 4).
Zusammenfassend bietet die Erfindung somit insbesondere Beiträge

– in der allgemeinen Zerlegung des zeitlichen Verlaufs von Blickrichtungen in Blickmerkmale entsprechend von informationsbasierten Unterscheidungskriterien
– in der Unterscheidung von relevanten und nichtrelevanten Blicken in Bezug auf natürliche oder künstliche Umgebungsmerkmale
– in der Kombination von Blickmerkmalen zur Erzeugung und Auswertung eines hybriden Blickpfades
– in der Verknüpfung von hybriden Blickpfaden mit einer gewünschten Aktion
– in der Erfassung des nutzerspezifischen Blickverhalten in Bezug auf natürliche Objekte in der Umgebung zur Erzeugung von beabsichtigten Aktionen

Bezugszeichenliste

20: Blickbewegungsmodul
22: Bewertungsmodul
24: Blickpfadmodul
26: Aktionsmodul

Claims

Verfahren zur Auswertung von Blicken zur Steuerung von technischen Einrichtungen umfassend: – Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t)); – Erfassen eines Umgebungsparametersatzes ({C_i}) zur Beschreibung charakteristischer Umgebungsmerkmale (C_i) in der sichtbaren Umgebung des Benutzers; – Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus einer Vielzahl von vorbestimmten Blickbewegungsmustern; – Zuordnen von zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatz zu mindestens einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen; – Bereitstellen eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass – jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und denen zumindest ein Blickpfadelement das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatzes verknüpft; und – jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist; – Identifizieren zumindest eines Blickpfades innerhalb des Blickpfadmodells, dessen Folge von Blickpfadelementen der erzeugten Folge von Blickpfadelementen entspricht; – Ausgeben des dem zumindest einen identifizierten Blickpfad zugeordneten Aktionsbefehls.
Verfahren nach Anspruch 1, wobei im Blickpfadmodell jedes Blickpfadelement eine Elementdauerfestlegt, wobei das Identifizieren der Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen für jedes identifizierte Blickbewegungsmuster ein Erfassen einer Musterdauer umfasst und wobei das Identifizieren des zumindest einen Blickpfades unter Berücksichtigung eines Vergleichs der festgelegten Elementdauern innerhalb des zumindest einen identifizierten Blickpfades mit den erfassten Musterdauern innerhalb der identifizierten Folge von Blickbewegungsmustern erfolgt.
Verfahren nach Anspruch 1 oder 2, wobei im Blickpfadmodell jedes Blickpfadelement zu jeder Verknüpfung des jeweiligen Blickbewegungsmusters mit einem Umgebungsmerkmal eine Verknüpfungsstärke festlegt, wobei das Zuordnen von Umgebungsmerkmalen zu identifizierten Bewegungsmustern für jedes identifizierte Bewegungsmuster ein Ermitteln zumindest einer Verknüpfungsstärke zumindest eines zugeordneten Umgebungsmerkmals umfasst und wobei das Identifizieren des zumindest einen Blickpfades unter Berücksichtigung eines Vergleichs der Verknüpfungsstärken innerhalb des zumindest einen identifizierten Blickpfades mit den ermittelten Verknüpfungsstärken innerhalb der identifizierten Folge von Blickbewegungsmustern erfolgt.
Verfahren nach Anspruch 3, wobei im Blickpfadmodell jedes Blickpfadelement zu jedem Blickbewegungsmuster zumindest zwei Verknüpfungen zu unterschiedlichen Umgebungsmerkmalen festlegt, wobei das Zuordnen von Umgebungsmerkmalen zu identifizierten Bewegungsmustern für jedes identifizierte Bewegungsmuster ein Zuordnen von zumindest zwei Umgebungsmerkmalen und ein Ermitteln zumindest einer Verknüpfungsstärke zu jedem er zumindest zwei zugeordneten Umgebungsmerkmals umfasst.
Verfahren zum Generieren eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass – jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus einer Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und von denen zumindest ein Blickpfadelement das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal aus einem Umgebungsparametersatzes verknüpft; und – jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist, wobei das Verfahren umfasst: – Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t)) – Erfassen des Umgebungsparametersatzes ({C_i}) zur Beschreibung charakteristischer Umgebungsmerkmale (C_i) in der sichtbaren Umgebung des Benutzers; – Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus der Vielzahl von vorbestimmten Blickbewegungsmustern – Zuordnen von Umgebungsmerkmalen aus dem Umgebungsparametersatz zu mindestens einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen; – Erfassen eines Aktionsbefehl zur Steuerung einer technischen Einrichtung; – Abspeichern der erzeugten Folge von Blickpfadelementen als Blickpfad zusammen mit einer Zuordnung des erfassten Aktionsbefehls.
Verfahren nach Anspruch 5, wobei das Identifizieren der Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen für jedes identifizierte Blickbewegungsmuster ein Erfassen einer Musterdauer umfasst, und wobei das Erzeugen der Folge von Blickpfadelementen für jedes Blickpfadelement die Musterdauer als Elementdauer festlegt.
Verfahren nach Anspruch 5 oder 6, wobei das Zuordnen von Umgebungsmerkmalen zu identifizierten Bewegungsmustern für jedes identifizierte Bewegungsmuster ein Ermitteln zumindest einer Verknüpfungsstärke zumindest eines zugeordneten Umgebungsmerkmals umfasst.
Verfahren nach Anspruch 3, 4 oder 7, wobei das Ermitteln der Verknüpfungsstärke gemäß
erfolgt, wobei δ_i(t): einen Winkelabstand der Blickrichtung vom Umgebungsmerkmal; s_i: einen Radius des Umgebungsmerkmals; d_i(t): einen Abstand des Benutzers vom Umgebungsmerkmal; σ: einen Streufaktor zur Berücksichtigung einer Messungenauigkeit in der Erfassung der zeitlichen Folge von Blickrichtungen; und A: einen Normierungsfaktor bezeichnen.
Verfahren nach einem der Ansprüche 1 bis 8, wobei das Blickpfadmodell die Vielzahl von Blickpfaden derart festlegt, dass zumindest einige der Blickpfade, vorzugsweise die Mehrzahl der Blickpfade, am meisten bevorzugt alle Blickpfade jeweils durch eine Folge einer Anzahl von Blickpfadelementen im Bereich von zumindest zwei, vorzugsweise zumindest drei und/oder nicht mehr als 30, vorzugsweise nicht mehr als 20 Blickpfadelementen definiert sind.
Vorrichtung zur Auswertung von Blicken zur Steuerung von technischen Einrichtungen umfassend: – ein Blickbewegungsmodul zum – Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t)); – Erfassen eines Umgebungsparametersatzes ({C_i}) zur Beschreibung charakteristischer Umgebungsmerkmale in der sichtbaren Umgebung des Benutzers; und – Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus einer Vielzahl von vorbestimmten Blickbewegungsmustern; – ein Bewertungsmodul zum Zuordnen von Umgebungsmerkmalen aus dem Umgebungsparametersatz zu mindestens einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen; – ein Blickpfadmodul zum: – Bereitstellen eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass – jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus der Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und von denen zumindest ein Blickpfadelement das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal aus dem Umgebungsparametersatzes verknüpft; und – jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist; und – Identifizieren zumindest eines Blickpfades innerhalb des Blickpfadmodells, dessen Folge von Blickpfadelementen der erzeugten Folge von Blickpfadelementen entspricht; und – ein Aktionsmodul zum Ausgeben des dem zumindest einen identifizierten Blickpfad zugeordneten Aktionsbefehls.
Vorrichtung insbesondere nach Anspruch 10, zum Generieren eines Blickpfadmodells, welches eine Vielzahl von Blickpfaden derart festlegt, dass – jeder Blickpfad der Vielzahl von Blickpfaden durch eine Folge einer Vielzahl von Blickpfadelementen definiert ist, von denen jedes Blickpfadelement ein Blickbewegungsmuster aus einer Vielzahl von vorbestimmten Blickbewegungsmustern festlegt und von denen zumindest ein Blickpfadelement das festgelegte Blickbewegungsmuster mit zumindest einem Umgebungsmerkmal aus einem Umgebungsparametersatzes verknüpft; und – jedem Blickpfad ein Aktionsbefehl zur Steuerung einer technischen Einrichtung zugeordnet ist, wobei die Vorrichtung umfasst: – ein Blickbewegungsmodul zum – Erfassen einer zeitlichen Folge von Blickrichtungen (^CFr_pog(t)) – Erfassen des Umgebungsparametersatzes ({C_i}) zur Beschreibung charakteristischer Umgebungsmerkmale (C_i) in der sichtbaren Umgebung des Benutzers; und – Identifizieren einer Folge von Blickbewegungsmustern innerhalb der erfassten zeitlichen Folge von Blickrichtungen aus der Vielzahl von vorbestimmten Blickbewegungsmustern – ein Bewertungsmodul zum Zuordnen von Umgebungsmerkmalen aus dem Umgebungsparametersatz zu zumindest einem der Blickbewegungsmuster in der identifizierten Folge von Blickbewegungsmustern zur Erzeugung einer Folge von Blickpfadelementen; – ein Aktionsmodul zum Erfassen eines Aktionsbefehl zur Steuerung einer technischen Einrichtung; und – ein Blickpfadmodul zum Abspeichern der erzeugten Folge von Blickpfadelementen als Blickpfad zusammen mit einer Zuordnung des erfassten Aktionsbefehls.
Computerprogrammprodukt, welches Programmcode umfasst, der geladen und ausgeführt in einem programmierbaren Computersystem dieses System veranlasst ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen.