-
Die Erfindung betrifft ein Verfahren zum Erkennen der Blickrichtung einer Person sowie ein Blickrichtungserkennungssystem.
-
Heutzutage sind Systeme zur Erkennung der Blickrichtung einer Person bekannt. Die meisten dieser Systeme sind als kamerabasierte Systeme ausgeführt und viele davon arbeiten basierend auf sogenannten „Glints“. In Glint-basierten Systemen wird das Auge einer Person (oder auch großflächiger das ganze Gesicht und dessen nähere Umgebung) mit einer Lichtquelle bestrahlt. Die Spiegelung dieser Lichtquelle (der Glint) auf dem Augapfel des Benutzers, insbesondere auf der Augenhornhaut, wird erkannt, und dazu verwendet, die Ausrichtung des Augapfels zu bestimmen. Hierbei wird sich die Krümmung der Augenhornhaut zunutze gemacht. Häufig wird als unterstützende Maßnahme auch die Pupille erkannt und die Position des Glints relativ zur Pupille zur Bestimmung der Ausrichtung des Augapfels verwendet. Die Blickrichtungserkennungs-Systeme können mehrere Lichtquellen (und deren Glints) verwenden.
-
Meistens wird zur Blickrichtungserkennung eine Lichtquelle im Infrarot-Bereich des Lichts verwendet. Hierin wird der gesamte Wellenlängenbereich elektromagnetischer Strahlung von ca. 780 nm bis 1 mm als Infrarotlicht verstanden. Dies schließt insbesondere die Unterbereiche von ca. 780 nm bis ca. 1400 nm und 900 nm bis ca. 1400 nm mit ein. Infrarotlicht hat den Vorteil, dass es vom menschlichen Auge nicht wahrgenommen werden kann und gleichzeitig (in der zur Blickerkennung nötigen Intensität) gesundheitlich ungefährlich ist. Vom Infrarotlicht wird hierin das sichtbare Licht unterschieden, dass Wellenlängen von 780 nm bis 380 nm aufweist.
-
Die Verwendung von Infrarotlicht hat jedoch den Nachteil, dass durch Fremdkörper bzw. Fremdstoffe im Gesicht und/oder um die Augen herum zusätzliche Reflexe im Infrarotbereich auftreten, die nicht oder vermindert im sichtbaren Wellenlängenbereich auftreten.
-
Dieses Problem tritt insbesondere bei Kosmetika auf, da deren optische Eigenschaften für den Bereich des sichtbaren Lichts optimiert sind und die enthaltenen Pigmente Licht im Infrarotbereich reflektieren. Gerade die Verwendung von Kosmetika für Wimpern (Wimperntusche) kann die Glint-Erkennung erschweren, da sich Wimpern im Augenbereich befinden und häufig auch in den Bereich vor dem sichtbaren Augapfel und der Augenhornhaut hineinragen.
-
Weiterhin tritt dieses Problem auch aufgrund von Schmuck oder Brillen und (entspiegelten) Brillengläsern oder Kontaktlinsen auf, deren optische Eigenschaften ebenfalls meist auf den sichtbaren Bereich des Lichts hin optimiert werden, was gelegentlich zur Erzeugung von Reflexionsfähigkeiten im Infrarotbereich führt.
-
Die zusätzliche Reflexionsfähigkeit im Infrarotbereich von Fremdkörpern oder Fremdstoffen im Augenbereich kann zu Fehlerkennung von Glints führen und damit zu einer fehlerhaften, sprunghaften oder ungenaueren Bestimmung der Blickrichtung. Einerseits kann die entstehende Reflexion selbst als Glint erkannt werden. Andererseits können die ungewollten Reflexionen zu sogenannten Linsenlichtreflexionen der Kamera des Blickrichtungserkennungssystems führen, was manchmal auch als „lens flare“ bezeichnet wird. Diese Linsenlichtreflexionen entstehen durch Brechung und/oder Streuung des einfallenden Lichts in der Linsenoptik der Kamera und können große Helligkeiten annehmen. Diese zusätzlichen Linsenreflexionen können das Signal-zu-Rausch Verhältnis verschlechtern und die Erkennung des Glints erschweren. Wenn diese an Positionen auftreten, an denen auch der Glint erkannt werden müsste, kann die Erkennung des Glints unmöglich werden, insbesondere durch eine Verschlechterung des Signal-zu-Rausch Verhältnisses.
-
Für die Erkennung des Glints sind abgestufte Verfahren bekannt geworden, gemäß denen zuerst eine Erkennung des Gesichtsbereiches bzw. des Augenbereiches vorgenommen wird und dann innerhalb des erkannten Bereiches (auch Area of Interest oder Suchbereich genannt) der Glint gesucht wird. Auf diese Weise wird die Robustheit des Systems erhöht und die Erkennungsgeschwindigkeit gegebenenfalls verbessert. Allerdings wird die Erkennung des gewünschten Suchbereiches ebenfalls durch zusätzliche Reflexe und insbesondere (dadurch ausgelöste) Linsenlichtreflexionen erschwert oder ungenauer.
-
Neben der Erkennung von Glints zur Bestimmung der Blickrichtung bestehen auch Verfahren, die mittels Stereographie und mehreren Infrarotkameras den Normalenvektor der Pupille berechnen und daraus die Blickrichtung ableiten, wie beispielsweise in „REAL-TIME CALIBRATION-FREE AUTONOMOUS EYE TRACKER" von Frank Klefenz et al, ICASSP 2010, IEEE beschrieben.
-
Darüber hinaus ist es bekannt, den Lidschluss einer Person mittels Kameras zu erkennen.
-
Aus der
US 2008/252849 A1 ist ein System zur Blickrichtungserkennung bekannt, das zwei Wellenlängenkomponenten verwendet, um Referenzpositionen zu bestimmen.
-
Es bestand deshalb die Aufgabe, bei einer Blickrichtungserkennung die Bestimmung des Suchbereichs für Glints zu verbessern. Dies insbesondere, wenn durch Fremdkörper oder Fremdstoffe zusätzliche intensive Reflexionsquellen im Augenbereich geschaffen wurden.
-
Die Aufgabe wird durch ein Verfahren und System gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erkennen der Blickrichtung einer Person, umfassend: Erkennen eines vorbestimmten Bereichs des Kopfes einer Person mittels einer Aufnahme im Wellenlängenbereich des sichtbaren Lichts, wobei der Bereich insbesondere durch das Gesicht der Person oder einen Bereich um eines oder beide Augen der Person oder durch einen Mundbereich definiert wird; Erkennen eines Merkmals des Gesichts einer Person, insbesondere die Blickrichtung, den Lidschluss oder die Form des Mundes, mittels einer Aufnahme einer Infrarotlicht-Kamera und unter Verwendung des erkannten Bereichs, wobei die Infrarotlicht-Kamera eine Kamera ist, die dazu eingerichtet ist, Aufnahmen im Wesentlichen im Wellenlängenbereich des Infrarotlichts zu machen. Die Aufnahme im Wellenlängenbereich des sichtbaren Lichts kann durch eine separate Kamera gemacht werden oder durch die Infrarotlicht-Kamera. Sofern eine separate Kamera verwendet wird, ist es vorteilhaft, wenn die Position der separaten Kamera und der Infrarotlicht-Kamera und deren Aufnahmerichtungen zueinander bekannt sind. Die Infrarotlicht-Kamera kann somit je nach Wahl Aufnahmen im Infrarot-Bereich oder sichtbaren Bereich des Lichts machen. Dazu kann die Infrarotlicht-Kamera mit einem sogenannten Bayer-Filter versehen sein, der für einige lichtempfindliche Sensorelemente nur im Infrarotbereich durchlässig ist und für andere lichtempfindliche Sensorelemente nur für sichtbares Licht. Es kann vorgesehen sein, dass die Aufnahme der Infrarotkamera kann (im Wesentlichen) auf den erkannten Bereich beschränkt ist. Zur Bestrahlung des Kopfes der Person kann eine künstliche Infrarotlicht-Quelle wie LEDs eingesetzt werden. Die Aufnahmen der Infrarotlicht-Kamera können allerdings auch basierend auf dem natürlich vorkommenden Infrarotlicht vorgenommen werden. Die Erkennung der Mundform kann dazu verwendet werden, Emotionen der Person zu erkennen.
-
Die Erkennung der Blickrichtung unter Verwendung des erkannten Bereiches kann derart sein, dass die Blickrichtung nur anhand des erkannten Bereiches erkannt wird, also nur im erkannten Bereich ein (oder mehrere) Glints erkannt werden und darauf basierend die Blickrichtung erkannt wird.
-
Hierin wird somit vorgeschlagen, Aufnahmen in verschiedenen Wellenlängenbereichen für verschiedene Zwecke zu nutzen. Aufnahmen im sichtbaren Bereich des Lichts werden zur Erkennung des Suchbereiches verwendet und Aufnahmen (und Beleuchtung) im Infrarotbereich zur Erkennung der Blickrichtung (mittels Glints oder beispielsweise dem Normalenvektor der Pupille wie in der oben angegebenen Publikation von F. Klefenz beschrieben), des Lidschlusses oder der Mundform. Damit werden die Vorteile der verschiedenen Wellenlängenbereiche kombiniert: Fremdkörper und -stoffe weisen im Bereich des sichtbaren Lichts meist keine besonderen Reflexionsfähigkeiten auf, so dass sie Aufnahmen des Gesichts nicht oder nur unwesentlich beeinträchtigen (insbesondere über Linsenlichtreflexionen). Dies ermöglicht eine verbesserte Erkennung des relevanten Bereiches des Kopfes (Gesicht/Augen) gegenüber im Stand der Technik bekannten Systemen, deren Suchbereichsbestimmung und Glinterkennung auf Aufnahmen desselben Wellenlängenbereichs beruht.
-
Das in der oben genannten Publikation „REAL-TIME CALIBRATION-FREE AUTONOMOUS EYE TRACKER“ genannte Verfahren wird dabei nach der Erkennung des Suchbereiches ausgeführt und nur für den Suchbereich angewendet.
-
Für die Glinterkennung, der Erkennung des Normalenvektors der Pupille, des Lidschlusses oder der Mundform wird weiterhin Licht im Infrarotbereich verwendet, da hiermit eine ausreichende Bestrahlung des Auges bzw. des Mundes möglich ist.
-
Tritt beispielsweise ein starker Linsenlichtreflex im Infrarotbereich aufgrund von Wimpern auf, die mit Wimperntusche behandelt wurden, verringert sich das Signal-zu-Rausch Verhältnis der Aufnahme und die Erkennung des Augenbereichs (Suchbereichs) gemäß dem Stand der Technik kann unmöglich werden. Da die Wimperntusche Licht im sichtbaren Bereich nicht oder nur wenig reflektiert, entstehen in diesem Wellenbereich wesentlich weniger bis keine Linsenlichtreflexionen durch die Wimperntusche, so dass der Augenbereich robuster und genauer erkannt werden kann. Die bessere Erkennung des Augenbereiches ermöglicht auch eine robustere und genauere Erkennung der Blickrichtung, insbesondere des Glints oder des Normalenvektors der Pupillen, und des Lidschlusses. So kann zum Beispiel ein Glint im Infrarotbereich, der lediglich die doppelte Intensität aufweist wie ein Linsenlichtreflex im Infrarotbereich (oder beispielsweise lediglich einem Unterschied der gemessenen Intensitätswerte um die kleineste Einheit, beispielsweise 1 Bit), aufgrund des korrekt erkannten Augenbereiches noch erkannt werden. Sofern der Augenbereich nicht korrekt erkannt würde, kann es vorkommen, dass ein Glint bei dieser Intensitätsverteilung nicht mehr erkannt wird.
-
Wenn das Ziel die Erkennung der Mundform ist, werden können negative Effekte von Infrarotreflexen eines möglichen Lippenstifts bei der Bestimmung des Suchbereichs vermieden werden.
-
Durch das vorgeschlagene Verfahren wird ein Blickerkennungssystem weniger anfällig für Fremdkörper und -soffe, die am Kopf getragen werden, und deren Reflexionseigenschaften im Infrarotbereich nicht beeinflusst werden kann und typischerweise ausgeprägt ist. Hierdurch wird der Benutzer bei der Auswahl und dem Tragen dieser Accessoires weniger beeinträchtigt und die Akzeptanz des Blickrichtungserkennungssystems erhöht.
-
Es kann ferner vorgesehen sein, die Erkennung des Bereiches (in den Aufnahmen im sichtbaren Bereich des Lichts) mehrstufig auszugestalten, beispielsweise kann zuerst das Gesicht erkannt werden und dann die Augenpartie.
-
In einer Implementierung umfasst das Erkennen der Blickrichtung der Person: Beleuchten eines Auges der Person mit einer Infrarot-Lichtquelle, nämlich einer Lichtquelle, die Licht im Wesentlichen im Wellenlängenbereich des Infrarotlichts abgibt; Bereitstellen der relativen Position der Infrarot-Lichtquelle im Bezug zur Position der Infrarotlicht-Kamera; Erkennen der Glint-Position, nämlich der Position einer Spiegelung der Infrarot-Lichtquelle in dem Auge der Person, mittels der Aufnahme der Infrarotlicht-Kamera; Wobei das Erkennen der Blickrichtung unter Berücksichtigung der erkannten Glint-Position und der relativen Position der mindestens einen Infrarot-Lichtquelle ausgeführt wird; wobei dabei insbesondere die Ausrichtung des Augapfels errechnet und berücksichtigt wird.
-
In einer vorteilhaften Weiterbildung ist die Infrarotlicht-Kamera dazu eingerichtet, Aufnahmen in mindestens zwei wählbaren Wellenlängenbereichen des Infrarotlichts zu machen; wobei das Verfahren ferner umfasst: Bereitstellen einer ersten Aufnahme der Infrarotlicht-Kamera im ersten Wellenlängenbereich und einer zweiten Aufnahme im zweiten Wellenlängenbereich des Infrarotlichts; Ermitteln des Signal-zu-Rausch Verhältnisses für die Erkennung des Glints, nämlich der Spiegelung der Infrarot-Lichtquelle in dem Auge der Person, für die erste und zweite Aufnahme; Auswählen der ersten oder zweiten Aufnahme unter Berücksichtigung des Signal-zu-Rausch Verhältnisses der jeweiligen Aufnahme; Wobei das Erkennen der Blickrichtung mittels der ausgewählten Aufnahme ausgeführt wird. Jeder Wellenlängenbereich kann um eine Mittenfrequenz zentriert sein, beispielsweise 920 nm und 850 nm. Die Realisierung der Aufnahmefähigkeit der Kamera in zwei verschiedenen Wellenlängenbereichen kann mithilfe des Bayer-Filters realisiert werden. Weiterhin kann vorgesehen sein, dass auch die Infrarot-Lichtquelle im jeweils aufgenommenen Wellenlängenbereich strahlt. Alternativ kann auch eine Breitband-Infrarot-Lichtquelle verwendet werden, die in allen Wellenlängenbereichen Licht aussendet, in denen Aufnahmen gemacht werden.
-
Hierin wird also ferner vorgeschlagen, Aufnahmen in verschiedenen Wellenlängenbereichen zu machen und die Glint-Erkennung mit derjenigen Aufnahme durchzuführen, die das beste Signal-zu-Rausch Verhältnis aufweist. Kosmetika weisen häufig im Infrarotbereich unterschiedliche Reflexionseigenschaften auf, je nach Wellenlänge des Lichts. Dieser Umstand wird verwendet, um die Glint-Erkennung zu verbessern.
-
In einer Fortbildung ist vorgesehen, Aufnahmen für mehr als zwei Wellenlängenbereiche bereitzustellen. Dazu ist die Infrarot-Kamera mit einem Filter versehen, der für eine entsprechende Anzahl an Wellenlängenbereichen ausgelegt ist.
-
In einer Weiterbildung umfasst das Verfahren ferner: Erkennen von Linsenlichtreflexionen aufgrund desselben Objekts sowohl in der Aufnahme im Wellenlängenbereich des sichtbaren Lichts, als auch in der Aufnahme der Infrarotlicht-Kamera, die zur Erkennung der Blickrichtung verwendet wird; Erkennen der Glint-Position unter Berücksichtigung der Linsenlichtreflexionen des Objektes in der Aufnahme im Wellenlängenbereich des sichtbaren Lichts. Insbesondere umfasst das Erkennen der Glint-Position: Subtrahieren der in der Aufnahme im Wellenlängenbereich des sichtbaren Lichts erkannten Linsenlichtreflexionen von der Aufnahme der Infrarotlicht-Kamera, insbesondere den darin erkannten Linsenlichtreflexionen.
-
Wenn ein Objekt (beispielsweise ein Fremdkörper oder ein Pigment oder eine Pigmentgruppe einer Wimperntusche) eine Linsenlichtreflexion sowohl im sichtbaren Bereich des Lichts als auch im Infrarotbereich hervorruft, kann diese Linsenlichtreflexion in der Aufnahme des sichtbaren Lichts erkannt werden und von der Aufnahme des Infrarotbereichs subtrahiert werden. Die Aufnahme des Infrarotbereichs wird so um die Linsenlichtreflexionen korrigiert bevor der Glint darin erkannt/gesucht wird. Es wird somit der Gleichanteil in der Infrarotaufnahme subtrahiert, so dass lediglich der Glint in der Auswertung berücksichtigt wird.
-
Ein anderer Aspekt der Erfindung betrifft ein Blickerkennungssystem, umfassend: Eine Infrarot-Lichtquelle; Ein Kamera für Aufnahmen im Wellenlängenbereich des sichtbaren Lichts und des Infrarotlichts; Eine elektronische Steuereinheit, wobei die Steuereinheit dazu eingerichtet ist, eines der oben vorgestellten Verfahren auszuführen. Dabei kann die Infrarot-Lichtquelle dazu eingerichtet sein, gemäß einer Auswahl Infrarotlicht in einem ersten Wellenlängenbereich oder einem zweiten Wellenlängenbereich abzugeben.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
1 zeigt ein Flussdiagram eines Verfahrens gemäß einem Ausführungsbeispiel.
-
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
-
1 zeigt ein Flussdiagram eines Verfahrens gemäß einem Ausführungsbeispiel. Die Schritte S1 bis S3, die im Kasten 1 umfasst sind werden basierend auf Aufnahmen im sichtbaren Bereich des Lichts ausgeführt. Die Schritte S4 und S5 im Kasten 2 werden basierend auf Aufnahmen der Infrarot-Kamera ausgeführt. Es kann auch vorgesehen sein, dass Schritt S3 und/oder Schritt S2 basierend auf Aufnahmen der Infrarot-Kamera ausgeführt werden
-
Im Schritt S1 wird das Gesicht in der Aufnahme der Kamera erkannt. Basierend auf der Erkennung des Gesichts wird die Augenpartie (beide Augen der Person und unmittelbar angrenzende Bereiche) erkannt, Schritt S2. Im Schritt S3 wird die jeweilige Iris und/oder Pupille des jeweiligen Auges erkannt. Diese Aufnahmen werden durch Reflexe im Infrarotbereich, beispielsweise durch Wimperntusche, nicht beeinflusst.
-
In den Schritten S4 und S5 wird zunächst der Glint im Auge der Person erkannt und darauf basierend die Blickrichtung erkannt. Die Aufnahmen dieser Schritte profitieren von einer künstlichen Beleuchtung im Infrarotbereich, die ausreichend intensiv ausgelegt sein kann, so dass ein Glint klar im Auge erkennbar ist. Durch die robustere und genauere Vorauswahl des Gesichtsbereiches, können auch Glints trotz starker Reflexionen im Infrarotbereich zuverlässig erkannt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- „REAL-TIME CALIBRATION-FREE AUTONOMOUS EYE TRACKER“ von Frank Klefenz et al, ICASSP 2010, IEEE [0009]
