DE112016006066T5

DE112016006066T5 - Analyse von umgebungslicht zur blickverfolgung

Info

Publication number: DE112016006066T5
Application number: DE112016006066.1T
Authority: DE
Inventors: Nizan Horesh
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-12-26
Filing date: 2016-11-23
Publication date: 2018-09-06
Also published as: US9785234B2; WO2017112297A1; CN108475108A; US20170185145A1

Abstract

Technologien zur Blickverfolgung durch Umgebungslicht beinhalten ein mobiles Rechengerät zum Erfassen eines ersten Bilds eines Benutzers des mobilen Rechengeräts durch eine erste Kamera und eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts durch eine zweite Kamera. Das mobile Rechengerät bestimmt eine physikalische Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds und identifiziert eine erste und eine zweite Hornhautreflexion in einem Auge des Benutzers im ersten Bild. Das mobile Rechengerät bestimmt, auf Grundlage der physikalischen Lage, eine erste Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und eine zweite Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt wird. Ferner führt das mobile Rechengerät Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aus.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Die vorliegende Anmeldung beansprucht Priorität über die US-Gebrauchsmusteranmeldung Nr. 14/757,834 mit dem Titel „ANALYSIS OF AMBIENT LIGHT FOR GAZE TRACKING“, eingereicht am 26. Dezember 2015.
ALLGEMEINER STAND DER TECHNIK
Augenverfolgungs- und Blickverfolgungstechniken werden zum Bestimmen der Blickrichtung einer Person (d. h. der Richtung, in die die Person schaut) auf Grundlage von erfassten Bildern benutzt. Dabei kann eine breitgefächerte Gruppe von Bildanalysetechniken eingesetzt werden. Beispielsweise können in manchen Ausführungsformen Videobilder analysiert werden, um die Ausrichtung des Kopfs einer Person und/oder die relative Position der Pupille der Person zu bestimmen. Andere übliche Blickverfolgungsverfahren greifen auf die Messung von Reflexionen einer bekannten Infrarot- (IR-) Lichtquelle auf der Augenhornhaut der Person, die verfolgt wird, zurück. Derartige Techniken beinhalten im Allgemeinen eine dedizierte IR-Kamera (beispielsweise IR-Projektor und -sensor), die erhebliche Kosten und/oder eine große Stellfläche auf einem mobilen Rechengerät erfordern kann.
Figurenliste
Die hierin beschriebenen Konzepte sind beispielhaft und nichteinschränkend in den beiliegenden Figuren beschrieben. Der Einfachheit und Deutlichkeit der Darstellung halber sind in den Figuren dargestellte Elemente nicht notwendigerweise maßstabsgetreu. Wo es angebracht erschien, wurden Bezugszeichen in den Figuren wiederholt, um entsprechende oder analoge Elemente anzuzeigen. Es zeigen:

1 ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform eines mobilen Rechengeräts zur Blickverfolgung durch Umgebungslicht;
2 ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform einer Umgebung des mobilen Rechengeräts von 1;
3 - 4 ein vereinfachtes Ablaufdiagramm von mindestens einer Ausführungsform eines Verfahrens zur Blickverfolgung durch Umgebungslicht, das durch das mobile Rechengerät von 1 ausgeführt werden kann;
5 ein veranschaulichendes Bild einer realen Umgebung, das durch eine der Umgebung zugewandte Kamera des mobilen Rechengeräts von 1 erfasst ist;
6 ein veranschaulichendes Bild eines Benutzers, das durch eine dem Benutzer zugewandte Kamera des mobilen Rechengeräts von 1 erfasst ist; und
7 eine Nahansicht des Auges des Benutzers, die im veranschaulichenden Bild von 6 erfasst ist.

DETAILLIERTE BESCHREIBUNG DER ZEICHNUNGEN
Während die Konzepte der vorliegenden Offenbarung für verschiedene Modifikationen und alternative Ausgestaltungen empfänglich sind, sind spezifische Ausführungsformen davon beispielhaft in den Zeichnungen gezeigt und werden hierin detailliert beschrieben. Es versteht sich jedoch, dass keine Absicht besteht, die Konzepte der vorliegenden Offenbarung auf die bestimmten offenbarten Ausgestaltungen zu beschränken, sondern dass beabsichtigt ist, alle Modifikationen, Äquivalente und Alternativen abzudecken, die mit der vorliegenden Offenbarung und den beiliegenden Ansprüchen konsistent sind.
Bezugnahmen in der Schrift auf „eine Ausführungsform“, „eine veranschaulichende Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein/e besondere/s Merkmal, Struktur oder Kennzeichen enthalten kann, wobei jedoch jede Ausführungsform diese/s besondere Merkmal, Struktur oder Kennzeichen enthalten oder nicht notwendigerweise enthalten kann. Zudem beziehen sich derartige Ausdrücke nicht notwendigerweise auf dieselbe Ausführungsform. Ferner wird vorgebracht, dass, wenn ein/e besondere/s Merkmal, Struktur oder Kennzeichen in Verbindung mit einer Ausführungsform beschrieben ist, es innerhalb des Wissens des Fachmanns liegt, ein/e derartige/s Merkmal, Struktur oder Kennzeichen in Verbindung mit anderen Ausführungsformen auszuführen, ob ausdrücklich beschrieben oder nicht. Zusätzlich ist zu beachten, dass Elemente, die in einer Auflistung in der Form von „mindestens ein A, B und C“ enthalten sind, folgendes bedeuten können: (A), (B), (C), (A und B), (B und C), (A und C) oder (A, B und C). Gleicherweise können Elemente, die in der Form von „mindestens eines von A, B und C“ aufgelistet sind, (A), (B), (C), (A und B), (B und C), (A und C) oder (A, B und C) bedeuten.
Die offenbarten Ausführungsformen können in manchen Fällen in Hardware, Firmware, Software oder jeglicher Kombination davon implementiert sein. Die offenbarten Ausführungsformen können außerdem als Befehle implementiert sein, die auf einem oder mehreren flüchtigen oder nichtflüchtigen, maschinenlesbaren (beispielsweise computerlesbaren) Speichermedien gespeichert oder enthalten sind, welche durch einen oder mehrere Prozessoren ausgelesen und ausgeführt werden können. Ein maschinenlesbares Speichermedium kann als jegliche/r/s Speichergerät, -mechanismus oder andere physikalische Struktur zum Speichern oder Übertragen von Information in einer Form, die durch eine Maschine lesbar ist, ausgeführt sein (beispielsweise flüchtiger oder nichtflüchtiger Speicher, eine Medienplatte oder ein anderes Mediengerät).
In den Zeichnungen können manche strukturellen oder Verfahrensmerkmale in spezifischen Anordnungen und/oder Ordnungen gezeigt sein. Es ist jedoch zu beachten, dass derartige spezifische Anordnungen und/oder Ordnungen nicht erforderlich sein könnten. Stattdessen können derartige Merkmale in manchen Ausführungsformen auf andere Art und Weise und/oder in anderer Ordnung angeordnet sein, als in den veranschaulichenden Figuren gezeigt. Zudem soll die Einbeziehung eines strukturellen oder Verfahrensmerkmals in eine bestimmte Figur nicht bedeuten, dass ein derartiges Merkmal in allen Ausführungsformen erforderlich ist und in manchen Ausführungsformen nicht enthalten sein könnte oder mit anderen Merkmalen kombiniert sein könnte.
Unter Bezugnahme auf 1 ist ein mobiles Rechengerät 100 zur Blickverfolgung durch Umgebungslicht gezeigt. Im Gebrauch, wie unten detaillierter beschrieben, ist das mobile Rechengerät 100 zum Erfassen eines Bilds eines Benutzers des mobilen Rechengeräts 100 und eines Bilds einer realen Umgebung des mobilen Rechengeräts 100 konfiguriert. Das mobile Rechengerät 100 analysiert ferner das erfasste Bild der realen Umgebung, um den physischen Standort einer Lichtquelle zu bestimmen, die Umgebungslicht aussendet, welches für das mobile Rechengerät 100 sichtbar ist (beispielsweise nicht verdeckt und stark genug). Ferner analysiert das mobile Rechengerät 100 in der veranschaulichenden Ausführungsform das erfasste Bild des Benutzers, um Hornhautreflexionen (d. h. Schimmern) in einem Auge des Benutzers zu identifizieren und zu bestimmen, welcher Lichtquelle jede Hornhautreflexion entspricht (beispielsweise eine Reflexion einer Lichtquelle, die im realen Bild erfasst ist, eine Reflexion eines Bilds, das auf einer Anzeige des mobilen Rechengeräts 100 angezeigt ist, usw.), und führt Blickverfolgung auf Grundlage dieser Bestimmungen aus.
Das mobile Rechengerät 100 kann als jegliche Art von Rechengerät ausgeführt sein, das zum Ausführen der hierin beschriebenen Funktionen imstande ist. Beispielsweise kann das mobile Rechengerät 100 als Smartphone, Mobiltelefon, tragbares Rechengerät, Personal Digital Assistant, mobiles Internetgerät, Tablet-Computer, Netbook, Notebook, Ultrabook™, Laptop-Computer und/oder jegliches andere mobile Rechen-/Kommunikationsgerät ausgeführt sein. Obgleich das mobile Rechengerät 100 hierin als mobil in der veranschaulichenden Ausführungsform beschrieben ist, ist zu beachten, dass das mobile Rechengerät 100 in anderen Ausführungsformen als unbewegliches Rechengerät (beispielsweise Desktop-Computer) ausgeführt sein kann. Wie in 1 gezeigt, enthält das mobile Rechengerät 100 einen Prozessor 110, ein Eingabe/Ausgabe- („E/A-“) Subsystem 112, einen Speicher 114, einen Datenspeicher 116, Kommunikationsschaltungen 118, ein Kamerasystem 120 und eine Anzeige 122. Ferner kann das mobile Rechengerät 100 in manchen Ausführungsformen einen oder mehrere Sensoren 124 enthalten. Natürlich kann das mobile Rechengerät 100 in anderen Ausführungsformen andere oder zusätzliche Komponenten enthalten, wie etwa jene, die typischerweise in einem typischen Rechengerät zu finden sind (beispielsweise verschiedene Eingabe/Ausgabegeräte und/oder andere Komponenten). Zudem können in manchen Ausführungsformen eine oder mehrere der veranschaulichenden Komponenten in einer anderen Komponente integriert sein oder anderweitig einen Abschnitt davon ausbilden. Beispielsweise kann der Speicher 114 oder ein Abschnitt davon in manchen Ausführungsformen im Prozessor 110 eingegliedert sein.
Der Prozessor 110 kann als jegliche Art von Prozessor ausgeführt sein, der zum Ausführen der hierin beschriebenen Funktionen imstande ist. Beispielsweise kann der Prozessor 110 als Einzel- oder Mehrkernprozessor(en), Digitalsignalprozessor, Mikrosteuerung oder anderer Prozessor oder Verarbeitungs-/Steuerschaltung ausgeführt sein. Gleicherweise kann der Speicher 114 als jegliche Art von flüchtigem oder nichtflüchtigem Speicher oder Datenspeicher ausgeführt sein, der zum Ausführen der hierin beschriebenen Funktionen imstande ist. Im Gebrauch kann der Speicher 114 verschiedene Daten und Software speichern, die während des Betriebs des mobilen Rechengeräts 100 benutzt werden, wie etwa Betriebssysteme, Anwendungen, Programme, Bibliotheken und Treiber. Der Speicher 114 ist kommunikativ an den Prozessor 110 über das E/A-Subsystem 112 gekoppelt, das als Schaltungen und/oder Komponenten zum Ermöglichen von Ein-/Ausgabevorgängen mit dem Prozessor 110, dem Speicher 114 und anderen Komponenten des mobilen Rechengeräts 100 ausgeführt sein kann. Beispielsweise kann das E/A-Subsystem 112 als Speichersteuerungshubs, Ein-/Ausgabesteuerhubs, Firmware-Geräte, Kommunikationsverknüpfungen (d. h. Punkt-zu-Punkt-Verknüpfungen, Busverknüpfungen, Drähte, Kabel, Lichtleiter, Leiterplattenbahnen usw.) und/oder andere Komponenten und Subsysteme zum Ermöglichen der Ein-/Ausgabevorgänge ausgeführt sein oder diese enthalten. In manchen Ausführungsformen kann das E/A-Subsystem 112 einen Abschnitt eines System-on-a-Chip (SoC) ausbilden und zusammen mit dem Prozessor 110, dem Speicher 114 und anderen Komponenten des mobilen Rechengeräts 100 auf einem einzelnen integrierten Schaltungschip eingegliedert sein.
Der Datenspeicher 116 kann als jegliche Art von Gerät oder Geräten ausgeführt sein, das/die zum kurzfristigen oder langfristigen Speichern von Daten konfiguriert ist/sind, wie etwa beispielsweise Speichergeräte und -schaltungen, Speicherkarten, Festplattenlaufwerke, Festkörperlaufwerke oder andere Datenspeichergeräte. Der Datenspeicher 116 und/oder der Speicher 114 können verschiedene Daten während des Betriebs des mobilen Rechengeräts 100 speichern, wie hierin beschrieben.
Die Kommunikationsschaltungen 118 können als jegliche/s Schaltung, Gerät oder Zusammenstellung davon ausgeführt sein, die/das zum Ermöglichen von Kommunikationen zwischen dem mobilen Rechengerät 100 und anderen entfernten Geräten über ein Netzwerk (nicht gezeigt) imstande ist. Beispielsweise kann das mobile Rechengerät 100 in manchen Ausführungsformen eine oder mehrere der hierin beschriebenen Funktionen auf ein entlegenes Rechengerät abladen. Die Kommunikationsschaltungen 118 können zum Verwenden von einer oder mehreren Kommunikationstechnologien (beispielsweise verdrahtete oder drahtlose Kommunikationen) und zugehörigen Protokollen (beispielsweise Ethernet, Bluetooth®, Wi-Fi®, WiMAX, LTE, 5G usw.) zum Durchführen derartiger Kommunikation konfiguriert sein.
Das Kamerasystem 120 enthält mehrere Kameras, die zum Erfassen von Bildern oder Video (d. h. Zusammenstellungen von Bildern oder Frames) konfiguriert sind und zum Ausführen der hierin beschriebenen Funktionen imstande sind. Es ist zu beachten, dass jede der Kameras des Kamerasystems 120 als jegliches periphere oder integrierte Gerät ausgeführt sein kann, das zum Erfassen von Bildern geeignet ist, wie etwa eine Standbildkamera, eine Videokamera oder ein anderes Gerät, das zum Erfassen von Video und/oder Bildern imstande ist. In der veranschaulichenden Ausführungsform enthält das Kamerasystem 120 eine dem Benutzer zugewandte Kamera 126 und eine der Umgebung zugewandte Kamera 128. Abhängig von der bestimmten Ausführungsform kann jede der dem Benutzer zugewandten Kamera 126, der Umgebung zugewandten Kamera 128 und/oder andere Kameras des Kamerasystems 120 als eine zweidimensionale (2D-) Kamera (beispielsweise eine RGB-Kamera) oder eine dreidimensionale (3D-) Kamera ausgeführt sein. Derartige 3D-Kameras beinhalten beispielsweise Tiefenkameras, Bifokalkameras und/oder Kameras, die ansonsten zum Erzeugen eines Tiefenbilds, Kanals oder Stroms imstande sind. In einer anderen Ausführungsform enthalten eine oder mehrere der Kameras des Kamerasystems 120 mindestens zwei Linsen und entsprechende Sensoren, die zum Erfassen von Bildern aus mindestens zwei Blickwinkeln einer Szene konfiguriert sind (beispielsweise eine Stereokamera).
Wie unten detaillierter beschrieben, ist die dem Benutzer zugewandte Kamera 126 zum Erfassen von Bildern des Benutzers des mobilen Rechengeräts 100 konfiguriert. Insbesondere erfasst die dem Benutzer zugewandte Kamera 126 Bilder des Gesichts des Benutzers, die analysiert werden können, um die Lage des Auges (der Augen) des Benutzers bezüglich des mobilen Rechengeräts 100 (beispielsweise bezüglich der dem Benutzer zugewandte Kamera 126, bezüglich der Anzeige 122 und/oder eines anderen Referenzpunkts des mobilen Rechengeräts 100) zu bestimmen. Die der Umgebung zugewandte Kamera 128 erfasst Bilder der realen Umgebung des mobilen Rechengeräts 100. In der veranschaulichenden Ausführungsform sind die dem Benutzer zugewandte Kamera 126 und die der Umgebung zugewandte Kamera 128 auf gegenüberliegenden Seiten des mobilen Rechengeräts 100 angeordnet und weisen daher Sichtfelder in entgegengesetzten Richtungen auf. Insbesondere ist in der veranschaulichenden Ausführungsform die dem Benutzer zugewandte Kamera 126 auf derselben Seite des mobilen Rechengeräts 100 wie die Anzeige 122, sodass die dem Benutzer zugewandte Kamera 126 Bilder des Benutzers erfassen kann, während er die Anzeige 122 sieht und ein angezeigtes Bild im Auge des Benutzers reflektiert sein kann.
Die Anzeige 122 des mobilen Rechengeräts 100 kann als jegliche Art von Anzeige ausgeführt sein, auf der einem Benutzer des mobilen Rechengeräts 100 Informationen angezeigt werden können. Ferner kann die Anzeige 122 als jegliche geeignete Anzeigentechnologie ausgeführt sein oder andernfalls solche verwenden, darunter beispielsweise eine Flüssigkristallanzeige (LCD), eine Leuchtdioden- (LED-) Anzeige, eine Kathodenstrahlröhren- (CRT-) Anzeige, eine Plasmaanzeige, eine Touchscreen-Anzeige und/oder eine andere Anzeigentechnologie. Auch wenn in der veranschaulichenden Ausführungsform von 1 nur eine Anzeige 122 gezeigt ist, kann das mobile Rechengerät 100 in anderen Ausführungsformen mehrere Anzeigen 122 enthalten.
Wie in 1 gezeigt, kann das mobile Rechengerät 100 einen oder mehrere Sensoren 124 enthalten, die zum Erzeugen von Daten/Signalen konfiguriert sind, welche eine Umgebung oder einen Kontext des mobilen Rechengeräts 100 und/oder Benutzer des mobilen Rechengeräts 100 anzeigen. In verschiedenen Ausführungsformen können die Sensoren 124 beispielsweise als Trägheitssensoren, Positionssensoren, Ortsbestimmungssensoren, Näherungssensoren, optische Sensoren, Lichtsensoren, Audiosensoren, Temperatursensoren, Bewegungssensoren, Piezoelektriksensoren und/oder andere Arten von Sensoren ausgeführt sein oder diese andernfalls beinhalten. Natürlich kann das mobile Rechengerät 100 außerdem Komponenten und/oder Geräte enthalten, die zum Ermöglichen der Benutzung des Sensors (der Sensoren) 124 konfiguriert sind.
Unter Bezugnahme auf 2 stellt das mobile Rechengerät 100 eine Umgebung 200 zur Blickverfolgung durch Umgebungslicht her. Die veranschaulichende Umgebung 200 enthält ein Lichtanalysemodul 202, ein Augenanalysemodul 204, ein Blickverfolgungsmodul 206 und ein Anzeigemodul 208. Zudem enthält das Augenanalysemodul 204 in der veranschaulichenden Ausführungsform ein Reflexionsauffindungsmodul 210 und ein Pupillenauffindungsmodul 212. Die verschiedenen Module der Umgebung 200 können als Hardware, Software, Firmware oder eine Kombination davon ausgeführt sein. Beispielsweise können die verschiedenen Module, Logik und andere Komponenten der Umgebung 200 einen Abschnitt des Prozessors 110 oder anderer Hardwarekomponenten des mobilen Rechengeräts 100 ausbilden oder anderweitig durch diese hergestellt sein. Von daher können ein oder mehrere der Module der Umgebung 200 in manchen Ausführungsformen als Schaltungen oder Zusammenstellung von elektrischen Geräten (beispielsweise Lichtanalyseschaltungen, Augenanalyseschaltungen, Blickverfolgungsschaltungen, Anzeigenschaltungen, Reflexionsauffindungsschaltungen und/oder Pupillenauffindungsschaltungen) ausgeführt sein. Zudem können eines oder mehrere der veranschaulichenden Module in manchen Ausführungsformen einen Abschnitt eines anderen Moduls ausbilden, und/oder eines oder mehrere der veranschaulichenden Module können unabhängig voneinander sein.
Das Lichtanalysemodul 202 ist dazu konfiguriert, ein oder mehrere Bilder der realen Umgebung, die durch die der Umgebung zugewandten Kamera 128 erfasst werden, zu analysieren, um die physikalische Lage von einer oder mehreren Lichtquellen (beispielsweise eine Lampe, ein Deckenlicht, ein Fernseher, eine Anzeige usw.), die Umgebungslicht aussendet, bezüglich des mobilen Rechengeräts 100 zu bestimmen. Wie unten beschrieben kann das Lichtanalysemodul 202 dabei die Bildlage (beispielsweise Pixel/Bereich in einem erfassten Bild) der einen oder mehreren Lichtquellen im erfassten Bild bestimmen und die Richtung der Lichtquelle(n) bezüglich des mobilen Rechengeräts 100 auf Grundlage der Bildlage bestimmen. Beispielsweise kann das Lichtanalysemodul 202 in manchen Ausführungsformen einen Bereich (Bereiche) des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich der umgebenden Bildbereiche identifizieren. Wie unten detaillierter beschrieben, kann das Lichtanalysemodul 202 mehrfache Bilder derselben Lichtquelle (beispielsweise aus verschiedenen Perspektiven) analysieren und/oder Triangulationstechniken nutzen, um die physikalische Lage dieser Lichtquelle bezüglich des mobilen Rechengeräts 100 zu bestimmen.
Das Augenanalysemodul 204 ist zum Analysieren von einem oder mehreren Bildern des Benutzers konfiguriert, die durch die dem Benutzer zugewandte Kamera 126 erfasst werden. Wie oben angegeben, enthält das Augenanalysemodul 204 in der veranschaulichenden Ausführungsform das Reflexionsauffindungsmodul 210 und das Pupillenauffindungsmodul 212. Das Reflexionsauffindungsmodul 210 ist zum Analysieren eines erfassten Bilds des Benutzers zum Identifizieren des Auges des Benutzers im erfassten Bild und insbesondere zum Identifizieren der Hornhautreflexionen im Auge des Benutzers konfiguriert. Beispielsweise kann das Reflexionsauffindungsmodul 210 die Bildlage im erfassten Bild bestimmen, in der Reflexionen des Umgebungslichts von der Lichtquelle (den Lichtquellen) und/oder angezeigte Bilder auf der Anzeige 122 auf der Augenhornhaut des Benutzers sichtbar sind. Wie hierin beschrieben, können die Hornhautreflexionen in manchen Ausführungsformen als Bereiche des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich umgebender Bildbereiche identifiziert werden. Ferner ist das Reflexionsauffindungsmodul 210 in der veranschaulichenden Ausführungsform zum Bestimmen konfiguriert, welcher Lichtquelle jede Hornhautreflexion entspricht (beispielsweise eine Reflexion einer Lichtquelle, die im realen Bild erfasst ist, eine Reflexion eines Bilds, das auf der Anzeige 122 angezeigt ist, usw.). In manchen Ausführungsformen kann das Reflexionsauffindungsmodul 210 dazu eine oder mehrere der Hornhautreflexionen mit der Lichtquelle oder dem angezeigten Bild auf Grundlage bekannter Kennzeichen der Lichtquelle oder des erfassten Bilds (beispielsweise Größe, Farbe, Form usw.) abgleichen. Das Pupillenauffindungsmodul 212 ist zum Analysieren des Bilds des Auges des Benutzers konfiguriert, um die Bildlage der Pupille des Benutzers oder insbesondere des Rands der Pupille des Benutzers zu bestimmen.
Das Blickverfolgungsmodul 206 ist zum Ausführen von Blickverfolgung (d. h. Überwachen der Blickrichtung des Benutzers) auf Grundlage der bestimmten Entsprechungen konfiguriert. In manchen Ausführungsformen basiert die Blickverfolgung ferner auf dem Rand der Pupille des Benutzers. Es ist zu beachten, dass das Blickverfolgungsmodul 206 jegliche geeigneten Techniken, Algorithmen und/oder Mechanismen zum Ausführen von Blickverfolgung nutzen kann, die mit den hierin beschriebenen Techniken konsistent sind.
Das Anzeigemodul 208 gibt Bilder auf der Anzeige 122 für den Benutzer des mobilen Rechengeräts 100 zur Ansicht wieder. In manchen Ausführungsformen kann die Anzeige 122 als zusätzliche Lichtquelle zum Durchführen der hierin beschriebenen Analyse benutzt werden. Ferner kann in manchen Ausführungsformen die relative Stärke des (der) angezeigten Bilds (Bilder) im Voraus berechnet oder bestimmt sein, um die Hornhautreflexionen auf dem Auge des Benutzers zu unterscheiden und die richtigen Entsprechungen zwischen den Reflexionen und den Lichtquellen zu bestimmen. Beispielsweise würde ein blaues Licht mit hoher Stärke, das auf der Anzeige 122 angezeigt ist, gleicherweise auf der Augenhornhaut des Benutzers reflektiert werden (d. h. als blaues Licht mit hoher Stärke).
Unter Bezugnahme auf 3 kann das mobile Rechengerät 100 ein Verfahren 300 zur Blickverfolgung durch Umgebungslicht ausführen. Das veranschaulichende Verfahren 300 beginnt mit Block 302, wobei das mobile Rechengerät 100 mehrere Bilder mit dem Kamerasystem 120 erfasst. Dabei erfasst das mobile Rechengerät 100 in Block 304 ein oder mehrere Bilder der realen Umgebung mit der der Umgebung zugewandten Kamera 128. Wie hierin beschrieben kann die reale Umgebung eine oder mehrere Umgebungslichtquellen enthalten, die für das mobile Rechengerät 100 sichtbar sind und zur Blickverfolgung benutzt werden können. Beispielsweise stellt, wie in 5 gezeigt, ein veranschaulichendes erfasstes Bild 500 der realen Umgebung eine Lichtquelle 502 dar. Wie unten beschrieben kann das mobile Rechengerät 100 in manchen Ausführungsformen mehrere Bilder der realen Umgebung (beispielsweise mit derselben Kamera 128 oder mehreren Kameras 128) zur Analyse beim Bestimmen der physikalischen Lage der Lichtquelle (beispielsweise der Lichtquelle 502) bezüglich des mobilen Rechengeräts 100 erfassen. In Block 306 erfasst das mobile Rechengerät 100 ein oder mehrere Bilder des Gesichts des Benutzers mit der dem Benutzer zugewandten Kamera 126 (siehe beispielsweise ein veranschaulichendes erfasstes Bild 600, wie in 6 gezeigt).
In Block 308 analysiert das mobile Rechengerät 100 das Bild der realen Umgebung, um eine Lichtquelle im erfassten Bild und die Richtung der Lichtquelle bezüglich des mobilen Rechengeräts 100 (beispielsweise bezüglich eines bestimmten Referenzpunkts des mobilen Rechengeräts 100) zu identifizieren. Dabei kann das mobile Rechengerät 100 in Block 310 die Lichtquelle als einen Bereich des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich umgebenden Bildbereichen identifizieren. Beispielsweise kann eine Lichtquelle, die weißes Licht aussendet, als ein heller weißer Bereich im erfassten Bild erscheinen. In manchen Ausführungsformen kann das mobile Rechengerät 100 eine oder mehrere Kantenerkennungs- und/oder Bildsegmentierungstechniken zum Identifizieren der Lichtquelle nutzen (beispielsweise Sobel-Filter, Canny-Kantenerkennung, Pyramidensegmentierung usw.). Es ist zu beachten, dass das mobile Rechengerät 100 jegliche geeigneten Techniken, Algorithmen und/oder Mechanismen zum Bestimmen der Richtung der Lichtquelle bezüglich des mobilen Rechengeräts 100 auf Grundlage der identifizierten Bildlage der Lichtquelle im erfassten Bild nutzen kann. Beispielsweise kann das mobile Rechengerät 100 in manchen Ausführungsformen gespeicherte Koordinateninformation, Winkelinformation und/oder andere relevante Information bezüglich des Kamerasystems 120 des mobilen Rechengeräts 100 wirksam einsetzen.
In Block 312 bestimmt das mobile Rechengerät 100 die physikalische Lage der Lichtquelle bezüglich des mobilen Rechengeräts 100 (oder eines anderen Referenzpunkts). Es ist zu beachten, dass das mobile Rechengerät 100 dazu jegliche geeigneten Techniken nutzen kann. Beispielsweise kann das mobile Rechengerät 100 in Block 314 die Lage der Lichtquelle auf Grundlage von Triangulation über mehrere Bilder der realen Umgebung, die die bestimmte Lichtquelle enthalten, bestimmen. Insbesondere kann das mobile Rechengerät 100 in Block 316 die physikalische Lage auf Grundlage von Bildern der Lichtquelle, die durch mehrere, der Umgebung zugewandte Kameras 128 erfasst werden, oder auf Grundlage von Bildern der Lichtquelle, die durch mehrere Linsen derselben, der Umgebung zugewandten Kamera 128 (beispielsweise eine 3D- oder Stereokamera) erfasst werden, bestimmen. In Block 318 kann das mobile Rechengerät 100 die physikalische Lage auf Grundlage von mehreren Bildern der Lichtquellen, die durch dieselbe, der Umgebung zugewandte Kamera 128 (oder mehreren, der Umgebung zugewandten Kameras 128) an verschiedenen Positionen bezüglich der Lichtquelle erfasst werden (beispielsweise zu verschiedenen Zeitpunkten erfasst), bestimmen. Beispielsweise kann die der Umgebung zugewandte Kamera 128 in manchen Ausführungsformen als Videokamera ausgeführt sein, und Bewegung der Kamera 128 kann geschätzt werden (beispielsweise aus dem Video-Stream oder Trägheitssensoren), um Triangulation über Frames auszuführen, die zu verschiedenen Zeitpunkten und in verschiedenen Lagen des mobilen Rechengeräts 100 erfasst wurden. Anders gesagt kann das mobile Rechengerät 100 die physikalische Lage der Lichtquelle auf Grundlage der Richtung der Lichtquelle bezüglich zweier verschiedener Referenzpunkte des mobilen Rechengeräts 100 bestimmen (beispielsweise über Triangulation). In anderen Ausführungsformen kann das mobile Rechengerät 100 in Block 320 den Abstand der Lichtquelle vom mobilen Rechengerät 100 als vordefinierten Abstand (beispielsweise unendlich, ein beliebig großer Abstand usw.) annähern. Es ist zu beachten, dass in manchen Ausführungsformen Abstände, die einen Schwellenabstand (beispielsweise zwei Meter) überschreiten, als der vordefinierte Abstand eingeschätzt werden können, ohne erheblichen Genauigkeitsverlust bei der Blickverfolgung zu erfahren.
In manchen Ausführungsformen kann das mobile Rechengerät 100 mehrere Umgebungslichtquellen zum Ausführen von Blickverfolgung nutzen. In derartigen Ausführungsformen kann das mobile Rechengerät 100 in Block 322 bestimmen, ob es eine weitere Lichtquelle im erfassten Bild (in den erfassten Bildern) der realen Umgebung erfasst. Falls ja, leitet das Verfahren 300 zu Block 308 zum Analysieren des Bilds (der Bilder) zurück. Andernfalls leitet das Verfahren 300 zu Block 324 von 4 weiter, in dem das mobile Rechengerät 100 ein Bild bestimmen kann, das auf der Anzeige 122 zu der Zeit angezeigt wurde, als das Bild des Benutzers aufgenommen wurde. Beispielsweise kann die Anzeige 122 in manchen Ausführungsformen eine Anzeigensteuerung enthalten, die verschiedene Kennzeichen von angezeigten Bildern und/oder der angezeigten Bilder selbst verfolgt, welche für verschiedene Analysen, wie hierin beschrieben, benutzt werden können (beispielsweise Abgleichen von Augenhornhautreflexionen an der entsprechenden Lichtquelle).
In Block 326 analysiert das mobile Rechengerät 100 das erfasste Bild des Benutzers (beispielsweise das Bild 600 von 6), um die Hornhautreflexionen im Auge des Benutzers zu lokalisieren (beispielsweise die Reflexionen der Lichtquelle(n) und/oder der Bilder, die auf der Anzeige 122 vom Auge des Benutzers gezeigt sind). Es ist zu beachten, dass das mobile Rechengerät 100 jegliche geeigneten Bildanalysetechniken, -algorithmen, -filter und/oder -mechanismen zum Lokalisieren der Augenhornhautreflexionen, Abgleichen der Augenhornhautreflexionen mit den Lichtquellen und/oder Ausführen von anderen, hierin beschriebenen Analysen nutzen kann. In Block 328 kann das mobile Rechengerät 100 das Auge des Benutzers im erfassten Bild identifizieren, beispielsweise um den Bereich des Bilds zu reduzieren, der zum Analysieren für Schimmeranalyse und Blickverfolgung erforderlich ist. Obgleich die Techniken hierin unter Bezugnahme auf die Analyse eines einzelnen Auges des Benutzers beschrieben sind, ist zu beachten, dass in manchen Ausführungsformen beide Augen des Benutzers analysiert werden können. In manchen Ausführungsformen kann das mobile Rechengerät 100 in Block 330 die Hornhautreflexionen auf dem Auge des Benutzers als Bereiche des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich umgebender Bildbereiche identifizieren.
In Block 332 kann das mobile Rechengerät 100 bestimmen, welcher Lichtquelle jede Hornhautreflexion auf dem Auge des Benutzers entspricht (beispielsweise eine Reflexion einer Lichtquelle, die im realen Bild erfasst ist, eine Reflexion eines Bilds, das auf der Anzeige 122 angezeigt ist, usw.), auf Grundlage der Reflexionskennzeichen. In manchen Ausführungsformen kann das mobile Rechengerät 100 jede Augenhornhautreflexion mit der Quelle der Reflexion auf Grundlage der Lage, Größe, Farbe, Form und/oder anderen Kennzeichen der Reflexion abgleichen. Beispielsweise zeigt, wie in 7 gezeigt, das Auge 700 des Benutzers, das im veranschaulichenden Bild 600 (siehe 6) des Benutzers erfasst ist, zwei Augenhornhautreflexionen: eine Augenhornhautreflexion 702 der Lichtquelle 502 in der realen Umgebung des mobilen Rechengeräts 100 (siehe 5) und eine Augenhornhautreflexion 704 der Anzeige 122 des mobilen Rechengeräts 100. Es ist zu beachten, dass das mobile Rechengerät 100 jegliche geeigneten Kennzeichen der Augenhornhautreflexionen und/oder andere bekannte Information zum Unterscheiden der Augenhornhautreflexionen voneinander und zum Bestimmen der Lichtquelle, der sie entsprechen, nutzen kann. Beispielsweise ist es in zahlreichen Ausführungsformen wahrscheinlich, dass die Reflexion von der Anzeige 122 auf oder nahe der Pupille des Benutzers erscheint, da sie direkt vor den Benutzer gehalten wird, während es wahrscheinlich ist, dass andere Umgebungslichtquellen auf der Peripherie des Auges des Benutzers erscheinen, da sie andernfalls beispielsweise durch das mobile Rechengerät 100 verdeckt werden. Ferner weist, wie oben angegeben, eine Augenhornhautreflexion des Bilds, das auf der Anzeige 122 gezeigt ist, ähnliche Kennzeichen wie das angezeigte Bild selbst auf (beispielsweise eine ähnliche Form und Farbe).
In Block 334 analysiert das mobile Rechengerät 100 das erfasste Bild des Auges des Benutzers, um die Bildlage der Pupille des Benutzers oder insbesondere des Rands der Pupille des Benutzers (beispielsweise den Rand 706, wie in 7 gezeigt) zu bestimmen. Das mobile Rechengerät 100 kann jegliche geeigneten Bildanalysetechniken dazu einsetzen. Ferner ist zu beachten, dass die Identifikation der Pupille des Benutzers unabhängig von den hierin beschriebenen Schimmeranalysetechniken sein kann und daher gleichzeitig mit, vor oder anschließend an derartige Techniken stattfinden kann. In Block 336 führt das mobile Rechengerät 100 Blickverfolgung aus (d. h. überwacht die Blickrichtung des Benutzers), auf Grundlage der bestimmten Entsprechungen zwischen Lichtquellen und Augenhornhautreflexionen und des identifizierten Rands der Pupille des Benutzers. Es ist zu beachten, dass die Blickverfolgung auf jeglichen geeigneten Techniken, Algorithmen und/oder Mechanismen basieren kann, die mit den hierin beschriebenen Techniken konsistent sind.
In Block 338 bestimmt das mobile Rechengerät 100, ob die Blickverfolgung fortgesetzt werden soll. Falls ja, leitet das Verfahren 300 zu Block 302 von 3 zurück, in dem das mobile Rechengerät 100 mit dem Kamerasystem 120 einen weiteren Satz von Bildern erfasst. Anders gesagt kann das mobile Rechengerät 100 beim Ausführen der Blickverfolgung wiederholt die Lage der Lichtquellen bezüglich des mobilen Rechengeräts 100 identifizieren (beispielsweise wenn sich das mobile Rechengerät 100 und/oder die Lichtquellen bewegen) und die Augenhornhautreflexionen identifizieren, die diesen Lichtquellen entsprechen.
BEISPIELE
Veranschaulichende Beispiele der hierin offenbarten Technologien sind untenstehend bereitgestellt. Eine Ausführungsform der Technologien kann ein beliebiges oder mehrere und jegliche Kombination der unten beschriebenen Beispiele beinhalten.
Beispiel 1 beinhaltet ein mobiles Rechengerät zur Blickverfolgung durch Umgebungslicht, wobei das mobile Rechengerät eine Anzeige, ein Kamerasystem, das eine erste Kamera und eine zweite Kamera aufweist, wobei das Kamerasystem zum Erfassen von (i) einem ersten Bild eines Benutzers des mobilen Rechengeräts mit der ersten Kamera und (ii) einem zweiten Bild einer realen Umgebung des mobilen Rechengeräts mit der zweiten Kamera dient, ein Lichtanalysemodul zum Bestimmen einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds, ein Augenanalysemodul zum (i) Identifizieren einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers und (ii) Bestimmen, auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf der Anzeige angezeigt ist, ein Blickverfolgungsmodul zum Ausführen von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aufweist.
Beispiel 2 beinhaltet den Gegenstand von Beispiel 1, wobei das Lichtanalysemodul zum (i) Analysieren des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist, und (ii) Bestimmen einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage dient; und wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.
Beispiel 3 beinhaltet den Gegenstand von jeglichem der Beispiele 1 und 2, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.
Beispiel 4 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 3, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.
Beispiel 5 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 4, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.
Beispiel 6 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 5, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.
Beispiel 7 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 6, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Analysieren des ersten Bilds zum Identifizieren des Auges des Benutzers aufweist.
Beispiel 8 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 7, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke und starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.
Beispiel 9 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 8, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt ist, aufweist.
Beispiel 10 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 9, ferner enthaltend ein Anzeigemodul zum Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.
Beispiel 11 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 10, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.
Beispiel 12 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 11, wobei das Augenanalysemodul zum Analysieren des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers dient; und wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner auf Grundlage des Rands der Pupille des Benutzers aufweist.
Beispiel 13 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 12, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.
Beispiel 14 beinhaltet ein Verfahren zur Blickverfolgung durch Umgebungslicht, wobei das Verfahren Erfassen, durch eine erste Kamera eines mobilen Rechengeräts, eines ersten Bilds eines Benutzers des mobilen Rechengeräts; Erfassen, durch eine zweite Kamera des mobilen Rechengeräts, die sich von der ersten Kamera unterscheidet, eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts; Bestimmen, durch das mobile Rechengerät, einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds; Identifizieren, durch das mobile Rechengerät, einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers, das im ersten Bild erfasst ist; Bestimmen, durch das mobile Rechengerät und auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt wird; und Ausführen, durch das mobile Rechengerät, von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aufweist.
Beispiel 15 beinhaltet den Gegenstand von Beispiel 14, ferner beinhaltend Analysieren, durch das mobile Rechengerät, des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist; und Bestimmen, durch das mobile Rechengerät, einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage; wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.
Beispiel 16 beinhaltet den Gegenstand von jeglichem der Beispiele 14 und 15, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.
Beispiel 17 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 16, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.
Beispiel 18 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 17, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.
Beispiel 19 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 18, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.
Beispiel 20 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 19, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Analysieren des ersten Bilds zum Identifizieren des Auges des Benutzers aufweist.
Beispiel 21 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 20, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.
Beispiel 22 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 21, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt wird, aufweist.
Beispiel 23 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 22, ferner beinhaltend das Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.
Beispiel 24 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 23, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem der Größe oder Farbe des angezeigten Bilds aufweist.
Beispiel 25 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 24, ferner beinhaltend das Analysieren, durch das mobile Rechengerät, des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers; wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner basierend auf dem Rand der Pupille des Benutzers aufweist.
Beispiel 26 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 25, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.
Beispiel 27 beinhaltet ein Rechengerät, aufweisend einen Prozessor und einen Speicher, der mehrere Befehle darin gespeichert aufweist, welche, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass das Rechengerät das Verfahren nach einem der Beispiele 14 bis 26 ausführt.
Beispiel 28 beinhaltet ein oder mehrere maschinenlesbare Speichermedien, aufweisend mehrere darin gespeicherte Befehle, die in Reaktion darauf, dass sie ausgeführt werden, in einem Rechengerät resultieren, das das Verfahren nach einem der Beispiele 14 bis 26 ausführt.
Beispiel 29 beinhaltet ein Rechengerät, aufweisend Mittel zum Ausführen des Verfahrens nach einem der Beispiele 14 bis 26.
Beispiel 30 beinhaltet ein mobiles Rechengerät zur Blickverfolgung durch Umgebungslicht, wobei das mobile Rechengerät Mittel zum Erfassen, durch eine erste Kamera des mobilen Rechengeräts, eines ersten Bilds eines Benutzers des mobilen Rechensystems, Mittel zum Erfassen, durch eine zweite Kamera des mobilen Rechengeräts, die sich von der ersten Kamera unterscheidet, eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts, Mittel zum Bestimmen einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds, Mittel zum Identifizieren einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers im ersten Bild, Mittel zum Bestimmen, auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt ist, und Mittel zum Ausführen von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aufweist.
Beispiel 31 beinhaltet den Gegenstand von Beispiel 30, ferner beinhaltend Mittel zum Analysieren des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist; und Mittel zum Bestimmen einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage; wobei das Mittel zum Bestimmen der physikalischen Lage der Lichtquelle Mittel zum Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.
Beispiel 32 beinhaltet den Gegenstand von jeglichem der Beispiele 30 und 31, wobei das Mittel zum Analysieren des zweiten Bilds Mittel zum Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.
Beispiel 33 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 32, wobei das Mittel zum Bestimmen der physikalischen Lage Mittel zum Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung, das die Lichtquelle enthält, aufweist.
Beispiel 34 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 33, wobei das Mittel zum Bestimmen der physikalischen Lage Mittel zum Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.
Beispiel 35 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 34, wobei das Mittel zum Bestimmen der physikalischen Lage Mittel zum Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät auf einen vordefinierten Abstand aufweist.
Beispiel 36 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 35, wobei das Mittel zum Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion Mittel zum Analysieren des ersten Bilds zum Identifizieren des Auges des Benutzers aufweist.
Beispiel 37 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 36, wobei das Mittel zum Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion Mittel zum Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.
Beispiel 38 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 37, wobei das Mittel zum Bestimmen der ersten Entsprechung und der zweiten Entsprechung Mittel zum Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage auf bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt ist, aufweist.
Beispiel 39 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 38, ferner beinhaltend Mittel zum Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Mittel zum Bestimmen der zweiten Entsprechung Mittel zum Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.
Beispiel 40 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 39, wobei das Mittel zum Bestimmen der zweiten Entsprechung Mittel zum Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.
Beispiel 41 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 40, ferner beinhaltend Mittel zum Analysieren des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers; wobei das Mittel zum Ausführen der Blickverfolgung Mittel zum Ausführen der Blickverfolgung ferner basierend auf dem Rand der Pupille des Benutzers aufweist.
Beispiel 42 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 41, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14/757834 [0001]

Claims

Mobiles Rechengerät zur Blickverfolgung durch Umgebungslicht, wobei das mobile Rechengerät aufweist: eine Anzeige; ein Kamerasystem, das eine erste Kamera und eine zweite Kamera aufweist, wobei das Kamerasystem zum Erfassen von (i) einem ersten Bild eines Benutzers des mobilen Rechengeräts mit der ersten Kamera und (ii) einem zweiten Bild einer realen Umgebung des mobilen Rechengeräts mit der zweiten Kamera dient; ein Lichtanalysemodul zum Bestimmen einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds; ein Augenanalysemodul zum (i) Identifizieren einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers und (ii) Bestimmen, auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf der Anzeige angezeigt ist; ein Blickverfolgungsmodul zum Ausführen von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung.
Mobiles Rechengerät nach Anspruch 1, wobei das Lichtanalysemodul zum (i) Analysieren des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist, und (ii) Bestimmen einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage dient; und wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.
Mobiles Rechengerät nach Anspruch 2, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.
Mobiles Rechengerät nach Anspruch 2, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.
Mobiles Rechengerät nach Anspruch 4, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.
Mobiles Rechengerät nach Anspruch 2, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.
Mobiles Rechengerät nach Anspruch 1, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke und starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.
Mobiles Rechengerät nach Anspruch 1, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt ist, aufweist.
Mobiles Rechengerät nach Anspruch 8, ferner aufweisend ein Anzeigemodul zum Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.
Mobiles Rechengerät nach Anspruch 9, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.
Mobiles Rechengerät nach einem der Ansprüche 1 bis 10, wobei das Augenanalysemodul zum Analysieren des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers dient; und wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner auf Grundlage des Rands der Pupille des Benutzers aufweist.
Mobiles Rechengerät nach einem der Ansprüche 1 bis 10, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.
Verfahren zur Blickverfolgung durch Umgebungslicht, wobei das Verfahren aufweist: Erfassen, durch eine erste Kamera eines mobilen Rechengeräts, eines ersten Bilds eines Benutzers des mobilen Rechengeräts; Erfassen, durch eine zweite Kamera des mobilen Rechengeräts, die sich von der ersten Kamera unterscheidet, eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts; Bestimmen, durch das mobile Rechengerät, einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds; Identifizieren, durch das mobile Rechengerät, einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers, das im ersten Bild erfasst ist; Bestimmen, durch das mobile Rechengerät und auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt wird; und Ausführen, durch das mobile Rechengerät, von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung.
Verfahren nach Anspruch 13, ferner aufweisend: Analysieren, durch das mobile Rechengerät, des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist; und Bestimmen, durch das mobile Rechengerät, einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage; wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.
Verfahren nach Anspruch 14, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.
Verfahren nach Anspruch 14, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.
Verfahren nach Anspruch 16, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.
Verfahren nach Anspruch 14, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.
Verfahren nach Anspruch 13, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.
Verfahren nach Anspruch 13, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt wird, aufweist.
Verfahren nach Anspruch 20, ferner aufweisend das Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.
Verfahren nach Anspruch 21, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.
Verfahren nach Anspruch 13, ferner aufweisend das Analysieren, durch das mobile Rechengerät, des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers; wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner auf Grundlage des Rands der Pupille des Benutzers aufweist.
Verfahren nach Anspruch 13, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.
Maschinenlesbares Speichermedium bzw. maschinenlesbare Speichermedien, aufweisend mehrere darauf gespeicherte Befehle, die in Reaktion darauf, dass sie ausgeführt werden, darin resultieren, dass ein Rechengerät das Verfahren nach einem der Ansprüche 13 bis 24 ausführt.