DE112016006066T5 - ANALYSIS OF ENVIRONMENTAL LIGHT FOR PICTURE TRACKING - Google Patents

ANALYSIS OF ENVIRONMENTAL LIGHT FOR PICTURE TRACKING Download PDF

Info

Publication number
DE112016006066T5
DE112016006066T5 DE112016006066.1T DE112016006066T DE112016006066T5 DE 112016006066 T5 DE112016006066 T5 DE 112016006066T5 DE 112016006066 T DE112016006066 T DE 112016006066T DE 112016006066 T5 DE112016006066 T5 DE 112016006066T5
Authority
DE
Germany
Prior art keywords
image
computing device
mobile computing
determining
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112016006066.1T
Other languages
German (de)
Inventor
Nizan Horesh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE112016006066T5 publication Critical patent/DE112016006066T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)

Abstract

Technologien zur Blickverfolgung durch Umgebungslicht beinhalten ein mobiles Rechengerät zum Erfassen eines ersten Bilds eines Benutzers des mobilen Rechengeräts durch eine erste Kamera und eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts durch eine zweite Kamera. Das mobile Rechengerät bestimmt eine physikalische Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds und identifiziert eine erste und eine zweite Hornhautreflexion in einem Auge des Benutzers im ersten Bild. Das mobile Rechengerät bestimmt, auf Grundlage der physikalischen Lage, eine erste Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und eine zweite Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt wird. Ferner führt das mobile Rechengerät Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aus.

Figure DE112016006066T5_0000
Ambient light tracking technologies include a mobile computing device for capturing a first image of a user of the mobile computing device through a first camera and a second image of a real environment of the mobile computing device through a second camera. The mobile computing device determines a physical location of a light source relative to the mobile computing device based on the second image and identifies a first and a second corneal reflection in an eye of the user in the first image. The mobile computing device determines, based on the physical location, a first correspondence between the first corneal reflection and the light source and a second correspondence between the second corneal reflectance and an image displayed on a display of the mobile computing device. Further, the mobile computing device performs gaze tracking based on the first correspondence and the second correspondence.
Figure DE112016006066T5_0000

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGCROSS-REFERENCE TO RELATED APPLICATION

Die vorliegende Anmeldung beansprucht Priorität über die US-Gebrauchsmusteranmeldung Nr. 14/757,834 mit dem Titel „ANALYSIS OF AMBIENT LIGHT FOR GAZE TRACKING“, eingereicht am 26. Dezember 2015.The present application claims priority over the US Utility Model Application No. 14 / 757,834 entitled "ANALYSIS OF AMBIENT LIGHT FOR GAZE TRACKING", filed December 26, 2015.

ALLGEMEINER STAND DER TECHNIKGENERAL PRIOR ART

Augenverfolgungs- und Blickverfolgungstechniken werden zum Bestimmen der Blickrichtung einer Person (d. h. der Richtung, in die die Person schaut) auf Grundlage von erfassten Bildern benutzt. Dabei kann eine breitgefächerte Gruppe von Bildanalysetechniken eingesetzt werden. Beispielsweise können in manchen Ausführungsformen Videobilder analysiert werden, um die Ausrichtung des Kopfs einer Person und/oder die relative Position der Pupille der Person zu bestimmen. Andere übliche Blickverfolgungsverfahren greifen auf die Messung von Reflexionen einer bekannten Infrarot- (IR-) Lichtquelle auf der Augenhornhaut der Person, die verfolgt wird, zurück. Derartige Techniken beinhalten im Allgemeinen eine dedizierte IR-Kamera (beispielsweise IR-Projektor und -sensor), die erhebliche Kosten und/oder eine große Stellfläche auf einem mobilen Rechengerät erfordern kann.Eye tracking and gaze tracking techniques are used to determine the gaze direction of a person (i.e., the direction in which the person is looking) based on captured images. A broad group of image analysis techniques can be used. For example, in some embodiments, video images may be analyzed to determine the orientation of a person's head and / or the relative position of the subject's pupil. Other common gaze tracking techniques rely on the measurement of reflections from a known infrared (IR) light source on the cornea of the person being tracked. Such techniques generally include a dedicated IR camera (eg, IR projector and sensor) that may require significant costs and / or a large footprint on a mobile computing device.

Figurenlistelist of figures

Die hierin beschriebenen Konzepte sind beispielhaft und nichteinschränkend in den beiliegenden Figuren beschrieben. Der Einfachheit und Deutlichkeit der Darstellung halber sind in den Figuren dargestellte Elemente nicht notwendigerweise maßstabsgetreu. Wo es angebracht erschien, wurden Bezugszeichen in den Figuren wiederholt, um entsprechende oder analoge Elemente anzuzeigen. Es zeigen:

  • 1 ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform eines mobilen Rechengeräts zur Blickverfolgung durch Umgebungslicht;
  • 2 ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform einer Umgebung des mobilen Rechengeräts von 1;
  • 3 - 4 ein vereinfachtes Ablaufdiagramm von mindestens einer Ausführungsform eines Verfahrens zur Blickverfolgung durch Umgebungslicht, das durch das mobile Rechengerät von 1 ausgeführt werden kann;
  • 5 ein veranschaulichendes Bild einer realen Umgebung, das durch eine der Umgebung zugewandte Kamera des mobilen Rechengeräts von 1 erfasst ist;
  • 6 ein veranschaulichendes Bild eines Benutzers, das durch eine dem Benutzer zugewandte Kamera des mobilen Rechengeräts von 1 erfasst ist; und
  • 7 eine Nahansicht des Auges des Benutzers, die im veranschaulichenden Bild von 6 erfasst ist.
The concepts described herein are exemplary and not limiting in the accompanying figures. For simplicity and clarity of illustration, elements shown in the figures are not necessarily to scale. Where appropriate, reference numerals have been repeated in the figures to indicate corresponding or analogous elements. Show it:
  • 1 a simplified block diagram of at least one embodiment of a mobile computing device for observing by ambient light;
  • 2 a simplified block diagram of at least one embodiment of an environment of the mobile computing device of 1 ;
  • 3 - 4 5 is a simplified flowchart of at least one embodiment of an ambient light tracking method performed by the mobile computing device of FIG 1 can be executed;
  • 5 an illustrative image of a real-world environment passing through an environment-facing camera of the mobile computing device of FIG 1 is recorded;
  • 6 an illustrative image of a user through a user-facing camera of the mobile computing device of 1 is recorded; and
  • 7 a close-up view of the user's eye, shown in the illustrative image of 6 is detected.

DETAILLIERTE BESCHREIBUNG DER ZEICHNUNGENDETAILED DESCRIPTION OF THE DRAWINGS

Während die Konzepte der vorliegenden Offenbarung für verschiedene Modifikationen und alternative Ausgestaltungen empfänglich sind, sind spezifische Ausführungsformen davon beispielhaft in den Zeichnungen gezeigt und werden hierin detailliert beschrieben. Es versteht sich jedoch, dass keine Absicht besteht, die Konzepte der vorliegenden Offenbarung auf die bestimmten offenbarten Ausgestaltungen zu beschränken, sondern dass beabsichtigt ist, alle Modifikationen, Äquivalente und Alternativen abzudecken, die mit der vorliegenden Offenbarung und den beiliegenden Ansprüchen konsistent sind.While the concepts of the present disclosure are susceptible to various modifications and alternative embodiments, specific embodiments thereof are shown by way of example in the drawings and will be described in detail herein. However, it should be understood that it is not intended to limit the concepts of the present disclosure to the particular forms disclosed, but that it is intended to cover all modifications, equivalents and alternatives consistent with the present disclosure and the appended claims.

Bezugnahmen in der Schrift auf „eine Ausführungsform“, „eine veranschaulichende Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein/e besondere/s Merkmal, Struktur oder Kennzeichen enthalten kann, wobei jedoch jede Ausführungsform diese/s besondere Merkmal, Struktur oder Kennzeichen enthalten oder nicht notwendigerweise enthalten kann. Zudem beziehen sich derartige Ausdrücke nicht notwendigerweise auf dieselbe Ausführungsform. Ferner wird vorgebracht, dass, wenn ein/e besondere/s Merkmal, Struktur oder Kennzeichen in Verbindung mit einer Ausführungsform beschrieben ist, es innerhalb des Wissens des Fachmanns liegt, ein/e derartige/s Merkmal, Struktur oder Kennzeichen in Verbindung mit anderen Ausführungsformen auszuführen, ob ausdrücklich beschrieben oder nicht. Zusätzlich ist zu beachten, dass Elemente, die in einer Auflistung in der Form von „mindestens ein A, B und C“ enthalten sind, folgendes bedeuten können: (A), (B), (C), (A und B), (B und C), (A und C) oder (A, B und C). Gleicherweise können Elemente, die in der Form von „mindestens eines von A, B und C“ aufgelistet sind, (A), (B), (C), (A und B), (B und C), (A und C) oder (A, B und C) bedeuten.References in the specification to "one embodiment", "an illustrative embodiment", etc., indicate that the described embodiment may include a particular feature, structure or mark, but each embodiment has this particular feature, structure or feature Contains or may not necessarily contain license plates. In addition, such terms do not necessarily refer to the same embodiment. It is further claimed that, when a particular feature, structure, or characteristic is described in connection with one embodiment, it is within the skill of those in the art to provide such a feature, structure, or mark in conjunction with other embodiments to perform, whether expressly described or not. In addition, it should be noted that elements included in a listing in the form of "at least one of A, B and C" may mean: (A), (B), (C), (A and B), (B and C), (A and C) or (A, B and C). Likewise, elements listed in the form of "at least one of A, B and C" can be (A), (B), (C), (A and B), (B and C), (A and C ) or (A, B and C).

Die offenbarten Ausführungsformen können in manchen Fällen in Hardware, Firmware, Software oder jeglicher Kombination davon implementiert sein. Die offenbarten Ausführungsformen können außerdem als Befehle implementiert sein, die auf einem oder mehreren flüchtigen oder nichtflüchtigen, maschinenlesbaren (beispielsweise computerlesbaren) Speichermedien gespeichert oder enthalten sind, welche durch einen oder mehrere Prozessoren ausgelesen und ausgeführt werden können. Ein maschinenlesbares Speichermedium kann als jegliche/r/s Speichergerät, -mechanismus oder andere physikalische Struktur zum Speichern oder Übertragen von Information in einer Form, die durch eine Maschine lesbar ist, ausgeführt sein (beispielsweise flüchtiger oder nichtflüchtiger Speicher, eine Medienplatte oder ein anderes Mediengerät).The disclosed embodiments may in some cases be implemented in hardware, firmware, software, or any combination thereof. The disclosed embodiments may also be implemented as instructions stored or contained on one or more volatile or non-transitory machine-readable (eg, computer readable) storage media that may be read and executed by one or more processors. A machine-readable storage medium can be used as any storage device, mechanism, or other physical structure for storing or transmitting information in a form readable by a machine (e.g., volatile or nonvolatile memory, a media disk, or other media device).

In den Zeichnungen können manche strukturellen oder Verfahrensmerkmale in spezifischen Anordnungen und/oder Ordnungen gezeigt sein. Es ist jedoch zu beachten, dass derartige spezifische Anordnungen und/oder Ordnungen nicht erforderlich sein könnten. Stattdessen können derartige Merkmale in manchen Ausführungsformen auf andere Art und Weise und/oder in anderer Ordnung angeordnet sein, als in den veranschaulichenden Figuren gezeigt. Zudem soll die Einbeziehung eines strukturellen oder Verfahrensmerkmals in eine bestimmte Figur nicht bedeuten, dass ein derartiges Merkmal in allen Ausführungsformen erforderlich ist und in manchen Ausführungsformen nicht enthalten sein könnte oder mit anderen Merkmalen kombiniert sein könnte.In the drawings, some structural or process features may be shown in specific arrangements and / or orders. It should be understood, however, that such specific arrangements and / or orders may not be required. Instead, in some embodiments, such features may be arranged in a different manner and / or order than shown in the illustrative figures. In addition, the inclusion of a structural or procedural feature in a particular figure is not intended to imply that such a feature is required in all embodiments and may not be included in some embodiments or combined with other features.

Unter Bezugnahme auf 1 ist ein mobiles Rechengerät 100 zur Blickverfolgung durch Umgebungslicht gezeigt. Im Gebrauch, wie unten detaillierter beschrieben, ist das mobile Rechengerät 100 zum Erfassen eines Bilds eines Benutzers des mobilen Rechengeräts 100 und eines Bilds einer realen Umgebung des mobilen Rechengeräts 100 konfiguriert. Das mobile Rechengerät 100 analysiert ferner das erfasste Bild der realen Umgebung, um den physischen Standort einer Lichtquelle zu bestimmen, die Umgebungslicht aussendet, welches für das mobile Rechengerät 100 sichtbar ist (beispielsweise nicht verdeckt und stark genug). Ferner analysiert das mobile Rechengerät 100 in der veranschaulichenden Ausführungsform das erfasste Bild des Benutzers, um Hornhautreflexionen (d. h. Schimmern) in einem Auge des Benutzers zu identifizieren und zu bestimmen, welcher Lichtquelle jede Hornhautreflexion entspricht (beispielsweise eine Reflexion einer Lichtquelle, die im realen Bild erfasst ist, eine Reflexion eines Bilds, das auf einer Anzeige des mobilen Rechengeräts 100 angezeigt ist, usw.), und führt Blickverfolgung auf Grundlage dieser Bestimmungen aus.With reference to 1 is a mobile computing device 100 shown for tracking by ambient light. In use, as described in more detail below, is the mobile computing device 100 for capturing an image of a user of the mobile computing device 100 and an image of a real environment of the mobile computing device 100 configured. The mobile computing device 100 also analyzes the captured image of the real environment to determine the physical location of a light source that emits ambient light, which is for the mobile computing device 100 is visible (for example, not covered and strong enough). Furthermore, the mobile computing device analyzes 100 in the illustrative embodiment, the captured image of the user to identify corneal reflections (ie, glints) in an eye of the user and to determine which light source corresponds to each corneal reflection (eg, a reflection of a light source detected in the real image, a reflection of an image pointing to a display of the mobile computing device 100 is displayed, etc.), and performs eye tracking based on these provisions.

Das mobile Rechengerät 100 kann als jegliche Art von Rechengerät ausgeführt sein, das zum Ausführen der hierin beschriebenen Funktionen imstande ist. Beispielsweise kann das mobile Rechengerät 100 als Smartphone, Mobiltelefon, tragbares Rechengerät, Personal Digital Assistant, mobiles Internetgerät, Tablet-Computer, Netbook, Notebook, Ultrabook™, Laptop-Computer und/oder jegliches andere mobile Rechen-/Kommunikationsgerät ausgeführt sein. Obgleich das mobile Rechengerät 100 hierin als mobil in der veranschaulichenden Ausführungsform beschrieben ist, ist zu beachten, dass das mobile Rechengerät 100 in anderen Ausführungsformen als unbewegliches Rechengerät (beispielsweise Desktop-Computer) ausgeführt sein kann. Wie in 1 gezeigt, enthält das mobile Rechengerät 100 einen Prozessor 110, ein Eingabe/Ausgabe- („E/A-“) Subsystem 112, einen Speicher 114, einen Datenspeicher 116, Kommunikationsschaltungen 118, ein Kamerasystem 120 und eine Anzeige 122. Ferner kann das mobile Rechengerät 100 in manchen Ausführungsformen einen oder mehrere Sensoren 124 enthalten. Natürlich kann das mobile Rechengerät 100 in anderen Ausführungsformen andere oder zusätzliche Komponenten enthalten, wie etwa jene, die typischerweise in einem typischen Rechengerät zu finden sind (beispielsweise verschiedene Eingabe/Ausgabegeräte und/oder andere Komponenten). Zudem können in manchen Ausführungsformen eine oder mehrere der veranschaulichenden Komponenten in einer anderen Komponente integriert sein oder anderweitig einen Abschnitt davon ausbilden. Beispielsweise kann der Speicher 114 oder ein Abschnitt davon in manchen Ausführungsformen im Prozessor 110 eingegliedert sein.The mobile computing device 100 may be embodied as any type of computing device capable of performing the functions described herein. For example, the mobile computing device 100 be implemented as a smartphone, mobile phone, portable computing device, personal digital assistant, mobile Internet device, tablet computer, netbook, notebook, Ultrabook ™, laptop computer and / or any other mobile computing / communication device. Although the mobile computing device 100 is described herein as mobile in the illustrative embodiment, it should be noted that the mobile computing device 100 may be implemented in other embodiments as a stationary computing device (for example, desktop computer). As in 1 shown, contains the mobile computing device 100 a processor 110 , an input / output ("I / O") subsystem 112 , a store 114 , a data store 116 , Communication circuits 118 , a camera system 120 and a display 122. Further, the mobile computing device may 100 in some embodiments, one or more sensors 124 contain. Of course, the mobile computing device 100 in other embodiments, include other or additional components, such as those typically found in a typical computing device (eg, various input / output devices and / or other components). Additionally, in some embodiments, one or more of the illustrative components may be integrated with or otherwise form a portion of another component. For example, the memory 114 or a portion thereof may be incorporated into the processor 110 in some embodiments.

Der Prozessor 110 kann als jegliche Art von Prozessor ausgeführt sein, der zum Ausführen der hierin beschriebenen Funktionen imstande ist. Beispielsweise kann der Prozessor 110 als Einzel- oder Mehrkernprozessor(en), Digitalsignalprozessor, Mikrosteuerung oder anderer Prozessor oder Verarbeitungs-/Steuerschaltung ausgeführt sein. Gleicherweise kann der Speicher 114 als jegliche Art von flüchtigem oder nichtflüchtigem Speicher oder Datenspeicher ausgeführt sein, der zum Ausführen der hierin beschriebenen Funktionen imstande ist. Im Gebrauch kann der Speicher 114 verschiedene Daten und Software speichern, die während des Betriebs des mobilen Rechengeräts 100 benutzt werden, wie etwa Betriebssysteme, Anwendungen, Programme, Bibliotheken und Treiber. Der Speicher 114 ist kommunikativ an den Prozessor 110 über das E/A-Subsystem 112 gekoppelt, das als Schaltungen und/oder Komponenten zum Ermöglichen von Ein-/Ausgabevorgängen mit dem Prozessor 110, dem Speicher 114 und anderen Komponenten des mobilen Rechengeräts 100 ausgeführt sein kann. Beispielsweise kann das E/A-Subsystem 112 als Speichersteuerungshubs, Ein-/Ausgabesteuerhubs, Firmware-Geräte, Kommunikationsverknüpfungen (d. h. Punkt-zu-Punkt-Verknüpfungen, Busverknüpfungen, Drähte, Kabel, Lichtleiter, Leiterplattenbahnen usw.) und/oder andere Komponenten und Subsysteme zum Ermöglichen der Ein-/Ausgabevorgänge ausgeführt sein oder diese enthalten. In manchen Ausführungsformen kann das E/A-Subsystem 112 einen Abschnitt eines System-on-a-Chip (SoC) ausbilden und zusammen mit dem Prozessor 110, dem Speicher 114 und anderen Komponenten des mobilen Rechengeräts 100 auf einem einzelnen integrierten Schaltungschip eingegliedert sein.The processor 110 may be embodied as any type of processor capable of performing the functions described herein. For example, the processor 110 may be implemented as a single or multi-core processor (s), digital signal processor, microcontroller, or other processor or processing / control circuitry. Likewise, the memory can 114 be embodied as any type of volatile or nonvolatile memory or data memory capable of performing the functions described herein. In use, the memory can 114 store various data and software during operation of the mobile computing device 100 such as operating systems, applications, programs, libraries and drivers. The memory 114 is communicative to the processor 110 coupled via the I / O subsystem 112, which may be used as circuits and / or components to facilitate I / O operations with the processor 110 the store 114 and other components of the mobile computing device 100 can be executed. For example, the I / O subsystem 112 may be memory control hubs, I / O control headers, firmware devices, communications links (ie, point-to-point links, bus links, wires, cables, optical fibers, PCB tracks, etc.) and / or other components and components Subsystems for enabling the I / O operations are executed or contain. In some embodiments, the I / O subsystem 112 may form a portion of a system-on-a-chip (SoC) and along with the processor 110 the store 114 and other components of the mobile computing device 100 be incorporated on a single integrated circuit chip.

Der Datenspeicher 116 kann als jegliche Art von Gerät oder Geräten ausgeführt sein, das/die zum kurzfristigen oder langfristigen Speichern von Daten konfiguriert ist/sind, wie etwa beispielsweise Speichergeräte und -schaltungen, Speicherkarten, Festplattenlaufwerke, Festkörperlaufwerke oder andere Datenspeichergeräte. Der Datenspeicher 116 und/oder der Speicher 114 können verschiedene Daten während des Betriebs des mobilen Rechengeräts 100 speichern, wie hierin beschrieben. The data store 116 may be embodied as any type of device or devices configured to store data in the short or long term, such as, for example, storage devices and circuits, memory cards, hard disk drives, solid state drives, or other data storage devices. The data store 116 and / or the memory 114 can be different data during the operation of the mobile computing device 100 store as described herein.

Die Kommunikationsschaltungen 118 können als jegliche/s Schaltung, Gerät oder Zusammenstellung davon ausgeführt sein, die/das zum Ermöglichen von Kommunikationen zwischen dem mobilen Rechengerät 100 und anderen entfernten Geräten über ein Netzwerk (nicht gezeigt) imstande ist. Beispielsweise kann das mobile Rechengerät 100 in manchen Ausführungsformen eine oder mehrere der hierin beschriebenen Funktionen auf ein entlegenes Rechengerät abladen. Die Kommunikationsschaltungen 118 können zum Verwenden von einer oder mehreren Kommunikationstechnologien (beispielsweise verdrahtete oder drahtlose Kommunikationen) und zugehörigen Protokollen (beispielsweise Ethernet, Bluetooth®, Wi-Fi®, WiMAX, LTE, 5G usw.) zum Durchführen derartiger Kommunikation konfiguriert sein.The communication circuits 118 may be embodied as any circuit, device, or compilation thereof, for facilitating communications between the mobile computing device 100 and other remote devices via a network (not shown). For example, in some embodiments, the mobile computing device 100 may offload one or more of the functions described herein to a remote computing device. The communication circuits 118 may be configured to use one or more communication technologies (eg, wired or wireless communications) and associated protocols (eg, Ethernet, Bluetooth®, Wi-Fi®, WiMAX, LTE, 5G, etc.) to perform such communication.

Das Kamerasystem 120 enthält mehrere Kameras, die zum Erfassen von Bildern oder Video (d. h. Zusammenstellungen von Bildern oder Frames) konfiguriert sind und zum Ausführen der hierin beschriebenen Funktionen imstande sind. Es ist zu beachten, dass jede der Kameras des Kamerasystems 120 als jegliches periphere oder integrierte Gerät ausgeführt sein kann, das zum Erfassen von Bildern geeignet ist, wie etwa eine Standbildkamera, eine Videokamera oder ein anderes Gerät, das zum Erfassen von Video und/oder Bildern imstande ist. In der veranschaulichenden Ausführungsform enthält das Kamerasystem 120 eine dem Benutzer zugewandte Kamera 126 und eine der Umgebung zugewandte Kamera 128. Abhängig von der bestimmten Ausführungsform kann jede der dem Benutzer zugewandten Kamera 126, der Umgebung zugewandten Kamera 128 und/oder andere Kameras des Kamerasystems 120 als eine zweidimensionale (2D-) Kamera (beispielsweise eine RGB-Kamera) oder eine dreidimensionale (3D-) Kamera ausgeführt sein. Derartige 3D-Kameras beinhalten beispielsweise Tiefenkameras, Bifokalkameras und/oder Kameras, die ansonsten zum Erzeugen eines Tiefenbilds, Kanals oder Stroms imstande sind. In einer anderen Ausführungsform enthalten eine oder mehrere der Kameras des Kamerasystems 120 mindestens zwei Linsen und entsprechende Sensoren, die zum Erfassen von Bildern aus mindestens zwei Blickwinkeln einer Szene konfiguriert sind (beispielsweise eine Stereokamera).The camera system 120 contains several cameras configured to capture images or video (ie, compilations of images or frames) capable of performing the functions described herein. It should be noted that each of the cameras of the camera system 120 may be implemented as any peripheral or integrated device capable of capturing images, such as a still camera, a video camera, or other device capable of capturing video and / or images. In the illustrative embodiment, the camera system includes 120 a user-facing camera 126 and an environment facing camera 128 , Depending on the particular embodiment, each of the camera facing the user may 126 , the environment facing camera 128 and / or other cameras of the camera system 120 as a two-dimensional ( 2D -) Camera (for example, an RGB camera) or a three-dimensional ( 3D -) Camera be executed. Such 3D cameras include, for example, depth cameras, bi-color cameras, and / or cameras that are otherwise capable of producing a depth image, channel, or stream. In another embodiment, one or more of the cameras of the camera system include 120 at least two lenses and corresponding sensors configured to capture images from at least two viewing angles of a scene (eg, a stereo camera).

Wie unten detaillierter beschrieben, ist die dem Benutzer zugewandte Kamera 126 zum Erfassen von Bildern des Benutzers des mobilen Rechengeräts 100 konfiguriert. Insbesondere erfasst die dem Benutzer zugewandte Kamera 126 Bilder des Gesichts des Benutzers, die analysiert werden können, um die Lage des Auges (der Augen) des Benutzers bezüglich des mobilen Rechengeräts 100 (beispielsweise bezüglich der dem Benutzer zugewandte Kamera 126, bezüglich der Anzeige 122 und/oder eines anderen Referenzpunkts des mobilen Rechengeräts 100) zu bestimmen. Die der Umgebung zugewandte Kamera 128 erfasst Bilder der realen Umgebung des mobilen Rechengeräts 100. In der veranschaulichenden Ausführungsform sind die dem Benutzer zugewandte Kamera 126 und die der Umgebung zugewandte Kamera 128 auf gegenüberliegenden Seiten des mobilen Rechengeräts 100 angeordnet und weisen daher Sichtfelder in entgegengesetzten Richtungen auf. Insbesondere ist in der veranschaulichenden Ausführungsform die dem Benutzer zugewandte Kamera 126 auf derselben Seite des mobilen Rechengeräts 100 wie die Anzeige 122, sodass die dem Benutzer zugewandte Kamera 126 Bilder des Benutzers erfassen kann, während er die Anzeige 122 sieht und ein angezeigtes Bild im Auge des Benutzers reflektiert sein kann.As described in greater detail below, the user-facing camera 126 is for capturing images of the user of the mobile computing device 100 configured. In particular, the camera facing the user detects 126 Images of the user's face that can be analyzed for the location of the user's eye (s) relative to the mobile computing device 100 (For example, with respect to the user-facing camera 126 , regarding the ad 122 and / or another reference point of the mobile computing device 100 ). The camera facing the environment 128 captures images of the real environment of the mobile computing device 100 , In the illustrative embodiment, the user facing camera 126 and the camera facing the environment 128 on opposite sides of the mobile computing device 100 arranged and therefore have fields of view in opposite directions. In particular, in the illustrative embodiment, the camera facing the user 126 on the same side of the mobile computing device 100 like the ad 122 so that the camera facing the user 126 Capture images of the user while viewing the ad 122 looks and a displayed image may be reflected in the user's eye.

Die Anzeige 122 des mobilen Rechengeräts 100 kann als jegliche Art von Anzeige ausgeführt sein, auf der einem Benutzer des mobilen Rechengeräts 100 Informationen angezeigt werden können. Ferner kann die Anzeige 122 als jegliche geeignete Anzeigentechnologie ausgeführt sein oder andernfalls solche verwenden, darunter beispielsweise eine Flüssigkristallanzeige (LCD), eine Leuchtdioden- (LED-) Anzeige, eine Kathodenstrahlröhren- (CRT-) Anzeige, eine Plasmaanzeige, eine Touchscreen-Anzeige und/oder eine andere Anzeigentechnologie. Auch wenn in der veranschaulichenden Ausführungsform von 1 nur eine Anzeige 122 gezeigt ist, kann das mobile Rechengerät 100 in anderen Ausführungsformen mehrere Anzeigen 122 enthalten.The ad 122 of the mobile computing device 100 may be implemented as any type of display on which a user of the mobile computing device 100 Information can be displayed. Furthermore, the display 122 may be embodied as, or otherwise employ, any suitable display technology including, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, a cathode ray tube (CRT) display, a plasma display, a touch screen display, and / or other display technology , Although in the illustrative embodiment of FIG 1 only one ad 122 In other embodiments, the mobile computing device 100 may have multiple displays 122 contain.

Wie in 1 gezeigt, kann das mobile Rechengerät 100 einen oder mehrere Sensoren 124 enthalten, die zum Erzeugen von Daten/Signalen konfiguriert sind, welche eine Umgebung oder einen Kontext des mobilen Rechengeräts 100 und/oder Benutzer des mobilen Rechengeräts 100 anzeigen. In verschiedenen Ausführungsformen können die Sensoren 124 beispielsweise als Trägheitssensoren, Positionssensoren, Ortsbestimmungssensoren, Näherungssensoren, optische Sensoren, Lichtsensoren, Audiosensoren, Temperatursensoren, Bewegungssensoren, Piezoelektriksensoren und/oder andere Arten von Sensoren ausgeführt sein oder diese andernfalls beinhalten. Natürlich kann das mobile Rechengerät 100 außerdem Komponenten und/oder Geräte enthalten, die zum Ermöglichen der Benutzung des Sensors (der Sensoren) 124 konfiguriert sind.As in 1 shown, the mobile computing device 100 one or more sensors 124 configured to generate data / signals representing an environment or context of the mobile computing device 100 and / or users of the mobile computing device 100 Show. In various embodiments, the sensors 124 For example, as inertial sensors, position sensors, location sensors, proximity sensors, optical sensors, light sensors, audio sensors, temperature sensors, motion sensors, piezoelectric sensors and / or other types of sensors or otherwise include this include. Of course, the mobile computing device 100 also components and / or devices configured to enable the use of the sensor (s) 124.

Unter Bezugnahme auf 2 stellt das mobile Rechengerät 100 eine Umgebung 200 zur Blickverfolgung durch Umgebungslicht her. Die veranschaulichende Umgebung 200 enthält ein Lichtanalysemodul 202, ein Augenanalysemodul 204, ein Blickverfolgungsmodul 206 und ein Anzeigemodul 208. Zudem enthält das Augenanalysemodul 204 in der veranschaulichenden Ausführungsform ein Reflexionsauffindungsmodul 210 und ein Pupillenauffindungsmodul 212. Die verschiedenen Module der Umgebung 200 können als Hardware, Software, Firmware oder eine Kombination davon ausgeführt sein. Beispielsweise können die verschiedenen Module, Logik und andere Komponenten der Umgebung 200 einen Abschnitt des Prozessors 110 oder anderer Hardwarekomponenten des mobilen Rechengeräts 100 ausbilden oder anderweitig durch diese hergestellt sein. Von daher können ein oder mehrere der Module der Umgebung 200 in manchen Ausführungsformen als Schaltungen oder Zusammenstellung von elektrischen Geräten (beispielsweise Lichtanalyseschaltungen, Augenanalyseschaltungen, Blickverfolgungsschaltungen, Anzeigenschaltungen, Reflexionsauffindungsschaltungen und/oder Pupillenauffindungsschaltungen) ausgeführt sein. Zudem können eines oder mehrere der veranschaulichenden Module in manchen Ausführungsformen einen Abschnitt eines anderen Moduls ausbilden, und/oder eines oder mehrere der veranschaulichenden Module können unabhängig voneinander sein.With reference to 2 represents the mobile computing device 100 an environment 200 for eye tracking by ambient light ago. The illustrative environment 200 contains a light analysis module 202 , an eye analysis module 204 , a look-behind module 206 and a display module 208 , It also contains the eye analysis module 204 in the illustrative embodiment, a reflection detection module 210 and a pupil retrieval module 212 , The different modules of the environment 200 may be implemented as hardware, software, firmware or a combination thereof. For example, the various modules, logic and other components of the environment 200 a section of the processor 110 or other hardware components of the mobile computing device 100 train or otherwise be made by them. Therefore, one or more of the modules may be the environment 200 in some embodiments, as circuits or assemblies of electrical devices (eg, light analysis circuits, eye analysis circuits, gaze tracking circuits, display circuits, reflection detection circuits, and / or pupil detection circuits). In addition, in some embodiments, one or more of the illustrative modules may form a portion of another module, and / or one or more of the illustrative modules may be independent of each other.

Das Lichtanalysemodul 202 ist dazu konfiguriert, ein oder mehrere Bilder der realen Umgebung, die durch die der Umgebung zugewandten Kamera 128 erfasst werden, zu analysieren, um die physikalische Lage von einer oder mehreren Lichtquellen (beispielsweise eine Lampe, ein Deckenlicht, ein Fernseher, eine Anzeige usw.), die Umgebungslicht aussendet, bezüglich des mobilen Rechengeräts 100 zu bestimmen. Wie unten beschrieben kann das Lichtanalysemodul 202 dabei die Bildlage (beispielsweise Pixel/Bereich in einem erfassten Bild) der einen oder mehreren Lichtquellen im erfassten Bild bestimmen und die Richtung der Lichtquelle(n) bezüglich des mobilen Rechengeräts 100 auf Grundlage der Bildlage bestimmen. Beispielsweise kann das Lichtanalysemodul 202 in manchen Ausführungsformen einen Bereich (Bereiche) des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich der umgebenden Bildbereiche identifizieren. Wie unten detaillierter beschrieben, kann das Lichtanalysemodul 202 mehrfache Bilder derselben Lichtquelle (beispielsweise aus verschiedenen Perspektiven) analysieren und/oder Triangulationstechniken nutzen, um die physikalische Lage dieser Lichtquelle bezüglich des mobilen Rechengeräts 100 zu bestimmen.The light analysis module 202 is configured to take one or more images of the real environment through the camera facing the environment 128 be detected to analyze the physical location of one or more light sources (eg, a lamp, a ceiling light, a television, a display, etc.) emitting ambient light with respect to the mobile computing device 100 to determine. As described below, the light analysis module 202 thereby determining the image position (for example, pixel / area in a captured image) of the one or more light sources in the captured image and the direction of the light source (s) relative to the mobile computing device 100 determine on the basis of the image position. For example, the light analysis module 202 in some embodiments, identify a region (regions) of the captured image having high intensity and / or high contrast pixel values with respect to the surrounding image regions. As described in more detail below, the light analysis module 202 analyze multiple images of the same light source (for example, from different perspectives) and / or use triangulation techniques to determine the physical location of that light source relative to the mobile computing device 100 to determine.

Das Augenanalysemodul 204 ist zum Analysieren von einem oder mehreren Bildern des Benutzers konfiguriert, die durch die dem Benutzer zugewandte Kamera 126 erfasst werden. Wie oben angegeben, enthält das Augenanalysemodul 204 in der veranschaulichenden Ausführungsform das Reflexionsauffindungsmodul 210 und das Pupillenauffindungsmodul 212. Das Reflexionsauffindungsmodul 210 ist zum Analysieren eines erfassten Bilds des Benutzers zum Identifizieren des Auges des Benutzers im erfassten Bild und insbesondere zum Identifizieren der Hornhautreflexionen im Auge des Benutzers konfiguriert. Beispielsweise kann das Reflexionsauffindungsmodul 210 die Bildlage im erfassten Bild bestimmen, in der Reflexionen des Umgebungslichts von der Lichtquelle (den Lichtquellen) und/oder angezeigte Bilder auf der Anzeige 122 auf der Augenhornhaut des Benutzers sichtbar sind. Wie hierin beschrieben, können die Hornhautreflexionen in manchen Ausführungsformen als Bereiche des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich umgebender Bildbereiche identifiziert werden. Ferner ist das Reflexionsauffindungsmodul 210 in der veranschaulichenden Ausführungsform zum Bestimmen konfiguriert, welcher Lichtquelle jede Hornhautreflexion entspricht (beispielsweise eine Reflexion einer Lichtquelle, die im realen Bild erfasst ist, eine Reflexion eines Bilds, das auf der Anzeige 122 angezeigt ist, usw.). In manchen Ausführungsformen kann das Reflexionsauffindungsmodul 210 dazu eine oder mehrere der Hornhautreflexionen mit der Lichtquelle oder dem angezeigten Bild auf Grundlage bekannter Kennzeichen der Lichtquelle oder des erfassten Bilds (beispielsweise Größe, Farbe, Form usw.) abgleichen. Das Pupillenauffindungsmodul 212 ist zum Analysieren des Bilds des Auges des Benutzers konfiguriert, um die Bildlage der Pupille des Benutzers oder insbesondere des Rands der Pupille des Benutzers zu bestimmen.The eye analysis module 204 is configured to analyze one or more images of the user that the user facing camera 126 be recorded. As stated above, the eye analysis module contains 204 in the illustrative embodiment, the reflection detection module 210 and the pupil detection module 212. The reflection detection module 210 is configured to analyze a captured image of the user to identify the user's eye in the captured image, and in particular to identify the corneal reflections in the user's eye. For example, the reflection detection module 210 determine the position of the image in the captured image, in the reflections of the ambient light from the light source (s) and / or displayed images on the display 122 visible on the user's cornea. As described herein, in some embodiments, the corneal reflections may be identified as regions of the captured image having high power and / or high contrast pixel values with respect to surrounding image areas. Further, the reflection retrieval module 210 in the illustrative embodiment, for determining which light source corresponds to each corneal reflection (for example, a reflection of a light source detected in the real image, a reflection of an image displayed on the display 122 is displayed, etc.). In some embodiments, the reflection detection module 210 to match one or more of the corneal reflections with the light source or the displayed image based on known characteristics of the light source or captured image (eg, size, color, shape, etc.). The pupil retrieval module 212 is configured to analyze the image of the user's eye to determine the image position of the pupil of the user or, in particular, the edge of the pupil of the user.

Das Blickverfolgungsmodul 206 ist zum Ausführen von Blickverfolgung (d. h. Überwachen der Blickrichtung des Benutzers) auf Grundlage der bestimmten Entsprechungen konfiguriert. In manchen Ausführungsformen basiert die Blickverfolgung ferner auf dem Rand der Pupille des Benutzers. Es ist zu beachten, dass das Blickverfolgungsmodul 206 jegliche geeigneten Techniken, Algorithmen und/oder Mechanismen zum Ausführen von Blickverfolgung nutzen kann, die mit den hierin beschriebenen Techniken konsistent sind.The eye tracking module 206 is configured to perform gaze tracking (ie, monitor the gaze direction of the user) based on the determined correspondences. In some embodiments, the gaze tracking is further based on the edge of the user's pupil. It should be noted that the gaze tracking module 206 may utilize any suitable techniques, algorithms, and / or mechanisms for performing gaze tracking that are consistent with the techniques described herein.

Das Anzeigemodul 208 gibt Bilder auf der Anzeige 122 für den Benutzer des mobilen Rechengeräts 100 zur Ansicht wieder. In manchen Ausführungsformen kann die Anzeige 122 als zusätzliche Lichtquelle zum Durchführen der hierin beschriebenen Analyse benutzt werden. Ferner kann in manchen Ausführungsformen die relative Stärke des (der) angezeigten Bilds (Bilder) im Voraus berechnet oder bestimmt sein, um die Hornhautreflexionen auf dem Auge des Benutzers zu unterscheiden und die richtigen Entsprechungen zwischen den Reflexionen und den Lichtquellen zu bestimmen. Beispielsweise würde ein blaues Licht mit hoher Stärke, das auf der Anzeige 122 angezeigt ist, gleicherweise auf der Augenhornhaut des Benutzers reflektiert werden (d. h. als blaues Licht mit hoher Stärke).The display module 208 gives pictures on the display 122 for the user of the mobile computing device 100 to view again. In some embodiments, the display 122 as an additional light source for performing the herein described analysis are used. Further, in some embodiments, the relative strength of the displayed image (s) (images) may be pre-calculated or determined to distinguish the corneal reflections on the user's eye and to determine the proper correspondences between the reflections and the light sources. For example, a high intensity blue light would appear on the display 122 is also reflected on the cornea of the user (ie as high intensity blue light).

Unter Bezugnahme auf 3 kann das mobile Rechengerät 100 ein Verfahren 300 zur Blickverfolgung durch Umgebungslicht ausführen. Das veranschaulichende Verfahren 300 beginnt mit Block 302, wobei das mobile Rechengerät 100 mehrere Bilder mit dem Kamerasystem 120 erfasst. Dabei erfasst das mobile Rechengerät 100 in Block 304 ein oder mehrere Bilder der realen Umgebung mit der der Umgebung zugewandten Kamera 128. Wie hierin beschrieben kann die reale Umgebung eine oder mehrere Umgebungslichtquellen enthalten, die für das mobile Rechengerät 100 sichtbar sind und zur Blickverfolgung benutzt werden können. Beispielsweise stellt, wie in 5 gezeigt, ein veranschaulichendes erfasstes Bild 500 der realen Umgebung eine Lichtquelle 502 dar. Wie unten beschrieben kann das mobile Rechengerät 100 in manchen Ausführungsformen mehrere Bilder der realen Umgebung (beispielsweise mit derselben Kamera 128 oder mehreren Kameras 128) zur Analyse beim Bestimmen der physikalischen Lage der Lichtquelle (beispielsweise der Lichtquelle 502) bezüglich des mobilen Rechengeräts 100 erfassen. In Block 306 erfasst das mobile Rechengerät 100 ein oder mehrere Bilder des Gesichts des Benutzers mit der dem Benutzer zugewandten Kamera 126 (siehe beispielsweise ein veranschaulichendes erfasstes Bild 600, wie in 6 gezeigt).With reference to 3 can the mobile computing device 100 perform a method 300 for tracking by ambient light. The illustrative method 300 begins with block 302 , where the mobile computing device 100 several pictures with the camera system 120 detected. The mobile computing device detects this 100 in block 304 one or more images of the real environment with the camera facing the environment 128 , As described herein, the real environment may include one or more ambient light sources common to the mobile computing device 100 are visible and can be used for eye tracking. For example, as in 5 shown, an illustrative captured image 500 the real environment a light source 502 As described below, the mobile computing device 100 in some embodiments, multiple images of the real environment (for example, with the same camera 128 or multiple cameras 128 ) for analysis in determining the physical location of the light source (eg, the light source 502 ) with respect to the mobile computing device 100 to capture. In block 306 The mobile computing device 100 captures one or more images of the user's face with the camera facing the user 126 (See, for example, an illustrative captured image 600 , as in 6 shown).

In Block 308 analysiert das mobile Rechengerät 100 das Bild der realen Umgebung, um eine Lichtquelle im erfassten Bild und die Richtung der Lichtquelle bezüglich des mobilen Rechengeräts 100 (beispielsweise bezüglich eines bestimmten Referenzpunkts des mobilen Rechengeräts 100) zu identifizieren. Dabei kann das mobile Rechengerät 100 in Block 310 die Lichtquelle als einen Bereich des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich umgebenden Bildbereichen identifizieren. Beispielsweise kann eine Lichtquelle, die weißes Licht aussendet, als ein heller weißer Bereich im erfassten Bild erscheinen. In manchen Ausführungsformen kann das mobile Rechengerät 100 eine oder mehrere Kantenerkennungs- und/oder Bildsegmentierungstechniken zum Identifizieren der Lichtquelle nutzen (beispielsweise Sobel-Filter, Canny-Kantenerkennung, Pyramidensegmentierung usw.). Es ist zu beachten, dass das mobile Rechengerät 100 jegliche geeigneten Techniken, Algorithmen und/oder Mechanismen zum Bestimmen der Richtung der Lichtquelle bezüglich des mobilen Rechengeräts 100 auf Grundlage der identifizierten Bildlage der Lichtquelle im erfassten Bild nutzen kann. Beispielsweise kann das mobile Rechengerät 100 in manchen Ausführungsformen gespeicherte Koordinateninformation, Winkelinformation und/oder andere relevante Information bezüglich des Kamerasystems 120 des mobilen Rechengeräts 100 wirksam einsetzen.In block 308 analyzes the mobile computing device 100 the image of the real environment, a light source in the captured image and the direction of the light source relative to the mobile computing device 100 (For example, with respect to a particular reference point of the mobile computing device 100 ) to identify. The mobile computing device can do this 100 in block 310, identify the light source as a region of the captured image having high intensity and / or high contrast pixel values with respect to surrounding image areas. For example, a light source emitting white light may appear as a bright white area in the captured image. In some embodiments, the mobile computing device may 100 use one or more edge detection and / or image segmentation techniques to identify the light source (eg Sobel filter, Canny edge detection, pyramid segmentation, etc.). It should be noted that the mobile computing device 100 any suitable techniques, algorithms and / or mechanisms for determining the direction of the light source relative to the mobile computing device 100 based on the identified image position of the light source in the captured image can use. For example, in some embodiments, the mobile computing device 100 may store stored coordinate information, angle information, and / or other relevant information related to the camera system 120 of the mobile computing device 100 use effectively.

In Block 312 bestimmt das mobile Rechengerät 100 die physikalische Lage der Lichtquelle bezüglich des mobilen Rechengeräts 100 (oder eines anderen Referenzpunkts). Es ist zu beachten, dass das mobile Rechengerät 100 dazu jegliche geeigneten Techniken nutzen kann. Beispielsweise kann das mobile Rechengerät 100 in Block 314 die Lage der Lichtquelle auf Grundlage von Triangulation über mehrere Bilder der realen Umgebung, die die bestimmte Lichtquelle enthalten, bestimmen. Insbesondere kann das mobile Rechengerät 100 in Block 316 die physikalische Lage auf Grundlage von Bildern der Lichtquelle, die durch mehrere, der Umgebung zugewandte Kameras 128 erfasst werden, oder auf Grundlage von Bildern der Lichtquelle, die durch mehrere Linsen derselben, der Umgebung zugewandten Kamera 128 (beispielsweise eine 3D- oder Stereokamera) erfasst werden, bestimmen. In Block 318 kann das mobile Rechengerät 100 die physikalische Lage auf Grundlage von mehreren Bildern der Lichtquellen, die durch dieselbe, der Umgebung zugewandte Kamera 128 (oder mehreren, der Umgebung zugewandten Kameras 128) an verschiedenen Positionen bezüglich der Lichtquelle erfasst werden (beispielsweise zu verschiedenen Zeitpunkten erfasst), bestimmen. Beispielsweise kann die der Umgebung zugewandte Kamera 128 in manchen Ausführungsformen als Videokamera ausgeführt sein, und Bewegung der Kamera 128 kann geschätzt werden (beispielsweise aus dem Video-Stream oder Trägheitssensoren), um Triangulation über Frames auszuführen, die zu verschiedenen Zeitpunkten und in verschiedenen Lagen des mobilen Rechengeräts 100 erfasst wurden. Anders gesagt kann das mobile Rechengerät 100 die physikalische Lage der Lichtquelle auf Grundlage der Richtung der Lichtquelle bezüglich zweier verschiedener Referenzpunkte des mobilen Rechengeräts 100 bestimmen (beispielsweise über Triangulation). In anderen Ausführungsformen kann das mobile Rechengerät 100 in Block 320 den Abstand der Lichtquelle vom mobilen Rechengerät 100 als vordefinierten Abstand (beispielsweise unendlich, ein beliebig großer Abstand usw.) annähern. Es ist zu beachten, dass in manchen Ausführungsformen Abstände, die einen Schwellenabstand (beispielsweise zwei Meter) überschreiten, als der vordefinierte Abstand eingeschätzt werden können, ohne erheblichen Genauigkeitsverlust bei der Blickverfolgung zu erfahren.In block 312 determines the mobile computing device 100 the physical location of the light source relative to the mobile computing device 100 (or another reference point). It should be noted that the mobile computing device 100 to use any suitable techniques. For example, the mobile computing device 100 in block 314 determine the location of the light source based on triangulation over multiple images of the real environment containing the particular light source. In particular, the mobile computing device 100 in block 316 the physical location based on images of the light source passing through multiple cameras facing the environment 128 or based on images of the light source passing through multiple lenses of the same, the environment facing camera 128 (for example, a 3D or stereo camera) are detected determine. In block 318 can the mobile computing device 100 the physical location based on multiple images of the light sources passing through the same camera facing the environment 128 (or multiple cameras facing the environment 128 ) at different positions with respect to the light source (for example, detected at different times). For example, the environment facing camera 128 be executed in some embodiments as a video camera, and movement of the camera 128 can be estimated (for example, from the video stream or inertial sensors) to perform triangulation over frames at different times and in different locations of the mobile computing device 100 were recorded. In other words, the mobile computing device 100 the physical location of the light source based on the direction of the light source relative to two different reference points of the mobile computing device 100 determine (for example via triangulation). In other embodiments, the mobile computing device may 100 in block 320 approximate the distance of the light source from the mobile computing device 100 as a predefined distance (for example, infinite, an arbitrarily large distance, etc.). It should be noted that in some embodiments, distances that exceed a threshold distance (eg, two meters) are estimated to be the predefined distance be able to experience without significant accuracy loss in the eye tracking.

In manchen Ausführungsformen kann das mobile Rechengerät 100 mehrere Umgebungslichtquellen zum Ausführen von Blickverfolgung nutzen. In derartigen Ausführungsformen kann das mobile Rechengerät 100 in Block 322 bestimmen, ob es eine weitere Lichtquelle im erfassten Bild (in den erfassten Bildern) der realen Umgebung erfasst. Falls ja, leitet das Verfahren 300 zu Block 308 zum Analysieren des Bilds (der Bilder) zurück. Andernfalls leitet das Verfahren 300 zu Block 324 von 4 weiter, in dem das mobile Rechengerät 100 ein Bild bestimmen kann, das auf der Anzeige 122 zu der Zeit angezeigt wurde, als das Bild des Benutzers aufgenommen wurde. Beispielsweise kann die Anzeige 122 in manchen Ausführungsformen eine Anzeigensteuerung enthalten, die verschiedene Kennzeichen von angezeigten Bildern und/oder der angezeigten Bilder selbst verfolgt, welche für verschiedene Analysen, wie hierin beschrieben, benutzt werden können (beispielsweise Abgleichen von Augenhornhautreflexionen an der entsprechenden Lichtquelle).In some embodiments, the mobile computing device may 100 use multiple ambient light sources to perform eye tracking. In such embodiments, the mobile computing device may 100 in block 322 determine if it detects another light source in the captured image (s) of the real environment. If so, direct the procedure 300 to block 308 to parse the image (s) back. Otherwise, the procedure passes 300 to block 324 from 4 Next, in which the mobile computing device 100 can determine a picture on the display 122 at the time the user's picture was taken. For example, the ad 122 in some embodiments, includes a display controller that tracks various characteristics of displayed images and / or the displayed images themselves that may be used for various analyzes as described herein (eg, matching cornea reflections to the corresponding light source).

In Block 326 analysiert das mobile Rechengerät 100 das erfasste Bild des Benutzers (beispielsweise das Bild 600 von 6), um die Hornhautreflexionen im Auge des Benutzers zu lokalisieren (beispielsweise die Reflexionen der Lichtquelle(n) und/oder der Bilder, die auf der Anzeige 122 vom Auge des Benutzers gezeigt sind). Es ist zu beachten, dass das mobile Rechengerät 100 jegliche geeigneten Bildanalysetechniken, -algorithmen, -filter und/oder -mechanismen zum Lokalisieren der Augenhornhautreflexionen, Abgleichen der Augenhornhautreflexionen mit den Lichtquellen und/oder Ausführen von anderen, hierin beschriebenen Analysen nutzen kann. In Block 328 kann das mobile Rechengerät 100 das Auge des Benutzers im erfassten Bild identifizieren, beispielsweise um den Bereich des Bilds zu reduzieren, der zum Analysieren für Schimmeranalyse und Blickverfolgung erforderlich ist. Obgleich die Techniken hierin unter Bezugnahme auf die Analyse eines einzelnen Auges des Benutzers beschrieben sind, ist zu beachten, dass in manchen Ausführungsformen beide Augen des Benutzers analysiert werden können. In manchen Ausführungsformen kann das mobile Rechengerät 100 in Block 330 die Hornhautreflexionen auf dem Auge des Benutzers als Bereiche des erfassten Bilds mit hohen Stärke- und/oder hohen Kontrastpixelwerten bezüglich umgebender Bildbereiche identifizieren.In block 326 analyzes the mobile computing device 100 the captured image of the user (for example, the image 600 from 6 ) to locate the corneal reflections in the user's eye (for example, the reflections of the light source (s) and / or images displayed on the display 122 shown by the user's eye). It should be noted that the mobile computing device 100 may utilize any suitable image analysis techniques, algorithms, filters, and / or mechanisms to locate the corneal reflections, match the corneal reflections to the light sources, and / or perform other analyzes described herein. In block 328 can the mobile computing device 100 identify the user's eye in the captured image, for example, to reduce the area of the image required to analyze for shimmer analysis and eye tracking. Although the techniques are described herein with reference to the analysis of a single user's eye, it should be appreciated that in some embodiments both eyes of the user may be analyzed. In some embodiments, the mobile computing device may 100 in block 330 identify the corneal reflections on the user's eye as regions of the captured image with high strength and / or high contrast pixel values relative to surrounding image areas.

In Block 332 kann das mobile Rechengerät 100 bestimmen, welcher Lichtquelle jede Hornhautreflexion auf dem Auge des Benutzers entspricht (beispielsweise eine Reflexion einer Lichtquelle, die im realen Bild erfasst ist, eine Reflexion eines Bilds, das auf der Anzeige 122 angezeigt ist, usw.), auf Grundlage der Reflexionskennzeichen. In manchen Ausführungsformen kann das mobile Rechengerät 100 jede Augenhornhautreflexion mit der Quelle der Reflexion auf Grundlage der Lage, Größe, Farbe, Form und/oder anderen Kennzeichen der Reflexion abgleichen. Beispielsweise zeigt, wie in 7 gezeigt, das Auge 700 des Benutzers, das im veranschaulichenden Bild 600 (siehe 6) des Benutzers erfasst ist, zwei Augenhornhautreflexionen: eine Augenhornhautreflexion 702 der Lichtquelle 502 in der realen Umgebung des mobilen Rechengeräts 100 (siehe 5) und eine Augenhornhautreflexion 704 der Anzeige 122 des mobilen Rechengeräts 100. Es ist zu beachten, dass das mobile Rechengerät 100 jegliche geeigneten Kennzeichen der Augenhornhautreflexionen und/oder andere bekannte Information zum Unterscheiden der Augenhornhautreflexionen voneinander und zum Bestimmen der Lichtquelle, der sie entsprechen, nutzen kann. Beispielsweise ist es in zahlreichen Ausführungsformen wahrscheinlich, dass die Reflexion von der Anzeige 122 auf oder nahe der Pupille des Benutzers erscheint, da sie direkt vor den Benutzer gehalten wird, während es wahrscheinlich ist, dass andere Umgebungslichtquellen auf der Peripherie des Auges des Benutzers erscheinen, da sie andernfalls beispielsweise durch das mobile Rechengerät 100 verdeckt werden. Ferner weist, wie oben angegeben, eine Augenhornhautreflexion des Bilds, das auf der Anzeige 122 gezeigt ist, ähnliche Kennzeichen wie das angezeigte Bild selbst auf (beispielsweise eine ähnliche Form und Farbe).In block 332 can the mobile computing device 100 determine which light source corresponds to each corneal reflection on the user's eye (eg, a reflection of a light source captured in the real image, a reflection of an image displayed on the display 122, etc.) based on the reflectors. In some embodiments, the mobile computing device may 100 match any corneal reflection to the source of reflection based on the location, size, color, shape and / or other characteristics of the reflection. For example, shows how in 7 shown, the user's eye 700, in the illustrative image 600 (please refer 6 ) of the user, two corneal reflections: a corneal reflection 702 the light source 502 in the real environment of the mobile computing device 100 (please refer 5 ) and a corneal reflection 704 the ad 122 of the mobile computing device 100 , It should be noted that the mobile computing device 100 any suitable characteristics of corneal reflections and / or other known information may be used to distinguish the corneal reflections from each other and to determine the source of light that they correspond to. For example, in many embodiments, it is likely that the reflection from the display 122 appears on or near the user's pupil, as it is held directly in front of the user, while it is likely that other ambient light sources will appear on the periphery of the user's eye, as otherwise by the mobile computing device 100 to be covered. Further, as noted above, corneal reflections of the image appear on the display 122 is shown, similar features as the displayed image itself (for example, a similar shape and color).

In Block 334 analysiert das mobile Rechengerät 100 das erfasste Bild des Auges des Benutzers, um die Bildlage der Pupille des Benutzers oder insbesondere des Rands der Pupille des Benutzers (beispielsweise den Rand 706, wie in 7 gezeigt) zu bestimmen. Das mobile Rechengerät 100 kann jegliche geeigneten Bildanalysetechniken dazu einsetzen. Ferner ist zu beachten, dass die Identifikation der Pupille des Benutzers unabhängig von den hierin beschriebenen Schimmeranalysetechniken sein kann und daher gleichzeitig mit, vor oder anschließend an derartige Techniken stattfinden kann. In Block 336 führt das mobile Rechengerät 100 Blickverfolgung aus (d. h. überwacht die Blickrichtung des Benutzers), auf Grundlage der bestimmten Entsprechungen zwischen Lichtquellen und Augenhornhautreflexionen und des identifizierten Rands der Pupille des Benutzers. Es ist zu beachten, dass die Blickverfolgung auf jeglichen geeigneten Techniken, Algorithmen und/oder Mechanismen basieren kann, die mit den hierin beschriebenen Techniken konsistent sind.In block 334 analyzes the mobile computing device 100 the captured image of the user's eye to the image position of the pupil of the user or in particular the edge of the pupil of the user (for example, the edge 706 , as in 7 shown). The mobile computing device 100 can use any suitable image analysis techniques. Further, it should be understood that the identification of the pupil of the user may be independent of the glare analysis techniques described herein and therefore may be concurrent with, prior to or subsequent to such techniques. In block 336 leads the mobile computing device 100 Gaze tracking (ie, monitoring the gaze direction of the user) based on the determined correspondences between light sources and corneal reflections and the identified edge of the user's pupil. It should be understood that gaze tracking may be based on any suitable techniques, algorithms, and / or mechanisms consistent with the techniques described herein.

In Block 338 bestimmt das mobile Rechengerät 100, ob die Blickverfolgung fortgesetzt werden soll. Falls ja, leitet das Verfahren 300 zu Block 302 von 3 zurück, in dem das mobile Rechengerät 100 mit dem Kamerasystem 120 einen weiteren Satz von Bildern erfasst. Anders gesagt kann das mobile Rechengerät 100 beim Ausführen der Blickverfolgung wiederholt die Lage der Lichtquellen bezüglich des mobilen Rechengeräts 100 identifizieren (beispielsweise wenn sich das mobile Rechengerät 100 und/oder die Lichtquellen bewegen) und die Augenhornhautreflexionen identifizieren, die diesen Lichtquellen entsprechen.In block 338 determines the mobile computing device 100 whether the eye tracking should continue. If so, direct the procedure 300 to block 302 from 3 back in which the mobile computing device 100 with the camera system 120 captured another set of images. In other words, that can mobile computing device 100 when performing the gaze tracking, the position of the light sources with respect to the mobile computing device repeats 100 identify (for example, if the mobile computing device 100 and / or moving the light sources) and identify the corneal reflections corresponding to those light sources.

BEISPIELEEXAMPLES

Veranschaulichende Beispiele der hierin offenbarten Technologien sind untenstehend bereitgestellt. Eine Ausführungsform der Technologien kann ein beliebiges oder mehrere und jegliche Kombination der unten beschriebenen Beispiele beinhalten.Illustrative examples of the technologies disclosed herein are provided below. One embodiment of the technologies may include any one or more and any combination of the examples described below.

Beispiel 1 beinhaltet ein mobiles Rechengerät zur Blickverfolgung durch Umgebungslicht, wobei das mobile Rechengerät eine Anzeige, ein Kamerasystem, das eine erste Kamera und eine zweite Kamera aufweist, wobei das Kamerasystem zum Erfassen von (i) einem ersten Bild eines Benutzers des mobilen Rechengeräts mit der ersten Kamera und (ii) einem zweiten Bild einer realen Umgebung des mobilen Rechengeräts mit der zweiten Kamera dient, ein Lichtanalysemodul zum Bestimmen einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds, ein Augenanalysemodul zum (i) Identifizieren einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers und (ii) Bestimmen, auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf der Anzeige angezeigt ist, ein Blickverfolgungsmodul zum Ausführen von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aufweist.Example 1 includes a mobile computing device for tracking ambient light, wherein the mobile computing device includes a display, a camera system having a first camera and a second camera, the camera system for capturing (i) a first image of a user of the mobile computing device with the first camera and (ii) a second image of a real environment of the mobile computing device with the second camera, a light analysis module for determining a physical location of a light source relative to the mobile computing device based on the second image, an eye analysis module for (i) identifying a first corneal reflection and a second corneal reflection in an eye of the user, and (ii) determining, based on the physical location, a first correspondence between the first corneal reflection and the light source and a second correspondence between the second corneal reflection and an image displayed on the display 1, a gaze tracking module for performing gaze tracking based on the first correspondence and the second correspondence.

Beispiel 2 beinhaltet den Gegenstand von Beispiel 1, wobei das Lichtanalysemodul zum (i) Analysieren des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist, und (ii) Bestimmen einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage dient; und wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.Example 2 includes the subject matter of Example 1, wherein the light analysis module for (i) analyzing the second image to determine an image position of the light source captured in the second image, and (ii) determining a direction of the light source relative to the mobile computing device based on Image position is used; and wherein determining the physical location of the light source comprises determining the physical location based on the determined direction.

Beispiel 3 beinhaltet den Gegenstand von jeglichem der Beispiele 1 und 2, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.Example 3 includes the subject matter of any of Examples 1 and 2, wherein analyzing the second image comprises identifying a region of the second image having at least one of high intensity or high contrast with respect to surrounding regions of the second image.

Beispiel 4 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 3, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.Example 4 includes the subject matter of any one of Examples 1 to 3, wherein determining the physical location comprises determining the physical location of the light source based on the second image and a third image of the real environment containing the light source.

Beispiel 5 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 4, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.Example 5 includes the subject matter of any one of Examples 1 to 4, wherein determining the physical location comprises determining a distance of the light source from the mobile computing device by performing triangulation based on the second image and the third image.

Beispiel 6 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 5, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.Example 6 includes the subject matter of any one of Examples 1 to 5, wherein determining the physical location comprises approximating a distance of the light source from the mobile computing device to a predefined distance.

Beispiel 7 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 6, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Analysieren des ersten Bilds zum Identifizieren des Auges des Benutzers aufweist.Example 7 includes the subject matter of any of Examples 1-6, wherein identifying the first corneal reflectance and the second corneal reflectance comprises analyzing the first image to identify the user's eye.

Beispiel 8 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 7, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke und starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.Example 8 includes the subject matter of any one of Examples 1 to 7, wherein identifying the first corneal reflectance and the second corneal reflections comprises identifying a first region and a second region of the first image with at least one of high intensity and high contrast with respect to surrounding regions of the first image having.

Beispiel 9 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 8, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt ist, aufweist.Example 9 includes the subject matter of any one of Examples 1 through 8, wherein determining the first correspondence and the second correspondence determines the first correspondence and the second correspondence based on known characteristics of at least one of the light source and the image displayed on the display is displayed.

Beispiel 10 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 9, ferner enthaltend ein Anzeigemodul zum Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.Example 10 includes the subject matter of any of Examples 1 to 9, further comprising a display module for determining the image displayed on the display of the mobile computing device at a time when the first image is detected; wherein determining the second correspondence comprises determining the second correspondence based on at least one characteristic of the displayed image.

Beispiel 11 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 10, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.Example 11 includes the subject matter of any one of Examples 1 to 10, wherein determining the second correspondence includes determining the second correspondence based on has at least one of a size or color of the displayed image.

Beispiel 12 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 11, wobei das Augenanalysemodul zum Analysieren des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers dient; und wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner auf Grundlage des Rands der Pupille des Benutzers aufweist.Example 12 includes the subject matter of any one of Examples 1 to 11, wherein the eye analysis module is for analyzing the first image to identify an edge of a pupil of the user; and wherein performing the gaze tracking further comprises performing the gaze tracking based on the edge of the user's pupil.

Beispiel 13 beinhaltet den Gegenstand von jeglichem der Beispiele 1 bis 12, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.Example 13 includes the subject matter of any one of Examples 1 to 12, wherein the first camera has a field of view in a direction opposite to a field of view of the second camera about the display.

Beispiel 14 beinhaltet ein Verfahren zur Blickverfolgung durch Umgebungslicht, wobei das Verfahren Erfassen, durch eine erste Kamera eines mobilen Rechengeräts, eines ersten Bilds eines Benutzers des mobilen Rechengeräts; Erfassen, durch eine zweite Kamera des mobilen Rechengeräts, die sich von der ersten Kamera unterscheidet, eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts; Bestimmen, durch das mobile Rechengerät, einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds; Identifizieren, durch das mobile Rechengerät, einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers, das im ersten Bild erfasst ist; Bestimmen, durch das mobile Rechengerät und auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt wird; und Ausführen, durch das mobile Rechengerät, von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aufweist.Example 14 includes an ambient light tracking method, the method detecting, by a first camera of a mobile computing device, a first image of a user of the mobile computing device; Detecting, by a second camera of the mobile computing device different from the first camera, a second image of a real environment of the mobile computing device; Determining, by the mobile computing device, a physical location of a light source relative to the mobile computing device based on the second image; Identifying, by the mobile computing device, a first corneal reflection and a second corneal reflection in an eye of the user captured in the first image; Determining, by the mobile computing device and based on the physical location, a first correspondence between the first corneal reflection and the light source and a second correspondence between the second corneal reflectance and an image displayed on a display of the mobile computing device; and executing, by the mobile computing device, eye tracking based on the first correspondence and the second correspondence.

Beispiel 15 beinhaltet den Gegenstand von Beispiel 14, ferner beinhaltend Analysieren, durch das mobile Rechengerät, des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist; und Bestimmen, durch das mobile Rechengerät, einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage; wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.Example 15 includes the subject matter of Example 14, further including analyzing, by the mobile computing device, the second image to determine an image position of the light source captured in the second image; and determining, by the mobile computing device, a direction of the light source relative to the mobile computing device based on the image position; wherein determining the physical location of the light source comprises determining the physical location based on the determined direction.

Beispiel 16 beinhaltet den Gegenstand von jeglichem der Beispiele 14 und 15, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.Example 16 includes the subject matter of any of Examples 14 and 15, wherein analyzing the second image comprises identifying a region of the second image having at least one of high intensity or high contrast with respect to surrounding regions of the second image.

Beispiel 17 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 16, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.Example 17 includes the subject matter of any one of Examples 14 to 16, wherein determining the physical location comprises determining the physical location of the light source based on the second image and a third image of the real environment containing the light source.

Beispiel 18 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 17, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.Example 18 includes the subject matter of any one of Examples 14 to 17, wherein determining the physical location comprises determining a distance of the light source from the mobile computing device by performing triangulation based on the second image and the third image.

Beispiel 19 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 18, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.Example 19 includes the subject matter of any one of Examples 14 to 18, wherein determining the physical location comprises approximating a distance of the light source from the mobile computing device to a predefined distance.

Beispiel 20 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 19, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Analysieren des ersten Bilds zum Identifizieren des Auges des Benutzers aufweist.Example 20 includes the subject matter of any of Examples 14-19, wherein identifying the first corneal reflectance and the second corneal reflectance comprises analyzing the first image to identify the user's eye.

Beispiel 21 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 20, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.Example 21 includes the subject matter of any one of Examples 14 to 20, wherein identifying the first corneal reflectance and the second corneal reflections comprises identifying a first region and a second region of the first image with at least one of high intensity or high contrast with respect to surrounding regions of the first image having.

Beispiel 22 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 21, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt wird, aufweist.Example 22 includes the subject matter of any one of Examples 14 to 21, wherein determining the first correspondence and the second correspondence determines the first correspondence and the second correspondence based on known characteristics of at least one of the light source and the image displayed on the display is displayed.

Beispiel 23 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 22, ferner beinhaltend das Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.Example 23 includes the subject matter of any one of Examples 14 to 22, further comprising determining the image displayed on the display of the mobile computing device at a time when the first image is detected; the Determining the second correspondence comprises determining the second correspondence based on at least one characteristic of the displayed image.

Beispiel 24 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 23, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem der Größe oder Farbe des angezeigten Bilds aufweist.Example 24 includes the subject matter of any one of Examples 14 to 23, wherein determining the second correspondence comprises determining the second correspondence based on at least one of the size or color of the displayed image.

Beispiel 25 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 24, ferner beinhaltend das Analysieren, durch das mobile Rechengerät, des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers; wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner basierend auf dem Rand der Pupille des Benutzers aufweist.Example 25 includes the subject matter of any of Examples 14 to 24, further including analyzing, by the mobile computing device, the first image to identify an edge of a pupil of the user; wherein performing the gaze tracking further comprises performing the gaze tracking based on the edge of the user's pupil.

Beispiel 26 beinhaltet den Gegenstand von jeglichem der Beispiele 14 bis 25, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.Example 26 includes the subject matter of any one of Examples 14 to 25, wherein the first camera has a field of view in a direction opposite to a field of view of the second camera about the display.

Beispiel 27 beinhaltet ein Rechengerät, aufweisend einen Prozessor und einen Speicher, der mehrere Befehle darin gespeichert aufweist, welche, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass das Rechengerät das Verfahren nach einem der Beispiele 14 bis 26 ausführt.Example 27 includes a computing device having a processor and memory having a plurality of instructions stored therein which, when executed by the processor, cause the computing device to perform the method of any one of Examples 14-26.

Beispiel 28 beinhaltet ein oder mehrere maschinenlesbare Speichermedien, aufweisend mehrere darin gespeicherte Befehle, die in Reaktion darauf, dass sie ausgeführt werden, in einem Rechengerät resultieren, das das Verfahren nach einem der Beispiele 14 bis 26 ausführt.Example 28 includes one or more machine-readable storage media having a plurality of instructions stored therein that result in a computing device executing the method of any one of Examples 14-26 in response to being executed.

Beispiel 29 beinhaltet ein Rechengerät, aufweisend Mittel zum Ausführen des Verfahrens nach einem der Beispiele 14 bis 26.Example 29 includes a computing device comprising means for carrying out the method of any one of Examples 14 to 26.

Beispiel 30 beinhaltet ein mobiles Rechengerät zur Blickverfolgung durch Umgebungslicht, wobei das mobile Rechengerät Mittel zum Erfassen, durch eine erste Kamera des mobilen Rechengeräts, eines ersten Bilds eines Benutzers des mobilen Rechensystems, Mittel zum Erfassen, durch eine zweite Kamera des mobilen Rechengeräts, die sich von der ersten Kamera unterscheidet, eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts, Mittel zum Bestimmen einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds, Mittel zum Identifizieren einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers im ersten Bild, Mittel zum Bestimmen, auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt ist, und Mittel zum Ausführen von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung aufweist.Example 30 includes a mobile computing device for observing ambient light, wherein the mobile computing device comprises means for detecting, by a first camera of the mobile computing device, a first image of a user of the mobile computing system, means for detecting, by a second camera of the mobile computing device, the different from the first camera, a second image of a real environment of the mobile computing device, means for determining a physical location of a light source relative to the mobile computing device based on the second image, means for identifying a first corneal reflection and a second corneal reflection in an eye of the user first image, means for determining, based on the physical location, a first correspondence between the first corneal reflection and the light source and a second correspondence between the second corneal reflection and an image displayed on a display of the mobile R and means for performing gaze tracking based on the first correspondence and the second correspondence.

Beispiel 31 beinhaltet den Gegenstand von Beispiel 30, ferner beinhaltend Mittel zum Analysieren des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist; und Mittel zum Bestimmen einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage; wobei das Mittel zum Bestimmen der physikalischen Lage der Lichtquelle Mittel zum Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.Example 31 includes the subject matter of Example 30, further including means for analyzing the second image to determine an image position of the light source captured in the second image; and means for determining a direction of the light source relative to the mobile computing device based on the image position; wherein the means for determining the physical location of the light source comprises means for determining the physical location based on the determined direction.

Beispiel 32 beinhaltet den Gegenstand von jeglichem der Beispiele 30 und 31, wobei das Mittel zum Analysieren des zweiten Bilds Mittel zum Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.Example 32 includes the subject matter of any of Examples 30 and 31, wherein the means for analyzing the second image comprises means for identifying a region of the second image having at least one of high intensity or high contrast with respect to surrounding regions of the second image.

Beispiel 33 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 32, wobei das Mittel zum Bestimmen der physikalischen Lage Mittel zum Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung, das die Lichtquelle enthält, aufweist.Example 33 includes the subject matter of any of Examples 30 to 32, wherein the means for determining the physical location comprises means for determining the physical location of the light source based on the second image and a third image of the real environment containing the light source.

Beispiel 34 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 33, wobei das Mittel zum Bestimmen der physikalischen Lage Mittel zum Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.Example 34 includes the subject matter of any one of Examples 30 to 33, wherein the physical position determining means comprises means for determining a distance of the light source from the mobile computing device by performing triangulation based on the second image and the third image.

Beispiel 35 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 34, wobei das Mittel zum Bestimmen der physikalischen Lage Mittel zum Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät auf einen vordefinierten Abstand aufweist.Example 35 includes the subject matter of any of Examples 30-34, wherein the means for determining the physical location comprises means for approximating a distance of the light source from the mobile computing device to a predefined distance.

Beispiel 36 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 35, wobei das Mittel zum Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion Mittel zum Analysieren des ersten Bilds zum Identifizieren des Auges des Benutzers aufweist.Example 36 includes the subject matter of any of Examples 30-35, wherein the means for identifying the first corneal reflection and the second corneal reflection comprises means for analyzing the first image to identify the user's eye.

Beispiel 37 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 36, wobei das Mittel zum Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion Mittel zum Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.Example 37 includes the subject matter of any one of Examples 30 to 36, wherein the means for identifying the first corneal reflection and the second corneal reflection comprises means for identifying a first region and a second region of the first image with at least one of high intensity or high contrast with respect to surrounding regions of the first image.

Beispiel 38 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 37, wobei das Mittel zum Bestimmen der ersten Entsprechung und der zweiten Entsprechung Mittel zum Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage auf bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt ist, aufweist. Example 38 includes the subject matter of any one of Examples 30 to 37, wherein the means for determining the first correspondence and the second correspondence comprises means for determining the first correspondence and the second correspondence based on known characteristics of at least one of the light source and the image displayed on the display.

Beispiel 39 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 38, ferner beinhaltend Mittel zum Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Mittel zum Bestimmen der zweiten Entsprechung Mittel zum Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.Example 39 includes the subject matter of any of Examples 30 to 38, further including means for determining the image displayed on the display of the mobile computing device at a time when the first image is captured; wherein the means for determining the second correspondence comprises means for determining the second correspondence based on at least one characteristic of the displayed image.

Beispiel 40 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 39, wobei das Mittel zum Bestimmen der zweiten Entsprechung Mittel zum Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.Example 40 includes the subject matter of any of Examples 30-39, wherein the means for determining the second correspondence comprises means for determining the second correspondence based on at least one of a size or color of the displayed image.

Beispiel 41 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 40, ferner beinhaltend Mittel zum Analysieren des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers; wobei das Mittel zum Ausführen der Blickverfolgung Mittel zum Ausführen der Blickverfolgung ferner basierend auf dem Rand der Pupille des Benutzers aufweist.Example 41 includes the subject matter of any of Examples 30-40, further including means for analyzing the first image to identify an edge of a pupil of the user; wherein the means for performing the gaze tracking further comprises means for performing gaze tracking based on the edge of the user's pupil.

Beispiel 42 beinhaltet den Gegenstand von jeglichem der Beispiele 30 bis 41, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.Example 42 includes the subject matter of any of Examples 30 to 41, wherein the first camera has a field of view in a direction opposite to a field of view of the second camera about the display.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 14/757834 [0001]US 14/757834 [0001]

Claims (25)

Mobiles Rechengerät zur Blickverfolgung durch Umgebungslicht, wobei das mobile Rechengerät aufweist: eine Anzeige; ein Kamerasystem, das eine erste Kamera und eine zweite Kamera aufweist, wobei das Kamerasystem zum Erfassen von (i) einem ersten Bild eines Benutzers des mobilen Rechengeräts mit der ersten Kamera und (ii) einem zweiten Bild einer realen Umgebung des mobilen Rechengeräts mit der zweiten Kamera dient; ein Lichtanalysemodul zum Bestimmen einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds; ein Augenanalysemodul zum (i) Identifizieren einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers und (ii) Bestimmen, auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf der Anzeige angezeigt ist; ein Blickverfolgungsmodul zum Ausführen von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung.A mobile computing device for observing ambient light, the mobile computing device comprising: an ad; a camera system having a first camera and a second camera, the camera system for capturing (i) a first image of a user of the mobile computing device with the first camera and (ii) a second image of a real environment of the mobile computing device with the second Camera serves; a light analysis module for determining a physical location of a light source with respect to the mobile computing device based on the second image; an eye analysis module for (i) identifying a first corneal reflection and a second corneal reflection in an eye of the user and (ii) determining, based on the physical location, a first correspondence between the first corneal reflection and the light source and a second correspondence between the second corneal reflection and an image displayed on the display; a gaze tracking module for performing gaze tracking based on the first correspondence and the second correspondence. Mobiles Rechengerät nach Anspruch 1, wobei das Lichtanalysemodul zum (i) Analysieren des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist, und (ii) Bestimmen einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage dient; und wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.Mobile computing device after Claim 1 wherein the light analyzing module is for (i) analyzing the second image to determine an image position of the light source detected in the second image and (ii) determining a direction of the light source relative to the mobile computing device based on the image position; and wherein determining the physical location of the light source comprises determining the physical location based on the determined direction. Mobiles Rechengerät nach Anspruch 2, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.Mobile computing device after Claim 2 wherein analyzing the second image comprises identifying a region of the second image with at least one of high intensity or high contrast with respect to surrounding regions of the second image. Mobiles Rechengerät nach Anspruch 2, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.Mobile computing device after Claim 2 wherein determining the physical location comprises determining the physical location of the light source based on the second image and a third image of the real environment containing the light source. Mobiles Rechengerät nach Anspruch 4, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.Mobile computing device after Claim 4 wherein determining the physical location comprises determining a distance of the light source from the mobile computing device by performing triangulation based on the second image and the third image. Mobiles Rechengerät nach Anspruch 2, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.Mobile computing device after Claim 2 wherein determining the physical location comprises approximating a distance of the light source from the mobile computing device to a predefined distance. Mobiles Rechengerät nach Anspruch 1, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke und starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.Mobile computing device after Claim 1 wherein identifying the first corneal reflection and the second corneal reflection comprises identifying a first region and a second region of the first image with at least one of high intensity and high contrast with respect to surrounding regions of the first image. Mobiles Rechengerät nach Anspruch 1, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt ist, aufweist.Mobile computing device after Claim 1 wherein determining the first correspondence and the second correspondence comprises determining the first correspondence and the second correspondence based on known characteristics of at least one of the light source or the image displayed on the display. Mobiles Rechengerät nach Anspruch 8, ferner aufweisend ein Anzeigemodul zum Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.Mobile computing device after Claim 8 , further comprising a display module for determining the image displayed on the display of the mobile computing device at a time when the first image is detected; wherein determining the second correspondence comprises determining the second correspondence based on at least one characteristic of the displayed image. Mobiles Rechengerät nach Anspruch 9, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.Mobile computing device after Claim 9 wherein determining the second correspondence comprises determining the second correspondence based on at least one of a size or color of the displayed image. Mobiles Rechengerät nach einem der Ansprüche 1 bis 10, wobei das Augenanalysemodul zum Analysieren des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers dient; und wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner auf Grundlage des Rands der Pupille des Benutzers aufweist.Mobile computing device according to one of Claims 1 to 10 wherein the eye analysis module for analyzing the first image is for identifying an edge of a pupil of the user; and wherein performing the gaze tracking further comprises performing the gaze tracking based on the edge of the user's pupil. Mobiles Rechengerät nach einem der Ansprüche 1 bis 10, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.Mobile computing device according to one of Claims 1 to 10 wherein the first camera has a field of view in a direction opposite to a field of view of the second camera about the display. Verfahren zur Blickverfolgung durch Umgebungslicht, wobei das Verfahren aufweist: Erfassen, durch eine erste Kamera eines mobilen Rechengeräts, eines ersten Bilds eines Benutzers des mobilen Rechengeräts; Erfassen, durch eine zweite Kamera des mobilen Rechengeräts, die sich von der ersten Kamera unterscheidet, eines zweiten Bilds einer realen Umgebung des mobilen Rechengeräts; Bestimmen, durch das mobile Rechengerät, einer physikalischen Lage einer Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage des zweiten Bilds; Identifizieren, durch das mobile Rechengerät, einer ersten Augenhornhautreflexion und einer zweiten Augenhornhautreflexion in einem Auge des Benutzers, das im ersten Bild erfasst ist; Bestimmen, durch das mobile Rechengerät und auf Grundlage der physikalischen Lage, einer ersten Entsprechung zwischen der ersten Augenhornhautreflexion und der Lichtquelle und einer zweiten Entsprechung zwischen der zweiten Augenhornhautreflexion und einem Bild, das auf einer Anzeige des mobilen Rechengeräts angezeigt wird; und Ausführen, durch das mobile Rechengerät, von Blickverfolgung auf Grundlage der ersten Entsprechung und der zweiten Entsprechung.A method of tracking ambient light, the method comprising: detecting, by a first camera of a mobile computing device, a first image of a user of the mobile computing device; Detecting, by a second camera of the mobile computing device different from the first camera, a second image of a real environment of the mobile computing device; Determining, by the mobile computing device, a physical location of a light source relative to the mobile computing device based on the second image; Identifying, by the mobile computing device, a first corneal reflection and a second corneal reflection in an eye of the user captured in the first image; Determining, by the mobile computing device and based on the physical location, a first correspondence between the first corneal reflection and the light source and a second correspondence between the second corneal reflectance and an image displayed on a display of the mobile computing device; and executing, by the mobile computing device, eye tracking based on the first correspondence and the second correspondence. Verfahren nach Anspruch 13, ferner aufweisend: Analysieren, durch das mobile Rechengerät, des zweiten Bilds zum Bestimmen einer Bildlage der Lichtquelle, die im zweiten Bild erfasst ist; und Bestimmen, durch das mobile Rechengerät, einer Richtung der Lichtquelle bezüglich des mobilen Rechengeräts auf Grundlage der Bildlage; wobei das Bestimmen der physikalischen Lage der Lichtquelle das Bestimmen der physikalischen Lage auf Grundlage der bestimmten Richtung aufweist.Method according to Claim 13 , further comprising: analyzing, by the mobile computing device, the second image to determine an image position of the light source detected in the second image; and determining, by the mobile computing device, a direction of the light source relative to the mobile computing device based on the image position; wherein determining the physical location of the light source comprises determining the physical location based on the determined direction. Verfahren nach Anspruch 14, wobei das Analysieren des zweiten Bilds das Identifizieren eines Bereichs des zweiten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des zweiten Bilds aufweist.Method according to Claim 14 wherein analyzing the second image comprises identifying a region of the second image with at least one of high intensity or high contrast with respect to surrounding regions of the second image. Verfahren nach Anspruch 14, wobei das Bestimmen der physikalischen Lage das Bestimmen der physikalischen Lage der Lichtquelle auf Grundlage des zweiten Bilds und eines dritten Bilds der realen Umgebung aufweist, welches die Lichtquelle enthält.Method according to Claim 14 wherein determining the physical location comprises determining the physical location of the light source based on the second image and a third image of the real environment containing the light source. Verfahren nach Anspruch 16, wobei das Bestimmen der physikalischen Lage das Bestimmen eines Abstands der Lichtquelle vom mobilen Rechengerät durch Ausführen von Triangulation auf Grundlage des zweiten Bilds und des dritten Bilds aufweist.Method according to Claim 16 wherein determining the physical location comprises determining a distance of the light source from the mobile computing device by performing triangulation based on the second image and the third image. Verfahren nach Anspruch 14, wobei das Bestimmen der physikalischen Lage das Annähern eines Abstands der Lichtquelle vom mobilen Rechengerät an einen vordefinierten Abstand aufweist.Method according to Claim 14 wherein determining the physical location comprises approximating a distance of the light source from the mobile computing device to a predefined distance. Verfahren nach Anspruch 13, wobei das Identifizieren der ersten Augenhornhautreflexion und der zweiten Augenhornhautreflexion das Identifizieren eines ersten Bereichs und eines zweiten Bereichs des ersten Bilds mit mindestens einem von hoher Stärke oder starkem Kontrast bezüglich umgebender Bereiche des ersten Bilds aufweist.Method according to Claim 13 wherein identifying the first corneal reflection and the second corneal reflection comprises identifying a first region and a second region of the first image with at least one of high intensity or high contrast with respect to surrounding regions of the first image. Verfahren nach Anspruch 13, wobei das Bestimmen der ersten Entsprechung und der zweiten Entsprechung das Bestimmen der ersten Entsprechung und der zweiten Entsprechung auf Grundlage von bekannten Kennzeichen von mindestens einem der Lichtquelle oder des Bilds, das auf der Anzeige angezeigt wird, aufweist.Method according to Claim 13 wherein determining the first correspondence and the second correspondence comprises determining the first correspondence and the second correspondence based on known characteristics of at least one of the light source or the image displayed on the display. Verfahren nach Anspruch 20, ferner aufweisend das Bestimmen des Bilds, das zu einem Zeitpunkt, zu dem das erste Bild erfasst wird, auf der Anzeige des mobilen Rechengeräts angezeigt wird; wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem Kennzeichen des angezeigten Bilds aufweist.Method according to Claim 20 further comprising determining the image displayed on the display of the mobile computing device at a time when the first image is detected; wherein determining the second correspondence comprises determining the second correspondence based on at least one characteristic of the displayed image. Verfahren nach Anspruch 21, wobei das Bestimmen der zweiten Entsprechung das Bestimmen der zweiten Entsprechung auf Grundlage von mindestens einem einer Größe oder Farbe des angezeigten Bilds aufweist.Method according to Claim 21 wherein determining the second correspondence comprises determining the second correspondence based on at least one of a size or color of the displayed image. Verfahren nach Anspruch 13, ferner aufweisend das Analysieren, durch das mobile Rechengerät, des ersten Bilds zum Identifizieren eines Rands einer Pupille des Benutzers; wobei das Ausführen der Blickverfolgung das Ausführen der Blickverfolgung ferner auf Grundlage des Rands der Pupille des Benutzers aufweist.Method according to Claim 13 further comprising analyzing, by the mobile computing device, the first image to identify an edge of a pupil of the user; wherein performing the gaze tracking further comprises performing the gaze tracking based on the edge of the user's pupil. Verfahren nach Anspruch 13, wobei die erste Kamera ein Sichtfeld in einer Richtung aufweist, die einem Sichtfeld der zweiten Kamera um die Anzeige entgegengesetzt ist.Method according to Claim 13 wherein the first camera has a field of view in a direction opposite to a field of view of the second camera about the display. Maschinenlesbares Speichermedium bzw. maschinenlesbare Speichermedien, aufweisend mehrere darauf gespeicherte Befehle, die in Reaktion darauf, dass sie ausgeführt werden, darin resultieren, dass ein Rechengerät das Verfahren nach einem der Ansprüche 13 bis 24 ausführt.A machine-readable storage medium or machine-readable storage medium, comprising a plurality of instructions stored thereon, which in response to being executed result in a computing device following the method of any one of Claims 13 to 24 performs.
DE112016006066.1T 2015-12-26 2016-11-23 ANALYSIS OF ENVIRONMENTAL LIGHT FOR PICTURE TRACKING Pending DE112016006066T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/757,834 US9785234B2 (en) 2015-12-26 2015-12-26 Analysis of ambient light for gaze tracking
US14/757,834 2015-12-26
PCT/US2016/063582 WO2017112297A1 (en) 2015-12-26 2016-11-23 Analysis of ambient light for gaze tracking

Publications (1)

Publication Number Publication Date
DE112016006066T5 true DE112016006066T5 (en) 2018-09-06

Family

ID=59087083

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016006066.1T Pending DE112016006066T5 (en) 2015-12-26 2016-11-23 ANALYSIS OF ENVIRONMENTAL LIGHT FOR PICTURE TRACKING

Country Status (4)

Country Link
US (1) US9785234B2 (en)
CN (1) CN108475108A (en)
DE (1) DE112016006066T5 (en)
WO (1) WO2017112297A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN109716268B (en) * 2016-09-22 2022-05-17 苹果公司 Eye and head tracking
CN111263925B (en) * 2017-09-28 2022-06-14 苹果公司 Method and apparatus for eye tracking using event camera data
CO2018007555A1 (en) * 2018-07-18 2018-09-20 Univ Autonoma De Bucaramanga Unab Marching trainer system
USD914021S1 (en) 2018-12-18 2021-03-23 Intel Corporation Touchpad display screen for computing device
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
SE543455C2 (en) * 2019-06-28 2021-02-23 Tobii Ab Method and system for 3d cornea position estimation
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100794410B1 (en) 2001-03-16 2008-01-16 권영수 Monitoring System for the Port Trailer Automatic Stoping Position
US6959102B2 (en) * 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
SE524003C2 (en) 2002-11-21 2004-06-15 Tobii Technology Ab Procedure and facility for detecting and following an eye and its angle of view
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
EP1983884B1 (en) * 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US20100103172A1 (en) * 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
EP2549914B1 (en) * 2010-03-22 2019-06-05 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
US8233789B2 (en) 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
EP2632322A1 (en) * 2010-10-29 2013-09-04 IT-universitetet I København Method of determining reflections of light
GB2485969A (en) 2010-11-12 2012-06-06 Sony Corp Video surveillance with anticipated arrival time of object in another camera view
KR101221741B1 (en) 2010-12-01 2013-01-11 서울대학교산학협력단 Camera zoom control system and method using position sensing information
FR2970576B1 (en) * 2011-01-19 2013-02-08 Matchic Labs METHOD FOR DETERMINING THE DIRECTION OF THE LOOK AND DEVICE FOR IMPLEMENTING IT
EP2499963A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US20120270571A1 (en) 2011-04-20 2012-10-25 International Business Machines Corporation Annotating electronic data with geographic locations
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
WO2013117999A1 (en) * 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
CN106132284B (en) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 The tracking of optics eye movement
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US9829547B2 (en) * 2014-05-08 2017-11-28 Resonance Technology, Inc. Head-up display with eye-tracker for MRI applications
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear

Also Published As

Publication number Publication date
US9785234B2 (en) 2017-10-10
WO2017112297A1 (en) 2017-06-29
CN108475108A (en) 2018-08-31
US20170185145A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
DE112016006066T5 (en) ANALYSIS OF ENVIRONMENTAL LIGHT FOR PICTURE TRACKING
DE102018129009A1 (en) Dynamic vision sensor and projector for depth imaging
DE112020003794T5 (en) Depth-aware photo editing
DE102016105471A1 (en) Iris acquisition by imaging with visible light
EP3103059A1 (en) 3-d image analyzer for determining viewing direction
DE112018007721T5 (en) Acquire and modify 3D faces using neural imaging and time tracking networks
DE112013005337T5 (en) Object detection and tracking with variable field lighting devices
WO2009062945A1 (en) Method and device for finding and tracking pairs of eyes
US9959841B2 (en) Image presentation control methods and image presentation control apparatuses
US20200218343A1 (en) Gaze point compensation method and apparatus in display device, and display device
DE202013012943U1 (en) Mobile computers configured to read multiple decodable characters
DE102020117985B4 (en) AN ALTERNATIVE METHOD OF INTERACTING WITH A USER INTERFACE USING STANDARD BARCODE SCANNERS PAIRED WITH AN AUGMENTED REALITY HEADS UP DISPLAY
DE102015110955A1 (en) An information processing device for acquiring an object from an image, a method of controlling the device, and storage media
DE202016107458U1 (en) Transparent lens element in convertible base for camera passage
Li et al. Identification of ASD children based on video data
CN104184936A (en) Image focusing processing method and system based on light field camera
CN109598195B (en) Method and device for processing clear face image based on monitoring video
DE102020200933A1 (en) Active stereo depth sensor projector
DE102022124537A1 (en) METHOD OF CREATING AN OPTIMIZED/ADAPTIVE REGION OF INTEREST (ROI) BASED ON DETECTION OF A BAR CODE POSITION IN FIELD OF VIEW (FOV)
DE102015003537B4 (en) BLOCKAGE DETECTION METHOD FOR A CAMERA AND AN ELECTRONIC DEVICE WITH CAMERAS
CN105590106A (en) Novel face 3D expression and action identification system
TW201603557A (en) Three-dimensional image processing system, apparatus and method for the same
DE102022201468A1 (en) MEASUREMENT BASED ON POINT SELECTION
EP3663976B1 (en) Method for detecting fingerprints
DE102020113972A1 (en) VIDEO ANALYSIS AND MANAGEMENT TECHNIQUES FOR MEDIA ACQUISITION AND STORAGE

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000

R012 Request for examination validly filed