DE112013004801T5

DE112013004801T5 - Multimodaler Berührungsbildschirmemulator

Info

Publication number: DE112013004801T5
Application number: DE112013004801.9T
Authority: DE
Inventors: Sadagopan Srinivasan; Ravishankar Iyer; Rameshkumar Illikkal
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2012-09-28
Filing date: 2013-09-16
Publication date: 2015-07-23
Also published as: WO2014052058A1; CN104541232B; US20140092014A1; US9201500B2; CN104541232A

Abstract

Systeme und Verfahren können das Erfassen einer Benutzereingabe durch Emulieren eines Berührungsbildschirmmechanismus vorsehen. In einem Beispiel kann das Verfahren das Identifizieren eines Punkts von Interesse auf einer Frontanzeige der Vorrichtung basierend auf Blickinformationen eines Benutzers der Vorrichtung, das Identifizieren einer Aktion der Hand basierend auf Gesteninformationen des Benutzers der Vorrichtung und das Einleiten einer Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand umfassen.

Description

HINTERGRUND
GEBIET DER ERFINDUNG
Ausführungsformen beziehen sich im Allgemeinen auf das Erfassen von Benutzereingaben. Insbesondere beziehen sich Ausführungsformen auf das Erfassen von Benutzereingaben durch Emulieren einer Berührungsbildschirmschnittstelle.
Erörterung
Eine Berührungsbildschirmschnittstelle kann es einem Benutzer ermöglichen, die Oberfläche einer Vorrichtung (z. B. eine Anzeigevorrichtung) zu berühren, um die Benutzereingabe zu erleichtern. Zahlreiche moderne Unterhaltungselektronikvorrichtungen (z. B. Tablets, Smartphones etc.) können Berührungsbildschirmschnittstellen nutzen. Leider können Berührungsbildschirmschnittstellen typischerweise die Herstellungskosten dieser Vorrichtungen beträchtlich erhöhen. Tatsächlich können in einigen Fällen 30–40% der Kosten einer Vorrichtung mit Berührungsbildschirm den Kosten der Berührungsbildschirmschnittstelle zugerechnet werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die verschiedenen Vorteile der Ausführungsformen der vorliegenden Erfindung werden einem Fachmann auf diesem Gebiet beim Lesen der nachstehenden Beschreibung und der beigefügten Patentansprüche sowie unter Verwendung der folgenden Zeichnungen offenkundig, in denen:
eine Darstellung einer beispielhaften Interaktion des Benutzers mit einem multimodalen Berührungsbildschirmemulator gemäß einer Ausführungsform ist;
ein Ablaufdiagramm eines beispielhaften Verfahrens zum Nutzen eines multimodalen Berührungsbildschirmemulators gemäß einer Ausführungsform ist;
ein Blockdiagramm eines beispielhaften multimodalen Berührungsbildschirmemulators gemäß einer Ausführungsform ist; und
ein Blockdiagramm eines beispielhaften Systems, das einen multimodalen Berührungsbildschirmemulator gemäß einer Ausführungsform umfasst, ist.
AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen können sich allgemein auf das Erfassen einer Benutzereingabe durch Emulieren eines Berührungsbildschirmmechanismus beziehen. ist eine Darstellung einer beispielhaften Interaktion eines Benutzers 10 mit einem Computersystem 30, das einen multimodalen Berührungsbildschirmemulator (Multi-Modal Touch Screen (MMTS) Emulator) gemäß einer Ausführungsform umfasst. In Ausführungsformen der vorliegenden Erfindung kann der MMTS-Emulator unter anderem mit Blickverfolgung und Gestenverfolgung arbeiten, um eine Berührungsbildschirmschnittstelle zu emulieren.
Der MMTS-Emulator kann mit Blickverfolgung arbeiten, um zu bestimmen, auf was die Aufmerksamkeit des Benutzers 10 gerichtet ist. Insbesondere kann der MMTS-Emulator einen Ort eines Punkts von Interesse 14 (z. B. Anzeigebildschirm/-vorrichtung) durch Identifizieren eines Auges oder mehrerer Augen des Benutzers 10 und durch Verfolgen eines Blicks 12 des einen Auges oder der mehreren Augen zum Punkt von Interesse 14 bestimmen.
In einem Beispiel kann der MMTS-Emulator Präzisionsverfolgung zum Verfolgen einer Iris des Benutzers 10 nutzen. Ist, zum Beispiel, die Aufmerksamkeit des Benutzers 10 auf ein bestimmtes Symbol auf dem Anzeigebildschirm des Computersystems 30 gerichtet, kann der MMTS-Emulator dafür ausgelegt sein, den Blick 12 durch Fokussieren auf die Iris zu verfolgen und das bestimmte Symbol, auf das der Benutzer 10 fokussiert ist, zu bestimmen. Der Blickverfolgungsaspekt des MMTS-Emulators kann, zum Beispiel, beim Erfassen der Anwesenheit eines Menschen (z. B. Erfassen eines menschlichen Kopfes oder Gesichts) in einem erfassten Bild aktiviert werden oder kann kontinuierlich erfolgen (d. h. solange eine angekoppelte Kamera eingeschaltet ist).
Zweitens kann der MMTS-Emulator mit Gestenverfolgung arbeiten, um zu bestimmen, was der Benutzer 10 zu tun beabsichtigt. Das heißt, der MMTS-Emulator kann die Körperbewegungen des Benutzers 10 analysieren, um eine eingabebezogene Geste zu erkennen, und die Geste als eine besondere Aktion der Vorrichtung, die der Benutzer 10 anfordert, einstufen. Somit kann in einem Beispiel der MMTS-Emulator dafür ausgelegt sein, eine oder mehrere Fingerspitze(n) eines Benutzers, wie etwa eine Fingerspitze 20, zu identifizieren und die Bewegungen der einen oder der mehreren Fingerspitze(n) zu analysieren, um eingabebezogene Gesten zu identifizieren. In anderen Beispielen kann sich der MMTS-Emulator auf einen anderen Körperteil des Benutzers (z. B. einen Finger, eine Hand, einen Arm etc.) oder auf ein ebenfalls vom Benutzer bedientes Eingabemittel (z. B. eine Eingabevorrichtung, die vom Benutzer ausgeht) fokussieren.
Ein MMTS-Emulator kann, wie beschrieben, dafür ausgelegt sein, eine Anzahl von Benutzergesten zu identifizieren. Eine solche Geste, die ein MMTS-Emulator erkennt, kann eine Einzelberührungsgeste sein. Eine Einzelberührungsgeste kann einen einzelnen Körperteil (z. B. eine einzelne Fingerspitze, eine einzelne Hand etc.) einschließen, um eine Aktion der Vorrichtung einzugeben. Ein Beispiel einer Einzelberührungsgeste kann eine Bewegung der Fingerspitze des Benutzers von einer linken Anfangskoordinate zu einer rechten Endkoordinate sein. Diese Bewegung kann anzeigen, dass der Benutzer eine entsprechende Bewegung von links nach rechts innerhalb der Computerschnittstelle (z. B. auf einer Anzeigeschnittstelle) vorzunehmen beabsichtigt. In ähnlicher Weise kann ein MMTS-Emulator dafür ausgelegt sein, unter anderem eine Bewegung von rechts nach links, eine Bewegung von oben nach unten, eine Bewegung von unten nach oben, diagonale Bewegungen und so weiter einzustufen. Weiterhin kann der MMTS-Emulator dafür ausgelegt sein, zum Beispiel (und nicht beschränkt auf) eine Startbewegung, eine Halbewegung, eine Öffnungsbewegung, eine Schließbewegung, eine Aktivierungsbewegung oder eine Abschaltbewegung auch seitens des Benutzers zu erkennen und einzustufen.
Der MMTS-Emulator kann auch dafür ausgelegt sein, eine Mehrfachberührungsgeste zu erkennen. Eine Mehrfachberührung kann mehr als einen Körperteil zum Eingeben einer Aktion der Vorrichtung einschließen. Somit kann, zum Beispiel, im Fall einer „Heran-Zoom-”Geste der MMTS-Emulator dafür ausgelegt sein, zu erkennen, dass der Benutzer zwei Fingerspitzen zusammenführt. Alternativ kann der MMTS-Emulator dafür ausgelegt sein, eine „Heraus-Zoom”-Geste zu identifizieren, indem er erkennt, dass der Benutzer zwei Fingerspitzen spreizt. Ähnlich dem Blickverfolgungsaspekt kann der Gestenverfolgungsaspekt des MMTS-Emulators kontinuierlich arbeiten (d. h. solange eine angekoppelte Kamera eingeschaltet ist), oder bei Erkennen der Gegenwart eines Menschen (z. B. Erfassen eines menschlichen Kopfes oder Gesichts) in einem erfassten Bild aktiviert werden.
ist ein Flussdiagramm eines beispielhaften Verfahrens 40, das mit einem MMTS-Emulator gemäß einer Ausführungsform arbeitet. Das Verfahren 40 könnte als ein Satz logischer Anweisungen implementiert sein, die auf einem maschinen- oder computer-lesbaren Speichermedium, wie z. B. Speicher mit wahlfreiem Zugriff (Random Access Memory, RAM), Festwertspeichern (Read Only Memory, ROM), programmierbarer Festwertspeicher (Programmable ROM, PROM), Firmware, Flash-Speicher, etc., in konfigurierbarer Logik wie programmierbare logische Anordnungen (Programmable Logic Arrays, PLAs), feldprogrammierbare Gatteranordnungen (Field Programmable Gate Arrays, FPGAs), komplexe programmierbare Logikbausteine (Complex Programmable Logic Devices, CPLDs), in Logik-Hardware mit fester Funktionalität basierend auf Schaltungstechnik wie etwa anwendungsspezifische integrierte Schaltung (Application Specific Integrated Circuit, ASIC), komplementäre Metalloxid-Halbleiter (Complementary Metal Oxide Semiconductor, CMOS) oder Transistor-Transistor-Logik-(TTL)Technologie, oder einer beliebigen Kombination derselben gespeichert sind. Zum Beispiel kann ein Computerprogrammcode zum Ausführen von Operationen, die im Verfahren 40 dargestellt sind, in jeder beliebigen Kombination von einer oder mehreren Programmiersprache(n), einschließlich einer objektbezogenen Programmiersprache, wie zum Beispiel Java, Smalltalk, C++ oder desgleichen, sowie herkömmlichen prozeduralen Programmiersprachen, wie etwa die Programmiersprache „C”, oder ähnlichen Programmiersprachen geschrieben sein.
Bei Verarbeitungsblock 42 kann ein MMTS-Emulator Informationen bezüglich des Benutzerblicks zum Identifizieren eines Punkts von Interesse verfolgen. In diesem Beispiel kann der MMTS-Emulator dafür ausgelegt sein, mit Präzisionsverfolgung zu arbeiten, um die Iris des Benutzers zu einem Symbol zu verfolgen, das auf einem Anzeigebildschirm dargestellt ist und das der Benutzer von links nach rechts bewegen (z. B. ziehen und ablegen) möchte.
Der Blick des Benutzers kann auf einen ersten Punkt auf der Anzeige der Vorrichtung (z. B. mit den Koordinaten (G)x₁, (G)y₁) fokussiert sein, wobei das Symbol anfänglich auf dem Anzeigebildschirm platziert ist. Wenn der Benutzer eine Geste ausführt, um eine gewünschte Bewegung von links nach rechts anzuzeigen, bewegt sich der Blick des Benutzers entsprechend vom ersten Punkt zum zweiten Punkt auf der Anzeige der Vorrichtung (z. B. mit den Koordinaten (G)x₂, (G)y₂). Der MMTS-Emulator kann diese Blickinformationen mit einem Zeitstempel versehen und zur Analyse in eine Speichervorrichtung eingeben.
Bei Verarbeitungsblock 44 kann der MMTS-Emulator fortlaufend Informationen bezüglich der Gesten des Benutzers verfolgen, um zu identifizieren, was der Benutzer zu tun beabsichtigt. Die verfolgte Bewegung kann eine eindimensionale (1D) Bewegung, eine zweidimensionale (2D) Bewegung und eine dreidimensionale (3D) Bewegung oder jede beliebige Kombination davon sein. Somit kann in diesem Beispiel der Benutzer eine gewünschte Bewegung des Symbols durch Bewegen der Fingerspitze in Richtung auf die Anzeige (z. B. Symbolauswahl), Ausführen einer entsprechenden Bewegung der Fingerspitze von links nach rechts (z. B. Ziehen des Symbols), und Bewegen der Fingerspitze weg von der Anzeige (z. B. Ablegen des Symbols) anzeigen. Der MMTS-Emulator kann ein oder mehrere Bild(er) der Hand des Benutzers erfassen und eine Objekterkennung und/oder -erfassung durchführen, um sowohl die Hand und/oder die Fingerspitze als auch diese entsprechenden Aktionen der Hand zu identifizieren. Der MMTS-Emulator kann die Aktionen der Hand mit einem Zeitstempel versehen und als Gesteninformationen zur Analyse in eine Speichervorrichtung eingeben.
Bei Verarbeitungsblock 46 kann der MMTS-Emulator die Gesten und Blickinformationen des Benutzers synchronisieren, um Aktionen der Vorrichtung einzuleiten. Somit kann in diesem Beispiel der MMTS-Emulator auf die Blickinformationen (d. h. dass der Benutzer auf ein bestimmtes Symbol fokussiert ist und dass der Fokus des Benutzers sich von der ersten Koordinate (G)x₁, (G)y₁ zur zweiten Koordinate (G)x₂, (G)y₂) bewegt hat) zugreifen und sie mit den Gesteninformationen (d. h. Handaktionen) synchronisieren. Der MMTS-Emulator kann diese zwei Informationen synchronisieren, um zu bestimmen, dass das Symbol auszuwählen (z. B. aufgrund der erkannten Bewegung der Fingerspitze in Richtung Anzeige, während der Blick bei (G)x₁, (G)y₁ liegt), von einem ersten Punkt auf dem Anzeigebildschirm weg zu einem zweiten Punkt auf dem Anzeigebildschirm zu bewegen (z. B. aufgrund der erkannten Bewegung der Fingerspitze von links nach rechts) und loszulassen (aufgrund der erfassten Bewegung der Fingerspitze weg vom Bildschirm, während der Blick bei (G)x₂, (G)y₂ liegt) ist. Dementsprechend kann der MMTS-Emulator eine Berührungsbildschirmschnittstelle emulieren. Beim Synchronisieren dieser zwei Informationsarten zum Bestimmen der angeforderten Aktion der Vorrichtung kann der MMTS-Emulator ein Steuersignal senden, um das Symbol in entsprechender Weise auf dem Bildschirm zu bewegen.
Die Abfolge und Nummerierung der in dargestellten Blöcke ist nicht gedacht, eine Reihenfolge von Arbeitsabläufen unter Ausschluss anderer Möglichkeiten vorzugeben. Fachleute auf diesem Gebiet werden einsehen, dass die vorstehenden Systeme und Verfahren verschiedenen Modifikationen, Variationen und Änderungen unterliegen können.
Zum Beispiel kann in der vorstehend beschriebenen Ausführungsform der MMTS-Emulator fortlaufend die Gesten- und Blickinformationen eines Benutzers verfolgen. Dies muss jedoch nicht unbedingt der Fall sein. In einer anderen beispielhaften Ausführungsform kann der MMTS-Emulator dafür ausgelegt sein, die Gesteninformationen heranzuziehen, um die eingehenden Augeninformationen zu „filtern”. Das heißt, zum Beispiel, dass ein MMTS-Emulator dafür ausgelegt sein kann, bei eingehenden Augeninformationen solange nicht zu reagieren, bis eine Geste erkannt worden ist. Nach Erkennen einer Geste kann ein MMTS-Emulator (z. B. über ein Integrationsmodul) dann die eingehenden Blick- und Gesteninformationen synchronisieren, die einzuleitende Aktion bestimmen und ein Steuersignal zum Durchführen der Aktion übermitteln.
Ebenso kann in einer anderen beispielhaften Ausführungsform der MMTS-Emulator Blickinformationen nutzen, um die Gesteninformationen zu überprüfen. Somit kann, zum Beispiel, beim Erkennen und Einstufen einer Benutzergeste der MMTS-Emulator auch die Geste vor einer Aktion überprüfen, indem gewährleistet wird, dass der Blick des Benutzers auf einen relevanten Teil des Anzeigebildschirms fokussiert war. In einem anderen Beispiel kann der MMTS-Emulator die Geste vor einer Aktion überprüfen, indem er verifiziert, dass der Abstand des Körpers des Benutzers innerhalb einer vordefinierten oder relevanten Entfernung lag.
ist ein Blockschaltbild einer beispielhaften Vorrichtung 50 gemäß einer Ausführungsform. In diesem Beispiel kann die Vorrichtung 50 eine Kamerakonfiguration 100, einen MMTS-Emulator 200, eine Anzeigesteuerung 300 und eine Anzeigevorrichtung 400 umfassen.
Die Kamerakonfiguration 100 kann jede Vorrichtung umfassen, die dafür ausgelegt ist, ein Bild und/oder eine Videozuspielung eines Objekts oder Bildes zu erfassen. Somit kann in diesem Beispiel die Kamerakonfiguration 100 eine erste Kamera 101 zum Gestenerfolgen und eine zweite Kamera 102 zum Blickverfolgen einschließen. Die erste Kamera 101 und die zweite Kamera 102 können gemäß einem relevanten Gesichtsfeld angeordnet und kalibriert sein. Zum Beispiel kann die erste Kamera 101 für ein breites Gesichtsfeld angeordnet sein, das dafür ausgelegt ist, nahezu den gesamten Körper des Benutzers einzuschließen, und ferner kalibriert sein, den Fokus auf den Oberkörper des Benutzers zu richten. Andererseits kann die zweite Kamera 102 für ein schmales Gesichtsfeld angeordnet sein, das dafür ausgelegt ist, den Fokus auf den Kopf des Benutzers zu richten, und ferner kalibriert sein, den Fokus auf die Augen des Benutzers zu richten. Das Anordnen und Kalibrieren der Kamerakonfiguration 100 kann manuell oder automatisch (d. h. über eine Softwareanwendung) erfolgen.
Wie vorstehend erörtert, kann der MMTS-Emulator 200 gesteuert werden, um unter anderem Blick- und Gesteninformationen von der Kamerakonfiguration 100 zu erhalten, diese Informationen zu analysieren, um eine von einem Benutzer angeforderte Aktion der Vorrichtung zu bestimmen, und die Aktion der Vorrichtung einzuleiten. Der MMTS-Emulator 200 kann eine Kameraschnittstelle 201, ein Blickerkennungsmodul 202 (z. B. Blickerkennungsbeschleuniger), ein Gestenerkennungsmodul 203 (z. B. Gestenerkennungsbeschleuniger) und ein Integrationsmodul 204 aufweisen.
Die Kameraschnittstelle 201 kann dem MMTS-Emulator 200 die Möglichkeit geben, mit der Kamerakonfiguration 100 zu kommunizieren. Im Besonderen kann die Kameraschnittstelle 201 Videodaten (einschließlich Blick- und Gesteninformationen eines Benutzers) empfangen, die von der Kamerakonfiguration 100 gesendet werden, und die Videodaten zur Analyse an andere Komponenten des MMTS-Emulators 200 weiterleiten.
Das Blickerkennungsmodul 202 kann dafür ausgelegt sein, die Blickinformationen des Benutzers zu empfangen, zu speichern und zu analysieren, um zu bestimmen, wohin die Aufmerksamkeit des Benutzers gerichtet ist. Zum Beispiel kann, wie vorstehend erörtert, das Blickerkennungsmodul 202 den Punkt des Benutzerblicks bestimmen und den Punkt des Benutzerblicks auf eine bestimmte Stelle auf einem Anzeigebildschirm abbilden.
Das Gestenerkennungsmodul 203 kann dafür ausgelegt sein, die Gesteninformationen des Benutzers zu empfangen, zu speichern und zu analysieren, um zu bestimmen, was der Benutzer zu tun beabsichtigt. Zum Beispiel kann, wie vorstehend erörtert, das Gestenerkennungsmodul 203 die Geste eines Benutzers erkennen, indem es die Körperbewegungen des Benutzers (z. B. Fingerspitzenbewegungen) verfolgt, und die Körperbewegung als eine Geste und/oder Aktion der Hand einstufen.
Das Integrationsmodul 204 kann Blickinformationen des Benutzers vom Blickerkennungsmodul 202 und Gesteninformationen des Benutzers vom Gestenerkennungsmodul 203 empfangen, um eine Aktion der Vorrichtung einzuleiten und eine Berührungsbildschirmschnittstelle (wie vorstehend erörtert) zu emulieren. Somit kann, zum Beispiel, das Integrationsmodul 204 die eingehenden Gesteninformationen und Blickinformationen synchronisieren, um zu bestimmen, dass der Benutzer das Bewegen eines bestimmten Symbols von einem ersten Punkt zu einem zweiten Punkt anfordert.
In diesen Ausführungsformen der vorliegenden Erfindung kann der MMTS-Emulator 200 wenigstens eine von einer Hardwarekomponente, etwa ein Schaltungselement (z. B. einschließlich Transistoren, Widerstände, Kondensatoren, Induktoren und dergleichen), eine integrierte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC), ein programmierbarer Logikbaustein (PLD), digitale Signalprozessoren (DSP), feldprogrammierbare Gatteranordnung (FPGA), Logikgatter, eine Frmwarekomponente, ein Register, Halbleiterbauelement, Chips, Mikrochips, Chipsätze und so weiter sein. Ferner kann in anderen Ausführungsformen der MMTS-Emulator 200 auch über eine Softwareanwendung implementiert sein. In dieser Ausführungsform kann der MMTS-Emulator 200 einen Vorrichtungstreiber in einem Eingangs-/Ausgangsmodul aufweisen. Zum Beispiel kann das Integrationsmodul 204 einen Maustreiber nutzen, um Aktionen der Vorrichtung gemäß den vorstehend genannten Blickinformationen und Gesteninformationen zu veranlassen.
Die Anzeigevorrichtung 400 kann eine Ausgangsvorrichtung sein, die elektronische Informationen in visueller Form darstellt. Die Anzeigesteuerung 300 kann eine Steuerung sein, die mit der Anzeigevorrichtung 400 verbunden ist. Somit kann, zum Beispiel, die Anzeigesteuerung 300 ein Steuersignal vom Integrationsmodul 204 erhalten und eine entsprechende Aktion der Vorrichtung ausführen, die auf der Anzeigevorrichtung 400 dargestellt wird.
Die Abfolge und Nummerierung der in dargestellten Blöcke ist nicht gedacht, eine Reihenfolge von Arbeitsabläufen unter Ausschluss anderer Möglichkeiten vorzugeben. Fachleute auf diesem Gebiet werden einsehen, dass die vorstehenden Systeme und Verfahren verschiedenen Modifikationen, Variationen und Änderungen unterliegen können. Zum Beispiel kann in der vorstehend beschriebenen Ausführungsform der MMTS-Emulator 200 an die Anzeigesteuerung 300 gekoppelt sein, die an eine Anzeigevorrichtung 400 gekoppelt sein kann. Der MMTS-Emulator 200 kann ein Steuersignal senden, um eine Aktion der Vorrichtung auf der Anzeigevorrichtung 400 auszuführen. Dies muss jedoch nicht unbedingt der Fall sein. In einem anderen Beispiel kann ein MMTS-Emulator an eine andere Vorrichtung durch eine andere Vorrichtungssteuerung gekoppelt sein. Zum Beispiel kann ein MMTS-Emulator an eine Eingangs-/Ausgangs-(E/A)Vorrichtungssteuerung (z. B. eine Maussteuerung) gekoppelt sein, die mit einer E/A-Vorrichtung (z. B. einer Maus) gekoppelt sein kann.
ist ein Blockschaltbild eines beispielhaften Systems 1000, das einen MMTS-Emulator 1501 gemäß einer Ausführungsform umfasst. Beispiele des Systems 1000 können ein/e/n Laptop, Desktop, persönlichen digitalen Assistenten (PDA), Medienwiedergabegerät, mobile Internetvorrichtung (MID), beliebiges Smart-Device, wie etwa ein Smartphone, Smart Tablet, Smart-Fernsehen oder dergleichen umfassen. In diesem Beispiel kann das System 1000 ein Smartphone sein. Das veranschaulichte System 1000 weist eine Kamerakonfiguration 1100, eine Anzeigevorrichtung 1200, ein E/A-Modul 11500, eine Verarbeitungskomponente 1400, einen Systemspeicher 1600 und einen Massenspeicher 1700 auf.
Ähnlich wie bei der Kamerakonfiguration 100 ( ), kann die Kamerakonfiguration 1100 jede beliebige Vorrichtung umfassen, die dafür ausgelegt ist, ein Bild oder eine Videozuspielung eines Objekts oder Bildes zu erfassen. In diesem Beispiel kann die Kamerakonfiguration 100 eine erste Kamera 1101 und eine zweite Kamera 1102 umfassen. Die erste Kamera 1101 kann zum Beispiel zur Gestenverfolgung genutzt werden, während die zweite Kamera 1102 zur Blickverfolgung eingesetzt werden kann.
Die Anzeigevorrichtung 400 kann ein Ausgabegerät sein, das elektronische Informationen in visueller Form darstellt. Zum Beispiel kann ein von der Kamerakonfiguration 1100 erfasstes Video auf der Anzeigevorrichtung 1200 zum Betrachten dargestellt werden.
Die Verarbeitungskomponente 1400 kann wenigstens einen Computerprozessor aufweisen, der genutzt werden kann, um computerlesbare ausführbare Anweisungen auszuführen. Der Prozessor kann eine integrierte Speichersteuerung (IMC) 1401 aufweisen. Der Prozessor 1400 kann mit dem Systemspeicher 1600 über die IMC 1401 kommunizieren.
Das E/A-Modul 1500 kann genutzt werden, um Eingaben (z. B. Benutzereingaben) und Ausgaben (z. B. Anzeigebefehle) für das System 1000 zu erleichtern. Das E/A-Modul kann einen MMTS-Emulator 1501, ähnlich dem MMTS-Emulator 200 ( ), wie bereits erörtert, aufweisen.
Der Systemspeicher 1600 und der Massenspeicher 1700 können jede beliebige Komponente oder Vorrichtung sein, die Daten speichern können. In diesem Beispiel kann der Systemspeicher 1600 dafür ausgelegt sein, unter anderem Informationen bezüglich des Betriebs des Systems 1000 zu speichern. Der Massenspeicher 1700 kann genutzt werden, um zum Beispiel persönliche Daten eines Benutzers zu speichern.
Die Abfolge und Nummerierung der in dargestellten Blocks ist nicht gedacht, eine Reihenfolge von Arbeitsabläufen unter Ausschluss anderer Möglichkeiten vorzugeben. Fachleute auf diesem Gebiet werden einsehen, dass die vorstehenden Systeme und Verfahren verschiedenen Modifikationen, Variationen und Änderungen unterliegen können.
Zum Beispiel kann in der vorstehend beschriebenen Ausführungsform die Kamerakonfiguration 1100 eine erste Kamera 1101 und eine zweite Kamera 1102 umfassen. Dies muss jedoch nicht unbedingt der Fall sein. Eine Ausführungsform kann jede beliebige Anzahl von Kameras umfassen. Somit kann, zum Beispiel, in einer anderen beispielhaften Ausführungsform eine Kamerakonfiguration eine einzelne Kamera umfassen. Diese Kamera kann platziert und kalibriert sein, sowohl Blickinformationen als auch Gesteninformationen eines Benutzers zu erfassen.
Ausführungsformen können daher ein Verfahren vorsehen, das das Empfangen eines ersten Bildes von einer ersten Frontkamera einer Vorrichtung mit einer Frontanzeige umfasst, ein oder mehrere Auge(n) eines Benutzers der Vorrichtung basierend auf dem ersten Bild identifiziert und eine Blickposition eines oder mehrerer Augen auf der Frontanzeige bestimmt. Das Verfahren kann auch das Bestimmen einer Änderung der Blickposition, das Empfangen eines zweiten Bildes von einer zweiten Frontkamera der Vorrichtung, das Identifizieren eines Punkts von Interesse auf der Frontanzeige basierend auf Blickinformationen, wobei die Blickinformationen eine Blickposition und die Änderung der Blickposition einschließen, und das Identifizieren einer Hand des Benutzers basierend auf dem zweiten Bild vorsehen. Das Verfahren kann auch das Identifizieren einer oder mehrerer Fingerspitze(n) der Hand des Benutzers basierend auf dem zweiten Bild und Bestimmen einer Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n) einschließen. Ferner kann das Verfahren das Identifizieren einer Aktion der Hand basierend auf Gesteninformationen, wobei die Gesteninformationen die Bewegung einschließen soll und die Bewegung eine oder mehrere von einer 1D-Bewegung, einer 2D-Bewegung und einer 3D-Bewegung sein soll, und das Einleiten einer Aktion der Vorrichtung hinsichtlich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand umfassen.
In einem Beispiel kann das Verfahren das Einstufen der Bewegung als Aktion der Vorrichtung umfassen, wobei die Aktion der Vorrichtung eins oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang beinhaltet.
In einem anderen Beispiel schließt das Einleiten der Aktion der Vorrichtung das Senden einer Anforderung an einen Vorrichtungstreiber ein, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber umfasst.
In noch einem anderen Beispiel kann das Verfahren das Synchronisieren der Blickinformationen mit den Gesteninformationen und das Erfassen eines oder mehrerer der Blickinformation(en) und der Gesteninformation(en) umfassen.
Ausführungsformen können auch ein computerlesbares Speichermedium umfassen, das einen Satz von Anweisungen umfasst, die, wenn sie von einem Prozessor ausgeführt werden, bewirken können, dass eine Vorrichtung einen Punkt von Interesse auf einer Frontanzeige der Vorrichtung basierend auf Blickinformationen eines Benutzers der Vorrichtung identifiziert. Der Satz von Anweisungen kann auch bewirken, dass eine Vorrichtung eine Aktion der Hand basierend auf Gesteninformationen des Benutzers der Vorrichtung identifiziert und eine Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einleitet.
In einem Beispiel bewirken die Anweisungen, wenn sie ausgeführt werden, dass die Vorrichtung Bilddaten von einer Frontkamerakonfiguration der Vorrichtung empfängt und die Blickinformationen und die Gesteninformationen basierend auf den Bilddaten identifiziert.
In einem anderen Beispiel bewirken die Anweisungen, wenn sie ausgeführt werden, dass die Vorrichtung ein erstes Bild von einer ersten Kamera der Kamerakonfiguration empfängt und ein zweites Bild von einer zweiten Kamera der Kamerakonfiguration empfängt, wobei die Bilddaten das erste Bild und das zweite Bild einschließen und die Blickinformationen basierend auf dem ersten Bild und die Gesteninformationen basierend auf dem zweiten Bild bestimmt werden sollen.
In noch einem anderen Beispiel bewirken die Anweisungen, wenn sie ausgeführt werden, dass die Vorrichtung ein oder mehrere Auge(n) des Benutzers identifiziert, eine Blickposition von einem oder mehreren Auge(n) auf der Frontanzeige bestimmt und eine Änderung der Blickposition bestimmt, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
In noch einem anderen Beispiel bewirken die Anweisungen, wenn sie ausgeführt werden, dass die Vorrichtung eine Hand des Benutzers identifiziert, eine oder mehrere Fingerspitze(n) der Hand des Benutzers identifiziert und eine Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n) bestimmt, wobei die Gesteninformationen die Bewegung einschließen sollen und die Bewegung eine oder mehrere von einer 1D-Bewegung, einer 2D-Bewegung und einer 3D-Bewegung sein soll.
In einem Beispiel bewirken die Anweisungen, wenn sie ausgeführt werden, dass die Vorrichtung die Bewegung als die Aktion der Vorrichtung einstuft, wobei die Aktion der Vorrichtung einen oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
In einem anderen Beispiel bewirken die Anweisungen, wenn sie ausgeführt werden, dass die Vorrichtung eine Anforderung an einen Vorrichtungstreiber zum Einleiten der Aktion der Vorrichtung sendet, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber einschließen soll.
In noch einem anderen Beispiel bewirken die Anleitungen, wenn sie ausgeführt werden, dass die Vorrichtung die Blickinformationen mit den Gesteninformationen synchronisiert und eine oder mehrere der Blickinformation(en) und der Gesteninformation(en) erfasst.
Eine noch andere Ausführungsform kann eine Vorrichtung vorsehen, die ein Blickerkennungsmodul, um einen Punkt von Interesse auf einer Frontanzeige einer Vorrichtung basierend auf Blickinformationen des Benutzers zu identifizieren, ein Gestenerkennungsmodul, um eine Aktion der Hand basierend auf Gesteninformationen des Benutzers der Vorrichtung zu identifizieren, und ein Integrationsmodul, um eine Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einzuleiten, umfasst.
In einem Beispiel kann die Vorrichtung eine Kameraschnittstelle aufweisen, um Bilddaten von einer Frontkamerakonfiguration der Vorrichtung zu empfangen, wobei das Blickerkennungsmodul die Blickinformationen basierend auf den Bilddaten identifizieren und das Gestenerkennungsmodul die Gesteninformationen basierend auf den Bilddaten identifizieren soll.
In einem Beispiel soll die Kameraschnittstelle ein erstes Bild von einer ersten Kamera der Kamerakonfiguration empfangen und ein zweites Bild von einer zweiten Kamera der Kamerakonfiguration empfangen, wobei die Bilddaten das erste Bild und das zweite Bild einschließen sollen, das Blickerkennungsmodul soll die Blickinformationen basierend auf dem ersten Bild bestimmen, und das Gestenerkennungsmodul soll die Gesteninformationen basierend auf dem zweiten Bild bestimmen.
In einem Beispiel soll das Blickerkennungsmodul ein oder mehrere Auge(n) des Benutzers identifizieren, eine Blickposition von einem oder mehreren Auge(n) auf der Frontanzeige bestimmen und eine Änderung der Blickposition bestimmen, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
In einem anderen Beispiel soll das Gestenerkennungsmodul eine Hand des Benutzers identifizieren, eine oder mehr Fingerspitze(n) der Hand des Benutzers identifizieren und eine Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n) bestimmen, wobei die Gesteninformationen die Bewegung einschließen soll und die Bewegung eine oder mehrere von einer ID-Bewegung, einer 2D-Bewegung und einer 3D-Bewegung sein soll.
In noch einem anderen Beispiel soll das Integrationsmodul die Bewegung als eine Aktion der Hand einstufen, wobei die Aktion der Vorrichtung eine oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
In noch einem anderen Beispiel soll das Integrationsmodul eine Anforderung an einen Vorrichtungstreiber senden, um die Aktion der Vorrichtung einzuleiten, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber einschließen soll.
In einem Beispiel soll das Integrationsmodul die Blickinformationen mit den Gesteninformationen synchronisieren und eine oder mehrere der Blickinformation(en) und der Gesteninformation(en) erfassen.
Eine andere Ausführungsform kann eine Vorrichtung vorsehen, die eine Frontanzeige und einen Berührungsbildschirmemulator umfasst. Der Berührungsbildschirmemulator kann ein Blickerkennungsmodul, um einen Punkt von Interesse auf der Frontanzeige basierend auf Blickinformationen eines Benutzers der Vorrichtung zu identifizieren, ein Gestenerkennungsmodul, um eine Aktion der Hand basierend auf Gesteninformationen eines Benutzers der Vorrichtung zu identifizieren, und ein Integrationsmodul, um eine Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einzuleiten, umfassen.
In einem Beispiel kann die Vorrichtung eine Frontkamerakonfiguration aufweisen, wobei der Berührungsbildschirmemulator ferner eine Kameraschnittstelle einschließt, um Bilddaten von der Frontkamerakonfiguration zu empfangen, das Blickerkennungsmodul die Blickinformationen basierend auf den Bilddaten identifizieren soll und das Gestenerkennungsmodul die Gesteninformationen basierend auf den Bilddaten identifizieren soll.
In einem anderen Beispiel umfasst die Kamerakonfiguration eine erste Kamera und eine zweite Kamera, wobei die Kameraschnittstelle ein erstes Bild von der ersten Kamera der Kamerakonfiguration empfangen soll. Die Kameraschnittstelle soll auch ein zweites Bild von der zweiten Kamera der Kamerakonfiguration empfangen, wobei die Bilddaten das erste Bild und das zweite Bild einschließen sollen, das Blickerkennungsmodul die Blickinformationen basierend auf dem ersten Bild bestimmen soll und das Gestenerkennungsmodul die Gesteninformationen basierend auf dem zweiten Bild bestimmen soll.
In einem Beispiel soll das Blickerkennungsmodul ein oder mehrere Auge(n) des Benutzers identifizieren, eine Blickposition von dem einen oder mehreren Auge(n) auf der Frontanzeige bestimmen und eine Änderung der Blickposition bestimmen, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
In einem anderen Beispiel soll das Gestenerkennungsmodul der Vorrichtung eine Hand des Benutzers identifizieren, eine oder mehrere Fingerspitze(n) der Hand des Benutzers identifizieren und eine Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n) identifizieren, wobei die Gesteninformationen die Bewegung einschließen sollen und die Bewegung eine oder mehrere von einer 1D-Bewegung, einer 2D-Bewegung und einer 3D-Bewegung sein soll.
In noch einem anderen Beispiel soll das Integrationsmodul der Vorrichtung die Bewegung als die Aktion der Vorrichtung einstufen, wobei die Aktion der Vorrichtung einen oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
In einem Beispiel soll das Integrationsmodul der Vorrichtung eine Anforderung an einen Vorrichtungstreiber senden, um die Aktion der Vorrichtung einzuleiten, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber einschließen soll.
In noch einem anderen Beispiel soll das Integrationsmodul der Vorrichtung die Blickinformationen mit den Gesteninformationen synchronisieren und eine oder mehrere der Blickinformation(en) und der Gesteninformation(en) erfassen.
Eine andere Ausführungsform kann daher ein Verfahren vorsehen, welches das Identifizieren eines Punkts von Interesse auf einer Frontanzeige der Vorrichtung basierend auf Blickinformationen eines Benutzers der Vorrichtung und das Identifizieren einer Aktion der Hand basierend auf Gesteninformationen des Benutzers der Vorrichtung beinhaltet. Das Verfahren kann auch das Einleiten einer Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einschließen.
In einem Beispiel beinhaltet das Verfahren das Empfangen von Bilddaten von einer Frontkamerakonfiguration der Vorrichtung und das Identifizieren der Blickinformationen und der Gesteninformationen basierend auf den Bilddaten.
In einem anderen Beispiel beinhaltet das Verfahren das Empfangen eines ersten Bildes von einer ersten Kamera der Kamerakonfiguration und das Empfangen eines zweiten Bildes von einer zweiten Kamera der Kamerakonfiguration. Die Bilddaten sollen das erste Bild und das zweite Bild einschließen, die Blickinformationen sollen basierend auf dem ersten Bild bestimmt werden und die Gesteninformationen sollen basierend auf dem zweiten Bild bestimmt werden.
In noch einem anderen Beispiel beinhaltet das Verfahren das Identifizieren eines Auges oder mehrerer Augen des Benutzers, das Bestimmen einer Blickposition des einen Auges oder der mehreren Augen auf der Frontanzeige und das Bestimmen einer Änderung der Blickposition, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
In noch einem anderen Beispiel beinhaltet das Verfahren das Identifizieren einer Hand des Benutzers, das Identifizieren einer oder mehrerer Fingerspitze(n) der Hand des Benutzers und das Bestimmen einer Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n). In diesem Beispiel sollen die Gesteninformationen die Bewegung einschließen, und die Bewegung soll eine oder mehrere von einer eindimensionalen (1D) Bewegung, einer zweidimensionalen (2D) Bewegung und einer dreidimensionalen (3D) Bewegung sein.
In einem anderen Beispiel beinhaltet das Verfahren das Einstufen der Bewegung als die Aktion der Vorrichtung, wobei die Aktion der Vorrichtung einen oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
In einem Beispiel weist das Verfahren das Senden einer Anforderung an einen Vorrichtungstreiber auf, um die Aktion der Vorrichtung einzuleiten, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber einschließen soll.
In einem anderen Beispiel weist das Verfahren das Synchronisieren der Blickinformationen mit den Gesteninformationen sowie das Einstufen einer oder mehrerer der Blickinformation(en) und der Gesteninformation(en) auf.
Verschiedene Ausführungsformen können unter Verwenden von Hardwareelementen, Softwareelementen oder einer Kombination von beiden implementiert werden. Beispiele für Hardwareelemente können Prozessoren, Mikroprozessoren, Schaltungen, Schaltelemente (z. B. Transistoren, Widerstände, Kondensatoren, Induktoren und so weiter), integrierte Schaltungen, anwendungsspezifische integrierte Schaltungen (ASIC), programmierbare Logikbausteine (PLD), digitale Signalprozessoren (DSP), feldprogrammierbare Gatteranordnungen (FPGA), Logikgatter, Register, Halbleiterbauelemente, Chips, Mikrochips, Chipsätze und so weiter umfassen. Softwarebeispiele können Softwarekomponenten, Programme, Anwendungen, Computerprogramme, Anwendungsprogramme, Systemprogramme, Maschinenprogramme, Betriebssystemsoftware, Middleware, Firmware, Softwaremodule, Routinen, Unterprogramme, Funktionen, Verfahren, Abläufe, Softwareschnittstellen, Anwendungsprogramm-Schnittstellen (Application Program Interfaces, API), Anweisungssätze, Rechencodes, Computercode, Codesegmente, Computercodesegmente, Wörter, Werte, Symbole oder jede beliebige Kombination davon einschließen. Das Bestimmen, ob eine Ausführungsform unter Verwendung von Hardwareelementen und/oder Softwareelementen implementiert wird, kann gemäß jeder beliebigen Anzahl von Faktoren variieren, wie etwa gewünschter Rechengeschwindigkeit, Leistung, Wärmetoleranzen, Verarbeitungszyklusbudget, Eingangsdatenrate, Ausgangsdatenrate, Speicherressourcen, Datenbusgeschwindigkeiten und anderen Konstruktions- oder Leistungsbeschränkungen.
Ein oder mehrere Aspekt(e) von wenigstens einer Ausführungsform kann/können durch repräsentative Anweisungen implementiert sein, die auf einem maschinenlesbaren Medium gespeichert sind, das verschiedene Logik im Prozessor repräsentiert, die, wenn sie von einer Maschine gelesen wird, bewirkt, dass die Maschine Logik herstellt, um die in dieser Patentanmeldung beschriebenen Verfahren auszuführen. Derartige Darstellungen, die als „IP-Kerne” bekannt sind, können auf einem gegenständlichen, maschinenlesbaren Medium gespeichert und verschiedenen Kunden oder Produktionseinrichtungen bereitgestellt werden, um sie in die Fertigungsmaschinen, die die Logik oder den Prozessor herstellen, einzugeben.
Ausführungsformen der vorliegenden Erfindung sind bei allen Arten von Halbleiterchips mit integrierter Schaltung (IC) anwendbar. Beispiele für diese IC-Chips beinhalten unter anderem, sind aber nicht beschränkt auf, Prozessoren, Steuerungen, Chipsatzkomponenten, programmierbare logische Anordnungen (Programmable Logic Arrays, PLAs), Speicherchips, Netzwerkchips und dergleichen. Weiterhin werden in einigen Zeichnungen Signalleiterbahnen durch Linien dargestellt. Einige können unterschiedlich sein, um mehrere einzelne Signalwege zu kennzeichnen, eine Nummerierung tragen, um eine Anzahl von einzelnen Signalwegen anzugeben, und/oder an einem oder mehreren Ende(n) Pfeile aufweisen, um die Hauptrichtung des Informationsflusses anzuzeigen. Dies sollte jedoch nicht in einschränkender Weise ausgelegt werden. Vielmehr kann ein solches zusätzliches Detail im Zusammenhang mit einer oder mehreren beispielhaften Ausführungsform(en) genutzt werden, um eine Schaltung verständlicher zu machen. Alle dargestellten Signalleitungen, sei es mit oder ohne zusätzliche Informationen, können ein oder mehrere Signal(e) umfassen, das/die sich in mehrere Richtungen ausbreitet/ausbreiten, und mit jeder geeigneten Art von Signalschema, z. B. digitale oder analoge Leitungen, die mit Differentialpaaren, Glasfaserleitungen und/oder Leitungen mit einseitigem Anschluss realisiert sind, implementiert werden können.
Möglicherweise wurden Beispiele für Größen/Modelle/Werte/Bereiche angegeben, obwohl die Ausführungsformen nicht auf diese beschränkt sind. Da die Herstellungstechniken (z. B. Fotolithografie) mit der Zeit immer ausgereifter werden, ist zu erwarten, dass Geräte mit geringerer Größe hergestellt werden könnten. Außerdem sind wohlbekannte Strom-/Erdungsverbindungen mit IC-Chips und anderen Komponenten um der Einfachheit der Darstellung und Erörterung willen, sowie um die Verständlichkeit bestimmter Aspekte der Ausführungsformen nicht zu beeinträchtigen, möglicherweise nicht in den Abbildungen dargestellt. Ferner können Anordnungen in Form von Blockschaltbildern dargestellt sein, um zu vermeiden, dass die Verständlichkeit von Ausführungsformen beeinträchtigt wird, und auch im Hinblick auf die Tatsache, dass spezifische Merkmale in Bezug auf die Implementierung solcher Anordnungen von Blockschaltbildern in hohem Maße von der Plattform abhängig sind, in der die Ausführungsform implementiert werden soll, d. h. solche spezifischen Merkmale sollten innerhalb des Kenntnisbereichs eines Fachmanns auf diesem Gebiet liegen. Dort, wo spezifische Einzelheiten (z. B. Schaltungen) dargelegt werden, um beispielhafte Ausführungsformen zu beschreiben, sollte für den Fachmann klar sein, dass Ausführungsformen ohne diese oder mit Abänderungen dieser spezifischen Einzelheiten in die Praxis umgesetzt werden können. Daher ist die Beschreibung als veranschaulichend und nicht als einschränkend anzusehen.
Einige Ausführungsformen können zum Beispiel unter Verwendung eines maschinenlesbaren oder materiellen computerlesbaren Mediums oder Produkts implementiert sein, das bzw. der eine Anweisung oder einen Satz von Anweisungen speichern kann, welcher bei Ausführung durch eine Maschine die Maschine veranlassen kann, ein Verfahren und/oder Operationen gemäß den Ausführungsformen auszuführen. Eine solche Maschine kann zum Beispiel eine beliebige geeignete Verarbeitungsplattform, Rechenplattform, Rechenvorrichtung, Verarbeitungsvorrichtung, ein Rechensystem, Verarbeitungssystem, einen Computer, Prozessor oder Ähnliches umfassen und kann unter Verwendung irgendeiner geeigneten Kombination von Hardware und/oder Software implementiert sein. Das maschinenlesbare Medium oder Produkt kann zum Beispiel jede geeignete Art von Arbeitsspeichereinheit, Arbeitsspeichervorrichtung, Arbeitsspeicherprodukt, Arbeitsspeichermedium, Datenspeichervorrichtung, Datenspeicherprodukt, Datenspeichermedium und/oder Datenspeichereinheit sein, zum Beispiel Arbeitsspeicher, Wechsel- oder Nichtwechselmedien, löschbare oder nichtlöschbare Medien, beschreibbare oder wiederbeschreibbare Medien, digitale oder analoge Medien, Festplatten, Disketten, CD-ROMs (Compact Disk Read-Only Memories), CD-Rs (Compact Disks Recordable), CD-RWs (Compact Disks Rewritable), optische Platten, magnetische Medien, magneto-optische Medien, Wechselspeicherkarten oder -platten, verschiedene Arten von DVDs (Digital Versatile Disks), von Bändern, Kassetten oder dergleichen sein. Die Anweisungen können jede geeignete Art von Code, wie etwa Quellcode, kompilierter Code, interpretierter Code, ausführbarer Code, statischer Code, dynamischer Code, verschlüsselter Codes und dergleichen, umfassen, der unter Verwendung irgendeiner geeigneten höheren, niederen, objektorientierten, visuellen, kompilierten und/oder interpretierten Programmiersprache implementiert ist.
Sofern nicht ausdrücklich anders angegeben, versteht es sich, dass sich Begriffe wie „Verarbeiten”, „Rechnen”, „Berechnen”, „Bestimmen” oder dergleichen auf die Aktion und/oder die Prozesse eines Computers oder Rechensystems oder einer ähnlichen elektronischen Datenverarbeitungsvorrichtung beziehen, die als physikalische Größen dargestellte Daten (zum Beispiel elektronische) innerhalb der Register und/oder Speicher des Rechensystems handhabt und/oder in andere Daten umwandelt, die auf ähnliche Weise als physikalische Größen innerhalb der Speicher, Register oder anderen derartigen Informationsspeicher-, Übertragungs- oder Anzeigevorrichtungen des Rechensystems dargestellt sind. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
Der Begriff „gekoppelt” kann hier verwendet werden, um auf jede Art direkter oder indirekter Beziehung zwischen den betreffenden Komponenten Bezug zu nehmen, und kann auf elektrische, mechanische, fluide, optische, elektromagnetische, elektromechanische oder andere Verbindungen angewandt werden. Weiterhin werden die Begriffe „erster/es/e” „zweiter/es/e” hier nur verwendet, um eine Erörterung zu erleichtern, und haben keine besondere zeitliche oder chronologische Bedeutung, wenn nicht anders angegeben.
Für Fachleute auf diesem Gebiet ist aus der vorstehenden Beschreibung zu erkennen, dass die breit gefächerten Verfahren der Ausführungsformen der vorliegenden Erfindung in vielfältigen Formen implementiert werden können. Daher, obwohl die Ausführungsformen dieser Erfindung im Zusammenhang mit bestimmten Beispielen davon beschrieben worden sind, sollte der tatsächliche Schutzumfang der Ausführungsformen der Erfindung nicht auf diese beschränkt sein, da andere Modifikationen dem Fachmann bei einer Untersuchung der Zeichnungen, Spezifikation und nachstehenden Patentansprüchen offenkundig werden.

Claims

Verfahren, umfassend: Empfangen eines ersten Bildes von einer ersten Frontkamera einer Vorrichtung mit einer Frontanzeige; Identifizieren eines Auges oder mehrerer Augen eines Benutzers der Vorrichtung basierend auf dem ersten Bild; Bestimmen einer Blickposition des einen Auges oder der mehreren Augen auf der Frontanzeige; Bestimmen einer Änderung der Blickposition; Empfangen eines zweiten Bildes von einer zweiten Frontkamera der Vorrichtung; Identifizieren eines Punkts von Interesse auf der Frontanzeige basierend auf Blickinformationen, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen; Identifizieren einer Hand des Benutzers basierend auf dem zweiten Bild; Identifizieren einer oder mehrerer Fingerspitze(n) der Hand des Benutzers basierend auf dem zweiten Bild; Bestimmen einer Bewegung einer oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n); Identifizieren einer Aktion der Hand basierend auf Gesteninformationen, wobei die Gesteninformationen die Bewegung einschließen sollen und die Bewegung eine oder mehrere von einer eindimensionalen (1D) Bewegung, einer zweidimensionalen (2D) Bewegung und einer dreidimensionalen (3D) Bewegung sein soll; und Einleiten einer Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand.
Verfahren aus Anspruch 1, das ferner das Einstufen der Bewegung als Aktion der Vorrichtung beinhaltet, wobei die Aktion der Vorrichtung einen oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließt.
Verfahren aus Anspruch 1, wobei das Einleiten der Aktion der Vorrichtung das Senden einer Anforderung an einen Vorrichtungstreiber einschließt, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber aufweist.
Verfahren nach einem der Ansprüche 1 bis 3, das ferner beinhaltet: Synchronisieren der Blickinformationen mit den Gesteninformationen; und Erfassen einer oder mehrerer der Blickinformation(en) und der Gesteninformation(en).
Computerlesbares Speichermedium, das einen Satz Anweisungen umfasst, die, wenn sie von einem Prozessor ausgeführt werden, bewirken, dass eine Vorrichtung: einen Punkt von Interesse auf einer Frontanzeige der Vorrichtung basierend auf Blickinformationen eines Benutzers der Vorrichtung identifiziert; eine Aktion der Hand basierend auf Gesteninformationen eines Benutzers der Vorrichtung identifiziert; und eine Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einleitet.
Medium aus Anspruch 5, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung: Bilddaten von einer Frontkamerakonfiguration der Vorrichtung empfängt; und die Blickinformationen und Gesteninformationen basierend auf den Bilddaten identifiziert.
Medium aus Anspruch 6, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung: ein erstes Bild von einer ersten Kamera der Kamerakonfiguration empfängt; und ein zweites Bild von einer zweiten Kamera der Kamerakonfiguration empfängt, wobei die Bilddaten das erste Bild und das zweite Bild einschließen sollen, die Blickinformationen basierend auf dem ersten Bild bestimmt werden sollen und die Gesteninformationen basierend auf dem zweiten Bild bestimmt werden sollen.
Medium aus Anspruch 5, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung: ein oder mehrere Auge(n) des Benutzers identifiziert; eine Blickposition des einen Auges oder der mehreren Augen auf der Frontanzeige bestimmt; und eine Änderung der Blickposition bestimmt, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
Medium aus Anspruch 5, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung: eine Hand des Benutzers identifiziert; eine oder mehrere Fingerspitze(n) der Hand des Benutzers identifiziert; und eine Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n) bestimmt, wobei die Gesteninformationen die Bewegung einschließen sollen und die Bewegung eine oder mehrere von einer eindimensionalen (1D) Bewegung, einer zweidimensionalen (2D) Bewegung und einer dreidimensionalen (3D) Bewegung sein soll.
Medium aus Anspruch 9, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung die Bewegung als die Aktion der Vorrichtung einstuft, wobei die Aktion der Vorrichtung eins oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
Medium aus Anspruch 5, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung eine Anforderung an einen Vorrichtungstreiber sendet, um die Aktion der Vorrichtung einzuleiten, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber einschließen soll.
Medium aus einem der Ansprüche 5 bis 11, wobei die Anweisungen, wenn sie ausgeführt werden, bewirken, dass die Vorrichtung: die Blickinformationen mit den Gesteninformationen synchronisiert; und eine oder mehrere der Blickinformation(en) und der Gesteninformation(en) erfasst.
Vorrichtung, die umfasst: ein Blickerkennungsmodul, um einen Punkt von Interesse auf einer Frontanzeige einer Vorrichtung basierend auf Blickinformationen eines Benutzers der Vorrichtung zu identifizieren; ein Gestenerkennungsmodul, um eine Aktion einer Hand basierend auf Gesteninformationen des Benutzers der Vorrichtung zu identifizieren; und ein Integrationsmodul, um eine Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einzuleiten.
Vorrichtung aus Anspruch 13, die ferner eine Kameraschnittstelle aufweist, um Bilddaten von einer Frontkamerakonfiguration der Vorrichtung zu erhalten, wobei das Blickerkennungsmodul die Blickinformationen basierend auf den Bilddaten identifizieren soll und das Gestenerkennungsmodul die Gesteninformationen basierend auf den Bilddaten identifizieren soll.
Vorrichtung aus Anspruch 14, wobei die Kameraschnittstelle: ein erstes Bild von einer ersten Kamera der Kamerakonfiguration empfangen soll, und ein zweites Bild von einer zweiten Kamera der Kamerakonfiguration empfangen soll, wobei die Bilddaten das erste Bild und das zweite Bild einschließen sollen, das Blickerkennungsmodul die Blickinformationen basierend auf dem ersten Bild bestimmen soll und das Gestenerkennungsmodul die Gesteninformationen basierend auf dem zweiten Bild bestimmen soll.
Vorrichtung aus Anspruch 13, wobei das Blickerkennungsmodul: ein Auge oder mehrere Augen des Benutzers identifizieren soll, eine Blickposition des einen Auges oder der mehreren Augen auf der Frontanzeige bestimmen soll, und eine Änderung der Blickposition bestimmen soll, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
Vorrichtung aus Anspruch 13, wobei das Gestenerkennungsmodul: eine Hand des Benutzers identifizieren soll, eine oder mehrere Fingerspitze(n) der Hand des Benutzers identifizieren soll, und eine Bewegung von einem oder mehreren von der Hand und der einen oder den mehreren Fingerspitze(n) bestimmen soll, wobei die Gesteninformationen die Bewegung einschließen sollen und die Bewegung eine oder mehrere von einer eindimensionalen (1D) Bewegung, einer zweidimensionalen (2D) Bewegung und einer dreidimensionalen (3D) Bewegung sein soll.
Vorrichtung aus Anspruch 17, wobei das Integrationsmodul die Bewegung als die Aktion der Vorrichtung einstufen soll, wobei die Aktion der Vorrichtung eins oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
Vorrichtung aus Anspruch 13, wobei das Integrationsmodul eine Anforderung an einen Vorrichtungstreiber senden soll, um die Aktion der Vorrichtung einzuleiten, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber einschließen soll.
Vorrichtung aus einem der Ansprüche 13 bis 20, wobei das Integrationsmodul: die Blickinformationen mit den Gesteninformationen synchronisieren soll, und eine oder mehrere der Blickinformation(en) und der Gesteninformation(en) erfassen soll.
Vorrichtung, die umfasst: eine Frontanzeige; und einen Berührungsbildschirmemulator, der umfasst: ein Blickerkennungsmodul, um einen Punkt von Interesse auf der Frontanzeige basierend auf Blickinformationen eines Benutzers der Vorrichtung zu identifizieren, ein Gestenerkennungsmodul, um eine Aktion der Hand basierend auf Gesteninformationen eines Benutzers der Vorrichtung zu identifizieren, und ein Integrationsmodul, um eine Aktion der Vorrichtung bezüglich der Frontanzeige basierend auf dem Punkt von Interesse und der Aktion der Hand einzuleiten.
Vorrichtung aus Anspruch 21, die ferner eine Frontkamerakonfiguration aufweist, wobei der Berührungsbildschirmemulator ferner eine Kameraschnittstelle einschließt, um Bilddaten von der Frontkamerakonfiguration zu empfangen, das Blickerkennungsmodul die Blickinformationen basierend auf den Bilddaten identifizieren soll und das Gestenerkennungsmodul die Gesteninformationen basierend auf den Bilddaten identifizieren soll.
Vorrichtung aus Anspruch 22, wobei die Kamerakonfiguration eine erste Kamera und eine zweite Kamera umfasst und wobei die Kameraschnittstelle ein erstes Bild von der ersten Kamera der Kamerakonfiguration empfangen soll, und ein zweites Bild von der zweiten Kamera der Kamerakonfiguration empfangen soll, wobei die Bilddaten das erste Bild und das zweite Bild einschließen sollen, das Blickerkennungsmodul die Blickinformationen basierend auf dem ersten Bild bestimmen soll und das Gestenerkennungsmodul die Gesteninformationen basierend auf dem zweiten Bild bestimmen soll.
Vorrichtung aus Anspruch 21, wobei das Blickerkennungsmodul ein Auge oder mehrere Augen des Benutzers identifizieren soll, eine Blickposition des einen Auges oder der mehreren Augen auf der Frontanzeige bestimmen soll und eine Änderung der Blickposition bestimmen soll, wobei die Blickinformationen die Blickposition und die Änderung der Blickposition einschließen sollen.
Vorrichtung aus Anspruch 21, wobei das Gestenerkennungsmodul eine Hand des Benutzers identifizieren soll, eine oder mehrere Fingerspitze(n) der Hand des Benutzers identifizieren soll und eine Bewegung eines oder mehrerer von der Hand und der einen oder der mehreren Fingerspitze(n) identifizieren soll, wobei die Gesteninformationen die Bewegung einschließen sollen und die Bewegung eine oder mehrere von einer eindimensionalen (1D) Bewegung, einer zweidimensionalen (2D) Bewegung und einer dreidimensionalen (3D) Bewegung sein soll.
Vorrichtung aus Anspruch 25, wobei das Integrationsmodul die Bewegung als eine Aktion der Vorrichtung einstufen soll, wobei die Aktion der Vorrichtung eins oder mehrere von einem Einzelklickvorgang, einem Doppelklickvorgang, einem Drückvorgang und einem Cursorbewegungsvorgang einschließen soll.
Vorrichtung aus Anspruch 21, wobei das Integrationsmodul eine Anforderung an einen Vorrichtungstreiber senden soll, um die Aktion der Vorrichtung einzuleiten, wobei der Vorrichtungstreiber eins oder mehrere von einem Maustreiber, einem Tastfeldtreiber und einem Rollkugeltreiber sein soll.
Vorrichtung aus einem der Ansprüche 21 bis 27, wobei das Integrationsmodul: die Blickinformationen mit den Gesteninformationen synchronisieren soll, und eine oder mehrere der Blickinformation(en) und der Gesteninformation(en) erfassen soll.