DE112018005499T5 - Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung - Google Patents

Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung Download PDF

Info

Publication number
DE112018005499T5
DE112018005499T5 DE112018005499.3T DE112018005499T DE112018005499T5 DE 112018005499 T5 DE112018005499 T5 DE 112018005499T5 DE 112018005499 T DE112018005499 T DE 112018005499T DE 112018005499 T5 DE112018005499 T5 DE 112018005499T5
Authority
DE
Germany
Prior art keywords
hand
gesture
images
user
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018005499.3T
Other languages
English (en)
Inventor
Michael R. Brennan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of DE112018005499T5 publication Critical patent/DE112018005499T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

Dies bezieht sich auf eine Vorrichtung, die in der Lage ist, eine Geste und/oder Fingerpositionen eines Benutzers basierend auf einer oder mehreren Eigenschaften der Venen des Benutzers automatisch zu bestimmen, und Verfahren zu deren Betrieb. Die Vorrichtung kann einen oder mehrere Sensoren (z. B. eine Kamera) zum Erfassen eines oder mehrerer Bilder der Hand des Benutzers einschließen. Die Vorrichtung kann das/die Bild(er) in digitale Darstellungen umwandeln und kann das/die digitale(n) Bild(er) der Venen mit einer oder mehreren Posen korrelieren. Ausgehend von der/den Pose(n) kann die Vorrichtung die Handbewegungen des Benutzers bestimmen, und eine oder mehrere Gesten und/oder Fingerpositionen können ausgehend von den Handbewegungen bestimmt werden. Die Vorrichtung kann die Gesten und/oder Fingerpositionen als einen oder mehrere Eingabebefehle interpretieren, und die Vorrichtung kann einen Vorgang basierend auf dem/den Eingabebefehl(en) durchführen. Beispiele der Offenbarung schließen ein Verwenden der Benutzereingabebefehle in Virtual Reality-Anwendungen ein.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung beansprucht den Nutzen aus der am 29. September 2017 eingereichten US-Patentanmeldung Nr. 62/565.364 , deren Inhalt durch Bezugnahme in ihrer Gesamtheit für alle Zwecke hierin eingeschlossen wird.
  • TECHNISCHES GEBIET
  • Dies bezieht sich allgemein auf eine Vorrichtung, die konfiguriert ist, um ein oder mehrere Bilder von den Venen eines Benutzers zu erfassen. Genauer bezieht sich die Offenbarung auf eine Vorrichtung, die in der Lage ist, automatisch eine Geste und/oder Fingerpositionen unter Verwendung von Bildern der Venen des Benutzers zu bestimmen und die Geste und/oder Fingerpositionen als Eingabe in die Vorrichtung zu empfangen, ohne dass eine Berührungs- und Spracheingabe erforderlich ist.
  • HINTERGRUND
  • Viele bestehende tragbare elektronische Vorrichtungen verwenden eine Sprach- oder Berührungseingabe als ein Verfahren für den Benutzer, um Befehle an die Vorrichtungen zu kommunizieren oder um die Vorrichtungen zu steuern. Ein Beispiel ist ein Sprachbefehlssystem, das spezifische verbale Befehle zu Vorgängen zuordnen kann, um zum Beispiel das Wählen einer Telefonnummer durch Sprechen des Namens der Person zu initiieren. Ein weiteres Beispiel ist ein Berührungseingabesystem, bei dem der Benutzer eine spezifische Vorrichtungseinstellung, wie ein Einstellen der Lautstärke der Lautsprecher, durch Berühren einer Reihe von virtuellen Tasten oder Durchführen einer Berührungsgeste wählen kann. Während eine Sprach- und Berührungseingabe eine effektive Weise zur Steuerung einer Vorrichtung sein kann, kann es Situationen geben, in denen die Fähigkeit des Benutzers, den verbalen Befehl zu sprechen oder die Berührungsgeste durchzuführen, begrenzt sein kann.
  • ZUSAMMENFASSUNG
  • Diese bezieht sich auf eine Vorrichtung und Verfahren zum Betreiben einer Vorrichtung, die in der Lage sind, automatisch eine Geste und/oder Fingerpositionen eines Benutzers basierend auf einer oder mehreren Eigenschaften der Venen des Benutzers und Änderungen der Eigenschaften zu bestimmen, wenn der Benutzer Posen und/oder Handbewegungen (z. B. Fingerbewegungen) durchführt. Die Vorrichtung kann einen oder mehrere Sensoren (z. B. eine Kamera) zum Erfassen eines oder mehrerer Bilder der Hand des Benutzers einschließen. Die Vorrichtung kann das/die Bild(er) in digitale Darstellungen umwandeln und kann das/die digitale(n) Bild(er) der Venen mit einer oder mehreren Posen korrelieren. Ausgehend von der/den Pose(n) kann die Vorrichtung die Handbewegungen (z. B. Fingerbewegungen) des Benutzers bestimmen, und eine oder mehrere Gesten und/oder Fingerpositionen können ausgehend von den Handbewegungen (z. B. Fingerbewegungen) bestimmt werden. Die Vorrichtung kann die Gesten und/oder Fingerpositionen als einen oder mehrere Eingabebefehle interpretieren, und die Vorrichtung kann einen Vorgang basierend auf dem/den Eingabebefehl(en) durchführen. Durch Erkennen von Bewegungen der Venen des Benutzers und Zuordnen der Bewegungen zu Eingabebefehlen kann die Vorrichtung Benutzereingabebefehle durch ein anderes Mittel zusätzlich zu oder anstelle von zum Beispiel einer Sprach- und Berührungseingabe empfangen. Beispiele der Offenbarung schließen ein Verwenden der Benutzereingabebefehle in Virtual Reality-Anwendungen (VR-Anwendungen) (einschließlich Augmented Reality-Anwendungen (AR-Anwendungen) und Mixed Reality-Anwendungen (MR-Anwendungen)) ein.
  • Figurenliste
    • 1A-1C veranschaulichen Systeme, in denen Beispiele der Offenbarung implementiert sein können.
    • 2 veranschaulicht eine beispielhafte am Körper tragbare Vorrichtung, die drahtlos mit einer Host-Vorrichtung kommuniziert, gemäß Beispielen der Offenbarung.
    • 3 veranschaulicht ein Blockdiagramm einer beispielhaften am Körper tragbaren Vorrichtung gemäß Beispielen der Offenbarung.
    • 4A-4B veranschaulichen Draufsichten einer Hand eines beispielhaften Benutzers gemäß Beispielen der Offenbarung.
    • 5A veranschaulicht eine Draufsicht einer Unterseite einer beispielhaften Vorrichtung zum Bestimmen eines PPG-Signals gemäß Beispielen der Offenbarung.
    • 5B veranschaulicht eine perspektivische Ansicht einer beispielhaften am Körper tragbaren Vorrichtung mit einem oder mehreren Sensoren, die an der Krone der Vorrichtung angeordnet sind, gemäß Beispielen der Offenbarung.
    • 5C veranschaulicht eine perspektivische Ansicht einer beispielhaften am Körper tragbaren Vorrichtung mit einem oder mehreren Sensoren, die an dem Band der Vorrichtung angeordnet sind, gemäß Beispielen der Offenbarung.
    • 6A veranschaulicht einen beispielhaften Prozess zum Erkennen einer Geste und/oder von Fingerpositionen gemäß Beispielen der Offenbarung.
    • 6B-6C veranschaulichen beispielhafte digitale Darstellungen von Bildern der Venen des Benutzers gemäß Beispielen der Offenbarung.
    • 6D veranschaulicht einen beispielhaften Prozess zum Vorhersagen der Geste und/oder Fingerpositionen des Benutzers gemäß Beispielen der Offenbarung.
    • 7A veranschaulicht einen beispielhaften Prozess zum Aufzeichnen von einer oder mehreren Gesten und/oder Fingerpositionen gemäß Beispielen der Offenbarung.
    • 7B veranschaulicht einen beispielhaften Prozess zum Vorhersagen von einer oder mehreren Gesten und/oder Fingerpositionen und Aufzeichnen der Vorhersage gemäß Beispielen der Offenbarung.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung von Beispielen wird auf die beigefügten Zeichnungen Bezug genommen, in denen zur Veranschaulichung spezifische Beispiele gezeigt werden, die umgesetzt werden können. Es sei klargestellt, dass andere Beispiele verwendet und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der verschiedenen Beispiele abzuweichen. Zahlreiche spezifische Details werden dargelegt, um ein gründliches Verständnis von einem oder mehreren Aspekten und/oder Merkmalen bereitzustellen, die hierin beschrieben sind oder auf die hierin Bezug genommen wird. Es ist jedoch für den Fachmann ersichtlich, dass ein oder mehrere Aspekte und/oder Merkmale, die hierin beschrieben sind oder auf die hierin Bezug genommen wird, ohne einige oder alle dieser spezifischen Details praktisch umgesetzt werden können. In anderen Fällen wurden hinlänglich bekannte Prozessschritte und/oder Strukturen nicht im Detail beschrieben, um einige der Aspekte und/oder Merkmale, die hierin beschrieben sind oder auf die hierin Bezug genommen wird, nicht zu verunklaren.
  • Diese bezieht sich auf eine Vorrichtung und Verfahren zum Betreiben einer Vorrichtung, die in der Lage sind, automatisch eine Geste und/oder Fingerpositionen eines Benutzers basierend auf einer oder mehreren Eigenschaften der Venen des Benutzers und Änderungen der Eigenschaften zu bestimmen, wenn der Benutzer Posen und/oder Handbewegungen (z. B. Fingerbewegungen) durchführt. Die Vorrichtung kann einen oder mehrere Sensoren (z. B. eine Kamera) zum Erfassen eines oder mehrerer Bilder der Hand des Benutzers einschließen. Die Vorrichtung kann das/die Bild(er) in digitale Darstellungen umwandeln und kann das/die digitale(n) Bild(er) der Venen mit einer oder mehreren Posen korrelieren. Ausgehend von der/den Pose(n) kann die Vorrichtung die Handbewegungen (z. B. Fingerbewegungen) des Benutzers bestimmen, und eine oder mehrere Gesten und/oder Fingerpositionen können ausgehend von den Handbewegungen (z. B. Fingerbewegungen) bestimmt werden. Die Vorrichtung kann die Gesten und/oder Fingerpositionen als einen oder mehrere Eingabebefehle interpretieren, und die Vorrichtung kann einen Vorgang basierend auf dem/den Eingabebefehl(en) durchführen. Durch Erkennen von Bewegungen der Venen des Benutzers und Zuordnen der Bewegungen zu Eingabebefehlen kann die Vorrichtung Benutzereingabebefehle durch ein anderes Mittel zusätzlich zu oder anstelle von zum Beispiel einer Sprach- und Berührungseingabe empfangen.
  • Repräsentative Anwendungen der Einrichtung und Verfahren gemäß der vorliegenden Offenbarung werden in diesem Abschnitt beschrieben. Diese Beispiele werden lediglich bereitgestellt, um Kontext hinzuzufügen und beim Verständnis der beschriebenen Beispiele zu helfen. Es ist daher für den Fachmann ersichtlich, dass die beschriebenen Beispiele ohne einige oder alle der spezifischen Details praktisch umgesetzt werden können. Andere Anwendungen sind möglich, sodass die folgenden Beispiele nicht als einschränkend verstanden werden sollten.
  • 1A-1C veranschaulichen Systeme, in denen Beispiele der Offenbarung implementiert sein können. 1A veranschaulicht ein beispielhaftes Mobiltelefon 136, das einen Touchscreen 124 einschließen kann. 1B veranschaulicht eine beispielhafte Medienwiedergabevorrichtung 140, die einen Touchscreen 126 einschließen kann. 1C veranschaulicht eine beispielhafte am Körper tragbare Vorrichtung 144, die einen Touchscreen 128 einschließen kann und an einem Benutzer unter Verwendung eines Bands 146 befestigt werden kann. Die Systeme von 1A-1C können die Nah-IR-Venenscanvorrichtung und Verfahren zum Betreiben derselben nutzen, wie offenbart wird.
  • 2 veranschaulicht eine beispielhafte am Körper tragbare Vorrichtung, die drahtlos mit einer Host-Vorrichtung kommuniziert, gemäß Beispielen der Offenbarung. Die am Körper tragbare Vorrichtung 244 kann eine armbandähnliche Vorrichtung mit einem vorderen Abschnitt 204, der mit einem Band 246 verbunden ist, sein. Der vordere Abschnitt 204 kann zum Beispiel eine Touchscreen-Anzeige 228 einschließen, die abhängig davon, wo die am Körper tragbare Vorrichtung 244 getragen werden soll, geeignet bemessen sein kann. Der Benutzer kann durch die am Körper tragbare Vorrichtung 244 auf der Touchscreen-Anzeige 228 präsentierte Informationen ansehen und kann der am Körper tragbaren Vorrichtung 244 durch Berühren der Touchscreen-Anzeige 228 eine Eingabe bereitstellen. In einigen Beispielen kann die Touchscreen-Anzeige 228 den Großteil oder die Gesamtheit der Vorderseitenoberfläche des vorderen Abschnitts 204 einnehmen.
  • Gegenüber dem vorderen Abschnitt 204 kann sich ein hinterer Abschnitt 205 befinden. Der hintere Abschnitt 205 kann einen oder mehrere Sensoren zum Messen von physiologischen Informationen (unten erörtert) einschließen. Außerdem kann der hintere Abschnitt 205 (zusätzlich zu oder anstelle von anderen Komponenten, die in der Vorrichtung enthalten sind) Nah-IR-/IR-Kameras zum Venenscannen einschließen, wie unten erörtert.
  • Das Band 246 (hierin auch als Armband bezeichnet) kann bereitgestellt werden, um es zu ermöglichen, dass die am Körper tragbare Vorrichtung 244 durch den Benutzer abnehmbar getragen wird (z. B. um das Handgelenk des Benutzers). In einigen Beispielen kann das Band 246 ein flexibles Material (z. B. Stoffe, flexible Kunststoffe, Leder, Kettenglieder oder flexible überlappte Platten oder Bindeglieder aus Metall oder anderen starren Materialien) einschließen und kann mit dem vorderen Abschnitt 204 verbunden sein (z. B. durch Scharniere, Schlaufen oder andere geeignete Befestigungsvorrichtungen oder Halter). In einigen Beispielen kann das Band 246 aus zwei oder mehreren Abschnitten eines starren Materials, die durch einen Verschluss 208 verbunden sind, hergestellt sein. Ein oder mehrere Scharniere können an der Verbindung des vorderen Abschnitts 204 und der proximalen Enden 212A und 212B des Bands 246 und/oder an anderer Stelle entlang der Längen des Bands 246 positioniert sein (z. B., um es einem Benutzer zu ermöglichen, die am Körper tragbare Vorrichtung 244 anzulegen und abzunehmen). Unterschiedliche Abschnitte des Bands 246 können unterschiedliche Materialien einschließen. Zum Beispiel kann das Band 246 flexible oder dehnbare Abschnitte, die sich mit starren Abschnitten abwechseln, einschließen. In einigen Beispielen kann das Band 246 entfernbare Abschnitte einschließen, die es ermöglichen, die Größe der am Körper tragbaren Vorrichtung 244 zu ändern, um sie an den Handgelenkumfang eines bestimmten Benutzers anzupassen. In einigen Beispielen kann das Band 246 Abschnitte eines kontinuierlichen Bandelements einschließen, das hinter dem oder durch den vorderen Abschnitt 204 verläuft. Der vordere Abschnitt 204 kann von dem Band 246 abnehmbar sein, dauerhaft an dem Band 246 befestigt sein oder einstückig mit dem Band 246 gebildet sein.
  • In einigen Beispielen kann das Band 246 den Verschluss 208 einschließen, der die Verbindung und Trennung der distalen Enden des Bands 246 ermöglichen kann. In einigen Beispielen kann der Verschluss 208 Schnallen, Magnetverschlüsse, mechanische Verschlüsse, Schnappverschlüsse usw. einschließen. In einigen Beispielen kann die Größe der am Körper tragbaren Vorrichtung 244 geändert werden, um sie an den Handgelenkumfang eines bestimmten Benutzers anzupassen. Entsprechend kann die am Körper tragbare Vorrichtung 244 durch Einrasten des Verschlusses 208 an der Person eines Benutzers (z. B. um das Handgelenk des Benutzers) befestigt werden. Der Verschluss 208 kann anschließend getrennt werden, um die Entfernung der am Körper tragbaren Vorrichtung 244 von der Person des Benutzers zu ermöglichen.
  • In einigen Beispielen kann das Band 246 als kontinuierliches Band eines elastischen Materials (einschließlich zum Beispiel elastischer Stoffe, dehnbarer Metallglieder oder einer Kombination aus elastischen und nicht elastischen Abschnitten) gebildet sein, sodass die am Körper tragbare Vorrichtung 244 durch Dehnen eines Bands, das durch das mit dem vorderen Abschnitt 204 verbundene Band 246 gebildet ist, angelegt und abgenommen werden kann. In einigen Fällen ist der Verschluss 208 möglicherweise nicht erforderlich.
  • Das Band 246 (einschließlich eines möglicherweise vorhandenen Verschlusses) kann einen oder mehrere Sensoren einschließen, die es der am Körper tragbaren Vorrichtung 244 ermöglichen können, zu bestimmen, ob die Vorrichtung zu einem gegebenen Zeitpunkt durch den Benutzer getragen wird. Die am Körper tragbare Vorrichtung kann abhängig davon, ob die Vorrichtung aktuell getragen wird oder nicht, unterschiedlich arbeiten. Zum Beispiel kann die am Körper tragbare Vorrichtung 244 verschiedene Benutzerschnittstellen- und/oder HF-Schnittstellen-Komponenten deaktivieren, wenn sie nicht getragen wird. Außerdem kann die am Körper tragbare Vorrichtung 244 in einigen Beispielen eine Host-Vorrichtung 236 benachrichtigen, wenn ein Benutzer die am Körper tragbare Vorrichtung 244 anlegt oder abnimmt. Außerdem kann das Band 246 (zusätzlich zu oder anstelle von anderen Komponenten, die in der Vorrichtung enthalten sind) Nah-IR-/IR-Kameras zum Venenscannen einschließen, wie unten erörtert.
  • Die am Körper tragbare Vorrichtung 244 kann auch eine Krone 218 einschließen. Die Krone 218 kann eine mechanische Komponente (z. B. eine Kappe auf einer Spindel oder Welle zum Aufziehen einer Armbanduhr) sein. Der Benutzer kann die Krone drücken, drehen und/oder berühren, um eine Eingabe für die am Körper tragbare Vorrichtung bereitzustellen. Zum Beispiel kann sich die Krone 218 in mehrere (z. B. zwei) Drehrichtungen (z. B. vorwärts und rückwärts oder im Uhrzeigersinn und entgegen dem Uhrzeigersinn) drehen. Die Krone 218 kann auch in Richtung der Touchscreen-Anzeige 228 (z. B. wie eine Taste) gedrückt und/oder von der Touchscreen-Anzeige 228 weg gezogen werden. Die Krone 218 kann berührungsempfindlich sein, zum Beispiel unter Verwendung kapazitiver Berührungstechnologien (z. B. Eigenkapazität, Gegenkapazität) oder anderer geeigneter Technologien, wie hierin beschrieben, die erkennen können, ob ein Benutzer die Krone berührt. In einigen Beispielen kann die Krone 218 auch als Teil eines Sensors zum Erkennen einer Berührung und/oder Nähe eines Objekts (z. B. eines Fingers) zu der Krone 218 verwendet werden. Die Krone 218 kann in einigen Beispielen ferner konfiguriert sein, um in eine oder mehrere Richtungen zu kippen oder entlang einer Bahn zu gleiten, die mindestens teilweise um einen Umfang des Gehäuses der am Körper tragbaren Vorrichtung 244 angeordnet ist. In einigen Beispielen kann mehr als eine Krone 218 in der am Körper tragbaren Vorrichtung 244 enthalten sein. Ferner kann die Krone 218 (zusätzlich zu oder anstelle von anderen Komponenten, die in der Vorrichtung enthalten sind) Nah-IR-/IR-Kameras zum Venenscannen einschließen, wie unten erörtert.
  • Die Host-Vorrichtung 236 kann eine beliebige Vorrichtung sein, die mit der am Körper tragbaren Vorrichtung 244 kommunizieren kann. Wenngleich die Host-Vorrichtung 236 in der Figur als ein Smartphone veranschaulicht ist, können Beispiele der Offenbarung andere Vorrichtungen, wie einen Tablet-Computer, eine Medienwiedergabevorrichtung, einen beliebigen Typ von Mobilvorrichtung, einen Laptop- oder Desktop-Computer oder dergleichen, einschließen. Andere Beispiele von Host-Vorrichtungen können POS-Terminals, Sicherheitssysteme, Umgebungssteuerungssysteme und so weiter einschließen. Die Host-Vorrichtung 236 kann drahtlos mit der am Körper tragbaren Vorrichtung 244 kommunizieren, zum Beispiel unter Verwendung von Protokollen, wie Bluetooth oder Wi-Fi. In einigen Beispielen kann die am Körper tragbare Vorrichtung 244 einen elektrischen Anschluss (nicht gezeigt) einschließen, der verwendet werden kann, um eine drahtgebundene Verbindung zu der Host-Vorrichtung 236 und/oder zu anderen Vorrichtungen bereitzustellen (z. B. durch Verwenden von geeigneten Kabeln). Zum Beispiel kann der Anschluss verwendet werden, um eine Verbindung zu einer Stromversorgung herzustellen, um einen internen Akku (nicht gezeigt) der am Körper tragbaren Vorrichtung 244 zu laden.
  • In einigen Beispielen können die am Körper tragbare Vorrichtung 244 und die Host-Vorrichtung 236 zusammenarbeiten, um die an der Host-Vorrichtung 236 verfügbare Funktionalität zu verbessern. Zum Beispiel können die am Körper tragbare Vorrichtung 244 und die Host-Vorrichtung 236 unter Verwendung einer drahtlosen Kommunikationstechnologie, wie Bluetooth, eine Kopplung herstellen. Während die Vorrichtungen gekoppelt sind, kann die Host-Vorrichtung 236 Benachrichtigungen über ausgewählte Ereignisse (z. B. Empfangen eines Telefonanrufs, einer Textnachricht oder einer E-Mail-Nachricht) zu der am Körper tragbaren Vorrichtung 244 senden und kann die am Körper tragbare Vorrichtung 244 dem Benutzer entsprechende Hinweise präsentieren. Die am Körper tragbare Vorrichtung 244 kann auch eine Eingabeschnittstelle bereitstellen, über die ein Benutzer auf einen Hinweis reagieren kann (z. B., um einen Telefonanruf oder eine Textnachricht zu beantworten). In einigen Beispielen kann die am Körper tragbare Vorrichtung 244 auch eine Benutzerschnittstelle bereitstellen, die es einem Benutzer ermöglichen kann, eine Aktion an der Host-Vorrichtung 236, wie ein Entsperren der Host-Vorrichtung 236 oder ein Einschalten ihres Anzeigebildschirms, ein Tätigen eines Telefonanrufs, ein Senden einer Textnachricht oder ein Steuern von Medienwiedergabevorgängen der Host-Vorrichtung 236 zu initiieren. Hierin beschriebene Techniken können angepasst werden, um es durch das Bereitstellen einer Schnittstelle über die am Körper tragbare Vorrichtung 244 zu ermöglichen, ein breites Spektrum von Funktionen der Host-Vorrichtung zu verbessern.
  • Es versteht sich, dass die am Körper tragbare Vorrichtung 244 und die Host-Vorrichtung 236 veranschaulichend sind und dass Variationen und Modifikationen möglich sind. Zum Beispiel kann die am Körper tragbare Vorrichtung 244 in einer Vielfalt von am Körper tragbaren Artikeln, einschließlich einer Armbanduhr, eines Armbands oder dergleichen implementiert werden. In einigen Beispielen kann die am Körper tragbare Vorrichtung 244 unabhängig davon, ob die Host-Vorrichtung 236 mit der am Körper tragbaren Vorrichtung 244 in Kommunikation ist, betreibbar sein; eine separate Host-Vorrichtung ist möglicherweise nicht erforderlich.
  • 3 veranschaulicht ein Blockdiagramm einer beispielhaften am Körper tragbaren Vorrichtung gemäß Beispielen der Offenbarung. Die Vorrichtung 344 kann ein Verarbeitungssubsystem 302, ein Speichersubsystem 304, eine Benutzerschnittstelle 306, eine HF-Schnittstelle 308, eine Anschlussschnittstelle 310, ein Stromsubsystem 312, Vorrichtungssensoren 314 und Bandsensoren 316 einschließen. Die Vorrichtung 344 kann auch weitere Komponenten einschließen (nicht explizit gezeigt).
  • Das Speichersubsystem 304 kann zum Beispiel unter Verwendung von Magnetspeichermedien, Flash-Speicher, anderem Halbleiterspeicher (z. B. DRAM, SRAM) oder einem anderen nichtflüchtigen Speichermedium oder einer Kombination von Medien implementiert sein und kann flüchtige und/oder nichtflüchtige Medien einschließen. In einigen Beispielen kann das Speichersubsystem 304 Medienelemente, wie Audiodateien, Videodateien, Bild- oder Grafikdateien, speichern. Das Speichersubsystem 304 kann auch Informationen von den Kontakten eines Benutzers (z. B. Namen, Adressen, Telefonnummern usw.), Informationen über die geplanten Termine und Ereignisse eines Benutzers, Notizen und/oder andere Typen von Informationen speichern. In einigen Beispielen kann das Speichersubsystem 304 auch ein oder mehrere Anwendungsprogramme („Apps“) 334 (z. B. Videospielprogramme, persönliche Informationsverwaltungsprogramme, Medienwiedergabeprogramme, Schnittstellenprogramme, die bestimmten Host-Vorrichtungen und/oder Host-Vorrichtungs-Funktionalitäten zugeordnet sind, usw.) speichern, die durch das Verarbeitungssubsystem 302 ausgeführt werden sollen.
  • Die Benutzerschnittstelle 306 kann eine beliebige Kombination aus Eingabe- und Ausgabevorrichtungen einschließen. Ein Benutzer kann die in der Benutzerschnittstelle 306 enthaltenen Eingabevorrichtungen betreiben, um die Funktionalität der Vorrichtung 344 aufzurufen, und kann eine Ausgabe von der Vorrichtung 344 über die Ausgabevorrichtungen der Benutzerschnittstelle 306 ansehen, hören und/oder auf andere Weise wahrnehmen.
  • Beispiele von Ausgabevorrichtungen können eine Anzeige 320, Lautsprecher 322 und einen haptischen Ausgabeerzeuger 324 einschließen. Die Anzeige 320 kann unter Verwendung von kompakten Anzeigetechnologien (z. B. Flüssigkristallanzeige (LCD), Leuchtdioden (LEDs), organische Leuchtdioden (OLEDs) oder dergleichen) implementiert sein. In einigen Beispielen kann die Anzeige 320 ein flexibles Anzeigeelement oder ein Anzeigeelement aus gebogenem Glas enthalten, das es der Vorrichtung 344 ermöglicht, einer gewünschten Form zu entsprechen. Ein oder mehrere Lautsprecher 322 können unter Verwendung von Lautsprechertechnologien mit kleinem Formfaktor bereitgestellt werden, einschließlich einer beliebigen Technologie, die in der Lage ist, elektronische Signale in hörbare Schallwellen umzuwandeln. In einigen Beispielen können die Lautsprecher 322 verwendet werden, um Töne zu erzeugen (z. B. Piep- oder Klingeltöne), und sie können, müssen jedoch nicht, in der Lage sein, Töne, wie Sprache oder Musik, mit einem bestimmten Grad an Klangtreue wiederzugeben. Der haptische Ausgabeerzeuger 324 kann zum Beispiel eine Vorrichtung sein, die elektronische Signale in Schwingungen umwandeln kann. In einigen Beispielen können die Schwingungen stark genug sein, um durch einen Benutzer, der die Vorrichtung 344 trägt, gespürt zu werden, aber nicht so stark sein, um unterscheidbare Töne zu erzeugen.
  • Beispiele für Eingabevorrichtungen können ein Mikrofon 326, einen Berührungssensor 328 und eine Kamera 329 einschließen. Das Mikrofon 326 kann eine beliebige Vorrichtung einschließen, die Schallwellen in elektronische Signale umwandelt. In einigen Beispielen kann das Mikrofon 326 ausreichend empfindlich sein, um eine Darstellung spezifischer Wörter, die durch einen Benutzer gesprochen werden, bereitzustellen. In einigen Beispielen kann das Mikrofon 326 verwendbar sein, um Angaben zu allgemeinen Umgebungsgeräuschpegeln bereitzustellen, ohne notwendigerweise eine qualitativ hochwertige elektronische Darstellung spezifischer Töne bereitzustellen.
  • Der Berührungssensor 328 kann zum Beispiel eine kapazitive Sensoranordnung mit der Fähigkeit zur Lokalisierung von Kontakten auf einen bestimmten Punkt/bestimmte Punkte oder einen bestimmten Bereich auf der Oberfläche des Sensors einschließen. In einigen Beispielen kann der Berührungssensor 328 mehrere gleichzeitige Kontakte unterscheiden. In einigen Beispielen kann der Berührungssensor 328 der Anzeige 320 überlagert sein, um eine Touchscreen-Schnittstelle (z. B. die Touchscreen-Anzeige 228 von 2) bereitzustellen, und kann das Verarbeitungssubsystem 302 Berührungsereignisse (einschließlich Tippens und/oder anderer mit einem oder mehreren Kontakten vorgenommener Gesten) abhängig davon, was aktuell auf der Anzeige 320 angezeigt ist, in spezifische Benutzereingaben übersetzen.
  • Die Kamera 329 kann zum Beispiel eine kompakte Digitalkamera einschließen, die einen Bildsensor, wie einen CMOS-Sensor, und optische Komponenten (z. B. Linsen), die angeordnet sind, um ein Bild auf den Bildsensor zu fokussieren, zusammen mit Steuerlogik, die betreibbar ist, um die Bildverarbeitungskomponenten zu verwenden, um Stand- und/oder Videobilder zu erfassen und zu speichern, einschließt. Bilder können zum Beispiel in dem Speichersubsystem 304 gespeichert und/oder durch die Vorrichtung 344 an andere Vorrichtungen zur Speicherung übertragen werden. Abhängig von der Implementierung können die optischen Komponenten eine feste Brennweite oder eine variable Brennweite bereitstellen. In einigen Beispielen kann mit einer variablen Brennweite ein Autofokus bereitgestellt werden. In einigen Beispielen kann die Kamera 329 entlang einer Kante des vorderen Elements (z. B. der oberen Kante des vorderen Abschnitts 204 von 2) angeordnet und ausgerichtet sein, um es einem Benutzer zu ermöglichen, Bilder von nahen Objekten in der Umgebung, wie einem Strichcode oder QR-Code, zu erfassen. In einigen Beispielen kann die Kamera 329 auf der Vorderseitenoberfläche des vorderen Abschnitts angeordnet sein (z. B., um Bilder von dem Benutzer zu erfassen). In einigen Beispielen kann die Kamera an dem hinteren Abschnitt (z. B. dem in 2 veranschaulichten hinteren Abschnitt 205) angeordnet sein und kann Bilder von dem Benutzer (z. B. der Hand des Benutzers) erfassen. Abhängig von der Implementierung kann eine beliebige Anzahl von Kameras bereitgestellt werden.
  • In einigen Beispielen kann die Benutzerschnittstelle 306 einer Hilfsvorrichtung, wie einem Headset, Ausgaben bereitstellen und/oder Eingaben davon empfangen. Zum Beispiel kann die Audiobuchse 330 über ein Audiokabel (z. B. ein 2,5-mm- oder 3,5-mm-Standardaudiokabel) eine Verbindung mit einer Hilfsvorrichtung herstellen. Die Audiobuchse 330 kann Eingangs- und/oder Ausgangspfade einschließen. Entsprechend kann die Audiobuchse 330 der Hilfsvorrichtung Audiosignale bereitstellen und/oder Audiosignale davon empfangen. In einigen Beispielen kann eine drahtlose Verbindungsschnittstelle verwendet werden, um mit einer Hilfsvorrichtung zu kommunizieren.
  • Das Verarbeitungssubsystem 302 kann als eine oder mehrere integrierte Schaltungen (z. B. ein oder mehrere Einzelkern- oder Mehrkernmikroprozessoren oder -mikrocontroller) implementiert sein. Im Betrieb kann das Verarbeitungssystem 302 den Betrieb der Vorrichtung 344 steuern. In einigen Beispielen kann das Verarbeitungssubsystem 302 eine Vielfalt von Programmen als Reaktion auf Programmcode ausführen und kann mehrere gleichzeitig ausgeführte Programme oder Prozesse aufrechterhalten. Zu einem beliebigen gegebenen Zeitpunkt können ein Teil oder die Gesamtheit des auszuführenden Programmcodes in dem Verarbeitungssubsystem 302 und/oder in Speichermedien, wie dem Speichersubsystem 304, gespeichert werden.
  • Durch geeignetes Programmieren kann das Verarbeitungssubsystem 302 verschiedene Funktionalitäten für die Vorrichtung 344 bereitstellen. Zum Beispiel kann das Verarbeitungssubsystem 302 ein Betriebssystem (OS) 332 und verschiedene Apps 334, wie eine Telefonschnittstellenanwendung, eine Textnachrichtenschnittstellenanwendung, eine Medienschnittstellenanwendung, eine Fitnessanwendung und/oder andere Anwendungen, ausführen. In einigen Beispielen können einige oder alle dieser Apps 334 mit einer Host-Vorrichtung verbunden sein, zum Beispiel durch Erzeugen von Nachrichten, die an die Host-Vorrichtung zu senden sind, und/oder durch Empfangen und Interpretieren von Nachrichten von der Host-Vorrichtung. In einigen Beispielen können einige oder alle Anwendungsprogramme lokal auf der Vorrichtung 344 arbeiten. Wenn die Vorrichtung 344 zum Beispiel eine in dem Speichersubsystem 304 gespeicherte lokale Medienbibliothek aufweist, kann eine Medienschnittstellenanwendung eine Benutzerschnittstelle bereitstellen, um lokal gespeicherte Medienelemente auszuwählen und wiederzugeben. Das Verarbeitungssubsystem 302 kann auch eine handgelenkgestenbasierte Steuerung bereitstellen, zum Beispiel durch Ausführen eines Gestenverarbeitungscodes 336 (der wie gewünscht Teil des OS 332 sein oder separat bereitgestellt werden kann).
  • Die HF-Schnittstelle (Hochfrequenzschnittstelle) 308 kann es der Vorrichtung 344 ermöglichen, drahtlos mit verschiedenen Host-Vorrichtungen zu kommunizieren. Die HF-Schnittstelle 308 kann HF-Transceiver-Komponenten, wie eine Antenne und unterstützende Schaltung, einschließen, um eine Datenkommunikation über ein drahtloses Medium (z. B. unter Verwendung von Wi-Fi/Standards der IEEE 802.11-Familie), Bluetooth oder andere Protokolle für eine drahtlose Datenkommunikation zu ermöglichen. Die HF-Schnittstelle 308 kann unter Verwendung einer Kombination von Hardwarekomponenten (z. B. Treiberschaltungen, Antennen, Modulatoren/Demodulatoren, Encodern/Decodern und anderen analogen und/oder digitalen Signalverarbeitungsschaltungen) und Softwarekomponenten implementiert werden. In einigen Beispielen kann die HF-Schnittstelle 308 eine Funktion zur Nahfeldkommunikation (Near-Field Communication, „NFC“) bereitstellen (z. B. durch Implementieren des ISO/IEC 18092-Standards oder dergleichen). In einigen Beispielen kann NFC einen drahtlosen Datenaustausch zwischen Vorrichtungen über einen sehr kurzen Bereich (z. B. 20 cm oder weniger) unterstützen. Mehrere unterschiedliche drahtlose Kommunikationsprotokolle und zugehörige Hardware können in die HF-Schnittstelle 308 einbezogen sein.
  • Die Anschlussschnittstelle 310 kann es der Vorrichtung 344 ermöglichen, mit verschiedenen Host-Vorrichtungen über einen drahtgebundenen Kommunikationspfad zu kommunizieren, zum Beispiel unter Verwendung von Universal Serial Bus- (USB-), Universal Asynchronous Receiver/Transmitter- (UART-) oder anderen Protokollen für eine drahtgebundene Datenkommunikation. In einigen Beispielen kann die Anschlussschnittstelle 310 einen Stromanschluss bereitstellen, der es der Vorrichtung 344 ermöglicht, Strom zu empfangen, um zum Beispiel den Akku 340 zu laden. Zum Beispiel kann die Anschlussschnittstelle 310 einen Anschluss, wie einen mini-USB-Anschluss oder einen benutzerdefinierten Anschluss, sowie eine unterstützende Schaltung einschließen. In einigen Beispielen kann der Anschluss ein benutzerdefinierter Anschluss sein, der dedizierte Strom- und Massekontakte sowie digitale Datenkontakte, die verwendet werden können, um verschiedene Kommunikationstechnologien parallel zu implementieren, bereitstellen kann. Zum Beispiel können zwei Stifte als USB-Datenstifte (D+ und D-) zugewiesen sein und können zwei andere Stifte als serielle Sende-/Empfangsstifte zugewiesen sein (z. B. Implementieren einer UART-Schnittstelle). Die Zuweisung von Stiften zu bestimmten Kommunikationstechnologien kann fest verdrahtet sein oder festgelegt werden, wenn die Verbindung aufgebaut wird. In einigen Beispielen kann der Anschluss auch Verbindungen für Audio- und/oder Videosignale bereitstellen, die in analogen und/oder digitalen Formaten zu oder von der Host-Vorrichtung übertragen werden können.
  • In einigen Beispielen können die Anschlussschnittstelle 310 und/oder die HF-Schnittstelle 308 verwendet werden, um Synchronisierungsvorgänge zu unterstützen, bei denen Daten von einer Host-Vorrichtung zu der Vorrichtung 344 (oder umgekehrt) übertragen werden können. Zum Beispiel kann ein Benutzer, wie unten beschrieben, bestimmte Informationen für die Vorrichtung 344 individuell anpassen (z. B. Einstellungen in Bezug auf die Handgelenkgestensteuerung). Während die Benutzerschnittstelle 306 Dateneingabevorgänge unterstützen kann, findet es ein Benutzer möglicherweise zweckmäßiger, individuell angepasste Informationen auf einer separaten Vorrichtung (z. B. einem Tablet oder Smartphone) zu definieren, die eine größere Bedienfläche (z. B. einschließlich eines physischen oder virtuellen alphanumerischen Tastenblocks) aufweisen kann. Die individuell angepassten Informationen können über einen Synchronisierungsvorgang zu einer am Körper tragbaren Vorrichtung übertragen werden. Synchronisierungsvorgänge können auch verwendet werden, um andere Typen von Daten in das Speichersubsystem 304 zu laden und/oder dort zu aktualisieren, wie Medienelemente, Anwendungsprogramme, personenbezogene Daten und/oder Betriebssystemprogramme. Synchronisierungsvorgänge können als Reaktion auf eine explizite Benutzeranforderung und/oder automatisch durchgeführt werden (z. B., wenn die Vorrichtung 344 die Kommunikation mit einer bestimmten Host-Vorrichtung fortsetzt, oder als Reaktion darauf, dass eine Vorrichtung eine Aktualisierung ihrer Kopie von synchronisierten Informationen empfängt).
  • Die Vorrichtungssensoren 314 können verschiedene elektronische, mechanische, elektromechanische, optische und/oder andere Einrichtungen einschließen, die Informationen in Bezug auf externe Bedingungen in der Umgebung der Vorrichtung 344 bereitstellen können. Die Sensoren 314 können dem Verarbeitungssubsystem 302 digitale Signale bereitstellen, zum Beispiel auf Streaming-Basis oder wie gewünscht als Reaktion auf eine Polling-Abfrage durch das Verarbeitungssubsystem 302. Ein beliebiger Typ und eine beliebige Kombination von Vorrichtungssensoren können verwendet werden. Zum Beispiel können die Vorrichtungssensoren 314 einen Beschleunigungsmesser 342, ein Magnetometer 344, einen Kreiselsensor 346, einen GPS-Empfänger (Global Positioning System-Empfänger) 348, optische Sensoren 362 und barometrische Sensoren 364 einschließen. Einer oder mehrere der Vorrichtungssensoren 314 können Informationen über die Position und/oder die Bewegung der Vorrichtung 344 bereitstellen. Zum Beispiel kann der Beschleunigungsmesser 342 eine Beschleunigung (z. B. bezogen auf freien Fall) entlang einer oder mehrerer Achsen erfassen, zum Beispiel unter Verwendung von piezoelektrischen oder anderen Komponenten in Verbindung mit zugehöriger Elektronik, um ein Signal zu erzeugen. Das Magnetometer 344 kann ein Umgebungsmagnetfeld (z. B. das Magnetfeld der Erde) erfassen und kann ein entsprechendes elektrisches Signal erzeugen, das als eine Kompassrichtung interpretiert werden kann. Der Kreiselsensor 346 kann eine Drehbewegung in einer oder mehreren Richtungen erfassen, zum Beispiel unter Verwendung von einem oder mehreren Micro-Electro-Mechanical Systems-Gyroskopen (MEMS-Gyroskopen) und einer zugehörigen Steuer- und Erfassungsschaltung. Der GPS-Empfänger 348 kann eine Position basierend auf von GPS-Satelliten empfangenen Signalen bestimmen. Die optischen Sensoren 362 können eine oder optische Eigenschaften von verwendetem Licht erfassen, zum Beispiel beim Bestimmen von Photoplethsmygramm-Informationen (PPG-Informationen), die dem Benutzer zugeordnet sind. In einigen Beispielen können die optischen Sensoren 362 Umgebungslichtsensoren (Ambient Light Sensors, ALS) einschließen, um Umgebungslichteigenschaften zu bestimmen. Die barometrischen Sensoren 364 können den atmosphärischen Druck erfassen, um Informationen zur vertikalen Position der Vorrichtung aufzulösen.
  • Andere Sensoren können zusätzlich zu oder anstelle von diesen Beispielen ebenfalls eingeschlossen sein. Zum Beispiel kann ein Schallsensor das Mikrofon 326 zusammen mit einer zugehörigen Schaltung und/oder Programmcode einschließen, um zum Beispiel einen Dezibel-Pegel von Umgebungsschall zu bestimmen. Temperatursensoren, Näherungssensoren, Ultraschallsensoren oder dergleichen können ebenfalls eingeschlossen sein.
  • Die Bandsensoren 316 können verschiedene elektronische, mechanische, elektromechanische, optische oder andere Vorrichtungen einschließen, die Informationen dazu, ob die Vorrichtung 344 gerade getragen wird, sowie Informationen zu Kräften, die wegen einer Bewegung des Handgelenks des Benutzers auf das Band wirken können, bereitstellen können. Zum Beispiel können die Bandsensoren 316 optische Sensoren und/oder eine oder mehrere Kameras einschließen, wie unten beschrieben. In einigen Beispielen können Signale von den Bandsensoren 316 analysiert werden, zum Beispiel unter Verwendung des Gestenverarbeitungscodes 336, um Handgelenkgesten und/oder Fingerpositionen basierend auf den Sensorsignalen zu identifizieren. Solche Gesten und/oder Fingerpositionen können verwendet werden, um Vorgänge der Vorrichtung 344 zu steuern.
  • Das Stromsubsystem 312 kann Strom und Stromverwaltungsfunktionen für die Vorrichtung 344 bereitstellen. Zum Beispiel kann das Stromsubsystem 312 einen Akku 340 (z. B. eine wiederaufladbare Batterie) und eine zugehörige Schaltung einschließen, um Strom von dem Akku 340 zu anderen Komponenten der Vorrichtung 344, die elektrischen Strom benötigen können, zu verteilen. In einigen Beispielen kann das Stromsubsystem 312 auch eine Schaltung einschließen, die betreibbar ist, um den Akku 340 zu laden, wenn die Anschlussschnittstelle 310 mit einer Stromquelle verbunden sein kann. In einigen Beispielen kann das Stromsubsystem 312 eine „drahtlose“ Ladeeinheit, wie eine induktive Ladeeinheit, einschließen, um den Akku 340 zu laden, ohne auf die Anschlussschnittstelle 310 zurückzugreifen. In einigen Beispielen kann das Stromsubsystem 312 zusätzlich zu oder anstelle von dem Akku 340 auch andere Stromquellen (z. B. eine Solarzelle) einschließen.
  • In einigen Beispielen kann das Stromsubsystem 312 die Stromverteilung an Komponenten innerhalb der Vorrichtung 344 steuern, um den Stromverbrauch effizient zu verwalten. Zum Beispiel kann das Stromsubsystem 312 die Vorrichtung 344 automatisch in einen Ruhezustand (oder Standby-/inaktiven Zustand) versetzen, wenn die Bandsensoren 316 oder andere Sensoren angeben, dass die Vorrichtung 344 nicht durch den Benutzer getragen wird. Der Ruhezustand kann dazu ausgelegt sein, den Stromverbrauch zu verringern. Zum Beispiel können die Benutzerschnittstelle 306 (oder Komponenten davon), die HF-Schnittstelle 308, die Anschlussschnittstelle 310 und/oder die Vorrichtungssensoren 314 heruntergeregelt werden (z. B. in einen Stromsparzustand oder vollständig ausgeschaltet), während die Bandsensoren 316 eingeschaltet sein können (entweder kontinuierlich oder in Intervallen), um zu erfassen, wann ein Benutzer die Vorrichtung 344 anlegt. In einigen Beispielen, während die Vorrichtung 344 getragen wird, kann das Stromsubsystem 312 die Anzeige 320 und/oder andere Komponenten abhängig von der durch die Vorrichtungssensoren 314 und/oder Bandsensoren 316 erfassten Bewegung und/oder Ausrichtung der Vorrichtung 344 ein- oder ausschalten. Zum Beispiel kann das Stromsubsystem 312, wenn die Vorrichtung 344 für das Tragen am Handgelenk eines Benutzers ausgelegt sein kann, basierend auf von dem Beschleunigungsmesser 342 bereitgestellten Informationen ein Anheben und Drehen des Handgelenks des Benutzers erfassen, das üblicherweise mit einem Blick auf die Vorderseite einer Armbanduhr assoziiert ist. Als Reaktion auf diese erfasste Bewegung kann das Stromsubsystem 312 die Anzeige 320 und/oder den Berührungssensor 328 automatisch einschalten. In ähnlicher Weise kann das Stromsubsystem 312 die Anzeige 320 und/oder den Berührungssensor 328 als Reaktion auf ein Erfassen, dass das Handgelenk des Benutzers in eine neutrale Position zurückgekehrt ist (z. B. herunterhängt), automatisch ausschalten. Wie unten erörtert, können in einigen Beispielen andere Sensoren verwendet werden, um die axiale Ausrichtung des Handgelenks des Benutzers zum Reaktivieren (z. B. Umschalten von einem inaktiven Zustand in einen aktiven Zustand mit höherer Leistungsaufnahme) der Vorrichtung oder Versetzen der Vorrichtung in einen Ruhezustand zu bestimmen.
  • Das Stromsubsystem 312 kann auch andere Stromverwaltungsfunktionen bereitstellen, wie ein Regeln des Stromverbrauchs von anderen Komponenten der Vorrichtung 344 basierend auf der Quelle und der Menge an verfügbarem Strom, ein Überwachen und Speichern von Strom in dem Akku 340, ein Erzeugen von Benutzerbenachrichtigungen, wenn der gespeicherte Strom unter ein Mindestniveau fällt, usw.
  • In einigen Beispielen können Steuerfunktionen des Stromsubsystems 312 unter Verwendung von programmierbaren oder steuerbaren Schaltungen implementiert werden, die als Reaktion auf Steuersignale, die durch das Verarbeitungssubsystem 302 als Reaktion auf darauf ausgeführten Programmcode erzeugt werden, oder als eine separate Mikroprozessor- oder Mikrocontrollereinheit (MCU) 360 arbeiten.
  • Beispiele der Offenbarung können Variationen und Modifikationen des in 3 veranschaulichten Blockdiagramms einschließen. Zum Beispiel können die Bandsensoren 316 modifiziert werden und kann die Vorrichtung 344 ein vom Benutzer betätigbares Steuerelement (z. B. eine Taste oder einen Schalter, wie die Krone 318) einschließen, das der Benutzer betätigen kann, um eine Eingabe bereitzustellen. Die Krone 318 kann einen oder mehrere Sensoren 338 (z. B. eine Kamera) einschließen. Steuerelemente können ebenfalls bereitgestellt sein, um zum Beispiel die Anzeige 320 ein- oder auszuschalten, die Klangausgabe der Lautsprecher 322 stummzuschalten oder die Stummschaltung aufzuheben usw. Die Vorrichtung 344 kann beliebige Typen und eine beliebige Kombination von Sensoren einschließen und kann in einigen Beispielen mehrere Sensoren eines bestimmten Typs einschließen.
  • In einigen Beispielen kann eine Benutzerschnittstelle eine beliebige Kombination von beliebigen oder allen oben beschriebenen Komponenten sowie weitere nicht ausdrücklich beschriebene Komponenten einschließen. Zum Beispiel kann die Benutzerschnittstelle nur einen Touchscreen oder einen Touchscreen und einen Lautsprecher oder einen Touchscreen und eine haptische Vorrichtung einschließen. Wenn die am Körper tragbare Vorrichtung eine HF-Schnittstelle einschließt, kann eine Anschlussschnittstelle weggelassen werden und kann die Kommunikation zwischen der Vorrichtung 344 und anderen Vorrichtungen unter Verwendung von Drahtloskommunikationsprotokollen durchgeführt werden. Eine drahtgebundene Stromverbindung (z. B. zum Laden eines Akkus der Vorrichtung 344) kann separat von einer Datenverbindung bereitgestellt werden.
  • Während die Vorrichtung ferner unter Bezugnahme auf Funktionsblöcke beschrieben ist, versteht es sich, dass diese Blöcke zu Zwecken der Beschreibung definiert sind und keine bestimmte physische Anordnung von Komponententeilen implizieren sollen. Ferner müssen die Blöcke nicht physisch getrennten Komponenten entsprechen. Blöcke können so konfiguriert sein, dass sie verschiedene Operationen durchführen (z. B. durch Programmieren eines Prozessors oder Bereitstellen einer geeigneten Steuerschaltung), und verschiedene Blöcke können abhängig davon, wie die Erstkonfiguration erhalten wird, rekonfigurierbar sein oder nicht. Beispiele der Offenbarung können in einer Vielfalt von Einrichtungen, einschließlich elektronischer Vorrichtungen, die unter Verwendung einer beliebigen Kombination von Schaltungen und Software implementiert sind, praktisch umgesetzt werden. Außerdem sind Beispiele der Offenbarung nicht darauf beschränkt, dass jeder in der Figur veranschaulichte Block in einer gegebenen am Körper tragbaren Vorrichtung zu implementieren ist.
  • Eine Host-Vorrichtung (z. B. Host-Vorrichtung 236 von 2) kann als eine elektronische Vorrichtung unter Verwendung von Blöcken implementiert sein, die den oben beschriebenen (z. B. Prozessoren, Speichermedien, Benutzerschnittstellenvorrichtungen, Datenkommunikationsschnittstellen usw.) und/oder anderen Blöcken oder Komponenten ähnlich sind. Eine beliebige elektronische Vorrichtung, die mit einer bestimmten am Körper tragbaren Vorrichtung kommunizieren kann, kann in Bezug auf diese am Körper tragbare Vorrichtung wie eine Host-Vorrichtung wirken. Die Kommunikation zwischen einer Host-Vorrichtung und einer drahtlosen Vorrichtung kann gemäß einem beliebigen Kommunikationsprotokoll (oder einer Kombination von Protokollen) implementiert sein, für deren Verwendung beide Vorrichtungen programmiert oder auf andere Weise konfiguriert sein können. In einigen Beispielen können solche Protokolle (z. B. Bluetooth) verwendet werden. In einigen Beispielen können ein benutzerdefiniertes Nachrichtenformat und eine benutzerdefinierte Syntax (einschließlich zum Beispiel eines Satzes von Regeln zum Interpretieren bestimmter Bytes oder Sequenzen von Bytes in einer digitalen Datenübertragung) definiert werden und können Nachrichten unter Verwendung von seriellen Standardprotokollen (z. B. einem in bestimmten Bluetooth-Standards definierten virtuellen seriellen Port) übertragen werden.
  • Beispiele der Offenbarung können Systeme und Verfahren zum Scannen der Venen des Benutzers unter Verwendung von Nah-IR- und/oder IR-Sensoren einschließen. Das Scannen der Venen des Benutzers kann z. B. zum Erfassen von einer oder mehrerer Gesten und/oder Fingerpositionen verwendet werden, wobei die eine oder die mehreren Gesten und/oder Fingerpositionen Gesten sein können, die möglicherweise keine Berührungs- oder hörbare Eingabe verwenden. 4A-4B veranschaulichen Draufsichten einer Hand eines beispielhaften Benutzers gemäß Beispielen der Offenbarung. Die Hand des Benutzers 401 kann eine Handflächenseite, gezeigt als Hand 401A, einschließlich einer Vielzahl von Venen 403A, und eine Handrückenseite, gezeigt als Hand 401B, einschließlich einer Vielzahl von Venen 403B, einschließen. Eine oder mehrere tragbare elektronische Vorrichtungen können einen oder mehrere Sensoren (z. B. eine Kamera) nutzen, um eine Vielzahl von Bildern der Venen 403 des Benutzers zu erfassen. In einigen Beispielen kann die Vielzahl von Bildern zu unterschiedlichen Zeitpunkten (z. B. aufeinanderfolgenden Zeitrahmen) erfasst werden. Die Vorrichtung kann die in der Vielzahl von Bildern gezeigten Venen mit den Gelenken des Benutzers und einer oder mehreren Posen (z. B. Handposen) korrelieren. Ausgehend von der Pose/den Posen kann die Handbewegung des Benutzers (z. B. Fingerbewegungen) bestimmt werden. Die Vorrichtung kann eine oder mehrere Gesten und/oder Fingerpositionen (z. B. durch Vergleichen mit einem statistischen Modell) mit der Handbewegung des Benutzers (z. B. Fingerbewegungen) abgleichen und kann eine oder mehrere Vorrichtungsfunktionen (z. B. Vornehmen eines Telefonanrufs), die der/den bestimmten Geste(n) und/oder Fingerpositionen zugeordnet sind, durchführen.
  • 5A veranschaulicht eine Draufsicht einer Unterseite einer beispielhaften Vorrichtung zum Bestimmen eines PPG-Signals gemäß Beispielen der Offenbarung. Vorrichtung 544 kann Lichtsender 506 und 516 und einen Lichtsensor 504 einschließen. Licht von dem Lichtsender 506 kann auf die Haut des Benutzers fallen und zurück reflektieren, um durch den Lichtsensor 504 erkannt zu werden. In ähnlicher Weise kann Licht von dem Lichtsender 516 auf die Haut des Benutzers fallen und kann zurück reflektieren, um durch den Lichtsensor 504 erkannt zu werden. Ein oder mehrere Lichtsender-Lichtsensor-Paare können zusätzlich oder alternativ zum Erfassen von einem oder mehreren Bildern der Hand des Benutzers (z. B. der in 4A-4B veranschaulichten Hand des Benutzers 401) verwendet werden.
  • In einigen Beispielen kann die Vorrichtung einen oder mehrere Sensoren einschließen, die an der Krone der Vorrichtung angeordnet sind. 5B veranschaulicht eine perspektivische Ansicht einer beispielhaften am Körper tragbaren Vorrichtung mit einem oder mehreren Sensoren, die an der Krone der Vorrichtung angeordnet sind, gemäß Beispielen der Offenbarung. Die Vorrichtung 544 kann einen vorderen Abschnitt 504 und ein Band 546 einschließen. Das Band 546 kann unter Verwendung von Bandhaltern (nicht gezeigt) mit einem vorderen Abschnitt 504 verbunden sein. Die Krone kann eine mechanische Komponente (z. B. eine Kappe auf einer Spindel oder Welle zum Aufziehen einer Armbanduhr) sein, die betätigt werden kann. Zum Beispiel kann die Krone gedrückt, gedreht, berührt, in eine oder mehrere Richtungen gekippt und/oder entlang einer Bahn verschoben werden, die mindestens teilweise um einen Umfang des Gehäuses der Vorrichtung 544 angeordnet ist. Die Krone kann auch einen oder mehrere Sensoren 538 (z. B. eine Kamera) zum Erfassen von einem oder mehreren Bildern der Hand des Benutzers einschließen.
  • In einigen Beispielen kann die Vorrichtung einen oder mehrere Sensoren einschließen, die an dem Band, das an der Vorrichtung befestigt ist, angeordnet sind. 5C veranschaulicht eine perspektivische Ansicht einer beispielhaften am Körper tragbaren Vorrichtung mit einem oder mehreren Sensoren, die an dem Band der Vorrichtung angeordnet sind, gemäß Beispielen der Offenbarung. In einigen Beispielen kann das Band 546 eine Vielzahl von flexiblen Abschnitten und/oder eine Vielzahl von starren Abschnitten einschließen. In einigen Beispielen können die flexiblen Abschnitte zum Beispiel konfiguriert sein, um sich auszudehnen, wenn der Umfang des Handgelenks des Benutzers zunimmt. Die Sensoren 516 können an den elastischen Abschnitten, starren Abschnitten oder beiden angeordnet sein. Die Sensoren 516 können zum Erfassen von einem oder mehreren Bildern der Hand des Benutzers verwendet werden.
  • In einigen Beispielen kann die Vorrichtung einen Sensor/Sensoren einschließen, die an mehreren Stellen entlang der Vorrichtung und/oder Zubehörteilen, die an der Vorrichtung befestigt sind, angeordnet sind. Sensoren können an unterschiedlichen Stellen angeordnet sein, um zum Beispiel unterschiedliche Informationen zu erfassen. Zum Beispiel kann mindestens ein Sensor (z. B. das Lichtsender-506-Lichtsensor-504-Paar, das in 5A veranschaulicht ist) konfiguriert sein, um die Handrückenseite der Hand des Benutzers abzubilden, während mindestens ein anderer Sensor (z. B. Sensoren 538, die in 5C veranschaulicht sind) konfiguriert sein kann, um die Handflächenseite der Hand des Benutzers abzubilden.
  • Wie oben erörtert, kann die Vorrichtung einen oder mehrere Sensoren (z. B. Kameras) einschließen, um ein oder mehrere Bilder der Venen des Benutzers zu erfassen, die verwendet werden können, um eine Geste und/oder Fingerpositionen zum Durchführen von einer oder mehreren Vorrichtungsfunktionen zu erkennen. 6A veranschaulicht einen Prozess zum Erkennen einer Geste gemäß Beispielen der Offenbarung. Der Prozess 650 kann ein Erfassen einer Vielzahl von Bildern über eine Vielzahl von Zeitrahmen einschließen (Schritt 652). In einigen Beispielen kann die Vielzahl von Bildern unter Verwendung von einem oder mehreren Sensoren (z. B. Sensoren 538, die in 5B veranschaulicht sind, Sensoren 516, die in 5C veranschaulicht sind, usw.) erfasst werden. In einigen Beispielen kann die Vielzahl von Bildern (z. B. Bilder eines Venentransplantats) in repräsentative digitale Bilder umgewandelt werden. Zum Beispiel, wie in 6B veranschaulicht, kann die Hand des Benutzers eine erste Pose 611 aufweisen, die während eines ersten Zeitrahmens unter Verwendung von einem oder mehreren Sensoren erfasst werden kann. Die Vorrichtung kann das Bild in eine digitale Darstellung, wie das digitale Bild 613, umwandeln. Das digitale Bild 613 kann digitale Darstellungen der Venen (z. B. digitale Vene 603A, digitale Vene 603B, digitale Vene 603C usw.) einschließen. In einigen Fällen können eines oder mehrere (z. B. aufeinanderfolgende) der Vielzahl von Bildern verschiedene Posen der Hand des Benutzers einschließen. In anderen Fällen können eines oder mehrere der Vielzahl von Bildern die gleiche Pose der Hand des Benutzers einschließen. In einigen Beispielen kann ein Zeitrahmen eine vorbestimmte Zeitdauer einschließen. In einigen Fällen kann die Vorrichtung eine vorbestimmte Verzögerungszeit zwischen Zeitrahmen warten.
  • In Schritt 654 können ein oder mehrere Merkmale (z. B. die Venen 403 des Benutzers, die in 4A-4B veranschaulicht sind) in der Vielzahl von Bildern mit den Gelenken des Benutzers und/oder einer oder mehreren Posen korreliert werden. Die Korrelation kann ein Abgleichen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen mit einem oder mehreren der Gelenke des Benutzers und/oder einer oder mehreren Posen einschließen. Ausgehend von den Bildern und/oder Korrelationen kann die Vorrichtung die Handpose des Benutzers bestimmen (Schritt 656 von Prozess 650). Zum Beispiel, wie in 6B veranschaulicht, kann die Vorrichtung basierend auf der Form, dem Winkel und/oder der Größe der Venen (z. B. der Ausrichtung der digitalen Vene 603B bezogen auf die digitale Vene 603C, der Form der digitalen Vene 603C usw.) bestimmen, ob der Zeigefinger des Benutzers ausgestreckt ist.
  • In einigen Beispielen kann/können sich die Pose(n) aufgrund einer Bewegung der Gelenke des Benutzers ändern, wobei die Bewegung auch die Eigenschaften der Venen des Benutzers beeinflussen kann. In Schritt 658 können die Handbewegungen des Benutzers (z. B. Fingerbewegungen) ausgehend von der/den Pose(n) bestimmt werden. In einigen Beispielen können die Handbewegungen des Benutzers (z. B. Fingerbewegungen) unter Verwendung der Unterschiede zwischen der/den Pose(n) bestimmt werden. Zum Beispiel kann die Hand des Benutzers, während eines ersten Zeitrahmens, eine erste Pose aufweisen (z. B. können die Finger des Benutzers, wie in 6B veranschaulicht, gespreizt sein). Ein erstes Bild kann einen ersten Abstand und Winkel zwischen benachbarten Venen (z. B. der digitalen Vene 603B und der digitalen Vene 603C) erfassen. Während eines nachfolgenden (z. B. zweiten) Zeitrahmens kann die Hand des Benutzers eine zweite Pose 615 aufweisen (z. B. können die Finger des Benutzers geschlossen sein, wie in 6C veranschaulicht), die sich von der ersten Pose aufgrund einer Bewegung der Gelenke des Benutzers unterscheiden kann. Das zweite Bild kann erfasst werden (z. B. aus demselben Blickpunkt wie die Handrückenseite der linken Hand des Benutzers, wie in 6C veranschaulicht), und die Vorrichtung kann das Bild in eine digitale Darstellung, wie das digitale Bild 617, umwandeln. Die Vorrichtung kann die digitale Vene 603D mit dem Ringfinger des Benutzers, die digitale Vene 603E mit dem Mittelfinger des Benutzers und die digitale Vene 603F mit dem Zeigefinger des Benutzers korrelieren. Die Bewegung(en) des Benutzers kann/können zu einem oder mehreren Unterschieden in den digitalen Bildern führen. Zum Beispiel kann die digitale Vene 603C mit dem gleichen Finger wie die digitale Vene 603F korreliert werden und können die Unterschiede bei den Positionen der digitalen Venen auf den Bewegungen des Benutzers beruhen.
  • In einigen Beispielen können die bestimmten Handbewegungen (z. B. Fingerbewegungen) mit einem vorbestimmten statistischen Modell verglichen werden (z. B., um die Genauigkeit der Bestimmung der Handbewegungen des Benutzers (z. B. Fingerbewegungen), Gesten und/oder Fingerpositionen zu verbessern). In einigen Fällen kann das vorbestimmte statistische Modell eine oder mehrere dynamisch vorhergesagte Posen und/oder ein oder mehrere korrelierte Gelenke einschließen. Zum Beispiel kann das System die erste und die zweite Pose mit einem statistischen Modell abgleichen, um vorherzusagen, welche die dritte Pose des Benutzers sein kann. Die Vorhersage kann verwendet werden, um eine Verzögerung beim Durchführen von einer oder mehreren Vorrichtungsfunktionen (unten erörtert) zu verhindern, und/oder der Bequemlichkeit halber (z. B. muss der Benutzer die dritte Pose nicht durchführen).
  • In Schritt 660 können eine oder mehrere Gesten und/oder Fingerpositionen basierend auf den Handbewegungen des Benutzers (z. B. Fingerbewegungen) dynamisch bestimmt werden. Zum Beispiel können eine Geste und/oder Fingerpositionen einer Sequenz von Posen über eine Vielzahl von Zeitrahmen zugeordnet werden. Unter Verwendung des oben angegebenen Beispiels kann die erste Pose der gespreizten Finger des Benutzers gefolgt von der zweiten Pose der geschlossenen Finger des Benutzers der Geste des Schließens einer Anwendung auf einer tragbaren elektronischen Vorrichtung zugeordnet werden. Die Zuordnung zwischen Gesten und/oder Fingerpositionen und den Bewegungen des Benutzers kann vorbestimmt (z. B. in einer Bibliotheksdatei gespeichert) sein.
  • In einigen Beispielen kann die Handbewegung des Benutzers (z. B. Fingerbewegung) eine oder mehrere neue Gesten und/oder Posen einschließen. Zum Beispiel kann eine neue Geste eine Geste sein, die zu dem Zeitpunkt, zu dem der Benutzer die Handbewegung (z. B. Fingerbewegung) durchführt, nicht in der Bibliotheksdatei vorbestimmter Gesten eingeschlossen ist. Die Vorrichtung kann bestimmen, dass der Benutzer eine neue Geste und/oder Pose durchgeführt hat, und kann die neue Geste und/oder Pose aufzeichnen (wie unten erörtert). Die Vorrichtung kann die neue Geste und/oder Pose der Bibliotheksdatei hinzufügen.
  • In Schritt 662 kann die Vorrichtung die bestimmte Geste und/oder Pose verwenden, um eine oder mehrere Vorrichtungsfunktionen durchzuführen. Beispiele von Vorrichtungsfunktionen können ein Vornehmen eines Telefonanrufs, Einschalten einer Anwendung, Durchführen eines Vorgangs im Zusammenhang mit einer Anwendung, Aufzeichnen einer neuen Geste und/oder von Fingerpositionen, Anzeigen einer Nachricht auf der Anzeige und Interagieren mit virtuellen Objekten einschließen, ohne darauf beschränkt zu sein. Zum Beispiel kann ein Benutzer mit virtuellen Objekten in einem dreidimensionalen Raum interagieren. Als ein Beispiel können auf einer Anzeige einer beispielhaften Vorrichtung drei Tassen auf einem Tisch positioniert sein. Nach der Bestimmung einer Geste und/oder Pose des „Nehmens“ (z. B. werden die Finger des Benutzers gekrümmt, als ob ein Objekt aufgenommen wird) kann eine der virtuellen Tassen auf dem Bildschirm als genommen angezeigt werden, während der Benutzer die Geste und/oder Pose in der Luft ausführt. Nachfolgend, nach der Bestimmung einer Geste und/oder Pose des „Fallenlassens“ (z. B. werden die Finger des Benutzers geöffnet, als ob ein Objekt fallengelassen würde), kann die virtuelle Tasse auf dem Bildschirm als fallengelassen und zerbrochen angezeigt werden, während der Benutzer die Geste und/oder Pose in der Luft ausführt. Auf diese Weise kann ein Bestimmen der Geste und/oder Fingerpositionen des Benutzers über die hiermit offenbarten Beispiele für Virtual Reality-Anwendungen (VR-Anwendungen) verwendet werden.
  • In einigen Beispielen kann die Vorrichtung in der Lage sein, die Geste(n) und/oder Posen des Benutzers vorherzusagen, bevor der Benutzer die Geste(n) und/oder Posen abschließt, wie in 6D veranschaulicht. Der Prozess 670 kann ein Erfassen einer Vielzahl von Bildern über eine Vielzahl von Zeitrahmen einschließen (Schritt 672). In einigen Beispielen kann die Vielzahl von Bildern unter Verwendung von einem oder mehreren Sensoren (z. B. Sensoren 338, die in 3 veranschaulicht sind) erfasst werden. Ein Zeitrahmen kann eine vorbestimmte Zeitdauer einschließen. In einigen Fällen kann die Vorrichtung eine vorbestimmte Verzögerungszeit zwischen Zeitrahmen warten. In einigen Beispielen kann die Vielzahl von Bildern Bilder eines Venentransplantats sein, die in repräsentative digitale Bilder umgewandelt werden können. In Schritt 674 können ein oder mehrere Merkmale (z. B. die Venen 403 des Benutzers, die in 4A-4B veranschaulicht sind) in der Vielzahl von Bildern mit den Gelenken des Benutzers und/oder einer oder mehreren ersten Posen korreliert werden. Die Korrelation kann ein Abgleichen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen mit dem/den Gelenk(en) des Benutzers und/oder einer ersten Pose/Posen einschließen.
  • In einigen Beispielen kann/können sich die erste(n) Pose(n) aufgrund einer Bewegung der Gelenke des Benutzers ändern, wobei die Bewegung auch die Eigenschaften der Venen des Benutzers beeinflussen kann. Zum Beispiel kann die Hand des Benutzers, während der Vielzahl von Zeitrahmen, eine erste Pose durchführen (z. B. zeichnen die Finger des Benutzers den Buchstaben „M“ in Zeichensprache). Die Vorrichtung kann ein erstes Bild der Venen des Benutzers erfassen, kann das erfasste erste Bild in ein repräsentatives digitales erstes Bild umwandeln und kann die Venen mit den Gelenken des Benutzers korrelieren (z. B. von dem oben erörterten Schritt 672 und Schritt 674).
  • In Schritt 676 kann die Vorrichtung eine zweite Vielzahl von Bildern über eine zweite Vielzahl von Zeitrahmen erfassen. In einigen Beispielen kann die zweite Vielzahl von Zeitrahmen unmittelbar auf die erste Vielzahl von Zeitrahmen, die in Schritt 672 beschrieben ist, folgen. In einigen Beispielen kann die zweite Vielzahl von Zeitrahmen zu einem späteren Zeitpunkt erfolgen, der nicht unmittelbar auf die erste Vielzahl von Zeitrahmen folgt.
  • In Schritt 678 können ein oder mehrere Merkmale (z. B. die Venen 403 des Benutzers, die in 4A-4B veranschaulicht sind) in der zweiten Vielzahl von Bildern mit den Gelenken des Benutzers und/oder einer oder mehreren zweiten Posen korreliert werden. Die Korrelation kann ein Abgleichen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen mit einem oder mehreren der Gelenke des Benutzers und/oder einer oder mehreren zweiten Posen einschließen. In einigen Beispielen können die erste und die zweite Pose unterschiedliche Posen sein. In anderen Beispielen können die erste und die zweite Pose im Wesentlichen die gleiche Pose sein.
  • Zum Beispiel kann die Hand des Benutzers, während eines zweiten Zeitrahmens, eine zweite Pose (z. B. zeichnen die Finger des Benutzers den Buchstaben „O“ in Zeichensprache) durchführen, die sich von der ersten Pose aufgrund der Bewegung der Gelenke des Benutzers unterscheiden kann. Die Vorrichtung kann das erfasste zweite Bild in ein repräsentatives zweites digitales Bild umwandeln und kann die Venen mit den Gelenken des Benutzers korrelieren.
  • In Schritt 680 kann eine zukünftige Pose und/oder Geste nach Schritt 678 basierend auf der korrelierten ersten und zweiten Pose dynamisch vorhergesagt werden (z. B. von den oben erörterten Schritten 672 bis 678). In einigen Beispielen kann die Vorhersage ein Bestimmen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen in der ersten und zweiten Vielzahl von Bildern und ein Vorhersagen einer dritten Pose basierend auf der einen oder den mehreren Eigenschaften einschließen. Zusätzlich oder alternativ kann die Vorhersage auf einem oder mehreren Mustern (z. B. in einer Bibliotheksdatei gespeichert) basieren. In anderen Beispielen können die vorhergesagten Posen oder Gesten auf einem endlichen Satz von möglichen Posen oder Gesten basieren. Zum Beispiel kann eine vorhergesagte dritte Pose dem Buchstaben „M“ in Zeichensprache basierend auf der ersten und der zweiten Pose von „M“ bzw. „O“ in Zeichensprache zugeordnet sein. Die möglichen Posen oder Gesten können einen bestimmten Konfidenzwert aufweisen, der diesen zugeordnet ist, wobei höhere Konfidenzwerte eine höhere Wahrscheinlichkeit, dass die Vorhersage richtig ist, angeben können. Unter Verwendung des obigen Beispiels kann die vorhergesagte Pose des Buchstabens „M“ einen höheren Konfidenzwert als eine vorhergesagte Pose des Buchstabens „X“ aufweisen. Basierend auf der Genauigkeit der Vorhersage kann die Vorrichtung den Konfidenzwert dynamisch ändern. In einigen Fällen kann der Benutzer eine Angabe dazu bereitstellen, ob die Vorhersage richtig war.
  • In Schritt 682 kann der Erfolg der Vorhersage bestimmt werden (z. B. basierend auf einem Konfidenzwert). Wenn eine Geste und/oder Pose erfolgreich vorhergesagt wird, dann kann der Prozess zu Schritt 684 wechseln, wenn eine oder mehrere Gesten und/oder Posen basierend auf der Vorhersage bestimmt werden können. In einigen Beispielen können die vorhergesagten Posen oder Gesten mit einem vorbestimmten statistischen Modell verglichen werden, um die Genauigkeit der vorhergesagten Posen oder Gesten zu bestimmen. In anderen Beispielen kann der Erfolg der vorhergesagten Posen oder Gesten basierend auf den vorhergehenden Posen bestimmt werden. Zum Beispiel kann nach dem obigen Beispiel für die dritte Pose von „M“ in Zeichensprache bestimmt werden, dass sie erfolgreich vorhergesagt wird, weil die Sequenz von Posen ein richtiges Wort „MOM“ in Zeichensprache darstellt. Wenn eine Geste und/oder eine Pose nicht erfolgreich vorhergesagt wird, dann kann der Vorhersageprozess zu Schritt 676 zurückkehren, um mehr Bilder zu erfassen. Zum Beispiel können die erfassten Bilder nicht ausreichend sein, um eine genaue Vorhersage zu treffen (z. B. können die erfassten Bilder nicht genügend Proben einschließen), weshalb mehr erfasste Bilder herangezogen werden können, um die Konfidenz einer vorhergesagten Pose oder Geste zu erhöhen. In einigen Beispielen kann die Vorrichtung, nach einer Bestimmung einer nicht erfolgreichen Vorhersage, wahlweise eine oder mehrere Gesten und/oder Posen ohne eine vorhergesagte Pose und/oder Geste bestimmen, ähnlich dem in 6A beschriebenen Prozess.
  • In Schritt 684 können eine oder mehrere Gesten nach einer Bestimmung einer erfolgreichen Posen- und/oder Gestenvorhersage ausgehend von den korrelierten Posen und vorhergesagten Posen und/oder Gesten dynamisch bestimmt werden. In einigen Beispielen können die bestimmten Bewegungen mindestens eine vorhergesagte Pose einschließen. In einigen Beispielen können die Gesten unter Verwendung der Bewegungen des Benutzers (z. B. einer Sequenz von Posen, die ausgehend von den Schritten 672 bis 678 bestimmt werden) über eine Vielzahl von Zeitrahmen und die vorhergesagte Pose und/oder Geste (z. B. von Schritt 680) bestimmt werden. In einigen Beispielen können die Schritte 676 und 678 wiederholt werden, bis eine erfolgreiche Vorhersage der Geste(n) und/oder Pose erreicht ist.
  • In einigen Beispielen kann eine Geste und/oder Pose durch Korrelieren der Bewegungen mit einer Bibliotheksdatei von vorbestimmten Gesten und/oder Posen bestimmt werden. In einigen Beispielen können die Bewegungen eine oder mehrere neue Gesten und/oder Posen sein. Zum Beispiel kann eine neue Geste und/oder Pose eine Geste und/oder Pose sein, die nicht in einer Bibliotheksdatei enthalten ist. In anderen Beispielen kann die neue Geste und/oder Pose der Bibliotheksdatei hinzugefügt werden.
  • In Schritt 686 können eine oder mehrere Vorrichtungsfunktionen, die den bestimmten Gesten und/oder Posen zugeordnet sind, durchgeführt werden. Beispiele von Vorrichtungsfunktionen können ein Vornehmen eines Telefonanrufs, Einschalten einer Anwendung, Durchführen eines Vorgangs im Zusammenhang mit einer Anwendung, Aufzeichnen einer neuen Geste und/oder Pose und Interagieren mit einem oder mehreren virtuellen Objekten einschließen, ohne darauf beschränkt zu sein. In einigen Beispielen kann der Benutzer aufgefordert werden, die Vorrichtungsfunktion vor dem Durchführen der Funktion zu verifizieren, um sicherzustellen, dass eine genaue Pose und/oder Geste vorhergesagt wurde.
  • Zusätzlich zu dem Bestimmen der Geste und/oder Pose kann die Vorrichtung in der Lage sein, Gesten aufzuzeichnen. 7A veranschaulicht einen Prozess zum Erfassen von einer oder mehreren Gesten und/oder Posen gemäß Beispielen der Offenbarung. Der Prozess 750 kann ein Erfassen einer Vielzahl von Bildern über eine Vielzahl von Zeitrahmen einschließen (Schritt 752). In einigen Beispielen kann die Vielzahl von Bildern unter Verwendung von einem oder mehreren Sensoren (z. B. Sensoren 338, die in 3 veranschaulicht sind) erfasst werden. In einigen Beispielen kann die Vielzahl von Bildern Bilder eines Venentransplantats sein, die in repräsentative digitale Bilder umgewandelt werden können. In einigen Fällen können eines oder mehrere der Vielzahl von Bildern die gleiche Pose der Hand des Benutzers einschließen. Ein Zeitrahmen kann eine vorbestimmte Zeitdauer einschließen. In einigen Fällen kann die Vorrichtung eine vorbestimmte Verzögerungszeit zwischen Zeitrahmen warten.
  • In Schritt 754 können ein oder mehrere Merkmale (z. B. die Venen 403 des Benutzers, die in 4A-4B veranschaulicht sind) in der Vielzahl von Bildern mit den Gelenken des Benutzers und/oder einer oder mehreren Posen korreliert werden. Die Korrelation kann ein Abgleichen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen mit einem oder mehreren der Gelenke des Benutzers und/oder einer oder mehreren Posen einschließen. Zum Beispiel kann die Vorrichtung ein Bild von der Handrückenseite der Hand des Benutzers erfassen und kann die Venen mit den jeweiligen Fingern des Benutzers korrelieren.
  • In Schritt 756 kann die Vorrichtung für ein oder mehrere (z. B. alle) Bilder und/oder für eine oder mehrere (z. B. alle) Venen-Gelenk-Korrelationen die Handpose(n) des Benutzers bestimmen. Zum Beispiel kann die Vorrichtung basierend auf der Form und/oder Größe der Venen bestimmen, ob die Finger des Benutzers gekrümmt sind. Die gekrümmten Finger können zum Beispiel ein Halten eines virtuellen Musikinstruments (z. B. ein Halten des Halses einer Gitarre) nachahmen.
  • In einigen Beispielen können sich die Posen aufgrund einer Bewegung der Gelenke des Benutzers ändern, wobei die Bewegung auch die Eigenschaften der Venen des Benutzers beeinflussen kann. Zum Beispiel kann die Hand des Benutzers, während eines ersten Zeitrahmens, eine erste Pose aufweisen (z. B. können drei der Finger des Benutzers in einer Position geschlossen sein, die einen ersten Gitarrengriff repräsentiert). Ein erstes Bild kann erfasst werden und kann ein erstes Ausrichtungsmuster der Venen des Benutzers repräsentieren. Während eines nachfolgenden (z. B. zweiten) Zeitrahmens kann die Hand des Benutzers eine zweite Pose aufweisen (z. B. können die drei Finger in einer Position gespreizt sein, die einen zweiten Gitarrengriff darstellt). Ein zweites Bild kann erfasst werden und kann ein zweites Ausrichtungsmuster der Venen des Benutzers repräsentieren. Das zweite Ausrichtungsmuster kann sich von dem ersten Ausrichtungsmuster unterscheiden.
  • In Schritt 758 können die Handbewegungen des Benutzers (z. B. Fingerbewegungen) ausgehend von der einen oder den mehreren Posen bestimmt werden. In einigen Beispielen können die Handbewegungen des Benutzers (z. B. Fingerbewegungen) ausgehend von den Unterschieden (z. B. der Änderung der Form der Venen, die jedem der Finger des Benutzers zugeordnet sind) zwischen der einen oder den mehreren Posen bestimmt werden. Zum Beispiel kann das erste Bild der ersten Pose (z. B. die geschlossenen Finger des Benutzers in der Position des ersten Gitarrengriffs) mit dem zweiten Bild der zweiten Pose (z. B. den gespreizten Fingern des Benutzers in der Position des zweiten Gitarrengriffs) verglichen werden. Die Unterschiede in einem oder mehreren Merkmalen (z. B. die Position der Venen, die Winkelverschiebung der Venen usw.) können erkannt werden.
  • In einigen Beispielen kann die Dauer des Zeitrahmens geändert werden, um die Granularität der Gesten-/Posenbestimmung einzustellen (z. B. einschließlich der Häufigkeit der Bilderfassung und entsprechender Bestimmungen). Unter Verwendung des oben angegebenen Beispiels kann die Dauer des Zeitrahmens verkürzt werden, um den Übergang der Finger des Benutzers von der Position des ersten Gitarrengriffs zu der Position des zweiten Gitarrengriffs zu erfassen. In einigen Fällen, wenn die Vorrichtung falsche Gesten- und/oder Posenbestimmungen durchführt, kann die Granularität der Gesten- und/oder Posenbestimmung eingestellt werden, um die Genauigkeit der Gesten- und/oder Posenbestimmungen zu verbessern. In einigen Beispielen kann die Auflösung der Bilder erhöht werden, um die Granularität der Gesten- und/oder Posenbestimmung zu verbessern. Zum Beispiel können zusätzliche Kombinationen von Sendern und Sensoren (z. B. durch Aktivieren von zusätzlichen Sendern oder Sensoren oder Einsetzen von nicht verwendeten Sender-/Sensorpaaren) eingesetzt werden. Zusätzlich oder alternativ kann während der gleichen Menge der gesamten Zeitdauer eine unterschiedliche (z. B. größere) Anzahl von Bildern erfasst werden. Auf diese Weise können Zwischenposen (z. B. Posen zwischen den geschlossenen und gespreizten Fingern) erfasst werden. In einigen Beispielen kann diese Dauer basierend auf einem Konfidenzwert und/oder einer Benutzereingabe dynamisch geändert werden.
  • In Schritt 760 können eine oder mehrere Gesten und/oder Posen basierend auf den Handbewegungen des Benutzers (z. B. Fingerbewegungen) bestimmt werden. Zum Beispiel können eine Geste und/oder Pose einer Sequenz von Posen über eine Vielzahl von Zeitrahmen zugeordnet werden. Unter Verwendung des oben angegebenen Beispiels kann die erste Pose der geschlossenen Finger des Benutzers gefolgt von der zweiten Pose der gespreizten Finger des Benutzers dem Wechseln zwischen zwei Griffen während des Spielens einer virtuellen Gitarre zugeordnet werden. Die Zuordnung zwischen Gesten und/oder Posen und den Bewegungen des Benutzers kann vorbestimmt (z. B. in einer Bibliotheksdatei gespeichert) sein. Zum Beispiel kann, in der Bibliotheksdatei, eine Vielzahl von Posen mit gekrümmten Fingern Gesten einer virtuellen Gitarre zugeordnet werden.
  • In einigen Beispielen kann die Handbewegung des Benutzers (z. B. Fingerbewegung) eine oder mehrere neue Gesten und/oder Posen einschließen. Zum Beispiel kann eine neue Geste und/oder Pose eine Geste und/oder Pose sein, die nicht in der Bibliotheksdatei enthalten ist. Die Vorrichtung kann bestimmen, dass der Benutzer eine neue Geste und/oder Pose durchgeführt hat, und kann die neue Geste und/oder Pose aufzeichnen. Die Vorrichtung kann die neue Geste und/oder Pose der Bibliotheksdatei hinzufügen. In einem anderen Beispiel kann die neue Geste und/oder Pose einem seltenen Griff (z. B. einer Geste und/oder Pose, die wenige oder keine Proben in einem zugeordneten statistischen Modell aufweist) auf einer virtuellen Gitarre zugeordnet werden.
  • In Schritt 762 kann die Vorrichtung die bestimmten Gesten, Posen und/oder die Bilder, die den bestimmten Gesten und/oder Posen zugeordnet sind, aufzeichnen. In einigen Beispielen können die Gesten, Posen und/oder die zugeordneten Bilder aufgezeichnet werden, nachdem bestimmt wurde, dass die bestimmte Geste und/oder Pose eine neue Geste und/oder Pose ist. Zum Beispiel kann eine Fingerposition eines Benutzers an dem virtuellen Gitarrenhals bestimmt werden, aber der Griff kann unbekannt (z. B. nicht in der Bibliotheksdatei gespeichert) sein. Der Benutzer kann die Fingerpositionen (z. B. Posen) aufzeichnen und der einen oder den mehreren Posen einen neuen Griff zuordnen. In einigen Beispielen können die aufgezeichneten Gesten und/oder Posen und zugeordneten Bilder klassifiziert werden. Zum Beispiel können Gesten und/oder Posen, die gekrümmte Finger einschließen, als Gesten und/oder Posen für eine virtuelle Gitarre klassifiziert werden.
  • In einigen Beispielen kann die aufgezeichnete Geste und/oder Pose eigenständig sein. Mit anderen Worten kann die aufgezeichnete Geste und/oder Pose nicht in einer Bibliotheksdatei eingeschlossen sein und/oder kann ein Attribut einer Bibliotheksdatei nicht beeinflussen. In anderen Fällen kann die neu aufgezeichnete Geste und/oder Pose Teil einer Bibliotheksdatei sein und/oder kann ein oder mehrere Attribute einer Bibliotheksdatei beeinflussen.
  • In Schritt 764 können eine oder mehrere Bibliotheksdateien basierend auf den aufgezeichneten Bildern, Posen und/oder Gesten aktualisiert werden. In einigen Beispielen kann das Aktualisieren der Bibliotheksdatei ein Modifizieren der Korrelation von einer oder mehreren Posen mit einer oder mehreren Gesten einschließen, wobei die Pose(n) und/oder Geste(n) möglicherweise nicht bereits vorhanden (d. h. nicht neu) sind. Die Bibliotheksdatei kann mit einer oder mehreren Informationen, die dem aufgezeichneten Bild, den aufgezeichneten Posen und/oder der aufgezeichneten Geste zugeordnet sind, aktualisiert werden. Beispielhafte Informationen können die Geste(n), Posen, ein oder mehrere Bilder, statistische Modelle, die der/den Geste(n), Posen und/oder dem/den Bild(ern) zugeordnet sind, eine oder mehrere Anwendungen, die der/den Geste(n) und/oder Posen zugeordnet sind, und Benutzereigenschaften einschließen, ohne darauf beschränkt zu sein. Zusätzlich oder alternativ kann das Aktualisieren der Bibliotheksdatei ein Hinzufügen und/oder Modifizieren einer Zuordnung von einer oder mehreren Gesten und/oder Posen zu einer oder mehreren Vorrichtungsfunktionen einschließen.
  • In einigen Beispielen kann die Vorrichtung in der Lage sein, die Geste(n) und/oder Posen des Benutzers vorherzusagen, bevor der Benutzer die Geste(n) und/oder Posen abschließt und die Geste(n) und/oder Posen aufzeichnet, wie in 7B veranschaulicht. Der Prozess 770 kann ein Erfassen von einem oder mehreren Bildern über einen oder mehrere Zeitrahmen einschließen (Schritt 772). In einigen Beispielen kann die Vielzahl von Bildern unter Verwendung von einem oder mehreren Sensoren (z. B. Sensoren 338, die in 3 veranschaulicht sind) erfasst werden. In einigen Beispielen kann die Vielzahl von Bildern Bilder eines Venentransplantats sein, die in repräsentative digitale Bilder umgewandelt werden können. In einigen Fällen können eines oder mehrere der Vielzahl von Bildern die gleiche Pose der Hand des Benutzers einschließen. Ein Zeitrahmen kann eine vorbestimmte Zeitdauer einschließen. In einigen Fällen kann die Vorrichtung eine vorbestimmte Verzögerungszeit zwischen Zeitrahmen warten.
  • In Schritt 774 können ein oder mehrere Merkmale (z. B. die Venen 403 des Benutzers, die in 4A-4B veranschaulicht sind) in der Vielzahl von Bildern mit den Gelenken des Benutzers und/oder einer oder mehreren Posen korreliert werden. Die Korrelation kann ein Abgleichen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen mit einem oder mehreren der Gelenke des Benutzers und/oder einer oder mehreren Posen einschließen. Zum Beispiel kann die Vorrichtung ein Bild von der Handrückenseite der Hand des Benutzers erfassen und kann die Venen mit den jeweiligen Fingern des Benutzers korrelieren. In einem anderen Beispiel kann die Hand des Benutzers, während eines Zeitrahmens, eine Pose aufweisen (z. B. können drei der Finger des Benutzers in einer Position geschlossen sein, die einen ersten Gitarrengriff darstellt). Ein Bild der Venen des Benutzers kann erfasst und mit der Pose des Benutzers korreliert werden.
  • In Schritt 776 kann die Vorrichtung ein oder mehrere zweite Bilder über einen oder mehrere zweite Zeitrahmen erfassen. In einigen Beispielen kann die zweite Vielzahl von Zeitrahmen auf die erste Vielzahl von Zeitrahmen folgen (z. B. Schritt 772). In einigen Beispielen kann die zweite Vielzahl von Zeitrahmen zu einem späteren Zeitpunkt erfolgen, der nicht unmittelbar auf die erste Vielzahl von Zeitrahmen folgt.
  • In Schritt 778 können ein oder mehrere Merkmale (z. B. die Venen 403 des Benutzers, die in 4A-4B veranschaulicht sind) in dem/den zweiten Bild(ern) mit den Gelenken des Benutzers und/oder einer oder mehreren zweiten Posen korreliert werden. Die Korrelation kann ein Abgleichen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen mit einem oder mehreren der Gelenke des Benutzers und/oder einer oder mehreren zweiten Posen einschließen.
  • In einigen Beispielen können die erste und die zweite Pose unterschiedliche Posen sein. Zum Beispiel kann die Hand des Benutzers, während eines nachfolgenden (z. B. zweiten) Zeitrahmens nach dem in Schritten 772-774 beschriebenen Zeitrahmen, eine zweite Pose aufweisen (z. B. können die drei Finger in einer Position geöffnet sein, die einen zweiten Gitarrengriff darstellt). Ein zweites Bild der Venen des Benutzers kann erfasst und während des nachfolgenden zweiten Zeitrahmens mit der Pose des Benutzers korreliert werden. In einigen Beispielen kann die Vorrichtung, nach einer Bestimmung einer im Wesentlichen unterschiedlichen zweiten Pose in einem nachfolgenden Zeitrahmen, mit einigen oder allen der Schritte 776-778 fortfahren.
  • In anderen Beispielen können die erste und die zweite Pose im Wesentlichen die gleiche Pose sein. In einigen Beispielen kann, nach einer Bestimmung einer im Wesentlichen gleichen zweiten Pose in einem nachfolgenden Zeitrahmen, auf das erfasste Bild und/oder die Korrelation zwischen den Venen, Fingern und Posen des Benutzers verzichtet werden. In anderen Fällen kann das erste Bild das gleiche wie das zweite Bild sein und kann die erste Korrelation die gleiche wie die zweite Korrelation sein.
  • In Schritt 780 kann eine zukünftige Pose und/oder Geste basierend auf der korrelierten ersten und zweiten Pose dynamisch vorhergesagt werden (z. B. von den oben erörterten Schritten 772-778). In einigen Beispielen kann die Vorhersage ein Bestimmen von einer oder mehreren Eigenschaften (z. B. Position, relativer Abstand, Form, Blutfluss usw.) der Venen in der ersten und zweiten Vielzahl von Bildern und ein Vorhersagen einer dritten Pose basierend auf der einen oder den mehreren Eigenschaften einschließen. In anderen Beispielen können die vorhergesagten Posen oder Gesten auf einem endlichen Satz von möglichen Posen oder Gesten basieren. Zum Beispiel kann eine vorhergesagte dritte Pose basierend auf der ersten und der zweiten Pose, die für geschlossene bzw. geöffnete Gitarrengriffe repräsentativ sind, für einen Barregriff (z. B. gerader Zeigefinger und die übrigen Finger gekrümmt) auf einer Gitarre repräsentativ sein (z. B. kann der Benutzer durch eine Geste das Begleiten eines Lieds anzeigen). In einem anderen Beispiel kann die Vorrichtung basierend auf der ersten und der zweiten Posen geschlossener und geöffneter Finger vorhersagen, dass die Finger des Benutzers in einer dritten Pose geschlossen sind (z. B. kann der Benutzer Gesten und/oder Posen durchführen, die für das Wiederholen eines Musters eines Lieds repräsentativ sind).
  • In Schritt 782 kann der Erfolg der Vorhersage bestimmt werden (z. B. basierend auf einem Konfidenzwert). In einigen Beispielen können die vorhergesagten Posen oder Gesten mit einem vorbestimmten statistischen Modell verglichen werden, um die Genauigkeit der vorhergesagten Posen oder Gesten zu bestimmen. In anderen Beispielen kann der Erfolg einer vorhergesagten Posen oder Gesten basierend auf den vorhergehenden Posen bestimmt werden. Zum Beispiel kann nach dem obigen Beispiel für die dritte Pose eines Barregriffs bestimmt werden, dass sie erfolgreich vorhergesagt wird, wenn die Sequenz von Posen, die einem Gitarrengriff entsprechen, ein Lied richtig spielt.
  • Wenn eine Geste und/oder Pose erfolgreich vorhergesagt wird (z. B. stimmt die vorhergesagte Geste und/oder Pose mit einem Modell überein, oder der Benutzer genehmigt die Vorhersage), dann kann der Prozess zu Schritt 784 wechseln, wenn eine oder mehrere Gesten und/oder Posen ausgehend von den korrelierten Posen und vorhergesagten Posen und/oder Gesten dynamisch bestimmt werden können. In einigen Beispielen können die bestimmten Bewegungen mindestens eine vorhergesagte Pose einschließen. In einigen Beispielen können die Gesten und/oder Posen unter Verwendung der Bewegungen des Benutzers (z. B. einer Sequenz von Posen, die ausgehend von den Schritten 772-778 bestimmt werden) über eine Vielzahl von Zeitrahmen und die vorhergesagte Pose und/oder Geste (z. B. von Schritt 780) bestimmt werden.
  • Wenn eine Geste und/oder Pose nicht erfolgreich vorhergesagt wird, dann kann der Vorhersageprozess zu Schritt 776 zurückkehren, um zusätzliche oder unterschiedliche Bilder zu erfassen. Zum Beispiel können die erfassten Bilder nicht ausreichend sein, um eine genaue Vorhersage zu treffen (z. B. können die erfassten Bilder nicht genügend Proben einschließen). In einem solchen Fall können mehr erfasste Bilder nützlich sein, um die Konfidenz einer vorhergesagten Pose oder Geste zu erhöhen. In einem anderen Beispiel kann nach dem obigen Beispiel für eine vorhergesagte dritte Pose eines Barregriffs bestimmt werden, dass sie nicht erfolgreich vorhergesagt wird, wenn der Zeigefinger des Benutzers in der aktuellen dritten Pose gekrümmt ist. In diesem Beispiel kann ein Bild der Venen des Benutzers in der tatsächlichen dritten Pose erfasst und korreliert werden, bevor eine vierte Pose vorhergesagt werden kann. In einigen Beispielen können die Schritte 776 und 778 bis zu einer erfolgreichen Vorhersage wiederholt werden, bevor eine oder mehrere Gesten und/oder Posen bestimmt werden können. In einigen Beispielen kann die Vorrichtung, nach einer Bestimmung einer nicht erfolgreichen Vorhersage, wahlweise eine oder mehrere Gesten und/oder Posen ohne eine vorhergesagte Pose und/oder Geste bestimmen und aufzeichnen.
  • In einigen Beispielen kann die Handbewegung des Benutzers (z. B. Fingerbewegung) eine oder mehrere neue Gesten und/oder Posen einschließen. Zum Beispiel kann eine neue Geste und/oder Pose eine Geste und/oder Pose sein, die nicht in der Bibliotheksdatei enthalten ist. Die Vorrichtung kann bestimmen, dass der Benutzer eine neue Geste und/oder Pose durchgeführt hat, und kann die neue Geste und/oder Pose in Schritt 786 aufzeichnen. In einigen Beispielen können die aufgezeichneten Gesten und/oder die aufgezeichnete Pose und zugeordneten Bilder klassifiziert (z. B. einer bestimmten Gruppe zugeordnet) werden. Zum Beispiel können Gesten und/oder Posen, die gekrümmte Finger einschließen, als Gesten und/oder Posen für eine virtuelle Gitarre klassifiziert werden.
  • In einigen Beispielen kann die aufgezeichnete Geste und/oder Pose eigenständig sein. Mit anderen Worten kann die aufgezeichnete Geste und/oder Pose nicht zu einer Bibliotheksdatei gehören oder kann ein Attribut einer Bibliotheksdatei nicht beeinflussen. In anderen Fällen kann die neu aufgezeichnete Geste und/oder Pose Teil einer Bibliotheksdatei sein oder kann ein oder mehrere Attribute einer Bibliotheksdatei beeinflussen.
  • In Schritt 788 können eine oder mehrere Bibliotheksdateien basierend auf den aufgezeichneten Bildern, Posen und/oder Gesten aktualisiert werden. Eine Bibliotheksdatei kann mit einer oder mehreren Informationen, die dem aufgezeichneten Bild, den aufgezeichneten Posen und/oder der aufgezeichneten Geste zugeordnet sind, aktualisiert werden. Beispielhafte Informationen können die Geste(n), Posen, ein oder mehrere Bilder, statistische Modelle, die der/den Geste(n), Posen und/oder dem/den Bild(ern) zugeordnet sind, eine oder mehrere Anwendungen, die der/den Geste(n), Posen zugeordnet sind, und Benutzereigenschaften einschließen, ohne darauf beschränkt zu sein. In einigen Beispielen kann die neu aktualisierte Bibliotheksdatei in zukünftige Vorhersagen, Genauigkeitsbestimmungen und dergleichen einbezogen werden. Zum Beispiel kann eine Bibliotheksdatei, die Gesten und/oder Posen zum Begleiten eines Lieds zugeordnet ist, aktualisiert werden, was schnellere und genauere Korrelationen und Vorhersagen ermöglicht, wenn ein Benutzer zukünftig Passagen des Lieds spielt.
  • Es wird ein Verfahren zum Bestimmen von Handgesten durch eine elektronische Vorrichtung offenbart. Das Verfahren kann umfassen: Erfassen von einem oder mehreren ersten Bildern von einer oder mehreren Venen in einer Hand zu einem ersten Zeitpunkt, Erfassen von einem oder mehreren zweiten Bildern der einen oder mehreren Venen in der Hand zu einem zweiten Zeitpunkt, der sich von dem ersten Zeitpunkt unterscheidet; Bestimmen einer ersten Handpose basierend auf dem einen oder den mehreren ersten Bildern; Bestimmen einer zweiten Handpose basierend auf dem einen oder den mehreren zweiten Bildern und Bestimmen einer Geste basierend auf mindestens der ersten und der zweiten Handpose. Zusätzlich oder alternativ schließt, in einigen Beispielen, die Bestimmung einer ersten Handpose ein Korrelieren der einen oder mehreren Venen in dem einen oder den mehreren ersten Bildern mit einem oder mehreren Gelenken der Hand ein, wobei die Bestimmung einer zweiten Handpose ein Korrelieren der einen oder mehreren Venen in dem einen oder den mehreren zweiten Bildern mit einem oder mehreren Gelenken der Hand einschließt und wobei die Bestimmung einer Geste einschließt: Erkennen von einem oder mehreren Unterschieden in Eigenschaften der einen oder mehreren Venen in den ersten und zweiten Bildern, um eine oder mehrere Handbewegungen zu bestimmen, wobei die Geste ferner auf der einen oder den mehreren Handbewegungen basiert. Zusätzlich oder alternativ können, in einigen Beispielen, die Eigenschaften eines oder mehrere von Position, relativem Abstand, Form, Verschiebung und Blutfluss sein. Zusätzlich oder alternativ basieren, in einigen Beispielen, die Korrelation der einen oder mehreren Venen in dem einen oder den mehreren ersten Bildern und die Korrelation der einen oder mehreren Venen in dem einen oder den mehreren zweiten auf mindestens einem vorbestimmten Modell. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner ein Vorhersagen einer dritten Handpose basierend auf der ersten und der zweiten Handpose. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner ein Bestimmen, ob die Vorhersage erfolgreich war; und gemäß einer Bestimmung, dass die Vorhersage nicht erfolgreich war: Erfassen von einem oder mehreren dritten Bildern der einen oder mehreren Venen in der Hand zu einem dritten Zeitpunkt und Bestimmen der dritten Handpose basierend mindestens auf dem einen oder den mehreren dritten Bildern.
  • Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Bestimmen, ob die Vorhersage erfolgreich war; und dynamisches Aktualisieren eines Konfidenzwerts basierend auf dem bestimmten Erfolg der Vorhersage. Zusätzlich oder alternativ schließt, in einigen Beispielen, das Vorhersagen der dritten Handpose ein: Bestimmen oder Empfangen eines zugeordneten Konfidenzwerts, wobei die Vorhersage auf dem Konfidenzwert basiert. Zusätzlich oder alternativ basiert, in einigen Beispielen, die Bestimmung der Geste auf einer Abfolge von Posen, einschließlich der ersten Pose und der zweiten Pose. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Verifizieren, ob die Bestimmung der Geste richtig war; und gemäß der Bestimmung, dass die Geste nicht richtig ist, dynamisches Erhöhen einer Granularität des Erfassens des einen oder der mehreren ersten Bilder, des einen oder der mehreren zweiten Bilder oder von beiden. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Bestimmen von einem oder mehreren Vorgängen der elektronischen Vorrichtung, die der Geste zugeordnet ist/sind; und Ausführen des einen oder der mehreren Vorgänge auf der elektronischen Vorrichtung, wenn die Geste bestimmt wird. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Bestimmen, ob die Geste in einer Bibliotheksdatei eingeschlossen ist; und in Übereinstimmung damit, dass die Geste nicht in der Bibliotheksdatei eingeschlossen ist, Erfassen von Informationen, die der Geste in der Bibliotheksdatei zugeordnet sind, wobei die Informationen eines oder mehrere von der Geste, dem einen oder den mehreren ersten Bildern, dem einen oder den mehreren zweiten Bildern, statistischen Modellen, die der Handgeste zugeordnet sind, einer oder mehreren Anwendungen, die der Handgeste zugeordnet sind, und Benutzereigenschaften einschließen. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Aktualisieren einer Bibliotheksdatei unter Verwendung der bestimmten Handgeste. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Klassifizieren der Handgeste in eine Gestenkategorie und Aufzeichnen der Handgeste in der jeweiligen Kategorie. Zusätzlich oder alternativ umfasst das Verfahren, in einigen Beispielen, ferner: Aktualisieren einer Zuordnung der einen oder mehreren aufgezeichneten Handgesten zu einem zweiten Vorrichtungsvorgang, wobei die eine oder die mehreren erfassten Informationen vor der Aktualisierung einem ersten Vorrichtungsvorgang zugeordnet werden.
  • Eine elektronische Vorrichtung wird offenbart. Die elektronische Vorrichtung kann umfassen: einen oder mehrere Sensoren, wobei die Sensoren konfiguriert sind, um ein oder mehrere erste Bilder von einer oder mehreren Venen in einer Hand zu erfassen, und einen Prozessor, der konfiguriert ist zum: Empfangen des einen oder der mehreren ersten Bilder, Empfangen des einen oder der mehreren zweiten Bilder, Umwandeln des einen oder der mehreren ersten erfassten Bilder und des einen oder der mehreren zweiten erfassten Bilder in erste bzw. zweite digitale Darstellungen, Erkennen von einem oder mehreren Unterschieden zwischen der ersten digitalen Darstellung und der zweiten digitalen Darstellung, Bestimmen von einer oder mehreren Handbewegungen basierend auf dem einen oder den mehreren Unterschieden, Bestimmen von einer oder mehreren Handgesten basierend auf der einen oder den mehreren bestimmten Bewegungen und Durchführen von einem oder mehreren Vorgängen auf der elektronischen Vorrichtung basierend auf der einen oder den mehreren bestimmten Handgesten. Zusätzlich oder alternativ sind die einen oder mehreren Sensoren, in einigen Beispielen, an einem oder mehreren von einer Seite der Vorrichtung, einer Unterseite der Vorrichtung und einem Band der Vorrichtung angeordnet. Zusätzlich oder alternativ sind die einen oder mehreren Sensoren, in einigen Beispielen, PPG-Sensoren, die an einer Unterseite der Vorrichtung befindlich sind. Zusätzlich oder alternativ schließen die einen oder mehreren Sensoren, in einigen Beispielen, eine Kamera ein, die an einer Krone der Vorrichtung angebracht ist. Zusätzlich oder alternativ sind die einen oder mehreren Sensoren, in einigen Beispielen, eines oder mehrere von Nah-IR-Sensoren, IR-Sensoren oder beides.
  • Obwohl die offenbarten Beispiele unter Bezugnahme auf die begleitenden Zeichnungen vollständig beschrieben wurden, ist zu beachten, dass vielfältige Änderungen und Modifikationen für den Fachmann ersichtlich sind. Solche Änderungen und Modifikationen sind als innerhalb des Umfangs der offenbarten Beispiele, wie sie durch die angehängten Ansprüche definiert sind, eingeschlossen zu verstehen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62565364 [0001]

Claims (20)

  1. Verfahren zum Bestimmen von Handgesten durch eine elektronische Vorrichtung, wobei das Verfahren umfasst: Erfassen von einem oder mehreren ersten Bildern von einer oder mehreren Venen in einer Hand zu einem ersten Zeitpunkt; Erfassen von einem oder mehreren zweiten Bildern der einen oder mehreren Venen in der Hand zu einem zweiten Zeitpunkt, der sich von dem ersten Zeitpunkt unterscheidet; Bestimmen einer ersten Handpose basierend auf dem einen oder den mehreren ersten Bildern; Bestimmen einer zweiten Handpose basierend auf dem einen oder den mehreren zweiten Bildern und Bestimmen einer Geste basierend auf mindestens der ersten Handpose und der zweiten Handpose.
  2. Verfahren nach Anspruch 1, wobei die Bestimmung der ersten Handpose ein Korrelieren der einen oder mehreren Venen in dem einen oder den mehreren ersten Bildern mit einem oder mehreren Gelenken der Hand einschließt, wobei die Bestimmung der zweiten Handpose ein Korrelieren der einen oder mehreren Venen in dem einen oder den mehreren zweiten Bildern mit einem oder mehreren Gelenken der Hand einschließt und wobei die Bestimmung einer Geste einschließt: Erkennen von einem oder mehreren Unterschieden bei den Eigenschaften der einen oder mehreren Venen in dem ersten Bild und dem zweiten Bild, um eine oder mehrere Handbewegungen zu bestimmen, wobei die Geste ferner auf der einen oder den mehreren Handbewegungen basiert.
  3. Verfahren nach Anspruch 2, wobei die Eigenschaften eines oder mehrere von Position, relativem Abstand, Form, Verschiebung und Blutfluss sein können.
  4. Verfahren nach Anspruch 2, wobei die Korrelation der einen oder mehreren Venen in dem einen oder den mehreren ersten Bildern und die Korrelation der einen oder mehreren Venen in dem einen oder den mehreren zweiten auf mindestens einem vorbestimmten Modell basieren.
  5. Verfahren nach Anspruch 1, ferner umfassend ein Vorhersagen einer dritten Handpose basierend auf der ersten Pose und der zweiten Handpose.
  6. Verfahren nach Anspruch 5, ferner umfassend: Bestimmen, ob die Vorhersage nicht erfolgreich war; und in Übereinstimmung damit, dass die Vorhersage nicht erfolgreich ist: Erfassen von einem oder mehreren dritten Bildern der einen oder mehreren Venen in der Hand zu einem dritten Zeitpunkt und Bestimmen der dritten Handpose basierend mindestens auf dem einen oder den mehreren dritten Bildern.
  7. Verfahren nach Anspruch 5, ferner umfassend: Bestimmen, ob die Vorhersage erfolgreich war; und dynamisches Aktualisieren eines Konfidenzwerts basierend auf dem bestimmten Erfolg der Vorhersage.
  8. Verfahren nach Anspruch 5, wobei das Vorhersagen der dritten Handpose einschließt: Bestimmen oder Empfangen eines zugeordneten Konfidenzwerts, wobei die Vorhersage auf dem Konfidenzwert basiert.
  9. Verfahren nach Anspruch 1, wobei die Bestimmung der Geste auf einer Abfolge von Posen, einschließlich der ersten Pose und der zweiten Pose, basiert.
  10. Verfahren nach Anspruch 1, ferner umfassend: Prüfen, ob die Bestimmung der Geste nicht richtig war; und in Übereinstimmung damit, dass die Geste richtig ist, dynamisches Erhöhen einer Granularität des Erfassens des einen oder der mehreren ersten Bilder, des einen oder der mehreren zweiten Bilder oder von beiden.
  11. Verfahren nach Anspruch 9, ferner umfassend: Bestimmen von einem oder mehreren Vorgängen der elektronischen Vorrichtung, die der Geste zugeordnet sind; und Ausführen des einen oder der mehreren Vorgänge auf der elektronischen Vorrichtung, wenn die Geste bestimmt wird.
  12. Verfahren nach Anspruch 9, ferner umfassend: Bestimmen, ob die Geste in einer Bibliotheksdatei eingeschlossen ist; und in Übereinstimmung damit, dass die Geste nicht in der Bibliotheksdatei eingeschlossen ist, Erfassen von Informationen, die der Geste in der Bibliotheksdatei zugeordnet sind, wobei die Informationen eines oder mehrere von der Geste, dem einen oder den mehreren ersten Bildern, dem einen oder den mehreren zweiten Bildern, statistischen Modellen, die der Handgeste zugeordnet sind, einer oder mehreren Anwendungen, die der Handgeste zugeordnet sind, und Benutzereigenschaften einschließen.
  13. Verfahren nach Anspruch 9, ferner umfassend: Aktualisieren einer Bibliotheksdatei mit der bestimmten Handgeste.
  14. Verfahren nach Anspruch 13, ferner umfassend: Klassifizieren der bestimmten Handgeste in eine Gestenkategorie und Aufzeichnen der bestimmten Handgeste in der jeweiligen Kategorie.
  15. Verfahren nach Anspruch 12, wobei das Verfahren ferner umfasst: Aktualisieren einer Zuordnung der erfassten Informationen zu einem zweiten Vorrichtungsvorgang, wobei die erfassten Informationen vor der Aktualisierung einem ersten Vorrichtungsvorgang zugeordnet werden.
  16. Elektronische Vorrichtung, umfassend: einen oder mehrere Sensoren, wobei die Sensoren konfiguriert sind, um ein oder mehrere erste Bilder von einer oder mehreren Venen in einer Hand zu erfassen und ein oder mehrere zweite Bilder der einen oder mehreren Venen in der Hand zu erfassen, und einen Prozessor, der zu Folgendem konfiguriert ist: Empfangen des/der erfassten einen oder mehreren ersten Bilder, Empfangen des/der erfassten einen oder mehreren zweiten Bilder, Umwandeln des/der erfassten einen oder mehreren ersten Bilder und des/der erfassten einen oder mehreren zweiten Bilder in eine erste digitale Darstellung bzw. eine zweite digitale Darstellung, Erkennen von einem oder mehreren Unterschieden zwischen der ersten digitalen Darstellung und der zweiten digitalen Darstellung, Bestimmen von einer oder mehreren Handbewegungen basierend auf dem einen oder den mehreren Unterschieden, Bestimmen von einer oder mehreren Handgesten basierend auf dem bestimmten einen oder den bestimmten mehreren Unterschieden und Durchführen von einem oder mehreren Vorgängen auf der elektronischen Vorrichtung basierend auf der bestimmten einen oder den bestimmten mehreren Handgesten.
  17. Elektronische Vorrichtung nach Anspruch 16, wobei die einen oder mehreren Sensoren an einem oder mehreren von einer Seite der Vorrichtung, einer Unterseite der Vorrichtung und einem Band der Vorrichtung befindlich sind.
  18. Elektronische Vorrichtung nach Anspruch 17, wobei die einen oder mehreren Sensoren PPG-Sensoren sind, die an einer Unterseite der Vorrichtung befindlich sind.
  19. Elektronische Vorrichtung nach Anspruch 16, wobei die einen oder mehreren Sensoren eine Kamera einschließen, die an einer Krone der Vorrichtung befindlich ist.
  20. Elektronische Vorrichtung nach Anspruch 16, wobei die einen oder mehreren Sensoren eines oder mehrere von Nah-IR-Sensoren, IR-Sensoren oder beides sind.
DE112018005499.3T 2017-09-29 2018-08-10 Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung Pending DE112018005499T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762565364P 2017-09-29 2017-09-29
US62/565,364 2017-09-29
PCT/US2018/046375 WO2019067096A1 (en) 2017-09-29 2018-08-10 VEIN SCANNING DEVICE FOR AUTOMATIC RECOGNITION OF GESTURES AND FINGERS

Publications (1)

Publication Number Publication Date
DE112018005499T5 true DE112018005499T5 (de) 2020-07-09

Family

ID=63405461

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018005499.3T Pending DE112018005499T5 (de) 2017-09-29 2018-08-10 Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung

Country Status (5)

Country Link
US (1) US10698497B2 (de)
KR (1) KR102330655B1 (de)
CN (1) CN111052047B (de)
DE (1) DE112018005499T5 (de)
WO (1) WO2019067096A1 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171858A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Gesture capture
US10698497B2 (en) 2017-09-29 2020-06-30 Apple Inc. Vein scanning device for automatic gesture and finger recognition
US10911103B2 (en) * 2018-08-19 2021-02-02 International Forte Group LLC Portable electronic device for facilitating a proximity based interaction with a short range communication enabled object
CN110244844A (zh) * 2019-06-10 2019-09-17 Oppo广东移动通信有限公司 控制方法及相关装置
KR20210034843A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 차량의 제어 장치 및 방법
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
CN112270982B (zh) * 2020-11-23 2022-09-30 南京图格医疗科技有限公司 一种远距离手势控制一体化手术室系统
EP4281843A1 (de) * 2021-01-20 2023-11-29 Apple Inc. Verfahren zur interaktion mit objekten in einer umgebung
WO2022266515A1 (en) * 2021-06-18 2022-12-22 Meta Platforms Technologies, Llc Inferring user pose using optical data
CN117813581A (zh) * 2021-06-29 2024-04-02 创峰科技 多角度手部跟踪
US11934586B2 (en) 2022-06-29 2024-03-19 Google Llc Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1717682B1 (de) 1998-01-26 2017-08-16 Apple Inc. Verfahren und Vorrichtung zur Integration von manuellen Eingaben
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
CN103324274A (zh) * 2012-03-22 2013-09-25 联想(北京)有限公司 一种人机交互方法和装置
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
CN103818349A (zh) * 2012-11-19 2014-05-28 大连天地伟业数码科技有限公司 一种基于静脉识别的汽车驾驶系统
KR20140087866A (ko) * 2012-12-31 2014-07-09 현대자동차주식회사 정맥 영상을 이용한 제스처 인식 방법 및 인식 장치
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
CN103558918B (zh) * 2013-11-15 2016-07-27 上海威璞电子科技有限公司 在智能手表中实现手势识别技术的方法
KR102302439B1 (ko) * 2014-02-21 2021-09-15 삼성전자주식회사 전자 장치
US9679197B1 (en) * 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
CN106233227B (zh) 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US10013083B2 (en) * 2014-04-28 2018-07-03 Qualcomm Incorporated Utilizing real world objects for user input
CN104267813A (zh) * 2014-09-25 2015-01-07 上海威璞电子科技有限公司 腕带和手环类产品采用十种手势实现输入或选择的方法
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
KR20160090047A (ko) * 2015-01-21 2016-07-29 현대자동차주식회사 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10649536B2 (en) * 2015-11-24 2020-05-12 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface
US10698497B2 (en) 2017-09-29 2020-06-30 Apple Inc. Vein scanning device for automatic gesture and finger recognition

Also Published As

Publication number Publication date
US20190101991A1 (en) 2019-04-04
CN111052047B (zh) 2022-04-19
WO2019067096A1 (en) 2019-04-04
CN111052047A (zh) 2020-04-21
KR102330655B1 (ko) 2021-11-23
KR20200031133A (ko) 2020-03-23
US10698497B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
DE112018005499T5 (de) Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung
DE112013007524T5 (de) Armbandgerät-Eingabe mittels Handgelenkbewegung
CN109800877B (zh) 神经网络的参数调整方法、装置及设备
US20210249052A1 (en) Video synthesis method terminal and computer storage medium
CN110556127B (zh) 语音识别结果的检测方法、装置、设备及介质
CN107426428A (zh) 电子设备及显示亮度调节方法
DE112008001600T5 (de) Verfahren und Systeme zum Bereitstellen von Sensorinformation an Vorrichtungen und Peripheriegeräte
CN110413837B (zh) 视频推荐方法和装置
WO2015179355A1 (en) Providing Haptic Output Based on a Determined Orientation of an Electronic Device
CN110688082B (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
EP3116202A1 (de) Mobiles endgerät
CN106774861B (zh) 智能设备及行为数据纠正方法和装置
US20230015943A1 (en) Scratchpad creation method and electronic device
CN112614500A (zh) 回声消除方法、装置、设备及计算机存储介质
CN107301862A (zh) 一种语音识别方法、识别模型建立方法、装置及电子设备
CN108388340A (zh) 电子设备控制方法及相关产品
CN110798327A (zh) 消息处理方法、设备及存储介质
CN110378318B (zh) 文字识别方法、装置、计算机设备及存储介质
CN110837557B (zh) 摘要生成方法、装置、设备及介质
CN113316756A (zh) 用于控制智能手表的操作的方法、设备和系统
CN107924232A (zh) 电子设备及其控制方法
CN110853704B (zh) 蛋白质数据获取方法、装置、计算机设备及存储介质
CN108966094B (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN112329909B (zh) 生成神经网络模型的方法、装置及存储介质
CN113535039A (zh) 更新页面的方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
R012 Request for examination validly filed